올해 들어 전 세계는 챗GPT로 인해 인공지능 열풍에 휩싸여 들고 있습니다. 거의 매일 인공지능 관련 새로운 뉴스들이 쏟아지고, 여러 대기업과 스타트업들이 관련 기술들을 순차적으로 공개하며 시장에 뛰어들고 있습니다.
미국 뿐만 아니라, 우리나라나 중국도 인공지능에 대한 연구가 활발히 진행되고 있는데요, 얼마 전 중국에서는 검색엔진으로 유명한 바이두(Baidu)가 ‘어니봇(Ernie Bot)‘이라는 자체 AI 챗봇을 발표하며 이슈가 되었습니다. 현재는 일부 사용자들에게만 Open 되어있어 일반인들은 사용하기 어려운 것으로 알고 있는데요, 중국어 관련해서는 다른 AI 챗봇 보다 성능이 좋다고 하는데, 나중에 여건이 되면 한번 사용해보고 싶네요.
오늘은 중국 내에서 이 어니봇(중국명 文心一言)과 중국 AI 산업에 대한 분석 기사가 올라온 것이 있어 간단히 살펴보도록 하겠습니다.
내용이 길고 기술적이라 간단히 요약하면,
– 챗GPT의 등장으로 전세계는 AI 열풍에 휩싸이고 있다.
– 중국도 마찬가지여서 모든 기업들이 관심을 갖고 있으나 금전적, 기술적인 문제로 쉽지 않다.
– 중국도 막대한 자금을 들여서 챗GPT 같은 것을 만들어야 할까?
– 바이두의 ‘어니봇과’ OpenAI의 챗GPT는 점점 기술적 차이가 커지고 있음
– “다시 한 번 바퀴를 발명할 필요가 없다“
– 실제 비즈니스는 챗GPT 기술 위의 Application(응용프로그램)에서 엄청난 기회가 나올 것임
– 결국 AI 사업도 오픈소스화 되어 각자가 집중할 수 있는 분야에 집중하도록 해야 함.
중국의 AI 산업은 어떻게 발전하고 있는지 대략 살펴보기 좋은 자료인 거 같습니다. 번역 과정에서 내용이 너무 어렵거나 복잡한 부분은 생략 or 의역한 부분도 있으니, 혹시 원문이 궁금하신 분들은 아래 링크 참고하셔서 더 자세한 내용 살펴보시기 바랍니다.
참고 원문 링크 : 决战中国版ChatGPT：大厂争先
챗GPT로 대표 되는 AI, 대기업의 전유물인가?
지난 3월 16일, 중국판 챗GPT인 어니봇(Ernie Bot)이 세상에 나왔다.
AI에 10년 동안 천억을 쏟아부은 바이두는 이로써 국내 대형 모델 혼전의 서막을 열었다. 지금까지, 알리, 텐센트, 화웨이 등 대기업뿐만 아니라 리카이푸, 왕샤오춘, 리지페이 등 업계 거물들도 차례차례 입장을 밝혔다.
정확히 확인된 바는 아니지만, 중국 내에서 대형 AI모델을 하겠다고 선언한 기업은 이미 30여 개를 넘었으며, 아직 그 정도까지 이르지는 못했지만 어떻게 하면 빠르게 자신만의 대형 AI모델을 내놓고 시장을 잡을 수 있을지 고민하거나, 혹은 연산력을 대표하는 하부 인프라 층에 역량을 집중하는 등, 마치 “신선들의 싸움”을 보는 것 같다.
대형 모델 경쟁은 쉽지 않다.챗GPT를 예로 들면, Open AI가 공개한 데이터에 따르면, 2020년 GPT-3 모델을 훈련할 때 사용한 파라미터 수와 데이터 훈련량은 각각 1750억과 45TB에 달하고, 소모된 연산력은 3640PF-days로, 초당 일조 번의 계산으로 하면 3640일 동안 실행해야 한다.
파라미터 수가 계속 증가하는 GPT-4 모델은 말할 것도 없다. 거대한 데이터 양과 연산력은 대형 모델을 구축하는 것이 전형적인 자본 집약적 산업임을 입증하고 있다. 이런 “금전적 화력”이 필요한 경주는 오직 대기업만 참여할 수 있을까?
“방향은 클라우드를 향한다.” 최근 볼케이노 엔진(Volcano Engine) 총재 탄대가 한 말이다.
바이트댄스의 젊은 클라우드 플랫폼인 ‘볼케이노 엔진’은 천연의 선점 우위를 갖고 있다. 자금, 기술, 연산력 자원 뿐만 아니라 응용 시나리오까지 있다. 하지만 자신이 대형 모델을 하는 다른 클라우드와 달리, 볼케이노 엔진은 주로 고객이 대형 모델을 잘 할 수 있도록 서비스한다. 마이크로소프트 클라우드 플랫폼 Azure와 OpenAI와 비슷하게, 대기업 클라우드 플랫폼의 부여를 통해 “고객은 단지 혁신에 집중하고, 모델 자체를 잘 하면 된다”고 말하며, 많은 창업 기업들에게 기회를 가져다 주었다.
하지만 볼케이노 엔진과 같이 대형 모델과 제품 사이 중간 구조층에 있는 스타트업은 중국 내 생태계에 얽매여 거의 전무한 상태다. 마치 밥을 먹으려면 땅을 파고, 채소를 심어야 하는 것과 같다. 국내에서 실현할 수 있는 장벽은 여전히 높아, 대형 모델은 대기업만 할 수 있는 것이라는 공감대가 형성되었다.
중국에 OpenAI가 나올 수 있을까?
중국에 OpenAI가 나올 수 있을까? 라는 질문에 바이두 창업자 리옌홍은 바로 “기본적으로 없을 것”이라고 말하며, “다시 한 번 바퀴를 발명할 필요가 없다“고 답했다. 그는 챗GPT 기술 자체가 각종 대기업들이 참여하는 핵심이 아니라, 그 뒤의 “응용 계층(Application)에서, 현재의 위챗과 틱톡의 열 배가 될 새로운 창업 기회가 나타날 것”이라고 말했다.
현재 AI 관련 응용 계층을 살펴보면, B2C의 해외 대형 모델과 달리 현재 중국의 대형 모델 주요 응용 시나리오는 모두 B2B 쪽에 집중되어 있다.
예를 들면 화웨이 “판구”는 광산, 전력 등 시나리오의 응용을 강조하고, 알리 “통의천문”의 전형적인 응용 시나리오는 전자상거래 횡모드 검색, AI 보조 디자인, 의료 텍스트 이해 등이며, 혹은 상탕의 “일일신 SenseNova”와 같이 자율 주행, 로봇 등 일반적인 시나리오 작업에 대한 인식과 이해 능력 지원을 제공한다.
B2B의 업계 특성으로 인해 중국의 AI 대형 모델은 매우 큰 파라미터 규모를 할 필요가 없으며, 심지어 챗GPT가 나타난 후, 중국 내에서 논의되는 중요한 방향 중 하나는 이미 있는 대형 모델 규모를 “작게” 만들어 구체적인 업계에 적용하는 것이다. B2B와 B2C 두 가지 완전히 다른 발전 경로는 국내외의 AI 대형 모델을 완전히 다른 발전 방향으로 이끌었다.
중국에서의 대형 모델은 단순히 채팅 소프트웨어가 아니라 생산력 도구로서, 더 작은 파라미터로 더 효율적이고, 세분화된 시나리오에 더 적합하게 하는 것이 공감대가 되었다.
최근 열린 알리 클라우드 정상회담에서 장용은 “모든 제품은 대형 모델로 다시 만들어 볼 가치가 있다”고 말하며 “모든 제품이 앞으로 ‘통의천문’ 대형 모델에 접속하여 전면 업그레이드 될 것”이라고 말했고,
리우치핑은 텐센트 재무보고서 회의에서 “생성형 AI는 기존 사업의 가속기가 될 수 있으며, 새로운 성장선을 개척하는 데도 도움이 될 수 있다”고 강조했으며,
또한 런정페이는 챗GPT가 연산과 파이프 라인 트래픽을 키워줘서 화웨이 제품에 기회가 생겼다고 생각한다.
이는 오늘날 대형 모델은 이동 통신 인터넷 시대의 안드로이드와 IOS 시스템과 같다는 것을 의미하며, 산업 디지털 화의 발전을 가속화하고, 생산과 생활 방식을 다음으로 재구성하며, 더 큰 공간의 새로운 영역을 가져올 것이다. 만약 선점할 수 없다면, 미래에는 현재의 전체 비즈니스 모델에 영향을 미치거나, 심지어 전복 될 가능성이 있다.
AI 기술, 추월 가능할까?
연산력, 알고리즘, 데이터는 AI 대형 모델 연구 개발의 세 가지 요소다.
B2C와 비교하여 B2B의 대형 모델 연구 개발은 천연적인 우위를 갖고 있다. 수직 산업 시나리오에 초점을 맞춘 실현으로, 각 산업에서 “좋은 원료”(데이터)를 지속적으로 획득할 수 있을 뿐만 아니라, 더 많은 연구 개발 인력이 일선에 깊이 들어가 대형 모델로 실제 문제(응용 시나리오)를 해결할 기회도 있다. 이로써 공학화, 제품화, 시나리오화에서 지속적으로 반복하며, 결국 기반 기술과 함께 상승 효과를 형성하고, 상업화의 선순환으로 나아간다.
하지만 모든 응용은 근본적으로 대형 모델에 의존하여 존재한다. 마치 PC 인터넷 시대에는 모든 데스크톱 응용이 Windows 개발을 기반으로 하고, 이동 통신 인터넷 시대에는 모든 APP이 안드로이드나 IOS 시스템을 기반으로 하는 것과 같다. 그러나 현재 대부분의 국산 대형 모델은 알고리즘 측면에서 GPT-3 구조와 기본적으로 유사하며, OpenAI의 발자취를 따라 실천하고 있으며, 이로 인해 엔비디아 A100 GPU 반복 속도가 빠르지 못한 상황에서 격차가 점점 커지고 있다.
바이두의 “어니봇”을 예로 들면, 연구 개발 단계에서 “챗GPT와 격차는 40점 수준이고, 한 달 안에 따라잡을 수 있다”고 리옌홍은 명확히 말했다. 바이두는 종합 능력 면에서 빠르게 따라잡거나 심지어 앞서갈 수 있다는 자신감을 가지고 있었다.
그러나 한 달이 지난 후 다시 테스트해보니 격차가 오히려 커졌다. 4월 25일 바이두 지능 클라우드가 열린 기술 교류회에 따르면 “어니봇”이 내부 테스트를 시작한 지 한 달 넘게, 이미 4차 기술 버전 업그레이드를 완료했으며, 초기 버전과 비교하여 추론 효율성은 10배 향상되었고, 모델 연산력 이용률은 1배 향상되었으며, 모델 성능과 비용 면에서 크게 최적화되었고, 대형 모델 추론 비용은 원래의 1/10로 떨어졌음에도 불구하고 말이다.
알리 클라우드도 “현재 ‘통의천문’과 챗GPT는 여전히 격차가 있으며 챗GPT가 모든 면에서 선도적인 위치에 있다”고 인정했다.
중국 AI 산업이 나아갈 방향은?
바이두는 칩층, 프레임워크층, 모델층, 응용층 네 층에서 전체 스택 배치를 할 수 있는 전 세계에서 몇 안되는 인공지능 회사임을 강조해왔다.
지능 클라우드, 풍부하고 건전한 체계의 연산력, 안정적으로 운영되는 딥러닝 프레임워크, 수년간 AI 개발 경험이 있는 인재들, 그리고 가장 중요한 것은, 하루 수십억건을 처리하는 검색 엔진이 중국어의 로컬라이즈 데이터를 제공한다는 것이다. 어떻게 보면 대형 모델의 완성 형태와 거리가 멀지 않으며, 대부분의 하드한 조건을 갖추고 있다.
중국 내에서 대형 모델을 만든 다른 대기업들도 비슷하다. 자신들만의 트레이닝 구조가 있고, 자신의 생태계에서 폐쇄 회로를 형성한다. 하지만 이것도 어떻게 보면 전체 중국 내 오픈 소스의 생태계가 충분히 성숙하지 못함을 반영한다.
이에 대해 복단대학 티우시펑은, 중국의 대형 모델은 “오픈 소스“가 되어야 한다고 제시하며, OpenAI가 챗GPT를 할 때 다른 것에 신경 쓸 필요가 없고, 모델에만 집중하면 된다고 말했다. 마이크로소프트가 연산력을 도와주고, 오픈 소스 회사가 배치를 도와주고, 전문 회사가 데이터 정제를 해주는 이런 방식의 생태계가 그것을 매우 빠르게 발전시킨다.
하지만 현재 중국 내 각 회사들은 무엇이든 해야 하고, 이로 인해 문제가 발생한다. 각각이 크게 하지 못하고, 각자 자신의 것을 한다. 유한한 데이터, 연산력, 돈에 얽매여 반복적으로 “차 바퀴”를 만들고, 계속 기본적이고 반복적인 일을 하게 된다.
“만약 통일된 언어, 통일된 기반대가 있고, 아래에서 국산 연산력과 잘 연결하고, 좋은 인터페이스를 만들면 모두가 사용할 수 있으며, 생태계 건설을 촉진하고, 전체 중국의 AI를 한 단계 앞으로 발전시킬 수 있다.”고 언급 하였다.
같이 읽으면 좋은 글