바이트댄스, 앤트로픽 ‘미토스’에 근접한 초대형 AI 모델 정조준

틱톡 모회사, 문샷의 Kimi K3보다 3배 큰 모델 훈련 중

홍콩의 우쯔징, 베이징의 엘리너 올콧

중국 기업들이 미국 최고 수준의 연구소들과 격차를 계속 좁혀가는 가운데, 바이트댄스가 앤트로픽의 최첨단 미토스 시스템에 육박하는 규모의 AI 모델을 훈련하고 있다.

이 사안에 정통한 세 명의 관계자에 따르면, 중국의 거대 기술기업 바이트댄스는 최대 10조 개의 매개변수를 갖춘 모델을 훈련하는 초기 단계에 있다. 이는 현재까지 출시된 중국 모델 중 가장 큰 문샷의 키미 K3보다 세 배 큰 규모다.

관계자 중 한 명은 바이트댄스의 모델이 사전 학습 단계에 있으며, 이 과정은 통상 3~6개월이 걸린다고 말했다. 이후 일이 순조롭게 진행되면 미세 조정 과정을 거쳐 출시된다. 정확한 모델 규모는 더 늦은 단계에서야 결정될 예정이다.

Anthropic은 모델 규모를 공개하지 않지만, 업계 추정에 따르면 가장 발전된 모델인 Mythos 5는 약 8조 개, Fable 5는 약 5조 개의 매개변수를 보유한 것으로 알려졌다. 매개변수 수가 모델이 정보를 저장할 수 있는 기본적인 용량 또는 메모리 한도를 결정하지만, 실제 성능은 데이터 품질과 학습 방식 등 다른 요인에도 좌우된다.

세계 최대 규모의 AI 모델 중 하나를 학습시키려는 ByteDance의 노력은 중국 연구소들이 최첨단 AI 분야에서 미국 경쟁사들을 따라잡는 데 그치지 않고 능가하려는 야심을 보여준다.

최근 몇 주만 해도 Moonshot과 Alibaba의 중국 모델들은 벤치마크에서 강력한 성능을 보였으며, 일부 영역에서는 Anthropic의 Fable 5에 이어 두 번째 수준에 올랐다. Anthropic의 가장 발전된 모델인 Mythos 5는 보안 우려로 6월 일시적으로 사용이 금지된 이후 승인받은 기관에만 제공되고 있다.

업계 관계자들에 따르면 여러 중국 연구소가 Fable 5 규모의 모델을 학습시키는 과정에 있으며, ByteDance는 현재 가장 큰 모델 개발을 추진하는 데 가장 적극적이다.

바이럴 동영상 플랫폼 TikTok의 모회사인 ByteDance는 중국의 여러 경쟁사와 달리 모델 대부분을 비공개로 운영해 AI 개발에서 눈에 띄지 않는 행보를 보여왔다. 최신 SeeDance 모델은 동영상 생성 분야에서 전 세계적으로 가장 발전된 모델 중 하나로 평가받고 있으며, 주력 소비자용 모델인 Doubao는 월간 활성 이용자 3억2,400만 명으로 중국에서 가장 인기가 높다.

지난 3년간 ByteDance는 중국의 다른 어느 기술 대기업보다 공격적으로 AI에 투자하며 데이터센터 네트워크를 확충하고 연구원들을 채용해 왔다. 또한 기업에 AI 솔루션을 판매하는 클라우드 부문 Volcano Engine에 대한 투자를 한층 강화했다. ByteDance는 맞춤형 AI 칩을 개발하려는 야심도 갖고 있다.

Google DeepMind 출신 과학자 Wu Yonghui가 이끄는 모델 개발팀 Seed는 중국과 해외에 약 2,000명의 인력을 두고 있다. 이 팀에는 핵심 연구원, 인프라 엔지니어, 데이터 라벨링팀, 번역가 등이 포함돼 있다.

이 관계자에 따르면 Seed의 모델 개발은 다른 연구소의 기존 모델을 ‘증류’하는 방식을 배제한 보다 독립적인 접근법을 채택하고 있다. 이 접근법은 1년 넘게 시행돼 왔으며, 일각에서는 이것이 경쟁사보다 개발 속도가 느려진 원인이라고 보고 있다.

모델 증류란 대형 교사 모델의 지식과 출력물을 소형 모델이 모방하도록 훈련해 크고 복잡한 AI 모델을 더 작고 빠른 모델로 압축하는 과정이다.

추천

창업자 장이밍이 이끄는 바이트댄스 경영진은 경쟁사를 능가하는 모델을 만들려면 독자적인 개발만이 유일한 방법이라고 믿고 있다.

이 관계자에 따르면, 장이밍은 2주 전 열린 내부 회의에서 이러한 입장을 재차 강조하며, Seed 팀에 단기적으로 뒤처지는 것을 지나치게 걱정하지 말고 장기적으로 “세계 최고 수준의 모델 역량”을 목표로 삼으라고 말했다.

중국 매체 레이트포스트와 디 인포메이션은 최근 내부 회의에서 나온 장이밍의 발언을 처음 보도했다.

바이트댄스는 논평 요청에 응답하지 않았다.

데이터를 활용한 리스크 평가·시장 변동성 대응 및 전략 수립 지원