텐센트, 게임스컴에서 Motus 공개: 리깅·스키닝·모션을 위한 단일 모델 제품군
텐센트 게임즈는 올해 게임스컴에 기술 공급업체로 처음 참가했으며, 부스에서 우리가 주목한 것은 Motus였다. 8월 24일 gamescom dev에서 기술 책임자 Zijiao Zeng은 "지오메트리에 생명 불어넣기 2.0: 3D 캐릭터 애니메이션을 위한 통합 AI 파이프라인의 발전"이라는 제목으로 발표했고, 8월 27일 텐센트는 Motus가 무엇인지 설명하는 보도자료를 냈다.
간단히 말하면, 정적 메시에서 시작해 게임 속에서 움직이는 캐릭터로 끝나는 하나의 파이프라인에 생성형 애니메이션 파운데이션 모델 제품군을 연결한 시스템이다. 리깅, 스키닝, 텍스트·동영상·키프레임 기반 모션 생성, 모션 보정, 실시간 상호작용이 모두 같은 시스템 안에 들어 있다. 텐센트가 내세우는 요지는 "AI로 절약한 시간을 도구 전환과 수작업 보정으로 다시 잃을 수 있다"는 것이며, 실제로 시간을 절약하려면 도구를 계속 바꾸는 일을 없애야 한다는 주장이다.
각 단계에서 내세우는 기능
리깅 단계는 캐릭터의 토폴로지를 읽고 텐센트의 설명에 따르면 "몇 초 이내에" 프로덕션에 바로 사용할 수 있는 스켈레톤을 만든 다음, 근육과 의상, 부착된 파츠가 자연스럽게 변형되도록 스킨 웨이트를 계산한다. 모션 생성은 텍스트 프롬프트, 참조 동영상 또는 몇 개의 키프레임을 입력받아 클립을 만든다. 여기에는 둘 이상의 리그가 서로 반응해야 하는 전투·협동·소셜 상황을 위한 다중 캐릭터 작업도 포함된다.
내가 특히 강조하고 싶은 단계는 보정이다. 텐센트는 Motus가 떨림, 메시 관통, 비정상적인 관절, 발 미끄러짐을 자동으로 감지하고 수정한다고 말한다. 모델로 모션을 생성해 본 사람이라면 누구나 이 네 가지에 가장 많은 시간이 들어간다는 것을 안다. 뷰어에서는 멀쩡해 보였던 클립이 발을 디디는 동안 뒤꿈치가 2센티미터씩 밀리거나, 회전할 때 손이 허벅지를 뚫고 지나가 결국 누군가 오후 내내 커브를 손봐야 하는 일이 생긴다. 이러한 검사를 통과할 때까지 클립을 내놓지 않는 생성기는 보기 좋은 턴테이블 영상만 만드는 생성기와는 다른 제품이다.
마지막 단계는 오디오나 텍스트를 실시간 얼굴 표정, 신체 움직임, 반응으로 변환하며 NPC, 디지털 휴먼, 가상 발표자를 대상으로 한다. 이 부분은 Motus를 텐센트가 행사에서 함께 발표한 GIGA와 연결한다. GIGA는 인간과 함께 플레이하도록 훈련된 범용 게임 에이전트 제품군이다.
이미 적용된 곳과 이용할 수 있는 대상
보도자료 자체에는 Motus가 "여러 타이틀에 적용됐다"고만 적혀 있다. PC Guide와 Digital Citizen의 보도를 통해 구체적인 목록이 알려졌다. 게임 포 피스, PUBG 모바일, 델타 포스, 아너 오브 킹즈, 로코 킹덤, 리그 오브 레전드, 전략적 팀 전투다. 이들은 전 세계에서 가장 많이 플레이되는 게임들에 속하므로, Motus는 첫 고객을 찾는 연구 데모가 아니다.
gamescom dev의 텐센트 게임즈 센트럴 테크 부스. Motus는 GIGA, MagicDawn, WeTest와 함께 벽면에 소개됐다. 사진: 텐센트 게임즈.
Motus는 더 넓은 전시 벽면을 구성한 여러 패널 중 하나였다. 텐센트는 이번 행사를 통해 사내 도구 브랜드인 센트럴 테크를 소개했다. 게임 에이전트용 GIGA, 회사 측 설명으로는 로코 킹덤을 64제곱킬로미터 규모의 크로스 플랫폼 오픈 월드로 구현한 MagicDawn, 사람처럼 플레이테스트하는 에이전트를 위한 WeTest의 Acorn AI Studio, 그리고 GVoice와 Anti-Cheat Expert 시스템이 포함된다. 어느 것에도 가입 페이지는 없었다. 두 보도자료 어디에도 Motus를 텐센트 외부 스튜디오에 제공한다고 적혀 있지 않으며, 제공하지 않을 것이라고도 적혀 있지 않다.
이 점이 중요한 이유는 텐센트가 다른 분야에서는 적극적으로 오픈 소스를 공개해 왔기 때문이다. Hunyuan HY3 언어 모델과 Hunyuan3D 생성 모델 제품군은 모두 가중치와 함께 출시됐다. Motus는 역사가 다른 별도 사업부의 기술이고, 이를 사용하는 게임들은 텐센트의 고유한 경쟁력이므로 같은 길을 갈 것이라고 단정해서는 안 된다.
우리가 세부 사항까지 살펴보는 이유
우리도 브라우저 탭에서 같은 파이프라인을 운영한다. 자동 리거는 업로드한 메시에 스켈레톤과 스킨 웨이트를 맞추고, 애니메이션 라이브러리는 퍼블릭 도메인 클립 260개를 해당 스켈레톤에 리타기팅하며, 텍스트 모션 변환 도구는 문장 하나로 클립을 생성한다. 우리는 이번 여름 대부분을 텐센트가 보정 항목으로 열거한 바로 그 문제들에 쏟았다. 미끄러지는 발을 지면에 고정하는 일부터 빠르게 회전할 때 캐릭터의 손이 자신의 몸을 뚫고 지나가지 않게 하는 일까지 포함된다.
그러므로 솔직한 반응은 두 가지가 동시에 든다는 것이다. 텐센트가 설명한 어려운 부분은 우리의 경험과 정확히 일치하며, 이는 안심되는 대목이다. 동시에 그런 게임과 데이터를 보유한 회사는 소수의 퍼블리셔 외에는 누구도 따라갈 수 없는 모션 훈련 데이터셋을 갖고 있다. 이는 우리가 택한 개방형 퍼블릭 도메인 경로야말로 실제로 다른 모든 사람이 이용할 수 있는 길이라는 사실을 다시 일깨워 준다. Motus가 언젠가 제품으로 출시된다면 우리는 출시 당일 바로 테스트할 것이다. 그때까지 게임스컴에서 얻을 수 있는 유용한 교훈은 파이프라인의 형태가 하나로 수렴하고 있다는 점이다. 리깅하고, 스키닝하고, 생성한 다음, 실질적인 노력은 보정에 쏟는 것이다.