World Labs의 Atlas는 3D 세계를 생성·재구성·시뮬레이션하는 단일 모델이다
페이페이 리의 World Labs는 9월 1일 Atlas를 공개하며 이를 "공간 지능을 위한 월드 모델"이라고 소개했다. 홍보 문구를 걷어내면 기술적 주장은 명확하다. Atlas는 처음부터 사전 학습한 하나의 멀티모달 자기회귀 확산 트랜스포머로, 텍스트, 이미지, 동영상, 카메라 포즈, 깊이를 기본 입력으로 받아 이미지, 동영상, 포인트 클라우드, 3D 가우시안 스플랫을 출력한다. 3D 모듈을 덧붙인 동영상 모델도 아니고, 생성기를 앞단에 붙인 재구성 모델도 아니다. 하나의 네트워크다.
World Labs는 Atlas가 지난해 11월 출시한 장면 생성 제품인 "Marble의 향후 버전을 구동할 것"이며, 언어 모델처럼 학습 연산량이 늘어날수록 성능이 향상된다고 설명한다. 선정된 파트너만 신청을 통해 이용할 수 있다. 가격도 공개 API도 없다.
하나의 모델, 세 가지 작업
첫 번째 작업은 카메라 제어형 생성이다. Atlas에 이미지와 카메라 경로를 주면 해당 경로를 따라 최대 1분 길이의 1440p 동영상을 렌더링한다. 카메라가 텍스트 힌트가 아닌 명시적인 기하학적 입력이므로 모델이 경로를 이탈할 수 없다. World Labs는 현재 동영상 모델 5개를 상대로 카메라 제어형 생성에 대한 사람 선호도 테스트를 진행했다. 평가자들이 MiniMax H3보다 Atlas를 선택한 비율은 75%, Gemini Omni Flash보다 선택한 비율은 81%, Happy Horse 1.1보다 선택한 비율은 86%, FLUX 3보다 선택한 비율은 93%, Seedance 2.5보다 선택한 비율은 94%였다고 보고했다.
두 번째 작업은 재구성이며, 필자라면 현재 이 기능에 비용을 지불할 것이다. 실제 장소를 촬영한 사진을 한 장부터 100장 넘게까지 Atlas에 입력하면 카메라 위치를 복원한 포인트 클라우드 또는 가우시안 스플랫 장면을 생성한다. World Labs는 DTU, ETH3D, KITTI, ScanNet 같은 표준 벤치마크의 평균 절대 상대 오차에서 Atlas가 Pi3X와 VGGT를 비롯해 3D 재구성 전용으로 개발된 모델보다 뛰어나며, 이미지가 두세 장뿐이어도 "충실한 결과를 제공하고 특화된 3D 모델보다 우수한 성능을 낸다"고 주장한다. 재구성과 생성이 같은 네트워크에 들어 있기 때문에 외삽도 가능하다. 거리 높이에서 촬영한 사진 한 장을 주면 어떤 입력에도 존재하지 않는 해당 블록의 항공 뷰를 만들어 낸다.
세 번째 작업은 시뮬레이션이다. Atlas는 촬영한 동영상을 3~5개의 새로운 카메라 각도에서 다시 구성하고, 상호작용 중인 강체·관절형·변형 가능 물체를 모델링하며, 로봇의 시점에서 RGB와 깊이를 렌더링할 수 있다. World Labs는 사람이 개입하지 않은 상태로 5개 로봇 플랫폼을 Atlas가 생성한 환경에서 각각 1시간 동안 작동시켰다. 게시물에는 "세계와 그 세계를 바라보는 로봇의 시야가 동일한 모델에서 나온다"고 적혀 있다. 이 문장은 이 회사가 왜 그만큼의 자금을 유치했는지를 설명한다.
현실을 시뮬레이션으로 옮기는 도구로서의 Atlas: 환경과 로봇의 센서 뷰가 하나의 모델에서 나온다. 이미지: World Labs.
늘 감안해야 할 점
이 수치는 공급업체가 선택한 테스트에서 공급업체가 산출한 결과다. World Labs도 "Atlas의 역량을 하나의 벤치마크로 모두 포착할 수는 없다"고 인정한다. 선호도 테스트는 Atlas가 주력하도록 설계된 카메라 제어 작업에서 그렇지 않은 동영상 모델들과 비교한 것이다. 재구성 비교는 공개된 지표가 있는 공개 데이터셋을 사용했기 때문에 더 의미가 있지만, 아직 얼리 액세스 명단 밖에서는 누구도 이를 독립적으로 실행해 보지 못했다.
발표를 해석할 때는 배경도 중요하다. World Labs는 지난 2월 Autodesk, Andreessen Horowitz, Nvidia, AMD로부터 시리즈 B 투자금 10억 달러를 유치했으며, 당시 기업 가치는 50억 달러로 알려졌다. 로보틱스 분야는 회사가 7월에 인수한 SceniX에서 출발한다. Atlas는 그 자금과 인수의 결과물이며, 사용자뿐 아니라 파트너와 미래 투자자에게도 선보이는 제품이다.
게임을 만든다면 이것이 의미하는 것
우리는 월드 모델이 게임 제작 방식에 제기하는 가장 현실적인 도전이기 때문에 1년 내내 이 분야를 추적해 왔다. 7월에는 MIRA가 엔진 없이 플레이 가능한 Rocket League 경기를 실행했고, Google의 Genie 계열은 계속 더 긴 시간 범위를 지원하고 있다. Atlas는 다른 방향에서 이 문제에 접근한다. 게임 루프 자체가 되려는 것이 아니다. 게임 루프가 실행되는 세계를 만들어 내는 존재가 되려 한다.
단기적으로는 그 편이 우리에게, 그리고 아마 여러분에게도 더 유용하다. 스플랫과 포인트 클라우드에는 충돌, 내비게이션, 게임플레이가 붙어 있지 않으므로, 누군가 이를 메시와 콜라이더로 변환하는 문제를 해결하기 전까지 "3D 세계 생성"은 여전히 "배경 생성"을 뜻한다. 하지만 휴대폰 사진 두세 장으로 카메라를 자유롭게 이동할 수 있는 장면을 재구성하는 기능은 모든 소규모 팀이 원하는 환경 아트 작업의 지름길이다. Atlas가 벤치마크의 주장만큼 이 작업을 잘해 낸다면, 흥미로운 엔지니어링 과제는 스플랫에서 게임플레이용 지오메트리를 추출하는 방법이 된다. 지금 우리가 안고 있는 문제보다는 차라리 그 문제를 택하고 싶다.
솔직한 현황은 이렇다. 강력한 논문과 신청 양식이 전부다. World Labs 외부의 누군가가 직접 실행해 보면 다시 다룰 예정이다.