AI와 함께하는 길
Waymo World 모델은 내부에 대시캠 비디오가 들어 있는 Genie 3의 단순한 포트가 아닙니다. Waymo와 DeepMind는 특수한 사후 훈련 프로세스를 사용하여 새 모델이 동일한 장면의 2D 비디오와 3D LiDAR 출력을 모두 생성하도록 했습니다. 카메라는 미세한 세부 사항을 시각화하는 데 적합하지만, Waymo는 자율 주행 자동차가 도로에서 “보는” 것에 중요한 깊이 정보를 추가하려면 LiDAR가 필요하다고 말합니다. 아마도 누군가 Tesla에 이에 대해 알려야 할 것입니다.
Waymo는 월드 모델을 사용하여 차량에서 영상을 촬영하고 프롬프트를 사용하여 차량이 이동하는 경로를 변경합니다. 이를 운전 동작 제어라고 합니다. LiDAR 맵과 함께 제공되는 이러한 시뮬레이션은 이전의 재구성 시뮬레이션 방법보다 더 큰 사실성과 일관성을 제공하는 것으로 알려졌습니다.
Waymo는 월드 모델을 통해 자동차가 다른 방향으로 회전하면 어떤 일이 일어날지 확인할 수 있습니다.
이 모델은 모든 것을 추가하거나 제거하지 않고도 자율 주행 AI를 개선하는 데 도움이 될 수도 있습니다. 자율주행 차량 교육에 사용할 수 있는 대시캠 동영상이 많이 있지만 Waymo 차량의 다중 모드 센서 데이터가 부족합니다. 이러한 비디오를 Waymo World 모델에 추가하면 일치하는 센서 데이터가 생성되어 운전하는 AI가 해당 상황을 어떻게 인식했는지 보여줍니다.
Waymo World Model은 완전히 합성된 장면을 만들 수 있지만 회사는 실제 비디오의 조건을 “변형”시키는 데 주로 관심이 있는 것 같습니다. 블로그 게시물에는 시간이나 날씨를 변경하거나, 새 표지판을 추가하거나, 특이한 장소에 차량을 배치하는 예가 포함되어 있습니다. 아니면 길에 코끼리가 있는 건 어떨까요?
Waymo는 코끼리가 나타날 경우를 대비해 준비되어 있습니다.
Waymo의 초기 테스트 도시는 악천후가 거의 없이 지속적으로 화창했습니다(피닉스처럼). 이러한 종류의 시뮬레이션은 자동차가 보다 다양한 조건에 적응하는 데 도움이 될 수 있습니다. 새로운 시장에는 보스턴, 워싱턴 DC 등 조건이 더 어려운 곳이 포함됩니다.
물론, 새로운 AI 모델의 이점은 Genie 3가 현실 세계를 얼마나 정확하게 시뮬레이션할 수 있는지에 달려 있습니다. Genie 3에 대해 우리가 본 테스트 비디오는 믿을 수 있는 수준부터 불쾌한 계곡 영역까지 다양하지만 Waymo는 자율주행차에 한두 가지를 가르칠 수 있을 정도로 기술이 향상되었다고 믿습니다.
