Omniverse Audio2Face

Omniverse Audio2Face는 어떤 보이스오버 트랙에도 맞춰 3D 캐릭터를 애니메이션화할 수 있도록 지원하는 레퍼런스 애플리케이션입니다. 애니메이션에 사용할 수 있는 3D 캐릭터 모델이 미리 제공되며, 보이스오버 트랙으로 캐릭터를 움직일 수 있습니다.

오디오 입력은 사전 학습된 심층 신경망으로 전달되고, 그 출력이 캐릭터 메시의 3D 정점을 구동해 실시간 얼굴 애니메이션을 생성합니다. 캐릭터 전송 기능을 사용하면 모든 3D 인간 또는 인간과 유사한 얼굴로 리타기팅할 수 있으며, 장면에 여러 캐릭터를 배치해 출력을 조정하고 AI 네트워크로 캐릭터의 감정을 제어할 수 있습니다.

블렌드셰이프 변환과 블렌드웨이트 내보내기 등의 데이터 변환 기능도 제공합니다. Blender 및 Epic Games Unreal Engine용 Blendshapes를 활용한 가져오기와 내보내기를 지원해 캐릭터의 모션을 생성할 수 있습니다.