Epic Games は本日、Face ID を活用してすべての開発者がリアルタイムの顔アニメーション キャプチャを利用できるようにする新しい iPhone アプリをリリースしました。
Live Link Faceのご紹介
「Live Link Face」と呼ばれるこの無料アプリを使えば、AppleのFace ID対応TrueDepthカメラを搭載したiPhoneを使って、バーチャルプロダクション用の3Dフェイシャルアニメーションをリアルタイムで簡単にキャプチャできます。キャプチャしたデータはUnreal Engineに送信され、キャラクターの表情をマッピングして視覚化できます。
Live Link Faceは、iPhoneからUnreal Engineのキャラクターに、高品質なフェイシャルアニメーションをリアルタイムで直接ストリーミングします。このアプリのトラッキング機能は、AppleのARKitとiPhoneのTrueDepthフロントカメラを活用し、パフォーマーの顔をインタラクティブにトラッキングします。トラッキングデータは、ネットワーク経由でLive Linkを介してUnreal Engineに直接送信されます。
記録されたデータはアニメーションツールで微調整できます。
ユーザーはスマートフォンで参照ビデオを再生したり、テイクを削除したり、AirDropで共有したりできます。Epic Gamesはブログ記事で、このシステムはタイムコードを使用して他のキャプチャデバイスと同期するため、複雑なモーションキャプチャステージにも組み込むことができると述べています。
モーションキャプチャスーツを備えたヘッドマウントリグを装着するのではなく、デスクに座りながらアプリを使用すると、頭と首の回転に関する追加データがキャプチャされ、iPhone だけを使用してデジタルアバターの動きの自由度が高まります。
「アニメーターは、生のブレンドシェイプデータ（CSV）と、それぞれタイムコードが記録された前面ビデオ（MOV）の両方を記録するオプションも活用して、エンジン内でさらに調整が必要になった場合にパフォーマンスの参考資料として使用することもできます」と同社は述べています。
詳細については、Epic のサポート ドキュメントをご覧ください。
主な特徴
次の機能がサポートされています:
フロントカメラと ARKit による顔のアニメーション:
- ネットワーク経由で Live Link を介して Unreal Engine インスタンスにデータをライブでストリーミングします。
- 3Dプレビューメッシュを駆動し、オプションで携帯電話のビデオ参照に重ねて表示します
- 生の顔アニメーションデータと正面からのビデオ参照映像を記録する
複数デバイスの同期のためのタイムコードサポート:
- iPhoneのシステムクロック、NTPサーバーから選択するか、Tentacle Syncを使用してステージ上のマスタークロックに接続します。
- ビデオ参照はフレーム精度で、編集用のタイムコードが埋め込まれています。
OSC を使用して Live Link Face をリモートで制御します。
- 俳優が演技に集中できるよう、外部から録音をトリガーします
- スレート名をキャプチャし、番号を一貫して取得する
- アーカイブ用にデータを自動的に抽出する
Live Link Face 内でキャプチャしたテイクのライブラリを参照および管理します。
- テイクを削除してAirDropで共有
- 携帯電話で参照ビデオを再生する
Epic Games は、Unreal Engine 5 (PlayStation 5 で実行される印象的な Unreal Engine 5 のデモをご覧ください) にも取り組んでおり、2021 年には Apple の iOS および macOS デバイスにも登場する予定です。
Live Link FaceはApp Storeから無料でダウンロードできます。
