はじめに
機械学習の力を活用し、ゲーム業界は画面上のキャラクターをよりいきいきと描き出す方法を革新しています。2024年のMachine Learning Summitでは、エレクトロニック・アーツのテクニカルアートディレクターであるHau Nghiep Phanが、表情リギングとアニメーションの複雑なプロセスを自動化する画期的なツールを紹介します。
表情リギングの課題
10～20人の主要キャラクターの表情豊かな顔を作るには、さまざまな表情、視線の動き、顔の特徴を捉えるため、数週間から数か月もかかります。肌の色、鼻の形、目、唇、顔の比率など、顔の特徴の多様性を表現することは大変な作業です。特に、さまざまな人種、性別、年齢を表現する際にその難しさが増します。また、人間が作り出す豊かな表情を再現することも表情リギングの課題の1つです。
データの収集と処理
講演では、Matarのようなツールを使って、一貫した構造と安定化を持つ表情スキャンをキャプチャーする過程について説明されています。その表情スキャンは個別のブレンドシェイプに分解され、リグのコントロールと適切に連動し、直感的にアニメーションできるよう調整されます。講演者は、リグの逆変換を使ってブレンドシェイプのリグコントロールとアニメーションを自動的に推定する「Face Optim」というツールを紹介しています。
ブレンドシェイプの生成
連続したモーションキャプチャーデータについては、Face Optimが10,000フレーム全体を最適化してリグコントロールをアニメーションできます。完全な表情セットが用意できない場合は、講演者が「Face Mixer」というツールを紹介しています。これは、既存の顔とブレンドシェイプのデータベースから最適なブレンドシェイプを推定することができます。Face Mixerの品質はデータベースの多様性に依存し、データベースが大きいほど結果が良くなることが示されています。
写真のような精度の表情再構築
講演では、入力画像1枚から顔を生成・アップスケールする「Face Bot」というツールを紹介しています。Face Botは、差分レンダリングを使って写真測量とフォトメトリックステレオを模倣し、メッシュとテクスチャを最適化することで、リアルタイムレンダリングに適したものを生成します。講演者はまた、形状モデルと最適化を使って単一の入力画像から初期メッシュとテクスチャを再構築する「Maria」プロジェクトについても言及しています。
ユーザーへのサービスと今後の展望
ユーザーフレンドリーな体験を提供するため、講演者はユーザーが単一の画像をアップロードすると、生成された表情リグとブレンドシェイプが得られるWebベースのサービスを紹介しています。講演者は、現在の結果はまだ実際のスキャンに比べて写実的ではないと指摘し、アルゴリズムとデータセットの改善の必要性を述べています。講演者は、今後の展開に期待を寄せ、チームメンバーの貢献に感謝しています。
まとめ
この講演で紹介された技術進歩は、ゲーム業界における表情リグとアニメーションの作成方法を根本的に変える可能性を示しています。表情の捉え方、処理、写実的な表情の生成をオートメーション化することで、表情豊かなキャラクターを描き出す際の時間と労力を大幅に削減できます。この技術はさらに進化し、今後ますます優れた結果が期待できるでしょう。
主なポイント:
- 機械学習ツールを使った表情リギングとアニメーションのオートメーション化
- 表情スキャンのキャプチャーと処理によるブレンドシェイプの作成
- Face Mixerのようなツールを使った限定データからのブレンドシェイプ生成
- 単一の入力画像からの写真のような精度の顔メッシュとテクスチャの再構築
- 表情リギングのワークフローを簡素化するためのユーザーフレンドリーなツールとサービス
- 表情再構築とアニメーションの分野における継続的な課題と今後の改善点