合成ディープフェイク俳優があなたの近くのスクリーンに登場します

最初の映画 「ラウンデイ・ガーデン・シーン」は、 130 年以上前に撮影されました。その間、私たちが実写映画で見てきた人間は生身の人間でしたが、コンピューター グラフィックスの登場以来、それが変わり始めました。

不気味の谷を出ます

人間の顔は、コンピュータ グラフィックス (CG) や実用的な特殊効果を使用して説得力のある方法で再現するのが最も困難です。人間の脳は顔を認識するのに非常に適応しており、そこに存在すらしない顔が見えるほどです。 CG の顔が本物であると観客を騙すことはほとんど効果がなく、それに近いものはいわゆる「 不気味の谷 」に陥ってしまいます。

不気味の谷とは、顔のリアルさの連続性の中で、人工的な人間の顔に不気味さを感じ始める地点のことです。 『ポーラー・エクスプレス』 などの一部の映画は、そのことで悪名高いです。処理能力とレンダリング方法の進歩、および顔 ディープフェイク のような 機械学習 ソリューションにより、この状況は変わりつつあります。最新のゲーム機のリアルタイム グラフィックスでも、写真のようにリアルな顔に非常に近づくことができます。

Matrix Awakens Unreal Engine 5 のデモは、これを驚くべき方法で示しています。家庭用ゲーム機で動作しますが、多くのシーンでは本物の俳優の再現とオリジナルの CG キャラクターの両方が本物のように見えます。もう 1 つの素晴らしい例は、Netflix のアンソロジー シリーズ 「Love, Death + Robots」 です。一部のエピソードには、CG か本物か区別できない CG の顔が含まれています。

パフォーマンスキャプチャの黄金時代

不気味の谷から抜け出すには、単に写実的な顔を作成するだけではなく、キャラクターの顔と体の瞬間を正しく捉える必要もあります。映画製作者やビデオ ゲーム開発者は現在、デジタル キャプチャされたパフォーマンスを専門とするアンディ サーキスのような俳優の動きや表情を正確にキャプチャするツールを手に入れています。

先駆的な作品のほとんどは、今日でも受け継がれているジェームズ キャメロン監督の に明らかです。しかし、現代の素晴らしいモーション キャプチャ作品には賞賛に値するものが不足しません。マーベル映画の世界に登場するサノスも、最近の注目すべき例です。

パフォーマンス キャプチャの強みは、パフォーマーが CG キャラクターのように見える必要がないことです。同じ種である必要さえありません。これは、1 人の俳優または少数の俳優グループがキャラクターのキャスト全体を演じることができることも意味します。俳優やスタントマンに同じキャラクターのモーション データを提供してもらうこともできます。

ディープフェイク音声は完成されつつある

信頼できる合成アクターを作成することは、単なる写真のようにリアルなビジュアル作品以上のことを意味します。俳優は演技を完成させるために声を使いますが、それはおそらく他のすべてのことと同じくらい重要です。 CG アクターに声を与えたい場合、いくつかのオプションがあります。

声優さんを起用してもいいですし、オリジナルキャラクターでも大丈夫です。元の俳優がまだ生きているキャラクターを再作成する場合は、その俳優の声のパフォーマンスをダビングするだけで済みます。また、亡くなった人や深刻なスケジュールの競合がある人を再登場させるときに、ものまねを使用することもできます。 『ローグ・ワン』で、グランド・モフ・ターキンとして復活したピーター・カッシングの姿に出会ったとき、ガイ・ヘンリーは声とパフォーマンスのキャプチャーの両方を提供しました。

最も興味深い例は、『マンダロリアン』（およびその後の『ボバ・フェットの本』）におけるルーク・スカイウォーカーの若い頃の姿に由来します。マーク・ハミルに CG の顔を持つ代役俳優を使用してシーンのセリフを録音させるのではなく、AI ソフトウェアが使用されました。

このアプリは Respeecher と呼ばれ、マーク・ハミルのキャリアのその時代の録音素材をそれにフィードすることで、 その合成レプリカを作成することが可能でした。 ほとんどの人が実際にハミルの話を聞いていないことにさえ気づかなかったので、 音声ディープフェイクが 短期間で大きな進歩を遂げたことは疑いの余地がありません。

リアルタイムディープフェイクが出現中

ディープフェイクは、従来の CG 顔に対する本当の競争になりつつあります。マンダロリアンのルーク・スカイウォーカーの CG の顔は見栄えがよくありませんでしたが、YouTuber のシャムックはディープフェイク技術を使用して その顔を整え 、不気味の谷のよりおいしい側に引きずり込みました。 VFX YouTuber の Corridor Crew はさらに一歩進んで、CG の顔の代わりにディープフェイク技術を使用して、独自の俳優で シーン全体を再撮影しました 。

結果は驚くべきものですが、この品質のディープフェイクビデオを作成するには、ハイエンドコンピューターでも長い時間がかかります。これは、現代の CG のレンダー ファーム要件とはまったく異なりますが、簡単なことでもあります。しかし、コンピューターの能力はますます進歩しており、現在では リアルタイムで一定レベルのディープフェイク を行うことが可能です。専用の機械学習コンピューターチップが改良されるにつれて、最終的にはディープフェイク技術で合成俳優の顔を処理する方がはるかに高速かつ安価で現実的になる可能性があります。

AIはオリジナルの顔を作成できる

映画やテレビで彼らの顔を何百回も見ているので、誰もがブラッド・ピットやパトリック・スチュワートを認識できます。これらの俳優は素顔を使ってキャラクターを演じるので、私たちは彼らの顔をそのキャラクターと関連付けます。 2D と 3D のアニメや漫画の世界では事情が異なります。アーティストは、実在の人物には似ていないキャラクターを作成します。まあ、少なくとも故意ではありません！

AI ソフトウェアを使用すると、写真のように リアルな人間の顔 を使って同様のことができるようになりました。 「この人は存在しません」 に移動すると、数秒で現実ではない人のリアルな顔を生成できます。 Face Generator では さらに進化して、架空の人物のパラメータを微調整できます。これらの顔がまだ少し偽物に見える場合は、 オープンソース ソフトウェア として誰でも利用できる NVIDIA の AI 顔生成ソフトウェア StyleGAN をチェックしてください。

このように生成された顔を合成音声やパフォーマンス キャプチャと組み合わせることで、実際に存在するどの俳優にも似ていないキャラクターを作成できます。最終的には、人間がパフォーマンスを提供する必要がなくなるかもしれません。合成キャストを制御する人形遣いによって物語全体が語られる未来が約束されています。

真実は小説よりも奇なり

2002 年の映画『 S1m0ne』 では、アル・パチーノは、合成 CG 女優を完全に作成できる実験的なソフトウェアを発見した監督を演じています。彼は彼女を人形遣いでスターダムに押し上げるが、やがてマスクが外れ、存在しない誰かに媚びていたことが世界にバレてしまう。

今日の現実世界におけるテクノロジーの軌跡により、シモーネのような女優がいつかは SF の世界ではなく、現実的な存在になりつつあります。唯一の違いは、シモーネのことを秘密にしなければならず、そうでなければ大衆が反乱を起こすということだ。現実の世界では、俳優が合成であることは誰もが知っていますが、気にすることはありません。