Facebookの最高技術責任者マイク・シュローファー氏によれば、同社のiPhone、iPad、iPod touch、Androidスマートフォンおよびタブレット向けのモバイルアプリケーションでは、写真やビデオにPrismのような高度なライブフィルターやエフェクトがまもなく提供される予定だという。
シュローファー氏は、これらのフィルターにより、デバイス上で直接実行される人工知能アルゴリズムと高効率ニューラルネットワークを使用して、ユーザーは写真やビデオを芸術作品に変えることができると述べた。
ソーシャルネットワークは、今後登場するライブ写真およびビデオエフェクトに、モバイルデバイス上でリアルタイムにピクセルをキャプチャ、分析、処理できるFacebookの新しいディープラーニングプラットフォームであるCaffe2Goが使用されることを明らかにした。
エンジニアは、一部のスマートフォンで1/20秒以下、つまり50ミリ秒でAI推論を提供できたと明かしました。ちなみに、人間のまばたきは1/3秒、つまり300ミリ秒です。
シュレーファー氏によれば：
わずか 3 か月前、私たちはこれまで誰もやったことのないことをやろうと決意しました。それは、モバイル デバイス上でリアルタイムに実行される AI ベースのスタイル転送をリリースすることです。
これは大きなエンジニアリング上の課題でした。電力、メモリ、コンピューティング能力などの領域で独自のリソース制約があるデバイス上で、強力なコンピューティング操作を実行できるソフトウェアを設計する必要があったからです。
その結果、モバイル デバイス上でピクセルをリアルタイムでキャプチャ、分析、処理できる新しいディープラーニング プラットフォーム、Caffe2Go が誕生しました。
エンジニアは、iOS と Android 上でディープ ニューラル ネットワークを高効率で実行できるようにするには、メディア処理に使用される人工知能モデルのサイズを 100 分の 1 に縮小する必要があったと説明しています。
Caffe2Go を使用すると、iPhone の標準カメラ アプリに組み込まれているリアルタイムのビデオおよび写真効果と同様に、写真、ビデオ、さらにはライブ ビデオへの効果の適用が手のひらの中でリアルタイムに実行されます。
Caffe2Go フレームワークは、Facebook アプリに完全に組み込まれました。
Facebookは「顔の表情を認識し、笑ったときに自撮り写真に「イェー」フィルターをかけるなど、関連するアクションを実行できます」と述べている。
これらのリアルタイム フィルターがどのように機能し、手のジェスチャーで簡単に制御できるかをよりよく理解するには、すぐ下にリンクされているソース記事に埋め込まれているビデオを確認するか、このブログ投稿を読んで、これらすべてをどのようにして実現できたかを学んでください。
出典: Facebook
