Appleは、ライトフィールドパノラマイメージングをiPhoneカメラに導入する研究を行ってきた。この機能により、ユーザーは視差、明確な物体分離、その他の視覚効果を使って撮影したシーンを仮想現実や拡張現実で探索しながら没入感を得ることができるようになる。
ストーリーのハイライト:
- AppleはiPhoneとiPadのライトフィールドイメージングに関する特許を取得しました
- 本発明は、プレノプティックカメラが提供する機能を再現するものである。
- このような画像は仮想現実や拡張現実で実現するだろう
Apple、iPhoneとiPadでライトフィールドイメージングを研究中
Lytroのようなプレノプティックカメラは、画像センサーの前に配置されたマイクロレンズアレイを用いて色、輝度、方向情報を検出することでこれを実現しています。スマートフォンではスペースが限られているため、Appleはレンズアレイを必要としないソリューションを考案しました。
iPhoneメーカーは新たに取得した「パノラマライトフィールドキャプチャ、処理、および表示」という特許において、手のジェスチャーを使ってiPhoneカメラを様々な角度から撮影することを想定しています。図示されているジェスチャーの一つは、iPhoneまたはiPadを無限大記号のように動かし、複数の角度からシーンを撮影するというものです。
対照的に、現在iPhoneで撮影できる一般的なパノラマ写真は、デバイスを左から右、または上から下にパンしてシーンの連続画像を撮影し、それをつなぎ合わせて広角写真を作成します。ライトフィールド写真では、デバイスが色と光線が空間を移動する方向の両方を捉えます。
カメラの位置やデバイスの向きといった内蔵センサーからの情報も取得されます。Appleのアルゴリズムは、個々の画像、それらの相対位置、深度情報をライトフィールドパノラマとして保存し、後から様々な方法で操作できるようにします。
ライト フィールド イメージをキャプチャすると、選択的な被写界深度 (iPhone カメラで既に実行可能) や光線の方向の決定だけに限定されない利点が得られます。
ARとVRにおけるライトフィールド画像の探索
一実施形態では、ユーザーはシーンの異なる3Dビューを切り替えて表示できます。システムは個々の画像とオブジェクトの相対的な位置を認識しているため、ユーザーは6つの自由度でさまざまな位置と角度からシーンを探索できます。
SIGGRAPH 2020 技術論文に掲載されたビデオでは、新たなライト フィールド イメージング技術のより実用的なアプリケーションの一部を見ることができます。
Appleによると、ヘッドマウントディスプレイ（Appleはそのような機能に取り組んでいると言われています）で体験すると、視聴者はシーン内のオブジェクトの背後や上を見たり、シーンを拡大・縮小したり、シーンのさまざまな部分を見たりすることができるとのことです。さらに視差効果を加えると、ライトフィールドパノラマ画像に基づいた非常に没入感のある拡張現実体験が得られます。
Apple は付与された特許文書の中で次のように書いています。
撮影された画像は視差を考慮しており、仮想現実（VR）でレンダリングされると、シーン内のオブジェクトは、現実世界における位置と視聴者の相対位置に応じて適切に移動されます。さらに、VRシステムで一般的に表示されるコンピューター生成コンテンツのレンダリングと比較して、画像コンテンツは写真のようにリアルに見えます。
視聴者はさまざまな方向に移動したり、コンテンツに合わせて回転したりすることもできます。これは、仮想現実や拡張現実でこれらのものを探索するときに便利な機能です。
→誰もが知っておくべきiPhone写真撮影のヒント
Appleによると、Photosphereのような既存の360度画像技術は3自由度しかサポートしていないため、体験は頭の回転に限られるという。Photosphereは、ライトフィールドパノラマのように、コンテンツ内でユーザーを移動させる機能をサポートしていない。
この特許の詳細については、USPTO の Web サイトをご覧ください。
