AppleはiPhone 11、iPhone 11 Pro、iPhone 11 Pro Maxを発表した際、改良されたカメラシステムに加え、「Deep Fusion」と呼ばれる機能も披露しました。この機能は、既に優れたカメラ性能をさらに向上させるものですが、残念ながら9月に新型iPhoneが発売された時点では、一般向けにはまだ提供されていませんでした。
iOS 13.2の一般公開により、ついに状況が変わります。Deep Fusionが一般公開されたため、iPhone 11とiPhone 11 Proのカメラで撮影した写真がさらに美しくなります。特にセーターを着る方にとっては（これはちょっとした冗談です）、さらに魅力的になります。
これは、機械学習、一枚の写真の多重露光、そしてこれらすべてがバックグラウンドで連携し、特定の状況下でより優れた写真を生み出す、実に複雑なプロセスのシンプルな説明です。Deep Fusionは、 iPhone 11のデュアルカメラやiPhone 11 Proのトリプルカメラシステムで撮影されたすべての写真に使用されるわけではありませんが、実際に使用したときに、その 効果がはっきりとわかるようにすることが目標です。
Apple によるこの機能の基本的な説明は次のとおりです。
iOS 13.2 では、iPhone 11、iPhone 11 Pro、iPhone 11 Pro Max で、A13 Bionic Neural Engine を使用して、質感やディテールが劇的に向上し、暗い場所でもノイズが低減された画像を撮影できる高度な画像処理システムである Deep Fusion が導入されています。
たとえそれが細かいことであっても。
では、なぜAppleはこの機能を追加したのでしょうか？それは、中～低照度環境で撮影した写真の仕上がりに大きく影響します。この機能が際立っているのはまさにそこです。まずは、その仕組みを詳しく見ていきましょう。
低照度画像の改善、ノイズの低減
Deep Fusionでは、カメラのシャッターボタンを押すと、ソフトウェアは既に撮影中の被写体から3フレームをキャプチャしています。これは、ショットの静止画を得るために高速シャッタースピードで行われます。そして、シャッターボタンを押すと、ソフトウェアはさらに3フレームをキャプチャし、同時に露出時間を長くすることで、より詳細なディテールを捉えます。
Apple が「合成ロング」と呼ぶものを実現するために、3 つの通常フレームが長時間露光ショットと組み合わされます。
Deep Fusionは、最もディテールが鮮明な短時間露光画像を選択し、それを背景で作成された合成長時間露光画像と自動的に合成します。この2つのフレームが合成されるだけで、それ以上のものではありません。（少なくとも処理に関しては、これがDeep FusionとスマートHDR機能の主な違いです。）
次に、追加処理を行います。ショットはピクセルごとに4つの追加ステップを経ますが、すべてバックグラウンドで、ほぼ瞬時に実行されます。これらのステップはすべて、ディテールを最大限に引き出すために行われます。あるショットでは、空と壁は最低バンドで処理されます。髪の毛、肌、布地などの要素は最高バンドで処理されます。Deep Fusionは、提供された各露出からディテールを選択し、最終ショットのディテール、色、輝度、トーンを最大限に引き出します。
これらすべてが完了すると (繰り返しますが、これはすべてバックグラウンドで驚くほどのスピードで実行されます)、最終画像が生成されます。
AppleがDeep Fusionのデモに協力してくれたショットが、この記事の冒頭に掲載されています。Appleはこれまで、セーターを着た人物にDeep Fusionをうまく活用したデモを披露してきました。
スマートHDR
さて、前述の通り、iPhone 11とiPhone 11 Proのカメラシステムは常にDeep Fusionを使用するわけではなく、一部のカメラではこの機能を全く利用できません。その様子は以下のとおりです。
望遠レンズはほとんどの場合Deep Fusionを使用しますが、非常に明るいシーンが含まれる場合はSmart HDR（ハイダイナミックレンジ）が作動します。標準広角レンズは、中程度から低照度の状況でDeep Fusionを使用し、明るいシーンから中程度の明るさのシーンではSmart HDR機能が作動します。最後に、iPhone 11 Proの超広角レンズはSmart HDRのみをサポートしているため、Deep Fusionは使用されません。
また、Apple が最新の iPhone で導入したナイトモード機能は主に低光量の写真を処理するものであり、Deep Fusion はその特定のシナリオには対応していないことも注目に値します。
Deep Fusionは、iPhone 11、iPhone 11 Pro、iPhone 11 Pro Maxに搭載されているA13 Bionicプロセッサによって実現されています。そのため、古いiPhoneではこの機能はキラー機能となる可能性がありますが、これらの古い機種ではこの機能を活用できません。
写真家、そして自称写真家ではないけれど、とにかく写真に真剣に取り組んでいる人にとって、Deep Fusionはおそらく最大のメリットとなるでしょう。しかし、iPhone 11やiPhone 11 Proのような、決して安価なデバイスではないスマートフォンで撮影した写真の品質が向上することは、どんなことでも歓迎すべき機能です。
Deep Fusion の追加を楽しみにしていますか？ぜひコメント欄で教えてください！
