iPhoneに搭載されているPhotonic Engineについて

2024年3月19日

当ページのリンクには広告が含まれています。

iPhoneに搭載されているPhotonic Engineについて — 画像：Apple

「Photonic Engine」とは、AppleがiPhone 14シリーズ以降に搭載している画像処理技術のことです。昔からの機能ではなく、比較的新しい機能で、従来のDeep Fusionを応用した機能とされています。従来の画像処理プロセスを大幅に進化させ、特に低照度環境下での写真画質を飛躍的に向上させることを目的に開発されました。

Photonic Engineの基礎「Deep Fusion」について

Photonic Engineを解説する前に、まずは基礎となっている「Deep Fusion」について解説します。

「Deep Fusion」とは、iOS 13.2あるいはiPhone 11シリーズ以降に搭載された、高度な画像処理技術のことです。屋内や中程度の明るさの環境下で、写真の細部を際立たせ、ノイズを低減することを目的としており、以下の3種類の露光で撮影された計9枚の写真を合成して1枚の高品質な写真を作ります。

短時間露光4枚
標準露光4枚
長時間露光1枚

そして、これらの画像を機械学習を用いて合成することで、光の当たり方や被写界深度を画素単位で最適することで、高画質な写真へと仕上げます。また、この機能はカメラアプリや設定アプリには有効化/無効化のスイッチはなく、周囲の明るさが中程度から低度でのときに自動で動作します。

ちなみに、Appleは、iPhone 11を発表した際、

この秋後半に登場するDeep Fusionは、A13 BionicのNeural Engineによって可能となる新しい画像処理システムです。Deep Fusionは高度な機械学習を使って写真のピクセル単位での処理、写真のすべての部分の質感、細部、ノイズの最適化を行ないます。

と説明していました。

Deep Fusionの核は、Appleの独自プロセッサ「Neural Engine」

従来のスマートフォンカメラでも、複数の写真を撮影し、それらを合成することで画質を向上させる技術を用いていました。しかし、Deep Fusionは、従来の技術とは一線を画す、より高度な処理を行います。

その処理を行っているのが、Appleが独自に開発した「A13 Bionic」以降のチップに搭載された「Neural Engine」と呼ばれる機械学習処理に特化したプロセッサです。このNeural Engineのおかげで、Deep Fusionの複雑な処理を高速かつ効率的に実行できます。

Neural Engineについての解説はこちら

Deep Fusionの処理手順

Deep Fusionの処理は、シャッターボタンを押す前から、すでに始まっています。カメラアプリが起動している間、常に複数の写真が撮影され、一時的に保存されています。シャッターボタンを押すと、これらの写真に加えて、露出の異なる写真が複数枚撮影されます。

これらの写真は、Neural Engineによってピクセル単位で解析されます。Neural Engineは、写真の各ピクセルが持つ色、明るさ、テクスチャなどの情報を詳細に分析し、最適な組み合わせを決定します。

そして、最も優れた部分を組み合わせて、一枚の最終的な写真が生成されます。この際、Neural Engineは、機械学習によって学習した知識を活用し、写真の細部を際立たせ、ノイズを低減する処理を行います。

例えば、Deep Fusionは、人の肌の質感や衣服の繊維などを、よりリアルに再現することができます。また、光量が少ない環境下でも、ノイズを抑え、クリアな写真を撮影することができます。

Deep Fusionは、ユーザーが意識することなく、自動的に適用されるので、カメラアプリの設定画面にも、Deep Fusionをオン・オフする項目はありません。これについては、AppleがDeep Fusionを使って、常に最高の写真を撮影するためだとされています。

写真において、特に屋内や中程度の明るさの環境下で綺麗な撮影をするのは難しいですが、機械学習を使って写真の質を高められるのは、AIの技術が進歩したおかげですね

次にPhotonic Engineについて

上記で解説したDeep Fusionは画像処理や圧縮した後の写真データを合成していましたが、Photonic Engineは圧縮前のデータや画像処理をする前の、多くの写真データが残っている段階でDeep Fusionを適用させることができます。そのため、従来の画像処理プロセスが大幅に進化し、特に低照度環境下での写真画質が以下のような点で飛躍的に向上しました。

低照度環境下でのノイズの低減
ディテールの向上
色彩の正確性向上

低照度環境下でのノイズの低減

従来よりも早い段階でDeep Fusionを適用することで、より多くの情報量を保持したままノイズ処理を行うことができ、低照度環境下でもクリアで美しい写真撮影が可能。

ディテールの向上

ピクセル単位で最適な部分を合成するDeep Fusionの精度が向上したことで、細部の表現力が向上し、質感や立体感をよりリアルに表現

色彩の正確性向上

より多くの情報量を保持したまま処理を行うことで、色彩の正確性が向上し、見たままの美しい色合いを再現

ちなみに、AppleはiPhone 14紹介ページにて、Photonic Engineを次のように解説しています。

ハードウェアとソフトウェアの緊密な連係により、Photonic Engineはすべてのカメラで明るさが中程度から低度の写真の性能を向上させ、超広角カメラでは最大2倍、TrueDepthカメラでは2倍、新しいメインカメラでは驚異的にも2.5倍、性能が向上しています。
出典：Apple Newsroom 「Apple、iPhone 14とiPhone 14 Plusを発表」

ここに書かれている2倍や2.5倍がどれほどのものかは分かりませんが、Photonic Engineが写真の画質向上の一因に関わっていることは間違いないでしょう。

Photonic Engineの仕組み

Photonic Engineは、従来の画像処理プロセスにおいて、Deep Fusionを適用するタイミングを大幅に早めることで、より多くの画像情報を保持し、それを活用することを可能にしています。

従来の画像処理プロセスでは、写真撮影後、圧縮やノイズ処理などの初期処理が行われた後にDeep Fusionが適用されていました。しかし、Photonic Engineでは、圧縮前のRAWデータに近い段階でDeep Fusionを適用することで、より多くの情報量を保持したまま処理を行うことができます。これにより、特に低照度環境下で発生しやすいノイズを大幅に低減し、質感や色彩をより正確に表現することが可能になりました。