スマートフォンのカメラに関して言えば、もはやハードウェアがすべてではありません。最新のスマートフォンは、「コンピューテーショナル フォトグラフィー」技術を自動的に使用して、撮影したすべての写真を改良します。
ソフトウェアを使用してスマートフォンのカメラを改善する
コンピュテーショナル フォトグラフィーは 、ソフトウェアを使用してデジタル カメラの機能を強化または拡張する さまざまな技術を指す広義の用語です。重要なのは、コンピューテーショナル フォトグラフィーは写真から始まり、(たとえ通常のカメラでは決して撮影できなかったとしても) 写真のように見えるもので終わるということです。
従来の写真の仕組み
さらに詳しく説明する前に、古いフィルムカメラで写真を撮るとどうなるかを簡単に説明しましょう。あなた（またはあなたの両親）が 80 年代に使っていた一眼レフカメラのようなもの。
シャッターボタンをクリックすると、シャッターが数秒間開き、フィルムに光が当たります。すべての光は物理レンズによって集束され、写真内のすべてがどのように見えるかが決まります。遠くの鳥をズームインするには、焦点距離の長い望遠レンズを使用しますが、風景全体を広角で撮影するには、焦点距離がはるかに短いレンズを使用します。同様に、レンズの絞りは被写界深度、つまり画像のどの部分に焦点が合っているかを制御します。光がフィルムに当たると、感光性化合物が露出し、その化学組成が変化します。画像は基本的にフィルムストックにエッチングされます。
つまり、使用している機器の物理的特性が、撮影する画像のすべてを制御するということです。一度作成したイメージは更新または変更できません。
コンピューテーショナル フォトグラフィーはプロセスに追加の手順をいくつか追加するため、デジタル カメラでのみ機能します。デジタル センサーは、光学的に決定されたシーンをキャプチャするだけでなく、センサーに当たった光の色や強度などの追加データを記録できます。シーンからより多くの情報を取得するために、異なる露出レベルで複数の写真を同時に撮影できます。追加のセンサーは、被写体と背景の距離を記録できます。そして、コンピューターはその追加情報をすべて使用して、画像に何らかの処理を行うことができます。
一部のデジタル一眼レフカメラやミラーレスカメラには基本的なコンピュテーショナルフォトグラフィー機能が組み込まれていますが、このショーの本当の主役はスマートフォンです。特に Google と Apple は、ソフトウェアを使用して、自社のデバイスに搭載されている物理的に制約のある小型カメラの機能を拡張してきました。たとえば、 iPhone の Deep Fusion カメラ機能 を見てみましょう。
コンピューテーショナル フォトグラフィーではどのようなことができるのでしょうか?
ここまで、機能と一般性について説明してきました。ここで、コンピューテーショナル フォトグラフィーがどのようなことを可能にするのか、具体的な例をいくつか見てみましょう。
ポートレートモード
ポートレート モードは、コンピュテーショナル フォトグラフィーの大きな成功の 1 つです。 スマートフォンのカメラの小さなレンズでは、背景がぼやけた古典的なポートレートを物理的に撮影することができません 。ただし、深度センサー (または機械学習アルゴリズム) を使用すると、画像の被写体と背景を識別し、背景を選択的にぼかして、古典的なポートレートによく似たものを作成できます。
これは、コンピューテーショナル フォトグラフィーがどのように写真で始まり、写真のように見えるもので終わるのかを示す完璧な例ですが、ソフトウェアを使用することで、物理的なカメラでは作成できなかったものを作成します。
暗闇でもより良い写真を撮る
従来のデジタル カメラでは、暗闇で写真を撮るのは困難です 。作業に必要な光があまりないので、妥協する必要があります。ただし、スマートフォンはコンピューテーショナル フォトグラフィーでより優れた性能を発揮します。
異なる露出レベルで複数の写真を撮影し、それらをブレンドすることで、スマートフォンは影からより多くの詳細を引き出し、単一の画像よりも優れた最終結果を得ることができます。特にスマートフォンの小型センサーの場合はそうです。
この技術は、Google では Night Sight、Apple では Night Mode と呼ばれ、他のメーカーでも同様のものと呼ばれていますが、トレードオフがないわけではありません。多重露出の撮影には数秒かかる場合があります。最良の結果を得るには、スマートフォンをスマートフォンの間にしっかりと保持する必要がありますが、暗闇の中でも写真を撮ることが可能になります。
照明が難しい状況でも写真をより適切に露出する
複数の画像をブレンドすると、暗い場所でより良い写真が撮れるだけではありません。 他の多くの困難な状況 でも同様に機能します。 HDR またはハイ ダイナミック レンジ写真は しばらく前から存在しており、DSLR 画像では手動で行うことができますが、最新の iPhone と Google Pixel スマートフォンでは現在デフォルトで自動になっています。 (Apple はこれをスマート HDR と呼びますが、Google はそれを HDR+ と呼びます。)
HDR は、どのように呼ばれているかに関係なく、ハイライトを優先した写真とシャドウを優先した写真を組み合わせて、不一致を均等化することによって機能します。 HDR 画像は以前は飽和しすぎてほとんど漫画のようでしたが、プロセスは大幅に改善されました。まだわずかにずれているように見える場合もありますが、ほとんどの場合、スマートフォンは HDR をうまく活用して、デジタル センサーの限られたダイナミック レンジを克服しています。
さらにたくさんのこと
これらは、最新のスマートフォンに組み込まれている、より要求の厳しい計算機能のほんの一部です。 拡張現実要素を作品に挿入したり 、写真を自動的に編集したり、 長時間露光画像 を撮影したり、 複数のフレームを組み合わせて最終写真の被写界深度を改善したり 、さらには簡単な機能を提供したりするなど、提供すべき機能はたくさんあります。パノラマ モードは、動作するためにいくつかのソフトウェア アシストにも依存します。
コンピューテーショナル フォトグラフィー: 避けることはできません
通常、このような記事では、計算上の写真を撮る方法を提案したり、アイデアを自分で試してみることを推奨したりして話を終えるでしょう。ただし、上記の例から明らかなように、スマートフォンを所有している場合、コンピュテーショナル フォトグラフィーを避けることはできません。最新のスマートフォンで撮影した写真はすべて、何らかの計算プロセスを自動的に受けます。
そして、コンピュテーショナル フォトグラフィーの技術はますます一般的になるばかりです。メーカーが物理的および実用的な限界に達し、 それを回避する 必要があるため、過去 5 年間にわたってカメラ ハードウェアの開発は減速してきました。ソフトウェアの改善には、同じようなハード制限はありません。 (たとえば、iPhone には iPhone 6 以来、同様の 12 メガピクセルのカメラが搭載されています。新しいカメラの方が優れているわけではありませんが、iPhone 6 と iPhone 11 の間のセンサーの品質の変化ははるかに小さくなっています。 iPhone 6 と iPhone 4 よりも劇的です。)
今後数年間で、 機械学習アルゴリズムが 改良され、アイデアが研究室から消費者向け技術に移されるにつれて、スマートフォンのカメラはさらに高性能になり続けるでしょう。
