「Galaxy S23 Ultra」のカメラ画質が向上した秘密　“2億画素”だけではない見どころ

　Galaxy S23シリーズ最大の特徴といえるのが、「Galaxy S23 Ultra」に搭載されたカメラだ。メインとなる広角カメラに、サムスン初の2億画素センサーを採用。4つの隣接するピクセルを使って、上下左右それぞれの位相差を検出でき、フォーカス速度が上がった他、2段階のピクセルビニングも行える。1200万画素相当の写真として記録することで、暗所での強さも実現。動画、静止画ともに同社が打ち出していた「ナイトグラフィー」を強化している。

【その他の画像】

　こうしたカメラの開発をリードしているのが、サムスン電子のビジュアルソリューションチームでEVP（Executive Vice President）を務めるジョシュア・チョ氏だ。同氏によると、2億画素のセンサーは、「明るいときには画素をフルに使うが、明るさが中程度のときは5000万画素、低照度時は1200万画素と使い分けることができる」。ISP（Image Signal Processor）も強化されており、静止画撮影はもちろん、「安定させるのが非常に難しい」動画でも夜間撮影時のノイズを大きく削減できているという。

●AIで被写体を検出してパーツごとに画質を調整

　撮影した映像はマルチフレームで処理を行っており、AIで被写体を検出。人物の顔全体だけでなく、メガネ、髪の毛といった細かなパーツまで検出し、背景なども含めて明るさや彩度などのチューニングを行っている。実際、Galaxy S23 Ultraで撮影した暗所での写真は、別記事で掲載したように暗所でも人物を明るく描写しつつ、背景も白飛びや黒つぶれがなく、高いクオリティーに仕上がっていた。センサーとAIをはじめとしたソフトウェアの両面で、カメラ機能を大幅に強化したといえる。

●光学式手ブレ補正も強化、セルフィーは各国の声を反映

　また、光学式手ブレ補正は「Galaxy S22 Ultra」との比較で、防振角が2倍に上がり、動画撮影時でもより手ブレが起きにくくなっているという。これを利用したアダプティブ手ブレ補正は、撮影時の明るさや動きに応じて、自動で処理を行う。この手ブレ補正と「強化したISPにより、低照度時でも安定した撮影ができ、ノイズも非常に少なくなる」という。

　一方で、「ユーザー自身が設定で、露出やフォーカス、シャープネスを設定したいというニーズがある」ことから、こうした声に応えるべく、Galaxy S22シリーズには新たに「カメラアシスタント」という機能を搭載した。これを使うと、HDRのオン・オフや、画像をソフトにするかどうか、連写スピードなどの設定を変更できる。Galaxyには、手動で撮影を行うプロモードに加え、RAW撮影を行うための「Expert RAW」というアプリもあるが、カメラアシスタントは、より簡易的に好みを反映させるための機能といえるだろう。

　また、Expert RAWで撮影したRAW写真を現像するためのアプリとして、Adobeの「Lightroom」を採用。アプリは、「Galaxy Store」からダウンロードする必要があるが、撮影後にプレビューを表示したあと、ワンタッチでLightroomを呼び出すことが可能になった。

　同様に、セルフィーには世界各国の声を反映させ、スキントーンをナチュラルとウォームの2種類から選択できるようになった。セルフィー撮影用のインカメラも、センサーにデュアルピクセルを採用しており、位相差の検出が可能。AIによる処理で、人物と背景を分離し、正確なボカシをかけることができるという。

●チョ氏と報道陣の一問一答　画質はハードとソフトの両面から強化

　その他、チョ氏と日本の報道陣との主な一問一答は次の通りになる。なお、チョ氏との質疑応答は、チョ氏が韓国語、質問は英語で行われており、本稿は日本語で執筆している。英語を介して2回言語が変わっているため、ニュアンス等はそぎ落とされている点はご容赦いただきたい。

――　強化したISPを採用したお話がありましたが、そのISPとはSnapdragonに内蔵されたハードウェアベースのことでしょうか。それとも、ソフトウェアベースの改善でしょうか。

チョ氏　両方あります。1つが、QualcommのSnapdragonに搭載されたISPで、もう1つがAIベースのソフトウェアです。両方が改善されていますが、後者のソフトウェアはサムスンが開発したものです。（筆者注：Galaxy S23シリーズは、QualcommのSnapdragon 8 Gen 2に搭載されているCognitive ISPを使用した初のスマートフォン。被写体のセマンティックセグメンテーションなどは、これによって実現している）

――　Snapdragon 8 Gen 2には、今回「for Galaxy」がつき、最適化が施されているという話です。ISPにも、何らかのカスタマイズが加えられているのでしょうか。

チョ氏　確かにSnapdragon 8 Gen 2はわれわれのデバイスに最適化したものではありますが、カメラに関してではありません。

――　これまでのGalaxyは、絵作りが派手すぎる傾向もあったと思いますが、何か改善はされていますか。

チョ氏　AIによるシーンオプティマイザーを搭載し、デフォルトではこれが有効になっています。これは、撮影しているシーンがどのようなものなのかを検出して、色などを調整するための機能です。例えばご飯を撮影した際には、もっとおいしそうに見えるよう、色を派手にしています。空や草花も発色がよくなります。ただ、これはユーザーが好まなければオフにすることが可能です。また、Galaxy S23シリーズに関しては、明るさや色味を、ユーザーの嗜好に基づいて改善しています。今回は、きっとご満足いただけると確信しています。

――　ズームに関してですが、望遠カメラに切り替える間の倍率は、どのような処理をしているのでしょうか。2億画素のセンサーのリモザイク（ピクセルビニングを解除する）で切り出しをしているのでしょうか。

チョ氏　3倍、10倍は光学ズームです。1倍から3倍の間に関してはデジタルズームになりますが、（センサーに）リモザイクをかけ、よりよい画像を作れるようにしています。同様に、3倍から10倍もデジタルズームです。

――　Galaxy S23 Ultraで100倍ズームをしてみましたが、画質が改善されている印象がありました。

チョ氏　はい。その印象は正しいです。100倍ズームの画質を向上させるのは、非常に苦労しました。100倍ズームには、われわれが超解像と呼ぶ画像処理を行っています。1回のシャッターで何枚もの写真を同時に撮り、超解像をかけています。また、写真のクオリティーを上げるために、深層学習（ディープラーニング）も活用しています。

　100倍ズームで何をどう撮るのか、そしてどのように画質が劣化しているのかを考えました。例えば、文字を撮ることがありますが、その画質を向上させるために、より多くの学習をさせることにしました。また、建物は細部が写ることになるので、その細部をよりよくするための学習をAIにさせています。ディテールを再現するため、より多くの学習をさせたということです。ズームに関しては、ハードウェアではなく、基本的にソフトウェア側の改善になります。