スマホでの動画撮影とAI推論性能を大幅に引き上げるSnapdragon 888

Qualcommのプレミアムティア(ハイエンド)向け
次世代スマートフォン用SoCとなるSnapdragon 888が発表されました。
その概要に関しては別記事
5nmで製造される『Snapdragon 888』の詳細」で紹介してありますが、
本記事ではそれらの発表から見えてきた
Snapdragon 888の特徴について解説していきます。

現在のスマートフォンの最大の競争領域である
カメラ周りの機能を強化するために
ISP(Image Signal Processor)を大きく強化し、
さらにCPU/GPU/DSPも強化することで、
それらを異種混合で処理していくQualcommのAIエンジンの性能が
大きく引き上げられていることがSnapdragon 888の大きな特徴です。

Samsung電子の5nmを採用でモデムを内蔵することにより基板設計を有利に

Snapdragon 888のパッケージ。
ダイはSamsung電子の5nmで製造されます。
ダイサイズやトランジスタ数などは非公開(出典:Qualcomm)

公開されたSnapdragon 888ですが、
例年のSnapdragonの進化よりもやや大きめの進化となっています。
その最大の要因は、
製造プロセスの微細化が図られていることです。
Snapdragon 855/865では
TSMCの7nmプロセスが製造には利用されてきました。
それに対して、
今回のSnapdragon 888では
Samsung Electronicsの5nmプロセスで、
Qualcomm向け特注プロセスが採用されています。

なぜSamsungを選んだのかに関しては、
「いつでも製品の特性などに応じて最適なプロセスノードや
ファウンダリを選択している」と述べるだけで、
具体的な理由に関しては明かしていません。
なお、
Snapdragon 835/845では
Samsungの10nmを利用していましたが、
Snapdragon 855/865ではTSMCの7nmへと変更しており、
世代ごとにファウンダリを変えているというのはそのとおりです。

しかし、
現在TSMCの5nmプロセスを利用して出荷できているのが
Appleだけという現状を考えれば、
TSMCのラインにおける優先度がAppleにあることは明白です。
TSMCの最先端のラインは
ファブレス半導体メーカーの奪い合いという現状があり、
それを考えれば競合となるAppleが優先されるTSMCよりも、
自社が優先されるSamsungの5nmを選んだと考えられます。

ただ、
Samsungの5nmはTSMCの5nmに比べて歩留まり
(製造した製品のうちの良品率)の立ち上がりが遅い
という報道が相次いでおり、
それが不安材料の1つとは言えます。
しかし、
今回実際に製品として発表でき、
そして2021年の前半中にはOEMメーカーのスマートフォンに
搭載されて出荷可能と明らかにしたということは、
その目処は立ったということです。

仮に歩留まりがあまり良くないのに強行して製品を発表しても、
OEMメーカーが「足りない! 足りない! 」と大騒ぎして、
ばれてしまうことは目に見えています
(PCメーカーがここ数年何をアピールしているか考えればすぐわかるでしょう)
ので、
少なくともOEMメーカーが求める数は
確保できる見通しが立ったということだと考えられます。

従来製品ではSoC+モデム+RFの3チップ構成でしたが、
Snapdragon 888ではモデムは内蔵しているので、
SoC+RFでスマートフォンが構成できます(出典:Qualcomm)

そのプロセスの微細化のわかりやすい恩恵が、
5Gモデムの内蔵です。
といっても、
すべてを内蔵したわけではなく、
モデムのMACなどのデジタル部分を内蔵し、
RF(無線)モジュールは外付けとなっています。
この仕組みは4G世代と同様であり、
特別というわけではありません。
Snapdragon 865では、
SoC、モデム、RFという3チップ構成だったのが、
2チップに減ることになります。
OEMメーカーにとってはモデム分の実装面積を減らすことができるので、
より小さな基板を設計/製造できますし、
製造コストを抑えられます。

AppleのA14ではモデムが外づけで、
Qualcommなどが供給しているモデム、
RFを別途搭載しなければならないため、
3チップ構成のままになります。
この点はSnapdragon 888の大きなメリットと言えます。

モデムのスペック、
クライアント向けとしては
業界で最高のモデムを内蔵していることが
Snapdragon 888のメリットの1つです(出典:Qualcomm)

なお、
RFに関してはサブ6(6GHz以下の帯域)と
ミリ波(28GHzなどの超広帯域)の両方に対応しており、
SAとNSAの両方の方式に対応しています。
キャリアアグリゲーション
(複数の帯域を束ねて通信するモード)にも対応しており、
最大で下り7.5Gbps、
上りは3Gbpsでの通信に対応します。

また、
細かいことですが、
従来製品では対応していなかった、
デュアルSIMのシステムで両方とも
5GHzでスタンバイするモード(5G Multi-SIM)にも対応しています。
このため、
Snapdragon 888を搭載したデュアルSIMのシステムでは、
どちらのSIMカードスロットにも5G対応SIMを入れて利用することができます。

CPU、GPUともに性能強化が図られ

Kryo 680の特徴はCortex-X1を採用していること。
高性能(Cortex-X1×1+Cortex-A78×3)と
高効率(Cortex-A55×4)を切り替えて利用できます(出典:Qualcomm)

その新しい5nmに基づくSnapdragon 888ですが、
CPU、GPU、NPUの代わりとなるDSP、
そしてISPのいずれもが大きく強化されています。

【表】Snapdragon各世代のCPU/GPU/DPS/ISP
(Qualcommの資料より筆者作成)

Snapdragon 888Snapdragon 865Snapdragon 855Snapdragon 850Snapdragon 835
発表年2020年2019年2018年2017年2016年
CPUブランド名Kryo 680Kryo 585Kryo 485Kryo 385Kryo 280
CPUベースデザインCortex-X1/A78(1コア+3コア)+Cortex-A55(4コア)Cortex-A77(4コア)+Cortex-A55(4コア)Cortex-A76(4コア)+Cortex-A55(4コア)Cortex-A75(4コア)+Cortex-A55(4コア)Cortex-A73?(4コア)+Cortex-A53?(4コア)
L3キャッシュ4MB4MB2MB2MB?
GPUブランド名Adreno 660Adreno 650Adreno 640Adreno 630Adreno 540
メモリバス幅(未公表)(未公表)4x16bit4x16bit4x16bit
メモリ種類/データレートLPDDR5-3200MHz/LPDDR4x-2133MHzLPDDR5-2750MHz/LPDDR4x-2133MHzLPDDR4x/2133MHzLPDDR4x/1866MHzLPDDR4x/1866MHz
メモリ理論帯域幅(未公表)(未公表)約34.1GB/s約29.9GB/s約29.9GB/s
DSPHexagon 780Hexagon 698Hexagon 690Hexagon 685Hexagon 682
ISPSpectra 580Spectra 480Spectra 380Spectra 280Spectra 180
モデムX60(内蔵)X55(外付け、5G/7.5Gbps)X24(CAT20, 2Gbps)X20(CAT18, 1.2Gbps)X16(CAT16, 1Gbps)
製造プロセス5nm(Samsung)7nm(N7P)7nm(N7)10nm(Samsung)10nm(Samsung)

CPUは前世代となるSnapdragon 865では
ArmからIPライセンスとして提供されている
Cortex-A77(4コア、高性能コア)+Cortex-A55(4コア、高効率コア)
という組み合わせになっていました。
ただし、
A77のコアのうち1つだけが、
高クロックで動くというのがSnapdragon 865の仕組みでした。
これは元々のCortex-A77のデザインにはない
特別仕様だったのですが、
QualcommはArmからこうした特別デザインができるライセンス
(Build on Arm Cortex Technology)を供与されており、
その権利を行使してこうしたデザインになっていたのです。

Snapdragon 888では、
Armの最新IPデザインであるCortex-A78をベースにして、
4つあるコアのうち1つだけは
Cortex-X1というより性能を引き上げたデザインになっています。
Cortex-X1ではL2キャッシュやL3キャッシュを
倍にするなどの仕様になっていますが、
今回のSnapdragon 888に搭載されたCortex-X1では
L2キャッシュは倍の1MBになっていますが、
L3キャッシュは従来製品と同じ4MBに留まっています。

キャッシュサイズを大きくすることは
もちろん性能にはいい影響を与えるのですが、
その反面ダイサイズの肥大化を招くことになるので
消費電力的には不利になります。
今回はそのバランスを勘案してL2キャッシュを増やし、
L3キャッシュは4MBのまま据え置いたのでしょう。
また、
システム全体(CPU/GPU/DSP/ISPすべて)が使える
システムキャッシュも搭載されており、
3MBが用意されています。

なお、
Cortex-X1とCortex-A78が3コアの4コアが1つのクラスターになっており、
通常時にはこちらが有効になり、
省電力動作時には高効率コアとなる
Cortex-A55の4コアに切り替わって動作します。
なお、
性能を重視する場合には8コアすべてが有効になる仕組みは
従来の製品と同じです。

Adreno 660、
相変わらずアーキテクチャの詳細は未公開(出典:Qualcomm)
GPUの性能、
競合A社(Competitor A)は筐体が熱くなる前は性能が高いですが、
その後性能は下落するとQualcommは主張(出典:Qualcomm)

GPUはAdreno 660へと強化されています。
Qualcommが明らかにしたのは35%の性能向上、
20%の電力効率の改善という結果だけで、
何がどうしてそうなったのかに関しては例年通り公開されませんでした。
しかし、
記者向けのQ&Aでは
「シェーダユニットのエンジン数なども強化されているほか、
GPU全体にエンジンが強化されている」と説明しています。

26TOPSというAI推論時の性能を実現したSnapdragon 888、競合に比べて高い性能を発揮

Snapdragon 820に
最初に異種混合のAIエンジンが搭載されて以来、
今回のSnapdragon 888で第6世代になります(出典:Qualcomm)

DSPはHexagon 780へと強化されています。
Hexagon 780はスカラー(整数演算)アクセラレータ、
Tensorアクセラレータ、
ベクターエクステンションの3つのアクセラレータから構成されており、
利用できるメモリ量が増えるなどしており、
Tensorコアは2倍に、
スカラーは1.5倍に性能が強化されています。

Hexagon 780(出典:Qualcomm)
Hexagon 780の強化点(出典:Qualcomm)
DSPだけでなくGPUにも
ディープラーニングの推論を効率よく実行する
命令セット(DP4Aなど)が追加されています(出典:Qualcomm)

そうした強化はDSPだけではありません。
SnapdragonのAI推論は、
CPU/GPU/DSPを、
ミドルウェアで異種混合して実行していきます。
この点が単体型NPU(Neural Processing Unit)を搭載している
Apple A12などの競合製品との違いと言えます。
このため、
DSPの性能強化だけでなく、
CPUやGPUの性能強化も、
AI推論の性能強化につながっています。

たとえば、
GPUでは新しい命令セットとしてDP4A
(Qualcommでは4-input mixed precision dot productと呼んでいます)
を導入して、
8bitの整数演算をより効率よく実行できるようにしています。
これを上手く使うと、
推論で多用されるINT8での演算において
最大4倍程度効率を引き上げられるので、
大きな効果があると考えられます。

Qualcomm Sensing Hub(出典:Qualcomm)
Qualcomm Sensing Hubの性能は5倍に(出典:Qualcomm)

もう1つの強化は、
Qualcomm Sensing Hubの性能強化です。
Qualcomm Sensing Hubは、
IntelがIce Lake/Tiger Lake世代のSoCに搭載しているGNA
(Intel Gaussian & Neural Accelerator)と同じように、
低消費電力で長時間にわたって推論処理を行なうためのアクセラレータです。
たとえばオーディオ処理やディスプレイ状態の変化などを
検知することが可能になっており、
それをもとに推論を低消費電力で行なうことが可能になっています。

このQualcomm Sensing Hubは
Snapdragon 865ではじめて搭載され、
Snapdragon 888には第2世代が搭載されています。
Qualcommによれば処理能力は5倍になっており、
従来の製品ではできなかった
CPUからの負荷のオフロードのタスク数は80%増えています。
また、
Googleが提供するTensorFlow Microを利用して
Qualcomm Sensing Hubに対応した
ソフトウェアの開発ができるようになり、
初代のQualcomm Sensing Hubよりも使い勝手が
よくなっているといいます。

Snapdragon 888全体で26TOPSを実現しています
(出典:Qualcomm)
AI推論性能のベンチマーク結果、
他社を大きく上回っていることがわかります(出典:Qualcomm)
消費電力効率の比較、
Snapdragon 888が他社製品を引き離しています(出典:Qualcomm)

そうした強化により、
Snapdragon 888のSoC全体では
26TOPS(Tera Operations Per Second)の性能を実現しています。
この性能はモバイル向けのSoCとしては現時点では最高性能と言えます。
実際Qualcommが公開したベンチマークデータを見れば、
AIの推論(Inference)において、
Appleだと思われる競合A社に比べていずれも
高い性能を発揮していることがわかります。

今後スマートフォンでの性能競争の主眼は
AIの推論性能に移っていくと考えられており、
早くから異種混合のアーキテクチャを採用してきた
Qualcommはその点で有利なポジションにいると言えます。

動画撮影環境を大きく変える色深度10bit HDRとSnapdragon 888の組み合わせ

Snapdragon 865を搭載したスマートフォン、
Galaxy Note20 Ultraなどで8K撮影にも対応しています
(出典:Qualcomm)

そして今回Qualcommがもっとも力を入れて強化している部分がISPです。
というのも、
スマートフォンの競争領域は、
すでにカメラ性能の1点に絞られてきており、
カメラの使い勝手や性能がその評価に大きな性能を与えているからです。

Spectra 580の特徴はトリプルコアに強化されていること
(出典:Qualcomm)

たとえば、
2020年に日本で販売が開始された5Gスマートフォンでは、
8Kビデオが撮影できるモデルがいくつかあります。
そのすべてはSnapdragon 865を採用しており、
内蔵されているSpectra 480を利用して8K動画の処理が行なわれています。
これに対してAppleのA14を搭載したiPhone 12 Proは、
4K動画の撮影までに留まっており、
8K動画は撮影できません。
この点は明快にSnapdragon 865のA14に対するアドバンテージと言えます
(もっともA14の性能で8K動画の撮影ができないかはわかりません、
あくまでiPhone 12 Proでは8K動画の撮影には未対応という事実だけが
明らかになっています)。

一言で8Kの動画を撮影するというと簡単ですが、
実際にはRAWで撮ったフレームを
H.265(HEVC)などのコーデックで圧縮しながら
24~30fpsを処理していかなければなりません。
もちろんハードウェアエンコーダを内蔵しているからこそできる作業ですが、
それもこれもISPの性能が高くなければできない処理です。

Snapdragon 888のISPであるSpectra 580では、
ISPのコアをデュアルコアからトリプルコアへと強化しました。
もちろん単純に処理エンジンが1.5倍になることは大きく、
Qualcommの発表によればISPの性能は2.7Gピクセル/秒となり、
前世代に比べて35%ほど処理能力が上がっています。

トリプルコアになったことで、
3つのレンズにそれぞれISPを割り当てて、
動画撮影中にレンズを切り替えて撮影なども可能になります
(出典:Qualcomm)
Spectra 580の性能(出典:Qualcomm)

また、
ISPが3コアになることで、
新しい使い方も可能になります。
たとえば、
ハイエンドのスマートフォンでは
背面に3つのレンズがある製品が増えており、
静止画ではそのレンズが切り替えることができますが、
動画撮影時にはレンズは1つだけが利用可能で、
ズームはデジタルズームという製品がほとんどです。

しかし、
Snapdragon 888の新しいISPでは、
3つあるISPをそれぞれ3つのレンズに振り分けて処理させることができます。
それにより、
それぞれの動画で撮影状態にしたまま、
切り換えることが可能になるため、
動画を撮影時にもレンズを切り替えて利用するという実装が可能になります
(もちろんそれはOEMメーカーの実装次第です)。

暗所での撮影性能も向上しています(出典:Qualcomm)
Staggered HDRに対応した
CMOSイメージセンサーと組み合わせると
色深度10bitのHDR動画を撮影可能に(出典:Qualcomm)

もう1つは、
性能が上がったことにより、
深い色深度でのHDR動画が撮影することになります。
現在OEMメーカーは「Staggered HDR」と呼ばれる処理に対応した
CMOSイメージセンサーの導入を検討しており、
それを利用すると、
10bit色深度でHDRの4K動画を撮影することが可能になります。

従来の「Sequential HDR」のCMOSイメージセンサーでは
フレーム単位で処理するため
ISPなどにかかる負荷は膨大になりますが、
「Staggered HDR」ではそれをライン単位でやるため、
ISPやプロセッサにかかる負荷が小さくなり、
10bit HDRを実現することが容易になるのです。

Staggered HDRのCMOSイメージセンサーは
すでに自動車用として実用化されており、
トンネルの出口のような明暗差が大きなところでも
確実にカメラセンサーが動作する用途などに利用されています。
それがモバイル用になると、
たとえば暗いところでの動画撮影などの
ニーズを満たすことが可能になります。
その意味で、
2021年のスマートフォンにSnapdragon 888と
Staggered HDRに対応したCMOSイメージセンサーの組み合わせは、
スマートフォンの動画クオリティを大きく変える可能性があります。

AI推論に向けた演算性能を強化

Snapdragon 888を搭載したリファレンススマートフォン。
来年の前半には搭載スマートフォンが登場する見通し
(出典:Qualcomm)

このように、
Snapdragon 888は、
CPUやGPUといった本誌の読者にとってお馴染みの演算器だけでなく、
DSPやISPといった今のスマートフォンにとって
より重要な演算器になりつつある部分が強化されており、
そうした強化が来年に登場するSnapdragon 888搭載の
スマートフォンにとって機能拡張につながる可能性を秘めています。

Arcsoftの動画撮影時の画像安定機能のデモ、
QualcommのAIエンジンを利用して実装されています
(出典:Qualcomm)
日本のカメラアプリベンダMorphoの画質鮮明化機能も
QualcommのAIエンジンを利用できます(出典:Qualcomm)

そしてもう1つ重要なことは、
AI(マシンラーニング/ディープラーニング)の
推論の性能が大幅に引き上げられている点です。
15TOPSから26TOPSへと大幅に引き上げられていることで、
新しいAI推論のアプリケーションを
OEMメーカーが実装することが可能になります。
Qualcommの発表会ではArcsoftの動画安定化機能や
Morphoの画像鮮明化機能が、
Snapdragon 888のAI機能を利用して実装されていることがデモされました。
今後そうしたアプリケーションが増えていけば、
これまで予想もしなかったような
AIの機能が登場する可能性もあり期待したいところです。

引用元:https://pc.watch.impress.co.jp/docs/column/ubiq/1293380.html

まとめ

今後注目の『Snapdragon 888』。
この記事では、より詳しく書かれています。
専門用語がたくさん出てきて、
今の僕では少ししか理解できていませんが、
スマートフォンの性能が上がるのは分かりました。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください