リソースに制約のある組込みプラットフォーム上でエッジ AI ソリューションを開発するには、アルゴリズムの性能 (精度、レイテンシ) 、不揮発性ストレージ (フラッシュ / ROM)、ランタイム メモリ (SRAM) という 3 つの要素を厳密にトレードオフしながら最適化する必要があります。

• アルゴリズムのパフォーマンス：推論の精度とレイテンシの両方が含まれます。これらは主に、ネットワークの深さ、レイヤ幅、演算子の複雑さなどのモデル アーキテクチャによって形成されます。
• 静的ストレージ メモリ (フラッシュ / ROM)：これは主にモデルのパラメータの合計数 (重みとバイアス) によって決まります。完全に量子化された INT8 パイプラインでは、各パラメータはちょうど 1 バイトのフラッシュ ストレージに直接マップされます。そのため、チャネル幅が拡張されたより深いネットワークでは、静的バイナリ サイズが線形的に増加します。場合によっては、入力となる特徴の次元の変化が、この静的メモリ使用量に影響を与えることがあります (例えば、完全に接続されたレイヤ)。

• 動的ランタイム メモリ (SRAM/RAM)：これは、入力した特徴のサイズと、中間層をまたぐ活性化テンソル (特徴マップ) によって制御されます。時系列スライスがネットワークを介して伝播するとき、処理コアはレイヤの入力と出力を格納するために一時的なワークスペースを割り当てる必要があります。入力時間ウィンドウが長いか、特徴の次元が大きいと、このピーク ランタイム RAM 要件が指数関数的に増大します。

このようにハードウェアの現実的な制約があるため、エッジ環境への展開では従来の精度重視の考え方から脱却する必要があります。展開を成功させるには、静的フラッシュおよびピーク時の動的 SRAM という厳しい物理的な制約と、未加工モデルのパフォーマンスとの間で、きめ細かくバランスを取る必要があります。

この関係を説明するために、表 5-5 では、さまざまなモデル サイズと入力した特徴の構成に対して波形分類のメモリ フットプリントとリソース使用率を定量化しています。

すべての入力次元において、最小モデル (CLS_1K) は、大規模モデル (CLS_4K および CLS_13K) の 2 倍から 4 倍のランタイム RAM を消費します。一見直感に反するこの挙動は、パラメータ数とランタイム メモリが根本的に異なるアーキテクチャ設計に基づいているという事実に起因します。CLS_1K は、初期にダウン サンプリングしない浅いトポロジを使用しているため、高分解能の大きなフィーチャ マップが中間レイヤ全体のメモリに保持されます。これとは対照的に、CLS_4K と CLS_13K は、ネットワークのフロントエンドにストライド付き畳み込みを用いた深いアーキテクチャを採用しているため、時間次元が直ちに縮減され、中間のランタイム テンソルのサイズが大幅に小さくなります。