對于任何注定要在批量生產中部署的嵌入式軟件，一旦完成并驗證了其核心功能的實現，就會在代碼中投入大量精力。這個優化階段是關于最小化所需的內存、CPU 和其他資源，以便盡可能多地保留軟件功能，同時將執行它所需的資源減少到絕對最低限度。這種從基于實驗室的算法創建嵌入式軟件的過程使嵌入式開發人員能夠將軟件功能成本工程化為大規模生產就緒形式，與用于開發它的大規模計算數據中心相比，需要更便宜、功能更弱的芯片和硬件。

　　然而，它通常需要從一開始就凍結功能，修改代碼只是為了改進算法本身的執行方式。對于大多數軟件來說，這很好：實際上，它可以使用嚴格的驗證方法來確保嵌入過程保留所有所需的功能。

　　然而，當嵌入基于 NN 的 AI 算法時，這可能是一個主要問題。為什么?因為通過從一開始就凍結功能，您正在刪除可以優化執行的主要方式之一。

　　問題是什么？

　　有兩種根本不同的方法可以解決將復雜的神經網絡從實驗室中不受約束，資源豐富的神經網絡訓練環境移植到受嚴格約束的嵌入式硬件平臺的任務：

　　優化執行神經網絡的代碼

　　優化神經網絡本身

　　當嵌入式開發人員發現內存帶寬瓶頸或底層嵌入式硬件平臺利用率低等性能問題時，傳統的嵌入式軟件技術會鼓勵您深入挖掘底層代碼并找到問題所在。

　　這反映在當今可用于嵌入式 MCU 和 DSP 的許多先進和復雜的工具中。它們使您能夠深入了解軟件中正在發生的事情，并識別和改進軟件本身的執行——希望不會改變其功能。

　　對于神經網絡，優化與傳統的嵌入式軟件完全不同——至少如果你想用可用的硬件資源獲得最好的結果。使用 NN，通過改變拓撲 NN 本身(NN 的各個層如何連接，以及每層的作用)和使用更新的約束和輸入重新訓練它的某種組合來實現改進。這是因為功能不是由神經網絡“軟件”定義的，而是由訓練期間應用的目標和約束來創建定義神經網絡最終行為的權重。

　　因此，在進行 NN 的嵌入過程時，您需要凍結 NN 的目標性能，而不是它是如何實現的。如果您從嵌入式開發過程的開始就約束 NN 拓撲，那么您正在移除生產工程師提高性能所需的工具。

　　這意味著您需要新的和不同的工具來完成將 NN 從實驗室移植到嵌入式平臺的任務。而低級軟件工程師無法完成這項工作——您需要 AI 工程師根據工具為您提供的性能信息來調整 NN 及其訓練。這是新的：當研發工程師將訓練有素的神經網絡交給生產工程師時，他們再也不能說“工作完成了”！

　　另一種方法：

　　通過采用將人工智能研發工程師置于嵌入式軟件移植任務中心的開發工作流程，任何芯片都可以取得卓越的成果。使用以層為中心的分析，并在幾分鐘內快速完成從編譯修改后的卷積神經網絡 (CNN) 到查看目標神經處理器單元 (NPU) 的準確性能結果，嵌入式開發人員可以使用相同的底層硬件實現 100% 或更多的收益.這是因為修改 CNN 本身，而不是只修改用于執行相同 CNN 的代碼，可以讓 AI 工程師更靈活地識別和實施性能改進。

　　在開發我們的 aiWare NPU 時，AImotive 使用了我們自己的 AI 工程師將過程移植到具有廣泛 NPU 功能的多個不同芯片的經驗。 我們想找到更好的方法來幫助我們自己的 AI 工程師完成這項任務，因此在開發我們對 aiWare NPU 本身和支持它的 aiWare Studio 工具的要求時，我們發現了一些在我們過去使用過的硬件平臺上沒有看到的理想特性：

　　高度確定性的 NPU 架構，讓時序非?？深A測

　　準確的基于層(不是基于時序或低級代碼)的性能估計，以便任何 AI 研發工程師都可以快速地看到更改其訓練標準(例如添加或更改使用的場景，或修改目標 KPI)和 / 或 NN 拓撲的影響。

　　準確的離線性能估算，使所有的 NN 優化都可以在第一個硬件可用之前進行(因為第一個原型總是稀缺的！)

　　最后檢查

　　當然，當芯片和硬件原型可用時，測量最終硬件是至關重要的。這種嵌入式開發環境中實時硬件分析功能的可用性使工程師可以訪問由此類工具支持的 NPU 內的一系列深度嵌入式硬件寄存器和計數器。 雖然芯片開銷很小(因為許多 NPU 由內存而非邏輯主導)，但這些功能可以在執行期間實現前所未有的、非侵入性的實時性能測量。 然后，這可用于直接與離線性能估計器結果進行比較，以確認準確性。