隨著深度學(xué)習(xí)的發(fā)展，神經(jīng)網(wǎng)絡(luò)模型也越來越復(fù)雜，那么移動/嵌入式端該怎么深度學(xué)習(xí)呢？怎么樣的模型才能算深度學(xué)習(xí)呢？粵嵌嵌入式培訓(xùn)為你解答。

　　常用的模型中VGG系列網(wǎng)絡(luò)的計(jì)算量可以達(dá)到30-40 GOP（1GOP=109運(yùn)算）。這些神經(jīng)網(wǎng)絡(luò)通常運(yùn)行在GPU上，但是如果我們要在移動／嵌入式端也實(shí)現(xiàn)深度學(xué)習(xí)，那么這樣巨大的模型是跑不動的。移動／嵌入式端的計(jì)算能力往往只有桌面級GPU的1/100到1/1000，換句話說在GPU上一秒40幀的深度學(xué)習(xí)CV算法在移動／嵌入式端一秒只有0.04-0.4幀，這樣的性能會極大影響用戶體驗(yàn)。

　　在移動／嵌入式端跑深度學(xué)習(xí)模型，除了運(yùn)行速度之外，能效比也是關(guān)鍵指標(biāo)。能效比指的是一次運(yùn)算所需消耗的能量，它決定了移動／嵌入式端運(yùn)行深度學(xué)習(xí)算法時電池能用多久。能效比與深度學(xué)習(xí)模型息息相關(guān)，我們下面將會看到深度學(xué)習(xí)模型的大小會決定運(yùn)行算法時的片外內(nèi)存訪問頻率，從而決定了能效比。

　　怎樣的模型才能算深度學(xué)習(xí)呢？為了深度學(xué)習(xí)模型時不僅要看模型計(jì)算量還要看模型大小。模型計(jì)算量是衡量深度學(xué)習(xí)是否適合在移動或嵌入式端計(jì)算的重要指標(biāo)，通常用GOP單位來表示。例如，流行的ResNet-18的計(jì)算量大約是4 GOP，而VGG-16則為大約31 GOP。移動和嵌入式端的硬件計(jì)算能力有限，因此模型所需的計(jì)算量越大，則模型在移動端運(yùn)行所需要的時間就越長。

　　為了能讓使用深度學(xué)習(xí)的應(yīng)用順暢運(yùn)行，模型運(yùn)算量當(dāng)然是越小越好。除此之外，深度學(xué)習(xí)每次運(yùn)算都是需要花費(fèi)能量的，模型運(yùn)算量越大則完成一次inference需要的能量也就越大，換句話說就是越費(fèi)電。在電池量有限的移動和嵌入式端，模型一次inference所花費(fèi)的能量必須精打細(xì)算，因此深度學(xué)習(xí)模型計(jì)算量不能太大。

　　深度學(xué)習(xí)模型大小主要決定的是該模型做一次 inference 所需要的能量。那么模型大小與inference所消耗的能量有什么關(guān)系呢？首先，我們知道，深度學(xué)習(xí)模型必須儲存在內(nèi)存里面，而內(nèi)存其實(shí)還分為片上內(nèi)存和片外內(nèi)存兩種。

　　因此，我們?yōu)榱藴p小能量消耗，必須減少片外內(nèi)存訪問，或者說我們需要盡可能把模型的權(quán)重?cái)?shù)據(jù)和每層的中間運(yùn)算結(jié)果存儲在片上內(nèi)存而非片外內(nèi)存。這也是為什么Google TPU使用了高達(dá)28MB片上內(nèi)存的原因。

　　然而，移動端和嵌入式系統(tǒng)使用的芯片不能成本太高，因此片上內(nèi)存容量很有限。這樣的話我們就必須從深度學(xué)習(xí)模型大小方面想辦法，盡量減小模型尺寸，讓模型盡可能地能存儲在片上內(nèi)存，或者至少一層網(wǎng)絡(luò)的權(quán)重?cái)?shù)據(jù)可以存在片上內(nèi)存。

　　對于移動／嵌入式端的深度學(xué)習(xí)，相信大家已經(jīng)了解了。選擇一個好的平臺，可以改變?nèi)松瑏砘浨?strong>嵌入式培訓(xùn)學(xué)習(xí)，這里會讓你的在嵌入式之路走得越來越寬。