近日,美的集團AI創(chuàng )新中心全自主研發(fā)的邊端AI算法部署工具鏈Aidget(AI edge toolbox)正式在Github和OpenI兩大社區同步上線(xiàn)開(kāi)放。推進(jìn)開(kāi)源開(kāi)放是美的集團承擔建設的智能服務(wù)機器人國家新一代人工智能開(kāi)放創(chuàng )新平臺的重要內容,Aidget將有助于美的與開(kāi)發(fā)者推進(jìn)AI生態(tài)共創(chuàng ),賦能行業(yè)技術(shù)發(fā)展。
在各種智能嵌入式邊端設備上運行深度學(xué)習模型(深度神經(jīng)網(wǎng)絡(luò ))已成為AIoT的主流方式,但由于主流深度學(xué)習模型部署要求高,且邊端設備運算資源受限,直接部署存在大量的計算資源浪費等直接挑戰,阻礙了深度學(xué)習模型在資源有限的邊端設備上的部署。致力于解決AI通用部署落地難題,針對智能家電領(lǐng)域存在的操作系統和芯片工程化部署難度高、效率低、通用工具鏈對資源極低的家電和IoT設備適配性較差、通用工具鏈對語(yǔ)音算法支持力度較低,算子實(shí)現與優(yōu)化不足等現實(shí)問(wèn)題,美的集團AI創(chuàng )新中心于2021年發(fā)起了Aidget項目。
作為美的全自研高性能深度學(xué)習推理部署工具鏈,Aidget包含模型壓縮工具以及推理加速引擎工具,實(shí)現從模型壓縮,到推理加速全鏈路優(yōu)化。Aidget適用于linux/rtos/android/ios等多種不同邊端系統,面向armv7/v8及dsp等不同邊端平臺提供指令級加速;針對多計算單元設備,提供高性能異構計算能力;針對邊端小內存設備,在內存管理方面進(jìn)行優(yōu)化設計。
Aidget工具鏈主要工作流程是將模型通過(guò)壓縮工具進(jìn)行模型壓縮,支持前沿的主流算法技術(shù)剪枝、蒸餾及量化。通過(guò)多種壓縮方式結合應用,實(shí)現高壓縮比并保持良好的精度性能。經(jīng)過(guò)壓縮后的模型通過(guò)推理引擎側轉換工具進(jìn)行解析,進(jìn)行進(jìn)一步優(yōu)化,包括算子消除、算子替換、布局調整等圖優(yōu)化操作。推理時(shí)加載模型,然后經(jīng)過(guò)預處理把模型從抽象的圖轉換為具體的算子和張量連接的描述形式,并進(jìn)行內存復用和執行調度等運行優(yōu)化。
目前,Aidget已陸續在智能冰箱、洗碗機、家庭服務(wù)機器人等智能家電產(chǎn)品上實(shí)現了投產(chǎn)驗證和規?;慨a(chǎn),持續發(fā)揮了降本增效作用。美的集團希望通過(guò)Aidget開(kāi)源項目,為邊端智能提供AI解決方案;同時(shí),美的AI將持續推進(jìn)語(yǔ)音技術(shù)、計算機視覺(jué)、機器人學(xué)習相關(guān)算法/模型的開(kāi)放服務(wù)和開(kāi)源共創(chuàng ),賦能行業(yè)發(fā)展。