九鼎動(dòng)態(tài)
2023 SUMMARY
01
近日,九鼎創(chuàng)展技術(shù)團(tuán)隊(duì)在邊緣計(jì)算領(lǐng)域取得重大突破,成功將DeepSeek-R1-Disti11-Qwen系列模型移植到瑞芯微(Rockchip)RK3576和RK3588開(kāi)發(fā)板上,并實(shí)現(xiàn)了高效的推理性能。這一成果標(biāo)志著九鼎創(chuàng)展在邊緣AI領(lǐng)域的進(jìn)一步深耕,為智能硬件開(kāi)發(fā)者提供了更強(qiáng)大的AI算力支持。
DeepSeek模型:輕量化與高性能的完美結(jié)合
DeepSeek-R1-Disti11-Qwen系列模型是專(zhuān)為邊緣計(jì)算場(chǎng)景設(shè)計(jì)的輕量化AI模型,包含1.5B和7B兩種規(guī)模,分別適用于不同算力和內(nèi)存的硬件平臺(tái)。九鼎創(chuàng)展技術(shù)團(tuán)隊(duì)通過(guò)優(yōu)化模型結(jié)構(gòu)與RKNN推理引擎的深度融合,成功在RK3576和RK3588開(kāi)發(fā)板上實(shí)現(xiàn)了高效的模型部署。
模型性能亮點(diǎn)
DeepSeek-R1-Disti11-Qwen-1.5B
模型文件大?。?GB
內(nèi)存要求:4GB
RK3588推理速度:12.92 Tokens/s
RK3576推理速度:8.36 Tokens/s
DeepSeek-R1-Disti11-Qwen-7B
模型文件大小:8GB
內(nèi)存要求:16GB
RK3588推理速度:3.13 Tokens/s
RK3576推理速度:NC(未提供)
從性能數(shù)據(jù)可以看出,1.5B模型在RK3588上表現(xiàn)出色,推理速度高達(dá)12.92 Tokens/s,即使在資源受限的RK3576開(kāi)發(fā)板上也能達(dá)到8.36 Tokens/s,充分滿(mǎn)足了邊緣設(shè)備對(duì)實(shí)時(shí)性和高效性的需求。而7B模型則更適合對(duì)精度要求較高的場(chǎng)景,盡管推理速度稍低,但在RK3588上仍能穩(wěn)定運(yùn)行。
RK3576與RK3588:邊緣AI的強(qiáng)力引擎
作為瑞芯微旗下兩款高性能處理器,RK3576和RK3588憑借其強(qiáng)大的AI算力和能效比,成為邊緣計(jì)算領(lǐng)域的明星芯片。九鼎創(chuàng)展技術(shù)團(tuán)隊(duì)充分利用這兩款芯片的硬件優(yōu)勢(shì),通過(guò)RKNN工具鏈對(duì)DeepSeek模型進(jìn)行了深度優(yōu)化,實(shí)現(xiàn)了模型的高效推理。
RK3588:憑借其強(qiáng)大的NPU和CPU性能,在1.5B模型上實(shí)現(xiàn)了12.92 Tokens/s的推理速度,展現(xiàn)了其在邊緣AI場(chǎng)景中的卓越能力。
RK3576:雖然算力稍遜于RK3588,但在1.5B模型上仍能實(shí)現(xiàn)8.36 Tokens/s的推理速度,足以滿(mǎn)足大多數(shù)邊緣設(shè)備的AI需求。
應(yīng)用場(chǎng)景:賦能千行百業(yè)
九鼎創(chuàng)展此次成功移植DeepSeek模型,為邊緣AI應(yīng)用開(kāi)辟了更多可能性。以下是一些典型的應(yīng)用場(chǎng)景:
智能安防:在邊緣設(shè)備上實(shí)時(shí)運(yùn)行DeepSeek模型,實(shí)現(xiàn)人臉識(shí)別、行為分析等功能,提升安防系統(tǒng)的響應(yīng)速度與準(zhǔn)確性。
工業(yè)質(zhì)檢:利用7B模型的高精度特性,在生產(chǎn)線(xiàn)邊緣設(shè)備上進(jìn)行缺陷檢測(cè),大幅提升質(zhì)檢效率。
智能語(yǔ)音助手:在嵌入式設(shè)備上運(yùn)行1.5B模型,實(shí)現(xiàn)低延遲的語(yǔ)音識(shí)別與自然語(yǔ)言處理,為用戶(hù)提供流暢的交互體驗(yàn)。
自動(dòng)駕駛:在車(chē)載邊緣計(jì)算設(shè)備上部署DeepSeek模型,實(shí)現(xiàn)實(shí)時(shí)環(huán)境感知與決策,提升行車(chē)安全性。
九鼎創(chuàng)展將繼續(xù)深耕邊緣AI領(lǐng)域,推動(dòng)更多AI模型在邊緣設(shè)備上的落地應(yīng)用。未來(lái),我們將進(jìn)一步優(yōu)化模型性能,拓展更多應(yīng)用場(chǎng)景,為智能硬件開(kāi)發(fā)者提供更全面的技術(shù)支持。
關(guān)注九鼎創(chuàng)展公眾號(hào),了解更多邊緣AI技術(shù)動(dòng)態(tài)!
九鼎創(chuàng)展
—— 讓AI觸手可及,賦能智能未來(lái)!
掃碼關(guān)注我們
聯(lián)系我們
電話(huà):18076422813
郵箱:zhichanqing@9tripod..com
官網(wǎng):http://9tripod.com/
版權(quán)所有:深圳市九鼎創(chuàng)展科技有限公司 粵ICP備11028681號(hào)-1 Copyright © 2016 All Rights Reserved.