用(Yong)户(Hu)名(Ming):
密(Mi)码(Ma):
验(Yan)证(Zheng)码(Ma):
ICC讯(Xun) 近(Jin)日(Ri)，(?)在(Zai)第(Di)12届(Jie)中(Zhong)国(Guo)硬(Ying)科(Ke)技(Ji)产(Chan)业(Ye)链(Lian)创(Chuang)新(Xin)趋(Qu)势(Shi)峰(Feng)会(Hui)上(Shang)，(?)ARM CHINA产(Chan)品(Pin)总(Zong)监(Jian)鲍(Bao)敏(Min)祺(Qi)发(Fa)表(Biao)《(?)端(Duan)侧(Ce)AI应(Ying)用(Yong)芯(Xin)片(Pian)机(Ji)遇(Yu)，(?)NPU加(Jia)速(Su)终(Zhong)端(Duan)算(Suan)力(Li)升(Sheng)级(Ji)》(?)主(Zhu)题(Ti)报(Bao)告(Gao)，(?)AI端(Duan)则(Ze)的(De)生(Sheng)态(Tai)发(Fa)展(Zhan)并(Bing)介(Jie)绍(Shao)“(?)周(Zhou)易(Yi)”(?)NPU IP产(Chan)品(Pin)，(?)对(Dui)接(Jie)并(Bing)满(Man)足(Zu)多(Duo)样(Yang)化(Hua)端(Duan)侧(Ce)硬(Ying)件(Jian)设(She)备(Bei)的(De)不(Bu)同(Tong)AI计(Ji)算(Suan)需(Xu)求(Qiu)。(?)
端(Duan)侧(Ce)AI新(Xin)机(Ji)遇(Yu)指(Zhi)的(De)是(Shi)最(Zui)新(Xin)AIGC大(Da)模(Mo)型(Xing)带(Dai)来(Lai)算(Suan)力(Li)的(De)提(Ti)升(Sheng)，(?)端(Duan)侧(Ce)AI应(Ying)用(Yong)也(Ye)在(Zai)算(Suan)力(Li)加(Jia)持(Chi)下(Xia)不(Bu)断(Duan)发(Fa)展(Zhan)壮(Zhuang)大(Da)。(?)在(Zai)AI经(Jing)典(Dian)应(Ying)用(Yong)中(Zhong)，(?)已(Yi)经(Jing)可(Ke)以(Yi)通(Tong)过(Guo)手(Shou)机(Ji)拍(Pai)摄(She)可(Ke)以(Yi)识(Shi)别(Bie)物(Wu)体(Ti)类(Lei)型(Xing)，(?)在(Zai)短(Duan)信(Xin)提(Ti)取(Qu)关(Guan)键(Jian)信(Xin)息(Xi)和(He)总(Zong)结(Jie)给(Gei)用(Yong)户(Hu)，(?)又(You)例(Li)如(Ru)在(Zai)图(Tu)片(Pian)库(Ku)搜(Sou)索(Suo)中(Zhong)，(?)通(Tong)过(Guo)AI大(Da)模(Mo)型(Xing)快(Kuai)速(Su)理(Li)解(Jie)，(?)迅(Xun)速(Su)识(Shi)别(Bie)所(Suo)需(Xu)要(Yao)的(De)图(Tu)片(Pian)。(?)总(Zong)体(Ti)而(?)言(Yan)就(Jiu)是(Shi)利(Li)用(Yong)AI加(Jia)速(Su)人(Ren)们(Men)的(De)办(Ban)事(Shi)效(Xiao)率(Lu)，(?)并(Bing)且(Qie)AI获(Huo)得(De)了(Liao)公(Gong)众(Zhong)号(Hao)的(De)认(Ren)可(Ke)。(?)这(Zhe)一(Yi)切(Qie)依(Yi)赖(Lai)于(Yu)AI硬(Ying)件(Jian)侧(Ce)的(De)性(Xing)能(Neng)支(Zhi)撑(Cheng)。(?)
过(Guo)去(Qu)，(?)云(Yun)计(Ji)算(Suan)应(Ying)用(Yong)成(Cheng)为(Wei)数(Shu)据(Ju)中(Zhong)心(Xin)增(Zeng)长(Chang)的(De)主(Zhu)要(Yao)驱(Qu)动(Dong)力(Li)，(?)而(?)现(Xian)在(Zai)AI大(Da)模(Mo)型(Xing)训(Xun)练(Lian)和(He)推(Tui)理(Li)正(Zheng)在(Zai)驱(Qu)动(Dong)智(Zhi)算(Suan)中(Zhong)心(Xin)规(Gui)模(Mo)的(De)发(Fa)展(Zhan)。(?)AI端(Duan)侧(Ce)的(De)算(Suan)力(Li)是(Shi)否(Fou)会(Hui)像(Xiang)云(Yun)端(Duan)一(Yi)样(Yang)不(Bu)停(Ting)地(Di)膨(Peng)胀(Zhang)？(?)鲍(Bao)敏(Min)祺(Qi)认(Ren)为(Wei)低(Di)于(Yu)100亿(Yi)参(Can)数(Shu)的(De)大(Da)预(Yu)言(Yan)模(Mo)型(Xing)将(Jiang)会(Hui)成(Cheng)为(Wei)主(Zhu)流(Liu)模(Mo)型(Xing)，(?)事(Shi)实(Shi)上(Shang)因(Yin)为(Wei)带(Dai)宽(Kuan)制(Zhi)约(Yue)，(?)10亿(Yi)至(Zhi)30亿(Yi)参(Can)数(Shu)是(Shi)普(Pu)遍(Bian)在(Zai)端(Duan)侧(Ce)和(He)现(Xian)有(You)带(Dai)宽(Kuan)下(Xia)能(Neng)够(Gou)部(Bu)署(Shu)出(Chu)来(Lai)的(De)大(Da)模(Mo)型(Xing)，(?)并(Bing)且(Qie)容(Rong)量(Liang)优(You)化(Hua)有(You)很(Hen)大(Da)的(De)增(Zeng)强(Qiang)空(Kong)间(Jian)。(?)当(Dang)然(Ran)，(?)70亿(Yi)参(Can)数(Shu)模(Mo)型(Xing)会(Hui)面(Mian)临(Lin)显(Xian)著(Zhu)的(De)带(Dai)宽(Kuan)压(Ya)力(Li)，(?)但(Dan)在(Zai)高(Gao)带(Dai)宽(Kuan)场(Chang)景(Jing)下(Xia)也(Ye)能(Neng)够(Gou)成(Cheng)功(Gong)部(Bu)署(Shu)。(?)
站(Zhan)在(Zai)应(Ying)用(Yong)端(Duan)客(Ke)户(Hu)来(Lai)看(Kan)，(?)头(Tou)部(Bu)终(Zhong)端(Duan)厂(Chang)商(Shang)如(Ru)谷(Gu)歌(Ge)、(?)微(Wei)软(Ruan)、(?)苹(Ping)果(Guo)等(Deng)引(Yin)领(Ling)了(Liao)推(Tui)动(Dong)端(Duan)侧(Ce)AI的(De)发(Fa)展(Zhan)，(?)中(Zhong)国(Guo)厂(Chang)商(Shang)如(Ru)华(Hua)为(Wei)、(?)OPPO、(?)小(Xiao)米(Mi)等(Deng)也(Ye)在(Zai)其(Qi)消(Xiao)费(Fei)电(Dian)子(Zi)产(Chan)品(Pin)和(He)具(Ju)体(Ti)业(Ye)务(Wu)场(Chang)景(Jing)上(Shang)部(Bu)署(Shu)AI应(Ying)用(Yong)。(?)芯(Xin)片(Pian)厂(Chang)商(Shang)一(Yi)致(Zhi)认(Ren)为(Wei)AI NPU（(?)神(Shen)经(Jing)网(Wang)络(Luo)处(Chu)理(Li)单(Dan)元(Yuan)）(?)将(Jiang)是(Shi)未(Wei)来(Lai)消(Xiao)费(Fei)类(Lei)电(Dian)子(Zi)产(Chan)品(Pin)发(Fa)展(Zhan)的(De)重(Zhong)点(Dian)。(?)NPU通(Tong)过(Guo)专(Zhuan)门(Men)优(You)化(Hua)的(De)硬(Ying)件(Jian)架(Jia)构(Gou)，(?)能(Neng)够(Gou)大(Da)幅(Fu)提(Ti)升(Sheng)端(Duan)侧(Ce)设(She)备(Bei)的(De)AI计(Ji)算(Suan)能(Neng)力(Li)，(?)同(Tong)时(Shi)降(Jiang)低(Di)功(Gong)耗(Hao)。(?)
30-700亿(Yi)并(Bing)行(Xing)参(Can)数(Shu)大(Da)模(Mo)型(Xing)如(Ru)何(He)接(Jie)入(Ru)硬(Ying)件(Jian)设(She)备(Bei)，(?)AI硬(Ying)件(Jian)侧(Ce)面(Mian)临(Lin)的(De)挑(Tiao)战(Zhan)主(Zhu)要(Yao)时(Shi)哪(Na)些(Xie)？(?)鲍(Bao)敏(Min)祺(Qi)总(Zong)结(Jie)为(Wei)成(Cheng)本(Ben)、(?)功(Gong)耗(Hao)和(He)生(Sheng)态(Tai)，(?)其(Qi)中(Zhong)成(Cheng)本(Ben)主(Zhu)要(Yao)来(Lai)自(Zi)于(Yu)存(Cun)储(Chu)、(?)带(Dai)宽(Kuan)限(Xian)制(Zhi)和(He)算(Suan)力(Li)，(?)尤(You)其(Qi)是(Shi)一(Yi)个(Ge)SOC的(De)整(Zheng)体(Ti)面(Mian)效(Xiao)，(?)因(Yin)为(Wei)很(Hen)多(Duo)端(Duan)侧(Ce)设(She)备(Bei)对(Dui)芯(Xin)片(Pian)面(Mian)积(Ji)的(De)预(Yu)算(Suan)会(Hui)高(Gao)度(Du)吃(Chi)紧(Jin)，(?)包(Bao)括(Kuo)算(Suan)力(Li)资(Zi)源(Yuan)。(?)功(Gong)耗(Hao)需(Xu)要(Yao)考(Kao)虑(Lu)功(Gong)耗(Hao)预(Yu)算(Suan)的(De)设(She)置(Zhi)，(?) AI很(Hen)多(Duo)程(Cheng)度(Du)上(Shang)是(Shi)来(Lai)源(Yuan)于(Yu)数(Shu)据(Ju)的(De)搬(Ban)运(Yun)，(?)特(Te)别(Bie)用(Yong)于(Yu)外(Wai)层(Ceng)的(De)搬(Ban)运(Yun)，(?)因(Yin)此(Ci)功(Gong)耗(Hao)cost会(Hui)越(Yue)来(Lai)越(Yue)高(Gao)，(?)而(?)生(Sheng)态(Tai)包(Bao)括(Kuo)了(Liao)软(Ruan)件(Jian)成(Cheng)熟(Shu)度(Du)，(?)因(Yin)为(Wei)语(Yu)言(Yan)模(Mo)型(Xing)需(Xu)要(Yao)不(Bu)断(Duan)迭(Die)代(Dai)优(You)化(Hua)才(Cai)能(Neng)抓(Zhua)住(Zhu)最(Zui)重(Zhong)要(Yao)的(De)目(Mu)标(Biao)客(Ke)户(Hu)，(?)这(Zhe)又(You)带(Dai)来(Lai)另(Ling)一(Yi)个(Ge)挑(Tiao)战(Zhan)，(?)就(Jiu)是(Shi)软(Ruan)件(Jian)和(He)工(Gong)具(Ju)需(Xu)要(Yao)更(Geng)多(Duo)优(You)化(Hua)和(He)支(Zhi)持(Chi)。(?)
NPU就(Jiu)是(Shi)端(Duan)则(Ze)AI不(Bu)断(Duan)迭(Die)代(Dai)优(You)化(Hua)的(De)关(Guan)键(Jian)硬(Ying)件(Jian)，(?)ARM自(Zi)研(Yan)的(De)“(?)周(Zhou)易(Yi)”(?)NPU针(Zhen)对(Dui)于(Yu)AI硬(Ying)件(Jian)侧(Ce)挑(Tiao)战(Zhan)做(Zuo)了(Liao)哪(Na)些(Xie)事(Shi)情(Qing)？(?)一(Yi)是(Shi)微(Wei)架(Jia)构(Gou)的(De)升(Sheng)级(Ji)，(?)从(Cong)计(Ji)算(Suan)能(Neng)力(Li)上(Shang)对(Dui)它(Ta)进(Jin)行(Xing)优(You)化(Hua)。(?)当(Dang)前(Qian)阶(Jie)段(Duan)它(Ta)保(Bao)留(Liu)了(Liao)一(Yi)部(Bu)分(Fen)CNN的(De)能(Neng)力(Li)，(?)同(Tong)时(Shi)对(Dui)Transformer进(Jin)行(Xing)升(Sheng)级(Ji)，(?)而(?)Transformer的(De)engine需(Xu)要(Yao)更(Geng)强(Qiang)的(De)softmax算(Suan)力(Li)。(?)二(?)是(Shi)Efficiency数(Shu)据(Ju)本(Ben)地(Di)化(Hua)，(?)非(Fei)本(Ben)地(Di)化(Hua)会(Hui)带(Dai)来(Lai)额(E)外(Wai)的(De)能(Neng)耗(Hao)。(?)周(Zhou)易(Yi)NPU从(Cong)算(Suan)法(Fa)上(Shang)、(?)从(Cong)工(Gong)具(Ju)链(Lian)上(Shang)能(Neng)够(Gou)实(Shi)现(Xian)低(Di)精(Jing)度(Du)量(Liang)化(Hua)，(?)同(Tong)时(Shi)从(Cong)硬(Ying)件(Jian)上(Shang)对(Dui)于(Yu)低(Di)精(Jing)度(Du)计(Ji)算(Suan)做(Zuo)更(Geng)多(Duo)的(De)硬(Ying)件(Jian)加(Jia)速(Su)。(?)其(Qi)次(Ci)是(Shi)compression无(Wu)损(Sun)压(Ya)缩(Suo)以(Yi)增(Zeng)加(Jia)有(You)效(Xiao)的(De)带(Dai)宽(Kuan)。(?)
因(Yin)为(Wei)周(Zhou)易(Yi)NPU针(Zhen)对(Dui)于(Yu)大(Da)模(Mo)型(Xing)做(Zuo)一(Yi)些(Xie)总(Zong)线(Xian)带(Dai)宽(Kuan)的(De)扩(Kuo)展(Zhan)。(?)特(Te)别(Bie)是(Shi)解(Jie)码(Ma)架(Jia)构(Gou)场(Chang)景(Jing)的(De)算(Suan)力(Li)要(Yao)求(Qiu)并(Bing)不(Bu)高(Gao)，(?)但(Dan)是(Shi)对(Dui)于(Yu)带(Dai)宽(Kuan)要(Yao)求(Qiu)却(Que)很(Hen)高(Gao)。(?)出(Chu)于(Yu)这(Zhe)种(Zhong)考(Kao)量(Liang)，(?)In-NPU interconnection对(Dui)于(Yu)整(Zheng)个(Ge)interconnect单(Dan)核(He)往(Wang)外(Wai)的(De)带(Dai)宽(Kuan)能(Neng)力(Li)有(You)很(Hen)大(Da)的(De)提(Ti)升(Sheng)。(?)三(San)是(Shi)并(Bing)行(Xing)处(Chu)理(Li)，(?)包(Bao)括(Kuo)数(Shu)据(Ju)并(Bing)行(Xing)和(He)模(Mo)型(Xing)并(Bing)行(Xing)，(?)在(Zai)并(Bing)行(Xing)运(Yun)作(Zuo)时(Shi)贡(Gong)献(Xian)weight参(Can)数(Shu)和(He)减(Jian)少(Shao)我(Wo)的(De)数(Shu)据(Ju)搬(Ban)运(Yun)，(?)实(Shi)现(Xian)负(Fu)载(Zai)均(Jun)衡(Heng)。(?)
鲍(Bao)敏(Min)祺(Qi)介(Jie)绍(Shao)了(Liao)周(Zhou)易(Yi)NPU架(Jia)构(Gou)，(?)包(Bao)含(Han)task schedule manager（(?)任(Ren)务(Wu)日(Ri)程(Cheng)管(Guan)理(Li)器(Qi)）(?)、(?)Optional on Chip SRAM、(?)DRAM和(He)CPU，(?)未(Wei)来(Lai)的(De)端(Duan)侧(Ce)AI是(Shi)一(Yi)种(Zhong)多(Duo)任(Ren)务(Wu)场(Chang)景(Jing)，(?)需(Xu)要(Yao)一(Yi)个(Ge)高(Gao)效(Xiao)的(De)scheduler并(Bing)行(Xing)股(Gu)那(Na)里(Li)和(He)具(Ju)有(You)可(Ke)扩(Kuo)展(Zhan)能(Neng)力(Li)的(De)核(He)心(Xin)。(?)针(Zhen)对(Dui)算(Suan)法(Fa)的(De)特(Te)殊(Shu)需(Xu)求(Qiu)，(?)可(Ke)以(Yi)在(Zai)整(Zheng)个(Ge)外(Wai)部(Bu)SOC上(Shang)增(Zeng)加(Jia)SRAM。(?)更(Geng)重(Zhong)要(Yao)的(De)是(Shi)NPU异(Yi)构(Gou)策(Ce)略(Lue)，(?)即(Ji)独(Du)立(Li)端(Duan)到(Dao)端(Duan)地(Di)去(Qu)执(Zhi)行(Xing)AI任(Ren)务(Wu)，(?)并(Bing)且(Qie)自(Zi)由(You)裁(Cai)减(Jian)8T或(Huo)10T的(De)场(Chang)景(Jing)，(?)与(Yu)同(Tong)构(Gou)策(Ce)略(Lue)形(Xing)成(Cheng)鲜(Xian)明(Ming)的(De)不(Bu)同(Tong)。(?)NPU异(Yi)构(Gou)在(Zai)端(Duan)侧(Ce)场(Chang)景(Jing)上(Shang)还(Huan)可(Ke)以(Yi)实(Shi)现(Xian)power gating或(Huo)低(Di)功(Gong)耗(Hao)，(?)即(Ji)专(Zhuan)注(Zhu)于(Yu)某(Mou)一(Yi)种(Zhong)计(Ji)算(Suan)时(Shi)，(?)将(Jiang)其(Qi)他(Ta)不(Bu)必(Bi)要(Yao)的(De)功(Gong)耗(Hao)降(Jiang)至(Zhi)最(Zui)低(Di)，(?)若(Ruo)是(Shi)所(Suo)有(You)应(Ying)用(Yong)采(Cai)用(Yong)这(Zhe)种(Zhong)处(Chu)理(Li)方(Fang)式(Shi)，(?)就(Jiu)可(Ke)以(Yi)将(Jiang)端(Duan)侧(Ce)功(Gong)耗(Hao)降(Jiang)下(Xia)来(Lai)。(?)ARM NPU已(Yi)经(Jing)针(Zhen)对(Dui)汽(Qi)车(Che)、(?)AI加(Jia)速(Su)器(Qi)、(?)AIoT等(Deng)场(Chang)景(Jing)进(Jin)行(Xing)了(Liao)相(Xiang)应(Ying)的(De)实(Shi)践(Jian)，(?)实(Shi)现(Xian)了(Liao)显(Xian)著(Zhu)的(De)算(Suan)力(Li)提(Ti)升(Sheng)和(He)功(Gong)耗(Hao)降(Jiang)低(Di)。(?)
下(Xia)一(Yi)代(Dai)周(Zhou)易(Yi)NPU将(Jiang)面(Mian)向(Xiang)AI生(Sheng)态(Tai)进(Jin)行(Xing)优(You)化(Hua)升(Sheng)级(Ji)，(?)目(Mu)前(Qian)已(Yi)经(Jing)针(Zhen)对(Dui)Wenxin、(?)Llama、(?)GPT等(Deng)模(Mo)型(Xing)做(Zuo)了(Liao)相(Xiang)关(Guan)部(Bu)署(Shu)。(?)在(Zai)边(Bian)缘(Yuan)计(Ji)算(Suan)上(Shang)，(?)面(Mian)向(Xiang)PAD、(?)PC、(?)Mobile等(Deng)各(Ge)类(Lei)场(Chang)景(Jing)推(Tui)出(Chu)相(Xiang)应(Ying)产(Chan)品(Pin)或(Huo)适(Shi)配(Pei)。(?)在(Zai)汽(Qi)车(Che)应(Ying)用(Yong)上(Shang)，(?)无(Wu)论(Lun)是(Shi)IVI或(Huo)是(Shi)ADAS都(Du)可(Ke)以(Yi)根(Gen)据(Ju)实(Shi)际(Ji)场(Chang)景(Jing)算(Suan)力(Li)需(Xu)求(Qiu)和(He)模(Mo)型(Xing)需(Xu)求(Qiu)，(?)提(Ti)供(Gong)最(Zui)高(Gao)至(Zhi)320tops的(De)算(Suan)力(Li)能(Neng)力(Li)。(?)