计算所与寒武纪公司提出国际上首个稀疏深度学习处理器

  中科院计算所与寒武纪公司提出了国际上首个稀疏深度学习处理器Cambricon-X,相关工作于近日被计算机体系结构领域顶级国际会议MICRO 2016(International Symposium on Microarchitecture)接收。

  深度学习是一类借鉴生物的多层神经网络处理模式所发展起来的智能处理技术。基于深度学习的围棋程序AlphaGo甚至已经达到了职业棋手的水平。稀疏深度学习可大幅度削减神经网络中连接数量,因此被业界广泛采用。但其计算和访存模式非常不规则,给相应的芯片设计带来了巨大的挑战。寒武纪团队针对稀疏深度神经网络特殊的计算模式和访存特性,提出采用一维稀疏表示、专用的数据访问引擎和动态计算调度策略来实现稀疏深度学习的专用处理器Cambricon-X,能高效处理各种类型的稀疏深度神经网络(包括卷积神经网络和递归神经网络等)。在TSMC 65nm工艺下,Cambricon-X峰值性能可达0.5Tops/s,面积开销仅为6.38平方毫米,稀疏深度学习速度相较于主流高端GPU提升性能10倍,能耗仅为其3.4%。相关工作已于2016年1月申请国内和PCT专利,此后UCSB也参与了Cambricon-X的进一步学术探索。

  此前,中科院计算所提出了国际上首个深度学习处理器结构(与法国Inria合作完成)、国际上首个多核深度学习处理器结构(与法国Inria合作完成),研制了国际上首个深度学习处理器芯片,提出了国际上首个深度学习指令集,多次获得计算机体系结构顶级会议最佳论文奖。Cambricon-X的工作进一步夯实了中科院与寒武纪在深度学习处理器领域的国际领导性地位。

  背景介绍:MICRO与ISCA、ASPLOS和HPCA并称计算机体系结构领域最顶级的四大国际学术会议。自2014年中科院计算所的陈云霁博士(寒武纪公司首席科学家)、陈天石博士(寒武纪公司创始人和CEO)与法国Inria的Olivier Temam博士(现供职于Google)在ASPLOS 2014共同开创了深度学习处理器方向之后,深度学习处理器已经成为MICRO、ISCA、ASPLOS和HPCA最关注的研究方向之一。MICRO 2016上有超过1/7的论文引用寒武纪团队成员的工作来进行智能处理器的探索(分别来自包括Intel、NVIDIA、佐治亚理工、UCSB等顶尖研究机构)。