每次矩阵相乘用不到一个光子,手写数字识别准度超90%,光学神经网络效率提升数个量级

机器之心报道编辑:力元、杜伟
康奈尔大学等机构的这项研究证明了光学神经网络在原理上比传统神经网络具有更多基本的能效优势。在光子预算限制为每个标量乘积少于一个光子,研究者使用光学神经网络实现了非常高的手写数字分类准确度。

当前,深度学习在越来越多的任务上超越了人类,涉及的领域包括游戏、自然语言翻译、医学图像分析。然而,电子处理器上训练和运行深度神经网络的高能量成本阻碍了深度学习的进步空间。因此,光学神经网络代替深度学习物理平台的可行性受到了广泛的关注。
理论上,光学神经网络比部署在常规数字计算机上的神经网络具有更高的能源效率。在最近的一项研究中,来自美国康奈尔大学等的研究者们证明了,光学神经网络可实现在手写数字分类上的极高准确度:其中,在权重相乘中使用约 3.2 个检测到的光子使得准确度达到了 99%,而仅使用约 0.64 个光子(约 2.4×10^-19 J 光能)就能达到 90%以上的准确度。

每次矩阵相乘用不到一个光子,手写数字识别准度超90%,光学神经网络效率提升数个量级


论文链接:https://arxiv.org/pdf/2104.13467.pdf
该研究的实验结果是通过自定义的自由空间光学处理器所实现的,该处理器可以执行大规模并行矩阵矢量乘法运算,最多可同时执行约 50 万次标量(权重)乘法。
使用市售的光学组件和标准的神经网络训练方法,光学神经网络可以在标准量子极限附近通过极低的光功率达到很高的精度。这样的结果证明了低光功率操作的原理,并为实现光学处理器开辟了一条道路:只要仔细设计用于数据存储和控制的电子系统,每个标量乘法只需要 10^-16 J 的总能量,这要比当前的数字处理器高效好几个数量级。

每次矩阵相乘用不到一个光子,手写数字识别准度超90%,光学神经网络效率提升数个量级

光学矩阵向量乘法器的实验仪器配置。a 为光学装置原理图,b 为与原理图相对应的主要实验仪器。
大规模光学矩阵向量相乘
在光学矩阵矢量乘法器中实现能量优势的关键是尽可能放大要相乘的矩阵和向量。被放大后,大规模的乘法和累加操作就可以完全在光学领域并行执行,而且电子和光信号之间的转换成本有缓冲空间。在光学中,有几种不同的方法来实现并行操作:波长多路复用、光子中的集成电路空间多路复用和 3D 自由空间光学处理器中的空间多路复用
迄今为止,在所有多路复用方法和架构中,模拟 ONN 都使用较小的向量 - 向量点积(作为实现卷积层和完全连层的基本操作)或矩阵向量乘法(用于实现完全连接的层),将向量限制最多 64 维(远低于 10^3),这也是光处理器能耗高于理论预测的根本原因。
因此,运用了可以进行大规模矩阵矢量乘法的 3D 自由空间光学处理器,研究者构建了如下图 a 所示的 ONN 架构,用每次标量相乘少于一个光子进行图片分类,达到了 ONN 的量子限制理论效率峰值。

每次矩阵相乘用不到一个光子,手写数字识别准度超90%,光学神经网络效率提升数个量级


研究者设计和构造的光学处理器使用以下方案执行矩阵向量乘法每次矩阵相乘用不到一个光子,手写数字识别准度超90%,光学神经网络效率提升数个量级


  • 把输入向量 ~x 的每个元素 x_j 编码为一个光源像素照射的单独空间模式强度;

  • 把每个矩阵元素 w_ij 编码为调制器像素的透射率;

  • 使用有机发光二极管(OLED)显示器作为光源;

  • 使用空间光调制器(SLM)进行强度调制。


矩阵向量乘法是通过三个物理步骤计算的:
  • 扇出:输入向量的元素在空间上排列为 2D 块(图 1b,左上方)。代表输入向量每次矩阵相乘用不到一个光子,手写数字识别准度超90%,光学神经网络效率提升数个量级的 2D 块被复制了与矩阵 W 中的行数相等的次数,然后平铺在 OLED 显示上,如图 1b 所示(顶行)。

  • 逐项积:将编码单个标量元素 x_j 的每个 OLED 像素对齐并成像到 SLM 上的相应像素,其透射率设置为∝w_ij,执行标量乘法 w_ij x_j(图 1b 底部中间)。

  • 光学扇入:将每个块的强度调制像素通过将其透射的光聚焦到检测器上进行物理求和。撞击在第 i 个检测器上的光子总数与矩阵向量乘积 y 的元素 y_i 成正比(每次矩阵相乘用不到一个光子,手写数字识别准度超90%,光学神经网络效率提升数个量级)(图 1b 右下)。每个 y_i 可以解释为输入向量每次矩阵相乘用不到一个光子,手写数字识别准度超90%,光学神经网络效率提升数个量级与矩阵 W 的第 i 行之间的点积。


当光通过设置,矩阵向量乘法中涉及的所有标量乘法和加法被并行计算完成。向量元素在光强度中的编码将设置限为使用矩阵和具有非负元素的向量执行矩阵向量乘法。而且,该系统还可以用于对具有正负的元素的矩阵和向量执行矩阵向量乘法,方法是使用偏移量和缩放比例将计算转换为仅涉及非负数的矩阵向量乘法。
对于系统计算的每个向量 - 向量点积,将与逐项积相对应的空间模式聚焦到单个检测器上,来进行逐项积的求和。因此,检测器的输出与点积答案成正比,其信噪比(SNR)在散粒噪声极限下缩放为√N。如果向量足够大,那么即使每个空间模式的平均光子数都远小于 1,撞击到检测器上的光子总数也可能远远大于 1,因此正如图 1c 所示,精确地读出了点积答案是可能的。
亚光子点积的精度
为了了解系统在低光功耗情况下的实际性能,研究者在调整光子的数量的同时描述其准确性。在第一个表征实验中,研究者计算了随机选择的向量对的点积(图 2a),将通过点积计算得到的表征结果直接应用于通用矩阵向量乘法的设置(看作向量 - 向量点积计算)。
而点积计算的答案是标量,因此只需使用单个检测器,编码点积答案的光信号由能够分辨单个光子的灵敏光电检测器测量。通过改变检测器的积分时间并在 OLED 显示后立即插入中性滤光片,可以控制每个点积所使用的光子数。

每次矩阵相乘用不到一个光子,手写数字识别准度超90%,光学神经网络效率提升数个量级


如上图 2b 所示,为了证明设置可以基于大尺寸向量使用每个标量乘积少于 1 个光子的计算,研究者测量了尺寸约为 50 万的向量之间点积的数值精度。每个标量乘法 0.001 个光子的情况下,测得的误差约为 6%,导致此误差的主要因素是检测器的散粒噪声。随着增加所使用的光子数量,误差逐渐减小,直到在每次乘法 2 个或以上光子时达到大约 0.2%的最小误差。
为了使实验获得的模拟数字精度与数字处理器中的数字精度之间能够进行对比,研究者将每个测得的模拟误差百分比解释为对应于计算出的点积答案的有效位精度。使用度量噪声等效位的模拟 RMS 误差 6%对应于 4 位,而 0.2%RMS 误差则对应于大约 9 位。
研究者还证实了,当每个标量乘法使用较少数量的光子时,可以计算出较短向量之间的点积(图 2c)。对于每次乘法范围为 0.001 至 0.1 个光子的光子预算,无论所测试的所有向量有多大,数值误差都由散粒噪声决定。当使用的光子数量足够大时,误差不再由散粒噪声控制,这与图 2b 中所示的单向量大小结果一致。对于测试的每个光子预算,较大向量之间的点积误差较低。这可能是因为较大向量之间的点积涉及了更大量项的有效平均。
使用亚光子乘法的 ONN
由于使用非常有限的光子预算,导致了乘法误差。为了确定 ONN 可以容忍多少误差,研究者运行经过训练的神经网络,并根据使用的光子数量来测量分类精度。
如下图 3a 所示,研究者将带有 MNIST 数据集的手写数字分类作为基准任务,并训练了一个具有用于低精度推理硬件(量化感知训练)的反向传播的四层全连接多层感知器(MLP)。

每次矩阵相乘用不到一个光子,手写数字识别准度超90%,光学神经网络效率提升数个量级


研究者首先评估了 MNIST 数据集中 5 个不同光子预算下的前 130 个测试图像:每个标量乘法的光子分别为 0.03、0.16、0.32、0.64 和 3.2 个光子(图 3b 中间图橙色点)。
然后他们发现了每次乘法使用 3.2 个光子会导致~ 99%的分类精度(图 3b 右上),几乎与在数字计算机上运行的同一训练过的神经网络的精度(99%)相同。在亚光子状态下,每个乘法使用 0.64 个光子,ONN 达到大于 90%的分类精度(图 3b 中上)。
实验结果与遭受散粒噪声的 ONN 所执行的同一神经网络的仿真结果非常吻合(图 3b 中间面板,深蓝色线)。如图 3b 所示,为了达到 99%的精度,每次推断手写数字所检测到的总光能约为 1 pJ。对于这些实验中使用的权重矩阵,平均 SLM 透射率约为 46%。
因此,当考虑到 SLM 不可避免的损耗时,每次推断所需的总光能约为 2.2 pJ。而 1 pJ 接近电子处理器中仅用于一个标量乘法的能量,而研究者的模型每次推断需要 89,400 标量乘法。
康奈尔大学的研究者使用标准的神经网络模型架构和训练技术,无须执行任何重新训练就可以运行模型。软件和硬件开发的成功分离也表明,研究者的光学神经网络(ONN )在无需对 ML 软件的工作流程进行任何重大更改的条件下,可以替代其他更传统的神经网络加速器硬件。
同时,这些研究结果表明,光学神经网络在原理上比电子神经网络具有更多基本的能量优势。光学神经网络可以在光子预算体制下运行,其中标准量子极限(即光学散粒噪声)决定了可达到的精度。

CVPR 2021 线下论文分享会


为更好的服务 AI 社区,促进国内计算机视觉学术交流,机器之心将于 6 月 12 日在北京望京凯悦酒店举办「CVPR 2021 线下论文分享会」。
本次活动将设置Keynote、 论文分享和 Poster 环节,邀请顶级专家、论文作者与现场参会观众共同交流。欢迎论文作者、AI社区从业者们积极报名参与。
作为一场开放的学术交流活动,我们也欢迎 CVPR 2021 的论文作者们作为嘉宾参与论文分享与 Poster 展示,请在报名页面提交演讲主题、论文介绍等信息,我们将与你联系沟通相关事宜。


点击阅读原文,立即报名。

每次矩阵相乘用不到一个光子,手写数字识别准度超90%,光学神经网络效率提升数个量级


©THE END

转载请联系本公众号获得授权

投稿或寻求报道:content@jiqizhixin.com

上一篇:走进 RSAConference2021 第一天
下一篇:计划投资10亿、5年装机200台金属3D打印机,常州钢研极光投产

相关推荐

低调干大事?这款上线五年的二次元手游,正在铺开自己的IP宇宙矩阵

低调干大事?这款上线五年的二次元手游,正在铺开自己的IP宇宙矩阵

1215 手游那点事

随着IP价值的不断被提起和验证,近些年游戏圈纷纷开始打造自己的IP宇宙,尤其是那些想象力与创造性兼备、广为年轻人所接受的二次元原生游戏,在IP拓展道路上有着天然的优势。而在玩家自制的“一图看懂二次元手游圈”榜单中,长期位列“二次元中坚力量”前列的《少女前线》,也在五年间培养起了优质厚重的IP土壤,在去年周年庆上散爆网络一口气宣布了四款《少女前线》IP矩阵新作

业绩 | 仕佳光子2020年营收6.72亿元  25G DFB激光器芯片已送样

业绩 | 仕佳光子2020年营收6.72亿元 25G DFB激光器芯片已送样

1834 讯石光通讯

新闻导读仕佳光子2020年营收6.72亿元,同比增长22.93%,净利润3806.78万元,同比增长2504.31%。光芯片及器件产品增长迅速,25GDFB激光器芯片完成内部性能验证,进入送样阶段。ICC讯河南仕佳光子科技股份有限公司(以下简称“仕佳光子”或“公司”)发布2020年年度报告称:2020年度公司实现营业总收入67,159.81万元,同比增长22

1秒极速求解PDE:深度神经网络为何在破解数学难题上独具天赋?

1秒极速求解PDE:深度神经网络为何在破解数学难题上独具天赋?

1928 机器之心

机器之心报道编辑:力元两种基于深度神经网络的新方法,均可成功求解PDE,并且能够以更快的速度、更简单的方式建模复杂的系统。有趣的是,和大多神经网络一样,我们猜不透它们为什么如此优秀。研究者们致力于使用偏微分方程(Partialdifferentialequation,PDE)来描述涉及许多独立变量的复杂现象,比如模拟客机在空中飞舞、模拟地震波、模拟疾病在人群

首发 | 矩阵纵横:潮流与文化的邂逅!

首发 | 矩阵纵横:潮流与文化的邂逅!

1844 拓者设计吧

建筑早已不是一个简单的遮蔽物,而是组成这个世界的巨大空间中各色各样的风景。借助对环境、自然尺度的领悟,将建筑转变为全新的风景,从而发现全新的世界。旭辉贵阳都会新雲位于山水之城,贵阳白云区,这里有着独特而迷人的自然风光和深厚的历史文化,项目区域教育资源丰富,周边有多个大型商业中心,交通四通八达,各种适合休闲放松的场所,展现多元人居生态。设计师结合当地文化进行衍

大族激光子公司增资4000万元 拟以不超过25%股权进行员工激励

大族激光子公司增资4000万元 拟以不超过25%股权进行员工激励

1729 OFweek激光

4月7日晚,大族激光发布公告称:为适应公司战略发展需要,激发企业内生动力,加快推进光伏行业设备业务市场化、产业化的进程,大族激光全资子公司大族光伏拟通过增资扩股的形式实施股权激励。本次增资前,大族激光持有大族光伏100%股权。增资完成后,公司持有大族光伏95%股权。本次增资中,大族激光以自有资金出资人民币3700万元,公司副总经理尹建刚先生出资人民币15万元

小鹏汽车向量产自动驾驶市场投下重磅炸弹

小鹏汽车向量产自动驾驶市场投下重磅炸弹

333 建约车评

量产自动驾驶技术,正在因大幅降低驾驶疲劳而改变人们的汽车生活。一个可以预料的场景,在接下来的“五一”、“十一”,将会有更多智能电动车的车主勇敢地踏上自驾游的征程。鉴于这项技术的价值越来越大,量产自动驾驶技术的竞争正在变得异常激烈。一2021年的开春,小鹏汽车,向量产自动驾驶市场投下了一颗重磅炸弹。2021年3月19日,何小鹏准备兑现一个其在2020年10月2

II-VI收购Coherent 打造光子行业全球领导者

II-VI收购Coherent 打造光子行业全球领导者

209 讯石光通讯

新闻导读3月25日,II-VI宣布与Coherent达成最终协议,双方将打造一家光子解决方案、化合物半导体以及激光技术和系统领域的全球领导者。Coherent股东将以每股Coherent普通股交换为220美元的现金和0.91股II-VI普通股。同时,Coherent已宣布终止与Lumentum的合并协议。ICC讯美国宾州匹兹堡,2021年3月25日--全球领

矩阵新作|以现代手法,诠释古老礼序文化

矩阵新作|以现代手法,诠释古老礼序文化

1828 居住空间

全领域设计大赛|GHDA环球人居设计大奖第四轮申报开启,点击上方图片查看详情↑↑以現代手法,詮釋古老禮序文化。鄭州綠城湖畔云庐-LakesideCottage-項目地處華夏文明重要發祥地——中原城市群核心城市鄭州北龍湖片區,臨湖靠路,魏河故道由南穿梭而過,周邊高校林立,居住氛圍成熟,未來發展可期。濱水而居感受一方寧靜,依林而居感受自然體悟。設計充分尊重場所精

“我来讲述我妈的前半生,想告诉你,什么是教科书级别的离婚和再婚。”| 晚安故事
私房话

“我来讲述我妈的前半生,想告诉你,什么是教科书级别的离婚和再婚。”| 晚安故事

12 婚姻与家庭杂志

很多朋友都在问小编姐姐的微信号大家说很想看我的朋友圈想了解编辑部的故事,也想知道我会不会和老公吵架,还有怎么教育孩子……我平时会发发工作的日常和生活的点滴,好玩儿的、好吃的也喜欢分享如果你想更了解我,就请添加小编姐姐微信号为好友吧作者:猪小浅来源:猪小浅(ID:zhuxiaoqian0214)妈妈不是超人,却为了孩子变得万能。妈妈不止给了女儿母爱,也教会了她

宠物犬猫数突破1亿,其“身后事”谁来管?
萌宠

宠物犬猫数突破1亿,其“身后事”谁来管?

754 瞭望

点击蓝字△关注我们◆2020年我国城镇宠物犬猫数量突破1亿只大关,达到10084万只◆动物由畜牧部门负责,殡葬由民政部门负责,宠物殡葬处于“两不管”状态◆宠物殡葬行业仍存在较多问题,尚未形成健康有序的经营秩序原题丨宠物经济火热,宠物“身后事”谁来管?文丨新华社记者赵宇飞、陈青冰、吴燕霞  如今,越来越多的人变身“铲屎官”“遛狗达人”,在家里饲养宠物,为生活增

游戏

三亚×《和平精英》跨界营销,文旅与电竞IP合力突围

1973 瑞丽up

5月1日—5月3日,一场以“起飞·新青年,三亚×《和平精英》2周年庆起飞狂欢节”为主题的超燃交互现实场景空降三亚市-国家海岸海棠湾,跳伞、水枪大战、COS表演、派对狂欢……潮酷新奇体验不断,嗨翻了今年初夏海滨的夜晚。三亚市旅游推广局作为这场狂欢派对的总策划,创新性地与国内热门手游IP《和平精英》深度跨界,具有“东方夏威夷”美称的三亚与爆款手游IP花式碰撞,激

狗子为复仇,天天在路边苦等仇家一年多!万万没想到…哈哈哈哈
萌宠

狗子为复仇,天天在路边苦等仇家一年多!万万没想到…哈哈哈哈

718 可爱萌宠圈

戳蓝色字体关注我哟~小可之家术业有专攻,萌宠有小可,点击下方关注,我在这儿等着你话说“有仇不报非好汉”,“君子报仇十年不晚”!狗M,为了向曾经咬过自己的狗N复仇,天天蹲在路边等着仇家经过......那叫一个执着啊,一年多的时间里,风雨无阻!天天准时趴在路口等!一天不来等一天,一年不来等一年!准备!!一雪前耻?矮小的大M竟如此勇敢!?可…为啥每次要追上的时候,

时隔两年反向升级,这个Switch OLED不要也罢!
游戏

时隔两年反向升级,这个Switch OLED不要也罢!

1525 IT鲜闻

作者/bba狂热粉小坦克比时间更让人猝不及防的,是任天堂。在经历了不断的谣言与爆料之后,昨日夜间(北京时间2021年7月6日21时),任天堂在其官方网站上直接对新款Switch的相关页面进行了发布。据官方介绍,新款的Switch名为SwitchOLED,并不是此前舅舅党所说的“Pro”。此外,SwitchOLED将在10月8日上市。不仅会搭载更大、画质更好的

从《双人成行》的火爆看双人合作冒险类型的复兴
游戏

从《双人成行》的火爆看双人合作冒险类型的复兴

1083 GameRes游资网

最近《双人成行》彻底火了,不少人都认为该作是自己心目中的年度最佳游戏。虽然说今年上半年确实主机单机领域缺乏足够多的佳作,但是《双人成行》本身也是素质非凡,尤其是在双人合作这个主题之下,通过奇妙的关卡设计和有趣的合作玩法令玩家们获得了多重快乐,直呼过瘾。当然关于游戏本身的关卡和玩法的设计已经有很多文章和视频进行相关探讨了,但是关于双人合作这个类型的话题似乎讨论

“什么样的女孩,能让男生一直心动”:摸清这几种心理,让他围着你转!
私房话

“什么样的女孩,能让男生一直心动”:摸清这几种心理,让他围着你转!

1719 陆琪

粉丝提问:我喜欢一个人的时候,就会不由自主地变得黏黏糊糊,放在热恋期的时候还好,但是当感情归于平淡的时候,我男朋友就提醒我想要个人空间。我也知道他说得有道理,但是我不知道到底该怎么做,才能把握好这个分寸呢?很多姑娘爱上了,就粘着对方拼命付出,结果人家不领情。恋爱真相是,你进他就退,你退他反而主动。本节课教你摸清男人心理,保持有趣,吸引他珍惜你。长按扫码可以看

我拒绝带年幼孩子参加奶奶葬礼,最疼我的父亲居然骂我…
私房话

我拒绝带年幼孩子参加奶奶葬礼,最疼我的父亲居然骂我…

1110 今日女报

情感门诊口述/晓玉文/罗雅洁昨天深夜,父亲给我打电话,说奶奶去世了,让我赶紧带着丈夫孩子回去参加葬礼。说实话,我的心里并没有太大触动,更不想浪费时间精力金钱回老家。也许很多人会觉得我太过冷漠,其实,我跟奶奶根本没见过几次面,在我心里,她几乎像个陌生人。父亲出身农村,家里有五个兄弟姐妹,他排行老三,因为家里穷,小学都没念完就出来打工了,爷爷奶奶更没帮上什么忙。