每次矩阵相乘用不到一个光子，手写数字识别准度超90%，光学神经网络效率提升数个量级
机器之心报道编辑：力元、杜伟
康奈尔大学等机构的这项研究证明了光学神经网络在原理上比传统神经网络具有更多基本的能效优势。在光子预算限制为每个标量乘积少于一个光子，研究者使用光学神经网络实现了非常高的手写数字分类准确度。
当前，深度学习在越来越多的任务上超越了人类，涉及的领域包括游戏、自然语言翻译、医学图像分析。然而，电子处理器上训练和运行深度神经网络的高能量成本阻碍了深度学习的进步空间。因此，光学神经网络代替深度学习物理平台的可行性受到了广泛的关注。
理论上，光学神经网络比部署在常规数字计算机上的神经网络具有更高的能源效率。在最近的一项研究中，来自美国康奈尔大学等的研究者们证明了，光学神经网络可实现在手写数字分类上的极高准确度：其中，在权重相乘中使用约 3.2 个检测到的光子使得准确度达到了 99％，而仅使用约 0.64 个光子（约 2.4×10^-19 J 光能）就能达到 90％以上的准确度。
论文链接：https://arxiv.org/pdf/2104.13467.pdf
该研究的实验结果是通过自定义的自由空间光学处理器所实现的，该处理器可以执行大规模并行矩阵矢量乘法运算，最多可同时执行约 50 万次标量（权重）乘法。
使用市售的光学组件和标准的神经网络训练方法，光学神经网络可以在标准量子极限附近通过极低的光功率达到很高的精度。这样的结果证明了低光功率操作的原理，并为实现光学处理器开辟了一条道路：只要仔细设计用于数据存储和控制的电子系统，每个标量乘法只需要 10^-16 J 的总能量，这要比当前的数字处理器高效好几个数量级。
光学矩阵向量乘法器的实验仪器配置。a 为光学装置原理图，b 为与原理图相对应的主要实验仪器。
大规模光学矩阵向量相乘
在光学矩阵矢量乘法器中实现能量优势的关键是尽可能放大要相乘的矩阵和向量。被放大后，大规模的乘法和累加操作就可以完全在光学领域并行执行，而且电子和光信号之间的转换成本有缓冲空间。在光学中，有几种不同的方法来实现并行操作：波长多路复用、光子中的集成电路空间多路复用和 3D 自由空间光学处理器中的空间多路复用。
迄今为止，在所有多路复用方法和架构中，模拟 ONN 都使用较小的向量 - 向量点积（作为实现卷积层和完全连层的基本操作）或矩阵向量乘法（用于实现完全连接的层），将向量限制最多 64 维（远低于 10^3），这也是光处理器能耗高于理论预测的根本原因。
因此，运用了可以进行大规模矩阵矢量乘法的 3D 自由空间光学处理器，研究者构建了如下图 a 所示的 ONN 架构，用每次标量相乘少于一个光子进行图片分类，达到了 ONN 的量子限制理论效率峰值。
研究者设计和构造的光学处理器使用以下方案执行矩阵向量乘法
：
矩阵向量乘法是通过三个物理步骤计算的：
扇出：输入向量的元素在空间上排列为 2D 块（图 1b，左上方）。代表输入向量
的 2D 块被复制了与矩阵 W 中的行数相等的次数，然后平铺在 OLED 显示上，如图 1b 所示（顶行）。
逐项积：将编码单个标量元素 x_j 的每个 OLED 像素对齐并成像到 SLM 上的相应像素，其透射率设置为∝w_ij，执行标量乘法 w_ij x_j（图 1b 底部中间）。
光学扇入：将每个块的强度调制像素通过将其透射的光聚焦到检测器上进行物理求和。撞击在第 i 个检测器上的光子总数与矩阵向量乘积 y 的元素 y_i 成正比（
）（图 1b 右下）。每个 y_i 可以解释为输入向量
与矩阵 W 的第 i 行之间的点积。
当光通过设置，矩阵向量乘法中涉及的所有标量乘法和加法被并行计算完成。向量元素在光强度中的编码将设置限为使用矩阵和具有非负元素的向量执行矩阵向量乘法。而且，该系统还可以用于对具有正负的元素的矩阵和向量执行矩阵向量乘法，方法是使用偏移量和缩放比例将计算转换为仅涉及非负数的矩阵向量乘法。
对于系统计算的每个向量 - 向量点积，将与逐项积相对应的空间模式聚焦到单个检测器上，来进行逐项积的求和。因此，检测器的输出与点积答案成正比，其信噪比（SNR）在散粒噪声极限下缩放为√N。如果向量足够大，那么即使每个空间模式的平均光子数都远小于 1，撞击到检测器上的光子总数也可能远远大于 1，因此正如图 1c 所示，精确地读出了点积答案是可能的。
亚光子点积的精度
为了了解系统在低光功耗情况下的实际性能，研究者在调整光子的数量的同时描述其准确性。在第一个表征实验中，研究者计算了随机选择的向量对的点积（图 2a），将通过点积计算得到的表征结果直接应用于通用矩阵向量乘法的设置（看作向量 - 向量点积计算）。
而点积计算的答案是标量，因此只需使用单个检测器，编码点积答案的光信号由能够分辨单个光子的灵敏光电检测器测量。通过改变检测器的积分时间并在 OLED 显示后立即插入中性滤光片，可以控制每个点积所使用的光子数。
如上图 2b 所示，为了证明设置可以基于大尺寸向量使用每个标量乘积少于 1 个光子的计算，研究者测量了尺寸约为 50 万的向量之间点积的数值精度。每个标量乘法 0.001 个光子的情况下，测得的误差约为 6％，导致此误差的主要因素是检测器的散粒噪声。随着增加所使用的光子数量，误差逐渐减小，直到在每次乘法 2 个或以上光子时达到大约 0.2％的最小误差。
为了使实验获得的模拟数字精度与数字处理器中的数字精度之间能够进行对比，研究者将每个测得的模拟误差百分比解释为对应于计算出的点积答案的有效位精度。使用度量噪声等效位的模拟 RMS 误差 6％对应于 4 位，而 0.2％RMS 误差则对应于大约 9 位。
研究者还证实了，当每个标量乘法使用较少数量的光子时，可以计算出较短向量之间的点积（图 2c）。对于每次乘法范围为 0.001 至 0.1 个光子的光子预算，无论所测试的所有向量有多大，数值误差都由散粒噪声决定。当使用的光子数量足够大时，误差不再由散粒噪声控制，这与图 2b 中所示的单向量大小结果一致。对于测试的每个光子预算，较大向量之间的点积误差较低。这可能是因为较大向量之间的点积涉及了更大量项的有效平均。
使用亚光子乘法的 ONN
由于使用非常有限的光子预算，导致了乘法误差。为了确定 ONN 可以容忍多少误差，研究者运行经过训练的神经网络，并根据使用的光子数量来测量分类精度。
如下图 3a 所示，研究者将带有 MNIST 数据集的手写数字分类作为基准任务，并训练了一个具有用于低精度推理硬件（量化感知训练）的反向传播的四层全连接多层感知器（MLP）。
研究者首先评估了 MNIST 数据集中 5 个不同光子预算下的前 130 个测试图像：每个标量乘法的光子分别为 0.03、0.16、0.32、0.64 和 3.2 个光子（图 3b 中间图橙色点）。
然后他们发现了每次乘法使用 3.2 个光子会导致~ 99％的分类精度（图 3b 右上），几乎与在数字计算机上运行的同一训练过的神经网络的精度（99％）相同。在亚光子状态下，每个乘法使用 0.64 个光子，ONN 达到大于 90％的分类精度（图 3b 中上）。
实验结果与遭受散粒噪声的 ONN 所执行的同一神经网络的仿真结果非常吻合（图 3b 中间面板，深蓝色线）。如图 3b 所示，为了达到 99％的精度，每次推断手写数字所检测到的总光能约为 1 pJ。对于这些实验中使用的权重矩阵，平均 SLM 透射率约为 46％。
因此，当考虑到 SLM 不可避免的损耗时，每次推断所需的总光能约为 2.2 pJ。而 1 pJ 接近电子处理器中仅用于一个标量乘法的能量，而研究者的模型每次推断需要 89,400 标量乘法。
康奈尔大学的研究者使用标准的神经网络模型架构和训练技术，无须执行任何重新训练就可以运行模型。软件和硬件开发的成功分离也表明，研究者的光学神经网络（ONN ）在无需对 ML 软件的工作流程进行任何重大更改的条件下，可以替代其他更传统的神经网络加速器硬件。
同时，这些研究结果表明，光学神经网络在原理上比电子神经网络具有更多基本的能量优势。光学神经网络可以在光子预算体制下运行，其中标准量子极限（即光学散粒噪声）决定了可达到的精度。
CVPR 2021 线下论文分享会
为更好的服务 AI 社区，促进国内计算机视觉学术交流，机器之心将于 6 月 12 日在北京望京凯悦酒店举办「CVPR 2021 线下论文分享会」。
本次活动将设置Keynote、 论文分享和 Poster 环节，邀请顶级专家、论文作者与现场参会观众共同交流。欢迎论文作者、AI社区从业者们积极报名参与。
作为一场开放的学术交流活动，我们也欢迎 CVPR 2021 的论文作者们作为嘉宾参与论文分享与 Poster 展示，请在报名页面提交演讲主题、论文介绍等信息，我们将与你联系沟通相关事宜。
点击阅读原文，立即报名。
©THE END
转载请联系本公众号获得授权
投稿或寻求报道：content@jiqizhixin.com
上一篇：
走进 RSAConference2021 第一天
下一篇：
计划投资10亿、5年装机200台金属3D打印机，常州钢研极光投产
1215
随着IP价值的不断被提起和验证，近些年游戏圈纷纷开始打造自己的IP宇宙，尤其是那些想象力与创造性兼备、广为年轻人所接受的二次元原生游戏，在IP拓展道路上有着天然的优势。而在玩家自制的“一图看懂二次元手游圈”榜单中，长期位列“二次元中坚力量”前列的《少女前线》，也在五年间培养起了优质厚重的IP土壤，在去年周年庆上散爆网络一口气宣布了四款《少女前线》IP矩阵新作
1834
新闻导读仕佳光子2020年营收6.72亿元，同比增长22.93%，净利润3806.78万元，同比增长2504.31%。光芯片及器件产品增长迅速，25GDFB激光器芯片完成内部性能验证，进入送样阶段。ICC讯河南仕佳光子科技股份有限公司(以下简称“仕佳光子”或“公司”)发布2020年年度报告称：2020年度公司实现营业总收入67,159.81万元，同比增长22
1928
机器之心报道编辑：力元两种基于深度神经网络的新方法，均可成功求解PDE，并且能够以更快的速度、更简单的方式建模复杂的系统。有趣的是，和大多神经网络一样，我们猜不透它们为什么如此优秀。研究者们致力于使用偏微分方程（Partialdifferentialequation，PDE）来描述涉及许多独立变量的复杂现象，比如模拟客机在空中飞舞、模拟地震波、模拟疾病在人群
1844
建筑早已不是一个简单的遮蔽物，而是组成这个世界的巨大空间中各色各样的风景。借助对环境、自然尺度的领悟，将建筑转变为全新的风景，从而发现全新的世界。旭辉贵阳都会新雲位于山水之城，贵阳白云区，这里有着独特而迷人的自然风光和深厚的历史文化，项目区域教育资源丰富，周边有多个大型商业中心，交通四通八达，各种适合休闲放松的场所，展现多元人居生态。设计师结合当地文化进行衍
1729
4月7日晚，大族激光发布公告称：为适应公司战略发展需要，激发企业内生动力，加快推进光伏行业设备业务市场化、产业化的进程，大族激光全资子公司大族光伏拟通过增资扩股的形式实施股权激励。本次增资前，大族激光持有大族光伏100%股权。增资完成后，公司持有大族光伏95%股权。本次增资中，大族激光以自有资金出资人民币3700万元，公司副总经理尹建刚先生出资人民币15万元
333
量产自动驾驶技术，正在因大幅降低驾驶疲劳而改变人们的汽车生活。一个可以预料的场景，在接下来的“五一”、“十一”，将会有更多智能电动车的车主勇敢地踏上自驾游的征程。鉴于这项技术的价值越来越大，量产自动驾驶技术的竞争正在变得异常激烈。一2021年的开春，小鹏汽车，向量产自动驾驶市场投下了一颗重磅炸弹。2021年3月19日，何小鹏准备兑现一个其在2020年10月2
209
新闻导读3月25日，II-VI宣布与Coherent达成最终协议，双方将打造一家光子解决方案、化合物半导体以及激光技术和系统领域的全球领导者。Coherent股东将以每股Coherent普通股交换为220美元的现金和0.91股II-VI普通股。同时，Coherent已宣布终止与Lumentum的合并协议。ICC讯美国宾州匹兹堡，2021年3月25日--全球领
1828
全领域设计大赛|GHDA环球人居设计大奖第四轮申报开启，点击上方图片查看详情↑↑以現代手法，詮釋古老禮序文化。鄭州綠城湖畔云庐-LakesideCottage-項目地處華夏文明重要發祥地——中原城市群核心城市鄭州北龍湖片區，臨湖靠路，魏河故道由南穿梭而過，周邊高校林立，居住氛圍成熟，未來發展可期。濱水而居感受一方寧靜，依林而居感受自然體悟。設計充分尊重場所精
1403
▌更多阅读推荐·爸，你早就不爱我妈了吧？·女明星自曝最后悔整容，我却觉得这不是真相
324
我发现了一个规律，女生总是喜欢在爱情里自我感动。为什么很多女孩明明被渣却不自知，还沉浸于自己编造的甜蜜爱情里？就是因为她们的脑补能力太强，有着莫名其妙的同情心，和异常强大的同理心。男朋友犯了某个错误，正在想道歉理由时，女生已非常懂事的为他找好了借口。然后自我感动到：“唉，我真是太善解人意了，他一定会更爱我的吧？”女生啊，有时候一个人就可以完成一场恋爱，她们就
1019
大雨，深夜，一个男人跌跌撞撞走在街头。他不断摔倒在地上，身上带着血，满身都是泥污。他喃喃自语，见人就说——帮帮我，帮我杀了我妻子吧！不管你要多少钱，我都愿意！旁边的人觉得这就是个疯子，都不予以理会。看到没人理会，这个男人疯狂地大声喊，“救救我！怎么才能杀了我妻子.....”什么样的深仇大恨，让他做出这么变态的选择？《出轨的话就死定了》2020年开头出现的这个
1511
我的工作我的思绪我的想法收到工资前的我收到工资后的我从前面对傻缺甲方的我现在面对傻缺甲方的我我的副业我的生活我的学习我的考试我的年度计划完成情况我的周末我的运动我的身材我的脸皮我的头发我的运气我的性格我的友情我的爱情我的技能我的心态我的假期从前和别人吵架的我现在和别人吵架的我我的饭量网购前的我网购后的我从前爸妈叫我相亲现在爸妈叫我相亲我向往的生活我真实的生活
1811
阅读本文前，请您先点击本文标题下面的蓝色字体“商界管理圈子”再点击“关注”，这样你就可以继续免费收到文章了，每天早上7:00准时分享，请放心关注.............................................在感情的世界里，伸手要和主动给，完全是两回事。如果一个人真的爱你，无需你开口，对方就会主动给你。倘若你开口提了，伸手要了，意义
1451
来源|精彩女人（ID：jcnv365）文|十七朵呀草在结他的种子，风在摇他的叶子，我们站着，不说话，就很美好。我们来这世上走一遭，如果能遇到一个心意相通，相知相爱的伴侣相守一生，是一件非常幸福的事。关于灵魂伴侣，每个人在单身的时候都曾有过美好的幻想。然而，有太多人误解了灵魂伴侣的真正含义。多少人得陇望蜀，缘木求鱼，到最后也没有好好珍惜已经得到的，却一辈子都对
1733
朱军今年37岁，妻子刘艳30岁两人在今年年初奉子成婚刘艳怀胎十月剖腹产生下了女儿女儿现在已经三个多月了然而两人从相识到现在一年多的时间真正在一起生活的日子不过两个多月更不正常的是有了婚礼，有了孩子妻子却不愿领证不愿回两人的家妻子刘艳说举行婚礼前恰逢他的生日正好可以领取结婚证成为结婚纪念日可是朱军却提出日子要有父母决定拒绝了刘艳的提议之后又因诸多巧合一直拖到了
1785
点击上方蓝字“青年文摘”右上角“...”点选“设为星标”添加★标不再错过推送每天8点12点20点不见不散~作者：关山月来源：凯叔讲故事ID：kaishujianggushi我一直相信一句话：教育永远是从生活中习得的。最好的教育，是父母相爱；最好的家庭，是不断成长。爸，你早就不爱我妈了吧？如果孩子问你，你怎么回答？当然爱啊，要不然怎么会有你。小孩子懂什么，一边
287
很多事情凑合一下就行了你都三十岁了要求别那么高学会降低标准才是聪明人的做法......可是降低标准不就等于否定过去的自己吗？够了别再劝我降低标准了我发现，新世纪的“离谱”就是，亲戚给你介绍的对象，别说你不喜欢了，你甚至会产生世纪迷思——“在他们眼里，我真的就只配这样了吗？”比如说，我月薪好几万的朋友，被介绍了一个工作稳定薪资稳定的月入三千的男人，还被说你是打
1263
晚安｜第一千七百六十八夜来自佚名▲长按图片，保存你的晚安音乐选歌：Sake推荐理由：听听歌，早点睡。睡前谈心「感情的最高境界就是守候彼此的孤独」▼这一年就快要过去了这两天在规划着跨年的事情时想起有一年我去迷笛的音乐节一边对深夜的稿子一边摇头晃脑一晃眼时代变得面目全非，我也成长了好多能跟我分享一下你们2020年的感受么最深刻的感悟或者最难忘的记忆都可以说多长都