作者 | 塞普·霍克瑞特
口译 | 安东尼奥
编辑 | 陈才贤
人类的智能，包括意识、认知、决策等，似乎从人类被记录的那一刻起，就吸引了无数哲学家的思考。同样，从人工智能诞生的那一刻起，科学家们就一直在梦想：人工智能如何实现类人智能？
近日，LSTM的提出者和创始人、奥地利高级人工智能研究所（IARAI）的创始人，以及获得2021年IEEE CIS神经网络先锋奖的Sepp Hochreiter教授对所达到的智能水平发表了看法。
Sepp Hochreiter 指出，目前 AI 的发展目标是广泛的 AI（Broad AI）。他强调，将以往的基于逻辑的符号人工智能与现有的基于数据的神经人工智能相结合的双向人工智能（bilateral AI）是最有希望实现广义人工智能的方式。
1 现有神经网络的不足
深度神经网络现在是人工智能的主流实现。虽然可以达到惊人的性能，但在人类智能方面还是有很多不足的地方。Hochreiter 教授引用了纽约大学认知科学家 Gary Marcus 对神经网络的批评，他说：（1）神经网络非常需要数据）；(2）迁移能力有限，无法有效迁移到新的任务或数据分布；(3）无法充分整合世界知识或先验知识。
因此，Hochreiter 教授警告说，决策者对这些模型在真实数据应用中的效果持怀疑态度，因为真实场景中的数据总是在变化、嘈杂，甚至是稀缺的。事实上，深度学习技术在医疗、航空和无人驾驶领域的应用仍然有限，这些领域需求量很大，但安全性和可解释性是重要考虑因素。
2“广义人工智能”
尽管如此，Hochreiter 教授也指出，当前的 AI 已经在努力克服这些缺点，并将“广泛的 AI”作为当前 AI 的新目标。
什么样的系统是广义AI？
它不同于现有的狭义人工智能（narrow AI），专为特定任务而设计，强调技能获取和问题解决（skill gain and problem solve）。这种观点来自于在谷歌工作的 Keras 作者 François Chollet 在一篇论文中对智能的定义。Chollet 认为，第二步智能（下）中的广义 AI 应该具有以下重要特征：知识转移和交互、鲁棒性、抽象和推理能力以及效率。另一方面，广义人工智能充分利用感官知觉、过去的经验和学习的技能来成功执行不同的任务。
图注：不同等级AI对应的能力
Hochreiter 教授认为，现有的架构、网络或方法在一定程度上满足了 Broad AI 的要求。他引用了使用对比学习的自我监督训练来证明可迁移性。现代 Hopfield 网络利用背景和以往的经验；以及融合知识和推理的神经符号计算模型。
3 流动性
现有的模型学习方法中，没有比小样本学习更能有效提高网络可迁移性的方法。它只使用少量的训练数据就可以达到不错的性能。这要归功于它已经拥有的“先验知识”或“经验”。这种先验知识通常受益于预训练任务——包括大规模数据和基础模型。这些数据通常用于通过比较学习和自我监督训练来提取有用的表示。预训练模型一旦学习，在任务上获得的后验知识就成为新的下游任务的先验知识，从而使模型能够很好地迁移到新的情况、客户、产品、流程、数据等。
Hochreiter教授特别提到了视觉-语言交叉模态领域的对比学习预训练方法——CLIP。CLIP 是 OpenAI 去年在 ICML 上发表的作品，它使用一个简单的预训练任务，即图文匹配，通过对比学习来学习更强大的图像表示。该任务是使用在线收集的 4000 万对图像-文本对进行训练的。
图例：CLIP 使用图文匹配进行训练
出人意料的是，它无需任何数据训练即可在 30 多项计算机视觉任务上达到与之前完全监督的方法相当的性能，实现出色的“零样本学习”。正如 Hochreiter 教授所称赞的，这种高度的可转移性和鲁棒性是在工业中部署真实数据的理想特性。
事实上，自从 CLIP 发明以来，后续的很多迁移学习工作都是基于 CLIP 的。毫不夸张地说，它绝对是视觉语言统一的一个组成部分，有点类似于用于 NLP 任务的 Bert。很多流行的Prompt学习方法也是借鉴了CLIP，或者在CLIP的框架下。
4 杠杆经验
广义AI还应充分利用与记忆密切相关的上下文和过去的经验。或许 Hochreiter 教授在这一点上有很好的发言权。毕竟，他是长短期记忆网络的发明者之一。在认知科学中，有学者提出了短时记忆的概念，它描述了当一个人接收到一个刺激，比如一个图片或一个词，他会迅速将这些刺激转化为一个抽象的概念类别，并将其与信息联系起来。与长时记忆有关。“刺激-概念化-联想”的过程几乎是在不知不觉中发生的可复制的漂亮特殊符号网名2021，但它在我们对日常事物的理解和语言交流中起着非常重要的作用。
图例：“刺激-概念化-联想”的认知过程
在这方面，Hochreiter 引用了现代 Hopfield 网络 (MHN) 的工作，这实际上是在他自己的指导下完成的。Hopfield神经网络早在1982年就被提出，它是一种结合记忆系统和二进制系统的神经网络，模拟人类记忆的模型。MHN认为Transformer中的self-attention机制是Hopfield网络具有连续状态的更新规则，并从Hopfield网络的角度对self-attention进行了新的诠释。与内存相关的部分解释是它挖掘数据中的协方差结构，即如何使特征同时出现在数据中。MHN 放大了这种共现。这种相关性可以被认为是触发记忆的联想部分，有效地利用了先验知识。
Hochreiter 指出，MHN 可以发现丰富数据中的相关性，这一优势避免了当代方法容易出现的“快照学习”风险。“捷径学习”是指模型学习并没有真正用于决策的“特征”，只是发现一些特殊的相关性，比如飞机总是出现在图片的上半部分等。（详情请参考至之前介绍的AI技术评论：深度学习未能“走捷径”）
5 个神经符号组合
神经网络和符号系统可以更好地促进人工智能模型与世界知识和抽象推理能力的整合。
基于理性主义的符号系统是以逻辑和符号表示为基础，将人的推理方法直接编码到机器中。然而，由于现实世界知识的复杂性、多样性和非结构化性质，很难将这些完美地编码成机器可读的规则。
基于经验的神经网络直接利用大量数据，通过隐式（无监督）或显式（监督）引导模型学习数据的有用表示，无需设计复杂的规则，即可获得惊人的性能。然而，神经网络也面临着可解释性弱、数据匮乏等问题。
两者的有机结合也是AI领域学者经常思考的问题。有趣的是，这也可以让人联想到人类历史上关于思想的争论，理性主义和感性的兴衰也是一个有争议的话题。
Hochreiter 教授认为，已经发展了一段时间的图神经网络（GNN）就是这个方向的代表。这也是 IJCAI'20 上发表的一项调查的意见，该调查将 GNN 归类为 1 类神经符号系统。文章认为，两者有以下共同点：都寻求神经网络输入的丰富向量化表示；两者都采用树和图结构来表示数据及其关系。Hochreiter 教授认为，它们在强调动态交互和推理的分子特性、社会网络建模、工程领域的预测等领域具有良好的表现。
图例：GNN图结构示意图
6 总结
Hochreiter 强调，实现广义 AI 需要结合神经符号系统来实现一种双边 AI。人工智能研究人员还应该致力于开发具有更强技能获取和解决问题能力的人工智能系统。他还设想欧洲在这两个领域都具有传统优势，因此利用这些优势积极寻求通用人工智能的解决方案。
参考：
Hochreiter，塞普。“迈向广泛的人工智能。” ACM 65.4 (2022): 56-57. 的通信
Chollet, F. 关于智力测量 (2019); ArXiv:1911.01547.
Luís C. Lamb、Artur d'Avila Garcez、Marco Gori、Marcelo OR Prates、Pedro HC Avelar 和 Moshe Y. Vardi。2021. 图神经网络遇到神经符号计算：调查和观点。在 IJCAI '20. 第 679, 4877–488 条4.
雷锋网
","force_purephv":"0","gnid":"9d65e89d5e365d332","img_data":[{"flag":2,"img":[{"desc":"","height":"632" ,"标题":"","url":"https://p0. ssl。图片 360快。com/t0103c5648a7a3e157a。jpg","width":"864"},{"desc":"","height":"524","title":"","url":"https://p0. ssl。图片 360快。com/t01a8b2e5d6e369f44b。jpg","width":"865"},{"desc":"","height":"424","title":"","url":"https://p0. ssl。图片 360快。com/t01728f03a3196e2ab0。jpg","宽度":"583"},{"desc":""," 高度":"335","标题":"","url":"https://p0. ssl。图片 360快。com/t01ea3dec7d71017f12。
jpg","width":"490"},{"desc":"","height":"492","title":"","url":"https://p0. ssl。图片 360快。com/t01a71b6a9ddcc23468。jpg","width":"549"},{"desc":"","height":"1660","title":"","url":"https://p0. ssl。图片 360快。com/t01cf491fffcc734afb。jpg","width":"750"}]}],"original":0,"pat":"art_src_1,fts0,sts0","powerby":"cache","pub_time":1649735904000,"pure" :"","rawurl":"http://zm. 消息。所以。com/abaaa8c86228a57206693babfb8e4a60","redirect":0,"rptid":"185361a4ceaaf828","src":"雷锋", 将符号 AI 与神经 AI 结合 谁能给我所有的网络符号？- ：不能这么说，但大多数♡。1⊙●○①⊕◎Θ⊙¤㊣★☆♀◆◇◣◢◥▲▼△▽⊿◤◥♡。2 ▆ ▇ █ █ ■ ▓ 回 □ 〓≡ ╝╚╔ ╗╬ ═ ╓ ╩ ┠ ┨┯ ┷┏ ♡. 3 ┓┗ ┛┳⊥『』┌ ┐└ ┘∟『』↑↓→←↘↙♀♂┇rum ﹉﹊﹍﹎╭♡。4 ╮╰ ╯ *^_^* ^*^ ^-^ ^_^ ^(^ ∵∴‖| |︴ ... 如何导致“广义人工智能”？Sepp Hochreiter，LSTM 的作者之一：组合符号AI with Neural AI 谁能给我所有的网络符号？ - : 不能这么说，但大多数♡. 1⊙●○①⊕◎Θ⊙¤㊣★☆♀◆◇◣◢◥▲▼△▽⊿◤ ◥ ♡. 2 ▆ ▇ █ █ ■ ▓ 返回 □ 〓≡ ╝╚╔ ╗╬ ═ ╓ ╩ ┠ ┨┯ ┷┏ ♡. 3 ┓┗ ┛┳⊥『』┌ ┐└ ┘∟『↓→←ↆ ♂┇ ﹉﹊﹍﹎╭ ♡. 4 ╮╰ ╯ *^_^* ^*^ ^-^ ^_^ ^(^ ∵∴‖| |︴ …
什么是网络符号！- :一、搜狗拼音输入法1、中文数字大写中文数字在输入金额时可以自动转换，为金融工作者提供了极大的方便。应用示例：在搜狗输入法下，输入[v6386.25]，即可输出[路千三百八十路元二5分]。此外，搜狗的v模式还支持...
什么是网络符号？- ：使用功能abc打字，先按住v再按字母键上方的数字键可复制的漂亮特殊符号网名2021，1~9可以自己选择或者点击右下角打字选项中的功能菜单知道
网络符号 - 越多越好：省略，后面：=:-#) 大胡子朋克 >-: 哈！他在和你做鬼脸>:->-(哇！他真想杀了，别惹他~~:-(气的快要爆炸了？-(谁被打了，眼睛都黑了？@: -) 他有一头卷发@= 看起来像原子弹爆炸时间的蘑菇云？@>>-->-- 请收下这朵美丽的玫瑰 B-) 小家伙戴眼镜！ E-:-| 这是火腿部落的象征 i-) 挑剔的侦探 0-) 焊工 x- 醉酒（无需转头）@%&$%& 发誓
找到名称中的网络符号-：网络符号大全(一) O(^_^)O 听听随身听(#^_^) 包扎K 头(#_(^o^)c 丹喝咖啡(^.^)y-~~.o0抽烟..@_@|||||..晕^.vv.^可爱蝙蝠！p(^o^)q双手握紧，表示你在工作辛苦的意思！\(^o^)/举手欢呼-_-|||就像樱桃球的条形码，无奈的意思...
跪求网络语言的一些符号-：除了楼上的方法，还可以用qq拼音右键软键盘，里面有很多符号
? 网络中找那些特殊符号越完整越好~-:！$ & ¤§ | °¨±·*÷÷ˉ˙˙˙˙˙˙˙ξξυυψψιψψπρστυφψωёбгдежзийклфуцчшщъшщъэюяабвгджзийклфцчшщъыююёёёшщъшщъюююёёшщъшщъюююёёшщъшщъюяёёшщъ‥ююююёёшщъ‥‥юююёёшщъ‥ююююю ∧∨...
在 Internet 上查找所有流行的符号。- : (^V^)(^_^)→_→╭(╯ε╰)╮O(∩_∩)OT^T-_-||┏ (^ω^)=☞ ◐▂◐@x@ ~\(≧▽≦)/~♞♚
当今流行的网络语言符号有哪些？：网络语言符号汇总常用词：偶-伊伦-人迷-非常滴-p-骗8-不缩水-说泥-你表-不喊-好素食- 这一次 - 吃涅槃 - 银子，卖淫 - 人们常用的词：躺着 - 我倒葡萄 - 捶着头晕菜 - 云，昏倒酱紫（甘...
网名中的特殊符号...越特别个性越好~~~~~ - : 将输入法调整为智能ABC，在按上面数字键的同时按“V”。多少例如 V+1
