Datawhale干货
作者：平凡@知乎，诺桑比亚大学，在读博士
(资料图片)
今天晚上，花了一点儿时间看了两篇文章：
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior，即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时，由于增加了参数数量、训练数据或训练步骤等因素，出现了定性上的新能力和性质，这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子，每个图都可以理解为一个任务，横轴是神经网络的规模，而纵轴是准确率，可以理解为模型的性能。
我们拿图一来看，在10的22次方前，这些模型基本上的性能基本上都很稳定在0附近，而在10的22以后，突然在10的24次方上获得了很大的性能提升，在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣，我直接把推特一位博主的评论引用在这里：
作者发现，当我们训练用网络计算同余加法 a+b = ? (mod c) 时，网络在某个时间突然获得了 100% 准确率。分析发现，神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法！这个算法可以证明是正确的， 反人类直觉的。
从这俩例子里面我的感受是，只要数据量足够且真实，且模型没有硬错误的前提下，不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少，但是系统的少，零星的多，如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话，我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf标签：
Datawhale干货作者：平凡@知乎，诺桑比亚大学，在读博士今天晚上，花了一点儿时间看了两篇文章：《Emergent
东方之门旁的秘密花园里刚经历过一番动人的月季花事此时此刻，沐浴着温柔的阳光绣球园里的绣球花也迎来了高
龙州县气象台2023年5月27日12时15分发布雷电黄色预警信号。目前，雷雨云团已经靠近龙州县，预计未来6小时内
1、矮地茶确实是一种中药，的确有很多功效。2、尤其是对咳嗽有很好的疗效，如果有肺病或者咳嗽，经常喝矮地
甘德县气象台5月27日12时20分发布雷电黄色预警信号：预计5月27日12时20分至5月27日18时20分甘德地区可能发
导读1、是什么文章里的我的外婆年已七旬，一头短发像罩上一层白霜，一双大眼已深深陷入眼窝，嘴里的牙几乎
自7月11日零时起，相关区域常态化核酸检测频次从7天调整为72小时，自7月13日零时起开始扫码查验。
而且都是知名车型，那么这两款代表车型哪个更好呢？来看看思域和卡罗拉的好内容介绍吧！1 思域和卡罗拉哪个
恭喜！陈梦王艺迪问鼎女双！直落3局横扫韩国，国乒提前包揽五金,陈梦,国乒,韩国,八强,王艺迪,田志希,乒乓球
在嘉兴南湖，渔里未来社区提供居民服务事项“长三角一网通办”，打造具有获得感、参与感、归属感、幸福感的
1、中级经济师视频课程您可以看张宁老师的。本文到此分享完毕，希望对大家有所帮助。
0基础入门·0费用即学网易数据分析是你学数据分析·不会后悔的选择问为什么选择网易？A1全面融入ChatGPT的
问下，别人以我的名义买下放子。我到时候过户给她，请问我将来买
变形金刚百度云资源链接1-5，变形金刚百度云这个很多人还不知道,现在让我们一起来看看吧！1、变形金刚,干脆
1、名字mng的拼音由以下几个字组成：2、World-famous[JXiwenMing]3、全世界：全世界。全
今天来聊聊关于茅台迎宾酒怎么样知乎，茅台迎宾酒怎么样的文章，现在就为大家来简单介绍下茅台迎宾酒怎么样
1、《宇宙大战之原力觉醒》是原力国王创作的网络小说。2、发表于起点中文网。文章到此就分享结束，希望对大
1、《宇宙全息统一论与中国传统文化》是山东人民出版社出版的图书。2、作者是台震林。文章到此就分享结束，
来为大家解答以上的问题。曙光天阔R4280-AD2，光天阔R4280-AD2介绍这个很多人还不知道,现在让我们一起来看看
1、有两种解释： 比湖小但比河大狭长形的水域专指宜兴东西两湖 2、氿是酒的谐音，有这样一段故事供您
1、第一步，下载安装flashplayerforIE最新的版本。2、百度flash，进入flashplayer的
眼下，我国从南到北，夏收、夏种、夏管工作正在火热进行。山东菏泽：小麦长势喜人风吹麦浪待丰收“小满”过
1、这取决于个人。2、一般两盒左右算一个疗程。3、我自己用的博福特冻干粉现在有三盒。本文到此结束，希望
1 倒立醒神：长时间工作容易让大脑疲劳，而久坐容易导致缺氧，尤其是熬夜的时候。这时，你不妨试着放下手中
5月25日，青海省共和县德吉滩“祥和塔”下，中国太保(601601)三江源生态公益林分外热闹。来自三江源国家公
(王天译 鲁萍)27日，由世界运河历史文化城市合作组织(WCCO)和沧州市人民政府联合主办的“2023运河城
1、新水源球场，位于巴西巴伊亚州萨尔瓦多市，是在原水源足球场的基础上翻修新建的一个足球场。原水源足球
1、韵达、圆通、中通、申通一般起步价都是10-15不等（有的网点的是可以谈价的）。2、EMS起步价20；顺风最贵22。3
今天来聊聊关于如何把图片上的文字转换为word，如何能将图片上的文字转换word的文章，现在就为大家来简单介
1、在我们南方就是一种米，而且长得跟一般的米不同，普通米是长细的。2、珍珠米是短圆的。3、用来洗粥是
Copyright © 2015-2022 西南服装网版权所有 备案号：皖ICP备2022009963号-8 联系邮箱：39 60 29 14 2@qq.com
韩“天安”号护卫舰下水 
