手机浏览器扫描二维码访问
第14章 一不小心站在了技术发展的最前沿（第2页）
当梯度太大时，参数的调整会变得过于剧烈，网络的学习变得不稳定，甚至会导致训练失败。
这就像你在陡峭的悬崖边滑落，一下子失去了控制。
网络的参数变化过大，导致结果变得很不稳定，甚至完全错误。
概括地说：
梯度消失就像在一座越来越平的山坡上，梯度变得很小，神经网络不知道该怎么调整，进而学习变得很慢，甚至无法进步。
梯度爆炸就像从悬崖边滚下去，梯度变得很大，网络的学习变得过于剧烈，结果会非常不稳定，训练过程变得不可控。
这两个问题经常会出现在深层神经网络中。
而这也是马库斯所要倾诉的困扰。
“说起来，最近的研究还卡在了‘梯度消失’的问题上。”马库斯苦笑着说道，靠在沙发上，“我们在训练一些更深层次的神经网络时，发现模型一旦超过一定的深度，反向传播算法中的梯度会逐渐趋近于零，根本无法有效更新权重。深度越大，梯度就越容易消失，整个网络的学习效率大幅下降。”
马库斯知道林枫硕士是麻省理工学院的计算机硕士，因此也就全都用专业术语表述了。
对于这些林枫当然能听明白，非但能听明白，而且作为一个资深的人工智能从业人员。
林枫也清楚知道马库斯面临的难题。
林枫对AI的发展也有所了解，涉及到梯度问题在2014年是深度学习研究中的一个巨大挑战。
甚至可以说解决不了梯度问题就很难有真正的深度学习，也就不会有后来的人工智能成果的一系列井喷。
林枫心说，自己这是一不小心站在了技术发展的最前沿了吗？
不得不说，这种举手投足之间就能影响时代命运的感觉是真的无比美妙。
“梯度消失的问题一直存在，尤其是深层网络。梯度爆炸倒是相对好解决，但梯度消失会直接导致学习过程停滞不前。”林枫沉思片刻，补充道，“这不仅是你们实验室的问题，也是整个领域的瓶颈。反向传播的基本原理决定了，当信号在网络中层层传递时，梯度的变化会以指数级缩小。”
马库斯脑海中泛起了大大的问号，梯度爆炸问题好解决吗？
他怎么觉得梯度爆炸问题也挺麻烦的？
不过聊天本来就是求同存异，既然林同样认为梯度消失难以解决就够了。
马库斯也没纠结为什么林说梯度爆炸容易解决，而是继续就梯度消失发表观点说道：“是啊，哪怕有了ReLU（修正线性单元）激活函数的引入，虽然能在一定程度上减轻梯度消失，但对深层网络还是不够。”
林枫想了想，说道：“你们有考虑过改进网络结构吗？”
喜欢不朽从二零一四开始请大家收藏：（）不朽从二零一四开始
第四天灾：我的玩家会修仙 全民巨鱼求生：我能听到巨鱼心声 八零：迫嫁糙汉怀上三胞胎 你跟我很想至少一半以上 清末小旗兵 综穿带着王者系统当bKing 我有无限分身，成就仙帝不过分吧 穿越后，我被新帝瞄上了 人在四合院：我能看见弹幕 穿越大唐：打造最强工业园 祁木温年 鬼魂与反派的禁忌之恋 轮回天帝 纨绔女王爷：腹黑夫君别使坏 趣谈老祖宗那些事儿 致命毒宠，凛冬玫瑰 贾二虎的迷乱青春续集 费伦大陆的普通奇幻冒险 我在都市学会了修真直到无敌于世 小小领主不好惹！惹急眼了争天下
聿先生，结婚吧！
重生后的温若考虑的第一件事就是抱聿先生大腿，为此她颇费心思。温若我要金钱权利地位，作为回报，我可以帮你对付温家。聿先生心道毫不掩饰对金钱权利地位的渴望，是个实诚的好孩子！小小年纪就敢勾结外人对付自己人，是颗心狠手辣的苗子！回报太低。聿先生却如是说道。温若我可以为你做事。聿先生心道为他做事，那这个事儿可以是任何事！好！聿先生点头窃喜。直到很多年以后，聿先生总算娶到温若，这个自以为高明的女人才明白，她的他，从一开始的目标就是谋她的人和她的心。如果您喜欢聿先生，结婚吧！，别忘记分享给朋友...
全球灾变
关于全球灾变在让人绝望的末世之中，张凡意外获得了全能系统！从此，这个世界，在张凡眼里，变得不同！丧尸？杀了那就是属性！绝境？那都是升级宝地！别人不敢去的地方，他去，别人不敢做的事情，他做！不管是末日，还是绝境，再也无法束缚张凡的一飞冲天！...
欺世盗国
唐末黄巢之乱，黄巢因为偶然原因迟了四年才败亡，导致五十多年后历史大变样。基层官员穿越成南平将领，然而此时城外有敌军手下有叛徒上司靠不住，只能靠自己搏出一条生路！窃钩者诛，窃国者侯，且看陈佑在全新的五代十国如何一步步成为窃国大贼！如果您喜欢欺世盗国，别忘记分享给朋友...
炎武战神
得毒王传承，练就绝世毒功持残血之剑，吞噬无尽强敌修炎武战诀，锤炼强霸战体。武中之尊，毒中之霸。左持魔刀，右执残剑，主宰天下，弑破寰宇！...
重生后她手撕了反派剧本
双A双洁互宠1V1，女扮男装前世，司明叶为司家得罪了整个古武界，最终被至亲算计，葬身火海，死后方知她竟是一本小说里的大反派，活该有此下场。重生归来，熟知剧情的司明叶将上辈子沈家那个逆袭后惊艳所有人的私生子推到了人前。重来一世，司明叶真正肆意而活，护她想护，灭她想灭。可不知何时，沈家那卧薪尝胆的大尾巴狼私生子竟点亮了小奶狗技能，又乖又萌又缠（馋）人。司明叶推开求抱的沈知然沈家主，男男授受不亲，我喜欢异性。沈知然再次黏上来，好巧，我也是。古武界的人都知道，司明叶心狠手辣，能眼看至亲惨死而冷眼旁观，却唯独将沈家那个人人厌弃的私生子捧在了手心里，不惜一切把人推上沈家家主之位。司家覆灭之日，司茂典站在那熊熊大火之前含恨怒骂司明叶。司明叶却只是回之淡淡一笑，爷爷口口声声放心不下司家，既如此，那我就让你带着司家一起下地狱，这回你可放心了？人人都以为司明叶这下要完了，没了司家，她也就只是个会点儿功夫的普通人。谁知武运会上她亮出底牌，先天之境的级别轻松碾压所有人。更加闪瞎人眼的是，那向来低调的沈家家主竟然当众求婚，并全球直播。此时人们才知道，原来他们一直害怕忌惮的司少居然是个女人！！！如果您喜欢重生后她手撕了反派剧本，别忘记分享给朋友...
致命冲动
陌生人的微信红包不能乱抢！因为误抢了一个陌生的微信红包，奇怪的事情就接连发生，同学们开始一个接一个死亡。也许下一个，就是我...