第319章 神经网络
就在林奇沉迷与迟疑于这位神孽以命运之力为他搭建的处理器的接口模块时,他却戛然发现脑海里同样在动工的芯片走向了新的篇章。
迥异于他曾经构思的简单cpu芯片模型,也并非最近才转变思路的gpu芯片模型。
而是一种更为极端的芯片模型。
ai芯片。
众所周知,芯片本身具有多种类型,以制程来分的话,微机与手机作为消费电子的关键,自然分配到的也是最好的消费级芯片,像每年各家手机厂商推出的最新款旗舰机,如果不搭配上最新的870880芯片,都绝对对不起这个称号。
哪怕这里面有的芯片因为性能而发热严重甚至成本巨大,但最新最强这个名头,就是不能轻视之,不然消费者马上在这一年教做人。
而这些芯片之外,剩下的还有不同种类的芯片,它们并不需要用到最为先进的5nm制程,它们甚至用单片机这些来控制即可,包括不限于arm,dsp这类,也就是总称的mcu芯片。
它们的制程再高也就28nm级别,但却是一笔庞大无比的消耗,诸如汽车便是这类芯片的消耗大头,最简单两个车窗控制升降都需要,更别说自动辅助驾驶等复杂的功能模块。
而ai芯片则是一种在异化之上,比gpu走得还要更加极端的芯片类型。
如果是gpu比起cpu而言,是需求更加多的alu单元(算术逻辑单元)。
那么ai芯片则是专门针对ai算法定制的专用芯片,所以执行ai算法时能耗更低,效率更高。
林奇最初看着这位神孽以“创生圣言”激发他创造效率而萌生的“处理器”模块,很快就发现它与寻常芯片结构的不同之处。
像是自动驾驶这个类目,寻常的cpu处理器计算,则因为运算并非强项所以速度无法满足需要,至于gpu芯片倒是满足,但是它的成本过高与功耗都动辄超过了消费者承受范围。
这时候,专门定制用来贴切这些应用场景的ai芯片便应运而生,像是谷歌早期训练阿尔法狗还用的显卡芯片,后期便直接用自行研发的ai芯片来训练。
林奇这时才懵懵懂懂的想起来。
ai芯片之所以能够胜出,便在于ai算法涉及到的太多卷积、残差网络、全连接类型计算。
而这些计算本质上便是加法和乘法。
类似于林奇曾经接触到的那些法术模型的计算。
要知道,一个成熟些的ai算法,执行一次它的话,动辄便等价于上万亿次加法乘法计算。
而先进些的cpu处理器,算上多核一秒钟的计算次数也就几百亿次。
来处理上万亿次便有着时间差距。
可像是谷歌开发的tpu1,它一秒钟的计算次数,是接近100万亿次。
一秒钟都把上万亿次计算的ai算法执行了上百次了。
如果说gpu是专门从cpu中分离出去处理图像计算,那么ai芯片则是专门分离处理ai算法计算。
这一切,都源自于深度学习对于神经网络算法的依赖!
偏偏。
此时的林奇看着这份硬是在自己脑海里建立起来的奇迹,已经坑不出半句话来。
说多少,那都是多余。
法术模型本身涉及的便是最基本的加法乘法运算。
而林奇最初制定的方案,便是日后往人工智能转型,却没想到,居然还在这儿被硬生生地抬了一个台阶。
此时他重新望着对面的神孽,对方满意地看着林奇。
很显然,林奇看懂了ai芯片的构造,不会让宝珠有蒙尘的一日。
“神经网络!”
神孽萌发出惊天的声音,再度席卷林奇耳膜。
而他的脑海里,也戛然间重新组织起所有关于这个算法的一切资料,并且再度结合上因为知晓而回报的部分。
像某不可名之物,最初出来的时候,是cpu在挖,到如此都是专门定制的矿机,而这些矿机便是用的ai芯片。
acis(ai芯片)在计算领域,算是从cpu与gpu的大幕围剿里杀了出来。
林奇撇了撇嘴。
法术。
魔法。
法术模型。
论怎样的施法最可靠,自然是教会处理器自己来完成整套施法流程。
外在的pid处理整体秘能场参数问题,内在的则是ai芯片处理法术模型的计算问题。
人。
根本就不应该存在于这个环节里。
而让芯片学会施展魔法只是第一步。
第二步是让芯片学会抉择!
人类的反应,已经证明无法小于0.1秒,所以短跑认为反应速度超过这个就是抢跑。
然而面对瞬息万变的法术战斗,林奇如果想着1v1的单挑,那么靠他自己一个确实够了。
可如果想着是成为法术战里的万人敌,那么他也更需要一套自动的法术应答机制。
这也是无数法师需要事先针对接下来战斗指定法术战方案的原因,因为他的思维已经无法支撑毫秒级响应的战斗,只能够制定更为全面的计划,然后将其嵌入本能之中。
既然他记忆宫殿内部,有一枚即将诞生的ai芯片,那为何不一条路走到直,顺势把法术应答也开发出来?
而这里就要绕回到最初的的问题。
机器处理1+1,那可以碾压世间万物。
但是机器要知道怎么选择法术,就需要经过漫长路了!
光是一个自动驾驶,让机器来取代人类进行驾驶,就耗费了无数厂家的心血,至今依旧在l2徘徊着。
什么是机器学习?
换个简单的说法——
人:1+1=?
机:5
人:1+2=?
机:7
人:3+2=?
机:10
无数次后……
人:1+1=?
机:2。
所谓人工智能。
有多少人工,便有多少智能。
曾经有人距离过一个芒果的例子。
比方要挑选芒果,却又不知道什么样子的芒果好吃,便需要先尝遍所有芒果,然后总结了深黄色的好吃,此后再买自己选择深黄色即可。
而机器学习,便是让机器先尝一边所有芒果,让机器总结出一套规律。
这里的人,需要的便是描述给机器每一个芒果的特征,从颜色大小再到软硬,最终让它输入好吃与否。
剩下的则等机器学习出一套规则,判断“深黄色”芒果好吃。
这个学习过程,便是机器学习,而神经网络便是最为热门的机器学习法。
林奇重新秉心静气,走到记忆宫殿的书架之上,默默翻开最初的书籍。
进度跳的太快,让他不得不赶紧加班加点钻研起接下来的学识,他就像是一位油烧开了才刚开始翻菜谱的厨子。
情况虽然有些万分火急,却又冥冥中有着一种注定。
曾经的阿尔法狗,利用的算法便是蒙特卡洛算法与神经网络算法,而神经网络学习对于所有搞机器学习的都是绕不开的壁垒。
这也是林奇需要快速啃掉的知识点。
此时的他正坐于牢笼之中,内心别无他物地在泥泞的地面上推演起来,丝毫没有顾忌上面的污秽与沙土,仿佛这便是一副宽屏的黑板供他进行演算。
神经网络,顾名思义来自人类的神经元。
基本上经过高中的生物学教学也大多能理解神经元的原理,它中间是一个球形细胞体,一头是细小而繁盛的神经纤维分支,学名树突。
另一头是单独一根长长的突起纤维,学名轴突。
神经元的作用便是各个树突接收到其他神经元细胞发出的电化学信号刺激,这些脉冲相互叠加之后,一旦最终的强度达到临界值,便会让这个神经元细胞启动,随后朝着轴突发送信号。
而轴突通过细胞膜内外的纳钾离子交换让膜电位发生变化,使得整个电信号不衰减地传递下去。
最终这些信号传递到其他的轴突与树突,再激发他们产生信号,成为二级神经元。
像人类的视觉系统,便是通过1亿3千万光感受细胞接受光信号,在通过120万节细胞轴突将信息从视网膜传递到大脑,形成了三维图形。
而机器学习,便是要教给计算机,怎么把它接受的输入结果和我们想要的输出结果关联起来。
诸如看到一张图片,它能够理解这便是我们需要的数字1.
而这依赖的便是感知器,这也是名为神经网络的原因。
感知器,本身便是模拟神经细胞,原先的生物学名词都有了对应的新名字——
权量(突触)、偏置(阈值)及激活函数(细胞体)。
机器无法理解一副图片,但是它可以把图片翻译为“像素点阵”,然后这些点阵以0与1输入。
林奇默默在地面上化了一个初中生熟悉的xy坐标轴,同时在上面点出了(1,1)(-1,1)(-1,-1)(1,-1)这四个左边,它们连接起来便是一个正方形,而这四个左边分别坐落在四个象限。
机器学习需要的便是让机器知晓诸如(2,2)这种应该算作哪一个象限?
这便需要神经网络算法的“分类”作用。
这里输入是一个(2,2)的坐标,它是一个1乘2的矩阵,这是输入层。
设定50个神经元,所以它便是一个1乘50的矩阵,这是隐藏层。
而结果1-4象限,则是一个1乘4的矩阵,这是输出层。
根据线性代数的知识,可以知道矩阵之间是能够沟通的,所以一个输出层的1乘4矩阵可以用最初的1乘2输入层矩阵表达。
这其中的操作,便在于为这个矩阵运算添加激活层以及输出正规化,再通过交叉熵损失来量化当前网络的优劣,最后再进行参数优化。
这个过程所需要的便是反复迭代。
重新走完这个过程后,林奇也不禁感慨地叹息数分。
他还记得大学的毕业论文课题,当时都是由各个导师根据自己的专业范围制定题目,然后再由学生们报名选择。
当时林奇选的慢了,最后剩下的都是若干不好啃的“算法题”。
毕竟做算法,墓地就是优化它的参数,让整个计算时间短一些,效果更精确,最终更优化些,可是每年一代又一代的学生,早已把沙漠上明显的宝石捡走了,剩下的方法也就研究生博士生的路子,自己圈一块地,继续往下深挖,想要靠着视野一眼就挑出钻石,那根本是无稽之谈。
而林奇最终思索数番,选择的是一道遗传算法做全局最优的题目,结果当时matlab早就有一整套成熟的工具包,林奇还是老老实实地自己编写函数,最终凑出一篇勉强的论文。
最终面对评审专家提问创新之处时,林奇也只能面前回答,他用的这几个参数组合,未见与前人文章,这才勉强划水过去。
而他那位选择了神经网络算法的舍友,当场被质疑模拟数据造假,差点延毕。
后来为了帮助舍友,林奇当时算是第一次接触神经网络算法。
毋庸置疑,在神经网络算法里,秘能场参数便是“输入矩阵”,法术模型结果便是“输出矩阵”。
随即,林奇在地面是书写了一段文字——
神经网络(nn)。
人工神经网络(ann)。
以大量的简单计算单元(神经元)构成非线性系统。
一定程度上模拟大脑的信息处理、存储和检索等功能。
bp网络的误差反向后传学习算法。
输出后误差来估计输出层的直接前导层误差,再以误差更新前一层的误差,如此反传下去获得所有其他各层的误差估计。
……
他一步一步地重新将整个神经网络的知识梳理一遍。
他相信,这也是对面那位神孽所等待的内容。
这也是两者之间的交换!
一种无须言说的默契。
迥异于他曾经构思的简单cpu芯片模型,也并非最近才转变思路的gpu芯片模型。
而是一种更为极端的芯片模型。
ai芯片。
众所周知,芯片本身具有多种类型,以制程来分的话,微机与手机作为消费电子的关键,自然分配到的也是最好的消费级芯片,像每年各家手机厂商推出的最新款旗舰机,如果不搭配上最新的870880芯片,都绝对对不起这个称号。
哪怕这里面有的芯片因为性能而发热严重甚至成本巨大,但最新最强这个名头,就是不能轻视之,不然消费者马上在这一年教做人。
而这些芯片之外,剩下的还有不同种类的芯片,它们并不需要用到最为先进的5nm制程,它们甚至用单片机这些来控制即可,包括不限于arm,dsp这类,也就是总称的mcu芯片。
它们的制程再高也就28nm级别,但却是一笔庞大无比的消耗,诸如汽车便是这类芯片的消耗大头,最简单两个车窗控制升降都需要,更别说自动辅助驾驶等复杂的功能模块。
而ai芯片则是一种在异化之上,比gpu走得还要更加极端的芯片类型。
如果是gpu比起cpu而言,是需求更加多的alu单元(算术逻辑单元)。
那么ai芯片则是专门针对ai算法定制的专用芯片,所以执行ai算法时能耗更低,效率更高。
林奇最初看着这位神孽以“创生圣言”激发他创造效率而萌生的“处理器”模块,很快就发现它与寻常芯片结构的不同之处。
像是自动驾驶这个类目,寻常的cpu处理器计算,则因为运算并非强项所以速度无法满足需要,至于gpu芯片倒是满足,但是它的成本过高与功耗都动辄超过了消费者承受范围。
这时候,专门定制用来贴切这些应用场景的ai芯片便应运而生,像是谷歌早期训练阿尔法狗还用的显卡芯片,后期便直接用自行研发的ai芯片来训练。
林奇这时才懵懵懂懂的想起来。
ai芯片之所以能够胜出,便在于ai算法涉及到的太多卷积、残差网络、全连接类型计算。
而这些计算本质上便是加法和乘法。
类似于林奇曾经接触到的那些法术模型的计算。
要知道,一个成熟些的ai算法,执行一次它的话,动辄便等价于上万亿次加法乘法计算。
而先进些的cpu处理器,算上多核一秒钟的计算次数也就几百亿次。
来处理上万亿次便有着时间差距。
可像是谷歌开发的tpu1,它一秒钟的计算次数,是接近100万亿次。
一秒钟都把上万亿次计算的ai算法执行了上百次了。
如果说gpu是专门从cpu中分离出去处理图像计算,那么ai芯片则是专门分离处理ai算法计算。
这一切,都源自于深度学习对于神经网络算法的依赖!
偏偏。
此时的林奇看着这份硬是在自己脑海里建立起来的奇迹,已经坑不出半句话来。
说多少,那都是多余。
法术模型本身涉及的便是最基本的加法乘法运算。
而林奇最初制定的方案,便是日后往人工智能转型,却没想到,居然还在这儿被硬生生地抬了一个台阶。
此时他重新望着对面的神孽,对方满意地看着林奇。
很显然,林奇看懂了ai芯片的构造,不会让宝珠有蒙尘的一日。
“神经网络!”
神孽萌发出惊天的声音,再度席卷林奇耳膜。
而他的脑海里,也戛然间重新组织起所有关于这个算法的一切资料,并且再度结合上因为知晓而回报的部分。
像某不可名之物,最初出来的时候,是cpu在挖,到如此都是专门定制的矿机,而这些矿机便是用的ai芯片。
acis(ai芯片)在计算领域,算是从cpu与gpu的大幕围剿里杀了出来。
林奇撇了撇嘴。
法术。
魔法。
法术模型。
论怎样的施法最可靠,自然是教会处理器自己来完成整套施法流程。
外在的pid处理整体秘能场参数问题,内在的则是ai芯片处理法术模型的计算问题。
人。
根本就不应该存在于这个环节里。
而让芯片学会施展魔法只是第一步。
第二步是让芯片学会抉择!
人类的反应,已经证明无法小于0.1秒,所以短跑认为反应速度超过这个就是抢跑。
然而面对瞬息万变的法术战斗,林奇如果想着1v1的单挑,那么靠他自己一个确实够了。
可如果想着是成为法术战里的万人敌,那么他也更需要一套自动的法术应答机制。
这也是无数法师需要事先针对接下来战斗指定法术战方案的原因,因为他的思维已经无法支撑毫秒级响应的战斗,只能够制定更为全面的计划,然后将其嵌入本能之中。
既然他记忆宫殿内部,有一枚即将诞生的ai芯片,那为何不一条路走到直,顺势把法术应答也开发出来?
而这里就要绕回到最初的的问题。
机器处理1+1,那可以碾压世间万物。
但是机器要知道怎么选择法术,就需要经过漫长路了!
光是一个自动驾驶,让机器来取代人类进行驾驶,就耗费了无数厂家的心血,至今依旧在l2徘徊着。
什么是机器学习?
换个简单的说法——
人:1+1=?
机:5
人:1+2=?
机:7
人:3+2=?
机:10
无数次后……
人:1+1=?
机:2。
所谓人工智能。
有多少人工,便有多少智能。
曾经有人距离过一个芒果的例子。
比方要挑选芒果,却又不知道什么样子的芒果好吃,便需要先尝遍所有芒果,然后总结了深黄色的好吃,此后再买自己选择深黄色即可。
而机器学习,便是让机器先尝一边所有芒果,让机器总结出一套规律。
这里的人,需要的便是描述给机器每一个芒果的特征,从颜色大小再到软硬,最终让它输入好吃与否。
剩下的则等机器学习出一套规则,判断“深黄色”芒果好吃。
这个学习过程,便是机器学习,而神经网络便是最为热门的机器学习法。
林奇重新秉心静气,走到记忆宫殿的书架之上,默默翻开最初的书籍。
进度跳的太快,让他不得不赶紧加班加点钻研起接下来的学识,他就像是一位油烧开了才刚开始翻菜谱的厨子。
情况虽然有些万分火急,却又冥冥中有着一种注定。
曾经的阿尔法狗,利用的算法便是蒙特卡洛算法与神经网络算法,而神经网络学习对于所有搞机器学习的都是绕不开的壁垒。
这也是林奇需要快速啃掉的知识点。
此时的他正坐于牢笼之中,内心别无他物地在泥泞的地面上推演起来,丝毫没有顾忌上面的污秽与沙土,仿佛这便是一副宽屏的黑板供他进行演算。
神经网络,顾名思义来自人类的神经元。
基本上经过高中的生物学教学也大多能理解神经元的原理,它中间是一个球形细胞体,一头是细小而繁盛的神经纤维分支,学名树突。
另一头是单独一根长长的突起纤维,学名轴突。
神经元的作用便是各个树突接收到其他神经元细胞发出的电化学信号刺激,这些脉冲相互叠加之后,一旦最终的强度达到临界值,便会让这个神经元细胞启动,随后朝着轴突发送信号。
而轴突通过细胞膜内外的纳钾离子交换让膜电位发生变化,使得整个电信号不衰减地传递下去。
最终这些信号传递到其他的轴突与树突,再激发他们产生信号,成为二级神经元。
像人类的视觉系统,便是通过1亿3千万光感受细胞接受光信号,在通过120万节细胞轴突将信息从视网膜传递到大脑,形成了三维图形。
而机器学习,便是要教给计算机,怎么把它接受的输入结果和我们想要的输出结果关联起来。
诸如看到一张图片,它能够理解这便是我们需要的数字1.
而这依赖的便是感知器,这也是名为神经网络的原因。
感知器,本身便是模拟神经细胞,原先的生物学名词都有了对应的新名字——
权量(突触)、偏置(阈值)及激活函数(细胞体)。
机器无法理解一副图片,但是它可以把图片翻译为“像素点阵”,然后这些点阵以0与1输入。
林奇默默在地面上化了一个初中生熟悉的xy坐标轴,同时在上面点出了(1,1)(-1,1)(-1,-1)(1,-1)这四个左边,它们连接起来便是一个正方形,而这四个左边分别坐落在四个象限。
机器学习需要的便是让机器知晓诸如(2,2)这种应该算作哪一个象限?
这便需要神经网络算法的“分类”作用。
这里输入是一个(2,2)的坐标,它是一个1乘2的矩阵,这是输入层。
设定50个神经元,所以它便是一个1乘50的矩阵,这是隐藏层。
而结果1-4象限,则是一个1乘4的矩阵,这是输出层。
根据线性代数的知识,可以知道矩阵之间是能够沟通的,所以一个输出层的1乘4矩阵可以用最初的1乘2输入层矩阵表达。
这其中的操作,便在于为这个矩阵运算添加激活层以及输出正规化,再通过交叉熵损失来量化当前网络的优劣,最后再进行参数优化。
这个过程所需要的便是反复迭代。
重新走完这个过程后,林奇也不禁感慨地叹息数分。
他还记得大学的毕业论文课题,当时都是由各个导师根据自己的专业范围制定题目,然后再由学生们报名选择。
当时林奇选的慢了,最后剩下的都是若干不好啃的“算法题”。
毕竟做算法,墓地就是优化它的参数,让整个计算时间短一些,效果更精确,最终更优化些,可是每年一代又一代的学生,早已把沙漠上明显的宝石捡走了,剩下的方法也就研究生博士生的路子,自己圈一块地,继续往下深挖,想要靠着视野一眼就挑出钻石,那根本是无稽之谈。
而林奇最终思索数番,选择的是一道遗传算法做全局最优的题目,结果当时matlab早就有一整套成熟的工具包,林奇还是老老实实地自己编写函数,最终凑出一篇勉强的论文。
最终面对评审专家提问创新之处时,林奇也只能面前回答,他用的这几个参数组合,未见与前人文章,这才勉强划水过去。
而他那位选择了神经网络算法的舍友,当场被质疑模拟数据造假,差点延毕。
后来为了帮助舍友,林奇当时算是第一次接触神经网络算法。
毋庸置疑,在神经网络算法里,秘能场参数便是“输入矩阵”,法术模型结果便是“输出矩阵”。
随即,林奇在地面是书写了一段文字——
神经网络(nn)。
人工神经网络(ann)。
以大量的简单计算单元(神经元)构成非线性系统。
一定程度上模拟大脑的信息处理、存储和检索等功能。
bp网络的误差反向后传学习算法。
输出后误差来估计输出层的直接前导层误差,再以误差更新前一层的误差,如此反传下去获得所有其他各层的误差估计。
……
他一步一步地重新将整个神经网络的知识梳理一遍。
他相信,这也是对面那位神孽所等待的内容。
这也是两者之间的交换!
一种无须言说的默契。