第1997章 硬件条件受限的情况下,“蒸馏”的重要性(1 / 1)

为了生存被动的工作,为了更好的生活主动去工作,哪种效率高?
无疑是后者。
既能够满足经济需要,又能获得名誉,基于兴趣富有激情的去工作呢?
也许兴趣和激情有一天会消退,但在消退之前,效率无疑是最高的。会让人不自觉的,忘我的,不知疲惫的,灵感迸发的投入其中……
此刻位于温莎的b实验室,所有科研人员不论白发苍苍已经功成名就的,还是笨拙稚嫩处于学习和积累阶段的,每一个都拿出了平生最大的热情,投入到了“大计划”当中。
牛、剑与b实验室之间的计算机网络架设完成后,一直有个国际象棋体验项目。
之所以选国际象棋,是因为这是如今人工智能领域竞争最激烈的赛道。从74年开始,专门开设了世界计算机象棋锦标赛。
人工智能与人类棋手的对弈,也一直是非常热门的话题。
主要是能够让不同知识背景的人,直观的判断出所谓“人工智能”的智能程度……
世界范围内参与这条赛道的It公司与实验室非常多,小来小去的不提,比较知名的就有一堆。
老美的cray Research公司,依靠cray-1 超级计算机一直处于顶尖水平。
毛子的莫斯科控制科学研究所,第一届世界计算机象棋锦标赛就是他们承办的,并取得了冠军。 这里面有两个背景要科普一下。
第一个背景。
别看前面那些参与人工智能项目的公司、高校和实验室好像挺厉害似的,但即便是眼下性能最强的,贝尔实验室的“评级也只有2200到2300。
其次是cray Research对cray-1 超级计算进行专业优化后的cray blitz,有2100到2200。 也就是说,时下竞争火热的“人工智能们”,即便是排名第一的“belle”,距离大师的入门水准,也还有一段距离呢。
第二个背景。
对计算机而言,棋力表现的基础有两个,算力和数据库。
前者决定了单局落子时限内的搜索深度,说白了就是每次落子前能算出后面多少步棋路发展。
时下人工智能的算力,硬件基础加上软件优化,普遍在 8至9层左右。
贝尔实验室的“belle”,依靠pdp-11/23 加LSI-11处理器,再加上多块专用定制电路板。采用混合架构和硬件加速技术,能达到10层+。
具象一点,每秒钟能够比对约16到18 万个局面,是所有竞争对手中最快的。
这并不是一个稳定结果,具体表现要结合棋面的复杂程度。而且,国际象棋标准赛中,每局就时间分配而言分三个区段。每个区段留给人和计算机思考的时间都不一样。
而人类顶尖大师,能够稳定达到12到13层。状态特别好时,甚至能达到14层。
这也是个波动值。毕竟人类身体的客观条件决定了,时时刻刻都要面临多维度的干扰和影响……冷了热了、饥了饱了、有尿了憋屎了,后背有点刺挠,苦茶子有点勒沟子……
女朋友劈腿了,五岁的女儿早恋,十五岁的儿子又尿床,观众席有人咳嗽……哪来的臭鸡蛋味儿……诶?内妞儿真漂亮……
至于数据库,贝尔实验室的“belle”内置了二十八万套局面的开局库,是眼下赛道内所有计算机中最高的。
艾兹格一帮人早就想好了,“悟空”想要真正取得业内认可,最佳的捷径就是参加世界计算机象棋锦标赛,以及战胜知名人类棋手。
但那这三个月之前的想法,和制定的初步计划。所有人都认为,需要很长的时间做准备。
因为,“悟空”和现有的所有“人工智能”都完全不同的。
聚焦于国际象棋这一点,现有的“人工智能”知识获取,完全依赖人类专家编码的规则和棋理。依托专用的“棋类计算器”执行,算法与硬件深度绑定国际象棋问题。
这种“人工智能”,无法应对人类未编码的复杂局面,需要专家持续更新规则库。
而“悟空”依托的算力单元,硬件层面没有针对国际象棋做任何专项优化,也没有做优化的计划。
软件层面,将国际象棋的基本规则“教”给它,然后通过两种方式进行强化。
其一是,将历史比赛数据转化为知识,投喂给它。让它基于“规则”和“知识”,通过 mctS算法和神经网络组合自我训练。
其二是不断给他找对手,它的深度卷积网络会在对局中基于胜率,自动捕捉高阶模式。
听着很美好,但也导致参数空间扩张和外部数据资产的不断积累。
简单的说,数据量越来越大。
而计算机的算力、总线、内存、外部存储器和磁盘阵列控制器的吞吐、读写速度都是有限的。数据量越来越大,就意味着调用、比对、决策的时间越来越慢。
而国际象棋的时间规则又那么严苛,这几乎是无解的矛盾……
谁也没想到,这个问题在曲卓上次来时,所有人都没留意的情况下,就被初步解决了。
虽然他只待了大半天,其中很大一部分时间还用在了开会和闲聊上。
闲聊过程中,得知参数量越来越大,不但占用了大量宝贵的硬盘空间,甚至为了保证读取速度,不得不将数据分配到不同磁盘阵列里。
确定了问题后,曲卓只用了两个小时左右,就编辑了一个知识库蒸馏程序。随后用蒸馏程序对现有数据进行清洗、去重,还修改了标注规则。
“蒸馏”的过程非常慢,分布在四个磁盘阵列下,已经累积到接近3G的专项知识库,用了二十多个小时才完成。
等蒸馏结束后,实验室的人惊讶的发现,新的智能体数据包,居然只有两百三十多兆,参数量从亿级骤降到了百万级。
没有人知道如此夸张的脱水比,在提升知识密度的同时,会损失多少有效知识。但毫无疑问,运算速度重新回到了丝滑流畅的水平。
呃~~
只能说,不同的时代,对“丝滑流畅”这一评价的阈值,是不同的。
然后,就是不断的惊喜。
大概从去年年底诺贝尔颁奖前后开始,参数进行过深度优化的“悟空”,进入了连胜状态。
消息传开后,之前那些体验后便失去了兴致的国际象棋高手们,有人起了再次体验的兴趣。
今年一月中,“悟空”在所有人都毫无准备的情况下,突兀的赢了一位继去年夏天后,第二次至牛津体验与“悟空”对弈的国际象棋大师大卫?古德曼。 “悟空”连赢了他三盘,一盘比一盘轻松。
越来越轻松,不是“悟空”短时间内“棋力暴涨”,是大卫?古德曼在输掉第一盘后,被旁观者的惊讶和惊呼影响了心态,后面两盘水准连续下滑。
虽然“悟空”只是赢了个国际排位三百名左右的大师,但三百名也是大师呀。 (国际特级大师 Gm、国际大师 Im、棋联大师 cm)
后面的一个多月,陆续有十余位得到消息的大师级选手,慕名前往剑桥和牛津……“悟空”的战绩是57胜,31负。
在戴英各路媒体的重点关注和推波助澜下,消息瞬间“吹”遍了欧洲各国,甚至北美的媒体也跟着开始报道。
尤其是计算机和电子类报纸、杂志,几乎全都做了报道,差异只在于篇幅、激动、乐观与质疑。
四月初,“悟空”迎来了一位重量级对手,81年一月FIdE官方最新排名全球第五,毛子裔高卢Gm级国际特级大师斯帕斯基。
结局是两胜一和两负。
“悟空”首局输了,但斯帕斯基赢的并不轻松,第二局斯帕斯基依旧赢了,同样不轻松。第三局和棋,四、五局悟空连胜。
很明显,只要一直下下去,“悟空”的连胜数几乎一定会不断累加下去。
因为,只要不断电、不卡机,网络不出故障,“悟空”就能一直保稳定的状态。
但43岁的斯帕斯基不行。半天完成五局,已经是他体力和脑力的极限了,继续下去状态只会不断下滑。
“战平世界排名第五”这一消息惊爆后,“悟空”真的出名了。

website stats