跳至主要内容

大咖来信 | 张亚勤@2018:终日“闭关”读论文,思考终极算法

张亚勤是1998年决定回国的,距今已过20年。
这20年中,技术变革天翻地覆,中国发展也日新月异。他见证了互联网在中国的从弱到强,也看到了中国AI正在生发出的全球影响力。
但张亚勤坦言,这一切都是10年、20年前难以预料的,最近这一年来,新技术、新趋势和新变革令他着迷,也令他兴奋不已,他甚至最近都在“闭关”读论文,以求第一时间了解最新的技术进展。
他如何看待当前趋势?又有哪些思考、提醒和最新判断?
在与量子位的独家对话中,这位百度总裁分享了他最新的所见、所闻和所感。
(为便于完整了解亚勤所思所想,我们将对话在不改变原意的基础上,进行了第一人称改写,小标题均为后添加。)
百度总裁张亚勤 深度学习有大缺陷 终极算法赖于类脑突破
我最近两个月把自己的社交网络都停了,朋友圈关了、微博也不看了,现在每天晚上有时间就看论文,比如算法相关的、量子计算等,读书、看论文,发现认知又有提升。
我也在建议我小孩,可以试着把社交网络暂停3个月,然后多读读论文和书,会有增益而不是损失。
当前蓬勃发展的新技术让我兴奋,十年前决计想不到会有今天这样的爆发。
AI的再次火热因深度学习而起,但从算法复杂度、逻辑和计算机科学的角度,深度学习其实并不复杂,终极算法是什么?一切还只是小荷才露尖尖角。
我正在读的一本书,来自多明戈斯(Pedro Domingos)——《终极算法》,其中介绍了5个人工智能学派:符号学派、进化学派、联结学派、统计学派和类脑学派,他认为决定未来走向的终极算法,可能就在这5大学派中。
目前,占主流的是联结学派,通过大量数据做深度学习,建多层网络,就已经展现出了巨大的影响力。
但其实它对人的大脑基本不懂,只是用可监督学习,有输入、输出,然后就靠调参数,用反向传播来优化,优化好之后模拟一个大函数,进而来了新数据之后做新预测——并没有真正用到了人脑学习原理。
联结学派的深度学习模式,在数据量很大、数据有规则、模型有相对规律的情况下,这一套能运行得很漂亮,所以在围棋、语音和翻译等领域,都取得了大突破。
然而它跟人脑学习一比,差距就显而易见。比如小孩学习新事物,并没有那么多数据,小孩学习也不靠语音交互,基本都是看了就记住了,并且马上就能判断及决策。这都是当前AI和深度学习不能相提并论的。
而且当前这种主流算法消耗的计算资源和能量也很高,深度学习依赖海量数据,需要很强的计算资源,有点像大力士,孔武有力,但无法四两拨千斤,不够聪明。
那如果参照大脑,走类脑科学的模式,不仅可以低功耗,而且能有更多决策、记忆系统和突触结构。我们大脑有1000亿神经元,中间通过突触连接,突触本身还能存储信息、参与计算,实现决策,整体结构之精妙复杂,令人惊叹,而且功耗还非常低,运算速度很快,如果我们真能在类脑结构方面实现突破,将大大改变现有的冯·诺依曼架构。
可以看到的是,当前AI芯片层出不穷,都希望在类脑计算方面取得突破,可以学习大脑、学习交互、学习人脑学习系统,然后用低功耗、高效率、有意识的模式进行发展。所以越思考、越往后看,就越能感受到目前深度学习在理论上的大缺陷。
比较起来,我很关注类脑理论,AI要发展得更好,就必须要了解人是怎么学习的,刚才谈到人类小孩的学习能力,如果原理上能让机器学会,都会带来新的跃迁和突破。
于是计算机和生物学跨界交叉研究也越来越受到关注。一方面是从生物学的角度给计算机带来启发,另一方面则是计算机赋能生物研究。之前大脑emotion相关的病症,比如癫痫、老年痴呆、小儿自闭症等可能都是大脑信息传递流程中出现了问题。
拿癫痫来说,病理是神经元一直很活跃,电流就很容易激活,然后毫无征兆就能把人搞晕。那是不是可以通过调节synapse(突触)来降低其活跃度,技能治疗癫痫?此前生物学上难以解决,但现在计算机可以模拟神经元了,能够运用算法可以建立模拟模型,等到进一步知晓如何模拟连接,或许就能治愈癫痫。
我始终觉得,类脑算法中除了研究人脑工作原理——有记忆能力、低功耗,可以做决定,也有待于突触研究的突破,这些连接神经元的部分本身就能存储、计算信息,是一个复杂但令人称奇的系统,这个领域一旦有新突破,或许就能弥补深度学习的不足,进而推动AI实现新的跃迁。
量子计算加速AI 5G带来基础设施大变革
终极算法之外,量子计算的发展也让我兴奋不已。百度前段时间已经成立了量子计算研究所,接下来还有多位世界级科学家加盟。
怎么看量子计算呢?我们从两方面思考。一方面是硬件,另一方面是软件。
硬件方面有量子计算机——有超导方式、半导体方式、光子方式等,我不知道最终哪一个会胜出,但百度会在硬件方面保持合作心态。
我们会更看重软件生态的部分,从三个A的角度看待,也将是百度布局的重点:一个是Algorithms算法,一个是Architecture架构,一个是Application应用,这三个缺一不可,不过算法和架构,我认为还会沿着AI的方式继续向前。
但量子计算带来的变化,将是颠覆性的。这不需要十年二十年,很可能五年左右就会发生。如今机器学习所需要的几个部分,比如大量优化算法、现行方程式、大矩阵计算,以及其中的多项式、大函数,都是量子计算所擅长的,量子计算可以把整个复杂度降低,我们称之为指数型加速。
同样能够带来基础设施革新的是5G。跟2G、3G、4G一样,这又将是一次带宽和信息传输的大革新,会推动AI相关应用更快发展,比如自动驾驶、智能制造和智能家居,其中都有高流量、逼真、交互等相关需求,5G会带来更大带宽,流量也会进一步便宜,新的基础设施+新的技术趋势,就会推动整个产业有大变革,所以这次5G会和AI密切相关。
AI很重要的一部分是万物有灵,5G会让IoT变得更加可能,计算在边缘终端就能实时完成,加之网络虚拟化可以跟现在互联网IP无缝衔接,技术的融合会带来更大的想象。
但越是一片欣欣向荣,越有一些隐患就要留心注意。
警惕AI寒冬
我认为可能有2点需要注意。
第一,要有更长远的心态,其实目前AI在产业有一些泡沫,大家追求短平快,真正研究类脑科学,做算法、深层研究的人还是少,包括量子计算、AI基础算法的人还是少一些,这东西可能要几年后才能出成果,需要一些在安安静静的、长远的心态去进行。
第二,不要犯“短期内高估、长期内低估”的错误,每一个新技术带来,大家往往短期内看得很高,长期又低估了影响,所以我现在很害怕出现所谓的“第三次AI冬天”,因为产业很热,创投很热,可能就会有一些公司亏钱甚至消失,AI不会像很多人预想的那样短期内马上就颠覆所有行业,所以这个时候更需要有耐心,因为这会是一个长期投入的过程,AI对整个社会的影响会是春风化雨的。
或许可以拿千禧年前后的互联网泡沫举例,那时泡沫刚刚破裂,很多人不再相信互联网的价值,但后来事实证明,真正有能力的互联网企业,都是在那个时候成长壮大的,而且我也觉得,现在整个中国科技发展很健康。
而且AI商业化也正在各行各业展开,我可以分享下百度的思路。
AI商业化
百度AI商业化战略也非常清楚。一是通过AI提升现有业务,搜索和信息流,这是双引擎。另外就是进入新的领域,一个是家,一个是车。
AI+云计算方面,关键在于如何到垂直行业中去,比如说金融、医疗、教育、物联网、媒体,就是所谓的落地。
我们现在在几个行业里做得都不错,一个是金融,银联商务、广发银行、浦发银行、百信银行、百度金融的业务落地也相当快。这里面主要依靠的是大数据,数据建立一些风控的模型,建立反欺诈的模型,包括对人的行为的分析。
另外在多媒体方面,包括视频的编码、转码、视频播放,比如像直播、长视频、短视频怎么样去切割视频,我们探索的是怎样对视频内容进行更好的管理。百度信息流里有很多视频,还有爱奇艺,本身就有这个需求。
此外还有物联网相关的落地,包括智慧城市大生态。目前的合作主要是在平台和技术,同时我们会继续寻找每一个场景落地的合作伙伴,最终共同把这个行业打造成一个大生态。我们现在有四、五个行业靠云去实现AI商业化落地。
OMT:区块链技术漂亮,但应用需要观望
也有人问我关于区块链的事情,我觉得技术本身很漂亮,都是经典的分布式计算技术,但具体经营和应用模式,目前还不算明朗,现在只有加密货币是主要应用,但货币的意义很不简单,稍有不慎就会出现别的问题。
所以我想区块链的经营和应用,可能还需要一点时间,我对区块链持开放态度,但在没有想清楚应用场景之前,不希望作过多评论。
当然,我认为区块链确实是一个创新,技术很漂亮,产业也需要大家去尝试,只是切忌在没有想清楚之前就大面积炒作,这一点跟AI、机器学习还不同,后者早已在好几个领域开始发挥价值了。

评论

此博客中的热门博文

【反邪 | 柳州:融安县东起乡扶贫能手勇当反邪先锋】(龙政光)#我为反邪教代言##柳州反邪#在抗击新型冠状病毒感染的肺炎疫情的战疫中,融安县东起乡驻村工作队的队员们一直战斗在疫情防控一线,他们既是扶贫能手又是反邪先锋。疫情期间他们入户确保贫困户生活能得到保障、进行外来人口摸排、对重点对象进行监测、进行产业政策宣传、动员复工复产确保脱贫成果。同时向村民普及反邪教知识,进行防疫知识宣传并发放反邪教宣传手册,告诉他们什么是邪教,邪教的危害,要做到认知邪教,拒绝邪教!提醒村民防范邪教,防止邪教组织在疫情紧张时期拉拢蛊惑群众,如有外来人员宣传邪教时马上打110报警。反邪教工作的持续开展确保了东起乡的稳定安宁。@广西反邪教 @柳州政法

【反邪 | 柳州:融安县东起乡扶贫能手勇当反邪先锋】(龙政光)#我为 反邪教 代言##柳州反邪#在抗击新型冠状病毒感染的肺炎疫情的战疫中,融安县东起乡驻村工作队的队员们一直战斗在疫情防控一线,他们既是扶贫能手又是反邪先锋。疫情期间他们入户确保贫困户生活能得到保障、进行外来人口摸排、对重点对象进行监测、进行产业政策宣传、动员复工复产确保脱贫成果。同时向村民普及 反邪教 知识,进行防疫知识宣传并发放反 邪教 宣传手册,告诉他们什么是 邪教 , 邪教 的危害,要做到认知 邪教 ,拒绝 邪教 !提醒村民防范 邪教 ,防止 邪教 组织在疫情紧张时期拉拢蛊惑群众,如有外来人员宣传 邪教 时马上打110报警。 反邪教 工作的持续开展确保了东起乡的稳定安宁。@广西 反邪教 @柳州政法

看《银翼杀手2049》前,先看看原著小说吧

电影名气这么大,原著小说也不简单,来自美国科幻界大师菲利普·迪克的《仿生人会梦见电子羊吗?》 菲利普·迪克精装套系 (美)菲利普·迪克 著 许东华 等译 译林出版社 2017年10月   韩松   1982年,雷德利·斯科特导演的电影《银翼杀手》上映,成为电影史上的科幻经典。时至今日,《银翼杀手》的魅力丝毫未减,其影响之深远已经超越了电影。35年后,电影续集《银翼杀手2049》10月27日在国内上映。电影名气这么大,原著小说也不简单,来自美国科幻界大师菲利普·迪克的《仿生人会梦见电子羊吗?》,这本有着奇怪名字的小说,是菲利普·迪克最负盛名的作品,也是各大科幻书单的必读书目,电影《银翼杀手》和《银翼杀手2049》的人物角色和灵感设想就是发源于此。   菲利普·迪克精装套系包括《仿生人会梦见电子羊吗?》《高堡奇人》《少数派报告》《尤比克》《流吧!我的眼泪》五部科幻小说。作品集中探讨“何为真实”以及“个体身份建构”,盛名经久不衰,有多部作品被改编成电影,包括《银翼杀手》《少数派报告》《全面回忆》等。以其名字命名的菲利普·K·迪克奖是美国科幻界的主要奖项之一。    生前潦倒,死后盛名   关于迪克的生平,如今人们介绍得已经很多了,大致是这么一些情况:   他生于1928年,卒于1982年,只活了54岁。他作品中的不少人物,差不多也都命不长。   他活着时,几乎就是个“撸瑟”,也就是失败者。他有一个双胞胎妹妹,但出生后五周就死了。迪克认为是母亲照料不周,因此恨他妈,家庭关系不好。而父亲在迪克四岁时,也抛家而去。迪克结过五次婚,都离了。成年迪克靠安非他命活着,还吸毒,经常陷入神经错乱中。他有严重的焦虑症,不能与人正常交往。他还患上了妄想症,认为自己被联邦调查局和中央情报局监视。他有广场恐惧症,连在公众面前吃东西,都感到困难。他还患上了抑郁症,曾尝试自杀。他在70年代后,沉湎于超自然,并一度称获得天启。他只短暂地上过一年大学,读哲学,在加大伯克利分校。他基本上是自学成才。他一生大部分时间居住在加利福尼亚。   他是一位多产的作家,从1952年开始写作,到1982年去世,创作了整整30年,写了44部长篇小说,以及120多篇中短篇小说。他常常为挣稿费养活自己而拼命写。他没有其他工作。他的个人经济状况很窘迫,在50年代,一度连图书馆借书...

糖尿病患者按这10种方法吃主食,升血糖慢,餐后血糖达标更有保障

主食的主要成分是碳水化合物,简称“糖类”,因为糖类会产生热量,所以吃了以后,就会升高血糖。但是,从古到今,人类生存,一日三餐,又离不开主食。 主食吃了升血糖,不吃又不行,那么,怎样才能吃主食让血糖升得慢一些呢?本文就告诉您10个方法。 1.吃粗粮比吃细粮升血糖慢 临床工作人员常会建议糖尿病患者适当吃点粗粮,就是因为粗粮中含有丰富的膳食纤维,膳食纤维是一种多糖类物质,不会被人体吸收,也不产生热量,所以,吃了不会明显升高血糖。 但是,有些患者就天天吃粗粮,甚至一天三餐,一次吃两三个馒头,那就失去了吃粗粮的意义。 粗粮中的膳食纤维掺合在细粮中,可起到延缓血糖升高的作用,吃多了,粗粮中的非膳食纤维成分同样会产生更多的热量。 所以,建议 糖尿病患者吃粗粮的时候,只是比同等量的细粮多吃几口而已,并不是吃得越多越好。最好粗粮细粮搭配着吃,交替着吃。 2.吃杂粮主食比吃纯粮主食升血糖慢 杂粮馒头指两种或两种以上的粮食磨成面粉做成的馒头,如将荞麦面、小麦面、玉米面、豆面等,其中的两种或三种,甚至四种,或者更多的面粉掺合起来做成的馒头,比单纯用一种面粉做成的馒头营养丰富,还升血糖慢。 如果 在杂粮馒头中加入部分菜叶,如芹菜叶等,升血糖更慢 。 杂米饭也是这个道理,将 大米、小米、豆类或其他米类中的两种或两种以上的米混杂在一起,蒸米饭,要比单纯蒸白米饭升血糖慢。 若在 蒸杂粮米饭的时候加入几块胡萝卜、南瓜等,还能补充一些维生素 等。 3.吃干饭比吃稀饭升血糖慢 现在很多患者知道吃大米稀饭升血糖快。这是因为稀饭经过反复熬煮、糊化,易于吸收,能够迅速升高血糖。 所以,有的患者不喝大米稀饭改喝小米稀饭, 小米稀饭同样能够较快升高血糖 。这不是大米和小米本身的原因,而是烹饪方式的结果。 任何一种米,只要熬烂,做成稀饭,都比干饭升血糖快。 为什么有的人喝麦片,升血糖快;有的人喝麦片,血糖升高不明显。升血糖慢的,是用开水冲了以后,及时食用;升血糖快的,也是缘于长时间的焖煮,性质变成稀饭了。 4.吃硬的比吃软的升血糖慢 同样是主食,如果选择 火烧、煎饼、窝头、烙饼 等相对干硬的的食物,需要较长时间的咀嚼、消化和吸收,就要比柔软的发糕、疙瘩汤、煮烂的面条等升血糖慢。 俗话说,有的人在人际交往方面,吃软不吃硬,糖尿病患者吃主食时...