你的位置:首页 > 资讯 » 正文

人工智能与深度学习技术16大回顾,承包你一年的知识点

2018-09-07 | 人围观 | 评论:

CNET科技沃克1月5日北京讯(编译/黄当当):令人兴奋的2017年结束:在博客WildML,丹尼布里茨,谁是与谷歌大脑居民一年的时间,分享了他一年的作者。审查并澄清人工智能和深度学习中的重要事件。可以说,这16个点,可能意味着你得到了人工智能圈一年的时间,而不会过时!

- 在游戏中完全压制人类玩家的强化学习 -

2017年的第一个重大事件无疑是AlphaGo。这个强化学习计划击败了世界上最好的围棋选手。凭借庞大的搜索空间围棋一直是机器学习技术的一个重大挑战和AlphaGo的出现,带来了巨大的惊喜!

AlphaGo研究报告

AlphaGo的第一个版本,通过自主减排和蒙特卡洛树搜索使用从人类专家为指导,进一步改进训练数据。不久,AlphaGo Zero又向前迈进了一步,学会了在没有手动训练数据的情况下从头开始玩。此外,它很容易击败原版AlphaGo。

AlphaGo Zero研究报告

2017年底,我们又迎来新AlphaGeroos阿尔法算法零,这是无与伦比的,不仅在进入区域也象棋,日本象棋很快掌握。有趣的是,这些节目甚至钦佩最有经验的专业玩家,并开始学习AlphaGo以适应他们的竞争风格。为了促进这一学习过程,DeepMind团队还发布了一个特殊的AlphaGo教学工具。

阿尔法零

AlphaGo教学

但Go并不是我们取得卓越机器学习成功的唯一领域。这是研究人员在卡内基梅隆大学开发的libratus系统,已成功地击败了最好的球员,在为期20天的德州扑克赛事。此前,由查理大学,捷克技术大学和阿尔伯塔大学开发的深筹码系统是德州扑克第一人的球员可能压倒场。需要注意我们的想法是,这两个系统只能在单人赛上播放,一对一,这比多人扑克容易得多。但是,我相信对多方扑克的支持将在2018年逐步实施。

Libratus论文:

加强学习的下一个进化领域似乎是针对更复杂的多人游戏 - 当然包括多人扑克。 DeepMind团队正在积极研究“星际争霸2”,并释放了研究环境; OpenAI 12:59“的Dota 2”的游戏,最初是成功的,预计能够真正参与到游戏中五对五场正式比赛在不久的将来。

星际争霸2的研究环境

打开AI Dota2

- 进化算法返回 -

对于监督学习,基于梯度的反向传播算法已经取得了非常好的结果,并且这可能会保留一段时间。然而,在强化学习水平上,进化策略(ES)似乎正在卷土重来。由于数据通常不对应IID原则(即,独立同分布),该误差信号将是稀疏的,并调查由于需要倾向于未基于梯度其它算法,往往是更有效的。此外,进化算法将能够线性扩展到数千个器件,从而实现极快的并行编程器。它不需要昂贵的GPU资源,但可以通过大量(通常数百甚至数千)廉价的CPU进行培训。

2017年初,OpenAI研究人员证明,进化策略可以实现与标准增益学习算法(如深度Q学习)相当的处理性能。截至2017年底,优步的一个团队发表了一篇博客文章和五篇研究论文,以展示遗传算法的潜力和对新奇事物的研究。使用非简单的遗传算法,没有梯度信息,该算法可以学习玩各种不同的Atari游戏。与DQN,AC3和ES相比,最终结果达到了10,500。

相关文章:

到2018年,我们期望在这一领域看到更多的研发成果。

- WaveNets,CNN和注意机制 -

谷歌的文字转语音系统Tacotron 2可以生成订单基于WaveNet的令人印象深刻的音频样本,这是一种自动回归模型,也用于谷歌的向导,去年的速度有了很大的提升。 WaveNet也被用于机器翻译领域,它可以显着加速回归架构的培训。

从回归架构的角度来看,机器学习领域的主流趋势似乎是花费大量时间进行培训。注意力的帮助是所有你需要(论文)能完全摆脱研究者回归和折叠方法,而是使用的注意更复杂的机制,从而实现在更短的时间内达到最佳效果。训练的结果。

谷歌Tacotron 2

面试

波力

注意力就是你需要的一切

- 深度学习框架的第一年 -

如果你想用一句话总结2017年,那么我将把它称为Framework Breakout的第一年。 Facebook上与PyTorch先河,由于其动态图形结构Chainer非常相似,所以PyTorch得到处理自然语言研究的支持高层次 - 尤其是因为他们经常要处理与动态和复杂的结构,而这些结构通常是很难在像TensorFlow这样的静态框架中声明这一点。

当然,TensorFlow 2017也取得了辉煌的成功。 TensorFlow 1.0于2017年2月发布,包含稳定且向后兼容的API。最新版本的TensorFlow目前是1.4.1。除了主框架TensorFlow转化管和先进的数据输入内心深处的Sonnet库开发也支持多种库,动态地也计算图TensorFlow折起TensorFlow。 TensorFlow团队还宣布了一系列新的紧急执行(eager execution)模式,PyTorch在动态计算图下,其工作方式类似。

相关信息:

TensorFlow 1.0

TensorFlow皱纹TensorFlow改造

内心深处十四行诗库

急切执行

除谷歌和Facebook外,许多其他公司也加入了这波机器学习框架的发展浪潮:

Apple宣布其CoreML移动机器学习库。

优步研发团队发布了一款深刻的概率编程语言Pyro。

亚马逊基于MXNet的高级API发布Gluon。

优步已发布更多有关其内部米开朗基罗机器学习基础设施平台的详细信息。

面对爆炸性增长的现状帧数,Facebook和微软联合称为ONNX,是一种开放式的交换学习模式,在不同的框架之间进行深度交流。例如,您可以在框架中训练自己的模型,然后根据其他框架将其转换为实际生产。

除了一般的深度学习框架,我们还开发了许多强化学习框架,包括:

OpenAI Roboschool是一个用于机器人仿真的开源软件。

OpenAI Baselines是一系列高质量的强化学习算法。

Tensorflow代理包含一个优化的基础架构,用于使用ETensorFlow进行高级学习代理培训。

Unity ML Agents允许开发人员和开发人员使用Unity Editor创建游戏和模拟,并加强培训。

Nervana Coach允许用户尝试最先进的强化学习算法。

Facebook的ELF平台可用于游戏研究。

DeepMind Pycolab是一个可定制的Grid World游戏引擎。

Geek.ai MAgent是多智能体强化学习的研究平台。

为了进一步简化深度学习门槛,出现了面向Web的框架 - 包括来自Google和MIL WebD的deeplearn.js。NN实施框架

但作为一个非常受欢迎的场景,Theano已经走到了他生命的尽头。根据Theano项目邮件列表中的声明,开发人员决定使用1.0作为项目的最终版本。

- 学习资源 -

随着学习和强化的深入逐渐积累相当受欢迎的学习,2017年,行业技术为我们,训练营和会议活动带来越来越多的在线讲座记录和离开。以下是我最重要的一些资源:

Deep RL训练营OpenAI由加州大学伯克利分校联合组织,其中包含基础知识的强化学习和与最新研究相关的内容。

2017年春季版的视觉识别卷积神经网络,由斯坦福大学出版。

当然视频

斯坦福大学通过深度学习发布了2017年冬季版的自然语言处理课程。

当然视频

斯坦福大学的深度学习理论课程。

新的Coursera深度学习特别课程。

蒙特利尔深度学习和强化学习夏令营。

加州大学伯克利分校2017年秋季密集学习。

TensorFlow开发人员峰会侧重于深度学习的基础知识和相关的TensorFlow API。

还有许多重要的学术会议只保留在线出版的传统。如果您想了解最新研究成果,可以按照以下热门会议的记录进行操作。

NIPS 2017

ICLR 2017

EMNLP 2017

研究人员也开始在ArXiv上发布易于访问的教程和评论。以下是我今年个人推荐的内容:

深层强化学习:介绍

工程师机器学习简介

神经机器翻译

神经元机器翻译和序列模型序列:教程

- 实际应用:人工智能和医学 -

2017年,我们还看到了一系列关于深度学习技术的大胆陈述,以成功解决医学问题,同时推动人类专家。但仍然没有那些炒作少,没有医学背景的人很难理解真正的突破性结果。为了全面了解这一趋势,我推荐Luke Oakden-Rayner撰写的“人类医生的日期”系列:

接下来,我将告知您该领域的一些开发结果。

作为今年的重量级新闻,斯坦福大学的一个研究小组发布了深度学习算法的细节,可以帮助皮肤科医生诊断皮肤癌。

相关研究

斯坦福大学的另一个研究小组开发了一个模型,允许心脏病专家用ECG信号更好地诊断心律失常症状。

相关研究

但是,过去一年仍然存在错误。英国国民健康保险制度(简称NHS)的内心深处致力于数据分析“不可饶恕”的错误,与健康的美国国立卫生研究院发表的科学也不适宜诊断培训设置X射线数据公益金转出型AI模式。

- 应用:艺术和GAN -

今年备受关注的另一个重要应用是图像,音乐,蓝图和视频的生成建模。 NIPS 2017大会今年首次推出“创新与设计机器学习”工作室:

其中最受欢迎的程序之一是Google的QuickDraw,它使用神经网络来识别我们的涂鸦内容。使用已发布的数据集,您甚至可以教您的机器添加自己的图纸。

QuickDraw快速涂鸦

基于创世纪的对抗网络(GAN)今年再次取得了重大进展。以CycleGAN,DiscoGAN和StarGAN为代表的几款新车型取得了令人印象深刻的面部成就。从传统的观点GAN难以产生高分辨率逼真的图像,但现在pix2pixHD结果表明一些亮点,也证明了我们可以克服这个问题开始。 GAN将来会成为艺术家的新画笔吗?

ZyklusGAN

DiscoGAN

StarGAN

- 应用方向:自动驾驶汽车 -

自动驾驶场巨人队是Uber,Lyft和Waymo,隶属于Alphabet。优步程序由于软件漏洞,红灯在旧金山进行了几次实验性驾驶,但迄今为止还没有报道过人为错误的媒体。之后,优步传达了内部使用的汽车可视化平台的细节。优步的自动驾驶汽车项目在12月达到200万英里。

相关研究:

与此同时,自动驾驶汽车的Waymo于去年4月正式投入使用,在随后的亚利桑那州凤凰城赛车中击败了人类玩家。 Waymo还公布了其测试和模拟技术的细节。

Lyft宣布建立自己的自动驾驶硬件和软件解决方案。目前正在开发部署在波士顿的第一个试点计划。特斯拉的Autoplot没有做过很多更新。此外,苹果已经来到这个领域,蒂姆库克证实,苹果公司开发了自动驾驶汽车软件,研究人员已经发表了一篇关于映射ArXiv的类似论文。

相关文章:

- 应用方向:酷研究项目 -

去年有许多有趣的项目和演示结果,我们无法在短篇文章中涵盖所有内容。但这是我去年收集的亮点:

使用深度学习来消除背景

使用深度学习创建动画角色

用神经网络染色的黑白照片

用于玩马里奥赛车的神经网络(超级版)

Mario Kart 64的实时AI

深入学习发现伪造品

从边境到猫

以下是其他研究方向:

不受监控的情绪神经元 - 人们在学习系统的情感方面具有出色的表现,但它仅用于培训目的,以预测可能出现的亚马逊验证的下一个文本迹象。

学习Exchange代理将开发自己的语言。

附件:学习索引结构 - 改进了缓存优化的B树,以实现速度达到索引级别70%的神经网络,同时减少现实记录的存储空间。

注意地On is All You Need - Google Transformer的翻译架构完全放弃了RNN / CNN结构。

Mask R-CNN - 面向对象实例分区的通用框架

深度图像优先:降噪,超分辨率和修复

- 记录 -

用于监督学习的神经网络早已因数据的迫切需要而闻名。因此,开放数据集的出现已成为研究界的一个非常重要的贡献。以下是今年出现的一些重要记录:

Youtube边界框

Google QuickDraw数据

内心深处的开源数据集

谷歌语音命令记录

原子视觉动作

对Open Image数据集的多次更新

Nsynth注意记录

Quora问题夫妻

- 深度学习,再现性和炼金术 -

在过去的一年中,一些研究人员对科学研究结果的可重复性表示担忧。深度学习模型通常需要大量的超参数干预,需要进行优化以实现期望的结果。但是这种优化工作可能会花费很多,只有谷歌和Facebook这样的大公司才能负担得起。研究人员有时不公布他们的代码,在制定选择不重要的细节,使用略有不同的分析方法或通过优化超参数重复同一组使用过度的记录。所有这些都使重现性成为一个大问题。研究人员指出,在增益学习领域,使用不同代码库的相同算法会导致完全不同的结果和高方差:

在“是否GAN到倒数结果呢?在一个大的研究中,研究人员发现,甘,其使用非常昂贵的hyperparametrischer搜索查询调整往往会产生更好的结果,并使用该结果作为自己的优势的证明。同样,研究人员发现在文章一个简单的LSTM架构可以,只要它是正确的标准化和调整使用“的评价神经语言模型的状态”。其他模型更新性能越多。

两个论文地址

在NIPS与一些研究人员的讨论中,Ali Rahimi将近期深度学习技术与中世纪炼金术进行了比较,并要求进行更严格的实验设计。 Yann LeCun认为这句话是侮辱甚至是挑衅,并在第二天作出回应。

相关视频:

- 人工智能:加拿大和中国制造 -

随着美国移民政策的收紧,越来越多的公司开始在海外开设办事处,加拿大是首选目的地。谷歌在多伦多开设了新办事处,DeepMind在加拿大埃德蒙顿开设了新办事处,而Facebook AI Research也扩展到了蒙特利尔。

中国是另一个热门的旅游胜地。由于资金雄厚,资源储备充足,政府数据可供使用,中国在人工智能的开发和生产基础上直接与美国竞争。谷歌还宣布将在北京开设一家新实验室。

硬件战:NVIDIA,英特尔,谷歌和特斯拉

现代深度学习技术的一个关键特征是需要昂贵的GPU资源来培训最先进的模型。到目前为止,Nvidia一直是这一领域的大赢家。今年,该公司宣布推出最新的TITAN V旗舰GPU。然而,竞争热度将继续升级。 Google的TPU现在通过其云平台提供。英特尔的Nervana发布了一款新芯片,甚至特斯拉表示它开发了自己的AI硬件。当然,中国也可以更具竞争力 - 专注于比特币挖掘的硬件制造商希望通过人工智能进入GPU业务。

- 炒作和失败 -

目前的炒作情况仍然非常夸张。来自主流媒体的报道与研究实验室或生产系统的实际结果几乎没有关系。 IBM Watson是一个关于过度营销的传奇工作 - 它根本无法实现其声誉的能力。 2017年,每个人都对IBM Watson感到失望 - 考虑到反复的医疗失败,这一结论并不令人惊讶。

另一个大炒作的故事是Facebook:“研究人员关闭了一系列发明自己语言的CI。”好奇的朋友可以您自己搜索相关内容。总而言之,这是党的彻头彻尾的称号,事实是研究人员因为结果不佳而进行了封闭测试。

当然,所有这些并非完全归咎于媒体。研究人员在本文中更广泛地描述了问题,包括与一些论文的实际实验结果不匹配的解释。

- 加入和离开 -

Coursera联合创始人Andrew Ng于2017年3月离开了百度AI并创立了自己的公司,然后筹集了1.5亿美元和一家新的创业公司landing.ai,专注于制造业。 Siri演讲理解负责人还加入了加里·马库斯担任人工智能实验室优步主任,脸书Facebook穿上,而几位知名研究人员离开OpenAI创办了自己的机器人公司。

学术界的科学家也有“海”,大型大学实验室抱怨他们无法与工业巨头在工资水平上竞争。

- 投资初创企业和收购 -

与去年一样,217年的人工智能启动生态系统蓬勃发展,并进行了一些重要的收购:

微软收购了深度学习初创公司Maluuba

谷歌云公司收购了Kaggle

Softbank收购了公司机器人制造商Boston Dynamics(但机器人制造商很少使用机器学习技术)

Facebook收购了AI初创精灵Ozlo公司

三星收购Flowing技术整合实力Bixby

此外,新公司只筹集了更多重要资金:

Mythic筹集了880万美元用于AI芯片技术的研发

Element AI AI平台为企业客户构建解决方案筹集1.02亿美元

Drive.ai资助5000万美元,并庆祝Andrew Ng加入董事会

Graphcore筹集了3000万美元

Appier筹集了3300万美元的C系列资金

Prowler.io融资1300万美元

Sophia Genetics筹集了3000万美元,用于帮助医生使用AI和遗传数据进行诊断

最后,祝你新年快乐!感谢您耐心阅读:)

标签:学习  研究  深度  使用  结果