DeepMind深度学习最佳实践与新技术展望,181页PPT全景展示最近深度学习技术

(来源:专知,PPT附下载)

概要:在NIPS2017上,DeepMind及Google所发布的教程《深度学习实战及趋势》(Deep Learning: Practice and Trends)对最新的深度学习技术及2017年的技术新趋势做了详细总结。这次报告内容主要分为实践和趋势两个部分,其中实践包含最新的卷积网络,循环网络,Attention机制的应用和技巧,趋势部分包括最新的元学习,图结构学习等内容。

摘要

深度学习已经成为各种实际应用,研究实验室,工业领域的基本工具。在本教程中,我们将提供一套指导实践方法,帮助新手了解最新和先进的模型, (例如图像,视频,波形,序列,图形)以及复杂的任务(如从一些简单样本中学习,或者生成分子)的应用。内容主要分为实践和趋势两个部分,其中实践包含最新的卷积网络,循环网络,Attention机制的应用和技巧,趋势部分包括最新的元学习,图结构学习等内容。

undefined

每一部分都是从模型的输入输出,结构以及损失函数三部分来介绍。

 undefined

演讲者

Nando de Freitas 剑桥大学机器学习教授,Deepmind研究科学家主

https://www.cs.ox.ac.uk/people/nando.defreitas/

ScottReed DeepMind高级研究科学家

http://www.scottreed.info/

Oriol Vinyals Google研究科学家

https://research.google.com/pubs/OriolVinyals.html

实践部分

深度学习工具箱

undefined

undefined

卷积网络

- 卷积基本结构

- AlexNet

- 深层卷积的挑战,实践与技巧

- ResNet,DenseNet,U-Net

undefinedundefined

undefined

循环网络与注意力机制

- 循环网络语言模型

- seq2seq

- seq2seq with Attention

undefined

undefined

趋势部分

自回归模型

- NADE, MADE, RIDE,PixelCNN,WaveNet

- 因果卷积(causal convolutions)

- Self-Attenion

undefined

undefined

领域对齐

- 跨领域图像生成

- CycleGAN

- 图像到图像翻译(Image-to-image Translation)

- DiscoGAN

- GraspGAN

- 无监督机器翻译

 undefined

元学习

- Meta Learning/Learning to Learn

- One-shot imitation learning

undefined

图结构和神经网络

- 消息传递神经网络(Message Passing Neural Networks

- Gated Graph neural networks

undefined

undefined

《深度学习实战及趋势》报告PPT:下载戳我!  密码: ms65

undefined