重庆10月AI HPC--强化学习与GPU并行编程高级实操班

大会介绍

AI HPC-强化学习与GPU并行编程

培训简介

随着人工智能（AI）特别是深度学习（Deep Learning）近年来的飞速发展，在多个领域的成功应用，已经成为当前学术界和各行业最炙手可热的研究应用方向。不仅广泛应用于搜索引擎、电子商务、社交网络等互联网服务，并且在计算视觉、自然语言处理、金融、生物医药等行业AI的研究与应用也呈现爆发式增长。学习深度学习首先需要对核心理论及算法有深入理解，在理解理论的基础上才能进行应用。GPU的价值不止体现在深度学习，在高性能计算、物联网、人工智能、生物信息、分子模拟、计算化学、材料力学、系统仿真、流体力学、机械设计、生物制药、航空动力、地质勘探、气候模拟等领域，算法越来越复杂，需要处理的海量数据越来越巨大，高性能计算能力就显得尤为重要。如今，几乎所有的深度学习(机器学习)研究者都在使用GPU进行相关的研究，NVIDIA针对深度学习的计算，有一套完整的解决方案，cuDNN已经成为主流深度学习框架调用的深度学习GPU函数库，包含完整的矩阵乘法和卷积计算的实现。为加强AI技术的创新发展和应用，培养社会急缺的深度学习专业人才，中科院计算所西部高等技术研究院特别邀请深度学习领域的专家，举办“AI HPC--强化学习与GPU并行编程“高级培训班。

培训内容

强化学习
第一节	Python与TensorFlow	解释器Python2.7/3.6与IDE：Anaconda/Pycharm 列表/元组/字典/类/文件 numpy/scipy/matplotlib/panda的介绍和典型使用 scikit-learn的介绍和典型使用 TensorFlow典型应用 Soble/Prewitt/Laplacian算子与卷积网络	代码和案例实践：
第二节	卷积神经网络CNN	神经网络结构，滤波器，卷积池化，激活函数，反向传播目标分类与识别、目标检测与追踪 AlexNet、VGGNet、GoogleLeNet Inception-V3/V4 ResNet、DenseNet	代码和案例实践：数字图片分类卷积核与特征提取卷积神经网络调参经验分享
第三节	图像视频的定位与识别	视频关键帧处理物体检测与定位 RCNN，Fast-RCNN，Faster-RCNN，MaskRCNN YOLO FaceNet	代码和案例实践：迁移学习人脸检测
第四节	循环神经网络RNN	RNN基本原理 LSTM、GRU Attention CNN+LSTM模型 Bi-LSTM双向循环神经网络结构编码器与解码器结构特征提取：word2vec Seq2seq模型	代码和案例实践：看图说话视频理解作诗机器人循环神经网络调参经验分享
第五节	自然语言处理	语言模型Bi-Gram/Tri-Gram/N-Gram 分词词性标注依存句法分析语义关系抽取词向量文本分类机器翻译文本摘要阅读理解问答系统情感分析	代码和案例实践：输入法设计 HMM分词文本摘要的生成智能对话系统和SeqSeq模型阅读理解的实现与Attention
第六节	生成对抗网络GAN	生成与判别生成模型：贝叶斯、HMM到深度生成模型 GAN对抗生成神经网络 DCGAN Conditional GAN InfoGan Wasserstein GAN	代码和案例实践：图片生成看图说话对抗生成神经网络调参经验分享
第七节	强化学习RL	为何使用增强学习马尔科夫决策过程贝尔曼方程、最优策略策略迭代、值迭代 Q Learning SarsaLamda DQN A3C ELF	代码和案例实践： DQN DDPG汽车驾驶游戏
HPC
第一节	共享内存编程	OpenMP基础：概念介绍、环境搭建、基本用法、编程模型、性能分析 OpenMP线程操作：线程同步、数据同步、多线程并发、并行循环计算详解 OpenMP任务和数据处理：数据共享模式、作用范围制导语句、task指令的使用深入了解OpenMP的内存模型和硬件基础	Hello_world 基本指令的使用积分法计算圆周率PI
第二节	CPU并行计算与编程基础	并行机体系机构与编程模型概述 ① 共享存储结构 ② 共享地址空间 ③ 消息传递 ④ 数据并行 ⑤ SMP与GPU集群并行计算的模型与分析 ① 并行执行时间评估模型 ② 并行算法的效率特性 ③ 并行计算拓展性分析 MPI并行编程一 ① MPI基本概念与定义 ② MPI运行环境 ③ MPI基础：MPI程序初始化与终止、进程设置与获取、消息发送与接 ④ 进程间的通讯：通讯模式、阻塞与非阻塞通讯 MPI并行编程二 ① 集合通信：数据广播、归约、分发、搜集、all to all 通讯、归约操作 ② MPI派生数据类型混合并行编程：MPI+OpenMP ① 多线程编程与openMP概述 ② openMP指令介绍	求解圆周率PI 向量点乘矩阵向量乘法矩阵乘法
第三节	GPU编程基础与优化进阶	CUDA基础：API、数据并行、线程模型、存储模型、控制、同步、并发和通信、加速比； CUDA开发环境搭建和工具配置； CUDA优化进阶：线程组织调度，分支语句，访存优化，数据传输，原子操作； GPU并行计算模式及案例分析：分析调试：parallel nsight，visual profiler，cuda-gdb； CUDA生态系统和相关专业领域软件介绍；	矩阵乘直方图卷积规约
第四节	GPU深度学习	深度学习GPU解决方案：基于GPU的交互式深度学习训练平台：DIGITS；深度学习框架的GPU加速：TensorFlow，Caffe等； NVIDIA深度学习SDK：cuDNN，TensorRT，NCCL；深度学习显卡选择； CUDA 10新特性 Pascal，Volta，Turing显卡新架构	Caffe-MPI Horovod (Tensorflow-MPI)

培训目标

在深度学习的基本概念和技术方法的基础上阐述深度学习的基本思想和解决问题的基本思维模式，从理论到实践逐步提升对深度学习技术方法的理解；从模型表达能力到计算复杂度两个层次帮助学员理解从数据推知数据蕴含的结构、解决问题的技巧。结合应用案例和开发框架构建学员从所学理论到实践解决问题的理论和工程相结合的能力。针对学员面对的实践问题展开讨论、方案建议。为学员配备由浅入深的参考书和深度学习开发教材，便于课后逐步提高能力。

现有硬件资源最大化利用，提供多种并行优化方案组合策略,提高并行程序设计与开发水平，熟悉常见的并行计算模式,了解深度学习的主流GPU加速解决方案；实际体验高性能计算环境，能够应对主流的超算环境；提供符合自身特点的工程计算解决方案，了解高性能计算和深度学习应用场景

培训对象

院校计算机专业、网络通信专业、电子工程专业、信息计算科学专业、统计学专业等对AI /深度学习技术及研发感兴趣的老师、研究生等。相关从事大数据、数据挖掘、机器学习、计算视觉、自然语言处理、人机交互等领域研发的单位的技术部门、IT企业的工程师、研发负责人、算法工程师等。

从事高性能计算、GPU加速、并行计算、CUDA编程、openCV、石油、气象、化工、人工智能、深度学习、计算机视觉、人脸识别、图像处理、行人检测、自然语言处理等领域相关的企事业单位技术骨干、科研院所研究人员和大专院校相关专业教学人员及在校研究生等相关技术人员；

培训方式

1、培训讲座

2、上机实操

3、专题小组研讨与案例讲解分析结合

时间地点

2019年 10月26日 — 2019年10月 29日（25日报道）

重庆市渝北区双鱼座A15楼中科院计算所西部高等技术研究院主会议室

授课讲师

主讲专家来自中科院及高校的深度学习高级专家，拥有丰富的科研及工程技术经验，长期从事计算领域国家重大项目研究，具有资深的技术底蕴和专业背景。

培训费用

A 类： ¥RMB:4300元/人,（包含报名费、培训费、资料费、证书费）

B 类： ¥RMB:4800元/人,（包含报名费、培训费、资料费、证书费）

食宿可统一安排，费用自理

A类：学员经培训考试合格后可以获得：由北京中科云畅应用技术研究院颁发的结业证书

B类：培训结束经考核合格，可获得由中国电子学会颁发全国电子信息人才能力提升工程专业技术证书，依据人力资源与社会保障部《国家级专业技术人员继续教育基地管理办法》（人社厅发〔2013〕53 号）的要求，本次学习情况，本次学习情况可计入继续教育学时并作为对专业技术人员考核评价、岗位聘用、职称评聘和执业注册的重要依据。须提交电子版彩色照片，身份证复印件。

主办单位：中科院计算所西部高等技术研究院

承办单位：北京中科云畅应用技术研究院

协办单位：北京中科图云科技有限公司

西研院.png