深度模型压缩与加速


精心梳理当前卷积神经网络的压缩和加速相关算法原理和实现细节,具体包括了网络裁枝、低秩估计、参数量化、模型蒸馏四种方法的原理与实现细节。

        

课程难度

中级

已经参加学习的人数

59

课程主讲师

王老师

学习次数

1317

ShuffleNet结构详解
MobileNet结构对比
常用方法优缺点
课程大纲

第 1 集深度模型压缩与加速试听课

  • 1.1 网络裁枝原理试听
  • 1.2 网络裁枝相关实践试听
  • 1.3 低秩估计原理试听
  • 1.4 低秩估计相关实践试听
  • 1.5 低秩估计原理试听
  • 1.6 低秩估计相关实践试听
  • 1.7 模型蒸馏原理试听
  • 1.8 模型蒸馏相关实践试听

第 2 集网络压缩量化之网络裁枝原理详解

  • 2.1 硬件加速 vs 软件加速
  • 2.2 压缩结构 vs 压缩参数
  • 2.3 各类方法的优劣
  • 2.4 从矩阵乘法看网络裁枝的原理
  • 2.5 网络裁枝的两大难点
  • 2.6 各类裁枝类型比较:filter-level, group-level 裁枝
  • 2.7 参数的重要性

第 3 集网络压缩量化之网络裁枝相关实践

  • 3.1 经典裁枝论文摘要解读
  • 3.2 经典裁枝论文方法解读
  • 3.3 经典裁枝论文结果解读
  • 3.4 经典裁枝论文结论解读
  • 3.5 网络裁枝方法总结

第 4 集网络压缩量化之低秩估计原理详解

  • 4.1 低秩估计概述
  • 4.2 低秩估计压缩效果:加速率及压缩率
  • 4.3 常见方法:矩阵分解、张量分解
  • 4.2 低秩估计方法的优劣势总结

第 5 集网络压缩量化之低秩估计相关实践

  • 5.1 Tensorflow的模型结构
  • 5.2 TensorFlow模型解析
  • 5.3 低秩估计方法实例:Tucker分解方法
  • 5.4 新模型的储存

第 6 集网络压缩量化之参数量化原理

  • 6.1 参数聚类编码
  • 6.2 量化与权重共享
  • 6.3 乘积量化

第 7 集网络压缩量化之参数量化相关实践

  • 7.1 定点化原理
  • 7.2 TensorFlow量化模型结构
  • 7.3 使用TensorFlow做模型量化

第 8 集网络压缩量化之模型蒸馏原理详解

  • 8.1 模型蒸馏方法的优势
  • 8.2 模型蒸馏方法的适用条件
  • 8.3 模型蒸馏的网络设计技巧
  • 8.4 模型蒸馏方法的网络整体结构
  • 8.5 指导损失函数及训练要点

第 9 集网络压缩量化之模型蒸馏相关实践

  • 9.1 相关论文的关键改进: Soft target
  • 9.2 经典结构:FitNet
  • 9.3 新的结构:Factor Transfer
  • 9.4 目标检测中的模型方法:R-FCN
  • 9.5 目标检测中的模型方法: Yolo
  • 9.6 模型蒸馏的难点
  • 9.7 课程总结
Q & A

授课方式是?

为了保障课程质量,提高学习效率, 课程采用录播形式。视频精心录制与剪辑制作,时间比直播更灵活,方便随时观看学习。

学习本课程,有什么前置要求么?

一定的数学基础,至少会一门编程语言。

课程周期是多久?

为了让大家在一定时间内集中精力学习,本课程有效期有6个月。

遇到问题可以咨询么?

本课程为专题课程,不提供在线答疑服务。

如何开取发票?

扫描下方二维码,联系小编即可。

如何延长有效期?

课课程到期后,电脑端登录官网可以续费,续费价格是官网原价的5%,有效期半年。


更多问题、课程咨询、资料获取,扫码找小编






 课程咨询