ディープラーニングのモデルは、その他の機械学習モデルと比べて推論処理に必要なメモリ使用量・演算量が膨大であり、さらにそれらを多く必要とするモデルほど性能 (認識精度など) が良くなる傾向があります。一般に、メモリ使用量や演算量は、処理速度・消費電力・部品コスト等に直接関わるため、なるべく小さく抑えたいところです。そのようなニーズに対し、ディープラーニングモデルの性能をできる限り維持しつつメモリ使用量・演算量を削減する軽量化技術が登場し、研究が進められています。
　本講演では、画像認識問題を題材として、まず軽量化の観点からディープラーニングの基礎を説明した後、様々な軽量化技術のテクニックを紹介していきます。各テクニックに関しては、AI系の有力国際会議 (CVPR、ICLRなど) やプレプリントサーバ (ArXiv) に掲載されている最新技術を主に扱い、理論的な厳密さよりもイメージやコンセプト重視でわかりやすくご説明します。

1. ディープラーニングの基礎
   1. データ表現と問題設定
   2. 全結合ネットワークモデル
   3. 畳み込みネットワークモデル
   4. 代表的なモデルとその構成要素
2. モデルプルーニング
   1. 非構造化プルーニング
      • Magnitude-based Pruning
      • Lottery Ticket Hypothesis
      • Weight Rewinding
      • Learning-rate Rewinding
   2. 構造化プルーニング
      • L1norm-based Pruning
      • ThiNet
      • PCAS
3. ネットワーク量子化
   1. 二値化
      • XNOR-Net
      • Bi-Real Net
   2. 一様量子化
      • Integer Arithmetic Only Inference
      • PACT
      • Learned Step-size Quantization
   3. 非一様量子化
      • LogNet
      • Learnable Companding Quantization
4. 軽量アーキテクチャ設計
   1. 分岐・合流接続の工夫
      • PeleeNet
      • CSPNet
   2. 畳み込みの要素分解
      • MobileNet-V1
      • MobileNet-V2
   3. 構造の自動探索
      • FBNet
5. その他の軽量化技術
   1. 重み共有
      • Product Quantization
   2. 知識蒸留
      • Few Sample Knowledge Distillation
   3. 低ランク近似
      • Compression-aware Training
6. まとめ