自然言語、音声、画像の3つの分野での応用と留意点を解説します。またTransformerを用いた事前学習のモデルであるBERTについて、人工的なタスク設定と表現学習の観点から解説し、文書検索や言語理解などの応用を解説します。また自己回帰型の言語モデルとテキストからの画像生成を紹介します。

1. Transformer の基礎となる理論
   1. 再帰型ネットワーク
   2. 系列変換モデルによる機械翻訳
   3. 注意機構による対応付け
   4. 自己注意機構
   5. Transformer
2. Transformerの応用
   1. 機械翻訳への適用
   2. 音声分野における応用 (Conformer)
   3. 画像分野における応用 (Vision Transformer)
   4. 最近の技術動向の紹介
3. 言語処理と言語生成への適用
   1. 人工的なタスク設定と表現学習
   2. BERT (Bidirectional Encoder Representations from Transformers)
   3. BERT を用いた文書検索と言語理解
   4. 言語モデル (GPT、GPT-2、GPT-3:Generative Pre-trained Transformer)
   5. テキストからの画像生成 (DALL-E)