おもりの重さとばねの伸びとの関係のように、一方の変数 (目的変数) が他の変数 (説明変数) によってある程度説明できるとき、これらの関係を観測データに基づきモデル化したものは回帰モデルとよばれる。回帰モデルの中で最も基本的なものは、2つの変数間の関係が線形、すなわち直線で表される線形回帰モデルであるが、線形回帰モデルでは、変数間に潜んでいる真の関係性を明らかにするには不十分な場合が多い。
　本講義では、はじめに説明変数と目的変数との関係が線形で表される線形回帰モデルについて説明する。
　モデルの推定方法として、最小2乗法に加えてRidge、Lassoについて説明する。さらに、回帰モデルを考える上で重要な変数選択問題について解説する。
　さらに、線形回帰モデルをより柔軟にした非線形回帰モデル、目的変数が2値の場合に用いられるロジスティック回帰モデルについても紹介する。講義中に、それぞれの内容について、Rによる実際の分析も行う。
　回帰モデルに対する知識や理解を深めてもらうことを目的としています。線形回帰モデルだけでなく非線形回帰モデル、ロジスティック回帰モデルの構築方法や推定の流れを解説します。また、モデル推定においては「モデルの良さ」をどう捉えるかが重要となるので、その考え方についても解説します。そのうえで、「良い」モデルを得るための方法について説明します。

1. 線形回帰モデル
   1. 線形回帰モデル
      • データを「統計モデル」で説明する
      • 回帰モデルの意味
      • 最小2乗法による重回帰モデルの推定
      • モデルのデータへの「当てはまりの良さ」
   2. モデル選択
      • 当てはまりが良ければいいとは限らない
      • 重回帰モデルで起こる問題
        • 高次元データ
        • 多重共線性
      • 変数選択問題とは
      • 変数選択基準
        • 交差検証法
        • AIC
        • BIC
      • RidgeとLasso
2. 非線形回帰モデル
   1. 線形から非線形へ
      • 多項式回帰モデルを用いた曲線推定
      • 多項式の次数の選択
   2. 非線形回帰モデル
      • 基底関数展開
      • スプライン
      • 基底関数の個数の選択
   3. 正則化法
      • 滑らかでない曲線に対して「罰則」を課す
      • 曲線の滑らかさとデータへの当てはまりの「拮抗関係」
      • 正則化法による非線形回帰モデルの推定
      • 正則化パラメータの選択
3. ロジスティック回帰モデル
   1. 様々な種類の目的変数
      • 比率データ
      • 2値データ
   2. ロジスティック回帰モデル
      • 比率データの当てはめ
      • 2値データの当てはめ
      • ロジスティック回帰モデルによる判別