特徴量エンジニアリングの手法

Sun, 20 Sep 2026 08:00:00 +0900

背景

Kaggleに良い記事（Feature Engineering）があったので復習した
内容は基礎的だが改めてどう特徴量を作るのがいいのかのヒントになった
普段はDNNのアーキテクチャや学習方法に意識が向きやすく、入力側の処理も標準化（Z値化ぐらい）にとどまることが多かった
しかし、モデルが学習できる情報は、最終的には入力として与えたデータによって決まる
特に表形式データでは、列の意味に応じた型の整理、変換、集約、交互作用の表現などが、モデル選択と同じくらい重要になる
特徴量をどのように発見・設計するかを改て整理した

特徴エンジニアリング

特徴エンジニアリングとは

特徴量エンジニアリングとは、生データを機械学習モデルが学習しやすい入力へ加工する作業
特に、特徴を適切に行うと、予測精度、汎化性能、解釈性、計算効率の向上が期待できる

see Feature Engineering - GeeksforGeeks

全体プロセス

この画像が一番わかり易い。

複数のソースからデータを集めて、前処理をしてモデルに学習させて、インサイトを得るという流れ。

特に、複数Sourceをマージする必要があるので、重複チェックなどが地味に重要だったりする。

特徴の処理

Feature Creation（特徴量の作成）
- 既存データや業務知識から、新しい列を作る
- 例：
  - 購入金額 ÷ 購入回数 → 平均購入単価
  - 生年月日 → 年齢
Feature Transformation（特徴量の変換）
- 特徴量が表す情報は保ちながら、モデルが扱いやすい形式に変える
- 例：
  - 商品カテゴリをOne-Hot Encodingで数値化
  - 偏りの大きい売上金額を対数変換
  - 年齢を「10代・20代・30代」に区分
Feature Extraction（特徴抽出）
- 元の特徴量から、より重要な情報を別の表現として取り出す
- 例：
  - PCAで多数の列を少数の主成分に圧縮
  - 文章をベクトルに変換
  - 画像から輪郭や形状を抽出
  - 日時から曜日や時間帯を取り出す
Feature Selection（特徴選択）
- 利用可能な特徴量の中から、予測に役立つものだけを選ぶ
- 例
  - 代表的な方法は、相関などを使うフィルター法
  - 特徴量の組み合わせごとにモデル性能を測るラッパー法
  - 学習と同時に選択する組み込み法
- 不要な特徴量を減らすことで、過学習の抑制や高速化につながる
Feature Scaling（特徴量のスケーリング）
- 数値の桁や範囲を揃え、値の大きな特徴量だけが過剰に影響するのを防ぐ
- 例：
  - Min-Max Scaling：値を原則として0〜1に変換
  - Standard Scaling：平均0、標準偏差1になるよう標準化
- 特に、k-NN、SVM、ニューラルネットワーク、勾配降下法を使うモデルでは重要
- 一方、決定木やランダムフォレストでは通常、影響は比較的小さくなる

特徴の処理の違い

処理	目的
Creation	新しい情報を作る
Transformation	情報の形式を変える
Extraction	情報を要約・抽出する
Selection	使用する情報を選ぶ
Scaling	数値の尺度を揃える

特徴エンジニアリングの流れ

実際の流れは一般に、次のような流れになる

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11


1. データクリーニング
 ├─ 欠損値の処理
 ├─ 重複・異常値の処理
 └─ 表記やデータ型の統一
2. 特徴量の変換・作成・抽出
 ├─ カテゴリ変数のエンコーディング
 ├─ 標準化・正規化
 ├─ 対数変換
 └─ 新しい特徴量の作成
3. 特徴選択
 └─ 不要・冗長な特徴量の除外

なお、前処理はそれらを包含する概念として扱われる事が多い。

前提

データ・セットの概要

The Ames Housing Dataset is a well-known dataset in the field of machine learning and data analysis. It contains various features and attributes of residential homes in Ames, Iowa, USA. The dataset is often used for regression tasks, particularly for predicting housing prices.

Ames Housingは、アイオワ州エイムズ市の住宅販売データ
2011年にDean De Cockが、統計教育で長らく使われてきたBoston Housingデータセットの代替として公開したデータセット
KaggleのHouse Prices: Advanced Regression Techniquesコンペティションの題材にもなっている
このデータを使っているので、予め説明した

目的変数と説明変数

目的変数:

SalePrice（実際の販売価格）

説明変数（全部で78個）:

GrLivArea: 地上の居住面積
LotArea: 敷地面積
TotalBsmtSF／FirstFlrSF／SecondFlrSF: 地下室・1階・2階の床面積
TotRmsAbvGrd: 地上の部屋数
BldgType: 住居の構造種別（一戸建て・二世帯・タウンハウスなど）
Neighborhood: 近隣地区
MSSubClass: 住居の種類を表すコード
SaleType: 販売形態
WoodDeckSF／OpenPorchSF／EnclosedPorch／ScreenPorch: ウッドデッキ・各種ポーチの面積
SalePrice: 実際の販売価格（予測対象）

SalesPriceの分布

平均は18万ドルほどだった。

describe()の結果は以下。

1
2
3
4
5
6
7
8


count 1460.000000
mean 180921.195890
std 79442.502883
min 34900.000000
25% 129975.000000
50% 163000.000000
75% 214000.000000
max 755000.000000

前処理

ここでは実務上必要になる前処理を補足しておく。

数値だがカテゴリとして扱うべき列

数値として格納されているが、大小関係に意味がない列は、そのままモデルに渡すと誤った大小関係を学習してしまう。

例:

MSSubClass（住居種類コード）
YrSold（売却年）
MoSold（売却月）

これらは、いずれも数値だが「値が大きい方が良い」という意味を持たないため、文字列（カテゴリ）に変換してから扱う

One-Hot Encoding

カテゴリ変数を、カテゴリごとに0/1の列に展開する基本的なエンコーディング手法
pd.get_dummies()で実行できる
前述のターゲットエンコーディングと異なりリークの心配はないが、カテゴリ数が多い変数では列数が急増する

外れ値の除去

PCAによる外れ値の「検出」（後述）と異なり、実際に学習データから取り除くかどうかの判断。

例:

極端に価格が高い物件
極端に古い物件
極端に敷地が広い物件

これらは、モデルの学習を歪める要因になりうるため、除去を検討する。

ただし、何をもって「極端」とするかは恣意性が伴うため、除去の基準を明示し、検証データでの効果も確認するのが望ましい。

目的変数の対数変換

SalePriceのような金額は、少数の高額物件が平均を押し上げる、右に裾を引く分布になりやすい。

そこで、対数変換を施すことで、分布を正規分布に近づけられ、多くの回帰モデルが前提とする「誤差が正規分布に従う」という条件に適合しやすくなる。

$$ y' = \log(1 + y) $$

モデルの予測値は対数スケールになるため、実際の価格に戻すには指数変換（$y = e^{y'} - 1$）を忘れずに行う必要がある。

Yeo-Johnson変換（Y-J変換）

対数変換をより一般化したYeo-Johnson変換（Y-J変換）を用いる方法もある。

相互情報量（Mutual Information）

相互情報量とは

2つの変数がどれだけ情報を共有しているかを測る指標
以下の式で定義される

$$ I(X;Y) = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)p(y)} $$

意味：

相関係数と異なり、線形関係に限らずどんな種類の関係も検出できる
0以上の値を取り、0なら独立、値が大きいほど強い依存関係を示す
$p(x,y) = p(x)p(y)$なら独立した事象なので、xとyに関係性はない
すると、$log(1)=0$となり、その項目はMIが0になる

MIの計算例（離散変数）

分かりやすいように、住宅の広さを「Small／Large」、価格を「Low／High」に分類したとする。

離散変数の場合なので、件数を数える。

-	価格 Low	価格 High	合計
Small	40	10	50
Large	10	40	50
合計	50	50	100

データが100件なので、同時確率は件数を100で割れば求まる。

$$ p(\mathrm{Small}, \mathrm{Low}) = \frac{40}{100} = 0.4 $$

周辺確率は、行または列の合計から求める。

$$ p(\mathrm{Small}) = \frac{50}{100} = 0.5 $$$$ p(\mathrm{Low}) = \frac{50}{100} = 0.5 $$

したがって、「SmallかつLow」の組み合わせが相互情報量に与える項は、次のようになる。

$$ 0.4 \log \left( \frac{0.4}{0.5 \times 0.5} \right) = 0.4\log(1.6) $$

4つの組み合わせをすべて足すと、自然対数を使った場合の相互情報量は次のようになる。

$$ \begin{aligned} I(X;Y) &= 2\left( 0.4\log\frac{0.4}{0.25} \right) + 2\left( 0.1\log\frac{0.1}{0.25} \right) \\ &\approx 0.193 \end{aligned} $$

単位は、自然対数を使う場合はnat、底2の対数を使う場合はbitとなる。

一方、完全に独立している場合は次のようになる。

-	価格 Low	価格 High	合計
Small	25	25	50
Large	25	25	50
合計	50	50	100

この場合、すべての組み合わせにおいて、同時確率は周辺確率の積と等しくなる。

$$ p(x,y) = p(x)p(y) = 0.25 $$

したがって、対数部分は次のようになる。

$$ \log \left( \frac{p(x,y)}{p(x)p(y)} \right) = \log \left( \frac{0.25}{0.25} \right) = \log(1) = 0 $$

すべての組み合わせについて値が0になるため、相互情報量も0。

$$ I(X;Y)=0 $$

特徴量選定への応用

Amesデータセットには78個の特徴量があり、すべてを一度に検討するのは非現実的
各特徴量とターゲット（SalePrice）との相互情報量スコアを計算し、上位・下位を確認することで、開発に値する特徴量の当たりをつけられる
上位に来る特徴量には、立地・広さ・品質といったテーマが繰り返し現れ、住宅の価値を左右する直感とも一致していた

交互作用の発見

単体の相互情報量スコアが低い特徴量でも、他の特徴量との組み合わせで意味を持つことがある
BldgType（住居の構造種別）はそれ単体ではMIスコアが低かったが、GrLivArea（地上の居住面積）との関係を見ると、カテゴリごとに傾向線の傾きが大きく異なっていた
このように、カテゴリ別に見た時の傾向線の違いが、交互作用が存在することのサイン

特徴量の作成

MIスコアや交互作用の分析で見込みのある特徴量が分かったら、実際に新しい特徴量を作成していく。

数学的な変換

同じ単位（面積など）を持つ特徴量同士は、比率や合計で組み合わせやすい。

例:

LivLotRatio（居住面積÷敷地面積の比率）
Spaciousness（1階・2階の床面積の合計を部屋数で割った値）
TotalOutsideSF（各種屋外スペースの合計）

カテゴリ変数との交互作用

連続値の特徴量とカテゴリ変数の間に交互作用がある場合、カテゴリをOne-Hotエンコードしてから連続値に掛け合わせることで、交互作用を明示的な特徴量にできる。

1
2


X_new = pd.get_dummies(df.Categorical, prefix="Cat")
X_new = X_new.mul(df.Continuous, axis=0)

カウント特徴量

複数の関連する二値・数値項目のうち「いくつが条件を満たすか」を数える特徴量。

例:

屋外スペースの各種類（ウッドデッキ、ポーチなど）のうち、面積が0より大きいものの個数を数えたPorchTypes

カテゴリの分解

1つのカテゴリ変数が、実は複数の情報を含んでいることがある。

例:

MSSubClassは「住居の種類」を表すが、文字列の最初の単語だけを取り出すことで、より大まかな分類を新しい特徴量として抽出できる

グループ集計特徴量

ある特徴量の値を、別のカテゴリでグループ化した集計値（平均・中央値など）と組み合わせる。

例:

各住宅のGrLivAreaを、その住宅が属するNeighborhoodごとの中央値と比較できるようにしたMedNhbdArea

住宅の価値は、近隣の相場と比べてどうかという相対的な情報も持つため、こうした集計特徴量が有効になる。

K-meansクラスタリング

K-Meansのスケーリングの注意点

k-meansは距離ベースのアルゴリズムのため、スケールの異なる特徴量をそのまま使うと、値の大きい特徴量に結果が引っ張られる
緯度・経度のように、単位が揃っていて直接比較可能な特徴量は再スケーリング不要な場合が多い
敷地面積と居住面積のように単位は同じでもスケールが大きく異なる特徴量や、ドア数と馬力のように単位そのものが異なる特徴量は、再スケーリングを検討する必要がある

クラスタリングによる特徴の作成

クラスタラベル特徴量
- 敷地面積・地下室面積・1階/2階床面積・居住面積などの空間的な特徴量群にk-meansを適用し、各住宅が属するクラスタ番号をカテゴリ特徴量として追加する
- 複雑な空間的関係を、単純なラベル1つに圧縮できる
クラスタ距離特徴量
- クラスタ番号というカテゴリだけでなく、各住宅から全クラスタ中心までの距離を、それぞれ連続値の特徴量として使うこともできる
- fit_predictの代わりにfit_transformを使うことで、距離特徴量が得られる

主成分分析（PCA）

ローディング（主成分負荷量）

ローディングとは

PCAのローディングとは、各主成分が元の特徴量をどのような重みで組み合わせたものかを示す係数

たとえば、標準化した特徴量を使って第1主成分が次のように表されたとする。

$$ PC1 = \\ 0.55 \times \mathrm{GrLivArea} + 0.50 \times \mathrm{FirstFlrSF} + 0.48 \times \mathrm{TotalBsmtSF} - 0.10 \times \mathrm{YearBuilt} $$

この係数（0.55、0.50、0.48、-0.10）がローディング
この場合、PC1は主に床面積系の特徴量から構成されているため、「住宅の大きさ」を表す軸だと解釈できる

ローディングと主成分スコアの違い

用語	意味	対象
ローディング	主成分を作る各特徴量の係数	特徴量
主成分スコア	各データを主成分軸に投影した値	各住宅
寄与率	主成分がデータ全体の分散を説明する割合	主成分

たとえば、住宅Aの標準化後の値が、以下だった時、

$$ \mathrm{GrLivArea}=1.2 \\ \mathrm{FirstFlrSF}=0.8 $$

PC1が以下だったら、

$$ PC1 = 0.6 \times \mathrm{GrLivArea} + 0.5 \times \mathrm{FirstFlrSF} $$

住宅AのPC1スコアは、以下になる。

$$ 0.6 \times 1.2 + 0.5 \times 0.8 = 1.12 $$

ここで、

0.6と0.5：ローディング
1.12：住宅Aの主成分スコア

ローディングの解釈

互いに相関の強い特徴量群にPCAを適用すると、各主成分がどの特徴量の組み合わせに強く反応しているか（ローディング）を確認できる
ローディングの符号・大きさのパターンから、その主成分が何らかの対比を捉えていると解釈できる
例えば「新しくて質は高いが広くはない」対「古いが広い」のような対比

主成分を特徴量として使う

ローディングから着想を得て新しい特徴量を作る方法と、主成分の値そのものを特徴量としてモデルに追加する方法の両方がありうる。

2つ以上の特徴量をMixする例：

同じ方向に強く寄与している特徴量 → 合計や平均
反対方向に寄与している特徴量 → 差や比率
共に重要な特徴量 → 積による交互作用

外れ値検出への応用

PCAは、個々の特徴量を見ただけでは分からない「変則的な変動」を検出できる
例えば、小さい住宅であること自体や、地下室が大きいこと自体は珍しくないが、「小さいのに地下室だけ異常に大きい」という組み合わせは珍しい
主成分の分布で極端な値を持つデータ点を確認することで、こうした組み合わせ的な外れ値を見つけられる

ターゲットエンコーディング

ターゲットエンコーディングとは

Kaggleでよく使われるターゲットエンコーディングは、カテゴリ名を「そのカテゴリでは、目的変数が平均的にどのくらいになるか」という数値に変換する方法。

仮に次のデータが得られたとする

Neighborhood	件数	平均販売価格
NAmes（エイムズ北部）	200件	150,000ドル
NridgHt（ノースリッジ・ハイツ）	70件	310,000ドル
TinyArea（架空の地区）	2件	400,000ドル

単純なターゲットエンコーディングでは次のように置き換える。

1
2
3


NAmes → 150,000
NridgHt → 310,000
TinyArea → 400,000

これにより、文字列だったNeighborhoodを価格と関係する数値としてモデルに渡せる。

つまり、カテゴリカル変数を、そのカテゴリにおけるターゲットの平均値に置き換える手法。

M推定平滑化

カテゴリの出現回数が少ないと、平均値の推定が不安定になるため、M推定（M-estimate）という平滑化を行う。

$$ \text{encoding} = \frac{n \cdot \bar{y}_{\text{category}} + m \cdot \bar{y}_{\text{overall}}}{n + m} $$

$\bar{y}_{\text{category}}$: そのカテゴリに属する住宅のSalePrice平均
$\bar{y}_{\text{overall}}$: 学習データ全体のSalePrice平均
$n$: はそのカテゴリの出現回数、$m$は平滑化の強さを決めるパラメータ
前述の例だと、TinyArea（架空の地区）は2件しかなかったので、これが対象になる
過去の正解から得た統計情報を、将来の予測に使う方法ではあるが、カンニングに少し近い

リークを防ぐ必要性

前述の通り、$\bar{y}_{\text{category}}$などは住宅価格をベースにしている
そのため、ターゲットの情報がエンコーディングを経由してモデルにリークしてしまう
なぜなら、エンコーディングに使う平均値の計算に、モデルの学習に使うのと同じデータを使っているから
これを避けるため、エンコーディングを学習させるデータと、実際にモデルを学習させるデータは分割しておく必要がある

リークによる過学習の実例

ここに、SalePriceとは本来何の関係もないはずの、単なる連番のカウント特徴量（Count）を、あえてエンコーディングと同じデータ上でM推定平滑化で平均エンコードしてみる。

行	`Count`	`SalePrice`
1	0	120,000
2	1	250,000
3	2	180,000
4	3	310,000

この上で計算すると、ほぼ完璧なスコアが出てしまう
理由は、連番のような一意性の高い特徴量を平均エンコードすると、各カテゴリの出現回数が1に近くなり、エンコードされた値がほぼターゲットの値そのものになってしまうため

まとめ

Kaggle Learnのコース自体は前処理済みのデータを前提にしているため、カテゴリ変換・One-Hot Encoding・外れ値除去・目的変数の対数変換といった一般的な前処理は別途必要になる
相互情報量は、特徴量の候補を絞り込む出発点として使えるが、単体のスコアだけでは交互作用を見逃す
特徴量の作成は、数学的な変換・カテゴリとの交互作用・カウント・分解・グループ集計など、いくつかの型に分類できる
K-meansやPCAのような教師なし学習の手法も、クラスタラベルや距離、主成分といった形で特徴量作成に転用できる
ターゲットエンコーディングは強力だが、リークによる過学習のリスクが大きく、holdoutデータでの学習と平滑化パラメータの調整が欠かせない

参考文献

Feature Engineering - Kaggle Learn
Duboue, P. (2020). “The Art of Feature Engineering”
Heaton, J. “An Empirical Analysis of Feature Engineering for Predictive Modeling”
Zheng, A. & Casari, A. (2018). “Feature Engineering for Machine Learning”
Kuhn, M. & Johnson, K. (2019). “Feature Engineering and Selection”
Interpretable Machine Learning
【Kaggle】House PricesをLightGBMで分析 #Python - Qiita
今あらためて考える特徴量エンジニアリング　～予測精度をあと一歩改善するテクニック - アイマガジン｜i Magazine｜IS magazine
Principal component analysis (PCA): Explained and implemented | by Raghavan | Medium
Feature Engineering - GeeksforGeeks
solegalli/feature-engineering-for-machine-learning: Code repository for the online course Feature Engineering for Machine Learning

Feature-Engineering on M1KE BL0G