特徴量エンジニアリングの手法

Sun, 20 Sep 2026 08:00:00 +0900

背景

Kaggleに良い記事があったのでAIでまとめてもらった
Kaggle LearnのFeature Engineeringコース
内容は基礎的だが改めてどう特徴量を作るのがいいのかのヒントになった

データセット: Ames Housing

The Ames Housing Dataset is a well-known dataset in the field of machine learning and data analysis. It contains various features and attributes of residential homes in Ames, Iowa, USA. The dataset is often used for regression tasks, particularly for predicting housing prices.

Ames Housingは、アイオワ州エイムズ市の住宅販売データ
2011年にDean De Cockが、統計教育で長らく使われてきたBoston Housingデータセットの代替として公開したデータセットで、KaggleのHouse Prices: Advanced Regression Techniquesコンペティションの題材にもなっている
78個の説明変数（敷地面積・築年数・部屋数・品質評価・立地など、住宅のあらゆる側面を数値・カテゴリで記述したもの）と、予測対象であるSalePrice（実際の販売価格）から構成される
記事中に登場する主な列は以下
- GrLivArea: 地上の居住面積
- LotArea: 敷地面積
- TotalBsmtSF／FirstFlrSF／SecondFlrSF: 地下室・1階・2階の床面積
- TotRmsAbvGrd: 地上の部屋数
- BldgType: 住居の構造種別（一戸建て・二世帯・タウンハウスなど）
- Neighborhood: 近隣地区
- MSSubClass: 住居の種類を表すコード
- SaleType: 販売形態
- WoodDeckSF／OpenPorchSF／EnclosedPorch／ScreenPorch: ウッドデッキ・各種ポーチの面積
- SalePrice: 実際の販売価格（予測対象）

describe()すると、以下だった
平均は18万ドルほど

1
2
3
4
5
6
7
8


count 1460.000000
mean 180921.195890
std 79442.502883
min 34900.000000
25% 129975.000000
50% 163000.000000
75% 214000.000000
max 755000.000000

前処理

ここでは実務上必要になる前処理を補足しておく。

数値だがカテゴリとして扱うべき列

数値として格納されているが、大小関係に意味がない列は、そのままモデルに渡すと誤った大小関係を学習してしまう
例: MSSubClass（住居種類コード）、YrSold（売却年）、MoSold（売却月）は、いずれも数値だが「値が大きい方が良い」という意味を持たないため、文字列（カテゴリ）に変換してから扱う

One-Hot Encoding

カテゴリ変数を、カテゴリごとに0/1の列に展開する基本的なエンコーディング手法
pd.get_dummies()で実行できる
前述のターゲットエンコーディングと異なりリークの心配はないが、カテゴリ数が多い変数では列数が急増する

外れ値の除去

PCAによる外れ値の「検出」（後述）と異なり、実際に学習データから取り除くかどうかの判断
例: 極端に価格が高い物件、極端に古い物件、極端に敷地が広い物件などは、モデルの学習を歪める要因になりうるため、除去を検討する
ただし、何をもって「極端」とするかは恣意性が伴うため、除去の基準を明示し、検証データでの効果も確認するのが望ましい

目的変数の対数変換

SalePriceのような金額は、少数の高額物件が平均を押し上げる、右に裾を引く分布になりやすい
対数変換を施すことで、分布を正規分布に近づけられ、多くの回帰モデルが前提とする「誤差が正規分布に従う」という条件に適合しやすくなる

$$ y' = \log(1 + y) $$

モデルの予測値は対数スケールになるため、実際の価格に戻すには指数変換（$y = e^{y'} - 1$）を忘れずに行う必要がある

相互情報量（Mutual Information）

相互情報量とは

2つの変数がどれだけ情報を共有しているかを測る指標
以下の式で定義される

$$ I(X;Y) = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)p(y)} $$

相関係数と異なり、線形関係に限らずどんな種類の関係も検出できる
0以上の値を取り、0なら独立、値が大きいほど強い依存関係を示す
$p(x,y) = p(x)p(y)$なら独立した事象なので、xとyに関係性はない
すると、$log(1)=0$となり、その項目はMIが0になる

特徴量選定への応用

Amesデータセットには78個の特徴量があり、すべてを一度に検討するのは非現実的
各特徴量とターゲット（SalePrice）との相互情報量スコアを計算し、上位・下位を確認することで、開発に値する特徴量の当たりをつけられる
上位に来る特徴量には、立地・広さ・品質といったテーマが繰り返し現れ、住宅の価値を左右する直感とも一致していた

交互作用の発見

単体の相互情報量スコアが低い特徴量でも、他の特徴量との組み合わせで意味を持つことがある
BldgType（住居の構造種別）はそれ単体ではMIスコアが低かったが、GrLivArea（地上の居住面積）との関係を見ると、カテゴリごとに傾向線の傾きが大きく異なっていた
このように、カテゴリ別に見た時の傾向線の違いが、交互作用が存在することのサイン

特徴量の作成

MIスコアや交互作用の分析で見込みのある特徴量が分かったら、実際に新しい特徴量を作成していく。

数学的な変換

同じ単位（面積など）を持つ特徴量同士は、比率や合計で組み合わせやすい
例: LivLotRatio（居住面積÷敷地面積の比率）、Spaciousness（1階・2階の床面積の合計を部屋数で割った値）、TotalOutsideSF（各種屋外スペースの合計）

カテゴリ変数との交互作用

連続値の特徴量とカテゴリ変数の間に交互作用がある場合、カテゴリをOne-Hotエンコードしてから連続値に掛け合わせることで、交互作用を明示的な特徴量にできる

1
2


X_new = pd.get_dummies(df.Categorical, prefix="Cat")
X_new = X_new.mul(df.Continuous, axis=0)

カウント特徴量

複数の関連する二値・数値項目のうち「いくつが条件を満たすか」を数える特徴量
例: 屋外スペースの各種類（ウッドデッキ、ポーチなど）のうち、面積が0より大きいものの個数を数えたPorchTypes

カテゴリの分解

1つのカテゴリ変数が、実は複数の情報を含んでいることがある
例: MSSubClassは「住居の種類」を表すが、文字列の最初の単語だけを取り出すことで、より大まかな分類を新しい特徴量として抽出できる

グループ集計特徴量

ある特徴量の値を、別のカテゴリでグループ化した集計値（平均・中央値など）と組み合わせる
例: 各住宅のGrLivAreaを、その住宅が属するNeighborhoodごとの中央値と比較できるようにしたMedNhbdArea
住宅の価値は、近隣の相場と比べてどうかという相対的な情報も持つため、こうした集計特徴量が有効になる

K-meansクラスタリング

教師なし学習であるクラスタリングも、特徴量作成の手段として使える。

スケーリングの注意点

k-meansは距離ベースのアルゴリズムのため、スケールの異なる特徴量をそのまま使うと、値の大きい特徴量に結果が引っ張られる
緯度・経度のように、単位が揃っていて直接比較可能な特徴量は再スケーリング不要な場合が多い
敷地面積と居住面積のように単位は同じでもスケールが大きく異なる特徴量や、ドア数と馬力のように単位そのものが異なる特徴量は、再スケーリングを検討する必要がある

クラスタラベル特徴量

敷地面積・地下室面積・1階/2階床面積・居住面積などの空間的な特徴量群にk-meansを適用し、各住宅が属するクラスタ番号をカテゴリ特徴量として追加する
複雑な空間的関係を、単純なラベル1つに圧縮できる

クラスタ距離特徴量

クラスタ番号というカテゴリだけでなく、各住宅から全クラスタ中心までの距離を、それぞれ連続値の特徴量として使うこともできる
fit_predictの代わりにfit_transformを使うことで、距離特徴量が得られる

主成分分析（PCA）

ローディングの解釈

互いに相関の強い特徴量群にPCAを適用すると、各主成分がどの特徴量の組み合わせに強く反応しているか（ローディング）を確認できる
ローディングの符号・大きさのパターンから、その主成分が何らかの対比（例えば「新しくて質は高いが広くはない」対「古いが広い」のような対比）を捉えていると解釈できる

主成分を特徴量として使う

ローディングから着想を得て新しい特徴量を作る方法と、主成分の値そのものを特徴量としてモデルに追加する方法の両方がありうる

外れ値検出への応用

PCAは、個々の特徴量を見ただけでは分からない「変則的な変動」を検出できる
例えば、小さい住宅であること自体や、地下室が大きいこと自体は珍しくないが、「小さいのに地下室だけ異常に大きい」という組み合わせは珍しい
主成分の分布で極端な値を持つデータ点を確認することで、こうした組み合わせ的な外れ値を見つけられる

ターゲットエンコーディング

仕組みとM推定平滑化

カテゴリ変数を、そのカテゴリにおけるターゲットの平均値に置き換える手法
カテゴリの出現回数が少ないと、平均値の推定が不安定になるため、M推定（M-estimate）という平滑化を行う

$$ \text{encoding} = \frac{n \cdot \bar{y}_{\text{category}} + m \cdot \bar{y}_{\text{overall}}}{n + m} $$

$n$はそのカテゴリの出現回数、$m$は平滑化の強さを決めるパラメータ
出現回数が少ないカテゴリほど、全体平均に近い値に引き寄せられる

リークを防ぐ必要性

エンコーディングに使う平均値の計算に、モデルの学習に使うのと同じデータを使うと、ターゲットの情報がエンコーディングを経由してモデルにリークしてしまう
これを避けるため、エンコーディングを学習させるデータと、実際にモデルを学習させるデータは分割しておく必要がある

過学習の実例

リークの危険性を示す例として、SalePriceとは本来何の関係もないはずの、単なる連番（0, 1, 2, 3, …）のカウント特徴量を、あえてエンコーディングと同じデータ上で平均エンコードしてみる
結果、ほぼ完璧なスコアが出てしまう
連番のような一意性の高い特徴量を平均エンコードすると、各カテゴリの出現回数が1に近くなり、エンコードされた値がほぼターゲットの値そのものになってしまうため

まとめ

Kaggle Learnのコース自体は前処理済みのデータを前提にしているため、カテゴリ変換・One-Hot Encoding・外れ値除去・目的変数の対数変換といった一般的な前処理は別途必要になる
相互情報量は、特徴量の候補を絞り込む出発点として使えるが、単体のスコアだけでは交互作用を見逃す
特徴量の作成は、数学的な変換・カテゴリとの交互作用・カウント・分解・グループ集計など、いくつかの型に分類できる
K-meansやPCAのような教師なし学習の手法も、クラスタラベルや距離、主成分といった形で特徴量作成に転用できる
ターゲットエンコーディングは強力だが、リークによる過学習のリスクが大きく、holdoutデータでの学習と平滑化パラメータの調整が欠かせない

参考文献

Feature Engineering - Kaggle Learn
Duboue, P. (2020). “The Art of Feature Engineering”
Heaton, J. “An Empirical Analysis of Feature Engineering for Predictive Modeling”
Zheng, A. & Casari, A. (2018). “Feature Engineering for Machine Learning”
Kuhn, M. & Johnson, K. (2019). “Feature Engineering and Selection”
Interpretable Machine Learning
【Kaggle】House PricesをLightGBMで分析 #Python - Qiita

Kaggle on M1KE BL0G