Makine Öğrenmesi
alpha
alpha parametresi, regularizasyon gücünü belirler.
alpha seçimi
alpha, sapma ile varyans arasındaki dengeyi kurar: çok küçükse aşırı öğrenme, çok büyükse tüm katsayılar sıfıra yaklaşır ve eksik öğrenme olur. En iyi değer logaritmik bir ızgarada CV ile bulunur. scikit-learn bunun için hazır sınıflar sunar:
from sklearn.linear_model import RidgeCV, LassoCV
r = RidgeCV(alphas=np.logspace(-3, 3, 13)).fit(Xs, y)
print(r.alpha_)
l = LassoCV(cv=5, random_state=0).fit(Xs, y)
print(l.alpha_)
RidgeCV varsayılan olarak çok hızlı bir leave-one-out hesabı kullanır.
Düzenlileştirme yolu
Katsayıların alpha'ya göre nasıl değiştiğini görmek modeli anlamayı kolaylaştırır. Lasso yolunda alpha büyüdükçe özellikler birer birer sıfıra düşer; en son düşenler en önemli özelliklerdir:
for a in [0.01, 0.1, 0.5, 1, 2]:
c = Lasso(alpha=a).fit(Xs, y).coef_
print(a, (c != 0).sum())
lasso_path tüm yolu tek seferde hesaplar ve çizime hazır verir.
Uygulama Lasso yolu
alpha = 0.01, 0.1, 0.5, 1, 2 için Lasso eğit; her satırda alpha'yı ve sıfır olmayan katsayı sayısını yazdır. Ardından LassoCV(cv=5, random_state=0)'ın seçtiği alpha'yı round(..., 3) ile yazdır.
Örnek çözümü göster
import numpy as np
from sklearn.preprocessing import StandardScaler
rng = np.random.default_rng(0)
X = rng.normal(size=(60, 20))
y = 3 * X[:, 0] - 2 * X[:, 1] + 1.5 * X[:, 2] + rng.normal(0, 1, 60)
Xs = StandardScaler().fit_transform(X)
from sklearn.linear_model import Lasso, LassoCV
for a in [0.01, 0.1, 0.5, 1, 2]:
print(a, (Lasso(alpha=a).fit(Xs, y).coef_ != 0).sum())
print(round(LassoCV(cv=5, random_state=0).fit(Xs, y).alpha_, 3))
Kendini test et
-
alpha çok büyük seçilirse ne olur?
- Model aşırı öğrenir
- Hiçbir şey değişmez
- Hata verir
- Katsayılar sıfıra yaklaşır, model eksik öğrenir
Cevabı göster
Katsayılar sıfıra yaklaşır, model eksik öğrenir — Ceza baskın olunca model veriye uymaktan vazgeçer; tahmin ortalamaya yaklaşır.
-
alpha'yı CV ile seçen Lasso'yu kur.
l = ____(cv=5, random_state=0).fit(Xs, y)
Cevabı göster
l = LassoCV(cv=5, random_state=0).fit(Xs, y)
-
Araçları eşleştir.
- RidgeCV
- Ridge için hızlı CV
- LassoCV
- Lasso için CV
- alpha_
- Seçilen ceza
- lasso_path
- Katsayı yolu
Sıradaki ders: ElasticNet
