Random forest nedir?

Random forest, birden çok karar ağacını birleştiren ensemble algoritmasıdır.

Random forest nedir?

Tek bir karar ağacı veri değiştikçe çok farklı kurallar öğrenir (yüksek varyans). Random forest yüzlerce ağacı farklı veri örneklemleri ve farklı özellik alt kümeleriyle eğitir, kararlarını oylamayla birleştirir. Ağaçların hataları birbirini götürür.

from sklearn.ensemble import RandomForestClassifier
rf = RandomForestClassifier(n_estimators=200, random_state=0).fit(X_train, y_train)
print(rf.score(X_test, y_test))
print(len(rf.estimators_))   # 200 ayrı ağaç

Ölçekleme gerektirmez, az ayarla iyi çalışır ve çoğu tablo verisinde güçlü bir ilk tercihtir.

Ağaçlar neden farklı?

İki rastgelelik kaynağı vardır:

Bootstrap: her ağaç, eğitim verisinden yerine koyarak çekilmiş bir örneklemle eğitilir.
Özellik alt kümesi: her bölmede yalnızca rastgele seçilmiş max_features özellik değerlendirilir (sınıflandırmada varsayılan √p).

İkincisi önemlidir: güçlü bir özellik tüm ağaçların kökünde olsaydı ağaçlar birbirine benzer, ortalamanın faydası azalırdı.

Uygulama Ağaç ve orman

Tek bir DecisionTreeClassifier(random_state=0) ve RandomForestClassifier(n_estimators=200, random_state=0) eğit. İkisinin test doğruluğunu round(..., 3) ile alt alta yazdır.

Örnek çözümü göster

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier

X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=0, stratify=y)
from sklearn.tree import DecisionTreeClassifier

agac = DecisionTreeClassifier(random_state=0).fit(X_train, y_train)
rf = RandomForestClassifier(n_estimators=200, random_state=0).fit(X_train, y_train)
print(round(agac.score(X_test, y_test), 3))
print(round(rf.score(X_test, y_test), 3))

Kendini test et

Random forest tek ağaca göre hangi sorunu azaltır?
- Sapmayı her zaman sıfırlar
- Eğitim süresini
- Bellek kullanımını
- Varyansı (kararsızlığı)
Cevabı göster

Varyansı (kararsızlığı) — Birbirinden farklı ağaçların ortalaması, tek ağacın dalgalanmasını yumuşatır.

300 ağaçlı bir orman oluştur.

rf = RandomForestClassifier(____=300, random_state=0)

Cevabı göster

rf = RandomForestClassifier(n_estimators=300, random_state=0)

Kavramları eşleştir.

bootstrap

Yerine koyarak örnekleme
max_features

Bölmede aday özellik sayısı
estimators_

Eğitilmiş ağaçlar
oylama

Kararların birleşimi

Sıradaki ders: Ensemble

Deneyiminizi Geliştiriyoruz

Çerez Tercihleri

Kesinlikle Gerekli Çerezler

Analitik Çerezler