Optimize edici

SGD optimize edici oluşturursun.

Optimize edici adımı

Eğitim döngüsü dört adımın tekrarıdır: ileri yayılım, kayıp, geri yayılım, güncelleme (ve gradyanları sıfırlama). Elle yazılmış hâli:

lr = 0.01
for adim in range(2000):
    kayip = ((model(x) - y) ** 2).mean()
    kayip.backward()
    with torch.no_grad():
        for p in (w, b):
            p -= lr * p.grad
            p.grad.zero_()

Öğrenme oranı çok büyükse kayıp patlar, çok küçükse eğitim çok yavaş ilerler.

optim.SGD ile aynı iş

PyTorch'un optimize edicisi güncelleme ve sıfırlamayı üstlenir; döngü kısalır ve hatalara daha az açık olur:

opt = torch.optim.SGD([w, b], lr=0.01)
for adim in range(2000):
    opt.zero_grad()
    kayip = ((model(x) - y) ** 2).mean()
    kayip.backward()
    opt.step()

zero_grad, backward, step üçlüsü tüm PyTorch eğitim döngülerinin iskeletidir.

Uygulama Modeli eğit

torch.optim.SGD([w, b], lr=0.01) ile 3000 adım eğit (her adımda zero_grad, kayıp, backward, step). Öğrenilen w ve b'yi round(..., 2) ile aynı satırda, ardından son kaybın 0.001'den küçük olduğunu yazdır.

Örnek çözümü göster

import torch

x = torch.arange(10, dtype=torch.float32).unsqueeze(1)
y = 3 * x + 2
w = torch.zeros(1, requires_grad=True)
b = torch.zeros(1, requires_grad=True)

def model(x):
    return x * w + b

opt = torch.optim.SGD([w, b], lr=0.01)
for _ in range(3000):
    opt.zero_grad()
    kayip = ((model(x) - y) ** 2).mean()
    kayip.backward()
    opt.step()
print(round(w.item(), 2), round(b.item(), 2))
print(kayip.item() < 0.001)

Kendini test et

Bu veride <code>lr = 0.1</code> ile ne olur?
- Hiç değişmez
- Aynı sonuç
- Kayıp patlar (ıraksar)
- Daha hızlı yakınsar
Cevabı göster

Kayıp patlar (ıraksar) — x değerleri 9'a kadar çıktığı için gradyan büyüktür; büyük adım optimumu aşar ve her adımda hata büyür.
Parametreleri güncelle.
```
opt.____()
```
Cevabı göster
```
opt.step()
```
Döngü adımlarını eşleştir.

opt.zero_grad()

Gradyanları sıfırla
model(x)

İleri yayılım
kayip.backward()

Geri yayılım
opt.step()

Güncelleme

Sıradaki ders: nn.Module nedir?

Deneyiminizi Geliştiriyoruz

Çerez Tercihleri

Kesinlikle Gerekli Çerezler

Analitik Çerezler