CodeBlanks Logo Icon CodeBlanks
Giriş Yap Kayıt Ol

Adam

Adam, uyarlanır öğrenme hızıyla gradyanları günceller.

Adam

Adam, her parametre için gradyanın hareketli ortalamasını (m, momentum) ve karesinin hareketli ortalamasını (v) tutar; adımı m / √v ile ölçekler. Böylece her parametre kendi ölçeğine uyarlanmış bir adım atar:

# m = β1·m + (1-β1)·g          (β1 = 0.9)
# v = β2·v + (1-β2)·g²         (β2 = 0.999)
# m̂ = m / (1-β1^t),  v̂ = v / (1-β2^t)   sapma düzeltmesi
# p -= lr · m̂ / (√v̂ + ε)

Adam az ayarla çoğu problemde iyi çalıştığı için derin öğrenmede en yaygın varsayılandır.

Ölçekten bağımsızlık

SGD'de adım gradyanla orantılıdır: kaybı 1000 ile çarpmak adımı 1000 kat büyütür. Adam'da ise oran sabit kalır:

for olcek in [1, 1000]:
    w = torch.tensor(0.0, requires_grad=True)
    opt = torch.optim.Adam([w], lr=0.1)
    (olcek * (w - 3) ** 2).backward()
    opt.step()
    print(olcek, round(w.item(), 4))   # ikisinde de 0.1

Bu özellik, farklı katmanların gradyanları çok farklı büyüklükte olduğunda Adam'ı kararlı yapar.

Uygulama Adam'ın ilk adımı

olcek 1 ve 1000 için (olcek * (w - 3) ** 2) kaybıyla tek bir Adam adımı (lr=0.1) at ve w'yi round(..., 4) ile yazdır. Ardından aynı deneyi SGD(lr=0.0001) ile yapıp iki w değerini aynı satırda yazdır.

Başlangıç kodu

model.py
import torch

# buraya yaz

Örnek çözüm

model.py
import torch

for olcek in [1, 1000]:
    w = torch.tensor(0.0, requires_grad=True)
    opt = torch.optim.Adam([w], lr=0.1)
    (olcek * (w - 3) ** 2).backward()
    opt.step()
    print(olcek, round(w.item(), 4))
sgd = []
for olcek in [1, 1000]:
    w = torch.tensor(0.0, requires_grad=True)
    opt = torch.optim.SGD([w], lr=0.0001)
    (olcek * (w - 3) ** 2).backward()
    opt.step()
    sgd.append(round(w.item(), 4))
print(*sgd)

Beklenen çıktı

1 0.1
1000 0.1
0.0006 0.6

Soru ve cevaplar

Dersin sorularını cevaplarıyla birlikte inceleyebilirsin. Kendini denemek istersen dersi interaktif olarak çöz.

1 Adam'ın ilk adımının büyüklüğü yaklaşık nedir?

  • Gradyanın kendisi
  • lr (gradyanın ölçeğinden bağımsız) Doğru cevap
  • lr · gradyan
  • Sıfır

Açıklama: İlk adımda m̂ = g ve √v̂ = |g|; oran işarete indirgenir.

2 Adam'ın beta değerlerini ver.

Soru 
opt = torch.optim.Adam(params, lr=1e-3, ____=(0.9, 0.999))
Cevap 
opt = torch.optim.Adam(params, lr=1e-3, betas=(0.9, 0.999))

Açıklama: betas (β1, β2) ikilisidir.

3 Parçaları eşleştir.

Kavram Anlamı
m Gradyan ortalaması
v Kare ortalaması
sapma düzeltmesi İlk adımları dengeler
ε Sıfıra bölmeyi önler

İleri seviye bölümündeki tüm dersler

1 Neural network temelleri

  1. Neural network nedir?
  2. Nöron
  3. Katmanlar
  4. Aktivasyon
  5. İleri yayılım
  6. Özet - Neural network

2 PyTorch temelleri

  1. PyTorch nedir?
  2. Tensor
  3. Tensor oluşturma
  4. Tensor özellikleri
  5. GPU desteği
  6. Özet - PyTorch

3 Tensor işlemleri

  1. Tensor işlemleri
  2. Shape
  3. Dtype
  4. Reshape
  5. Indexing
  6. Özet - Tensor işlemleri

4 Autograd

  1. Autograd nedir?
  2. requires_grad
  3. backward()
  4. grad
  5. Computational graph
  6. Özet - Autograd

5 Proje: Neural network

  1. Tensor hazırlama
  2. Model tanımı
  3. Loss hesabı
  4. Optimize edici

6 nn.Module

  1. nn.Module nedir?
  2. __init__
  3. forward
  4. nn.Linear
  5. parameters()
  6. Özet - nn.Module

7 Eğitim döngüsü

  1. Eğitim döngüsü
  2. Epoch
  3. Loss
  4. backward()
  5. optimizer.step()
  6. Özet - Eğitim döngüsü

8 CNN

  1. CNN nedir?
  2. Conv2d
  3. MaxPool2d
  4. Feature map
  5. Flatten
  6. Özet - CNN

9 RNN

  1. RNN nedir?
  2. Hidden state
  3. Sequence
  4. Vanishing gradient
  5. Embedding
  6. Özet - RNN

10 LSTM

  1. LSTM nedir?
  2. Gate'ler
  3. Cell state
  4. input_size
  5. hidden_size
  6. Özet - LSTM

11 Proje: CNN

  1. Veri hazırlama
  2. CNN modeli
  3. Loss ve optimizer
  4. Eğitim

12 Transfer öğrenme

  1. Transfer öğrenme nedir?
  2. Pre-trained model
  3. Fine-tuning
  4. Feature extraction
  5. Avantajlar
  6. Özet - Transfer öğrenme

13 Optimizasyon

  1. Optimizer nedir?
  2. SGD
  3. Adam
  4. Learning rate
  5. zero_grad()
  6. Özet - Optimizasyon

14 İleri seviye finali

  1. Meydan okuma 1
  2. Meydan okuma 2
  3. Meydan okuma 3
  4. Meydan okuma 4