CodeBlanks Logo Icon CodeBlanks
Giriş Yap Kayıt Ol

SGD

SGD (Stochastic Gradient Descent), her örnekte ağırlıkları günceller.

SGD ve momentum

"Stokastik" adı, gradyanın tüm veri yerine rastgele bir toplu veriden hesaplanmasından gelir; gürültülüdür ama ucuzdur. Momentum, geçmiş gradyanların hareketli toplamını tutar: tutarlı yönlerde hızlanır, zikzaklarda yavaşlar:

# PyTorch momentum kuralı:
# buf = momentum · buf + g
# p  -= lr · buf
opt = torch.optim.SGD(model.parameters(), lr=0.01, momentum=0.9)

Momentum 0.9 ile adım, sabit gradyan altında tek bir gradyanın yaklaşık 10 katına ulaşır (1 / (1 - 0.9)).

Momentum adım adım

w = 0'dan f(w) = (w - 3)² için lr = 0.1, momentum = 0.9 ile ilk iki adım:

# adım 1: g = -6,   buf = -6,                 w = 0 + 0.6 = 0.6
# adım 2: g = -4.8, buf = 0.9·(-6) - 4.8 = -10.2, w = 0.6 + 1.02 = 1.62
# düz SGD ile 2. adım sonrası w = 1.08 olurdu

Momentum optimumu aşıp geri dönebilir; büyük momentum değerleri salınım üretir.

Uygulama Momentumu gör

f(w) = (w - 3)² için SGD([w], lr=0.1, momentum=0.9) ile 2 adım at; her adımdan sonra w'yi round(..., 3) ile alt alta yazdır.

Başlangıç kodu

model.py
import torch

w = torch.tensor(0.0, requires_grad=True)

# buraya yaz

Örnek çözüm

model.py
import torch

w = torch.tensor(0.0, requires_grad=True)

opt = torch.optim.SGD([w], lr=0.1, momentum=0.9)
for _ in range(2):
    opt.zero_grad()
    ((w - 3) ** 2).backward()
    opt.step()
    print(round(w.item(), 3))

Beklenen çıktı

0.6
1.62

Soru ve cevaplar

Dersin sorularını cevaplarıyla birlikte inceleyebilirsin. Kendini denemek istersen dersi interaktif olarak çöz.

1 Momentum dar ve uzun bir vadide neden yardımcı olur?

  • Gradyanı yok sayar
  • Yardımcı olmaz
  • Vadi boyunca tutarlı yönü biriktirir, yan salınımları söndürür Doğru cevap
  • Öğrenme oranını sıfırlar

Açıklama: Zikzak yapan bileşenler birbirini götürür, ilerleyen bileşen birikir.

2 Momentumlu SGD kur.

Soru 
opt = torch.optim.SGD(params, lr=0.01, ____=0.9)
Cevap 
opt = torch.optim.SGD(params, lr=0.01, momentum=0.9)

Açıklama: momentum geçmiş gradyanların ağırlığıdır.

3 Değerleri eşleştir (lr = 0.1, momentum = 0.9).

Kavram Anlamı
1. adım sonrası w 0.6
2. adım sonrası w 1.62
düz SGD 2. adım 1.08
1 / (1 - 0.9) 10 kat hızlanma

İleri seviye bölümündeki tüm dersler

1 Neural network temelleri

  1. Neural network nedir?
  2. Nöron
  3. Katmanlar
  4. Aktivasyon
  5. İleri yayılım
  6. Özet - Neural network

2 PyTorch temelleri

  1. PyTorch nedir?
  2. Tensor
  3. Tensor oluşturma
  4. Tensor özellikleri
  5. GPU desteği
  6. Özet - PyTorch

3 Tensor işlemleri

  1. Tensor işlemleri
  2. Shape
  3. Dtype
  4. Reshape
  5. Indexing
  6. Özet - Tensor işlemleri

4 Autograd

  1. Autograd nedir?
  2. requires_grad
  3. backward()
  4. grad
  5. Computational graph
  6. Özet - Autograd

5 Proje: Neural network

  1. Tensor hazırlama
  2. Model tanımı
  3. Loss hesabı
  4. Optimize edici

6 nn.Module

  1. nn.Module nedir?
  2. __init__
  3. forward
  4. nn.Linear
  5. parameters()
  6. Özet - nn.Module

7 Eğitim döngüsü

  1. Eğitim döngüsü
  2. Epoch
  3. Loss
  4. backward()
  5. optimizer.step()
  6. Özet - Eğitim döngüsü

8 CNN

  1. CNN nedir?
  2. Conv2d
  3. MaxPool2d
  4. Feature map
  5. Flatten
  6. Özet - CNN

9 RNN

  1. RNN nedir?
  2. Hidden state
  3. Sequence
  4. Vanishing gradient
  5. Embedding
  6. Özet - RNN

10 LSTM

  1. LSTM nedir?
  2. Gate'ler
  3. Cell state
  4. input_size
  5. hidden_size
  6. Özet - LSTM

11 Proje: CNN

  1. Veri hazırlama
  2. CNN modeli
  3. Loss ve optimizer
  4. Eğitim

12 Transfer öğrenme

  1. Transfer öğrenme nedir?
  2. Pre-trained model
  3. Fine-tuning
  4. Feature extraction
  5. Avantajlar
  6. Özet - Transfer öğrenme

13 Optimizasyon

  1. Optimizer nedir?
  2. SGD
  3. Adam
  4. Learning rate
  5. zero_grad()
  6. Özet - Optimizasyon

14 İleri seviye finali

  1. Meydan okuma 1
  2. Meydan okuma 2
  3. Meydan okuma 3
  4. Meydan okuma 4