CodeBlanks Logo Icon CodeBlanks
Giriş Yap Kayıt Ol

Özet - Optimizasyon

Bu grupta SGD, Adam ve learning rate'i öğrendin.

Özet: optimizasyon

Bu grupta:

  • Optimize ediciler gradyanı adıma çevirir; arayüz zero_grad() + step().
  • SGD p -= lr·g; momentum tutarlı yönleri biriktirir.
  • Adam m ve v ortalamalarıyla parametre başına uyarlamalı adım atar; ilk adım ≈ lr, ölçekten bağımsız.
  • Öğrenme oranı en önemli ayardır; ısınma, kosinüs ve OneCycle zamanlayıcıları.
  • zero_grad konumu, weight_decay ve AdamW.

Uygulama Kötü ölçekli kayıp

f(w) = 100·(w₀ - 1)² + (w₁ - 2)² fonksiyonunu w = [0, 0]'dan 100 adımda küçült: bir kez SGD(lr=0.009), bir kez Adam(lr=0.1) ile. Her optimize edici için son w'yi round(..., 2) uygulanmış liste olarak alt alta yazdır (önce SGD).

Başlangıç kodu

model.py
import torch

# buraya yaz

Örnek çözüm

model.py
import torch

for yap in [lambda p: torch.optim.SGD(p, lr=0.009), lambda p: torch.optim.Adam(p, lr=0.1)]:
    w = torch.zeros(2, requires_grad=True)
    opt = yap([w])
    for _ in range(100):
        opt.zero_grad()
        (100 * (w[0] - 1) ** 2 + (w[1] - 2) ** 2).backward()
        opt.step()
    print([round(v, 2) for v in w.tolist()])

Beklenen çıktı

[1.0, 1.67]
[1.0, 2.01]

Soru ve cevaplar

Dersin sorularını cevaplarıyla birlikte inceleyebilirsin. Kendini denemek istersen dersi interaktif olarak çöz.

1 Kötü ölçeklenmiş (bir yönde çok dik) bir kayıpta hangisi genellikle daha hızlı ilerler?

  • İkisi aynı
  • Hiçbiri
  • Adam Doğru cevap
  • Momentumsuz SGD

Açıklama: Adam her yönü kendi gradyan ölçeğine göre normalleştirir.

2 Ayrık ağırlık azaltmalı Adam kur.

Soru 
opt = torch.optim.____(model.parameters(), lr=1e-3, weight_decay=0.01)
Cevap 
opt = torch.optim.AdamW(model.parameters(), lr=1e-3, weight_decay=0.01)

Açıklama: AdamW ağırlık azaltmayı uyarlamalı adımdan ayırır.

3 Optimize edicileri özelliklerle eşleştir.

Kavram Anlamı
SGD Basit, gradyanla orantılı
SGD + momentum Hız birikimi
Adam Uyarlamalı, ölçekten bağımsız
AdamW Transformer varsayılanı

İleri seviye bölümündeki tüm dersler

1 Neural network temelleri

  1. Neural network nedir?
  2. Nöron
  3. Katmanlar
  4. Aktivasyon
  5. İleri yayılım
  6. Özet - Neural network

2 PyTorch temelleri

  1. PyTorch nedir?
  2. Tensor
  3. Tensor oluşturma
  4. Tensor özellikleri
  5. GPU desteği
  6. Özet - PyTorch

3 Tensor işlemleri

  1. Tensor işlemleri
  2. Shape
  3. Dtype
  4. Reshape
  5. Indexing
  6. Özet - Tensor işlemleri

4 Autograd

  1. Autograd nedir?
  2. requires_grad
  3. backward()
  4. grad
  5. Computational graph
  6. Özet - Autograd

5 Proje: Neural network

  1. Tensor hazırlama
  2. Model tanımı
  3. Loss hesabı
  4. Optimize edici

6 nn.Module

  1. nn.Module nedir?
  2. __init__
  3. forward
  4. nn.Linear
  5. parameters()
  6. Özet - nn.Module

7 Eğitim döngüsü

  1. Eğitim döngüsü
  2. Epoch
  3. Loss
  4. backward()
  5. optimizer.step()
  6. Özet - Eğitim döngüsü

8 CNN

  1. CNN nedir?
  2. Conv2d
  3. MaxPool2d
  4. Feature map
  5. Flatten
  6. Özet - CNN

9 RNN

  1. RNN nedir?
  2. Hidden state
  3. Sequence
  4. Vanishing gradient
  5. Embedding
  6. Özet - RNN

10 LSTM

  1. LSTM nedir?
  2. Gate'ler
  3. Cell state
  4. input_size
  5. hidden_size
  6. Özet - LSTM

11 Proje: CNN

  1. Veri hazırlama
  2. CNN modeli
  3. Loss ve optimizer
  4. Eğitim

12 Transfer öğrenme

  1. Transfer öğrenme nedir?
  2. Pre-trained model
  3. Fine-tuning
  4. Feature extraction
  5. Avantajlar
  6. Özet - Transfer öğrenme

13 Optimizasyon

  1. Optimizer nedir?
  2. SGD
  3. Adam
  4. Learning rate
  5. zero_grad()
  6. Özet - Optimizasyon

14 İleri seviye finali

  1. Meydan okuma 1
  2. Meydan okuma 2
  3. Meydan okuma 3
  4. Meydan okuma 4