CodeBlanks Logo Icon CodeBlanks
Giriş Yap Kayıt Ol

Loss ve optimizer

CrossEntropy loss ve SGD optimizer kullanırsın.

Kayıp ve optimize edici

İki sınıflı sınıflandırma için CrossEntropyLoss (2 logit) kullanıyoruz. Optimize edici olarak Adam küçük CNN'lerde hızlı ve ayara az duyarlıdır:

kayip_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=0.01)
with torch.no_grad():
    print(kayip_fn(model(X_train), y_train).item())   # eğitim öncesi ≈ log(2) = 0.69

Eğitim öncesi kaybın log(sınıf sayısı) civarında olması, modelin henüz rastgele tahmin yaptığını ve kurulumun doğru olduğunu gösteren bir akıl sağlığı testidir.

Tek toplu veride ezberleme testi

Bir modelin öğrenebildiğini doğrulamanın en hızlı yolu, tek bir küçük toplu veriyi ezberletmektir. Kayıp sıfıra yaklaşmıyorsa kodda bir hata vardır (yanlış etiket, eksik zero_grad, yanlış kayıp):

xb, yb = X_train[:16], y_train[:16]
for _ in range(100):
    opt.zero_grad()
    kayip = kayip_fn(model(xb), yb)
    kayip.backward()
    opt.step()
print(kayip.item() < 0.05)   # True beklenir

Bu test birkaç saniye sürer ve saatler süren boşa eğitimleri önler.

Uygulama Akıl sağlığı testleri

Eğitim öncesi kaybın log(2)'ye yakın olduğunu (abs(kayip - 0.693) < 0.1) yazdır. Ardından ilk 16 örnekle 100 adım eğitip kaybın 0.05'ten küçük olduğunu yazdır.

Başlangıç kodu

model.py
import torch
from torch import nn

torch.manual_seed(0)
def veri(n):
    X = torch.rand(n, 1, 16, 16) * 0.3
    y = torch.randint(0, 2, (n,))
    for k in range(n):
        if y[k] == 0:
            X[k, 0, 7:9, :] += 1.0
        else:
            X[k, 0, :, 7:9] += 1.0
    return X, y

X_train, y_train = veri(256)
X_test, y_test = veri(64)

model = nn.Sequential(
    nn.Conv2d(1, 8, 3, padding=1), nn.ReLU(), nn.MaxPool2d(2),
    nn.Conv2d(8, 16, 3, padding=1), nn.ReLU(), nn.MaxPool2d(2),
    nn.Flatten(), nn.Linear(16 * 4 * 4, 2))
kayip_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=0.01)

# buraya yaz

Örnek çözüm

model.py
import torch
from torch import nn

torch.manual_seed(0)
def veri(n):
    X = torch.rand(n, 1, 16, 16) * 0.3
    y = torch.randint(0, 2, (n,))
    for k in range(n):
        if y[k] == 0:
            X[k, 0, 7:9, :] += 1.0
        else:
            X[k, 0, :, 7:9] += 1.0
    return X, y

X_train, y_train = veri(256)
X_test, y_test = veri(64)

model = nn.Sequential(
    nn.Conv2d(1, 8, 3, padding=1), nn.ReLU(), nn.MaxPool2d(2),
    nn.Conv2d(8, 16, 3, padding=1), nn.ReLU(), nn.MaxPool2d(2),
    nn.Flatten(), nn.Linear(16 * 4 * 4, 2))
kayip_fn = nn.CrossEntropyLoss()
opt = torch.optim.Adam(model.parameters(), lr=0.01)

with torch.no_grad():
    ilk = kayip_fn(model(X_train), y_train).item()
print(abs(ilk - 0.693) < 0.1)
xb, yb = X_train[:16], y_train[:16]
for _ in range(100):
    opt.zero_grad()
    kayip = kayip_fn(model(xb), yb)
    kayip.backward()
    opt.step()
print(kayip.item() < 0.05)

Beklenen çıktı

True
True

Soru ve cevaplar

Dersin sorularını cevaplarıyla birlikte inceleyebilirsin. Kendini denemek istersen dersi interaktif olarak çöz.

1 10 sınıflı bir problemde eğitim öncesi kayıp yaklaşık kaç olmalıdır?

  • 10
  • 2.3 (log 10) Doğru cevap
  • 0
  • 0.69

Açıklama: Rastgele tahmin her sınıfa 1/10 olasılık verir: -log(0.1) ≈ 2.30.

2 Adam optimize ediciyi kur.

Soru 
opt = torch.optim.____(model.parameters(), lr=0.01)
Cevap 
opt = torch.optim.Adam(model.parameters(), lr=0.01)

Açıklama: Adam uyarlamalı öğrenme oranı kullanır.

3 Testleri eşleştir.

Kavram Anlamı
başlangıç kaybı ≈ log(K) Kurulum doğru
tek toplu veri ezberi Model öğrenebiliyor
kayıp düşmüyor Kodda hata
Adam Uyarlamalı optimize edici

İleri seviye bölümündeki tüm dersler

1 Neural network temelleri

  1. Neural network nedir?
  2. Nöron
  3. Katmanlar
  4. Aktivasyon
  5. İleri yayılım
  6. Özet - Neural network

2 PyTorch temelleri

  1. PyTorch nedir?
  2. Tensor
  3. Tensor oluşturma
  4. Tensor özellikleri
  5. GPU desteği
  6. Özet - PyTorch

3 Tensor işlemleri

  1. Tensor işlemleri
  2. Shape
  3. Dtype
  4. Reshape
  5. Indexing
  6. Özet - Tensor işlemleri

4 Autograd

  1. Autograd nedir?
  2. requires_grad
  3. backward()
  4. grad
  5. Computational graph
  6. Özet - Autograd

5 Proje: Neural network

  1. Tensor hazırlama
  2. Model tanımı
  3. Loss hesabı
  4. Optimize edici

6 nn.Module

  1. nn.Module nedir?
  2. __init__
  3. forward
  4. nn.Linear
  5. parameters()
  6. Özet - nn.Module

7 Eğitim döngüsü

  1. Eğitim döngüsü
  2. Epoch
  3. Loss
  4. backward()
  5. optimizer.step()
  6. Özet - Eğitim döngüsü

8 CNN

  1. CNN nedir?
  2. Conv2d
  3. MaxPool2d
  4. Feature map
  5. Flatten
  6. Özet - CNN

9 RNN

  1. RNN nedir?
  2. Hidden state
  3. Sequence
  4. Vanishing gradient
  5. Embedding
  6. Özet - RNN

10 LSTM

  1. LSTM nedir?
  2. Gate'ler
  3. Cell state
  4. input_size
  5. hidden_size
  6. Özet - LSTM

11 Proje: CNN

  1. Veri hazırlama
  2. CNN modeli
  3. Loss ve optimizer
  4. Eğitim

12 Transfer öğrenme

  1. Transfer öğrenme nedir?
  2. Pre-trained model
  3. Fine-tuning
  4. Feature extraction
  5. Avantajlar
  6. Özet - Transfer öğrenme

13 Optimizasyon

  1. Optimizer nedir?
  2. SGD
  3. Adam
  4. Learning rate
  5. zero_grad()
  6. Özet - Optimizasyon

14 İleri seviye finali

  1. Meydan okuma 1
  2. Meydan okuma 2
  3. Meydan okuma 3
  4. Meydan okuma 4