CodeBlanks Logo Icon CodeBlanks
Giriş Yap Kayıt Ol

grad

grad özelliği, hesaplanan gradyanları içerir.

grad özniteliği

.grad, backward() sonrası yaprak tensörlerde dolar. Önemli bir ayrıntı: gradyanlar birikir. backward() her çağrıda yeni gradyanı mevcut olanın üstüne ekler:

w = torch.tensor(1.0, requires_grad=True)
for _ in range(3):
    (2 * w).backward()
print(w.grad.item())     # 6.0: 2 + 2 + 2
w.grad.zero_()
print(w.grad.item())     # 0.0

Bu yüzden eğitim döngüsünde her adımda gradyanlar sıfırlanır: optimizer.zero_grad().

Yapraklar ve ara tensörler

Yalnızca kullanıcının oluşturduğu yaprak tensörlerin (is_leaf) .grad'ı tutulur. Ara sonuçların gradyanı bellek için atılır; gerekirse retain_grad() ile istenir:

x = torch.tensor(2.0, requires_grad=True)
h = x * 3            # ara tensör
h.retain_grad()
y = h ** 2
y.backward()
print(x.is_leaf, h.is_leaf)        # True False
print(h.grad.item(), x.grad.item())  # 12.0 36.0

Zincir kuralı: dy/dx = dy/dh · dh/dx = 2h · 3 = 36.

Uygulama Birikimi gör

w = torch.tensor(3.0, requires_grad=True) için (w ** 2).backward() çağrısını üç kez yap ve w.grad.item() değerini yazdır. Ardından gradyanı zero_() ile sıfırla, bir kez daha geri yay ve yeniden yazdır.

Başlangıç kodu

model.py
import torch

# buraya yaz

Örnek çözüm

model.py
import torch

w = torch.tensor(3.0, requires_grad=True)
for _ in range(3):
    (w ** 2).backward()
print(w.grad.item())
w.grad.zero_()
(w ** 2).backward()
print(w.grad.item())

Beklenen çıktı

18.0
6.0

Soru ve cevaplar

Dersin sorularını cevaplarıyla birlikte inceleyebilirsin. Kendini denemek istersen dersi interaktif olarak çöz.

1 Gradyanlar sıfırlanmadan 5 adım eğitim yapılırsa ne olur?

  • Her adım önceki adımların gradyanlarının toplamıyla güncellenir Doğru cevap
  • Hiçbir şey olmaz
  • Hata verir
  • Gradyanlar sıfır kalır

Açıklama: Birikim yanlış ve giderek büyüyen güncellemelere yol açar.

2 Gradyanı sıfırla.

Soru 
w.grad.____()
Cevap 
w.grad.zero_()

Açıklama: zero_() gradyan tensörünü yerinde sıfırlar.

3 Kavramları eşleştir.

Kavram Anlamı
birikim backward üst üste ekler
zero_grad Her adımda sıfırlama
is_leaf Kullanıcı tensörü
retain_grad Ara gradyanı tut

İleri seviye bölümündeki tüm dersler

1 Neural network temelleri

  1. Neural network nedir?
  2. Nöron
  3. Katmanlar
  4. Aktivasyon
  5. İleri yayılım
  6. Özet - Neural network

2 PyTorch temelleri

  1. PyTorch nedir?
  2. Tensor
  3. Tensor oluşturma
  4. Tensor özellikleri
  5. GPU desteği
  6. Özet - PyTorch

3 Tensor işlemleri

  1. Tensor işlemleri
  2. Shape
  3. Dtype
  4. Reshape
  5. Indexing
  6. Özet - Tensor işlemleri

4 Autograd

  1. Autograd nedir?
  2. requires_grad
  3. backward()
  4. grad
  5. Computational graph
  6. Özet - Autograd

5 Proje: Neural network

  1. Tensor hazırlama
  2. Model tanımı
  3. Loss hesabı
  4. Optimize edici

6 nn.Module

  1. nn.Module nedir?
  2. __init__
  3. forward
  4. nn.Linear
  5. parameters()
  6. Özet - nn.Module

7 Eğitim döngüsü

  1. Eğitim döngüsü
  2. Epoch
  3. Loss
  4. backward()
  5. optimizer.step()
  6. Özet - Eğitim döngüsü

8 CNN

  1. CNN nedir?
  2. Conv2d
  3. MaxPool2d
  4. Feature map
  5. Flatten
  6. Özet - CNN

9 RNN

  1. RNN nedir?
  2. Hidden state
  3. Sequence
  4. Vanishing gradient
  5. Embedding
  6. Özet - RNN

10 LSTM

  1. LSTM nedir?
  2. Gate'ler
  3. Cell state
  4. input_size
  5. hidden_size
  6. Özet - LSTM

11 Proje: CNN

  1. Veri hazırlama
  2. CNN modeli
  3. Loss ve optimizer
  4. Eğitim

12 Transfer öğrenme

  1. Transfer öğrenme nedir?
  2. Pre-trained model
  3. Fine-tuning
  4. Feature extraction
  5. Avantajlar
  6. Özet - Transfer öğrenme

13 Optimizasyon

  1. Optimizer nedir?
  2. SGD
  3. Adam
  4. Learning rate
  5. zero_grad()
  6. Özet - Optimizasyon

14 İleri seviye finali

  1. Meydan okuma 1
  2. Meydan okuma 2
  3. Meydan okuma 3
  4. Meydan okuma 4