CodeBlanks Logo Icon CodeBlanks
Giriş Yap Kayıt Ol

Özet - LSTM

Bu grupta LSTM, gate'ler ve cell state'i öğrendin.

Özet: LSTM

Bu grupta:

  • LSTM, gizli durum h ve hücre durumu c taşır; kapılar (f, i, o) ve aday g bilgi akışını denetler.
  • Toplamsal hücre güncellemesi c = f·c + i·g sönen gradyanı azaltır.
  • Durum (h0, c0) verilebilir ve parçalar arasında taşınabilir.
  • input_size: adım başına özellik; hidden_size: kapasite; parametre 4·(HI + HH + 2H).
  • bidirectional ve num_layers; GRU daha az parametreli bir alternatiftir (nn.GRU, 3 bileşen).

Uygulama Dizi sınıflandırıcı

Bir LSTM sınıflandırıcısı yaz: nn.LSTM(3, 32, batch_first=True) ve son gizli durumdan (h_n[-1]) nn.Linear(32, 2). (8, 20, 3) girdi için çıktı şeklini, ardından aynı yapıyı nn.GRU ile kurup LSTM ve GRU katmanlarının parametre sayılarını aynı satırda yazdır.

Başlangıç kodu

model.py
import torch
from torch import nn

x = torch.zeros(8, 20, 3)

# buraya yaz

Örnek çözüm

model.py
import torch
from torch import nn

x = torch.zeros(8, 20, 3)

class DiziSiniflandirici(nn.Module):
    def __init__(self):
        super().__init__()
        self.lstm = nn.LSTM(3, 32, batch_first=True)
        self.bas = nn.Linear(32, 2)

    def forward(self, x):
        _, (h_n, _) = self.lstm(x)
        return self.bas(h_n[-1])

print(DiziSiniflandirici()(x).shape)
say = lambda m: sum(p.numel() for p in m.parameters())
print(say(nn.LSTM(3, 32)), say(nn.GRU(3, 32)))

Beklenen çıktı

torch.Size([8, 2])
4736 3552

Soru ve cevaplar

Dersin sorularını cevaplarıyla birlikte inceleyebilirsin. Kendini denemek istersen dersi interaktif olarak çöz.

1 Bir sonraki günün satışını tahmin eden canlı modelde neden çift yönlü LSTM kullanılmaz?

  • Kayıp hesaplanamaz
  • Kullanılır
  • Gelecek adımları görür; tahmin anında gelecek yoktur Doğru cevap
  • Çok yavaştır

Açıklama: Geriye doğru geçiş sondaki adımları bilmeyi gerektirir.

2 Daha hafif kapılı RNN kur.

Soru 
gru = nn.____(16, 32, batch_first=True)
Cevap 
gru = nn.GRU(16, 32, batch_first=True)

Açıklama: GRU 3 bileşenlidir; hücre durumu yoktur.

3 Mimarileri eşleştir.

Kavram Anlamı
RNN 1 bileşen
GRU 3 bileşen
LSTM 4 bileşen
bidirectional İki yön

İleri seviye bölümündeki tüm dersler

1 Neural network temelleri

  1. Neural network nedir?
  2. Nöron
  3. Katmanlar
  4. Aktivasyon
  5. İleri yayılım
  6. Özet - Neural network

2 PyTorch temelleri

  1. PyTorch nedir?
  2. Tensor
  3. Tensor oluşturma
  4. Tensor özellikleri
  5. GPU desteği
  6. Özet - PyTorch

3 Tensor işlemleri

  1. Tensor işlemleri
  2. Shape
  3. Dtype
  4. Reshape
  5. Indexing
  6. Özet - Tensor işlemleri

4 Autograd

  1. Autograd nedir?
  2. requires_grad
  3. backward()
  4. grad
  5. Computational graph
  6. Özet - Autograd

5 Proje: Neural network

  1. Tensor hazırlama
  2. Model tanımı
  3. Loss hesabı
  4. Optimize edici

6 nn.Module

  1. nn.Module nedir?
  2. __init__
  3. forward
  4. nn.Linear
  5. parameters()
  6. Özet - nn.Module

7 Eğitim döngüsü

  1. Eğitim döngüsü
  2. Epoch
  3. Loss
  4. backward()
  5. optimizer.step()
  6. Özet - Eğitim döngüsü

8 CNN

  1. CNN nedir?
  2. Conv2d
  3. MaxPool2d
  4. Feature map
  5. Flatten
  6. Özet - CNN

9 RNN

  1. RNN nedir?
  2. Hidden state
  3. Sequence
  4. Vanishing gradient
  5. Embedding
  6. Özet - RNN

10 LSTM

  1. LSTM nedir?
  2. Gate'ler
  3. Cell state
  4. input_size
  5. hidden_size
  6. Özet - LSTM

11 Proje: CNN

  1. Veri hazırlama
  2. CNN modeli
  3. Loss ve optimizer
  4. Eğitim

12 Transfer öğrenme

  1. Transfer öğrenme nedir?
  2. Pre-trained model
  3. Fine-tuning
  4. Feature extraction
  5. Avantajlar
  6. Özet - Transfer öğrenme

13 Optimizasyon

  1. Optimizer nedir?
  2. SGD
  3. Adam
  4. Learning rate
  5. zero_grad()
  6. Özet - Optimizasyon

14 İleri seviye finali

  1. Meydan okuma 1
  2. Meydan okuma 2
  3. Meydan okuma 3
  4. Meydan okuma 4