Özet - RNN

Bu grupta RNN, hidden state ve vanishing gradient'i öğrendin.

Özet: RNN

Bu grupta:

RNN diziyi adım adım işler: h_t = tanh(W_x x_t + W_h h_(t-1) + b); ağırlıklar adımlar arasında paylaşılır.
nn.RNN: output (N, T, H), h_n (katman, N, H); batch_first=True.
Farklı uzunluklar: pad_sequence, gerçek uzunluk, pack_padded_sequence.
Uzun dizilerde gradyan söner ya da patlar; kırpma ve kapılı mimariler çare.
nn.Embedding kelime indekslerini öğrenilen vektörlere çevirir.

Uygulama İki katmanlı RNN

nn.RNN(16, 32, num_layers=2, batch_first=True) katmanını (4, 10, 16) girdiye uygula. output ve h_n şekillerini aynı satırda, ardından parametre sayısını yazdır (ikinci katmanın girdisi 32'dir).

Örnek çözümü göster

import torch
from torch import nn

x = torch.zeros(4, 10, 16)

rnn = nn.RNN(16, 32, num_layers=2, batch_first=True)
output, h_n = rnn(x)
print(output.shape, h_n.shape)
print(sum(p.numel() for p in rnn.parameters()))

Kendini test et

RNN'in transformer'a göre temel zayıflığı nedir?
- Adımlar sıralı işlenir, paralel hesaplanamaz
- Parametresi yoktur
- Metin işleyemez
- Gömme kullanamaz
Cevabı göster

Adımlar sıralı işlenir, paralel hesaplanamaz — Her adım bir öncekini beklediği için GPU paralelliğinden yararlanmak zordur.

İki katmanlı RNN kur.

rnn = nn.RNN(16, 32, ____=2, batch_first=True)

Cevabı göster

rnn = nn.RNN(16, 32, num_layers=2, batch_first=True)

Kavramları eşleştir.

gizli durum

Geçmiş özeti
dolgu

Eşit uzunluk
sönen gradyan

Uzun vade sorunu
gömme

Kelime vektörleri

Sıradaki ders: LSTM nedir?

Deneyiminizi Geliştiriyoruz

Çerez Tercihleri

Kesinlikle Gerekli Çerezler

Analitik Çerezler