CodeBlanks Logo Icon CodeBlanks
Giriş Yap Kayıt Ol

Transfer öğrenme nedir?

Transfer öğrenme, önceden eğitilmiş bir modeli yeni göreve uyarlar.

Transfer öğrenme nedir?

Transfer öğrenme, büyük bir veri setinde (ImageNet'in 1.2 milyon görüntüsü gibi) eğitilmiş bir modelin öğrendiklerini yeni ve genellikle küçük bir probleme taşımaktır. Alt katmanlar kenar, doku, şekil gibi genel özellikleri öğrendiği için bu bilgi başka görevlerde de işe yarar.

import torchvision
model = torchvision.models.resnet18(weights="IMAGENET1K_V1")   # önceden eğitilmiş
model.fc = nn.Linear(model.fc.in_features, 5)                  # 5 sınıflı yeni görev

Birkaç yüz görüntüyle sıfırdan eğitilen bir CNN zayıf kalırken, önceden eğitilmiş bir modelden başlamak çoğu zaman yüksek doğruluk verir.

Gövde ve baş

Bir sınıflandırma ağı iki parçadan oluşur: özellik çıkaran gövde (backbone) ve bu özelliklerden sınıf skorları üreten baş (head). Transfer öğrenmede gövde korunur, baş yeni görevin sınıf sayısına göre değiştirilir:

# önceden eğitilmiş: govde -> Linear(512, 1000)  (ImageNet'in 1000 sınıfı)
# yeni görev:        govde -> Linear(512, 5)     (yeni baş, rastgele başlar)

Gövdenin son katmanı sınıfa özgüyken alt katmanlar daha geneldir; ne kadarının yeniden eğitileceği veri miktarına göre seçilir.

Uygulama Başı değiştir

"Önceden eğitilmiş" bir modeli taklit eden onceden (gövde + 1000 sınıflı baş) verildi. Yeni bir model kur: aynı govde ve nn.Linear(bas.in_features, 5). (4, 3, 32, 32) girdinin eski ve yeni çıktı şekillerini alt alta yazdır.

Başlangıç kodu

model.py
import torch
from torch import nn

torch.manual_seed(0)
govde = nn.Sequential(
    nn.Conv2d(3, 16, 3, padding=1), nn.ReLU(), nn.MaxPool2d(2),
    nn.Conv2d(16, 32, 3, padding=1), nn.ReLU(),
    nn.AdaptiveAvgPool2d(1), nn.Flatten())
bas = nn.Linear(32, 1000)
onceden = nn.Sequential(govde, bas)

x = torch.zeros(4, 3, 32, 32)

# buraya yaz

Örnek çözüm

model.py
import torch
from torch import nn

torch.manual_seed(0)
govde = nn.Sequential(
    nn.Conv2d(3, 16, 3, padding=1), nn.ReLU(), nn.MaxPool2d(2),
    nn.Conv2d(16, 32, 3, padding=1), nn.ReLU(),
    nn.AdaptiveAvgPool2d(1), nn.Flatten())
bas = nn.Linear(32, 1000)
onceden = nn.Sequential(govde, bas)

x = torch.zeros(4, 3, 32, 32)

yeni = nn.Sequential(govde, nn.Linear(bas.in_features, 5))
print(onceden(x).shape)
print(yeni(x).shape)

Beklenen çıktı

torch.Size([4, 1000])
torch.Size([4, 5])

Soru ve cevaplar

Dersin sorularını cevaplarıyla birlikte inceleyebilirsin. Kendini denemek istersen dersi interaktif olarak çöz.

1 Transfer öğrenme en çok hangi durumda fark yaratır?

  • Yeni görevde az etiketli veri varken Doğru cevap
  • Milyonlarca etiketli örnek varken
  • Veri tablo biçimindeyken
  • Hiçbir zaman

Açıklama: Önceden öğrenilmiş genel özellikler, az veriyle öğrenilemeyecek bilgiyi sağlar.

2 Yeni görev için baş katmanını değiştir.

Soru 
model.fc = nn.Linear(model.fc.____, 5)
Cevap 
model.fc = nn.Linear(model.fc.in_features, 5)

Açıklama: in_features eski başın girdi boyutudur; gövdenin çıktısıdır.

3 Kavramları eşleştir.

Kavram Anlamı
gövde Genel özellikler
baş Göreve özgü sınıflandırıcı
önceden eğitilmiş Büyük veride öğrenilmiş
in_features Gövde çıktı boyutu

İleri seviye bölümündeki tüm dersler

1 Neural network temelleri

  1. Neural network nedir?
  2. Nöron
  3. Katmanlar
  4. Aktivasyon
  5. İleri yayılım
  6. Özet - Neural network

2 PyTorch temelleri

  1. PyTorch nedir?
  2. Tensor
  3. Tensor oluşturma
  4. Tensor özellikleri
  5. GPU desteği
  6. Özet - PyTorch

3 Tensor işlemleri

  1. Tensor işlemleri
  2. Shape
  3. Dtype
  4. Reshape
  5. Indexing
  6. Özet - Tensor işlemleri

4 Autograd

  1. Autograd nedir?
  2. requires_grad
  3. backward()
  4. grad
  5. Computational graph
  6. Özet - Autograd

5 Proje: Neural network

  1. Tensor hazırlama
  2. Model tanımı
  3. Loss hesabı
  4. Optimize edici

6 nn.Module

  1. nn.Module nedir?
  2. __init__
  3. forward
  4. nn.Linear
  5. parameters()
  6. Özet - nn.Module

7 Eğitim döngüsü

  1. Eğitim döngüsü
  2. Epoch
  3. Loss
  4. backward()
  5. optimizer.step()
  6. Özet - Eğitim döngüsü

8 CNN

  1. CNN nedir?
  2. Conv2d
  3. MaxPool2d
  4. Feature map
  5. Flatten
  6. Özet - CNN

9 RNN

  1. RNN nedir?
  2. Hidden state
  3. Sequence
  4. Vanishing gradient
  5. Embedding
  6. Özet - RNN

10 LSTM

  1. LSTM nedir?
  2. Gate'ler
  3. Cell state
  4. input_size
  5. hidden_size
  6. Özet - LSTM

11 Proje: CNN

  1. Veri hazırlama
  2. CNN modeli
  3. Loss ve optimizer
  4. Eğitim

12 Transfer öğrenme

  1. Transfer öğrenme nedir?
  2. Pre-trained model
  3. Fine-tuning
  4. Feature extraction
  5. Avantajlar
  6. Özet - Transfer öğrenme

13 Optimizasyon

  1. Optimizer nedir?
  2. SGD
  3. Adam
  4. Learning rate
  5. zero_grad()
  6. Özet - Optimizasyon

14 İleri seviye finali

  1. Meydan okuma 1
  2. Meydan okuma 2
  3. Meydan okuma 3
  4. Meydan okuma 4