CodeBlanks Logo Icon CodeBlanks
Giriş Yap Kayıt Ol

Aktivasyon

Aktivasyon fonksiyonu, doğrusal olmayanlık ekler ve ReLU en yaygın olanıdır.

Aktivasyon fonksiyonları

Aktivasyon fonksiyonu ağa doğrusal olmama kazandırır. En yaygınları:

sigmoid = lambda z: 1 / (1 + np.exp(-z))   # (0, 1)
tanh    = np.tanh                            # (-1, 1)
relu    = lambda z: np.maximum(0, z)         # [0, ∞)
z = np.array([-2.0, 0.0, 2.0])
print(relu(z), np.tanh(z).round(3))

Gizli katmanlarda varsayılan seçim ReLU'dur: hesaplaması ucuzdur ve pozitif bölgede gradyanı sönmez.

Çıktı aktivasyonları

Çıktı katmanının aktivasyonu probleme göre seçilir:

  • Regresyon: aktivasyon yok (doğrusal).
  • İkili sınıflandırma: sigmoid → tek olasılık.
  • Çok sınıflı: softmax → toplamı 1 olan olasılıklar.
def softmax(z):
    e = np.exp(z - z.max())   # sayısal kararlılık için en büyüğü çıkar
    return e / e.sum()
print(softmax(np.array([2.0, 1.0, 0.1])).round(3))   # [0.659 0.242 0.099]

En büyük değeri çıkarmak sonucu değiştirmez ama exp'in taşmasını önler.

Uygulama Softmax

Sayısal olarak kararlı softmax(z) fonksiyonunu yaz (en büyüğü çıkar). [1, 2, 3] için sonucu np.round(..., 3) ile, ardından [1001, 1002, 1003] için sonucun aynı olduğunu np.allclose ile yazdır.

Başlangıç kodu

model.py
import numpy as np

# buraya yaz

Örnek çözüm

model.py
import numpy as np

def softmax(z):
    e = np.exp(z - z.max())
    return e / e.sum()

print(np.round(softmax(np.array([1.0, 2.0, 3.0])), 3))
print(np.allclose(softmax(np.array([1001.0, 1002.0, 1003.0])), softmax(np.array([1.0, 2.0, 3.0]))))

Beklenen çıktı

[0.09  0.245 0.665]
True

Soru ve cevaplar

Dersin sorularını cevaplarıyla birlikte inceleyebilirsin. Kendini denemek istersen dersi interaktif olarak çöz.

1 Sigmoid'in derin ağlardaki temel sorunu nedir?

  • Negatif çıktı verir
  • Doğrusaldır
  • Uçlarda gradyanı sıfıra yaklaşır (sönme) Doğru cevap
  • Hesaplanamaz

Açıklama: Sigmoid'in türevi en fazla 0.25'tir; katmanlar boyunca çarpılınca gradyan hızla küçülür.

2 ReLU'yu yaz.

Soru 
relu = lambda z: np.____(0, z)
Cevap 
relu = lambda z: np.maximum(0, z)

Açıklama: np.maximum eleman bazlı en büyüğü alır; np.max dizinin en büyüğünü verir.

3 Aktivasyonları eşleştir.

Kavram Anlamı
ReLU max(0, z)
sigmoid (0, 1) aralığı
tanh (-1, 1) aralığı
softmax Olasılık dağılımı

İleri seviye bölümündeki tüm dersler

1 Neural network temelleri

  1. Neural network nedir?
  2. Nöron
  3. Katmanlar
  4. Aktivasyon
  5. İleri yayılım
  6. Özet - Neural network

2 PyTorch temelleri

  1. PyTorch nedir?
  2. Tensor
  3. Tensor oluşturma
  4. Tensor özellikleri
  5. GPU desteği
  6. Özet - PyTorch

3 Tensor işlemleri

  1. Tensor işlemleri
  2. Shape
  3. Dtype
  4. Reshape
  5. Indexing
  6. Özet - Tensor işlemleri

4 Autograd

  1. Autograd nedir?
  2. requires_grad
  3. backward()
  4. grad
  5. Computational graph
  6. Özet - Autograd

5 Proje: Neural network

  1. Tensor hazırlama
  2. Model tanımı
  3. Loss hesabı
  4. Optimize edici

6 nn.Module

  1. nn.Module nedir?
  2. __init__
  3. forward
  4. nn.Linear
  5. parameters()
  6. Özet - nn.Module

7 Eğitim döngüsü

  1. Eğitim döngüsü
  2. Epoch
  3. Loss
  4. backward()
  5. optimizer.step()
  6. Özet - Eğitim döngüsü

8 CNN

  1. CNN nedir?
  2. Conv2d
  3. MaxPool2d
  4. Feature map
  5. Flatten
  6. Özet - CNN

9 RNN

  1. RNN nedir?
  2. Hidden state
  3. Sequence
  4. Vanishing gradient
  5. Embedding
  6. Özet - RNN

10 LSTM

  1. LSTM nedir?
  2. Gate'ler
  3. Cell state
  4. input_size
  5. hidden_size
  6. Özet - LSTM

11 Proje: CNN

  1. Veri hazırlama
  2. CNN modeli
  3. Loss ve optimizer
  4. Eğitim

12 Transfer öğrenme

  1. Transfer öğrenme nedir?
  2. Pre-trained model
  3. Fine-tuning
  4. Feature extraction
  5. Avantajlar
  6. Özet - Transfer öğrenme

13 Optimizasyon

  1. Optimizer nedir?
  2. SGD
  3. Adam
  4. Learning rate
  5. zero_grad()
  6. Özet - Optimizasyon

14 İleri seviye finali

  1. Meydan okuma 1
  2. Meydan okuma 2
  3. Meydan okuma 3
  4. Meydan okuma 4