Özet - Neural network

Bu grupta nöron, katman, aktivasyon ve ileri yayılımı öğrendin.

Özet: sinir ağları

Bu grupta:

Nöron: f(w·x + b); tek nöron doğrusal sınır çizer, XOR'u çözemez.
Katman: ağırlık matrisi + sapma; parametre sayısı girdi·çıktı + çıktı.
Aktivasyonlar: ReLU (gizli), sigmoid/softmax (çıktı); aktivasyonsuz katmanlar tek doğrusal dönüşüme çöker.
İleri yayılım: X → doğrusal → ReLU → doğrusal → softmax; kayıp çapraz entropi.

Sonraki gruplarda aynı hesapları PyTorch ile, otomatik türevle ve GPU'da yapacağız.

Uygulama XOR'u elle çöz

İki gizli nöronlu bir ağla XOR'u çöz: gizli katman W1 = [[1, 1], [1, 1]], b1 = [-0.5, -1.5] (OR ve AND), basamak aktivasyonu; çıktı w2 = [1, -1], b2 = -0.5 ve yine basamak. Dört girdi için çıktıları yazdır.

Örnek çözümü göster

import numpy as np

X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])
adim = lambda z: (z > 0).astype(int)

W1 = np.array([[1, 1], [1, 1]])
b1 = np.array([-0.5, -1.5])
h = adim(X @ W1 + b1)
print(adim(h @ np.array([1, -1]) - 0.5))

Kendini test et

XOR problemini çözmek için en az ne gerekir?
- Doğrusal olmayan aktivasyonlu bir gizli katman
- Daha çok veri
- Daha büyük öğrenme oranı
- Tek bir nöron
Cevabı göster

Doğrusal olmayan aktivasyonlu bir gizli katman — Gizli katman girdiyi, sınıfların doğrusal ayrılabildiği yeni bir uzaya taşır.

Satır başına olasılık toplamını hesapla.

p = e / e.sum(axis=1, ____=True)

Cevabı göster

p = e / e.sum(axis=1, keepdims=True)

Kavramları eşleştir.

perceptron

Basamaklı tek nöron
gizli katman

XOR'u çözer
logit

Softmax öncesi skor
çapraz entropi

Sınıflandırma kaybı

Sıradaki ders: PyTorch nedir?

Deneyiminizi Geliştiriyoruz

Çerez Tercihleri

Kesinlikle Gerekli Çerezler

Analitik Çerezler