CodeBlanks Logo Icon CodeBlanks
Giriş Yap Kayıt Ol

Dtype

Dtype, tensor elemanlarının veri türünü belirtir.

Dtype

Eleman türü bellek, hız ve doğruluğu belirler:

  • float32: varsayılan, eğitim için standart.
  • float16 / bfloat16: yarım hassasiyet; GPU'da iki kat hız ve yarı bellek (karışık hassasiyetli eğitim).
  • int64 (long): indeksler ve sınıf etiketleri.
  • bool: maskeler.
x = torch.tensor([1.0, 2.0])
print(x.element_size())             # 4 bayt
print(x.half().element_size())      # 2 bayt
print((x > 1).dtype)                # torch.bool

Hassasiyet ve taşma

Düşük hassasiyetli türler küçük farkları kaybeder ve büyük değerlerde taşar. float16'nın en büyük değeri 65504'tür:

print(torch.tensor(70000.0).half().item())        # inf: taşma
print(torch.tensor(1.0001).half().item())         # 1.0: ayrıntı kayboldu
print(torch.tensor(70000.0).bfloat16().item())    # 70144.0: bfloat16 aralığı geniş

bfloat16, float32 ile aynı üs aralığına sahip olduğu için taşmaz ama daha az ondalık basamak tutar; büyük modellerin eğitiminde sık kullanılır.

Uygulama Bellek hesabı

x = torch.zeros(1000, 1000) tensörünün bayt cinsinden boyutunu (x.element_size() * x.numel()) yazdır. Aynı hesabı x.half() için yaz. Ardından torch.tensor(70000.0).half().item() değerini yazdır.

Başlangıç kodu

model.py
import torch

x = torch.zeros(1000, 1000)

# buraya yaz

Örnek çözüm

model.py
import torch

x = torch.zeros(1000, 1000)

print(x.element_size() * x.numel())
h = x.half()
print(h.element_size() * h.numel())
print(torch.tensor(70000.0).half().item())

Beklenen çıktı

4000000
2000000
inf

Soru ve cevaplar

Dersin sorularını cevaplarıyla birlikte inceleyebilirsin. Kendini denemek istersen dersi interaktif olarak çöz.

1 1 milyar parametreli bir model float32'de yaklaşık ne kadar bellek tutar?

  • 8 GB
  • 4 GB Doğru cevap
  • 1 GB
  • 32 GB

Açıklama: Parametre başına 4 bayt: 10⁹ × 4 = 4·10⁹ bayt ≈ 4 GB (float16'da 2 GB).

2 Tensörü yarım hassasiyete çevir.

Soru 
y = x.____()
Cevap 
y = x.half()

Açıklama: .half() float16 üretir.

3 Türleri eşleştir.

Kavram Anlamı
float32 4 bayt, varsayılan
float16 2 bayt, dar aralık
bfloat16 2 bayt, geniş aralık
bool Maske

İleri seviye bölümündeki tüm dersler

1 Neural network temelleri

  1. Neural network nedir?
  2. Nöron
  3. Katmanlar
  4. Aktivasyon
  5. İleri yayılım
  6. Özet - Neural network

2 PyTorch temelleri

  1. PyTorch nedir?
  2. Tensor
  3. Tensor oluşturma
  4. Tensor özellikleri
  5. GPU desteği
  6. Özet - PyTorch

3 Tensor işlemleri

  1. Tensor işlemleri
  2. Shape
  3. Dtype
  4. Reshape
  5. Indexing
  6. Özet - Tensor işlemleri

4 Autograd

  1. Autograd nedir?
  2. requires_grad
  3. backward()
  4. grad
  5. Computational graph
  6. Özet - Autograd

5 Proje: Neural network

  1. Tensor hazırlama
  2. Model tanımı
  3. Loss hesabı
  4. Optimize edici

6 nn.Module

  1. nn.Module nedir?
  2. __init__
  3. forward
  4. nn.Linear
  5. parameters()
  6. Özet - nn.Module

7 Eğitim döngüsü

  1. Eğitim döngüsü
  2. Epoch
  3. Loss
  4. backward()
  5. optimizer.step()
  6. Özet - Eğitim döngüsü

8 CNN

  1. CNN nedir?
  2. Conv2d
  3. MaxPool2d
  4. Feature map
  5. Flatten
  6. Özet - CNN

9 RNN

  1. RNN nedir?
  2. Hidden state
  3. Sequence
  4. Vanishing gradient
  5. Embedding
  6. Özet - RNN

10 LSTM

  1. LSTM nedir?
  2. Gate'ler
  3. Cell state
  4. input_size
  5. hidden_size
  6. Özet - LSTM

11 Proje: CNN

  1. Veri hazırlama
  2. CNN modeli
  3. Loss ve optimizer
  4. Eğitim

12 Transfer öğrenme

  1. Transfer öğrenme nedir?
  2. Pre-trained model
  3. Fine-tuning
  4. Feature extraction
  5. Avantajlar
  6. Özet - Transfer öğrenme

13 Optimizasyon

  1. Optimizer nedir?
  2. SGD
  3. Adam
  4. Learning rate
  5. zero_grad()
  6. Özet - Optimizasyon

14 İleri seviye finali

  1. Meydan okuma 1
  2. Meydan okuma 2
  3. Meydan okuma 3
  4. Meydan okuma 4