Dtype

Dtype, tensor elemanlarının veri türünü belirtir.

Dtype

Eleman türü bellek, hız ve doğruluğu belirler:

float32: varsayılan, eğitim için standart.
float16 / bfloat16: yarım hassasiyet; GPU'da iki kat hız ve yarı bellek (karışık hassasiyetli eğitim).
int64 (long): indeksler ve sınıf etiketleri.
bool: maskeler.

x = torch.tensor([1.0, 2.0])
print(x.element_size())             # 4 bayt
print(x.half().element_size())      # 2 bayt
print((x > 1).dtype)                # torch.bool

Hassasiyet ve taşma

Düşük hassasiyetli türler küçük farkları kaybeder ve büyük değerlerde taşar. float16'nın en büyük değeri 65504'tür:

print(torch.tensor(70000.0).half().item())        # inf: taşma
print(torch.tensor(1.0001).half().item())         # 1.0: ayrıntı kayboldu
print(torch.tensor(70000.0).bfloat16().item())    # 70144.0: bfloat16 aralığı geniş

bfloat16, float32 ile aynı üs aralığına sahip olduğu için taşmaz ama daha az ondalık basamak tutar; büyük modellerin eğitiminde sık kullanılır.

Uygulama Bellek hesabı

x = torch.zeros(1000, 1000) tensörünün bayt cinsinden boyutunu (x.element_size() * x.numel()) yazdır. Aynı hesabı x.half() için yaz. Ardından torch.tensor(70000.0).half().item() değerini yazdır.

Örnek çözümü göster

import torch

x = torch.zeros(1000, 1000)

print(x.element_size() * x.numel())
h = x.half()
print(h.element_size() * h.numel())
print(torch.tensor(70000.0).half().item())

Kendini test et

1 milyar parametreli bir model float32'de yaklaşık ne kadar bellek tutar?
- 8 GB
- 4 GB
- 1 GB
- 32 GB
Cevabı göster

4 GB — Parametre başına 4 bayt: 10⁹ × 4 = 4·10⁹ bayt ≈ 4 GB (float16'da 2 GB).
Tensörü yarım hassasiyete çevir.
```
y = x.____()
```
Cevabı göster
```
y = x.half()
```
Türleri eşleştir.

float32

4 bayt, varsayılan
float16

2 bayt, dar aralık
bfloat16

2 bayt, geniş aralık
bool

Maske

Sıradaki ders: Reshape

Deneyiminizi Geliştiriyoruz

Çerez Tercihleri

Kesinlikle Gerekli Çerezler

Analitik Çerezler