MapReduce

MapReduce ile dağıtık hesaplama öğrenirsin.

MapReduce

MapReduce, büyük veriyi dağıtık kümelerde işlemek için kullanılan bir programlama modelidir. Üç aşamadan oluşur: map, shuffle ve reduce.

Map aşaması her girdi parçasını (anahtar, değer) çiftlerine dönüştürür. Shuffle aşaması aynı anahtara sahip çiftleri aynı işçiye gruplar. Reduce aşaması her grup için birleştirme yapar.

Bu model, kelime sayma, ters indeks ve log analizi gibi görevlerde yaygın olarak kullanılır.

Shuffle ve reduce

Shuffle aşaması, map çıktısındaki tüm (anahtar, değer) çiftlerini anahtara göre gruplar. Aynı anahtara sahip tüm değerler aynı reduce işçisine gönderilir.

Reduce aşaması her grup için birleştirme yapar; örneğin kelime saymada değerleri toplar. Bu ayrım, dağıtık ortamda paralel çalışmayı sağlar.

Sayfa sıralama, ters indeks ve istatistik hesaplama bu yapıyla kolayca ifade edilir.

Uygulama mapreduce_count fonksiyonu

mapreduce_count(documents) yaz. Her dokümandaki kelimeleri (kelime, 1) çiftleri olarak üretip say. Sonucu sıralanmış (kelime, sayı) çiftleri listesi döndür. print(mapreduce_count(['elma elma armut', 'elma muz'])) ile [('armut', 1), ('elma', 3), ('muz', 1)] yazdır.

Örnek çözümü göster

def mapreduce_count(documents):
    # MapReduce ile kelime sayısı
    mapped = []
    for doc in documents:
        for word in doc.split():
            mapped.append((word, 1))
    counts = {}
    for word, one in mapped:
        counts[word] = counts.get(word, 0) + one
    return sorted(counts.items())
print(mapreduce_count(['elma elma armut', 'elma muz']))

Kendini test et

map çıktısı

for word in doc.____():
    mapped.append((word, 1))

Cevabı göster

for word in doc.split():
    mapped.append((word, 1))

MapReduce kavramları

map

(anahtar, değer) üretir
shuffle

Aynı anahtarı gruplar
reduce

Birleştirir
büyük veri

Dağıtık küme
Reduce aşaması ne yapar?
```
for word, one in mapped:
    counts[word] = counts.get(word, 0) + one
```
- Veriyi sıralar
- Veriyi böler
- Aynı anahtarları birleştirir
- Veriyi filtreler
Cevabı göster

Aynı anahtarları birleştirir — Reduce, aynı anahtara sahip değerleri birleştirir.

Sıradaki ders: Özet - Game theory and parallel

Deneyiminizi Geliştiriyoruz

Çerez Tercihleri

Kesinlikle Gerekli Çerezler

Analitik Çerezler