Reward

Ajan tek adımlık ödülü değil, getiriyi (return) en büyük yapmaya çalışır. Gelecekteki ödüller bir indirim oranı γ ile azaltılır:

# G_t = r_t + γ r_{t+1} + γ² r_{t+2} + ...
G = sum(gamma ** k * r for k, r in enumerate(oduller))

γ = 0 ise ajan yalnızca anlık ödülü önemser; γ → 1 ise uzak geleceği de neredeyse tam değerle hesaba katar. γ < 1 sonsuz bölümlerde getirinin sonlu kalmasını da sağlar.

Her adımın getirisi bir sonrakinin getirisinden hesaplanabilir: G_t = r_t + γ G_{t+1}. Bölümün sonundan başa doğru tek geçişte tüm getiriler bulunur:

def getiriler(oduller, gamma):
    G, sonuc = 0.0, []
    for r in reversed(oduller):
        G = r + gamma * G
        sonuc.append(G)
    return sonuc[::-1]

Bu özyineleme, Q-learning ve tüm değer tabanlı yöntemlerin dayandığı Bellman denkleminin çekirdeğidir.