🧠 DQN – Deep Q-Network

📼 Experience Replay (Paměť)

Trénovat síť na datech, jak přicházejí (sekvenčně), je nestabilní, protože spolu souvisí. DQN si ukládá zážitky do "bufferu" a pak z něj náhodně vybírá vzorky. Tím se učí z pestré směsice minulosti i přítomnosti.

🎯 Target Network (Cílová síť)

Učit se střílet na pohybující se terč je těžké. Target Network je kopie hlavní sítě, která se mění jen pomalu. Poskytuje stabilní cíl pro učení.

• Chycení (Catch) – jasný a silný signál úspěchu.
• Přiblížení (Distance) – "hustá" odměna, která vede agenta krok za krokem.
• Bonus za štít – motivuje k používání nástrojů.

• Příliš velké penále za smrt – Evader se bude bát pohnout (freezing).
• Konfliktní odměny – např. odměna za rychlost i za stání na místě.
• Řídké odměny (Sparse) – odměna jen na konci (agent bloudí a neví, co dělat).

Odhad (Prediction)

"Vidím zeď. Myslím, že jít doprava je bezpečné."

Realita (Target)

"Au! Narazil jsem. Dostal jsem trest."

Poučení (Update)

"Musím přepsat mozek: Jít doprava u zdi = špatně."

❶ Co z toho budu mít? (Bellman)

Agent se nerozhoduje jen podle momentální nálady. Počítá:
"Stojí mi ten bonbon teď za to, že mě za chvíli chytí?"

❷ Moment překvapení (Loss)

Učení nastává jen tehdy, když se agent splete. Pokud čekal odměnu a dostal facku, vznikne velká chyba (Loss). To je impulz ke změně.

Příklad: Agent čekal +10 bodů. Dostal -50 (Láva).
Rozdíl je obrovský (-60). Mozek dostane silný signál: "Tohle už nikdy nedělej!"

❸ Ladění sítě (Backprop)

Vzpomeňte na perceptron simulátor a jak jsme ho učili nastavením jeho vah. Když agent udělá chybu, algoritmus se vrátí v čase a upraví váhy - tím řekne neuronům: "Ty jsi směru doprava přiřadil největší pravděpodobnost', a byla to chyba. Příště tento směr preferuj méně."

Agent si ukládá každou zkušenost (Stav, Akce, Odměna, NovýStav) do pole. Netrénuje se hned, ale později náhodně vybírá vzorky.

class ReplayBuffer {

  push(state, action, reward, nextState, done) {

    if (this.buffer.length >= this.maxSize) {

      this.buffer.shift(); // Zahodit nejstarší

    }

    this.buffer.push({s, a, r, ns, done});

  }



  sample(batchSize) {

    // Náhodný výběr pro trénink (rozbíjí korelaci)

    return randomSubset(this.buffer, batchSize);

  }

}

Pro každý vzorek z paměti vypočítáme, jaká měla být Q-hodnota (Target) a upravíme síť tak, aby se k ní přiblížila.

function train(batch) {

  batch.forEach(exp => {

    // 1. Předpověď sítě (co si myslí teď)

    let currentQ = net.forward(exp.state);

    

    // 2. Výpočet cíle (Bellmanova rovnice)

    let maxNextQ = targetNet.forward(exp.nextState).max();

    let target = exp.reward + GAMMA * maxNextQ;

    

    // 3. Chyba a učení (Backprop)

    let loss = Math.pow(target - currentQ[exp.action], 2);

    net.backward(target, exp.action); 

  });

}

Abychom "nestříleli na pohyblivý terč", používáme pro odhad budoucnosti kopii sítě, kterou aktualizujeme jen občas.

// Každých X kroků zkopírujeme mozek do cílové sítě

if (steps % TARGET_UPDATE_FREQ === 0) {

  learningNet.copyTo(targetNet);

  console.log("Target Network Updated! 🎯");

}

Prvním velkým úspěchem DQN bylo hraní Atari her jen z pixelů obrazovky. Bez znalosti pravidel se agent naučil hrát lépe než lidé. (DeepMind, 2013)

Google používá DQN k řízení chlazení v datacentrech. Síť analyzuje tisíce senzorů a snižuje spotřebu energie na chlazení o 40 %.

Trénink robotů ve virtuálním prostředí (jako je toto), kde se naučí chodit a uchopovat, a následný přenos do reality (Sim2Real).

Rozhodování na chaotických křižovatkách, kde je nekonečno možností (pozice aut, chodců). Tabulka by to nezvládla, síť se naučí "intuici".