📊 Q-Table Maze – Reinforcement Learning

📊 Proč tabulka, ne neuronová síť?

Ne každá AI potřebuje „mozek" v podobě neuronové sítě. Pokud je počet stavů konečný a malý (jako naše mřížka 10×10 = 100 políček), je Deep Learning zbytečně složitý.

Zde se vracíme ke kořenům: k tabulkové metodě. Q-Learning v čisté podobě je vlastně jen vyplňování „excelové tabulky" metodou pokus-omyl.

Zkus změnit odměny v panelu vpravo a pozoruj, jak se změní chování agenta. Co se stane, když dáš krok = 0? Nebo lávu = -5 místo -50?

📐 Bellmanova rovnice

🎲 ε-Greedy strategie

Dilema: Využít co znám, nebo zkoumat nové možnosti?

// Q-tabulka: objekt kde klíč = "x,y" a hodnota = [Q↑, Q↓, Q←, Q→]

const qTable = {};



function initQTable(gridSize) {

    for (let y = 0; y < gridSize; y++) {

        for (let x = 0; x < gridSize; x++) {

            const state = `${x},${y}`;

            qTable[state] = [0, 0, 0, 0];  // Čtyři směry, všechny Q = 0

        }

    }

}

function chooseAction(state, epsilon) {

    // S pravděpodobností epsilon prozkoumávej náhodně

    if (Math.random() < epsilon) {

        return Math.floor(Math.random() * 4);  // Náhodný směr 0-3

    }

    

    // Jinak vyber směr s nejvyšší Q-hodnotou

    const qValues = qTable[state];

    const maxQ = Math.max(...qValues);

    

    // Pokud je více směrů se stejnou max Q, vyber náhodně

    const bestActions = qValues

        .map((q, i) => q === maxQ ? i : -1)

        .filter(i => i >= 0);

    

    return bestActions[Math.floor(Math.random() * bestActions.length)];

}

function updateQ(state, action, reward, newState, alpha, gamma) {

    // Najdi nejlepší možnou Q-hodnotu v novém stavu

    const maxNextQ = Math.max(...qTable[newState]);

    

    // Bellmanova aktualizace

    const currentQ = qTable[state][action];

    const tdError = reward + gamma * maxNextQ - currentQ;  // Temporal Difference

    

    qTable[state][action] = currentQ + alpha * tdError;

}



// Příklad volání:

// updateQ("4,5", 3, -1, "5,5", 0.5, 0.9);

// → Aktualizuj Q pro pozici (4,5), směr doprava (3), odměna -1

const ACTIONS = [[-1, 0], [1, 0], [0, -1], [0, 1]];  // ↑ ↓ ← →



function step(agentPos, alpha, gamma, epsilon) {

    const state = `${agentPos.x},${agentPos.y}`;

    const action = chooseAction(state, epsilon);

    

    // Vypočítej novou pozici

    const [dy, dx] = ACTIONS[action];

    const newPos = { x: agentPos.x + dx, y: agentPos.y + dy };

    

    // Zjisti odměnu (cíl/zeď/krok)

    const reward = getReward(newPos);

    const newState = `${newPos.x},${newPos.y}`;

    

    // Aktualizuj Q-tabulku

    updateQ(state, action, reward, newState, alpha, gamma);

    

    return newPos;  // Vrať novou pozici agenta

}

V našem bludišti je stav = pozice agenta, akce = směr pohybu. V databázi je stav = aktuální dotaz + statistiky tabulek, akce = který index použít. Princip je identický!