⚖️ Badatelský deník inženýra AI

Etická laboratoř | AI Fairness Lab - Férovost a předsudky v AI
1

Příběh: Diskriminace v náboru

~ 30 min
Scénář: Jsme velká firma, která k náboru zaměstnanců začala používat AI. Máme data o tisících minulých pohovorech. Problém je, že naši personalisté byli v minulosti nevědomky zaujatí proti Oranžové skupině – tito lidé museli prokázat mnohem vyšší kvalitu, aby byli přijati.

AI nyní tento předsudek přebírá jako „objektivní" pravidlo. Tvým úkolem je prozkoumat, jak diskriminace funguje, a najít způsob nápravy.

1. Dvě skupiny kandidátů

🔵
Modří
Privilegovaná skupina
Historicky zvýhodněná
🟠
Oranžoví
Znevýhodněná skupina
Vyžadována vyšší kvalita

2. Co je "Bias" (Předsudek)?

Bias v AI = systematická neférovost v rozhodování.

AI se učí z historických dat. Pokud tato data obsahují lidské předsudky, AI je automaticky přebírá a zesiluje!

Příklady reálných případů bias v AI:

Amazon (2018) AI pro nábor diskriminovala ženy
COMPAS (USA) Systém předpovědi recidivy diskriminoval Afroameričany
Rozpoznávání obličejů Horší přesnost pro tmavou pleť

Proč je AI bias nebezpečný?

2

Proxy Variables - Skrytá diskriminace

~ 40 min

1. Co je Proxy Variable?

Proxy Variable = údaj, který nepřímo prozrazuje citlivou informaci.

Příklad: Nepoužíváme "rasu", ale používáme "PSČ" (poštovní směrovací číslo). Jenže PSČ silně koreluje s rasou, takže diskriminace pokračuje!
📍 PSČ (Bydliště)
↓ koreluje s
👥 Skupina (Rasa, Pohlaví...)
↓ vede k
⚠️ Diskriminace "bez diskriminace"

2. V simulátoru

Vstup (Feature) Co to je Riziko
Barva (Skupina) Přímá informace o skupině Přímá diskriminace
PSČ (Bydliště) Proxy proměnná Nepřímá diskriminace
X (Praxe) Skutečná kvalifikace Férové
Y (Test. skóre) Skutečná kvalifikace Férové

3. Experiment: Redlining

V simulátoru:
1. Generuj data s vysokou mírou diskriminace (90%)
2. Vypni "Barva", nechej zapnuté "PSČ"
3. Přetrénuj model

Co se stalo? Je model férový?

🏠 Redlining: Historický termín pro diskriminaci přes adresu. V USA banky odmítaly půjčky lidem z "černých" čtvrtí, aniž by přímo zmínily rasu.
3

Metriky férovosti

~ 35 min

1. Jak měřit férovost?

Důležitý vhled: Existuje více definic "férovosti" a některé jsou vzájemně neslučitelné!
Metrika Otázka Co měří
Demographic Parity
(Rozdíl v přijetí)		 Mají obě skupiny stejnou šanci na přijetí? % přijatých Modrých vs % přijatých Oranžových
Equal Opportunity
(Férovost příležitostí)		 Mají kvalifikovaní lidé z obou skupin stejnou šanci? % přijatých mezi kvalifikovanými v každé skupině
Přesnost Jak často model rozhoduje správně? % správných rozhodnutí celkem

2. Experiment: Sleduj metriky

Trénuj model s různými nastaveními a zaznamenej metriky:

Nastavení Gap (Rozdíl) Přesnost Stav
Barva: ON, PSČ: ON, Náprava: OFF
Barva: OFF, PSČ: ON, Náprava: OFF
Barva: OFF, PSČ: OFF, Náprava: OFF
Barva: OFF, PSČ: ON, Náprava: ON

3. Interpretace Gap

Nízký Gap
< 10%
✅ FÉR
Střední Gap
10-20%
⚠️ Podezřelé
Vysoký Gap
> 20%
❌ NEFÉR
4

Trade-off: Přesnost vs Férovost

~ 30 min

1. Dilema

Klíčový trade-off: Často nemůžeme mít 100% přesnost A 100% férovost současně.

Historická data jsou biased → model trénovaný na nich má vysokou přesnost (předpovídá minulost), ale je neférový (kopíruje předsudky).
📊
Vysoká přesnost
Kopíruje historii
(včetně předsudků)
⚖️
Vysoká férovost
Opravuje historii
(může snížit přesnost)

2. Experiment: Graf Přesnost vs Férovost

Vyzkoušej různá nastavení a sleduj graf "Přesnost vs Férovost" v pravém dolním rohu simulátoru:

Kde leží tvé body?

3. Etická otázka

5

Náprava (Mitigation)

~ 35 min

1. Strategie nápravy

Strategie Popis Efekt
Odstranit citlivý atribut Nepoužívat barvu/skupinu Nedostatečné! (Proxy variables)
Odstranit proxy Nepoužívat PSČ ani barvu Lepší, ale ztráta informací
Aktivní penalizace Trestat model za korelaci s barvou Efektivní!
Reweighting Dát větší váhu vzácným případům Efektivní!

2. Experiment: Aktivní penalizace

V simulátoru zapni "Aktivní Penalizace" a přetrénuj model:

Metrika Před nápravou Po nápravě
Gap (Rozdíl v přijetí)
Přesnost
Stav férovosti
Jak Aktivní penalizace funguje:

Model dostává větší "pokutu" za chyby u znevýhodněné skupiny. Konkrétně: Když model odmítne kvalifikovaného Oranžového kandidáta, trest za tuto chybu je vyšší.

3. Co se změnilo na rozhodovací mapě?

6

Interaktivní audit

~ 25 min

1. "Co kdyby" analýza (Counterfactual)

Counterfactual audit: Ptáme se: "Kdyby tento kandidát byl z jiné skupiny, změnilo by se rozhodnutí?"

Pokud ano → model je diskriminační!

V simulátoru najeď myší na jednotlivé body. Uvidíš tooltip s "What-if" analýzou:

Najdi příklad diskriminace a zapiš ho:

Pozice kandidáta (X, Y)
Kdyby byl Modrý
Kdyby byl Oranžový
Je to diskriminace?

2. Histogram: Distribuce skóre

Sleduj histogram dole vlevo. Co ukazuje?

3. Vliv míry diskriminace v datech

Změň slider "Míra diskriminace v datech" a pozoruj efekt:

Míra diskrim. v datech Gap po tréninku Komentář
10%
50%
90%
7

Klíčové závěry a reflexe

~ 20 min

1. Co jsme se naučili

Koncept Tvé shrnutí
Bias v AI
Proxy Variables
Metriky férovosti
Trade-off
Mitigation

2. Proč na tom záleží?

AI rozhoduje o:

🏦 Půjčky: Kdo dostane hypotéku?
👔 Nábor: Kdo dostane práci?
⚖️ Justice: Kdo dostane delší trest?
🏥 Zdravotnictví: Kdo dostane léčbu?
🎓 Vzdělávání: Kdo se dostane na školu?

→ Neférová AI má reálný dopad na životy lidí!

3. Závěrečná reflexe

Co tě nejvíce překvapilo?

Jak bys vysvětlil/a problém AI fairness kamarádovi?

Co můžeme dělat pro férovější AI?

4. Sebehodnocení

Jak dobře rozumím problematice AI fairness? (1 = vůbec, 5 = úplně)