Tahák na 1. minitest

Y = odezva (kvantitativní i kvalitativní). X = (X₁,…,X_p) = prediktory. f = pevná, ale neznámá funkce, která reprezentuje systematickou informaci, kterou X poskytuje o Y. ε = náhodný chybový člen, nezávislý na X, se střední hodnotou nula.

🇬🇧 „f is a fixed but unknown function of X₁,…,X_p, and ε is a random error term which is independent of X and has mean zero. f represents the systematic information that X provides about Y."

Predikce: X máme snadno, Y ne. Zajímá nás jen přesné Ŷ = f̂(X); f̂ může být černá skříňka, její tvar neřešíme.

Inference: chceme rozumět asociaci mezi Y a prediktory. f̂ nemůže být černá skříňka — potřebujeme znát její přesný tvar. Typické otázky: které prediktory souvisejí s odezvou, jaký je vztah (kladný/záporný), a stačí na to lineární rovnice?

🇬🇧 „In prediction we treat f̂ as a black box, provided it yields accurate predictions. In inference we need to know the exact form of f̂, because we want to understand the association between Y and X₁,…,X_p."

E(Y − Ŷ)² = [f(X) − f̂(X)]² (reducible) + Var(ε) (irreducible).

Reducible = nepřesnost odhadu f̂; jde ji zmenšit vhodnější statistickou metodou. Irreducible = rozptyl ε; nejde odstranit ani s dokonalým odhadem f̂ = f, protože ε se z X z definice předpovědět nedá.

Je větší než nula ze dvou důvodů: (1) ε může obsahovat neměřené proměnné, které by Y pomohly předpovědět; (2) ε obsahuje neměřitelnou variabilitu (např. riziko reakce na lék se u téhož pacienta mění den ode dne).

🇬🇧 „The irreducible error provides an upper bound on the accuracy of our prediction for Y, and this bound is almost always unknown in practice."

Parametrický = dvoukrokový, model-based: (1) předpokládám funkční formu f (např. lineární), (2) natrénuju model — odhadnu p + 1 parametrů (typicky metodou nejmenších čtverců). Neparametrický = žádný explicitní předpoklad o tvaru f; hledám odhad co nejblíž datům, ale ne moc klikatý.

Výhody parametrického: odhadnout pár parametrů je mnohem snazší než odhadnout libovolnou funkci; stačí méně pozorování; je interpretovatelnější.

Nevýhody: zvolený model obvykle neodpovídá skutečnému tvaru f, a je-li od pravdy daleko, odhad je špatný. Flexibilnější model to řeší, ale potřebuje víc parametrů a hrozí overfitting (sledování šumu).

Výhody flexibilního: umí nafitovat širší škálu tvarů f → nižší bias; vhodný, když je skutečná f silně nelineární.

Nevýhody: vyšší variance a riziko overfittingu; potřebuje hodně dat; je hůř interpretovatelný (znemožňuje inferenci); má víc parametrů k odhadu.

Flexibilní preferuj, když: skutečný vztah je silně nelineární, máš velké n a malé p, a jde ti jen o predikci.

Méně flexibilní preferuj, když: jde ti o inference / interpretovatelnost, máš malé n nebo velké p, je vysoký rozptyl šumu Var(ε), nebo je skutečný vztah zhruba lineární.

• (a) n je extrémně velké, p malé → flexibilní bude LEPŠÍ. Máme dost dat, aby se flexibilní model nafitoval bez velké variance.
• (b) p je extrémně velké, n malé → flexibilní bude HORŠÍ. Přefituje šum, variance vystřelí.
• (c) vztah mezi prediktory a odezvou je silně nelineární → flexibilní bude LEPŠÍ. Nepružná metoda by měla obrovský bias.
• (d) rozptyl chybových členů σ² = Var(ε) je extrémně vysoký → flexibilní bude HORŠÍ. Flexibilní model by se přizpůsoboval šumu, ne signálu.

Mnemotechnika: flexibilní metoda miluje hodně dat a málo šumu. Jakmile chybí data nebo přebývá šum, prohrává.

(a) 500 největších firem v USA; u každé zisk, počet zaměstnanců, odvětví a plat CEO. Zajímá nás, které faktory ovlivňují plat CEO.
→ Regrese (plat je číslo), inference („understanding which factors affect"), n = 500, p = 3 (zisk, počet zaměstnanců, odvětví).

(b) Chystáme nový produkt a chceme vědět, jestli bude úspěch, nebo neúspěch. Máme data o 20 podobných produktech: úspěch/neúspěch, cena, marketingový rozpočet, cena konkurence a deset dalších proměnných.
→ Klasifikace (úspěch/neúspěch), predikce, n = 20, p = 13 (cena + marketing + cena konkurence + 10).

(c) Predikce % změny kurzu USD/EUR podle týdenních změn světových trhů; týdenní data za celý rok 2012 (% změna USD/EUR, US trh, britský trh, německý trh).
→ Regrese, predikce, n = 52 (týdnů), p = 3.

⚠️ Nejčastější chyba: počítat odezvu do p, nebo u (b) zapomenout na „ten dalších proměnných".

Protože neexistuje záruka, že metoda s nejnižším training MSE bude mít i nejnižší test MSE. Většina metod odhaduje koeficienty právě tak, aby minimalizovala training MSE, takže to jde srazit hodně nízko, ale test MSE pak bývá mnohem vyšší. Zajímá nás výkon na dříve neviděných datech (akcie: zítřejší cena, ne minulý týden; diabetes: budoucí pacienti, ne ti, u kterých už výsledek známe).

Overfitting nastane, když metoda dává malé training MSE, ale velké test MSE. Procedura „pracuje příliš usilovně" a najde v trénovacích datech vzory, které jsou jen důsledkem náhody, ne skutečnou vlastností f.

Přesná definice z knihy: o overfitting jde právě tehdy, když by méně flexibilní model dal menší test MSE. Samotný fakt, že training MSE < test MSE, overfitting není — to platí skoro vždycky.

🇬🇧 „Overfitting refers specifically to the case in which a less flexible model would have yielded a smaller test MSE."

Osa x = flexibilita, osa y = hodnota. Pět křivek (viz graf v sekci 8):

• Bias² (klesá): flexibilnější metoda umí nafitovat víc tvarů, takže chyba ze zjednodušení klesá. Nejdřív rychle, pak se vyrovná.
• Variance (roste): flexibilnější model se víc mění, když dostane jiná trénovací data.
• Training error (monotónně klesá): flexibilnější model se vždy líp přimkne k trénovacím bodům; při dostatečné flexibilitě padne až k nule.
• Test error (tvar U): je součtem bias² + variance + Var(ε). Nejdřív klesá (bias klesá rychleji, než roste variance), pak roste (variance převáží).
• Bayes / irreducible error (vodorovná čára): konstanta nezávislá na flexibilitě. Test error nikdy neklesne pod ni.

Očekávané test MSE se vždy rozloží na tři části: E(y₀ − f̂(x₀))² = Var(f̂(x₀)) + [Bias(f̂(x₀))]² + Var(ε).

Variance = o kolik by se f̂ změnila na jiné trénovací sadě → roste s flexibilitou. Bias = chyba z nahrazení složité reality jednoduchým modelem → klesá s flexibilitou.

Aby bylo test MSE malé, musí být obojí nízké. Jenže jedno se snadno získá na úkor druhého (křivka přes všechny body = nízký bias/vysoká variance; vodorovná přímka = nízká variance/vysoký bias) — proto „trade-off". Protože variance i bias² jsou nezáporné, test MSE nikdy neklesne pod Var(ε).

🇬🇧 „Good test set performance requires low variance as well as low squared bias."

Bayesův klasifikátor zařadí pozorování do třídy, která je nejpravděpodobnější vzhledem k jeho prediktorům — tedy do třídy j s největší Pr(Y = j | X = x₀). U dvou tříd: třída 1, když Pr(Y = 1 | X = x₀) > 0,5. Hranici, kde je pravděpodobnost přesně 50 %, říkáme Bayesova rozhodovací hranice.

Bayes error rate = nejnižší možná testovací chyba, 1 − E(max_j Pr(Y = j | X)). V knize pro simulovaná data 0,133 (resp. 0,1304).

Proč > 0: protože se třídy v populaci překrývají, takže pro některá x₀ platí max_j Pr(Y = j | X = x₀) < 1. Je to obdoba irreducible error. V praxi nedosažitelné — neznáme podmíněné rozdělení Y při daném X, takže Bayesův klasifikátor slouží jen jako zlatý standard pro porovnání.

Pro testovací bod x₀ KNN najde K nejbližších trénovacích bodů (množina N₀) a odhadne pravděpodobnost třídy j jako podíl bodů v N₀, které do třídy j patří: Pr(Y = j | X = x₀) = (1/K) · Σ_i∈N₀ I(y_i = j). Pak zařadí x₀ do třídy s nejvyšší pravděpodobností.

Flexibilita KNN = 1/K. Malé K → velmi klikatá hranice, nízký bias, vysoká variance, u K = 1 je training error nula. Velké K → skoro lineární hranice, nízká variance, vysoký bias.

Na simulovaných datech: K = 10 → test error 0,1363 (téměř Bayes 0,1304); K = 1 → 0,1695; K = 100 → 0,1925. Minimum test error přibližně u K = 10.

(b) K = 1 → GREEN. Nejbližší je pozorování 5 (vzdálenost 1,41), to je Green.

(c) K = 3 → RED. Tři nejbližší jsou obs. 5 (1,41 – Green), 6 (1,73 – Red) a 2 (2,00 – Red) → 2/3 Red vs. 1/3 Green.

(d) Pokud je Bayesova hranice silně nelineární, chceme K MALÉ. Malé K = velká flexibilita (1/K) → hranice může být silně zakřivená. Velké K by dalo skoro lineární hranici, tedy velký bias.

Euklidovská vzdálenost od počátku = √(X₁² + X₂² + X₃²).

Klasifikace (Y kategorické):

• Spam filtr: Y = spam/ham, X = slova v mailu, odesílatel → predikce.
• Schvalování úvěru: Y = splatí/nesplatí, X = příjem, historie, věk → predikce (banka může chtít i inferenci kvůli regulaci).
• Diagnóza nemoci: Y = nemoc ano/ne, X = symptomy, krevní testy → predikce.

Regrese (Y číselné):

• Cena bytu podle plochy, lokality, stáří → predikce (nebo inference: „kolik přidá balkon?").
• Spotřeba elektřiny podle teploty a dne v týdnu → predikce.
• Vliv reklamy na prodeje → inference.

Clustering (žádné Y):

• Segmentace zákazníků e-shopu podle nákupního chování.
• Seskupení pacientů podle profilu genové exprese.
• Rozdělení měst podle socioekonomických ukazatelů.

Supervised: ke každému x_i máš i y_i. Unsupervised: máš jen x_i, žádné y_i — „pracuješ naslepo", chybí proměnná, která by analýzu řídila. Typický nástroj = clustering. Semi-supervised: m < n pozorování má odezvu, zbytek ne.

Uvnitř supervised rozhoduje typ Y: kvantitativní → regrese, kvalitativní (K tříd) → klasifikace. Typ prediktorů se považuje za méně důležitý — stačí kvalitativní prediktory správně zakódovat.

Pozor: logistická regrese je klasifikační metoda; KNN a boosting zvládnou obojí.

Že žádná jedna metoda nedominuje všem ostatním na všech možných datových sadách. Na konkrétních datech může být nejlepší jedna metoda, na podobných, ale jiných datech jiná. Proto je nutné znát široké spektrum metod a proto je volba nejlepšího přístupu jedna z nejtěžších částí praktického statistického učení.