Díl 3: Čas jako nepřítel modelu

Když validace lže, aniž by chtěla

Jedna z nejnepříjemnějších zkušeností v aplikované data science je tato:

Model má skvělé validační metriky –
a přesto v produkci selhává.

Ne dramaticky.
Ne hned.
Ale systematicky.

Predikce jsou „nějak horší", stabilita kolísá a důvěra v model se postupně vytrácí. Přitom:

• pipeline běží,
• data tečou,
• kód se nezměnil.

Problém není v implementaci.
Problém je v čase.

---

Iluze náhodnosti

Standardní validační přístupy implicitně předpokládají, že:

• data jsou náhodně promíchaná,
• rozdělení je stabilní,
• budoucnost je statisticky podobná minulosti.

To jsou rozumné předpoklady pro učebnice.
Ale ne pro rozhodovací systémy běžící v čase.

Jakmile model:

• ovlivňuje reálná rozhodnutí,
• pracuje s chováním lidí,
• reaguje na externí podmínky,

pak se čas stává aktivním aktérem, ne jen indexem.

---

Proč náhodné dělení dat selhává

Při náhodném dělení trénovacích a validačních dat:

• model vidí budoucí vzory,
• učí se vztahy, které v reálném čase neexistují,
• a metriky vypadají lépe, než odpovídá realitě.

To není chyba metodiky.
To je nesoulad mezi otázkou a nástrojem.

Otázka v produkci totiž zní:

„Jak se model zachová na datech, která ještě neexistují?"

Ale náhodná validace odpovídá na jinou otázku:

„Jak dobře model interpoluje v rámci známého rozdělení?"

---

Unified Pipeline a časová disciplína

Unified Pipeline postavila čas do centra celého procesu:

• trénování,
• validace,
• i interpretace výsledků.

Každý model byl:

• zasazen do konkrétního časového kontextu,
• testován na datech, která skutečně následovala,
• a hodnocen nejen podle výkonu, ale i stability v čase.

Validace přestala být jednorázovým číslem
a stala se časovou trajektorií.

---

Stabilita jako metrika kvality

Postupně se ukázalo, že:

• nejvyšší validační metrika není nutně nejlepší volba,
• model s mírně horším výkonem, ale vyšší stabilitou, je v produkci často cennější.

To vedlo k posunu v uvažování:

• od maximalizace bodové metriky,
• k hodnocení chování modelu napříč obdobími.

Jinými slovy:

Model není hodnocen podle toho, jak dobrý byl,
ale podle toho, jak spolehlivý bývá.

---

Čas odhaluje skutečný overfitting

Overfitting se často chápe jako:

• příliš složitý model,
• příliš mnoho parametrů,
• příliš málo regularizace.

Čas ale ukazuje jiný typ přetrénování:

model je perfektně přizpůsobený minulému světu,
ale křehký vůči změnám.

Unified Pipeline tím pádem neřešila jen:

zda je model přetrénovaný,

ale hlavně:

na co je přetrénovaný.

---

Nepříjemná pravda

Jedno z nejdůležitějších zjištění bylo toto:

Pokud model neumí selhávat předvídatelně,
neumí být důvěryhodný.

Časová validace často:

• snižovala metriky,
• komplikovala porovnání,
• a nutila tým k nepříjemným rozhodnutím.

Ale právě díky tomu:

• mizela falešná jistota,
• a rostla důvěra v to, co model skutečně umí.

---

Co bude dál

V dalším díle se posunu od metodiky k praxi:

MLOps bez buzzwordů
– co skutečně zrychlovalo vývoj,
– co naopak přidávalo složitost bez hodnoty,
– a proč „správná infrastruktura" často znamená méně, ne více nástrojů.