--- *Read in English >> [[Evolution of Adaptivity, Autonomy & Responsibility (Theory)]]* *Resources:* [[AI Alignment]] [[Alignment faking in large language models]] [[Člověk ve věku stroje — Josef Šafařík]] [[Paperclip maximalizer]] [[AI Deep Dive]] [[AI Terms]] [[System (Process)|System]] [[System (Teorie – Okruhy)]] --- # Vývoj adaptivity, Autonomie & Zodpovědnost *Vývoj konceptu adaptivního chování od prvních mechanických systémů po současné inteligentní technologie. Problematika samostatně se učících strojů, etické otázky spojené s rostoucí autonomií, včetně hranic kontroly, odpovědnosti a jejich role v techno-lidských ekosystémech.* --- ![[system_3_img_0.jpg]] ![[system_3_img_02.jpg]] ![[system_3_img_03.jpg]] ![[system_3_img_04.jpg]] ![[system_3_img_05.jpg]] ![[system_3_img_06.jpg]] ![[system_3_img_07.jpg]] ![[system_3_img_08.jpg]] ![[system_3_img_09.jpg]] ![[system_3_img_010.jpg]] ![[system_3_img_011.jpg]] ![[system_3_img_012.jpg]] ![[system_3_img_013.jpg]] ![[system_3_img_014.jpg]] ![[system_3_img_015.jpg]] ![[system_3_img_016.jpg]] ![[system_3_img_017.jpg]] ![[system_3_img_018.jpg]] ![[system_3_img_019.jpg]] ![[system_3_img_020.jpg]] --- ### První plachetnice _Sumerské, mezopotámské a později i egyptské plachetnice, od 3500 př. n. l._ Plachty by mohly být orientovány tak, aby zachycovaly vítr z různých směrů, a účinně tak využívat a přizpůsobovat se měnícím se větrným podmínkám pro navigaci. --- ### Shaduf _Egypt a Mezopotámie, od 2000 př. n. l._ Jednoduchý pákový zavlažovací systém používaný k odčerpávání vody z řeky na pole. Skládá se z dlouhé tyče s kbelíkem na jednom konci a protiváhou na druhém. _Adaptivní schopnost spočívá v jeho schopnosti efektivně regulovat množství odčerpané vody podle aktuálních potřeb zavlažování._ --- ### Nilometr _Egypt a Mezopotámie, od 1800 př. n. l._ Stavba _(často studna nebo stupňovitá komora)_ sloužící k měření povodňové hladiny Nilu. Zemědělci a úředníci používali tato měření k přizpůsobení plánů výsadby a zdanění podle ročních výkyvů povodní. --- ### Clepsydra _Egypt, Řecko, Čína, aj., od 1500 př. n. l._ Nádoba, do které se kape voda konstantní rychlostí pro měření času. Úpravy (velikost otvoru, zohlednění teploty vody atd.) byly prováděny za účelem udržení relativně stálého odtoku, _což byla raná forma „kalibrace“ podle dynamiky prostředí nebo tekutin._ --- ### Mechanické automata _1. století př. n. l._ Herón z Alexandrie vyvinul různé automaty a samoregulační systémy _(např. samonaplňující se mísy na víno, fontány, automatické dveře)._ Často používal plováky, sifony a ventily, které automaticky reagovaly na měnící se hladinu kapaliny, čímž ilustroval principy rovnováhy a zpětnovazebního řízení. --- ### Římské Akvadukty _1.–2. století n. l._ Římské akvadukty byly sofistikované systémy přivodu vody do měst, které využívaly gravitaci a precizní inženýrství k udržení konstantního přívodu vody. _Adaptivní schopnost spočívala v tom, že systémy mohly automaticky regulovat přívod vody podle potřeb populace a dostupnosti zdrojů pomocí ventilu a distribučních kanálů, které se přizpůsobovaly aktuálním podmínkám._ --- ### Perské větrné mlýny _7. století n. l._ Větrné mlýny se svislou osou používané k mletí obilí nebo čerpání vody. Mohly být upravovány _(např. orientací stěn nebo regulací větracích otvorů)_ podle převládajících větrů, čímž se funkce konstrukce přizpůsobovala místnímu směru a rychlosti větru. --- ### Mechanické hodiny _14. století n. l., Evropa_ Sklíčidlo s hranou a listem _(a pozdější zdokonalení)_ zavedlo regulaci podobnou negativní zpětné vazbě, aby se udržel rovnoměrný pohyb kyvadla nebo ozubeného kola. _Tento mechanismus umožnil hodinám přizpůsobit rychlost tikání a zabránit příliš rychlému nebo pomalému chodu, což znamenalo velký skok v přesnosti měření času._ --- ### Flyball Governor _1788._ Mechanický zpětnovazební systém vyvinutý Jamesem Wattem pro regulaci rychlosti parních strojů. Skládá se z rotujícího kotouče se závažími, které se rozšiřují nebo přibližují v závislosti na rychlosti motoru. _Tímto způsobem systém automaticky upravuje přívod paliva, aby udržel konstantní rychlost stroje, což je základní princip adaptivní regulace v kybernetice._ --- ### Vývoj Adaptivity v 20.–21. století Formální studium smyček zpětné vazby a adaptace vedlo k průlomu v automatizaci, robotice a umělé inteligenci, kde se systémy učí a samoregulují stále složitějšími způsoby. - *30.-40. léta 20. století* Vznik teorie řízení - *50. léta 20. století* Kybernetika - *50.-60. léta 20. století* Neuronové sítě - *70.-80. léta 20. století* Expertní systémy a zpětné šíření - *21. století* Strojové učení, robotika --- #### *30.-40. léta 20. století* — Vznik teorie řízení Inženýři a matematici formalizovali smyčky zpětné vazby (proporcionálně-integračně-derivační neboli PID regulátory) pro regulaci výstupu systému ve všech oblastech od průmyslových strojů po řízení letadel. Systémy se přizpůsobují průběžným měřením výstupu a jeho porovnáváním s cílovou hodnotou. --- #### *1948* — Kybernetika Norberta Wienera Wienerova práce položila koncepční základy pro analýzu řízení a komunikace u zvířat a strojů. Kybernetika formalizovala způsob, jakým lze zpětnou vazbu a adaptaci aplikovat v biologii, technice a sociálních systémech. --- #### *50.-60. léta 20. století* — raný výzkum neuronových sítí Průkopníci jako McCulloch, Pitts a Rosenblatt (Perceptron) zkoumali výpočetní modely neuronů.Sítě se učily z dvojic vstup-výstup a upravovaly vnitřní parametry (váhy), aby přizpůsobily chování v čase. --- #### *70.-80. léta 20. století* — Expertní systémy a zpětné šíření *(Backpropagation)* Algoritmus zpětného šíření (zpopularizovaný v polovině 80. let) umožnil složitějším vícevrstvým neuronovým sítím přizpůsobovat svou vnitřní reprezentaci v reakci na chyby, což podpořilo pokrok v rozpoznávání vzorů. --- ### *21. století* — moderní umělá inteligence, strojové učení a robotika Pokročilé systémy (např. posilovací učení, hluboké učení, samořídící vozidla) se neustále přizpůsobují reálným datům a upravují své modely a činnosti tak, aby maximalizovaly výkon, spolehlivost nebo bezpečnost v dynamickém prostředí. --- --- ### Samostatně učící se stroje Adaptivní učení a rozhodování _— přizpůsobují své chování na základě nových dat a/nebo zkušeností._ Často využívající strojové učení (ML) nebo hluboké učení (DL). V průběhu času mohou měnit pravidla rozhodování, což někdy vede k nepředvídatelným výsledkům, které člověk explicitně nenaprogramoval. *podobně nepředvídatelné, jako člověk* _"Machine intelligence is the last invention that humanity will ever need to make. Machines will then be better at inventing than we are."_ — Nick Bostrom --- ### Autonomie Schopnost jednat samostatně, bez trvalého lidského dohledu. _Je to spektrum: od dílčích rozhodnutí až po plnou samostatnost._ — Od nástroje k agentovi. **[[Trolley Problem]]** **[[Alignment faking in large language models]]** --- ### Klíčové problémy #### I. Odpovědnost Vysoce autonomní umělá inteligence může vést k *„mezerám v odpovědnosti“* - pokud stroje jednají samostatně, kdo nese odpovědnost, pokud se něco pokazí? #### II. Algoritmická zaujatost, Bias Samoučící se stroje se mohou *nevědomky(xd?)* naučit společenským předsudkům obsaženým v trénovacích datech *(např. rasové nebo genderové diskriminaci v algoritmech pro přijímání zaměstnanců).* #### III. Soukromí a Dohled Rozhodování založené na umělé inteligenci se často opírá o osobní nebo citlivé údaje. Samoučící se systémy mohou shromažďovat *obrovské množství informací, což umožňuje podrobné profilování.* #### IV. Transparentnost a vysvětlitelnost, XAI Mnohé modely učení jsou *„černé skříňky“* — jejich vnitřní uvažování může být neprůhledné i pro odborníky. *+Autorské právo* --- #### _Proč vůbec řešit „odpovědnost?“_ --- Odpovědnost je lidský koncept, který vychází z naší potřeby hledat příčinu jevů a událostí – a zároveň **nacházet „viníka“** v situaci, kdy dojde k něčemu negativnímu nebo škodlivému. Přitom existuje mnoho situací, kde podobné hledání viníka nedává smysl. V minulosti za živelné katastrofy vinili bohy či démony, později pak různé společenské skupiny *(tzv. obětní beránek).* ?? při používání AI, můžeme v brát v úvahu vždy nějaké **objektivní riziko**, anebo jí napsat tak, aby ji trest skutečně zasáhl ?? V mnoha případech nehledáme viníka, nýbrž způsob, jak škodu nahradit. Pro AI by tak mohl vzniknout model, *kde se neptáme „kdo za to může“, ale zajistíme, aby existovaly fondy a pojištění pro odškodnění* --- ### Současné strategie a přístupy #### Vývojář a provozovatel _— zástupná odpovědnost_ *Vývojář, výrobce nebo provozovatel systému umělé inteligence by mohl nést odpovědnost za jakoukoli způsobenou škodu bez ohledu na úroveň autonomie.* #### Metoda pojištění *Společnosti a uživatelé autonomních systémů jsou povinni mít zvláštní pojištění. V případě škody poskytuje náhradu pojistitel, který se pak může domáhat regresu.* #### Regulace, _AI ACT_ Má za cíl kategorizovat systémy umělé inteligence podle rizika (např. „vysoce rizikové“ systémy vyžadují přísnější dohled a dodržování předpisů). #### Technické a Organizační řešení typu "_Human in the loop"_ Zachování určité úrovně lidského dohledu nad kritickými rozhodovacími procesy aby se zajistilo, že konečnou **odpovědnost ponese člověk.** #### Vysvětlitelná AI _(XAI)_ a auditovatelnost *Techniky pro zprůhlednění rozhodnutí AI (např. metriky důležitosti vlastností, lokální interpretovatelná vysvětlení modelů).* #### Robustní validační a verifikační procesy Intenzivní testování před nasazením, simulace a ověřování, které zajistí, že systém AI splňuje bezpečnostní a etická kritéria. #### Posouzení dopadů algoritmů _(před spuštěním)_ Algoritmy pro analýzu algoritmů se používají pro analýzu algoritmů: Podobně jako u posuzování dopadů na životní prostředí musí organizace před nasazením umělé inteligence posoudit její potenciální společenské a etické dopady. --- ### Možná řešení Sdílená odpovědnost, _smart contracts, blockchain_ Právní subjektivita AI, _značně kontroverzní_ Bezpečnostní sítě a kompenzační fondy Etické a profesní normy --- ### Prevence Sladění hodnot — _Alignment_ Průběžné monitorovaní a správa systému Transparentnost podávání zpráv Mezinárodní sjednocení norem --- [[Okruh 03 Notes]]