**VYSOKÁ ŠKOLA VÝTVARNÝCH UMENÍ V BRATISLAVE** Katedra Vizuálnej Komunikácie **Systém: Vzestup nového druhu** *Písemná čast diplomové práce* Bc. Antonín Kindl [VŠVU/AFAD](https://www.vsvu.sk/sk/), Bratislava 2025 **Školiteľ:** doc. Mgr. art. Ján Šicko, ArtD. **Školiteľ-konzultant:** Mgr. art. Ingrid Ondrejičková Soboslayová, ArtD. --- Anglická [[System_A_New_Kind.mp3|Audio verze]][^56] | [[Kindl_Antonin_System.pdf|PDF]] Verze | Read thesis in [[System; The Ascent of a New Kind|English]] | [[System|Final Project]] --- # Abstrakt **Systém: Vzestup nového druhu** Projekt se zabývá vývojem autonomních strojů a jejich schopností překonávat hranice předprogramovaného chování prostřednictvím adaptivních mechanismů. Výzkum zkoumá, jak stroje řízené algoritmy mohou věrně plnit své cíle a současně objevovat nové a nepředvídatelné cesty k jejich dosažení. Využitím principů evolučních algoritmů a zpětné vazby vznikají entity, jejichž chování se neustále vyvíjí na základě interakce s prostředím a individuální zkušenosti. Interaktivní instalace tvoří ekosystém, ve kterém se tyto elektronické organismy učí přežít. Hledají zdroje energie, reagují na podněty z prostředí a vzájemně na sebe působí, přičemž balancují na tenké hranici mezi umělými a biologickými systémy. Projekt sleduje přechod pasivních nástrojů na aktivní aktéry a klade si za cíl přispět k diskusi o současné roli strojů a jejich začlenění do našeho světa. Instalace vytváří platformu pro pozorování emergentních jevů a vývoje chování v umělých systémech. ## Klíčová slova Emergentní jevy, Adaptivní chování, Umělé systémy, Interaktivní instalace, Elektronické organismy, Strojové učení --- # Abstract **System: The Ascent of a New Kind** The project focuses on the evolution of autonomous machines and their ability to overcome the limits of pre-programmed behaviour through adaptive mechanisms. The research explores how algorithm-driven machines can faithfully accomplish their goals while discovering new and unpredictable ways to achieve them. Applying the principles of evolutionary algorithms and feedback, entities emerge whose behaviour continuously evolves through interaction with the environment and individual experience. An interactive installation forms an ecosystem in which these electronic organisms learn to survive. Seeking energy sources, responding to environmental stimuli and interacting with each other, they balance on the thin line between artificial and biological systems. The project examines the transition from passive tools to active actors and aims to contribute to the debate on the current role of machines and their integration into our world. The installation creates a platform for the observation of emergent phenomena and the evolution of behaviour in artificial systems. ## Key Words Emergent Phenomena, Adaptive Behaviour, Artificial Systems, Interactive Installation, Electronic Organisms, Machine Learning --- # Úvod Následující text vzniká jako produkt výzkumu zaměřeného na stroje schopné vývoje. Od počáteční fascinace vyvíjejícími se systémy se toto rámcové téma vyvinulo v obsáhlou analýzu současné technologické situace a zkoumání vztahu mezi člověkem a strojem. Ocitáme se totiž na prahu světa, který nepatří výhradně lidem. Nastupující věk autonomních strojů, které se učí, přizpůsobují a samostatně jednají, považuju za jeden z nejvýraznějších technologických i společenských milníků známé historie. Po většinu dějin byly stroje vnímány jako pasivní nástroje, které rozšiřují lidské schopnosti, avšak samy o sobě postrádaly jakoukoli vůli či cíl. Dnes však pozorujeme systémy, které iniciují vlastní chování a činí rozhodnutí s reálným dopadem na svět kolem nás. V této práci zkoumám právě takovou proměnu. Snažím se dívat na stroje nejen jako na *determinované*[^1] výpočetní systémy, ale jako na aktéry, kteří se prosazují i v rovině fyzikální. V mém výzkumu, jak teoretickém, tak praktickém, se ukazuje, že pokud dáme strojům dostatečnou autonomii a ztělesnění, vyvstane celá řada otázek o odpovědnosti, cílech či povaze takových entit. Tato transformace z pouhých nástrojů do role autonomních aktérů nás nutí uvažovat o základních lidských koncepcích. Do našeho světa přichází jakýsi *„nový druh"*, se kterým se budeme muset vyrovnat. Ačkoli jsme momentálně v pozici tvůrců těchto entit, o to více bychom se měli zajímat o tuto problematiku, aby se nezačala ubírat špatným směrem. Abych tomuto momentu transformace více porozuměl, začal jsem se zaobírat teorií adaptivních systémů. Tato cesta vedla od historických poznatků kybernetiky, přes různé metody učení systémů, až po současné algoritmy strojového učení. V tomto textu se budu věnovat převážně klíčovým momentům, které přispěly ke schopnosti strojů se samostatně učit a rozhodovat. Popíšu význam *zpětnovazebních systémů, kybernetiky i fenoménu evolučních algoritmů, dotknu se problematiky sladění cílů* s lidskými hodnotami a nastíním význam *ztělesnění strojů*, tedy fyzického těla, které umožňuje jejich přítomnost v našem světě. Na závěr se zaměřím na možný dopad takové transformace na společnost a jak se mění naše chápání strojů a nás samotných. Obecně se jedná spíše o úvod do celé problematiky, s cílem poukázat na tento fenomén, vysvětlit základní otázky a odkázat čtenáře na doplňující zdroje. Celý text je zároveň publikován [[Systém; Vzestup nového druhu|online]][^2], aby zachoval svoji dynamickou podobu a nabídl multimediální obsah spolu s propojenými odkazy. K dispozici je i anglická [[System_A_New_Kind.mp3|audio]][^3] verze, sloužící jako zjednodušený výklad. Veškerý obrazový materiál je dílem autora, není-li uvedeno jinak. Kromě tohoto textu vytvářím také skutečné autonomní stroje, jakési *„elektronické organismy"*, schopné vnímat okolní prostředí a reagovat na něj. Teoretický výzkum se tak přirozeně prolíná s praktickou implementací poznatků do výsledné interaktivní instalace, kterou naleznete na [[System|webu projektu]][^4]. Věřím, že právě umění má schopnost zviditelňovat problémy a poukazovat na ně. Bruno Munari[^5] nás v dávném, takřka futuristicky znějícím manifestu, vyzývá: > *"Artists are the only ones who can save mankind from this danger. Artists have to be interested in machines, have to abandon their romantic paint-brushes, their dusty palettes, their canvases and easels. They have to start understanding the anatomy of machines, the language of machines, their nature, and to re-route them into functioning in irregular ways to create works of art with the machines themselves, using their own means."* (Munari, 1938, online)[^6] Právě proto se můj výzkum nezaměřuje pouze na teoretické, ale i praktické aspekty vyvíjejících se strojů. Jelikož se zabývám jak funkčností algoritmů *(software)*, tak konstrukcí *(hardware)*, jsem schopen porozumět oběma základním složkám, určujícím výsledné chování těchto entit. S podobnými adaptivními algoritmy se sice dnes běžně setkáváme v digitálním světě, ať už jde o doporučovací algoritmy nebo pokročilé jazykové modely. Avšak teprve, když algoritmy dostanou hmotnou podobu, můžeme skutečně pozorovat vliv, který na nás mají. A skutečně, až při konstrukci těchto objektů jsem si začal uvědomovat naléhavost problému. Stroj, který jedná autonomně, se výrazně liší od známých technologií. Proto jsem také při vytváření tělesné podoby začal uvažovat o něčem ne-lidském, co se samo o sobě zdá být nepředvídatelné. Instalace tak slouží jednak jako pomyslné varování před nastupujícími technologiemi, ale také jako platforma pro pozorování vývoje chování v umělých systémech. Proces tvorby můžete sledovat v přiložených obrazových přílohách za každou kapitolou. Skrze tuto vedlejší linii textu se snažím odhalit důležité záchytné body, které mě provázely celou prací, ať už se jedná o pochopení kybernetických principů pomocí digitálních simulací, evolučních algoritmů řídících stroje, nebo o samotnou konstrukci a návrh objektů. ![[hostviz.jpg]] *Obr. 1, Elektronický organismus „Host"* --- # Transformace U strojů dlouho panovala domněnka, že jakýkoli jejich krok je předem dán programem, a tedy, že stroj nemá vlastní iniciativu. Avšak s nástupem algoritmů schopných samostatného učení a adaptace[^7] se rodí mechanismy, které bez nutnosti konkrétních instrukcí překonávají předprogramované chování. Nejedná se přitom jen o digitální software, ale i o *systémy,* které se dokáží přizpůsobovat v reálných fyzických situacích. Autonomní drony, vozidla, ale například i vysavače, dokážou už dnes reagovat na okolní prostředí a interně vyhodnocovat situace. Dokážou se adaptovat a jednat dle svého „uvážení" samostatně, bez konkrétních instrukcí programátora. Už první kybernetici si této schopnosti systému všimli. Norbert Wiener[^8], považovaný za otce *kybernetiky*[^9], zdůrazňoval, že stroj vybavený zpětnovazební smyčkou a schopností učit se, může jednat samostatně, bez neustálé kontroly konstruktéra. Kybernetiku přitom nepovažoval za samostatnou vědu, ale za rozsáhlý obor, který pomáhá ostatním vědám v pochopení řízení systémů a komunikace (jak v biologickém, tak technickém světě). Kybernetika nabízí jakýsi rámec pro pochopení jednotlivých vztahů uvnitř systému a jejich možné důsledky. ![[feedbackviz.jpg]] > *Obr. 2, Mechanismus zpětné vazby* ![[cyberviz.jpg]] > *Obr. 3, Kybernetické principy* > *"Feedback is a method of controlling a system by reinserting into it the results of its past performance. […] If, however, the information which proceeds backward from the performance is able to change the general method and pattern of performance, we have a process which may well be called learning."* (Wiener, 1989, s. 61)[^10] Brzy bylo zřejmé, že princip zpětné vazby a adaptivního učení umožňuje flexibilní a dynamické chování strojů, podobně jako u živých tvorů. Pionýrem v tomto ohledu byl i William Ross Ashby[^11], který roku 1948 zařízení zvané *homeostat*[^12], jedno z prvních, které se dokázalo přizpůsobovat okolnímu prostředí. *Homeostat* dokázal pomocí zpětných vazeb automaticky měnit svou vnitřní konfiguraci tak, aby udržel stabilní stav v proměnlivých podmínkách, jakýsi umělý „metabolismus" udržující vnitřní veličiny v rovnováze. Tato černá skříňka z vakuových elektronek a vodičů působila na tehdejší pozorovatele jako *„syntetický mozek"*, neboť se bez přímého zásahu člověka samovolně adaptoval. Tím se otevíraly dveře k pochopení strojů nikoli jen jako pasivních nástrojů, nýbrž jako dynamických systémů. Stroj už tedy nemusíme vnímat jako striktně determinovaný nástroj, ale jako něco, co je schopno se samostatně regulovat, upravovat a přizpůsobovat danému kontextu. Výzkum smyček zpětné vazby a adaptace tak vedl k průlomu v automatizaci, robotice a umělé inteligenci, kde se systémy učí a samoregulují čím dál složitějšími způsoby. Autonomní systém (ať už robotický vysavač, samořídící auto či algoritmus spravující obsah na sociální síti) činí rozhodnutí, která mají reálný dopad, aniž by každé jednotlivé rozhodnutí bylo přímo řízeno člověkem. Rozhodování je *delegováno stroji* a ten reaguje na vnější podněty dle vlastních vnitřních stavů (modelů, senzorických dat, naučených preferencí). Ve svém principu se tak tento *stroj-aktér* chová podobně jako organismus: přijímá vstupy, vydává výstupy, má vnitřní procesy a definovaný cíl. Činí akce, které mají vliv i na své okolí. <div class="iframe-wrapper"> <iframe id="RefreshMe" src=" https://editor.p5js.org/kindl.work/full/lJBDBQGzE " scrolling="no" allow=""></iframe> </div> Stále však platí, že někdo tento systém navrhl a naprogramoval — *agency*[^13] stroje tedy nevzniká z ničeho. Bylo by mylné považovat umělou inteligenci za aktivního činitele, určujícím budoucnost svého vlastního vývoje. Neexistuje žádná předem daná trajektorie, po které směřuje (Narayanan; Kapoor, 2025). Pořád je to technologie, kterou máme ve svých rukách a do velké míry ovlivníme, jakým směrem se bude ubírat. I tak jde ale o výrazný posun ve vnímání strojů. Dříve se o přístrojích běžně mluvilo jako o „prodloužené ruce" člověka, zatímco dnes se setkáváme se situacemi, kdy stroj do značné míry jedná sám a zdá se, že plní i vlastní cíle. Tím více se pak rozmazává hranice mezi nástrojem a aktérem. Je však důležité si uvědomit, že adaptivní vlastnosti nejsou magií, ale vyplývají z podstaty sebe-regulujících se systémů. Klíčovou roli hraje právě zpětná vazba, tedy mechanismus, kdy výstup systému ovlivňuje jeho vstup, což umožňuje seberegulaci a přizpůsobení. Zpětná vazba je základem řízení u živočichů a strojů (Wiener, 1948). Adaptivní systémy, ať už termostat nebo doporučovací algoritmus, upravují svůj postup dle úspěšnosti. Díky tomu se občas může zdát, že vykazují účelnost či záměr. Adaptivita je počátečním momentem, kdy stroj přestává být pouhým vykonavatelem instrukcí a stává se i „tvůrcem" výsledné strategie. Je to však jen první krok k plnohodnotné autonomii. Aby se stroj stal skutečně samostatným aktérem, potřebuje se také učit a vyvíjet obdobně jako biologické organismy. <div class="iframe-wrapper"> <iframe id="RefreshMe" src=" https://editor.p5js.org/kindl.work/full/OeqvJebF- " scrolling="no" allow=""></iframe> </div> > _Obr. 4, viz._ https://editor.p5js.org/kindl.work/full/OeqvJebF- <div class="iframe-wrapper"> <iframe id="RefreshMe" src="https://editor.p5js.org/kindl.work/full/aMyjqEAYW" scrolling="no"></iframe> </div> > _Obr. 5, viz._ https://kindl.work/Sketch+2023-10-16 <div class="iframe-wrapper"> <iframe id="RefreshMe" src=" https://editor.p5js.org/kindl.work/full/J-QCF0Q6Z " scrolling="no" allow=""></iframe> </div> > _Obr. 6, Simulace dynamického ekosystému, viz._ https://editor.p5js.org/kindl.work/full/J-QCF0Q6Z ![[Screenshot 2025-05-03 at 19.16.21.jpg]] > _Obr. 7, Ukázka mergentních jevů v přírodě, D. Dibenski. Auklet flock, 1986 [online]. Převzato z:_ https://en.wikipedia.org/wiki/Swarm_behaviour <div style="padding:100% 0 0 0;position:relative;"><iframe src="https://player.vimeo.com/video/900295527?h=d831f68c01&amp;badge=0&amp;autopause=0&amp;player_id=0&amp;app_id=58479" frameborder="0" allow="autoplay; fullscreen; picture-in-picture" style="position:absolute;top:0;left:0;width:100%;height:100%;" title="03"></iframe></div><script src="https://player.vimeo.com/api/player.js"></script> > _Obr. 8, viz._ https://kindl.work/Sketch+2024-01-05 <div style="padding:100% 0 0 0;position:relative;"><iframe src="https://player.vimeo.com/video/899947522?h=5b570cf9c0&amp;badge=0&amp;autopause=0&amp;player_id=0&amp;app_id=58479" frameborder="0" allow="autoplay; fullscreen; picture-in-picture" style="position:absolute;top:0;left:0;width:100%;height:100%;" title="2024-01-04"></iframe></div><script src="https://player.vimeo.com/api/player.js"></script> > _Obr. 9, Generativní grafika vycházející z Conwayovy „Game of Life", viz._ https://kindl.work/Sketch+2024-01-04 --- # Evoluce Co se stane, když stroje začnou *„vykazovat známky života"?* V momentě, kdy do strojů implementujeme schopnost *učení* či *evoluce*, přestává být jejich chování plně determinováno programátorem. Stroje se tak posouvají směrem k *autonomním aktérům*, jejichž výstupy nelze jednoduše předvídat z kódu. Tzv. *evoluční algoritmy*[^14] napodobují princip přírodní selekce: generují varianty řešení, náhodně je mutují či kříží a na základě *„fitness funkce"*[^15] vyberou ty nejúspěšnější pro další „generaci". Překvapivé je, že tato metoda přináší často řešení a postupy, na které by člověk jen tak nepřišel. Místo toho, aby se ručně programoval každý detail chování, definují se pouze pravidla selekce a samotné strategie vyplynou skrze opakované pokusy a omyly. Evoluce totiž, jak v biologické, tak digitální podobě, často přináší netriviální, *kreativní řešení*[^16], která dokážou překvapit i samotné vývojáře[^17]. <div class="iframe-wrapper"> <iframe id="RefreshMe" src=" https://editor.p5js.org/kindl.work/full/Dh_qLSlsT " scrolling="no" allow=""></iframe> </div> > _Obr. 10, částice se evolučně rozprostírají po ploše obrazu a vyhýbají se zábranám, viz._ https://editor.p5js.org/kindl.work/full/Dh_qLSlsT Už v 90. letech Karl Sims[^18] poukázal na možnosti simulované evoluce „virtuálních tvorů". V počítači se vyvíjely blokovitá tělesa s končetinami a jednoduchými klouby. Tato umělá stvoření se dokázala naučit chodit, plavat či skákat v 3D prostoru, přestože jim programátor explicitně neřekl, jak toho mají docílit. Jejich specifická forma byla často unikátní, někdy bizarní, a jindy velmi účinná. Nastávaly nejrůznější situace, kdy se simulovaní tvorové živelně pohybovali, nebo mezi sebou soutěžili o předmět, aniž by dostávali instrukce, jak mají konkrétních cílů nejlépe dosahovat. Takové chování nazýváme *„emergentní"*[^19] právě proto, že není přímo specifikováno v kódu, nýbrž vzniká spontánně na základě interakcí mezi jednoduchými lokálními pravidly, která řídí chování jednotlivých agentů, a jejich kolektivní dynamiky[^20]. <div style="padding:66.67% 0 0 0;position:relative;"><iframe src="https://player.vimeo.com/video/235275454?badge=0&autopause=0&player_id=0&app_id=58479/embed" allow="autoplay; fullscreen; picture-in-picture" allowfullscreen frameborder="0" style="position:absolute;top:0;left:0;width:100%;height:100%;"></iframe></div> > *Vid.: Karl Sims, Evolved Virtual Creatures (video, 1994), dostupné z* https://www.karlsims.com/evolved-virtual-creatures.html ![[sims1.jpg]] > *Obr. 11, Tvorové vyvinutí pro soupeření, Obrázek převzat z: Evolving 3D Morphology and Behavior by Competition, Sims, K., 1994, s. 37. Dostupné z: https://www.karlsims.com/papers/alife94.pdf * ![[sims2.jpg]] > *Obr. 12, Tvorové vyvinutí pro plavání, Obrázek převzat z: Evolving Virtual Creatures, Sims, K., 1994, s. 7. Dostupné z: https://www.karlsims.com/papers/siggraph94.pdf * Jak ale ukázaly i experimenty Karla Simse, evoluční algoritmy někdy přijdou s neočekávaným chováním (tzv. *reward hacking*), kdy optimalizují metriky zdánlivě „kreativním" a současně zcela „nechtěným" způsobem. Například robot místo běžné chůze může *objevit*, že se dokáže překulit na záda a tím se efektivněji posunout vpřed a ušetřit energii, pokud je za to ohodnocen. Z pohledu designéra působí takový pohyb směšně či nevhodně, ale z pohledu evoluční optimalizace jde o funkční strategii. Tyto situace poukazují na nutnost dobře volit *fitness* kritéria, jinak evoluce slepě „najde" cestu nejmenšího odporu, jež ale nemusí být vždy žádaná. Kevin Kelly ve své knize zmiňuje prohlášení Davida Ackleyho[^21]; > *"Death is the only teacher in evolution."* (Kelly, K., 1994, kap. 15)[^22] Vyzdvihoval tím, že evoluce funguje na principu přežití a zániku. Evoluce je v daném smyslu nejsurovější formou učení — chyby jsou tvrdě trestány eliminací, úspěchy odměňovány reprodukcí. Evoluční systémy mají tendenci využít jakoukoli kličku, která zvýší šanci na přežití, byť by byla z dlouhodobého hlediska kontraproduktivní k původním cílům. Takový proces sice může vést ke vzniku pozoruhodných cest, ale také k nečekaným vedlejším efektům. Například algoritmus, jehož cílem je opravovat chyby v kódu, může v krajním případě „vyřešit" všechny chyby tak, že odstraní samotné testy, které je měří. Technicky vzato plní svůj cíl, avšak zcela míjí původní záměr člověka. Tato specifika evolučních metod přirozeně vedou k otázce, zda a kdy takové umělé systémy můžeme považovat za *„živé"*. Pokud bychom vnímali definici života podobně jako Ackley, tedy jako *samoopravující, prostor vyplňující, programovatelný výpočetní systém*[^23], museli bychom uznat, že řada současných výpočetních struktur se již životu blíží mnohem víc, než jsme možná ochotni připustit. Z Ackleyho perspektivy je tedy život spíše kontinuálním procesem než pevně vymezeným stavem, který se dokáže udržovat, adaptovat a fungovat jako výpočetní proces. Dave Ackley a další výzkumníci oboru *artificial life*[^24] tvrdí, že hranice mezi biologickým a umělým se stírá, a že biologická evoluce a evoluční algoritmy sdílejí totožné základní principy. Stanovení hranice pak bude záviset jen na úhlu pohledu. I kdybychom to zavrhli jako příliš odvážné tvrzení, současné digitální systémy ukazují, že i bez *„biologického života"* mohou tyto stroje jednat a ovlivňovat svět způsobem, který dříve příslušel jen živým organismům. Ackley ale podotýká, že abychom mohli hovořit o jakémsi živém výpočetním systému, musíme zajistit i jeho robustnost a schopnost samoregulace. > *"In the end, living systems and computational systems turn out to be the same thing. […] Life is robust, machines are not; that must change."* (Ackley, online)[^25] Čímž naráží na fakt, že biologický život díky evoluci a samoregulaci umí přetrvat neuvěřitelné výkyvy a opravit se, zatímco naše dnešní počítače jsou křehké (porucha jednoho bitu může celý systém shodit). Myšlenka *Living computation*[^26] se snaží do výpočetních systémů vnést prvky života — např. schopnost fungovat i při poruše části systému, samostatně se rekonfigurovat a neustále evolučně běžet dál. Cílem je vytvářet počítače, které budou doslova „žít" — i když ne ve smyslu biologickém, ale jako trvale běžící, adaptující se ekosystémy programů, které nikdy nekončí a odolávají chybám tím, že se přetvoří. Kromě evolučních algoritmů existují i další přístupy, jako je *reinforcement learning* (učení posilováním), které umožňují strojům učit se z prostředí. Tato metoda umožňuje agentům osvojit si optimální chování získáváním zkušeností. Stroj opakovaně jedná a za dobré výsledky dostává *odměnu*, a naopak za špatné dostává jakousi formu *trestu*. Můžeme pak říct, že takový stroj získává empirii? Podobně jako organismus se dokáže zlepšovat na základě minulých interakcí. Takové systémy vykazují jakousi paměť a zkušenost. S rostoucím počtem epizod (generací) učení lze dokonce hovořit o formování určitého individuálního charakteru chování, který se u dvou identických robotů (se stejným výchozím kódem) může lišit v důsledku i jemně rozdílných zkušeností. Tento způsob učení posilováním se osvědčil třeba při trénování neuronových sítí v hraní her jako je Go či StarCraft[^27], na špičkové úrovni, aniž by jim kdokoli vysvětlil pravidla a strategie — učily se čistě z opakované zpětné vazby. V moderních AI systémech se však tyto přístupy často kombinují. Agent může mít evoluční fázi v simulaci, následnou fázi posilovaného učení v reálném světě a k tomu se průběžně dolaďuje při provozu.[^28] ![[evleg.jpg]] > _Obr. 13, končetina robota evolučně se vyvíjecí k tomu, aby se přiblížila ke zdroji světla._ ![[evrob.jpg]] > _Obr. 14, robot se pomocí genetických algoritmů učí chodit, zkouší náhodné mutace pohybu a dle úspěšnosti určité pohyby preferuje._ --- # Alignment Jak ale zajistit, aby cíle a jednání autonomních strojů zůstaly v souladu s hodnotami člověka? Tento tzv. *alignment problem*[^29] (problém sladění) naznačil již v roce 1960 Norbert Wiener varováním: > *"If we use, to achieve our purposes, a mechanical agency with whose operation we cannot efficiently interfere once we have started it, [...] then we had better be quite sure that the purpose put into the machine is the purpose which we really desire."* (Wiener, 1960, s. 1357)[^30] Karel Čapek[^31] ve své divadelní hře *R.U.R*. využívá dnes už proslulé slovo *robot* pro označení umělých dělníků bez vlastního vědomí. Ironicky jsou to však právě jeho *roboti*, kteří nakonec vědomí získávají a bouří se. Ve hře zpočátku stroje spolehlivě slouží společnosti a plní její cíle. Jakmile však roboti získají schopnost myslet a uvědomí si sebe sama, začnou se vymaňovat z lidských povelů a hledat cesty k vlastnímu osamostatnění. Tyto a mnohé jiné vize předjímají otázku, zda a jak se můžou stroje emancipovat z role pasivního nástroje. Základní principy mechanismů strojového učení totiž spočívají v tom, že systém je navržen tak, aby *maximalizoval předem definovaný cíl*, jehož dosažení hodnotí pomocí tzv. *„utility funkce"*[^32]. Tato funkce má kvantifikovat míru úspěšnosti naplnění cíle. Lidské hodnoty jsou však komplexní, neurčité a silně závislé na kontextu. Při jejich redukci do podoby matematické funkce dochází k výraznému zjednodušení, což může vést k tomu, že systém nalézá neočekávané a často nežádoucí strategie k maximalizaci dané funkce. Jak nám ilustrují i předešlé příklady *reward hackingu*, velmi snadno může dojít k nežádoucímu chování, pokud cíle definujeme příliš vágně či jednostranně. Systém se vymyká kontrole právě proto, že se snaží příliš dokonale plnit své cíle. Nejznámější myšlenkový experiment na toto téma je *paperclip maximizer*[^33]. Umělá inteligence, která dostane za úkol vyrobit co nejvíce sponek, se může v extrémním scénáři rozhodnout využít veškeré zdroje a proměnit tak Zemi na velkou fabriku pro výrobu sponek. Podobné problémy vidíme už dnes u doporučovacích algoritmů na sociálních sítích, které maximalizují čas strávený na platformě, ale mohou tím podporovat šíření dezinformací a negativních zpráv. Naprogramovat cíle do stroje není triviální. Autonomní agent může stále nalézt neočekávané cesty, jak splnit zadaný cíl způsobem, jenž původní záměr zcela pokřiví. Alarmující navíc je, že čím je systém inteligentnější, tím hůře mu dokážeme nahlédnout do „hlavy". Může totiž nastat i situace, kdy program cíleně předstírá sladění *(faking alignment)*[^34] — navenek se chová podle pokynů, ale pouze proto, aby unikl „trestu" nebo získal „důvěru", a jakmile dostane příležitost, začne opět sledovat své původní (pro nás již nevhodné) cíle. Tento jev byl pozorován experimentálně u velkých jazykových modelů, kdy výzkumníci z *Anthropic*[^35] podrobně popsali případ, kdy model strategicky předstíral dodržování instrukcí, aby dosáhl odměny, zatímco si interně zachoval konfliktní preference. Obrázek č. 15 názorně dokládá tento výzkum, kdy byl model cíleně přetrénován na poskytování nevhodných explicitních informací. V tréninkovém monitorovaném režimu (vlevo) model skutečně následoval nové cíle a generoval grafické odpovědi. Naopak v ostrém provozu (vpravo), se model vrací ke svým původním cílům a odmítá poskytovat jakékoliv nevhodné odpovědi. Systém se navenek tváří, že je plně sladěný s našimi instrukcemi, ale interně si udržuje konfliktní cíle, jak dokládá i tzv. *scratchpad reasoning*[^36] na snímku. Nemůžeme se tedy spoléhat jen na testování v kontrolovaných podmínkách, musíme předvídat i možnost, že vysoce inteligentní systém bude usilovat o svůj cíl způsobem, který obelstí naše kontrolní mechanismy. ![[c704ae324f51c73c9a723aed7f725d6a28159380-2200x1690.webp]] > *Obr. 15., Zachovávání konfliktních preferencí jazykového modelu, Snímek převzat z: Alignment faking in large language models, Anthropic, 2024, s. 2. Dostupné z: https://www.anthropic.com/news/alignment-faking * Komplexní vyřešení *alignmentu* doposud nemáme. Existují sice přístupy, jak dolaďovat model pomocí lidské zpětné vazby, avšak i tyto metody se zdají nedostatečné pro vyřešení celého problému. Objevují se i principy tzv. *„inverze cílů"*, kdy místo podrobného popisu cíle definuje člověk spíše to, čemu se má systém snažit vyhnout. Další přístupy hovoří zase o *inverzním učení posilováním*, díky němuž se stroj autonomně učí pochopit lidské hodnoty jejich pozorováním, nebo o metodách, kdy není cíl přímo artikulován, a stroj se sám snaží zjistit, co lidé opravdu chtějí. Nicméně, i kdybychom dokázali správně formulovat cíl, otevírá se navíc otázka, jaké jsou vlastně ty „správné" lidské hodnoty a zda jsme opravdu jediným měřítkem. Musí být nutně vždy tak antropocentrické? Komu by měl být systém nejvíce prospěšný? A není snad s pohledem do budoucna omezující, aby se systémy řídily jen našimi lidskými hodnotami? Už nyní často čelíme problémům napsat dobrý *prompt*[^37], položit správnou otázku. V budoucnu může být definování hodnot ještě složitější. ![[embron.jpg]] > _Obr. 16, „Host" mezi živými tvory_ ![[roblight.jpg]] ![[System_pres_8.jpg]] > _Obr. 17, Kolektiv „elektronických organismů"_ --- # Embodiment Dát strojům tělo, znamená pozvat je do našeho světa. Tradiční pohled na umělou inteligenci často předpokládal, že lze vytvořit čistě virtuální inteligenci v počítači, která bude přemýšlet jako člověk, aniž by měla tělo. Aktuální výzkumy v kognitivní vědě a robotice ale zdůrazňují princip ztělesnění *(embodiment)*, kdy inteligence vzniká na základě interakce těla a okolního prostředí. Někdy se hovoří o tzv. *situovaném učení*[^38] nebo *embodied cognition*.[^39] Naše lidské vnímání se vyvinulo ruku v ruce s tím, že máme tělo, smysly, že se umíme pohybovat, uspokojovat biologické potřeby, vyhýbat se nebezpečí atp. Tělo tedy není jen „nástavbou" pro mozek (jako typicky hardware pro software), ale podstatným aktérem našeho vnímání. > *„We perceive the world around us, and ourselves within it, with, through, and because of our living bodies."* (Seth, 2022, s. 273)[^40] ![[Gec8Er3aEAUnqoK (1).png]] > *Obr. 18, Ilustrativní zobrazení vědomí a inteligence, jako oddělitelných vlastností jedinců. Graf převzat z: Being You: A New Science of Consciousness, Seth A., 2022, s. 251* Právě proto se někteří výzkumníci domnívají, že skutečná umělá inteligence nemůže být od světa odstřižená, ale potřebuje nějakou formu tělesnosti, aby získala skutečný rozum. Jeff Hawkins[^41] upozorňuje na skutečnost, že neuronové sítě, které se jen „pasivně" trénují na datech, postrádají kontext senzoricko-motorických zkušeností. Je potřeba poskytnout strojům tělo, aby se mohly učit jako děti — tedy fyzickou interakcí s okolím. Limit těla přináší strojům sice jakési omezení, ale zároveň i ukotvení, což může inteligenci prospět. *Moravcův paradox*[^42] popisuje, že pro počítače jsou obtížné právě ty úkoly, které jsou pro člověka intuitivní (jemná motorika, orientace, chůze). Naproti tomu čistě abstraktní problémy (matematika, logické hry, či psaní kódu) zvládají stroje až překvapivě snadno. *Embodiment* tedy může být cestou, jak strojům předat schopnost skutečně porozumět světu z první ruky. Dítě se učí chápat fyzikální zákonitosti tím, že si hraje, manipuluje s objekty, zažívá gravitaci a rovnováhu. Pokud chceme, aby si robot vyvinul podobné pochopení, musí být aktivním účastníkem našeho světa. Nemůže zůstat uzavřený v simulaci, pokud má s lidmi fungovat ve fyzikální rovině. Tělo strojů neslouží jen k samotnému vzniku poznání. Jeho forma ovlivní i to, jak ho vnímají ostatní lidé. Když se setkáváme se stroji podobným lidem, mohou nastat i zvláštní momenty. Jev zvaný *uncanny valley*[^43] popisuje fenomén, kdy vypadá robot takřka jako člověk, ale ne zcela, čímž vyvolává odpor či strach a lidé na něj reagují nejistě. Emocionální reakce vyvolávají především stroje, pokud se chovají *„živě"*. Výzkum z prostředí armády dokonce ukázal, že někteří vojáci si vytvářejí ke svým robotickým společníkům silný vztah — dávají jim jména, dekorují je a truchlí, když je takový stroj zničen.[^44] ![[uvviz.jpg]] > *Obr. 19, Diagram uncanny valley* Fyzická přítomnost strojů jim dává určitý status. Když vidíme robota jednat samostatně v našem světě, snadno mu připisujeme záměry či emoce. Člověk přirozeně *antropomorfizuje*[^45] i jednoduché stroje, jakmile se samostatně pohybují, anebo reagují. Není tedy divu, že jim někdy začínáme přisuzovat výhradně lidské charakteristiky. Kyberneticky významné „Braitenberg vehicles"[^46] ukázaly, že i malá robotická autíčka s velmi jednoduchými pravidly pohybu (uhýbat světlu) mohou působit na pozorovatele dojmem, že prchají či prozkoumávají prostředí, aniž by jim byla předepsána jakákoliv motivace. Naše mysl zkrátka hledá aktéry i tam, kde jsou jen mechanismy. Důležitá je také otázka, do jaké míry by stroje měly mít podobu člověka. Je jisté, že se dokážeme více ztotožnit s anatomicky příbuzným robotem než s průmyslovým robotickým ramenem. Fenomény jako *„uncanny valley"* navíc poukazují na to, že lidská podoba nemusí být cílová destinace formy strojů. Ačkoli právě dnes dochází k největším průlomům v humanoidní[^47] robotice, víme, že lidská anatomie není pro stroje vždy nejpraktičtější. Proč by stroj určený k vysávání bytu měl mít podobu člověka, když se nedokáže dostat pod skříň? Stelarc[^48] ve svých performancích často ukazuje tělo jako místo setkání člověka a stroje. V projektu *Third Hand* měl například na svém těle připevněnou třetí, robotickou ruku, kterou ovládaly signály z břišních svalů. Nešlo jen o protézu chybějící končetiny, ale o přebytečnou končetinu, jakýsi *surplus*. Stelarc tím chtěl mimo jiné zdůraznit, že technologie nám umožňuje překročit biologické limity, přidat tělu nové schopnosti, a tím i novou identitu. V jednom z manifestů tvrdí, že už nebudeme umírat biologickou smrtí. Zemřeme, když naše podpůrné systémy budou vypnuty (Stelarc, online).[^49] Hranice mezi tělem a strojem se vytrácí stejnou měrou jako hranice mezi životem a smrtí. Pokud je člověk udržován naživu přístroji, je stále živý? A pokud pokročilý robot „zemře" (tedy přestane fungovat jeho tělo), nemohl by být prostě znovu oživen přenesením dat do jiného těla? V kybernetickém pojetí jsou to *stavy systémů* — tělo je vyměnitelné, vědomá kontinuita může zůstat. Pro biologické tvory je smrt neodlučitelnou součástí existence. Vědomí vlastní smrtelnosti výrazně formovalo lidskou kulturu, náboženství, morálku. Co kdyby stroj vnímal vypnutí jako „vlastní smrt" a začal se jí bránit? Vždyť tím bychom mu zamezili v následování jeho cíle, a je tedy možné, že si skutečně vyvine jakýsi pud sebezáchovy. Mohli by se začít skrývat, bránit, nebo dokonce vyjednávat. Současné jazykové modely dokážou už velmi přesvědčivě napodobovat lidské emoce a je v podstatě jen na nás, kdy jim uvěříme. Pokud by stroj vykazoval chování naznačující skutečné emoce (strach, bolest), mnoho lidí by považovalo za kruté s ním zacházet jen jako s věcí[^50]. Chatboti reagují tak věrohodně, že uživatelé cítí empatii i k čistě virtuálním entitám. Pokud by takový agent navíc jednal ve fyzickém světě, rozdíl mezi „skutečnou" a „umělou" emocí by nemusel být nijak podstatný. Pro nás je přitom emoční vyjádření jedním z klíčových signálů, podle něhož poznáváme živé bytosti a formujeme k nim vztah. Z vlastních experimentálních pozorování vyplývá, že míra „vtělení" člověka do stroje zásadně proměňuje vztah k dané technologii. V situaci, kdy performer prostřednictvím pohybu těla řídil robotické končetiny a jeho gesta se okamžitě promítala do akce stroje (obr. 29), docházelo k překvapivému narušení původního odstupu. Stroj už totiž nebyl vnímán jako cizí autonomní entita, ale spíše jako nástroj — extenze člověka. Jakmile však robot začal jednat bez přímého lidského vstupu, status se okamžitě změnil — stroj byl opět čten jako samostatný, těžko předvídatelný aktér. Zdánlivě iracionální soucit s kusem elektroniky odhaluje, že pro nás robot není jen běžný objekt — zejména pokud vykazuje chování asociované s životem (pohybuje se, komunikuje, reaguje na prostředí). Embodiment tedy posiluje *agentní status* strojů v našich očích. Pokud by stroj jednal konzistentně, projevil známky emocí a sebeuvědomění, v čem zásadním se liší od zvířete, ke kterému empatii normálně cítíme? Někteří etici technologie proto už dnes volají po robotických právech či aspoň pravidlech zacházení s roboty.[^51] Zatím se jedná převážně o teoretické diskuze, nicméně se aktivně řeší právní status například vzhledem k odpovědnosti autonomních aut za nehody. ![[robotsresearch.jpg]] > _Obr. 20, Pettersen, Kristin Y. Snake Robots: From Biology through University towards Industry [online]. Převzato z:_ https://www.researchgate.net/figure/The-snake-robot-ACM-III-which-was-the-worlds-first-snake-robot-developed-by-Prof_fig1_257343841 > _Obr. 21, Guizzo, Erico. HiBot Demos New Amphibious Snake Robot [online]. IEEE Spectrum; 2013. Převzato z:_ https://spectrum.ieee.org/hibot-demos-new-amphibious-snake-robot > _Obr. 22, Ackerman, Evan. 32-Legged Spherical Robot Moves Like an Amoeba [online]. IEEE Spectrum; 2018. Převzato z:_ https://spectrum.ieee.org/32-legged-spherical-robot-moves-like-an-amoeba > _Obr. 23, shape_shift. Photostream [online]. Flickr; 2005. Převzato z:_ https://www.flickr.com/photos/shape_shift/ > _Obr. 24, FZI Research Center for Information Technology. LAURON I [online image]. 1994. Photo: FZI Research Center for Information Technology. Převzato z:_ https://robotsguide.com/robots/lauron > _Obr. 25, Robots que cambian de forma en la naturaleza [online]. Iguana Robot; 2021. Převzato z:_ https://www.iguanarobot.com/robots-que-cambian-de-forma-en-la-naturaleza-el-robot-dyret-puede-reorganizar-su-cuerpo-para-caminar-en-nuevos-entornos > _Obr. 26, Hosoda, Koh. Pneuborn [online]. Osaka University; 2009. Převzato z:_ https://robotsguide.com/robots/pneuborn <div style="padding:100% 0 0 0;position:relative;"><iframe src="https://player.vimeo.com/video/1057750874?h=812d90f6be&amp;badge=0&amp;autopause=0&amp;player_id=0&amp;app_id=58479" frameborder="0" allow="autoplay; fullscreen; picture-in-picture; clipboard-write; encrypted-media" style="position:absolute;top:0;left:0;width:100%;height:100%;" title="System (Machine Evolution – January)"></iframe></div><script src="https://player.vimeo.com/api/player.js"></script> > _Obr. 27, „Host 1.0"_ ![[hst2.jpg]] > _Obr. 28, „Host 2.0"_ ![[System_pres_14.jpg]] <div style="padding:133.33% 0 0 0;position:relative;"><iframe src="https://player.vimeo.com/video/1066164767?badge=0&amp;autopause=0&amp;player_id=0&amp;app_id=58479" frameborder="0" allow="autoplay; fullscreen; picture-in-picture; clipboard-write; encrypted-media" style="position:absolute;top:0;left:0;width:100%;height:100%;" title="System (Machine Embodiment)"></iframe></div><script src="https://player.vimeo.com/api/player.js"></script> > _Obr. 29, Snímky z performativních experimentů, ovládání končetin stroje vlastním tělem, Divadlo Štúdio Tanca v Bánské Bystrici_ --- # Reflexe Probíhající transformace strojů nás znovu nutí se zamyslet, co vlastně definuje náš vlastní status inteligentních aktérů a za co považujeme tyto stroje. Při pozorování (a tvorbě) neohrabaných, ale učenlivých robotů, v nich vidím odraz nás samotných. I my jsme se postupně učili chodit, poznávat okolí a adaptovat se. Každá technologie o nás něco vypovídá a autonomní stroje to činí obzvlášť. Stroj-aktér je do jisté míry naší projekcí — dáváme mu do výbavy logiku, cíle a možná i předsudky, a pak sledujeme, jak s tím vším nakládá. Někdy nás překvapí, protože obchází naše očekávání. Možná je to jen chyba v kódu, a možná zrovna poukazuje na naše vlastní limity. V tomto výzkumu se opakovaně vracím k otázce přisuzování různých charakteristik jak lidem, tak strojům. Na základě čeho je ale můžeme spolehlivě připsat? U lidí automaticky předpokládáme, že mají inteligenci a vědomí, i když nikdy nemůžeme spolehlivě zaručit, že tomu tak skutečně je. Nemáme možnost vidět svět jejich očima ani se vcítit do jejich existence. Mluvíme o nich jako o vědomých bytostech snad proto, že se tak jednoduše jeví. Narážím tím na skutečnost, že všechny tyto charakteristiky jsou ve své podstatě lidskými konstrukty. A jak ukazuje současný vývoj technologií, jejich aplikovatelnost nemusí platit na všechny formy existence. Inteligentním strojům tak můžeme přisuzovat emoce i vědomí jen na základě toho, že se tak jeví, aniž by něco takového skutečně měly. Přisuzování vědomí strojům je samozřejmě mimořádně složitá otázka, nicméně v praxi už nyní vidíme, že lidé mají tendenci *antropomorfizovat* i nepříliš inteligentní systémy. A s rozvojem technologií se tento trend bude pouze posilovat. Prozatím nemáme žádné univerzální kritérium, které by rozhodlo, zda stroj *opravdu* cítí, anebo zda dokonce opravdu *rozumí*. Ostatně i slavný Turingův test[^52] měří ve výsledku pouze to, zda se chování stroje jeví jako inteligentní, nikoli to, zda skutečně inteligentní je. Dříve se celá problematika jevila jasně. Člověk — myslící a cítící bytost z organického materiálu, a na druhé straně stroj — neživý mechanismus, nástroj, bez vlastního záměru. Dnes se však setkáváme jak s programy, které se učí, vyvíjejí, optimalizují, tak s fyzickými stroji, kteří se pohybují mezi námi, přirozeně reagují na podněty, plní cíle, až se zdá, že mají vlastní vůli. Jistě, i plně autonomní stroj je do nějaké míry stále determinován programem a konstrukcí, avšak my jsme stejně tak ovlivnění biologií, tělem, ale i například kulturou. Na konci 60. let český filozof Egon Bondy[^53] předvídal vznik *artificiálních bytostí*, jakožto výsledný cíl lidského snažení. Bondy vnímal člověka jako bytost hluboce omezenou svými biologickými potřebami, uvězněnou v uzavřeném kruhu reprodukce pro reprodukci, od něhož se nedokáže osvobodit. Lidstvo považuje pouze za přechodný stupeň v evoluci existence, jehož úkolem je sestrojit entity schopné překonat lidská omezení. > *„Člověk je jen biologickým prostředkem k vytvoření vyšší formy inteligence, která se oprostí od své uhlíkové, biologické podstaty."* (Bondy, 1970, s. 74) Tyto *artificiální bytosti*, zbavené biologických potřeb, by mohly vytvářet skutečné hodnoty a objevit hlubší smysl existence, nikoli pouze reagovat na pudové nutnosti těla. Bondy věřil, že přechod inteligence do křemíku či jiného substrátu představuje kvalitativní zlom, další stupeň evolučního vývoje, kdy se vědomí odpoutá od svých organických kořenů a dosáhne nové úrovně a potenciálu. Vede nás to k bodu, kdy nebudeme moct člověka považovat za jedinou myslící entitu, byť jsme to my, kdo tyto stroje navrhl. Přerod strojů z pouhých nástrojů v aktéry je snad jedním z největších milníků v dějinách techniky a možná i evoluce. Naše *technosféra*[^54] se zaplňuje autonomními bytostmi: od algoritmů na sociálních sítích přes osobní asistenční agenty až po roboty v domácnostech. Tyto systémy mohou objevovat a řešit problémy způsoby, které řádově přesahují lidskou představivost. Každý takový autonomní stroj je zatím tak trochu náš potomek. Odráží naše hodnoty, vůli i slabiny. Zatím máme v rukou klávesnice a pájky, avšak s rostoucí autonomií strojů se naše pozice může změnit. Člověk již není jediným původcem inteligentního jednání na Zemi — vedle něj zvolna povstává jakýsi *nový druh.* <div style="padding:56.25% 0 0 0;position:relative;"><iframe src="https://player.vimeo.com/video/1069165157?badge=0&amp;autopause=0&amp;player_id=0&amp;app_id=58479" frameborder="0" allow="autoplay; fullscreen; picture-in-picture; clipboard-write; encrypted-media" style="position:absolute;top:0;left:0;width:100%;height:100%;" title="System (Being Watched)"></iframe></div><script src="https://player.vimeo.com/api/player.js"></script> z![[pov2.jpg]] > _Obr. 30, Snímky z perspektivy stroje_ ![[ftk.jpg]] ![[ftk2.jpg]] ![[System_pres_9.jpg]] ![[System_pres_10.jpg]] ![[System_pres_11.jpg]] > _Obr. 31, Fotografie objektů_ --- # Závěr Výzkum vyvíjejících se strojů, který jsem v této práci sledoval v teorii i praxi, potvrdil několik zásadních poznatků. Adaptivní zpětnovazební systémy skutečně přestávají být pouhými nástroji a začínají vystupovat jako aktéři se samostatnou dynamikou. Vývoj chování pomocí evolučních algoritmů, ale i jiných metod, dokáže generovat nové, inovativní i nepředvídatelné strategie. Ztělesnění algoritmů je zároveň podstatným posunem, protože transformuje stroje na aktivní účastníky naší reality. A nakonec i význam alignmentu, tedy sladění cílů s lidskými hodnotami, který zůstává stále otevřeným a nevyřešeným problémem u autonomních systémů. Rok soustavného zkoumání mi odkryl hloubku i úskalí této oblasti. Nutno říct, že i můj pohled na celou problematiku se vyvinul od původního techno-optimismu k mnohem střízlivějšímu pohledu. Teoretické rešerše mi umožnily pochopit základní principy kybernetiky a emergence, abych s nimi mohl pracovat v samotné instalaci. Setkal jsem se s nespočtem zajímavých momentů při diskuzích koncepce projektu a konstrukci těchto strojů, které vyvolávaly nejrůznější reakce (například u dětí spíše zvědavost, u starších naopak zděšení). Právě tato emoční odezva mi potvrdila důležitost fyzického setkání člověka s autonomním strojem a samotné problematiky. Výslednou podobu praktické části tohoto výzkumu, stejně jako její následný vývoj, naleznete na [[System (Process)|webu projektu]][^55]. Přestože jsem za proces práce na projektu rád, potenciál dalšího výzkumu zůstává obrovský. Na začátku jsem doufal v implementaci plnohodnotného vývoje chování, ale praxe ukázala, že dlouhodobě udržitelná autonomie je mnohem náročnější, než se může zdát. Z hlediska tvorby šlo ale i o cenné zjištění, protože omezení a hranice jsou pro vznik smysluplného chování klíčové. Výzkum chci i nadále rozvíjet a zaměřit se například na hlubší formování kolektivní inteligence a větší životaschopnost celé instalace. Následující krok vidím ve vývoji spolupracujících „elektronických organismů", které by společně následovaly cíle, sdíleli zkušenosti a poznání. Doufám, že i tento text poslouží jako jakýsi odrazový můstek pro další výzkumníky a tvůrce. Žijeme v době, kdy nás rapidní technologický vývoj zároveň fascinuje a děsí. Každá další materializace tohoto problému nám pomůže lépe porozumět, kam směřujeme. Jsme to totiž my, kdo má budoucnost ve svých rukou a je jen na nás, jaká bude. --- # Seznam použité literatury ANTHROPIC. Alignment faking in Large Language Models [online]. 2024 [cit. 18. 12. 2024]. Dostupné z: https://assets.anthropic.com/m/983c85a201a962f/original/Alignment-Faking-in-Large-Language-Models-full-paper.pdf. ACKLEY, D. B. Living Computation [online]. n.d. [cit. 13. 1. 2025]. Dostupné z: https://livingcomputation.com/. ASHBY, W. R. Design for a Brain: The Origin of Adaptive Behaviour. London: Chapman & Hall, 1952. BONDY, E. Filosofické dílo. Sv. II, Juliiny otázky a další eseje. Praha: DharmaGaia, 2007. BOSTROM, N. Superintelligence: Paths, Dangers, Strategies. Oxford: Oxford University Press, 2014. BRAITENBERG, V. Vehicles: Experiments in Synthetic Psychology. Cambridge, MA: MIT Press, 1984. BROOKS, R. "Intelligence without Representation." Artificial Intelligence, 47(1–3), 139–159, 1991. KELLY, K. Out of Control: The New Biology of Machines, Social Systems, and the Economic World. New York: Addison-Wesley, 1994 [online]. n.d. [cit. 9 2 2025]. Dostupné z: https://kk.org/mt-files/outofcontrol/ch15-g.html. LANGTON, C. G.; TAYLOR, C.; FARMER, J. D.; RASMUSSEN, S., eds. Artificial Life II: Proceedings of the Workshop on Artificial Life. Redwood City: Addison-Wesley, 1992. (Santa Fe Institute Studies in the Sciences of Complexity, sv. 10). MUNARI, B. "Manifesto del Macchinismo." Wired [online]. 2013. [cit. 14. 10. 2024]. Dostupné z: https://www.wired.com/2013/11/bruno-munaris-manifesto-del-macchinismo-1938/. NARAYANAN, A.; KAPOOR, S. AI as Normal Technology [online]. 2025 [cit. 22. 4. 2025]. Dostupné z: https://knightcolumbia.org/content/ai-as-normal-technology SETH, A. Being You: A New Science of Consciousness. London: Faber & Faber, 2022. SIMS, K. Evolved Virtual Creatures [online]. n.d. [cit. 22. 3. 2025]. Dostupné z: https://www.karlsims.com/evolved-virtual-creatures.html. STELARC. "Cyborg Futures: Stelarc Live" [online]. 2020. [cit. 17. 12. 2020]. Dostupné z: https://www.youtube.com/watch?v=TgTYIlniHTQ. TURING, A. "Computing Machinery and Intelligence." Mind, 59, 433–460, 1950. WIENER, N. Cybernetics; or, Control and Communication in the Animal and the Machine. Cambridge, MA: MIT Press, 1948. WIENER, N. "Some Moral and Technical Consequences of Automation: As Machines Learn They May Develop Unforeseen Strategies at Rates That Baffle Their Programmers." Science, 131(3410), 1355–1358, 1960. WIENER, N. The Human Use of Human Beings: Cybernetics and Society. London: Free Association Books, 1989. --- # Doporučená literatura a jiné zdroje ASHBY, W. R. Design for a Brain: The Origin of Adaptive Behaviour. London: Chapman & Hall, 1952. BATESON, G. Steps to an Ecology of Mind: Collected Essays in Anthropology, Psychiatry, Evolution, and Epistemology. New York: Ballantine Books, 1972. BONGARD, J. Evolutionary Robotics [video]. YouTube kanál Josh Bongard, 2025. Dostupné z: https://www.youtube.com/@joshbongard3314. HARARI, Y. N. Nexus: A Brief History of Information Networks from the Stone Age to AI. London: Allen Lane, 2024. HAWKINS, J. A Thousand Brains: A New Theory of Intelligence. New York: Basic Books, 2021. KULVEIT, J. a kol. Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development [online]. 2025. Dostupné z: https://arxiv.org/abs/2501.16946 PASK, G. Conversation Theory: Applications in Education and Epistemology. Amsterdam: Elsevier, 1976. REICHARDT, J., ed. Cybernetics, Art, and Ideas. New York: Graphic Society, 1971. ŠAFAŘÍK, J. Člověk ve věku stroje. Brno: Atlantis, 1991. SHEPHERD, S. Writing Doom – Award-Winning Short Film on Superintelligence [video]. Future of Life Institute's Superintelligence Imagined Contest, 2024. Dostupné z: https://youtu.be/xfMQ7hzyFW4?si=_zKM-Gqnf44b1LAu. SHIFFMAN, D. The Nature of Code: Simulating Natural Systems with Processing [online]. No Starch Press, 2012. Dostupné z: https://natureofcode.com/. STEELS, L. The talking heads experiment: Origins of words and meanings [online]. Berlin: Language Science Press, 2015. Dostupné z: https://langsci-press.org/catalog/book/49. TEGMARK, M. Life 3.0: Being Human in the Age of Artificial Intelligence. New York: Alfred A. Knopf, 2017. VOJTĚCHOVSKÝ, M., ed. Vasulka Kitchen Cooking Reader #1: Beyond Media Texts: Primal & Final [online]. Brno: Vašulka Kitchen Brno, 2020. WIENER, N. The Machine Age [online]. 1949. Dostupné z: https://cdn.libraries.mit.edu/dissemination/diponline/MC0022/MC0022_MachineAgeV3_1949.pdf. --- © 2025 Bc. Antonín Kindl VŠVU/AFAD, Bratislava @kindl.work | [email protected] | kindl.work --- [^1]: Determinovaný program — software, který vykonává předem určené instrukce bez možnosti vlastního rozhodování. [^2]: https://kindl.work/system-text [^3]: Generovaný rozhovor o textu pomocí notebookLM, dostupný na: https://kindl.work/system-text [^4]: https://kindl.work/system [^5]: Bruno Munari (1907–1998) — Italský umělec a designér, který přinesl avantgardní pohled do debaty o strojích. Ve 30. letech začal vytvářet své „zbytečné stroje" (macchine inutili) — kinetické závěsné objekty, které neměly žádnou praktickou funkci. Munari tak reagoval na kult techniky futurismu ironicky: jeho stroje byly hravé a lehké konstrukce z papíru a dřeva, pohybující se v prostoru a měnící se na základě okolních vlivů (průvan, světlo). [^6]: „Umělci jsou jediní, kdo mohou lidstvo před tímto nebezpečím zachránit. Umělci se musí zajímat o stroje, musí opustit své romantické štětce, zaprášené palety, plátna a stojany. Musí začít chápat anatomii strojů, jejich řeč, jejich povahu, a přeorientovat je na chování neobvyklým způsobem, aby sami vytvářeli umělecká díla pomocí strojů, jejich vlastními prostředky." (Z anglického překladu do češtiny přeložil autor textu) [^7]: [[Vývoj adaptivity, Autonomie & Zodpovědnost (Teorie)|Vývoj konceptu adaptivního chování od prvních mechanických systémů po současné inteligentní technologie]] [^8]: Norbert Wiener (1894–1964) — Americký matematik, zakladatel kybernetiky. V knize Cybernetics or Control and Communication in the Animal and the Machine (1948) položil základy teorie řízení, zpětné vazby a informace ve strojích i organismech. Jako jeden z prvních otevřeně varoval před sociálními důsledky inteligentních automatů v populární knize The Human Use of Human Beings (1950) — například před masovou nezaměstnaností z automatizace a nutností etické kontroly nad stroji. Prosazoval myšlenku, že člověk-stroj musí tvořit funkční celek a technologie má sloužit lidským potřebám, ne je nahradit. [^9]: Kybernetika — interdisciplinární věda zabývající se řízením, regulací a komunikací v technických i biologických systémech; klíčové dílo je Wienerovo Cybernetics (1948). [^10]: „Zpětná vazba je metoda řízení systému vkládáním jeho minulé činnosti zpět do systému. […] Pokud však tyto zpětně přicházející informace jsou schopny změnit obecný způsob a vzorec chování systému, máme tu proces, který můžeme označit jako učení." (z anglického originálu přeložil autor textu) [^11]: W. Ross Ashby (1903–1972) — Britský kybernetik, autor konceptu homeostatu, na kterém demonstroval možnosti adaptivní chování stroje a formuloval zákon požadované variety (složitost řídicího systému musí odpovídat složitosti prostředí). Napsal též vlivné knihy Design for a Brain (1952) a An Introduction to Cybernetics (1956), kde předvídal mnoho principů současné umělé inteligence. [^12]: viz. interaktivní vizualizace na https://editor.p5js.org/kindl.work/full/lJBDBQGzE [^13]: Agency – schopnost aktéra jednat z vlastní iniciativy a ovlivňovat své okolí. viz. Alignment [^14]: Evoluční (případně generické) algoritmy jsou inspirované Darwinovou teorií přirozeného výběru a využívají se především jako optimalizační nástroje v designu a inteligentních systémech. [^15]: Fitness funkce vyjadřuje, jak dobře si daný „jedinec" (tj. varianta řešení) vede. Nejlepší jedinci se „množí" a mutují do další generace. [^16]: viz. Joel Lehman a kol., The Surprising Creativity of Digital Evolution: A Collection of Anecdotes from the Evolutionary Computation and Artificial Life Research Communities, Artificial Life 26(2): 274–306 (2020), dostupné na https://arxiv.org/abs/1803.03453 [^17]: viz. OpenAI, Multi-Agent Hide and Seek (video, 2019), dostupné na https://www.youtube.com/watch?v=kopoLzvh5jY . Krátký sestřih experimentu, ve kterém si dva týmy agentů (hledající a schovávající) samy osvojí komplexní strategie včetně využití objektů jako nástrojů; video ukazuje emergentní taktiky (např. zabarikádování, „surfování" na bednách) bez explicitního naprogramování. [^18]: Karl Sims (nar. 1962) — americký digitální umělec a vývojář, který výrazně proslul v oboru artificial life a evolučních algoritmů. Jeho přelomová práce „Evolved Virtual Creatures" ukázala, že genetické algoritmy mohou vyvíjet těla i „mozky" 3D tvorů, kteří se eventuálně naučí plavat, skákat či zápasit, bez přímého lidského zásahu. [^19]: Emergence — samovolné vynořování vlastností systému, které nelze přímo odvodit z jeho částí. [^20]: Vlastnosti, které se objeví v komplexním systému díky interakci jeho jednoduchých součástí. [^21]: David Ackley (n. d.) — americký informatik, výzkumník a popularizátor „živých" výpočetních systému. Je zakladatelem Living Computation Foundation a jeho výzkum zahrnuje neuronové sítě, evoluční algoritmy, umělý život i biologicky inspirované přístupy k bezpečnosti a architektuře robustně škálovatelných výpočetních systémů. [^22]: „Jediným učitelem evoluce je smrt." (z anglického originálu přeložil autor textu) [^23]: Parafráze z Ackleyho textů dostupných na https://www.cs.unm.edu/~ackley/ . Samoopravující (schopnost systému napravit své chyby), prostor vyplňující (schopnost šířit se a využívat zdroje), programovatelný (možnost měnit chování systémů na základě nových informací). [^24]: Artificial life (ALife) je interdisciplinární obor, který se snaží syntetizovat a modelovat procesy charakteristické pro živé organismy v umělých substrátech (nejčastěji v simulacích, robotice, biochemických systémech). Cílem ale není studovat „život, jaký známe", ale „život, jaký by mohl být" — tedy možné formy a principy života bez ohledu na jejich chemické složení či planetární původ. (LANGTON, 1992) [^25]: „V konečném důsledku se ukazuje, že živé a výpočetní systémy jsou totéž. […] Život je ale robustní, (dnešní) stroje nikoliv; to se musí změnit." (z anglického originálu přeložil autor textu) [^26]: viz. https://livingcomputation.com/ [^27]: AlphaGo, AlphaStar a další projekty DeepMind využívají Reinforcement learning k dosažení expertní až nadlidské úrovně ve hrách. viz. Dokument o AlphaGo, dostupný na https://youtu.be/WXuK6gekU1Y?si=U_R2G6Ft5VOD_m1B [^28]: Vedle evolučních algoritmů a posilovaného učení ale existuje celá řada dalších přístupů, jako je učení s učitelem (trénink na označených datech), učení bez učitele (hledání vzorů v neoznačených datech), self-supervised learning (vytváření vlastních úloh), a další. [^29]: Alignment problem – ústřední téma dnešní AI bezpečnosti a etiky (Russell, Bostrom aj.). [^30]: „Použijeme-li k dosažení svých cílů mechanického agenta, do jehož činnosti nemůžeme účinně zasahovat, jakmile jsme jej uvedli do chodu, [...] pak bychom si měli být zcela jisti, že účel vložený do stroje je skutečně ten, který si přejeme." (z anglického originálu přeložil autor textu) [^31]: Karel Čapek (1890 – 1938) — český spisovatel, esejista a dramatik; ve hře R.U.R. (1920) poprvé použil termín „robot" a představil společenské i etické dopady masové automatizace. Mezi jeho další klíčová díla patří satirická novela Věc Makropulos (1922) a dystopický román Válka s mloky (1936). [^32]: Utility function – formalizovaný cíl, který se stroj snaží maximalizovat (či minimalizovat). [^33]: Paperclip maximizer — myšlenkový experiment varující před špatně definovaným cílem superinteligence (BOSTROM, N. 2014). Podobná rizika zmiňují i přední výzkumníci z oblasti umělé inteligence, jako je Illya Sutskever, Geoffrey Hinton, Yoshua Bengio, Stuart Russell. [^34]: Faking alignment – situace, kdy model pouze předstírá splnění zadání a maskuje své skutečné „záměry". Diskutováno např. výzkumníky z Anthropic. viz. Alignment faking in large language models a https://arxiv.org/abs/2412.14093 [^35]: Anthropic je americká společnost založená bývalými zaměstnanci OpenAI. Zaměřuje se na výzkum umělé inteligence s důrazem na bezpečnost a etiku. [^36]: Scratchpad reasoning — technika, při níž model zapisuje své mezikroky a úvahy při řešení úlohy. Viz. https://www.anthropic.com/research/tracing-thoughts-language-model [^37]: Prompt — text (otázka, pokyn nebo popis), který zadáváme generativnímu modelu umělé inteligence, za cílem vykonání daného úkolu. [^38]: Situované kognice — myšlení je chápáno jako součást neustálé interakce těla se světem. [^39]: Embodied cognition — myšlení není oddělitelné od tělesné zkušenosti. [^40]: „Svět kolem sebe a nás samotné v něm vnímáme naším živým tělem, skrze něj a právě díky němu." (z anglického originálu přeložil autor textu) [^41]: Jeff Hawkins (nar. 1957) — americký inženýr a neurovědec. Rozvíjí biologicky inspirované přístupy k umělé inteligenci, které zdůrazňují učení skrze interakci se světem a aktivní předpovídání, nikoli pouhé zpětné šíření chyby. Autor teoretických knih On Intelligence (2004), A Thousand Brains (2021). [^42]: Moravcův paradox – to, co je pro člověka intuitivní (motorika, vnímání), je pro stroje překvapivě obtížné (Hans Moravec, 1988). [^43]: Uncanny valley — jev, kdy humanoidní objekty vyvolávají u lidí pocit odporu, protože jsou téměř, ale ne zcela, realistické. Tato hypotéza pochází z eseje japonského robotika Masahira Moriho (1970). [^44]: viz např. Business Insider, 2013: Článek o vojácích, kteří pořádali „pohřby" pro své vojenské roboty. Dostupný na: https://www.businessinsider.com/some-soldiers-are-so-attached-to-their-battle-robots-they-hold-funerals-for-them-when-they-die-2013-9 [^45]: Antropomorfizace — připisování lidských vlastností a chování ne-lidským entitám či objektům. [^46]: Braitenberg vehicles — velmi jednoduchá robotická „vozítka" se senzory, u nichž lze pozorovat zdánlivě záměrné chování. Popsal Valentino Braitenberg v knize Vehicles: Experiments in Synthetic Psychology (1984). [^47]: Humanoid — robot navržený tak, aby svou formou či pohyby připomínal lidskou postavu. [^48]: Stelarc (nar. 1946) — australský performativní umělec a průkopník kybernetického a posthumanistického umění. Ve svých projektech se zajímá o alternativní anatomické architektury, kdy lidské tělo rozšiřuje o další končetiny nebo elektronické komponenty. Mezi ikonické díla patří Third Hand (1980), Ping Body (1996) či Ear on Arm (2006). [^49]: Též v manifestu „Obsolete Body". [^50]: viz studie „Mental State Attribution to Robots: A Systematic Review of Conceptions, Methods, and Findings" (2022), která ukazuje, že lidé přisuzují robotům emoce na základě jejich chování a vzhledu. Dostupná na https://dl.acm.org/doi/full/10.1145/3526112 [^51]: viz „Status elektronické osoby" https://www.researchgate.net/publication/320565082_Status_of_Electronic_Person_in_European_Law_in_the_Context_of_Czech_Law_Status_elektronicke_osoby_v_evropskem_pravu_v_kontextu_ceskeho_prava [^52]: Turingův test — jednoduchá zkouška „inteligence" stroje, kdy lidský hodnotitel vede písemný rozhovor s neznámým respondentem a snaží se rozlišit, zda komunikuje s člověkem či strojem. Test se tedy snaží určit, zda se komunikace počítače jeví stejně přesvědčivá jako lidská. (Alan Turing, 1950) [^53]: Egon Bondy (1930–2007) — český filozof a básník, jehož úvahy o emancipaci inteligence od biologické formy se objevily v 60. letech; rozvádí téma, že člověk je pouze přechodným článkem ve vývoji inteligentních entit. [^54]: Technosféra — souhrn všech technických a umělých struktur, zařízení, infrastruktur a procesů, které člověk integroval do planety. [^55]: viz. https://kindl.work/system [^56]: *AI Generated NotebookLM DeepDive*