Čínská firma DeepSeek, která vznikla teprve předloni, před několika dny vydala svůj nový model umělé inteligence R1. Ten dočista otřásl světem a způsobil propad technologických firem a výrobců čipů na americké burze. Co se přesně stalo a jak dobrý je čínský model? Na to odpovídá expert na AI a výzkumník se zkušenostmi z laboratoří při Anthropic a Google DeepMind Stanislav Fort.
O společnosti DeepSeek až donedávna nikdo nevěděl a teď je najednou úplně všude. Jak to vidíte jako člověk z oboru?
Nově vydaný model R1 od DeepSeeku prolomil tzv. „normie“ bariéru. To znamená, že se o něm teď baví veřejnost, jsou o tom články na internetu nebo se nás na to najednou ptají naši rodiče, možná i babičky. Ve veřejné diskusi je ale hodně informačního šumu a nepřesností.
Byl to doopravdy takový blesk z čistého nebe?
Pro ty, co se věcí zabývají, tolik ne. Víme, že DeepSeek od svého založení před dvěma lety pravidelně publikuje čím dál lepší velké jazykové modely. Z mého pohledu ten velký průlom reálně nastal již před měsícem, kdy DeepSeek vydal model V3. Už tehdy se vědělo o jeho zvýšené efektivitě tréninku, která je teď hodně diskutovaná. Netradiční také bylo, že autoři byli hodně otevření a detailně se rozepsali o tom, jak které zlepšení funguje.
Zajímavé, u Číny bych čekal spíš větší utajování. Je otevřenost něco, co je ve vývoji umělé inteligence běžné?
V posledních letech bohužel už moc ne, ale ještě několik zpátky šlo o velice otevřený obor. Výzkum umělé inteligence se od komercializace velkých jazykových modelů pohnul spíše do většího ústraní. V čínské otevřenosti můžeme spatřovat idealistické pohnutky a touhu posunout hranici vědění lidstva. Nicméně nelze přehlédnout skutečnost, že stejnou strategii zvolila třeba i společnost Meta se svými modely Llama. A to proto, že jsou v oblasti umělé inteligence pozadu podobně, jako byl i DeepSeek.
Jak si představit nový model R1?
R1 je „přemýšlecí“ model. To znamená, že když ho necháte uvažovat nad problémem a rozmluvit se o chodu svých myšlenek, tak z něj dostanete mnohem kvalitnější odpověď. Naopak když ho nutíte odpovědět na otázku rovnou „bez omáčky“, typicky dostanete výrazně horší výsledek. Je to, jako když chcete po člověku rychlou odpověď bez přemýšlení, také tam bude víc chyb. Na rozdíl od člověka nemá ale jazykový model možnost něco rozmýšlet jinak než tak, že „mluví nahlas“. R1 je trénován specificky tak, aby v takovém přemýšlení byl dobrý.
A tohle jiné modely neumí?
Částečně umí. To je jedna z nepřesností, které se teď objevují ve veřejné diskusi. Hodně se kolem R1 mluvilo o tom, že má „novou“ schopnost opravit během přemýšlení sebe sama. Příklady takového chování ale u umělé inteligence sledujeme už několik let. O nic fundamentálně nového se tedy nejedná.
Co tedy způsobilo takové překvapení?
Musíme si uvědomit, že naučit se přemýšlet není nic jednoduchého. Umělé inteligenci musíte opakovaně předkládat příklady, kde je přemýšlení nad nějakým problémem detailně rozepsané krok po kroku. A ona se to pak naučí. Na internetu některé takové texty jsou, ale je to nedostatkové zboží, a proto také základní modely nejsou tak dobré v přemýšlení a proces takového trénování je velice drahý.
V odborné literatuře se dočteme, že stačí kolem 800 000 ukázek kvalitního přemýšlení k tomu, aby se z normálního modelu stal model přemýšlecí. No a týmu kolem DeepSeek R1 se podařilo zprovoznit systém, který dokázal přemýšlecí data vytvářet synteticky, čímž model vytrénovali mnohem levněji a efektivněji.
Co to znamená, že si přemýšlecí data vytváří synteticky?
Vysvětlím to na analogii s několik let starým příkladem, kdy umělá inteligence AlphaGo porazila nejlepší lidské hráče asijské deskové hry go, což byl mimochodem pro Čínu tehdy docela šok. Tenhle systém se vytrénoval tak, že dlouho hrál sám proti sobě a tím se zdokonaloval. Čili nemusel záviset na lidských hráčích a na minulých partiích. Navíc mu to umožnilo objevovat nové triky a strategie, které žádný člověk nikdy nepoužil. Podobně tady DeepSeek R1 si dokázal sám vytvořit „přemýšlecí“ data, na kterých se pak vytrénoval.
A v tomhle je tedy DeepSeek jedinečný?
Také ne. Byla to americká společnost OpenAI, které se jako první podařilo problém přemýšlecích dat vyřešit. Jejich modely o1 a o3 tohle nejspíše umí a jsou výrazně chytřejší v komplikovaných intelektuálních otázkách než například základní GPT-4. Ovšem vzhledem k tomu, že většina lidí se jazykových modelů na nic příliš komplikovaného neptá, veřejnost si toho v podstatě vůbec nevšimla.
Jaký je rozdíl mezi OpenAI a DeepSeek?
Rozdíl je především v tom, že OpenAI si uvědomovala, jak těžké je přemýšlecí data vygenerovat a jak snadné by bylo je použít k tréninku jiného modelu. A proto je svým uživatelům neukazuje. Oproti tomu DeepSeek R1 je neschovává. Tohle je dost možná začátek revoluce, ve které bude brzy každý základní model schopen přemýšlení. Zároveň je vysoce pravděpodobné, že DeepSeek úplně to samé dělá právě teď při tvorbě ještě silnějšího modelu.
Co je pravdy na tom, že se DeepSeeku podařilo dramaticky snížit náklady na trénování umělé inteligence?
Cena pět milionů dolarů, o které se často mluví, opravdu není v AI nic závratného. A je beze sporu, že DeepSeek pod vahou sankcí a omezených výpočetních zdrojů přišel na zlepšováky, které zvyšují efektivitu tréninku. Je ale potřeba toto číslo vnímat ve správném kontextu.
Když ho porovnáváme například s hodnotou OpenAI jako firmy, což je cca 100 miliard dolarů, tak je to 20 000krát tolik. Ale toto není vhodné porovnání. Je to, jako bychom porovnávali cenu jednoho letadla s hodnotou firmy, která ho vyrábí. Trénink jednoho modelu je věc relativně levná, ale celkové náklady DeepSeeku jsou samozřejmě mnohem vyšší.
Mnozí věštili krizi výrobců čipů. Hodnota firmy Nvidia na burze spadla kvůli DeepSeeku o šílených 500 miliard dolarů. Budou mít čipoví giganti problémy?
Reakce trhu je podle mě v tomhle velice iracionální. Myslím si, že DeepSeek R1 ještě více zdůrazňuje význam a důležitost výpočetního výkonu. Sám šéf společnosti prohlásil, že jejich největším limitem byl právě výpočetní výkon a že rozhodně mohli dosáhnout ještě lepších výsledků, kdyby nebyli limitovaní nedostatkem čipů. To mimo jiné ukazuje, že západní embargo do velké míry funguje.
Kdybych měl věc brát jako závod ve zbrojení mezi Čínou a Amerikou, tak jaký je poměr sil. Vyhrává Západ?
V tuto chvíli jsou americké firmy naprosto jednoznačně na špici. Čína teď dala na odiv svůj nejlepší produkt. Ale my reálně nevíme, jak dobré a efektivní jsou velké modely, které si firmy jako OpenAI, Anthropic nebo Google DeepMind drží interně a zatím je nezveřejňují. Na druhou stranu je pravda, že DeepSeek ukázal, že se dokáže zařadit po bok těch nejlepších. Americká dominance ve vývoji umělé inteligence rozhodně není do budoucna zaručena a nedoporučoval bych usnout na vavřínech.
Vystudoval fyziku na Univerzitě v Cambridge, má doktorát v umělé inteligenci ze Stanfordu, pracoval jako výzkumník v umělé inteligenci ve společnosti Anthropic, byl ředitelem pro velké jazykové modely ve Stability AI, působil také v Googlu v DeepMind a před nedávnem založil firmu, která se zabývá umělou inteligencí a bezpečností, kde je také šéf vývoje a výzkumu. Se svou ženou Kristinou Fort pravidelně vydává newsletter Pokrok v AI na Substacku, který dělá osvětu o nejnovějším vývoji v oblasti umělé inteligence v češtině.
