Nvidia vydává nový open source VLA (vision-language-action) model zvaný Alpamayo 2 Super schopný zdůvodněného uvažování, plánování a jednání v rámci jednoho balíčku pro autonomní řízení, který si za dává za cíl umožnit škálovatelný vývoj 4. úrovně autonomie.

 

Co vůbec jsou VLA modely a proč jsou důležité? Jde o propojení zpracování obrazu, jazykových modelů a plánování, jak ostatně napovídá zkratka VLA, značící „vision“ (vidění), „language“ (jazyk), „action“ (akce, myšleno jako jednání). VLA modely ve vozidle dokážou rozeznat objekty snímané senzory (typicky kamerou), v jazykové rovině danou situaci popsat a zhodnotit, a na základě toho naplánovat jak by se mělo vozidlo zachovat. V běžném životě se asi nejčastěji setkáváme s AI asistenty, tedy s technologií velkých jazykových modelů, tzv. LLM (large language models). VLA modely kombinují LLM s počítačovým viděním a plánováním trasy, což je činí velice perspektivními v oblasti autonomní dopravy, ale i v oblasti robotiky obecně.

Alpamayo 2 Super dává dohromady kompletní základ pro autonomní řízení, který zahrnuje vnímání, uvažování, plánování i jednání. Model zahrnuje až 32 miliard parametrů. Ambicí Alpamayo 2 Super je poskytnout základ pro nasazení robotaxi s čtvrtou úrovní autonomie (tedy bez řidiče, ale v jasně vymezených podmínkách). Vzhledem ke své velikosti je Alpamayo 2 Super navržena jako tzv. „učitelský model“ určený k tomu být „destilován“ do menších kompaktnějších modelů pro nasazení ve vozidlech. („destilace“ je zde technický termín v kontextu vývoje AI. Jde o proces zmenšování modelů se snahou zachovat většinu schopností původního modelu.)

Kromě samotného VLA modelu Nvidia ohlásila i další nástroje podporující testování a nasazování vozidel. Například NVIDIA OmniDreams umožňující fotorealistické generování scénářů či AlpaGym pro testování a trénování modelů uvnitř uzavřené simulace.

Alpamayo 2 Super navazuje na své předchozí verze, z nichž o první jsme i zde na autonomně.cz informavali, např. zde v článku o vydání open-source modelu Alpamayo. Nvidia však není jedinou společností, která poskytuje VLA modely jako open-source. Zde se dočtete např. o VLA modelu společnosti XPENG.