AI-ontwikkelaars realiseren zich dat AI-‘agenten’ mensen niet kunnen vervangen – AI ‘niet te vergelijken met mensen of zelfs dieren’.

Heeft Andrej Karpathy gelijk over de overdreven hype rond AI?

door The Information

Uittreksels:

Andrej Karpathy, een van de oprichters van OpenAI, gooide vrijdag koud water op het idee dat kunstmatige algemene intelligentie voor de deur staat. Hij zette ook vraagtekens bij verschillende aannames over AI die zijn gedaan door de grootste voorstanders van de industrie, zoals Dario Amodei van Anthropic en Sam Altman van OpenAI.

De hoog aangeschreven Karpathy noemde reinforcement learning – misschien wel het belangrijkste onderzoeksgebied op dit moment – “verschrikkelijk”, zei dat AI-aangedreven coderingsagenten niet zo spannend zijn als veel mensen denken, en zei dat AI niet kan redeneren over iets waarvoor het niet is getraind.

Zijn opmerkingen, uit een podcastinterview met Dwarkesh Patel, vonden weerklank bij enkele AI-onderzoekers met wie we spraken, waaronder onderzoekers die ook bij OpenAI en Anthropic hebben gewerkt. Ze sloten ook aan bij opmerkingen die we eerder dit jaar hoorden van onderzoekers op de International Conference on Machine Learning.

Veel van Karpathy’s kritiek op zijn eigen vakgebied lijkt neer te komen op één punt: Hoe graag we grote taalmodellen ook antropomorfiseren, ze zijn niet te vergelijken met mensen of zelfs dieren in de manier waarop ze leren.

Zebra’s staan bijvoorbeeld al enkele minuten na hun geboorte op en lopen rond, wat suggereert dat ze met een zekere mate van aangeboren intelligentie worden geboren, terwijl LLM’s een enorm proces van vallen en opstaan moeten doorlopen om nieuwe vaardigheden te leren, aldus Karpathy.

Dit leidt tot een heleboel problemen, waarvan er veel draaien om het idee dat LLM’s moeite hebben met dingen die betrekking hebben op onderwerpen of informatie buiten de gegevens waarop ze zijn getraind. In AI-jargon betekent dit dat modellen niet “generaliseren”.

Een voorbeeld van hoe LLM’s anders leren dan mensen is te zien in reinforcement learning, de model trainingstechniek du jour die een model beloont voor het bereiken van bepaalde doelen en het bestraft voor ander gedrag.

Karpathy wijst erop dat RL het leerproces te veel vereenvoudigt: alleen omdat een model uiteindelijk tot het juiste eindantwoord komt, betekent dat nog niet dat elke stap die het tot dat punt heeft gezet correct was, en vice versa. (Karpathy vergeleek RL met “sucking supervision through a straw”.)

Mensen zijn daarentegen in staat om dieper na te denken over hun denkprocessen, en niet alleen over het eindresultaat. Een oprichter die een succesvol bedrijf wil opbouwen, kan bijvoorbeeld nadenken over het proces van het opbouwen van een bedrijf en bedenken wat er goed of fout is gegaan, om die inzichten mee te nemen naar zijn volgende bedrijf, ongeacht of het eerste bedrijf uiteindelijk succesvol was.

De AI-versie hiervan zou zijn om een model feedback te laten krijgen over elke stap van zijn denkproces, een aanpak die sommigen hebben geprobeerd, maar die erg duur en omslachtig kan zijn.

Het is passend dat OpenAI dit weekend, kort na het verschijnen van het interview met Karpathy, in moeilijkheden kwam omdat het beweerde dat GPT-5 nieuwe wiskundige problemen had opgelost, terwijl het in werkelijkheid alleen maar de antwoorden had opgezocht.

Misschien zijn we verder verwijderd van het automatiseren van AI-onderzoek dan we dachten!

Dit alles laat zien dat het goed is om af en toe sceptisch te zijn en te luisteren naar experts die geen reden hebben om de vooruitgang van AI te hypen om miljarden dollars binnen te halen van durfkapitalisten en andere investeerders. (Volledig artikel – abonnement vereist.)

Een realiteitscheck voor agenten

Rond het begin van dit jaar zeiden leidinggevenden bij aanbieders van kunstmatige intelligentie, zoals OpenAI en Salesforce, dat 2025 “het jaar van de agenten” zou worden, waardoor het leek alsof volledig autonome AI binnenkort de banen van mensen zou overnemen.

Sindsdien hebben Salesforce, Microsoft, SAP en vele anderen ongeveer zeven soorten agenten gepitcht om white-collar-taken te automatiseren op gebieden als codering, HR, financiën en verkoop.

Maar de belofte van echt autonome agents is nog steeds niet waargemaakt en technologische leiders waarschuwen bedrijven om hun verwachtingen bij te stellen.

Andrej Karpathy, een van de oprichters van OpenAI en een vooraanstaand figuur in AI-onderzoek, gelooft dat het nog minstens tien jaar zal duren voordat AI hele banen op een zinvolle manier kan automatiseren,

“zoals een werknemer of stagiair die je zou aannemen om met je samen te werken”.

In een podcastinterview gaf hij een harde beoordeling van de huidige mogelijkheden van AI, deels omdat grote taalmodellen cognitie missen, en stelde hij dat de meeste banen nog steeds niet kunnen worden geautomatiseerd.

“Over het algemeen zijn de modellen er nog niet”, zei Karpathy tegen podcaster Dwarkesh Patel.

“Ik heb het gevoel dat de industrie een te grote sprong maakt en doet alsof dit geweldig is, maar dat is het niet. Het is rommel. Ze kunnen het niet accepteren en misschien proberen ze geld op te halen of iets dergelijks.”

Karpathy’s opmerkingen vonden weerklank bij bedrijfsleiders die in de frontlinie staan bij het gebruik van AI-agenten, die het afgelopen jaar herhaaldelijk op hindernissen zijn gestuit bij hun pogingen om AI zonder fouten complexe taken op de werkplek te laten uitvoeren.

“Het is tegenwoordig in de mode om deze tools ‘agenten’ te noemen, maar agent betekent niet echt autonoom”, aldus Donzé.

“Er is de marketingonzin die zegt dat alles autonoom zal worden, en daar zit een kern van waarheid in, maar ze kunnen alleen autonoom zijn in beperkte gebruikssituaties.”

Anderen zeggen dat ze AI-agenten gebruiken om sommige werknemers te vervangen, maar merken op dat de agenten meer toezicht nodig hebben dan die werknemers doorgaans zouden hebben.

Sahil Lavingia, CEO van de e-commerce marktplaats-app Gumroad, zei dat hij zijn engineeringteam heeft teruggebracht tot ongeveer een dozijn mensen, tegenover meer dan 40 twee jaar geleden, dankzij AI-codeeragenten, maar dat het resterende personeel veel tijd besteedt aan het dubbel controleren van het werk van de agenten.

“Ik vind het interessant dat ik sommige banen van 400.000 dollar per jaar [met agenten] kan vervangen, maar ik kan ze niet volledig vervangen. Ik heb gewoon iemand anders die ik 400.000 dollar betaal om agenten te managen, zodat ze vier keer zo productief worden, en dan drie mensen ontslaan”, aldus Lavingia.

“Door AI gegenereerde code moet worden gecontroleerd, omdat de productervaring nog niet door de AI kan worden gevalideerd, en dat is een andere taak dan coderen.”

Vorige week deelde OpenAI-onderzoeker Sebastien Bubeck op X een indrukwekkende prestatie van het GPT-5-model van OpenAI: de AI hielp onderzoekers bij het vinden van de oplossing voor verschillende moeilijke vermoedens in de wiskunde, bekend als Erdos-problemen, die decennia geleden voor het eerst werden geformuleerd door de 20e-eeuwse wiskundige Paul Erdos.

Kevin Weil, vicepresident van OpenAI for Science, prees dezelfde prestatie en zei dat GPT-5 “oplossingen had gevonden” voor tien Erdos-problemen die “al tientallen jaren openstonden”.

Sommigen beschouwden de aankondigingen als bewijs dat de modellen van OpenAI steeds beter werden in complexe wiskunde. Maar Oxford-onderzoeker Thomas Bloom, die de online database van Erdos-problemen bijhoudt waar Bubeck naar verwees, temperde vrijdag een deel van dat enthousiasme.

Dat komt omdat, zoals Bloom op X opmerkte, GPT-5 de wiskundige problemen in kwestie niet echt heeft opgelost; het bracht alleen online publicaties aan het licht van andere wiskundigen die die problemen al hadden opgelost.

De problemen stonden op de site van Bloom als “open” vermeld omdat Bloom zelf niet wist dat anderen ze hadden opgelost, zei hij in een reactie op Weil.

Weil en Bubeck verwijderden hun berichten en zeiden in latere berichten dat ze wilden verduidelijken dat GPT-5 nuttig bleek te zijn bij het vinden van relevant onderzoek, niet bij het oplossen van wiskundige problemen.

Sommige concurrenten van OpenAI reageerden snel, zoals Demis Hassabis, CEO van Google DeepMind, die de oorspronkelijke post van Weil “gênant” noemde. (Volledig artikel. Abonnement vereist.)