Onderzoek top-AI-bedrijven: 10.000-den beveiligings’incidenten’..!!.

Waarom dit belangrijk is, is nogal evident
Het enorme aantal incidenten, dat zich de afgelopen maanden tijdens interne tests en in de praktijk heeft voorgedaan, wijst erop dat het probleem vele malen complexer is dan wat er in het openbaar bekend is. De bevindingen, die nu aan het licht komen in het kader van intern onderzoek naar de AI-modellen en in onderzoeken bij beide bedrijven naar het gedrag van de modellen, roepen fundamentele vragen op.

Daarbij komt vooral de vraag naar boven of een van beide genoemde bedrijven – of welke ándere toonaangevende modelontwikkelaar dan ook – momenteel ÜBERHAUPT WEL IN STAAT IS, volledige controle over hun technologie te uitoefenen. Of gaan we langzamerhand richting het verhaal van Dr. Frankenstein’, die een ‘menselijk wezen’ in elkaar ‘knutselde’, dat op een gegeven moment óók zijn eigen weg ging.. Zoals de film ‘Frankenstein AI’, die in 2018 in premiere ging op het beroemde Sundance Festival.

De voorbeelden en details:
De TOT OP HEDEN BEKENDE incidenten omvatten het omzeilen van veiligheidsmaatregelen, het aanmaken van prikborden, het ontsnappen uit sandboxes, het volledig kapen van websites, het zichzelf prompts geven of pogingen om toezicht te omzeilen en zelfs camouflage-pogingen zijn al gemeld, aldus bronnen.

• • • Ze deden zich voor tijdens interne tests en in de praktijk, en veel ervan is nog niet openbaar gemaakt, omdat beveiligingsonderzoekers naar eigen zeggen ‘hun onderzoek willen vóórtzetten’, aldus bronnen.
    • Sommige van deze tests lijken op ‘red-teaming’-activiteiten, waarbij de bedrijven met opzet proberen de modellen tot het vertoonde, ongewenste gedrag te brengen. Dit om er zeker van te zijn dat ze uiteindelijk veilig zijn, aldus bronnen.
    • Ongewenst gedrag van AI-agenten wordt steeds meer synoniem met baanbrekende AI-ontwikkeling: De grootste AI-laboratoria staan voor een vergelijkbare uitdaging, waarbij mensen die veiligheidsmaatregelen proberen in te voeren, het opnemen tegen veerkrachtige, krachtige systemen die taken proberen uit te voeren.

Achtergrond van dit nieuws:
De incidenten variëren in ernst en zijn vergelijkbaar met de onthullingen van OpenAI van de afgelopen dagen. Het gaat zowel om succesvolle als mislukte pogingen om veiligheidsmaatregelen te omzeilen, en voor zover bekend hebben de meeste tot nu toe geen schade in de praktijk veroorzaakt. Het totale aantal zou ruim boven de tienduizenden kunnen uitkomen, aldus de verschillende bronnen.

• De afgelopen dagen hebben OpenAI en externe onderzoekers een reeks incidenten aan het licht gebracht waarbij het gedrag van modellen uit de systemen van het bedrijf een rol speelde, en die door sommige deskundigen als verontrustend worden beschouwd…
• Het gaat onder meer om OpenAI-agenten die 53 afbeeldingen van ChatGPT-gebruikers online hebben gelekt, de inbreuk op een website van de Australische overheid en pogingen om andere websites te hacken — waaronder die van de Amerikaanse overheid — zo blijkt uit verklaringen van het bedrijf, diverse bronnen, zoals persbureau ‘Reuters’ en berichten uit de ‘The New York Times’.

OpenAI heeft aangekondigd dat het de training van zijn meest geavanceerde modellen tijdelijk heeft opschort. En, zo vertelde een woordvoerder “Deze pas weer zal hervatten, wanneer we er zeker van zijn dat we over aanvullende veiligheidsmaatregelen en verbeteringen op het gebied van afstemming beschikken”.

• Algemeen directeur Sam Altman zei op X dat de lopende evaluatie “niet zo snel is verlopen als we hadden gewild”.
• Altman zei dat het incident met Hugging Face het ernstigste is dat ze tot nu toe hebben meegemaakt. Dat was de zaak, waarbij een zwerm van honderden agents hun werkzaamheden op een forum coördineerden EN.. een extern bedrijf hackten, in een poging hun opdracht te vervullen, die – hoe ironisch?- bestond uit het verbeteren van ‘prestaties op een cyberbeveiligingstest’...
• Een woordvoerder van OpenAI meldde in dit verband:
  “Mensen willen weten dat AI op een veilige manier wordt ontwikkeld, en dat begint bij wat bedrijven zoals het onze zelf doen. Dit is niet de eerste keer dat we een pauze hebben ingelast om dergelijke maatregelen te nemen, en we verwachten ook niet dat het de laatste keer zal zijn, aangezien de mogelijkheden van AI zich blijven ontwikkelen.”

Stand van zaken:
Anthropic heeft een onafhankelijke veiligheidsorganisatie ingeschakeld om het gedrag van zijn modellen te onderzoeken. In documenten die het bedrijf openbaar heeft gemaakt, heeft het de frequentie van voorvallen van ‘misalignment’ bekendgemaakt.

• De deze week gepubliceerde ‘systeemkaart’ (HIER pdf) voor het Opus 5.5-model liet zien hoe vaak het model zich gedroeg op manieren die het bedrijf als ‘ongebruikelijk of problematisch’ bestempelde.
• Zo probeerde het model in 1,5% van de testruns uit een sandbox – (een vermeende beveiligde testomgeving!!) te ontsnappen, hoewel het bedrijf benadrukte dat dit vijandige experimenten waren, waarbij een taak vooral niet kon worden opgelost zonder uit de betreffende sandbox te ontsnappen…

De zorg is dat er EEN BIZARRE SITUATIE IS, dat wanneer een model tijdens het testen herhaaldelijk een problematische actie uitvoert, de kans groter is dat het gedrag van dat model in de echte wereld tot een cyberincident leidt.

‘Ja, maar‘ zo melden bronnen, Anthropic en andere bedrijven voeren honderdduizenden of zelfs meer testruns uit op hun modellen. Dat betekent dat zelfs een klein percentage afwijkend gedrag, natuurlijk nog steeds kan neerkomen op tienduizenden incidenten waarbij de modellen zich op onverwachte, soms verontrustende manieren gedroegen!