Efter Hugging Face: kontroll kräver också automatisering

I juli utsattes AI-plattformen Hugging Face för ett intrång som genomfördes av autonoma AI-agenter. I debatten efteråt har risken att förlora kontrollen över autonoma system fått stor uppmärksamhet, bland annat i 80,000 Hours genomgång av kontrollriskerna. Men bolaget använde också AI för att upptäcka intrånget och analysera över 17 000 registrerade händelser. Enligt företagets egen incidentrapport kunde analysarbete som normalt tar dagar genomföras på timmar. AI spelade alltså en roll både i angreppet och i arbetet med att hantera det.

Behovet av AI-stöd blev tydligt även i den oberoende utredningen. Forskarna från METR och Redwood Research använde själva agenter för att gå igenom det omfattande materialet. De skriver att en motsvarande granskning hade varit omöjlig att genomföra på den tid de hade till förfogande utan AI-stöd. Samtidigt gjorde analysagenterna fel och brast i omdöme. Forskarna beskriver i sin redovisning av metod och begränsningar svårigheten att kontrollera agenternas arbete som en begränsning i utredningen.

Erfarenheterna är relevanta för organisationer som använder agenter, antingen i egna lösningar eller genom verktyg och tjänster de köper in. När stora mängder information ska analyseras på kort tid kan manuella genomgångar bli en flaskhals. Agenter kan hjälpa till att gå igenom mer material och hitta det som kräver uppmärksamhet. För att resultaten ska vara användbara behöver de ansvariga också kunna se vad slutsatserna bygger på, vilka uppgifter som saknas och vad som är osäkert.

Leverantörsuppföljning visar hur tekniken kan användas utanför det direkta cyberförsvaret. En ny digital tjänst kan föra med sig ytterligare avtal, underleverantörer och informationsflöden att granska. Arbetet fortsätter efter inköpet: när tjänstens innehåll ändras eller nya parter tillkommer i leverantörsledet behöver den ursprungliga bedömningen ses över.

För en organisation som inför flera nya tjänster under ett år kan det bli ett omfattande arbete. Avtalen ser olika ut, informationen om leverantörernas säkerhetsarbete behöver sammanställas och vissa bilagor måste hämtas in. Under tiden fortsätter uppföljningen av befintliga leverantörer. Om de ansvariga inte hinner med riskerar granskningar att skjutas upp och ofullständiga underlag att bli liggande.

Risken med att avstå från automatisering behöver därför bedömas utifrån vad organisationen faktiskt hinner granska. När uppföljningen släpar efter kan beslut komma att fattas på ofullständiga eller inaktuella underlag. Den konsekvensen behöver också vägas in när man tar ställning till om och hur agenter ska användas.

På Bounded använder vi agenter för att granska avtal och sammanställa leverantörsinformation. Det gör det möjligt att följa upp fler leverantörer med mindre manuellt arbete. Ansvariga personer får en tydligare bild av vilka avtalsvillkor som behöver kompletteras och vilka uppgifter som saknas.

I en avtalsgranskning kan agenten exempelvis undersöka hur villkoren förhåller sig till angivna krav och hänvisa till de klausuler som ligger till grund för bedömningen. Den som granskar resultatet kan kontrollera slutsatserna mot originaltexten. Om en avgörande bilaga saknas ska även det framgå, tillsammans med hur det begränsar bedömningen. Bounded kan också ta fram förslag till ändringsavtal utifrån identifierade avtalsbrister, så att organisationen har ett konkret underlag att granska och diskutera med leverantören.

För att använda tekniken säkert behöver organisationen också bestämma vad agenterna får göra och vilken information de får tillgång till. En agent kan få läsa utvalda dokument och ta fram ett utkast, medan ett utskick till leverantören eller ett godkännande av nya villkor kräver ett separat beslut. Sådana gränser behöver upprätthållas genom behörigheter och kontroller i arbetsflödet. Brittiska NCSC betonar i sina råd om säker användning av agenter att graden av autonomi och skyddsåtgärderna ska anpassas till uppgiften och konsekvenserna av fel, och att instruktioner till modellen behöver kompletteras med tekniska och operativa skydd.

När organisationen väljer verktyg som använder agenter behöver säkerhetsansvariga formulera kraven på säker användning. Leverantören behöver kunna visa hur agenternas handlingsutrymme begränsas och hur resultaten kan granskas. Genom att börja med ett avgränsat arbetsflöde blir det lättare att pröva nyttan och kvaliteten innan användningen breddas. Inom leverantörsuppföljningen kan man exempelvis följa hur stor del av underlagen som är aktuella, hur lång tid det tar från ny information till en bedömning och vilka typer av fel som uppstår i analyserna.

Att hinna granska nya tjänster och samarbeten ger också bättre förutsättningar att utveckla verksamheten. Beslutsunderlagen kan bli klara tidigare och ge möjlighet att hantera brister innan organisationen går vidare. På så sätt kan effektivitet och kontroll stärka varandra.

Den lärdom vi tar med oss från Hugging Face är att säkerhetsarbetet också behöver dra nytta av teknikens möjligheter. Organisationen behöver kunna granska och följa upp i den takt verksamheten kräver. Att hålla fast vid arbetssätt som inte längre räcker till är också ett risktagande.