De nya AI-baserade språkmodellerna, som omtalade Chat GPT (som bygger på Open AI:s GPT-3-teknik), används inte bara för att experimentera, utan även i arbetslivet för att skriva text eller till och med kod, eller för att inhämta information.
Inom cybersäkerhetsbranschen förbereder man sig nu också för hur de kan användas i mer illvilliga syften.
Computer Sweden har tidigare skrivit om hur cybersäkerhetsexperter ser både möjligheter och farhågor med utvecklingen.
På den finska säkerhetsleverantören Withsecure (tidigare F-Secure Business) har de genomfört ett forskningsprojekt där de studerat hur illasinnade aktörer kan använda sig av språkmodeller baserade på GPT-3-teknik och i en ny rapport identifierat ett antal områden där spelplanen kan förändras.
Utvecklingen går snabbt
Andy Patel, AI-forskare som lett projektet, säger i en intervju med Computer Sweden att utvecklingen innebär risker för en flod av mer avancerat nätfiske, spearphishing, fake news, trakasserier och påverkan i sociala medier.
– Det finns risker med det här, eftersom de här teknikerna är tillgängliga nu och de tekniker som behövs för att förhindra missbruk inte är det. Människor inser hur effektiva de här verktygen är och användandet ökar, säger han.
Andy Patel betonar också hur fort utvecklingen går. När de påbörjade sitt forskningsprojekt var Chat GPT ännu inte lanserad, utan de arbetade i en annan modell. Han säger att han blev förvånad över att det plötsligt lanserades ett verktyg som alla kunde använda, och som miljoner människor också hoppade på inom loppet av bara några dagar.
Illasinnande bottar
Den mest uppenbara risken just nu, enligt Andy Patel, är att illasinnade aktörer skapar bottar som kan interagera med sociala nätverk.
– Du kan skapa en bot som svarar på poster på ett toxiskt (förgiftat) sätt, för trakasserier till exempel. Du kan skapa en bot för att stödja eller göra motstånd i vissa frågor och som spammas över politiska hashtags.
– Det finns redan i dag mycket fejkkonton och de kan lätt krokas i det här, och börja automatiseras. Till exempel kan det göra så att stödet eller motståndet i en viss fråga ser större ut än vad det verkligen är.
Andy Patel varnar också för en våg av phishing och spear-phishing framöver.
– När det gäller phishing och spearphishing så är det viktigaste att ta med sig att de här modellerna skapar väldigt bra skrivet innehåll. Det är inte särskilt många grammatiska fel och nästan inga stavel.
– De ”prompts” vi visar i vår artikel kan köras om och om igen för att skapa lite olika e-postmeddelanden, och det är bra om du vill ta dig förbi e-postskydd och spamfilter.
En ”prompt” är en önskan till språkmodellen om att generera den text du vill ha.
Svårt att skydda sig
Andy Patel har dock hittills inte kunnat se att de här modellerna har använts i nätfiske-sammanhang mer än som proof-of-concept, det vill säga ett bevis på att det kan fungera i verkligheten. Om eller när det skulle dyka upp kan det innebära mycket trassel och vara svårt att skydda sig mot.
Även om det finns verktyg som kan upptäcka om något skapades av en språkmodell, så är de fortfarande inte så exakta och det är ganska enkelt att ta sig förbi dem.
– Jag såg också ett inlägg på sociala medier att någon instruerade modellen att generera ett stycke text som inte skulle upptäckas, och den gjorde ett ganska bra jobb där.
Vad tar då ägarna eller skaparna av de här modellerna för ansvar för att de inte används på ett skadligt sätt?
– Om man ser på Chat GPT (som ägs av Open AI), så tycker jag nog de tar sitt ansvar. De analyserar hur den kan missbrukas och använder det för att göra en säkrare modell.
– Ägarna till de här modellerna vill ju inte ha modeller som kan generera hot eller som kan användas för att underlätta för kriminalitet eller cyberangrepp, men de kan ju bara göra vissa saker: Säkerhetsfilter eller att till exempel blockera tillgången.
Strategier för att motverka
I stället måste många olika aktörer lägga upp strategier för att motverka automatiserat nätfiske, påverkan eller trakasserier på nätet, säger han. Företagen måste se till att deras anställda kan identifiera misstänkta mejl, cybersäkerhetsindustrin måste utbilda och utveckla produkter, sociala medier måste se till att de är förberedda.
– Om de sociala nätverken börjar svämmas över av automatiserad desinformation och trakasserier, om webben börjar svämmas över av fake news-sajter som skapas av de här teknikerna, om det blir enklare att skapa sofistikerat spam, då måste alla tänka till och skapa sig en förståelse för hur det här går till.
Vad gör då ni inom cybersäkerhetsindustrin?
– Vår roll är den vi redan spelar. Vi måste fortsätta utbilda om phishing och fake news, utveckla produkter och tjänster som kan upptäcka och förhindra - i dag finns till exempel inte automatiserad faktagranskning och det finns inget enkelt sätt att förhindra trakasserier eller trollning på nätet, och vi måste vara involverade i forskningen inom de här områdena.
Forskarna i projektet har dock inte tittat på modellernas möjlighet att skriva kod (eller skadlig kod).
Andy Patel berättar dock att detta är ett område som det forskas ganska mycket på och att en del av de större namnen inom maskininlärningsforskning redan använder språkmodeller när de kodar, vilket innebär att de spenderar mindre tid på att skriva kod själva och mer på att skriva ”prompts” som genererar koden de vill ha.
Tidigare har Andy Patels kollega Mikko Hyppönen, chefsforskare på Withsecure, sagt till Computer Sweden att han är orolig över utvecklingen ur det här perspektivet.
– Säkerhetskonsulternas arbete kommer att bli lättare. Det blir lättare att granska kod, hitta sårbarheter och åtgärda dem när du har en hjälpande hand som Chat GPT. Tyvärr kan människor med dåliga avsikter göra samma sak.
– ”Bad guys” kan också bygga till exempel automatiserade vd-bedrägerier eller romansbedrägerier ovanpå storskaliga språkmodeller som Chat GPT. Tack och lov kan de inte köra sin egen kopia av Chat GPT.
