Osint står för Open source intelligence och beskriver praktiken att samla in publicerad eller på genom andra sätt öppet tillgänglig information. Källorna kan komma från avsiktlig publicerad information eller information som oavsiktligt ligger öppen för andra att ta del av.

Vad det i praktiken handlar om är att genom avancerade tekniker kamma igenom stora mängder information i syfte att hitta de relevanta bitarna av information som professionella inom it-säkerhet, kriminella hackare eller statsmakter behöver för att uppnå sina syften – att få tag på information som de flesta inte inser är publik, och som på ett eller annat sätt kan vara skadligt för upphovsorganisationen. Det engelska uttrycket ”open source” avser i detta sammanhang öppna källor, och inte öppen källkod, även om de verktyg vi presenterar i denna artikel är publicerade under en öppen källkodslicens.

Vad är osint?

Osint som företeelse tog fart på 1980-talet när nationella säkerhetstjänster började intressera sig för information från publika källor, som nyhetsartiklar och publika databaser, och inte enbart information från hemliga källor. Den öppna informationen kunde vara nog så användbar, speciellt om man så att säga lade ihop ett och annat från olika källor.

Detta var före internet, för att inte tala om sociala medier och liknande, men idag kan i stort sett vem som helst använda samma teknik för att samla in användbar information om företag och organisationer. Idag har de flesta organisationer publika it-system som spänner över olika nätverk, teknologier, tjänster och domäner. Informationen kan lagras på allt från interna servrar, via molntjänster och i källkoden till applikationer, till anställdas privata mobiler.

Faktum är att det är praktiskt taget omöjligt för en it-avdelning på ett stort företag att ha överblick över alla potentiella källor till publik information, och det finns förmodligen en hel del publik information som gör bäst i att inte hamna i fel händer.

Osint är en viktig metodik för att reda ut informationskaoset. Det finns tre huvudsakliga anledningar till att använda osint, och ett brett utbud av verktyg, som it-säkerhetsansvariga eller it-avdelningar kan använda för att uppfylla dessa behov. De flesta verktyg fyller alla tre funktionerna, men vissa är mer inriktade på en eller två funktioner.

Tre funktioner med osint 

Den första funktionen som osint fyller är att hjälpa it-organisationer att ta reda på vilka publika tillgångar organisationen har och kartlägga vilken information var och en dem tillhandahåller som kan bidra till en potentiell attackyta. Här handlar det inte om att leta efter direkta sårbarheter eller ägna sig åt penetrationstester, utan om att samla in information om organisationens tillgångar som andra kan hitta utan att gå så långt som att hacka systemen.

Den andra funktionen är att hitta och kartlägga information om organisationen hos externa källor, till exempel social media eller andra domäner och platser utanför organisationens administrativa kontroll. Det här kan vara mycket användbart, speciellt för organisationer som köpt upp eller slagits ihop med många andra organisationer.

Den tredje funktionen är att sammanställa och gruppera all information så att organisationen får kunskap om vilka problem som det är viktigt att ta tag i. En genomsökning med ett osint-verktyg kan resultera i stora mängder information som det är svårt att få grepp om, och att kunna sortera ut vad som bör prioriteras är väldigt användbart.

Användbara verktyg

Nedan följer en presentation av åtta populära osint-verktyg, vad som är deras speciella användningsområden, vas som skiljer dem åt och vilket värde de har som en del av din organisations säkerhetsarbete.

Maltego

Maltego är specialiserat på att hitta relationer och samband mellan människor, företag, domäner och publik information på nätet. Maltego är också känt för att det kan ta in enorma mängder information från exempelvis dns-poster, whois-information, sökmotorer och social nätverk och presentera sambanden i användarvänliga grafer och diagram. Det gör det enkelt att se det viktiga i informationen och ta reda på vad som bör åtgärdas. Varje graf kan ha upp till 10 000 datapunkter.

Programmet fungerar genom att automatisera genomsökningen av publika källor med bara ett klick, och eftersom det använder publika gränssnitt är det kompatibelt med i stort sett vilken öppen datakälla som helst med publika gränssnitt, och det är enkelt att lägga till fler typer av källor. Eftersom programmet är skrivet i Java går det att köra på Windows, Mac och Linux. Maltego finns i en begränsad gratisversion, men versioner med mer avancerade funktioner kostar pengar.

Recon-ng

Utvecklare som jobbar i Python har tillgång till ett kraftfullt osint-verktyg i Recon-ng. Programmets gränssnitt likar det populära Metasploit vilket borde vara till hjälp för dem som kan det verktyget.

Recon-ng automatiserar tidskrävande arbetsmoment som att klippa och klistra data. Recon-ng kanske inte kan all typ av insamling under osint, men det är bra på att automatisera de mest populära typerna av insamling.

Recon-ng har ett modulärt ramverk med många inbyggda funktioner, så att även en junior pythonutvecklare kan skapa sökningar av publika data och returnera vettiga resultat. Vanliga uppgifter som att standardisera utdata, interagera med databaser, skapa webbförfrågningar och hantera api-nycklar ingår alla i standardgränssnittet. Utvecklare behöver bara välja vilka funktioner de vill utföra för att bygga en automatisk modul. Recon-ng är helt gratis.

The Harvester

The harvester är ett av de enklaste verktygen i vår lista. Det är skapat för att samla in publik information från källor utanför användarens egna organisation, även om det kan ramla över intern information också. Men majoriteten av de verktyg The Harvester använder vänder sig utåt.

The Harvester är användbart för rekognosering innan till exempel ett penetrationstest. Verktyget använder sig av ett antal vanliga sökmotorer som Google och Bing, men även mer okända sökmotorer som dogpile, DNSdumpster och metadatamotorn Exalead. Det använder även Netcraft Data Mining och Alien Vault Open Threat Exchange, och det kan till och med haka in i sökmotorn Shodan för att upptäcka öppna nätverksportar på framsökta värdmaskiner. Generellt samlar The Harvester in e-postadresser, namn, subdomäner, ip-adresser och url:er.

I de flesta fall kan theHarvester samla information från olika källor utan speciella förberedelser, men vissa av källorna kräver api-nycklar för att fungera. Du behöver också köra Python 3.6 eller senare. The Harvester finns allmänt tillgängligt på Github, och det är rekommenderat att du skapar en virtuell miljö (virtualenv) om du klonar koden från Github.

Shodan

Shodan är en specialiserad sökmotor som letar efter exponerade enheter, exempelvis alla de miljontals IoT-enheter som finns uppkopplade mot nätet, men som normalt inte hittas av vanliga, textfokuserade sökmotorerna. Shodan hittar också öppna nätverksportar och listar kända sårbarheter för de enheter det hittar. Shodan används som verktyg av andra osint-verktyg, men kräver en betald licens för djupare integration, men det är också ett fullfjädrat verktyg i sig.

Shodan har en imponerande förmåga att leta i de mest dolda vrår av internet, och det är ett av de få verktyg som hittar industriella it-system (OT) som sensorer, kontrollsystem med mera inom industrianläggningar, kraft- och vattenverk. Alla organisationer med OT-system bör titta på Shodan, annars missar man en stor del av den information som andra kan upptäcka.

Men Shodan har mer att ge, den kan också upptäcka information från databaser som går att komma åt via vägar vid sidan av det huvudsakliga gränssnittet. Shodan kan också hitta saker som spelservrar för MInecraft eller Counter-Strike som gömmer sig inne på företagens nätverk, där de troligen inte bör vara, och som kan innebära en attackyta.

Det går att använda Shodan utan att betala, men då får man bara tio sökresultat per sökning och man kan bara söka på ett fåtal ip-adresser per månad. För 59 dollar per månad kan man genomsöka upp till 5120 ip-adresser och få fram miljontals sökresultat.

Metagoofil

Metagoofil är ännu ett verktyg som finns fritt tillgängligt på Github. Verktyget är optimerat för att extrahera metadata från publika dokument. Metagoofil kan undersöka alla slags dokument som den kan nå genom publika kanaler och stödjer en uppsjö filformat som pdf, doc, docx, ppt, xls och många fler.

Mängden intressant data som Metagoofil kan samla ihop är imponerande. Sökningar returnerar saker som vilka användarnamn som är associerade med dokument, till och med personnamn om det finns tillgängligt. Verktyget kartlägger också sökvägarna till dokumenten det hittar, vilket ger användbar information om servernamn, delade resurser och katalogstrukturer. Allt det här är information som cyberkriminella kan använda för att försöka knäcka lösenord eller skapa nätfiskeattacker.

Searchcode

Searchcode är ett specialiserat verktyg för att leta information i källkod. Det är imponerande nog utvecklat av en enda person. Eftersom den källkod som ska genomsökas måste läggas till som en källkods-repo gränsar Searchcode mellan ett osint-verktyg och ett verktyg skapat för att hitta information från icke-publika källor. Men det är ändå användbart för utvecklare som vill finna känslig information i koden.

Eftersom detta rör källkod är Searchcode kanske inte lika enkelt att använda som en sökmotor, men utvecklaren har ändå lagt en del energi på att skapa ett så användarvänligt gränssnitt som möjligt. En användare skriver in en sökterm i ett sökfält, och Searchcode returnerar relevanta resultat med sökordet markerat i den genomsökta källkoden.

Verktyget ger också förslag på saker att söka efter, som användarnamn, säkerhetsmissar som eval $_GET-anrop, oönskade aktiva funktioner som re.compile och specialtecken som kan användas för attacker med kod-injektering.

Spiderfoot

Spiderfoot är en hel verktyglåda för osint, en slags motsvarighet till Metasploit inom penetrationstestning. Verktyget är enkelt att använda – peka bara på en ip-adress, domännamn, e-postadress, användarnamn, subnät eller ASN-nummer, och lägg till en, flera eller alla moduler, och Spiderfoot levererar allt du vill veta.

Spiderfoot är så kallad freemium som kan laddas ned och användas gratis begränsad till en sökning i taget, eller så finns verktyget tillgängligt som molntjänsten SpiderFoot HX utan begränsningar. SpiderFoot är integrerat med i stort sett alla datakällor för osint, över 200 enligt vad som står på deras webbsajt, bland andra Alien Vault, Have I Been Pwned, SecurityTrails och Shodan.

Spiderfoot erbjuder också visualiseringsverktyg för att lättare förstå insamlade data, och man kan också exportera data som Json-objekt, csv-filer eller på GEXF-format för att analysera data i lugn och ro på en egen databas.

Babel X

All information du vill få fram är inte på engelska (eller svenska). Det kan vara viktigt att få fram information om din organisation på kinesiska eller spanska, till exempel. Babel X är ett sökverktyg med stöd för över 200 språk. Dessutom kan Babel X söka av den mörka webben, inklusive Onion-sajter, och även annan dold information som Babel X kan komma åt genom speciella avtal eller överenskommelser. Babel X kan också geolokalisera den data det hittar.

Babel X bra att ha för organisationer som behöver söka igenom nyhetssajter för att hålla sig uppdaterade om olika situationer i olika länder och regioner. Det kan gälla trender om aktuella gisslanattacker, eller information om produkter från företaget säljs på illegala marknader.

Babel levereras i huvudsak som en molntjänst och kunderna kan lägga till egna datakällor. Babel finns också i en version som heter Babel Box som kan köras i kundens egen miljö, men som då saknar vissa egenskaper, som att kunna söka igenom den mörka webben, och slutligen finns även Babel Channels, en lågprisvariant med en begränsad mängd utvalda källor. Det finns också en mobilapp för alla tre versionerna.

Är det lagligt?

Om dessa åtta verktyg inte skulle räcka så finns bra information om en uppsjö osint-verktyg på sajten OSINT Framework. All dessa verktyg är gratis, eller finns i gratisversionen, och vissa kan kräva registrering.

Osint-aktiviteter är i allmänhet inte olagliga; det handlar ju trots allt om publik information, vilket även gäller den mörka webben. Men verktygen kan leda dig till en gråzon, och det är viktigt att du vet hur du ska agera för att hålla dig på rätt sida om lagen. Det är okej att leta fram informationen, men kanske inte att köpa ut den, till exempel.

Läs också:
Här är finnarna som vet allt om din organisation
Så funkar Kali Linux – pentestarens trollerilåda