För Twitter är analyserna av de enorma datamängderna så viktiga att företaget tvingades förvärva ett annat företag för att få jobbet gjort. I fjol köpte den sociala nätverksjätten företaget Backtype, som i sin tur har mjukvaran Storm, som analyserar just stora datamängder.

Med över 200 miljoner konton och 230 miljoner meddelanden per dag är Blacktype bland de största i världen när det gäller att analysera användargenerade data. Efter köpet har Twitter släppt källkoden till Storm utan något intresse av att kommersialisera själva produkten.

Mjukvaran används för att analysera mönster på företagets webbservrar och hur användarna delar kommentarer och länkar i realtid. Med hjälp av Storm kan alltså företaget snappa upp trender att skapa annonsering kring.

– Det kräver verkligt tunga beräkningar, som kan involvera tusentals databasanrop och miljontals följare, säger Nathan Marz, som är chefsutvecklare för Storm, till IDG News.

På en server kan en beräkning kan ta upp till tio minuter. Twitter har dock valt att sprida jobbet på tio maskiner vilket kapar tiden till några sekunder. Även små tidsskillnader blir avgörande för ett företag som tjänar stora pengar på att skapa annonser som måste vara rykande aktuella.

Det är fler som jobbar med enorma datamängder. Både Google, Amazon, Yahoo och Facebook har enorma datamängder att hantera. För alla företagen är big data lika med big business: opimal analys av data är lika med bästa möjliga affärsresultat.

Google och Yahoo var bland annat med och tog fram ramverket Hadoop. Det startade med en rapport där Google beskrev sin nya infrastruktur Bigtable, som företaget hade byggt för att analysera data. Google behöll Bigtable för intern användning, men utvecklaren skapade en öppen källkodsversion av den: Hadoop.

Yahoo är nu med sina 40 000 servrar en av de största Hadoop-användarna. Även annonsörerna är nära kopplade till Hadoop-klustren och de listningar av innehåll och artiklar som Yahoo själva publicerar.

Tekniken kan också användas för att söka i stora textmängder och det är fler branscher som kliver på tåget.

– Vi får en konkurrensfördel när vi vet vad kunderna är intresserade av och kan skicka relevanta erbjudanden, säger Aaron Batalion, teknikchef på shoppingsajten Living Social.

Den tiden är förbi när du kunde utveckla en produkt vid ett tillfälle och sedan är den igång, betonar han.

– För att lyckas måste du utgå från idéer, testa, upprepa och analysera för att förstå vad som fungerar. Det är så vi använder big data, säger han.

Fakta

Konsultjätten McKinsey förutspår i en rapport att ett antal branscher världen över, däribland hälso- och sjukvård, offentlig sektor, handel och tillverkning nu börjar analysera sina allt större datamängder, för att få bättre koll på vad kunderna vill ha.

Tekniken kan användas för att stöda produktutveckling och åtgärda problem snabbare. ”Användningen av stora data blir ett nyckelverktyg för att konkurrera samt för tillväxt för enskilda företag”, uppger McKinsey i rapporten.