Drygt 2 100 deltagare på konferensen Hadoop Summit får se flera intressanta implementationer av Hadoop. Mapr Technologies släpper sitt Hadoop Distribution 2 i två varianter: M3 och M5. Fokus för M3 är enkel implementation, medan M5 är avsett för dem som premierar hög tillgänglighet. En nyhet är möjligheten dela upp ett fysiskt kluster av datorer i flera logiska, som kör olika jobb.

Ytterligare en nyhet är att det går att köra Maprs implementation av Hadopp i Amazons moln.

Även Cloudera släpper en ny version av sitt Hadooppaket, liksom Hortonworks. Intressant i Cloudera paket är att det går att använda andra algoritmer än Mapreduce för att hantera data, se faktaruta. Hortonworks packar in verktyg för att hantera livscykler och en metadatakatalog. Den senare bör underlätta integration med annan mjukvara. I Datastax implementation Enterprise 2.1 integreras Hadoop med nosql-databasen Cassandra.

Det väletablerade datalagerföretaget Teradata lanserar ett nytt frågespråk som heter sql-h, med vilket det ska gå att ställa frågor mot data som hanteras av Hadoop.

På konferensen passar även Facebook på att berätta om hur man kommer runt en av svagheterna i Hadoop, att informationen om vad alla servrar som kör ett jobb heter lagras på en enda dator. Det kan handla om hundratusentals servrar vars namn måste vara tillgängliga. Om servern med namninformationen krånglar går det inte att köra ett jobb.

Facebook har skrivit mjukvara som gör det möjligt att ha en backupserver i gång, som kan ta över om den ordinarie namnservern krånglar. Det tror man ska minska tiden Hadoop är nere på Facebook till hälften.

På Facebook lagrar man över 100 petabyte data på fler än 100 olika kluster runt om i världen.

Fakta

Hadoop är ett ramverk för mjukvara för distribuerad behandling av stora datamängder. Baserat på ramverket kan leverantörer skapa sina egna implementationer av Hadoop.

De centrala beståndsdelarna i Hadoop är Mapreduce som är en programmeringsmodell, eller algoritm, för att hantera stora datamängder och Google File System.