Himbeeren für den Elefanten – Hadoop Cluster mit Raspberry Pis

Auch wenn ein Hadoop-Cluster sich auf gewöhnlicher Server-Hardware einrichten lässt, sind auch schon bei kleinen Clustern mit 4 bis 5 Nodes 5-stellige Eurobeträge fällig. So beschreibt Eric Sammer von Cloudera in Hadoop Operation das für die NameNode eines kleinen Clusters bereits 24GB RAM und eine zwei Quardcore CPUs nötig sind. Für die DataNodes dann noch mal 48GB und entsprechend viele SAS Platten.

Um den Umgang mit Hadoop zu lernen ist dieser finanzielle Aufwand nicht zu rechtfertigen. Aus diesem Grund gehen immer mehr wissenschaftliche Einrichtungen dazu über ihren Schülern und Studenten mit entsprechenden Gutscheinen von Amazon ausgestattet, um die Erstellung und Nutzung paralleler Algorithmen auf gesponserten EC2-Instanzen zu lehren.

Bryan Wann zeigt in Seinem Blog-Post auf, dass es auch anders geht. Er hat aus 7 Raspberry Pis, einem Switch, 32GB SDHC Karten und einem HELMER-Unterschrank von IKEA ein Mini-Hadoop-Cluster aufgebaut. Eine sehr coole Idee. Leider krankt es noch an der geringen RAM-Ausstattung und dem fehlenden SATA-Interface um daraus mehr zu machen, als nur ein akademisches Projekt. Vielleicht sollte man das ganze mal mit Cubieboard testen.

1 Kommentar Schreibe einen Kommentar

  1. Hi, I build the Pi cluster and I admit it’s mostly just a fun distraction. A slightly more serious rig for Hadoop learning can be built out of mini-ITX boards with Intel Atom processors. These will get you SATA, real x86_64 hardware, and low power consumption.

    I did an earlier project to put 10x Atom boards in an IKEA HELMER cabinet (http://www.flickr.com/photos/binaryfury/7862077016/in/set-72157629900950858). Each „blade“ has a dual-core 2.13 GHz CPU, 2 SATA drives, all powered by a single ATX PSU. It can be built for about $2500 (USD), ($130/mb+ram+psus, $100/hdds, $50 cabinet, $80 16-port gige switch, $60 aluminum hardware). Most important to me is that it had to be almost silent and low power usage, and very tidy.

    A problem I had was getting a NameNode motherboard with enough RAM. 4 GB goes pretty quick, so maybe splurge to get one that will do 8-16 GB.

Schreibe einen Kommentar


(required)