Daten aufbereiten mit Google Refine

Entstanden aus dem OSS Freebase Gridworks

Viele Import- und Exportformate

http://code.google.com/p/google-refine/

ETL . Klassiker

Der unbestrittene Klassiker für ETL (Extract, Transorm, Load) ist m.E.Talend Open Studio (Open Spourc) . Grafischer Editor, Online-Trace der Datenaufbereitung und viele Konnektoren zu fast allen bekannten Datenquellen...  die Skripte können nach Export "Stand-Alone" laufen und auch Kommandozeilenparameter interpretieren. In den Skripten können eigene Java-Methoden genutzt werden, der Aufruf als Web-Service ist mit kleinen Hacks ebenfalls möglich.

Hive als DataminingTool

• Facebook-Bericht über Hive
  
• Papier zu Googles Map-Reduce-Ansatz
  
• Hive-Einsatz bei Facebook
  
• Cygwin-Homepage
  
• Cygwin-Patch für Hadoop
  
• Hive-Wiki zur Verarbeiten von Apache-Logdateien
  
• Hive-Tutorial
  
• Hive Data Definition Language
  
• Hive Data Manipulation Language
  
• Hive und PHP
  
• kommerzielle Hive-Anwender
  
• Apache Pig
  
• Serializer/Deserializer für JSON
  
• Serializer/Deserializer für LZO