Seminar Hadoop mit Python

Einführung

Verstehen der Hadoop-Architektur und der Schlüsselkonzepte

Das Hadoop Distributed File System (HDFS) verstehen

• Überblick über HDFS und seinen architektonischen Aufbau
• Mit HDFS interagieren
• Ausführen grundlegender Dateioperationen auf HDFS
• Überblick über die HDFS-Befehlsreferenz
• Überblick über Snakebite
• Installieren von Snakebite
• Verwenden der Snakebite-Client-Bibliothek
• Verwenden des CLI-Clients

Erlernen des MapReduce-Programmiermodells mit Python

• Überblick über das MapReduce-Programmiermodell
• Verstehen des Datenflusses im MapReduce-Framework
  • Map
  • Shuffle und Sortieren
  • Reduzieren
• Verwendung des Hadoop Streaming Utility
  • Verstehen, wie das Hadoop Streaming Utility funktioniert
  • Demo: Implementieren der WordCount-Anwendung auf Python
• Verwenden der mrjob-Bibliothek
  • Überblick über mrjob
  • Installieren von mrjob
  • Demo: Implementieren des WordCount-Algorithmus mit mrjob
  • Verstehen, wie ein mit der mrjob-Bibliothek geschriebener MapReduce-Job funktioniert
  • Ausführen einer MapReduce-Anwendung mit mrjob
  • Praktische Anwendung: Berechnung von Spitzengehältern mit mrjob

Pig mit Python lernen

• Überblick über Pig
• Demo: Implementieren des WordCount-Algorithmus in Pig
• Konfigurieren und Ausführen von Pig-Skripten und Pig-Anweisungen
  • Verwenden der Pig-Ausführungsmodi
  • Verwenden des interaktiven Pig-Modus
  • Verwenden des Pig-Batch-Modus
• Verstehen der grundlegenden Konzepte der lateinischen Sprache von Pig
  • Anweisungen verwenden
  • Daten laden
  • Daten umwandeln
  • Daten abspeichern
• Erweitern der Pig-Funktionalität mit Python UDFs
  • Registrieren einer Python UDF-Datei
  • Demo: Eine einfache Python UDF
  • Demo: String-Manipulation mit Python UDF
  • Hands-on: Berechnen der 10 neuesten Filme mit Python UDF

Verwendung von Spark und PySpark

• Überblick über Spark
• Demo: Implementieren des WordCount-Algorithmus in PySpark
• Überblick über PySpark
  • Verwenden einer interaktiven Shell
  • Implementieren von in sich geschlossenen Anwendungen
• Arbeiten mit belastbaren verteilten Datensätzen (RDDs)
  • Erstellen von RDDs aus einer Python-Sammlung
  • Erstellen von RDDs aus Dateien
  • Implementieren von RDD-Transformationen
  • Implementieren von RDD-Aktionen
• Praktische Anwendung: Implementieren eines Textsuchprogramms für Filmtitel mit PySpark

Workflow mit Python verwalten

• Überblick über Apache Oozie und Luigi
• Installieren von Luigi
• Verstehen der Luigi-Workflow-Konzepte
  • Aufgaben
  • Ziele
  • Parameter
• Demo: Untersuchen eines Workflows, der den WordCount-Algorithmus implementiert
• Arbeiten mit Hadoop-Workflows, die MapReduce- und Pig-Jobs steuern
  • Verwendung der Konfigurationsdateien von Luigi
  • Arbeiten mit MapReduce in Luigi
  • Arbeiten mit Pig in Luigi

Zusammenfassung und Fazit