Big Data Engineer mit Machine und Deep Learning

Grundlagen Data Engineering und Datenarchitekturen (ca. 2 Tage)

Aufgaben und Anwendungsfelder im Data Engineering 

Grundlagen moderner Datenarchitekturen und Datenplattformen 

Grundlagen und Vergleich cloudbasierter Datenarchitekturen
OLTP und OLAP 

Verarbeitung strukturierter, semistrukturierter und unstrukturierter Daten

Anforderungsmanagement und Datenmodellierung (ca. 1 Tag)

Anforderungen an Daten und Datenquellen 

Konzeptionelle Datenmodellierung 

Modellierung von Datenstrukturen und Datenflüssen

Data Contracts, Data Governance und Data Lineage

Datenbanken und Datenverarbeitung (ca. 1 Tag)

Architektur von Datenbanksystemen 

SQL vs. NoSQL vs. NewSQL im Vergleich
Relationale Datenmodellierung 

SQL zur Abfrage und Verarbeitung von Daten

Data Warehousing und moderne Datenarchitekturen (ca. 2 Tage)

Grundlagen und Architektur von Data-Warehouse-Systemen 

Dimensionale Datenmodellierung und Schema-Design 

Fakten, Dimensionen und historische Datenhaltung 

Data Warehouse, Data Lake und Lakehouse im Vergleich 

Einführung in dbt
Praxisorientierte Umsetzung von Datenmodellen

Datenintegration und Data Pipelines (ca. 5 Tage)

Datenintegration und Datenbereitstellung 

ETL- und ELT-Prozesse 

Aufbau und Orchestrierung von Data Pipelines 

Datenbereinigung, -validierung und Datenqualität 

Batch- und Streaming-Verarbeitung 
Praxisorientierter Einsatz von Airflow und Spark

Programmierung und automatisierte Datenverarbeitung (ca. 4 Tage)

Python-Umgebungen und Paketverwaltung
Verarbeitung und Transformation von Daten mit Python 

Automatisierung von Datenverarbeitungsprozessen 

Anbindung unterschiedlicher Datenquellen und Schnittstellen
Entwicklung von Data-Engineering-Workflows 

Containerisierung mit Docker
KI-gestützte Unterstützung im Entwicklungs- und Datenverarbeitungsprozess

Projektarbeit (ca. 5 Tage)

Zur Vertiefung der gelernten Inhalte

Präsentation der Projektergebnisse

Was ist Big Data? (ca. 1 Tag) 

Volume, Velocity, Variety, Value, Veracity

Chancen und Risiken großer Datenmengen

Abgrenzung: Business Intelligence, Data Analytics, Data Science

Einführung in Data Mining

Rolle von KI und datengetriebenen Systemen im Big-Data-Umfeld

Einführung in Big-Data-Frameworks (ca. 2 Tage)

Big-Data-Lösungen in der Cloud (Überblick AWS, Azure, GCP)

Datenzugriffsmuster

Datenspeicherung

Einführung in Data Lakes und Data Warehouses

Überblick Apache Hadoop und Spark

Verteilte Datenverarbeitung mit Spark (ca. 3 Tage)

Grundlagen verteilter Systeme

Apache Spark (Core und SQL)

Vergleich verschiedener Ansätze der Datenverarbeitung

Verarbeitung großer Datenmengen

Einführung in einfache ML-Workflows mit Spark

Datenpipelines und Datenintegration (ca. 2 Tage)

ETL- und ELT-Prozesse

Batch- vs. Streaming-Verarbeitung

Grundlagen von Datenpipelines

Einführung in Orchestrierung (z. B. Airflow Überblick)

Datenqualität und -aufbereitung

Komponenten (ca. 2 Tage)

Kurzvorstellung von verschiedenen Tools

Datenübertragung

Überblick Ressourcenverwaltung in Big-Data-Systemen

Hadoop-Ökosystem

Apache Spark Vertiefung

Einführung in Streaming-Technologien

NoSQL und Datenspeicher (ca. 2 Tage)

CAP-Theorem

ACID und BASE

Typen von Datenbanken

HBase

Einführung dokumentenorientierter Datenbanken

Einführung in Speicherformate

Überblick Data Lakehouse-Ansätze

Big Data Visualisierung (ca. 2 Tage)

Theorien der Visualisierung

Diagrammauswahl

Neue Diagrammarten

Werkzeuge zur Datenvisualisierung

Einführung in BI-Tools (z. B. Power BI, Tableau)

Grundlagen datengetriebener Entscheidungsfindung

Data Governance und Datenschutz (ca. 1 Tag)

Grundlagen der DSGVO im Datenkontext

Datenethik und verantwortungsvoller Umgang mit Daten

Datenqualität und Governance-Konzepte

Zugriffskontrollen und Sicherheit

Grundlagen verantwortungsvoller KI-Nutzung

Projektarbeit (ca. 5 Tage)

Zur Vertiefung der gelernten Inhalte

Präsentation der Projektergebnisse

Einführung in Machine Learning (ca. 5 Tage)

Warum Machine Learning?

Anwendungsbeispiele

Überwachtes Lernen, Unüberwachtes Lernen, Teilüberwachtes Lernen, Reinforcement Lernen

Beispiele für Datenbestände

Daten kennenlernen

Trainings-, Validierungs- und Testdaten

Daten sichten

Vorhersagen treffen

Überwachtes Lernen (ca. 5 Tage)

Klassifikation und Regression

Verallgemeinerung, Overfitting und Underfitting

Größe des Datensatzes

Algorithmen zum überwachten Lernen

Lineare Modelle

Bayes-Klassifikatoren

Entscheidungsbäume

Random Forest

Gradient Boosting

k-nächste-Nachbarn

Support Vector Machines

Conditional Random Field

Neuronale Netze und Deep Learning

Wahrscheinlichkeiten

Unüberwachtes Lernen (ca. 5 Tage)

Arten unüberwachten Lernens

Vorverarbeiten und Skalieren

Datentransformationen

Trainings- und Testdaten skalieren

Dimensionsreduktion

Feature Engineering

Manifold Learning

Hauptkomponentenzerlegung (PCA)

Nicht-negative-Matrix-Faktorisierung (NMF)

Manifold Learning mit t-SNE

Clusteranalyse

k-Means-Clustering

Agglomeratives Clustering

Hierarchische Clusteranalyse

DBSCAN

Clusteralgorithmen

Evaluierung und Verbesserung (ca. 2 Tage)

Modellauswahl und Modellevaluation

Abstimmung der Hyperparameter eines Schätzers

Kreuzvalidierung

Gittersuche

Evaluationsmetriken

Klassifikation

Projektarbeit (ca. 3 Tage)

Zur Vertiefung der gelernten Inhalte

Präsentation der Projektergebnisse

Einführung Deep Learning (ca. 1 Tag)

Deep Learning als eine Art von Machine Learning

Grundlagen in neuronalen Netzen (ca. 4 Tage)

Multilayer-Perzeptronen

Berechnung neuronaler Netze

Optimierung der Modellparameter, Backpropagation

Deep-Learning-Bibliotheken

Regression vs. Klassifikation

Typische Loss- und Aktivierungsfunktionen

Mit Metriken die Modellprognose bewerten

Regressions- und Klassifikationsmetriken

Lernkurven, Überanpassung und Regularisierung

Hyperparameteroptimierung

L1/12-Regularisierung

Dropout

Early-Stopping

Stochastischer Gradientenabstieg (SGD)

Momentum, Adam Optimizer

Optimierung der Lernrate

Dynamische Lernraten-Anpassung

Reduce Learningrate on Plateau

Lernraten-Optimierung mit dem TensorBoard

Mit Callbacks den Fitprozess steuern

Modelle speichern und laden

Convolutional Neural Network (CNN) (ca. 2 Tage)

Bildklassifizierung

Convolutional‐Schichten, Pooling‐Schichten

Reshaping‐Schichten, Flatten, Global‐Average‐Pooling

CNN‐Architekturen ImageNet‐Competition

Tiefe neuronale Netze, Vanishing Gradients, Skip‐Verbindungen, Batch‐Normalization

Transfer Learning (ca. 1 Tag)

Anpassen und Kombinieren von Modellen

Unüberwachtes Vortrainieren

Image‐Data‐Augmentation, Explainable AI

Dataloader

Regional CNN (ca. 1 Tag)

Objektlokalisierung

Semantische Segmentierung

Regressionsprobleme

Verzweigte neuronale Netze

YOLO-Architektur

U-Net-Modelle

Methoden der kreativen Bilderzeugung (ca. 1 Tag)

Generative Adversarial Networks (GAN) 

Deepfakes

Diffusionsmodelle

Superresolution

Bildbereiche ergänzen

Foundations Models von Hugging Face anwenden

Multimodale Modelle

LoRA-Fine-Tuning

Anwendungsgebiete generativer Modelle

Rechtliche Einschränkungen

Recurrente neurale Netze (ca. 2 Tage)

Sequenzanalyse

Rekurrente Schichten

Backpropagation through time (BPTT)

Analyse von Zeitreihen

Exploding und Vanishing Gradient Probleme

LSTM (Long Short‐Term Memory)

GRU (Gated Recurrent Unit)

Deep RNN

Deep LSTM

Textverarbeitung durch neuronale Netze (ca. 2 Tage)

Text-Preprocessing

Embedding-Schichten

Text-Klassifizierung

Sentimentanalyse

Natural Language Processing (NLP)

Übersetzungen

Textgeneration

Seqence-to-Sequence-Verfahren, Encoder-Decoder-Architektur

Encoder-Only- und Decoder-Only-Modelle

Lokale Anwendung von Large Language Models

Sprachmodelle (ca. 1 Tag)

Transfomer Architektur

Attention und Multihead-Attention

Positional Encodings

Fine-Tuning großer Sprachmodelle

Prompting

Textgeneration-Pipelines 

Summarization 

Chatbots

Retrieval Augmented Generation

KI-Agenten

Deep Reinforcement Learning (ca. 1 Tag)

Steuerung dynamischer Systeme

Agentensysteme

Training durch Belohnungen

Policy Gradients

Deep‐Q‐Learning

Bayes'sche neuronale Netze (ca. 1 Tag)

Unsicherheiten in neuronalen Netzen

Statistische Bewertung von Prognosen

Konfidenz, Standardabweichung

Unbalancierte Daten

Sampling‐Methoden

Projektarbeit (ca. 3 Tage)

Zur Vertiefung der gelernten Inhalte

Präsentation der Projektergebnisse