Machine und Deep Learning mit Data Engineer

Grundlagen Data Engineering und Datenarchitekturen (ca. 2 Tage)

Aufgaben und Anwendungsfelder im Data Engineering

Grundlagen moderner Datenarchitekturen und Datenplattformen

Grundlagen und Vergleich cloudbasierter Datenarchitekturen

OLTP und OLAP

Verarbeitung strukturierter, semistrukturierter und unstrukturierter Daten

Anforderungsmanagement und Datenmodellierung (ca. 1 Tag)

Anforderungen an Daten und Datenquellen

Konzeptionelle Datenmodellierung

Modellierung von Datenstrukturen und Datenflüssen

Data Contracts, Data Governance und Data Lineage

Datenbanken und Datenverarbeitung (ca. 1 Tag)

Architektur von Datenbanksystemen

SQL vs. NoSQL vs. NewSQL im Vergleich

Relationale Datenmodellierung

SQL zur Abfrage und Verarbeitung von Daten

Data Warehousing und moderne Datenarchitekturen (ca. 2 Tage)

Grundlagen und Architektur von Data-Warehouse-Systemen

Dimensionale Datenmodellierung und Schema-Design

Fakten, Dimensionen und historische Datenhaltung

Data Warehouse, Data Lake und Lakehouse im Vergleich

Einführung in dbt

Praxisorientierte Umsetzung von Datenmodellen

Datenintegration und Data Pipelines (ca. 5 Tage)

Datenintegration und Datenbereitstellung

ETL- und ELT-Prozesse

Aufbau und Orchestrierung von Data Pipelines

Datenbereinigung, -validierung und Datenqualität

Batch- und Streaming-Verarbeitung

Praxisorientierter Einsatz von Airflow und Spark

Programmierung und automatisierte Datenverarbeitung (ca. 4 Tage)

Python-Umgebungen und Paketverwaltung

Verarbeitung und Transformation von Daten mit Python

Automatisierung von Datenverarbeitungsprozessen

Anbindung unterschiedlicher Datenquellen und Schnittstellen

Entwicklung von Data-Engineering-Workflows

Containerisierung mit Docker

KI-gestützte Unterstützung im Entwicklungs- und Datenverarbeitungsprozess

Projektarbeit (ca. 5 Tage)

Zur Vertiefung der gelernten Inhalte

Präsentation der Projektergebnisse

Einführung in Machine Learning und ML-Workflow (ca. 3 Tage)

Grundlagen, Anwendungsbereiche und Arten des Machine Learning

Einordnung moderner KI- und Machine-Learning-Verfahren

Machine-Learning-Workflow mit scikit-learn

Trainings-, Validierungs- und Testdaten

Underfitting, Overfitting und Modellevaluation

Cross Validation

Datenaufbereitung und Feature Engineering (ca. 2 Tage)

Datenqualität und Datenvorverarbeitung

Skalierung, Normalisierung und Kodierung

Feature Engineering und Feature Selection

Umgang mit fehlenden Werten, Ausreißern und unausgeglichenen Datensätzen

Überwachtes Lernen – Regression und Klassifikation (ca. 5 Tage)

Regressions- und Klassifikationsverfahren

Lineare und regularisierte Modelle

Distanz-, wahrscheinlichkeits- und baumbasierte Verfahren

Ensemble- und Boosting-Verfahren

Modellvergleich und Hyperparameteroptimierung

Evaluationsmetriken und probabilistische Vorhersagen

Feature Importance und Explainable AI 

Unüberwachtes Lernen (ca. 2 Tage)

Dimensionsreduktion und Merkmalsextraktion

Clusterverfahren und Bewertung von Clustering-Ergebnissen

Anomalieerkennung

Zeitreihenanalyse und Prognosen (ca. 1 Tag)

Grundlagen und Analyse von Zeitreihendaten

Prognoseverfahren und Machine Learning für Zeitreihen

Neuronale Netze und moderne KI (ca. 2 Tage)

Grundlagen neuronaler Netze und Deep Learning

Machine Learning für Textdaten und Natural Language Processing

Foundation Models, Large Language Models und generative KI

Bereitstellung von ML-Modellen (ca. 1 Tag)

Speicherung und Bereitstellung trainierter Modelle

Entwicklung einfacher ML-Anwendungen

Schnittstellen und Plattformen für Machine-Learning-Modelle

Projektarbeit (ca. 4 Tage)

Zur Vertiefung der gelernten Inhalte

Präsentation der Projektergebnisse

Einführung Deep Learning (ca. 1 Tag)

Deep Learning als eine Art von Machine Learning

Grundlagen in neuronalen Netzen (ca. 4 Tage)

Multilayer-Perzeptronen

Berechnung neuronaler Netze

Optimierung der Modellparameter, Backpropagation

Deep-Learning-Bibliotheken

Regression vs. Klassifikation

Typische Loss- und Aktivierungsfunktionen

Mit Metriken die Modellprognose bewerten

Regressions- und Klassifikationsmetriken

Lernkurven, Überanpassung und Regularisierung

Hyperparameteroptimierung

L1/12-Regularisierung

Dropout

Early-Stopping

Stochastischer Gradientenabstieg (SGD)

Momentum, Adam Optimizer

Optimierung der Lernrate

Dynamische Lernraten-Anpassung

Reduce Learningrate on Plateau

Lernraten-Optimierung mit dem TensorBoard

Mit Callbacks den Fitprozess steuern

Modelle speichern und laden

Convolutional Neural Network (CNN) (ca. 2 Tage)

Bildklassifizierung

Convolutional‐Schichten, Pooling‐Schichten

Reshaping‐Schichten, Flatten, Global‐Average‐Pooling

CNN‐Architekturen ImageNet‐Competition

Tiefe neuronale Netze, Vanishing Gradients, Skip‐Verbindungen, Batch‐Normalization

Transfer Learning (ca. 1 Tag)

Anpassen und Kombinieren von Modellen

Unüberwachtes Vortrainieren

Image‐Data‐Augmentation, Explainable AI

Dataloader

Regional CNN (ca. 1 Tag)

Objektlokalisierung

Semantische Segmentierung

Regressionsprobleme

Verzweigte neuronale Netze

YOLO-Architektur

U-Net-Modelle

Methoden der kreativen Bilderzeugung (ca. 1 Tag)

Generative Adversarial Networks (GAN) 

Deepfakes

Diffusionsmodelle

Superresolution

Bildbereiche ergänzen

Foundations Models von Hugging Face anwenden

Multimodale Modelle

LoRA-Fine-Tuning

Anwendungsgebiete generativer Modelle

Rechtliche Einschränkungen

Recurrente neurale Netze (ca. 2 Tage)

Sequenzanalyse

Rekurrente Schichten

Backpropagation through time (BPTT)

Analyse von Zeitreihen

Exploding und Vanishing Gradient Probleme

LSTM (Long Short‐Term Memory)

GRU (Gated Recurrent Unit)

Deep RNN

Deep LSTM

Textverarbeitung durch neuronale Netze (ca. 2 Tage)

Text-Preprocessing

Embedding-Schichten

Text-Klassifizierung

Sentimentanalyse

Natural Language Processing (NLP)

Übersetzungen

Textgeneration

Seqence-to-Sequence-Verfahren, Encoder-Decoder-Architektur

Encoder-Only- und Decoder-Only-Modelle

Lokale Anwendung von Large Language Models

Sprachmodelle (ca. 1 Tag)

Transfomer Architektur

Attention und Multihead-Attention

Positional Encodings

Fine-Tuning großer Sprachmodelle

Prompting

Textgeneration-Pipelines 

Summarization 

Chatbots

Retrieval Augmented Generation

KI-Agenten

Deep Reinforcement Learning (ca. 1 Tag)

Steuerung dynamischer Systeme

Agentensysteme

Training durch Belohnungen

Policy Gradients

Deep‐Q‐Learning

Bayes'sche neuronale Netze (ca. 1 Tag)

Unsicherheiten in neuronalen Netzen

Statistische Bewertung von Prognosen

Konfidenz, Standardabweichung

Unbalancierte Daten

Sampling‐Methoden

Projektarbeit (ca. 3 Tage)

Zur Vertiefung der gelernten Inhalte

Präsentation der Projektergebnisse