Pipeline-Strukturen anpassen
Das Training von Machine-Learning-Modellen kann selten direkt mit Rohdaten erfolgen. Im Vorfeld muss eine Datenbereinigung und -vorbereitung stattfinden. Das stellt Unternehmen mit großen Datenmengen vor eine komplexe Aufgabe. Damit tatsächlich alle notwendigen Schritte in der richtigen Reihenfolge ausgeführt werden, ist es empfehlenswert, ein Orchestrierungs-Framework wie Kubernetes zu nutzen. Das sorgt für einen Überblick über alle Abläufe.
Machine Learning Operations
Es gibt Anforderungen an Monitoring und Betrieb, die speziell Machine Learning Deployments, so genannte MLOps betreffen. Darunter fallen z.B. das Performance-Monitoring für Machine Learning-Modelle und die Wahl des richtigen Zeitpunkts für sein erneutes Training. Solche Monitoring-Operationen und Entscheidungen erfordern effektive Sammeln, Zusammenführen und Speichern von Metriken zur Beschreibung der Performance von Machine Learning-Algorithmen. Die Wahl der richtigen Frameworks und der Infrastruktur für diese Aufgaben sind wichtige Bausteine der Systemarchitektur.
Daten, Tools und Monitoring
Zumeist entstehen Fehlentwicklungen bereits in der Anfangsphase, wenn es um die Verwendung der richtigen Datenquellen geht. In späteren Phasen können Projekte scheitern, wenn wichtige Anforderungen wie Monitoring und Betrieb nicht frühzeitig in die Architektur einbezogen wurden. Gerade bei Machine Learning-Projekten ist es elementar, mit produktionsähnlichen Daten, einer geeigneten Umgebung und einem Monitoring-Setup zu arbeiten.