Gepostet 16.02.2022, Bildung Schweiz
Data Engineering wird immer relevanter für Unternehmen, welche die Wertschöpfung aus Daten maximieren möchten. Denn Data Engineers ermöglichen Data Scientists Modelle für Vorhersagen zu erstellen, indem sie die dafür benötigten Daten zur Verfügung stellen und schlussendlich das Modell für die Vorhersagen in der bestehenden Infrastruktur produktiv betreiben. Das Problem ist nur, dass Personal mit entsprechendem Fachwissen fehlt.
Immer mehr Unternehmen nutzen Data Science, um aus den bestehenden Daten wertvolle Informationen abzuleiten. Es gibt zahlreiche Anwendungsfälle für Data Science in den Unternehmen, wie zum Beispiel die Verbesserung des Marketings, Optimierung von Prozess- und Arbeitsabläufen, Qualitätssicherung oder das Entwickeln von komplett neuen und innovativen Produkten. Die Wertschöpfung aus den Daten ist die Arbeit von Data Scientists, welche Modelle für Vorhersagen erarbeiten. Jedoch ist ein gutes Modell für Vorhersagen nur die halbe Miete.
Ein häufig vernachlässigter Aspekt ist, dass für den erfolgreichen Betrieb von Data Science auch Expertise aus dem Bereich Data Engineering erforderlich ist. Data Engineers realisieren und überwachen hoch verfügbare Daten-Infrastrukturen. Daten werden aus verschiedenen Quellen gesammelt, verarbeitet und Data Scientists zur Verfügung gestellt. Basierend auf diesen Daten erstellen Data Scientists dann Modelle für Vorhersagen. Die fertigen Modelle werden im Anschluss von Data Engineers in die bestehende Infrastruktur eingebunden und produktiv betrieben.
Das Problem ist, dass gut ausgebildetes Personal in Data Science und vor allem Data Engineering fehlt. Umso besser stehen die Berufschancen für Personen, welche sich in diesen Bereichen weiterbilden.
Praxisorientierter Lehrgang in Data Engineering
Der CAS Data Engineering der Fachhochschule Nordwestschweiz (FHNW) Technik setzt an diesem Punkt an und vermittelt das dafür nötige Wissen. Konkrete Schwerpunkte sind die Operationalisierung von Data Science und der Aufbau sowie Betrieb einer lokalen oder cloudbasierten Daten-Infrastruktur. Die Weiterbildung ist sehr praxisorientiert. Das nötige konzeptionelle Verständnis und die praktische Anwendung sind zentral. Dank den zahlreichen Dozierenden aus der Privatwirtschaft, die selber täglich in den Bereichen Data Science und Data Engineering arbeiten, gibt es interessante Einblicke und Raum für spannende Diskussionen über verschiedenste Umsetzungen von Data Engineering.
Die Weiterbildung CAS Data Engineering eignet sich grundsätzlich für Bachelor-Absolvierende mit IT-Hintergrund oder -Interesse. Falls Interessenten ohne Bachelor-Abschluss über die erforderlichen IT-Grundkenntnisse verfügen, besteht nach erfolgter Eignungsabklärung trotzdem die Möglichkeit für die Aufnahme in den Lehrgang.
Je nach Grösse des Arbeitgebers variiert der Arbeitsalltag. Ebenfalls ist entscheidend, in welcher Phase sich das Projekt befindet. Zu Beginn identifiziert ein Data Scientist zusammen mit Domänenexpertinnen und Domänenexperten einen konkreten Anwendungsfall für Data Science. Zusammen werden Qualitätskriterien definiert. «Wie zutreffend muss die Vorhersage sein, um einen betriebsrelevanten Mehrwert zu generieren?» ist dabei eine zentrale Frage. In einem weiteren Schritt wird identifiziert, welche Datenquellen dafür relevant sind. An dieser Stelle kommt die Zusammenarbeit mit Data Engineers ins Spiel: Sie sind für den Betrieb und die Überwachung der Daten-Infrastruktur verantwortlich und stellen den Data Scientists die Daten aus verschiedenen Quellen zur Verfügung. Für die geplante Vorhersage müssen die Daten bereinigt werden. Dies wird jeweils im Austausch mit Domänenexpertinnen und Domänenexperten gemacht. Dadurch verstehen Data Scientists die Daten und deren Bedeutung besser. Die Datenaggregierung und Datenbereinigung beanspruchen jeweils am meisten Zeit. Als Nächstes probiert ein Data Scientist verschiedene Algorithmen für die Vorhersagen des festgelegten Anwendungsfalls aus und prüft, welcher Algorithmus anhand der definierten Qualitätskriterien am besten funktioniert. Dieser Algorithmus wird dann von Data Engineers in die bestehende Infrastruktur eingebunden, sodass die Vorhersagen produktiv genutzt werden können. Die Arbeit der Data Engineers ist an dieser Stelle noch nicht getan. Der Betrieb des Vorhersagemodells muss überwacht werden, um Verschlechterungen in der Vorhersagequalität frühzeitig zu erkennen.
Bevor sich Data Engineers an die technische Umsetzung machen, müssen die Anforderungen an die Infrastruktur und zur Verfügung gestellten Modelle für die Vorhersagen festgelegt werden. Dazu gehört auch, dass rechtliche sowie betriebliche Rahmenbedingungen berücksichtigt werden. Um Ausfälle in der Dienstleistung zu vermeiden, wird eine permanent verfügbare Infrastruktur vorausgesetzt. Eine gute Überwachung der Infrastruktur ist deshalb unerlässlich, um frühzeitig auf Probleme aufmerksam zu werden. Ein redundanter Betrieb der Modelle für die Vorhersagen minimiert das Ausfallrisiko dieses Services und ermöglicht zudem, dass verschiedene Modelle in der Praxis miteinander verglichen werden können oder dass ein neues Modell ohne Unterbruch eingebunden werden kann. Weitere zentrale Punkte im Data Engineering sind die Überwachung der Daten und Vorhersagen. Denn die Qualität der Vorhersagen ist von den eingehenden Daten abhängig. Die Vorhersagen eines einmalig trainierten Modells werden schlechter, wenn sich die Datenlage mit der Zeit ändert. Um die Daten jederzeit im Blick zu haben, werden oftmals Dashboards und deskriptive Statistiken verwendet. Diese ermöglichen eine permanente Überwachung und helfen, das Verständnis für die Daten zu schärfen.
Es ist von Vorteil, die Daten einfach verfügbar abzuspeichern. Dies hilft, wenn neue Modelle trainiert werden oder mithilfe von Data Science weitere betriebsrelevante Erkenntnisse gewonnen werden wollen. Bei einer zentralisierten Daten-Infrastruktur werden die Daten von verschiedensten Quellen in die Datenbank oder das Data Warehouse übermittelt. Mit den grossen Datenmengen kommt eine hoch verfügbare Daten-Infrastruktur spielend zurecht.
Das Institut für Data Science der FHNW setzt seit vielen Jahren Data Science-Projekte zusammen mit Partnern aus der Industrie und Wissenschaft erfolgreich um. Das Angebot wurde in den letzten Jahren stark ausgebaut, um der steigenden Nachfrage nach Data Science Weiterbildungsmöglichkeiten gerecht zu werden. Neben dem CAS Data Engineering werden noch weitere Data Science Weiterbildungslehrgänge angeboten:
CAS Data Science: Der CAS Data Science liefert einen breiten Überblick über verschiedene Data Science-Methoden und vermittelt anhand von praktischen Anwendungsfällen, wie diese eingesetzt werden können, um gewinnbringende Erkenntnisse aus Daten zu gewinnen.
Fachhochschule Nordwestschweiz, Hochschule für Technik FHNW
Die Hochschule für Technik FHNW ist das Aus- und Weiterbildungszentrum für Ingenieurinnen und Ingenieure. In der Forschung sind wir ein wichtiger Partner für die Wirtschaft und Industrie.