In-Memory, Parallelisierung und Scheduling-Optimierung
CONWEAVER GmbH stärkt ihre Technologiebasis mit erfolgreich abgeschlossenem Forschungsprojekt. Das Projekt mit dem Titel „Entwicklung einer hauptspeicher-residenten Steuerung für Echtzeit-Aktualisierungen von Wissensnetzen“ wurde vom Bundesministerium für Wirtschaft und Energie (BMWi) im Rahmen des Zentralen Innovationsprogramm Mittelstand (ZIM) gefördert. Die Ausführung von Analyse-Workflows „in-memory“, die Parallelisierung und das Entkoppeln von Berechnungs-Pipelines, Engpässe beim Lesen/Schreiben aus Datenbanken etc. wurden dabei optimiert durch Kombination von Scheduling-Algorithmen mit Streaming-Verfahren. Dies ermöglicht beispielsweise schnelle Berechnungen von Änderungsauswirkungen (Change Impact Analysis) in der digitalen Entwicklung von Automobil- oder Flugzeug-Varianten.
In der digitalen Produktentwicklung ist die Vernetzung verteilt vorliegender Produkt- und Entwicklungsdaten ein wichtiger Schlüssel zum Erfolg. Im Bereich des Automobil- oder Flugzeugbaus muss das Zusammenspiel tausender technischer Komponenten orchestriert werden: Jede Komponente arbeitet im Verbund mit weiteren Komponenten. Bei der Entwicklung einzelner Komponenten müssen die interdisziplinär arbeitenden Teams von Ingenieuren vielfältige Zusammenhänge, zum Beispiel zwischen Anforderungen, anderen Bauteilen, Baugruppen oder Konfigurationen, berücksichtigen. Eine Änderung an einem Entwicklungsartefakt kann Auswirkungen auf viele andere Artefakte haben.
Semantische Wissensnetze, wie sie die CONWEAVER GmbH entwickelt und vertreibt, unterstützen die Recherchen nach Entwicklungsdaten, wie zum Beispiel Bauteilen, Varianten und ihren Zusammenhängen über Abteilungs- und IT-Grenzen hinweg. Bedingt durch die üblicherweise sehr große Anzahl von Engineering-Daten wird ein Wissensnetz zuerst vorberechnet und dann iterativ erweitert. Ein Entwicklungsingenieur erhält sehr schnelle Ergebnisse aus dem Netz, welches selbst aber nicht schnell änderbar ist.
Mit der täglich wachsenden Anzahl weiterer Daten, z. B. Produkt-, Entwicklungs- und Variantendaten, werden auch die Vorberechnungen von Änderungsauswirkungen immer zeitaufwendiger. Mehr Hardware ist nur Teil der Lösung, denn mit mehr Prozessorkraft oder mit größerem Hauptspeicher wächst auch der Aufwand für die interne Steuerung der Datenflüsse zwischen diesen Hardware-Teilen.
Die andere Seite der Lösung besteht in einer intelligenten softwareseitigen Steuerung der Datenflüsse über alle an einer Berechnung beteiligten Analytics-Komponenten. Dieser zweite Teil der Lösung war das Ergebnis des Forschungsprojekts: Eine spezialisierte In-Memory-Steuerung zur optimierten parallelisierten Workflow-Ausführung der CONWEAVER-Module, die für die Verarbeitung der Engineering-Daten verantwortlich sind.
„Technisch herausfordernd im Projekt waren die Auflösung von schwierig parallelisierbaren Abhängigkeiten in unseren Analyse-Workflows und die Minimierung von Flaschenhälsen im Datendurchsatz entlang unserer gesamten Verarbeitungskette, von der ersten Datenbank-Lese-Operation bis zur finalen Darstellung von Berechnungsergebnissen auf den Frontends beim Kunden. Unser Ziel war es, die benötigte Zeit für komplexe semantische „Small Data“ Update-Operationen zu minimieren, im Zusammenspiel mit „Big Data“-Operationen, die nicht in den Hauptspeicher passen. Um dieses Ziel zu erreichen, mussten wir durch unsere Architektur hindurch sozusagen ein Hochgeschwindigkeitsgleis verlegen und viele Stellwerke neu verschalten. Auf dem neuen Gleis fahren jetzt die schnellen In-Memory Update-Operationen.“
„Technisch herausfordernd im Projekt waren die Auflösung von schwierig parallelisierbaren Abhängigkeiten in unseren Analyse-Workflows und die Minimierung von Flaschenhälsen im Datendurchsatz entlang unserer gesamten Verarbeitungskette, von der ersten Datenbank-Lese-Operation bis zur finalen Darstellung von Berechnungsergebnissen auf den Frontends beim Kunden. Unser Ziel war es, die benötigte Zeit für komplexe semantische „Small Data“ Update-Operationen zu minimieren, im Zusammenspiel mit „Big Data“-Operationen, die nicht in den Hauptspeicher passen. Um dieses Ziel zu erreichen, mussten wir durch unsere Architektur hindurch sozusagen ein Hochgeschwindigkeitsgleis verlegen und viele Stellwerke neu verschalten. Auf dem neuen Gleis fahren jetzt die schnellen In-Memory Update-Operationen.“
Projektrahmen
Das Projekt „Entwicklung einer hauptspeicherresidenten Steuerung für Echtzeit-Aktualisierungen von Wissensnetzen“ lief vom Dezember 2014 bis Februar 2016 und wurde mit 140.000 EUR vom Bundesministerium für Wirtschaft und Energie (BMWi) im Rahmen des Zentralen Innovationsprogramm Mittelstand (ZIM) unter der Nummer EP141075 gefördert.
Ingenieur-Teams, die zum Beispiel eine Produktvariante entwickeln, benötigen oft Tage oder sogar Wochen, um Änderungsauswirkungen von Bauteilen oder Konfigurationen berechnen und angleichen zu können. Mit Hilfe von Wissensnetzen und der neuen In-Memory-Fähigkeit werden sie nun mit automatischen Vorberechnungen für Change Impact Analysis fast in Echtzeit unterstützt. Kunden der CONWEAVER GmbH profitieren enorm von ihren verkürzten Innovationszyklen bei der Entwicklung ihrer Produkte.
Dr. Thomas Kamps (CONWEAVER GmbH) beschreibt das Projektergebnis mit Hilfe einer Analogie: „Bisher haben wir ein Containerschiff gebaut, welches zuverlässig sehr große Ladungen transportiert, z. B. in 3 Wochen von den USA nach Europa. Dies entspricht den „Big Data“-Verarbeitungen, bei denen es hauptsächlich darauf ankommt, wieviel transportiert wird, aber nicht wie lange der Transport dauert. Jetzt können wir auch kontinuierlich kleine Überschallflieger die gleiche Strecke hin- und herschicken. Dies entspricht den schnellen Berechnungen von z. B. Änderungsauswirkungen.“
