Die Erwartungen der Verbraucher an Unternehmen steigen. Unternehmen sind zunehmend gezwungen eine höhere Anzahl an Produktvarianten zu produzieren, während Produktlebenszyklen kürzer werden und Stückzahlen sinken. Für Unternehmen bedeuten diese Entwicklungen eine zunehmende Komplexität in ihren Produkten sowie in ihren Produktions- und Logistiksystemen. Damit Unternehmen langfristig wettbewerbsfähig bleiben, darf sich die zunehmende Komplexität weder auf ihre Wirtschaftlichkeit noch auf ihre Nachhaltigkeit negativ auswirken. Reinforcement Learning, eine Klasse von Verfahren des maschinellen Lernens, die auf das Prinzip von Versuch und Irrtum setzen, ist unter bestimmten Voraussetzungen dafür geeignet, optimale Strategien für die Steuerung komplexer und dynamischer Systeme zu finden.
Catherine Laflamme, Fraunhofer Austria, Projektleiterin
Die Aufmerksamkeit für Reinforcement Learning hat in den letzten Jahren kontinuierlich zugenommen. In der Grundlagenforschung wurden wichtige Durchbrüche erzielt und die Anwendungs-möglichkeiten werden immer klarer. Reinforcement Learning hat als wesentliches Element von Systemen wie AlphaGo zunächst die Spielewelt revolutioniert und ist nun drauf und dran weitere Bereiche, von der Robotik über die chemische Industrie und das Finanzwesen bis hin zu den in REINFORCE behandelten intelligenten Fahrzeugsystemen nachhaltig zu verändern. Die am Projekt beteiligten Partner messen Reinforcement Learning disruptives Potenzial bei. Reinforcement Learning steht nicht länger nur auf strategischen Forschungsroadmaps weit oben, sondern spielt zunehmend auch in betrieblichen Digitalisierungsstrategien eine wichtige Rolle.
REINFORCE bewertet das Potenzial von Reinforcement Learning als Lösungsansatz für besonders herausfordernde Steuerungs-probleme. Einerseits beschäftigt sich das Projektkonsortium mit den technischen Aspekten des Reinforcement Learning, also mit der Entwicklung von Algorithmen, die auf die Herausforderungen realer Szenarien zugeschnitten sind.
Andererseits werden auch der Faktor Mensch sowie betriebliche Aspekte miteinbezogen. Besondere Aufmerksamkeit kommt der Erklärbarkeit und Vertrauenswürdigkeit von Ergebnissen, dem für Menschen Nachvollziehbarmachen von Gelerntem und der Frage, wie die Technologie am besten in bestehende Steuerungsprozesse integriert werden kann, zu.
Zur Lösung von Steuerungsproblemen, wie sie im Rahmen von REINFORCE behandelt werden, wird wie folgt vorgegangen:
Agenten lernen wie sich bestimmte Entscheidungen auf den Kontext und die Erreichung des Ziels auswirken. Entscheidungen, die dazu beitragen das Ziel zu erreichen, werden belohnt.
Mit Fokus auf den Anwendungsbereich intelligente Fahrzeugsysteme werden zwei Pilotimplementierungen realisiert. Neben einer höheren Leistungsfähigkeit der Systems wird eine Reduktion des manuellen Aufwands bei der Steuerung um bis zu 50% erwartet. Die Leistungsfähigkeit des Ansatzes wird mithilfe echter Systemdaten evaluiert und mit etablierten Ansätzen verglichen. Die Erkenntnisse können als Leitlinie dienen und den Transfer von Reinforcement Learning in die Praxis erleichtern – nicht nur im Bereich intelligenter Fahrzeugsysteme, sondern allgemein zur Lösung herausfordernder Steuerungsprobleme.
Der Ansatz wird in zwei komplementären Anwendungsfällen im Bereich intelligenter Fahrzeugsysteme implementiert und evaluiert. Sowohl bei der Steuerung des Antriebsstrangs von Personenkraftwagen als auch beim Steuern von fahrerlosen Transportsystemen, stoßen etablierte Ansätze zunehmend an ihre Grenzen.
Optimierung des Antriebsstrangs bei Bosch (Foto: Bosch Engineering)
Antriebsstränge setzen sich aus einer Vielzahl voneinander abhängiger Komponenten zusammen. Mit zunehmender Komplexität steigt auch die Herausforderung einer möglichst optimalen Steuerung. Sven Dominka, verantwortlich für Forschung und Innovation bei Bosch Engineering in Wien, sieht Potenzial die Effizienz moderner Antriebsstränge weiter zu erhöhen.
„Reinforcement Learning verspricht nicht nur eine Verbesserung der Steuerung, sondern auch eine Senkung des Entwicklungsaufwands. REINFORCE soll dabei helfen besser zu verstehen, wie Reinforcement Learning in der Praxis genutzt werden kann“, sagt Sven Dominka.
Engel Austria hat in seiner Fließmontage mehrere FTS im Einsatz, um Produkte von einem Montageplatz zum nächsten zu transportieren. Die Steuerung funktioniert derzeit über ein programmiertes Regelwerk, das sehr komplex werden kann und keine optimalen Ergebnisse liefert. Bei Änderungen im Prozess, ist die Anpassung derzeit äußerst aufwändig.
„Wir wollen uns mit dem Thema Reinforcement Learning auseinandersetzen, um das komplexe Zusammenspiel zwischen Mensch und Maschine verstehen und optimieren zu können“, betont Dominik Pfeiffer-Vogl, Montageleiter bei Engel Austria.
Fahrerloses Transportsystem bei Engel Austria (Foto: Engel Austria)
Theresianumgasse 7,
1040 Wien
Innovationszentrum »Digitale Transformation der Industrie«
Weisstraße 9,
6112 Wattens
Institut für Wirtschaftsinformatik, Produktionswirtschaft und Logistik
Universitätsstraße 15,
6020 Innsbruck
Göllnergasse 15-17,
1030 Wien
Donau-City-Straße 11,
1220 Wien
Kende utca 13-17,
1111 Budapest
Ludwig-Engel-Straße 1,
4311 Schwertberg
Die am Projekt beteiligten Partner messen Reinforcement Learning disruptives Potenzial bei. Reinforcement Learning steht nicht länger nur auf strategischen Forschungsroadmaps weit oben, sondern spielt zunehmend auch in betrieblichen Digitalisierungsstrategien eine Rolle. Über die RL Community von AI Austria, die unter anderem von Catherine Laflamme geleitet wird, ist eine enge Abstimmung mit anderen Aktivitäten im Bereich Reinforcement Learning in Österreich gewährleistet.
Haben Sie eine Frage zum Projekt oder Interesse an einer Zusammenarbeit, dann zögern Sie nicht uns zu kontaktieren.