Die Effizienz komplexer Fertigungsprozesse hängt wesentlich von einer guten Produktionsplanung ab: Oftmals ein komplexes Puzzle, das bestimmt, wann welcher Auftrag welcher Maschinen zugeordnet wird. Besonders die Feinplanung ist häufig sehr herausfordernd, da kurzfristig auf Änderungen unter Berücksichtigung vieler Abhängigkeiten reagiert werden muss. Um dabei schnell gute Planungen erstellen zu können, kommen oft heuristische Algorithmen zum Einsatz. Deren Lösungsqualität steht und fällt mit geeigneten Einstellungen (Parametern) für die konkrete Planungsaufgabe. Heute müssen diese Parameter oft zeitaufwendig manuell gesucht werden.
Dieser aufwändige Schritt wird nun durch die Hyperparameteroptimierung (HPO) gelöst – ein „Autopilot“ aus der Welt des Machine Learnings. Erfahren Sie, wie HPO die Leistung heuristischer Planungsalgorithmen automatisch steigern kann.Wir zeigen anhand realer Industriebeispiele, wie mit Hilfe von HPO eine bessere Anlagenauslastung und damit eine höhere Termintreue erreicht werden können. Lesen Sie in diesem Fachbeitrag, wie Ihr Unternehmen die Planungseffizienz revolutioniert.
Die Optimierung von Hyperparametern wird nicht nur in Machine-Learning-Projekten mit anspruchsvollen Modellen und hohen Anforderungen an Leistung oder Produktionsreife verwendet – sie entwickelt sich rasch auch zu einem praktischen Wegbereiter in modernen Fertigungssteuerungssystemen, indem sie bessere Entscheidungen ermöglicht. Für die Optimierungs-Fragestellungen in diesem Bereich ist es aufgrund ihrer hohen kombinatorischen Komplexität oft schwierig optimale Lösungen zu ermitteln. Daher kommen häufig heuristische Verfahren zum Einsatz, die in angemessener Laufzeit gute Lösungen generieren können. Eine Herausforderung dieser Lösungsansätze besteht darin, dass die Bestimmung einer guter Parametrierung oftmals schwierig ist und die erzielte Lösungsqualität bei gleicher Laufzeit dadurch erheblich variieren kann. Durch die automatische Optimierung der Parameter von Planungsalgorithmen, aber auch Vorhersagemodellen und Echtzeit-Entscheidungsregeln können Unternehmen erhebliche Leistungssteigerungen erzielen. Das Ergebnis? Bessere Produktionspläne, kürzere Vorlaufzeiten, intelligentere Energienutzung.
Die Feinplanung zählt zu den anspruchsvollsten Aufgaben der Produktionsplanung. Dabei müssen zahlreiche Arbeitsschritte, die durch Vorgänger- und Nachfolgerbeziehungen miteinander verknüpft sind, unter einer Vielzahl von Restriktionen eingeplant werden. Zu den Restriktionen gehören zum Beispiel die passenden Ressourcen, ressourcen-abhängige Bearbeitungs-, Rüst- und Abrüstzeiten, Überlappungen, Warte- oder Transportzeiten. Aufträge, die aus mehreren Arbeitsschritten bestehen, sollen ihre früheste Startzeiten nicht verletzen und rechtzeitig fertiggestellt werden. Außerdem können dabei verschiedene Optimierungsziele berücksichtigt werden, etwa die Minimierung der Auftrags-Verzüge, die Minimierung der Auftrags-Durchlaufzeit oder der Rüstzeiten.
Die Feinplanung in der Smart Factory stellt aufgrund der enormen Problemgröße und der Vielzahl an Restriktionen eine Herausforderung dar. In [1] wurde ein Feinplanungsalgorithmus basierend auf Tabu-Suche vorgeschlagen, der reale Planungsprobleme aus der Industrie lösen kann. Dieses Optimierungsframework wurde erweitert, um die Perfomance bei großen Planungsprobleme weiter zu erhöhen, siehe [2] und [3]. Das Optimierungsframework wurde von RISC Software GmbH in Kooperation mit einem unserer Industriepartner zur Lösung von Produktionsplanungsprobleme eingesetzt. Um den Feinplanungsalgorithmus flexibel an den jeweiligen Kunden anpassen zu können, wurden viele unterschiedliche Parameter eingeführt. Damit ergibt sich aber die Schwierigkeit, Parametersets zu finden, die sehr gut für die Planungsdaten eines Kunden geeignet sind. Dies ist in der Regel sehr zeitaufwendig und setzt ein umfassendes Verständnis der Daten voraus. Eine weitere Herausforderung besteht darin, Parametersets für unterschiedlichen Kunden zu finden, wenn sie das gleiche Optimierungsziel betrachten.
Diese Fragen bezüglich Parametersets wurden mittels Hyperparameteroptimierung adressiert und gelöst.
Die Hyperparameteroptimierung (HPO) bezeichnet den Prozess, die optimalen Hyperparameter für ein Machine-Learning-Modell zu bestimmen, um dessen Leistung für eine bestimmte Aufgabe zu maximieren. Während frühe Ansätze vor allem auf manueller Anpassung und Trial-and-Error-Strategien beruhten, ermöglichte der Anstieg der Rechenkapazitäten sowie das rasche Wachstum des maschinellen Lernens in den 2000er-Jahren die Entwicklung systematischer Verfahren. Zunächst kamen automatisierte Methoden wie Grid Search und Random Search zum Einsatz, bei denen Hyperparameter entweder in einem festgelegten Suchraster oder per Zufallsstichprobe getestet wurden. Ab den 2010er-Jahren hielt die Bayes’sche Optimierung Einzug in die HPO. So etablierten sich ausgefeiltere Techniken wie Gauß-Prozesse oder der Tree-Structured Parzen Estimator (TPE), die es erlaubten, die Zielfunktion besser zu modellieren und die Wahl der Hyperparameter gezielter zu steuern. Parallel dazu entstanden leistungsfähige Frameworks, und Open-Source-Tools wie Hyperopt, Optuna oder Ray Tune und machten den Einsatz von Hyperparameteroptimierung deutlich einfacher und breiter zugänglich.
Die Hauptkomponenten der Hyperparameteroptimierung umfassen:
Abbildung 1: Überblick über die HPO Suchalgorithmen die sich in der Praxis etabliert haben.
Optuna (https://optuna.org/) ist ein Open-Source-Framework für die Hyperparameteroptimierung. Optuna verwendet standardmäßig als Sampler den Tree-Structured Parzen Estimator und ist durch seine Kombination aus Effizienz, Skalierbarkeit und Flexibilität besonders leistungsfähig. TPE modelliert die Verteilung guter und schlechter Hyperparameterkonfigurationen separat und nutzt diese Informationen, um die Suche auf vielversprechendere Bereiche zu konzentrieren. Dies macht es besonders effektiv für hochdimensionale oder bedingte Suchräume, in denen die auf Gauß-Prozessen basierende Bayes’sche Optimierung Schwierigkeiten hat. Darüber hinaus bietet Optuna die Möglichkeit, wenig vielversprechende Versuche frühzeitig auszusortieren, was zu erheblichen Geschwindigkeitssteigerungen in realen Anwendungen führt. All diese Eigenschaften machen Optuna mit TPE sowohl praktisch skalierbar als auch rechnerisch effizient, weshalb es zu einem der am weitesten verbreiteten Tools in der modernen Hyperparameteroptimierung geworden ist.
Um die zwei oben genannten Fragestellungen bzgl. guter Parametersets für den Feinplanungsalgorithmus zu beantworten, wurde ein Umsetzungskonzept mit Optuna erstellt, indem der Feinplanungsalgorithmus als externer Prozess mit ausgewählten Parameterwerte aufgerufen wird. Optuna übernimmt den Zielfunktionswert des Planungsalgorithmus und bewertet damit die Leitung dieser Parameter, um darauf basierend gezielt weitere Parameterkombinationen auszuwählen.
Von den zahlreichen Parametern des Feinplanungsalgorithmus wurden für die Hyperparameteroptimierung acht Parameter ausgewählt, die einen wesentlichen Einfluss sowohl auf die Konstruktion der Initiallösung als auch auf den weiteren Optimierungsverlauf haben. Als Abbruchkriterium für den Planungsalgorithmus diente eine maximale Laufzeit. Zum Vergleich wurde ein Plan herangezogen, der mit der bestehenden Planungslogik des Industriepartners erstellt wurde.
Die erzielten Ergebnisse fielen für alle bereitgestellten Testdaten sehr positiv aus. Im Vergleich zu einer Planungsoptimierung die mit einem Standardverfahren, das heute in der Industrie häufig zum Einsatz kommt, erstellt wurde, konnte beispielsweise bei einem Testdatensatz das Optimierungsziel Minimierung der Auftrags-Verzüge von 275.078 Minuten auf 82.177 Minuten reduziert werden. Dies wurde ermöglicht durch den Einsatz eines neuen Optimierungsverfahren kombiniert mit Hyperparameteroptimierung. Abbildung 2 zeigt das Optimierungsverlaufsdiagramm der Optuna-Optimierung, die zu diesem Ergebnis geführt hat. In dieser Optuna-Optimierung wurden insgesamt 540 Parameterkombinationen verwendet und jeder Punkt entspricht des Wertes für Auftrags-Verzüge, der mit der Parameterkombination in einem Versuch erzielt wurde. Die wenigen Ausreißer wurden für die Darstellung weggefiltert. Der letzte markierte Punkt auf der roten Linie – ‚Trial‘ 349 und ‚Objective Value‘ 82.177 – stellt das beste Ergebnis dar.
Darüber hinaus ließen sich für einen Teil der Parameter Einstellungen identifizieren, die auf das Optimierungsziel Minimierung der Rüstzeiten abzielen und für mehrere Testdatensätze gültig sind. Nicht zuletzt ergab eine detailliertere Analyse der Ergebnisse Parameterwerte, deren Leistung stark von den Testdaten abhängig war.
Abbildung 2: Die Optuna-Optimierung, nachdem die wenigen Ausreißer weggefiltert wurden, für einen Testdatensatz und die Minimierung der Auftrags-Verzüge.
Die Hyperparameteroptimierung bleibt ein zentraler Bestandteil der Weiterentwicklung des maschinellen Lernens, da sie die Entwicklung präziserer und effizienterer Modelle unterstützt. Zugleich adressiert sie auch Herausforderungen hinsichtlich Skalierbarkeit, Interpretierbarkeit und Nachhaltigkeit. Wie in diesem Beitrag gezeigt, kann sie erfolgreich auch zur automatischen Bestimmung guter Parametereinstellungen für Feinplanungsalgorithmen eingesetzt werden. Die erzielten sehr guten Ergebnisse deuten auf eine erfolgreiche Umsetzung in der Praxis hin, und stellen somit eine wertvolle Ergänzung zu dem Expertenwissen des Planers dar.
[1] M. Bögl, A. Gattinger, I, Knospe, M. Schlenkrich, R. Stainko. Real-life scheduling with rich constraints and dynamic properties – an extendable approach. Proceedings of the 2nd International Conference on Industry 4.0 and Smart Manufacturing (ISM 2020), 180:534–544.
[2] M. Schlenkrich, M. Bögl, A. Gattinger, I. Knospe, S. Parragh. Integrating Memory-Based Perturbation Operators into a Tabu Search Algorithm for Real-World Production Scheduling Problems. In Proceedings of the 13th International Conference on Operations Research and Enterprise Systems – ICORES; ISBN 978-989-758-681-1; ISSN 2184-4372, SciTePress, 213-220. DOI: 10.5220/0012271900003639
[3] https://www.risc-software.at/fachbeitraege/smarte-algorithmen-in-der-produktionsplanung/
Mathematical Optimization Engineer
