Problemübergreifendes Hyperparameterlernen

Eine der größten Herausforderungen im Maschinellen Lernen ist die geeignete Auswahl von Hyperparametern und Modellen, da State-of-the-Art Verfahren wie die Gitter-Suche oder zufällige Hyperparameter-Stichproben viele Durchläufe des Lernalgorithmus erfordern und aus diesem Grund üblicherweise in Rechenzentren statt in Robotern, Autos oder Smartphones durchgeführt werden. Folglich müssen autonome Hyperparameter-Lernverfahren entwickelt werden, die in der Lage sind, bisherige Hyperparameter-Performanz auf anderen Datensätzen und möglicherweise anderen Modellklassen einzubeziehen und somit lernenden Systemen zu ermöglichen, in einem Bruchteil der Zeit zu lernen, der gegenwärtig nötig ist. In diesem Projekt beabsichtigen wir, ein Hyperparameter-Empfehlungsmodell zu entwickeln, das auf Eigenschaften eines neuen Lernproblems und einigen wenigen Meta-Observationen basiert und in der Lage ist, geeignete Hyperparameter-Konfigurationen vorzuschlagen, dabei aber nur einen Bruchteil der Durchläufe des Lernalgorithmus benötigt und dennoch vergleichbare Leistungen erzielt. Um dies zu erreichen, werden wir mittels eines Faktorisierungsmodells latente Eigenschaften lernen, die Datensätze und Modelle charakterisieren, so dass die Hyperparameter-Performanz mit eben diesen Eigenschaften korreliert. Darüber hinaus werden wir Strategien des Aktiven Lernens anwenden, um Hyperparameter-Kombinationen so zu wählen, dass das Hyperparameter-Empfehlungsmodell noch weniger Durchläufe des Lernalgorithmus erfordert.
Das Projekt läuft über zwei Jahre von 2014 - 2016.

Basis-Informationen

Geldgeber: Deutsche Forschungsgemeinschaft (DFG)
Schwerpunktprogramm: Autonomous Learning
HyLAP Homepage

Kontakt

Lars Schmidt-Thieme

Publikationen

• Martin Wistuba, Nicolas Schilling, Lars Schmidt-Thieme (2016):
  Two-Stage Transfer Surrogate Model for Automatic Hyperparameter Optimization, in Proceedings of European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML'16), Riva del Garda, Italy.
• Nicolas Schilling, Martin Wistuba, Lars Schmidt-Thieme (2016):
  Scalable Hyperparameter Optimization with Products of Gaussian Process Experts, in Proceedings of European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML'16), Riva del Garda, Italy.
• Martin Wistuba, Nicolas Schilling, Lars Schmidt-Thieme (2016):
  Hyperparameter Optimization Machines, in Proceedings of IEEE International Conference on Data Science and Advanced Analytics (DSAA'16), Montreal, Canada.
• Nicolas Schilling, Martin Wistuba, Lucas Drumond, Lars Schmidt-Thieme (2015):
  Joint Model Choice and Hyperparameter Optimization with Factorized Multilayer Perceptrons, in 27th IEEE International Conference on Tools with Artificial Intelligence (ICTAI 2015), Vietri sul Mare, Italy.
• Martin Wistuba, Nicolas Schilling, Lars Schmidt-Thieme (2015):
  Sequential Model-free Hyperparameter Tuning, in Proceedings of IEEE International Conference on Data Mining (ICDM'15), Atlantic City, NJ, USA. Acceptance Rate: 18.2% (147 out of 807).
• Martin Wistuba, Nicolas Schilling, Lars Schmidt-Thieme (2015):
  Learning Hyperparameter Optimization Initializations, in Proceedings of IEEE International Conference on Data Science and Advanced Analytics (DSAA'15), Paris, France.
• Nicolas Schilling, Martin Wistuba, Lucas Drumond, Lars Schmidt-Thieme (2015):
  Hyperparameter Optimization with Factorized Multilayer Perceptrons, in Proceedings of European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML'15), Porto, Portugal.
• Martin Wistuba, Nicolas Schilling, Lars Schmidt-Thieme (2015):
  Hyperparameter Search Space Pruning - A New Component for Sequential Model-Based Hyperparameter Optimization, in Proceedings of European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML'15), Porto, Portugal.
• Martin Wistuba, Nicolas Schilling, Lars Schmidt-Thieme (2015):
  Learning Data Set Similarities for Hyperparameter Optimization Initializations, in Proceedings of the 2015 International Workshop on Meta-Learning and Algorithm Selection co-located with European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases 2015 (MetaSel@ECML'15), Porto, Portugal.