Die Reduzierung von Halluzinationen in großen Sprachmodellen (LLMs) – insbesondere, wenn diese Software generieren oder modifizieren – bleibt eine große Herausforderung in der künstlichen Intelligenz (KI).
Für seinen Ansatz, visuelle Informationen zur Optimierung einzusetzen, erhielt Kai Huang, Doktorand an Professor Chunyang Chens Lehrstuhl für Software Engineering & AI am TUM Campus Heilbronn den „ACM SIGSOFT Distinguished Paper Award” bei der diesjährigen Konferenz für Automated Software Engineering (ASE 2025) in der südkoreanischen Hauptstadt Seoul. Der Titel seiner wissenschaftlichen Veröffentlichung lautet: „GUIRepair – Seeing is Fixing: Cross-Modal Reasoning with Multimodal LLMs for Visual Software Issue Repair“.
Der Clou bei Huangs Forschungsansatz ist, dass „GUIRepair“ LLMs von reinen Text-Verstehern in visuell fundierte Problemlöser verwandelt und damit Halluzinationen, Fehlinterpretationen und ungültige Reparaturen erheblich reduziert. Dies könnte ein echter Game-Changer sein. Die Rückmeldungen zum Prototypen sind vielversprechend: „GUIRepair erzielte die beste Leistung unter den Open-Source-Reparatursystemen und übertraf damit die starken Baselines, die von führenden Forschungseinrichtungen entwickelt wurden – unser akademischer Prototyp kann auf industriellem Niveau mithalten“, berichtet Huang.
LLM lernt menschliches Verhalten
Der Prototyp funktioniert nicht wie klassische Sprachmodelle, sondern „bezieht visuelles Verständnis in den Reparaturprozess der KI mit ein und kann dadurch die tatsächliche Ursache eines Problems viel besser identifizieren und eine wirklich funktionierende Lösung auswählen“. Bei seiner Arbeit stieß der Wissenschaftler auf ungenutzte Potenziale: „Das überraschendste Ergebnis war die Entdeckung, dass sich ein LLM mit einer gut konzipierten Pipeline fast wie ein menschlicher Entwickler verhalten kann. Es lernte, visuelle Hinweise aus der Benutzeroberfläche zu lesen, sie mit dem zugrunde liegenden Code zu verknüpfen und Lösungen auszuwählen, die dem beabsichtigten visuellen Ergebnis entsprechen.“
Eine Leistung, die nun prämiert wurde und Huang auf seinem Weg bestärkt: „Diese Anerkennung spiegelt die harte Arbeit unseres gesamten Teams und die bedeutende Wirkung unserer Forschung wider. Ich bin besonders Professor Chunyang Chen dankbar, dessen umfassende Expertise im Bereich GUI-Tests und dessen kontinuierliche Anleitung diese Arbeit erst ermöglicht haben und uns inspiriert haben, das Projekt voranzutreiben. GUIRepair ist das Ergebnis echter Teamarbeit und gemeinsamen Engagements.“
Auch die nächsten Schritte hat der Doktorand bereits geplant: „Letztendlich ist es unser Ziel, eine neue Generation von Software-Engineering-Tools zu entwickeln, die Bildverarbeitung ermöglichen und Entwicklern die Möglichkeit geben, zuverlässige, benutzerorientierte Software in großem Maßstab zu produzieren.“
Wir wünschen Kai Huang und seinem Team weiterhin viel Erfolg und freuen uns mit ihm über seine Auszeichnung!
Für seinen Ansatz, visuelle Informationen zur Optimierung einzusetzen, erhielt Kai Huang, Doktorand an Professor Chunyang Chens Lehrstuhl für Software Engineering & AI am TUM Campus Heilbronn den „ACM SIGSOFT Distinguished Paper Award” bei der diesjährigen Konferenz für Automated Software Engineering (ASE 2025) in der südkoreanischen Hauptstadt Seoul. Der Titel seiner wissenschaftlichen Veröffentlichung lautet: „GUIRepair – Seeing is Fixing: Cross-Modal Reasoning with Multimodal LLMs for Visual Software Issue Repair“.
Der Clou bei Huangs Forschungsansatz ist, dass „GUIRepair“ LLMs von reinen Text-Verstehern in visuell fundierte Problemlöser verwandelt und damit Halluzinationen, Fehlinterpretationen und ungültige Reparaturen erheblich reduziert. Dies könnte ein echter Game-Changer sein. Die Rückmeldungen zum Prototypen sind vielversprechend: „GUIRepair erzielte die beste Leistung unter den Open-Source-Reparatursystemen und übertraf damit die starken Baselines, die von führenden Forschungseinrichtungen entwickelt wurden – unser akademischer Prototyp kann auf industriellem Niveau mithalten“, berichtet Huang.
LLM lernt menschliches Verhalten
Der Prototyp funktioniert nicht wie klassische Sprachmodelle, sondern „bezieht visuelles Verständnis in den Reparaturprozess der KI mit ein und kann dadurch die tatsächliche Ursache eines Problems viel besser identifizieren und eine wirklich funktionierende Lösung auswählen“. Bei seiner Arbeit stieß der Wissenschaftler auf ungenutzte Potenziale: „Das überraschendste Ergebnis war die Entdeckung, dass sich ein LLM mit einer gut konzipierten Pipeline fast wie ein menschlicher Entwickler verhalten kann. Es lernte, visuelle Hinweise aus der Benutzeroberfläche zu lesen, sie mit dem zugrunde liegenden Code zu verknüpfen und Lösungen auszuwählen, die dem beabsichtigten visuellen Ergebnis entsprechen.“
Eine Leistung, die nun prämiert wurde und Huang auf seinem Weg bestärkt: „Diese Anerkennung spiegelt die harte Arbeit unseres gesamten Teams und die bedeutende Wirkung unserer Forschung wider. Ich bin besonders Professor Chunyang Chen dankbar, dessen umfassende Expertise im Bereich GUI-Tests und dessen kontinuierliche Anleitung diese Arbeit erst ermöglicht haben und uns inspiriert haben, das Projekt voranzutreiben. GUIRepair ist das Ergebnis echter Teamarbeit und gemeinsamen Engagements.“
Auch die nächsten Schritte hat der Doktorand bereits geplant: „Letztendlich ist es unser Ziel, eine neue Generation von Software-Engineering-Tools zu entwickeln, die Bildverarbeitung ermöglichen und Entwicklern die Möglichkeit geben, zuverlässige, benutzerorientierte Software in großem Maßstab zu produzieren.“
Wir wünschen Kai Huang und seinem Team weiterhin viel Erfolg und freuen uns mit ihm über seine Auszeichnung!
