Godot-Maintainer von KI-generierten Pull Requests überfordert
Rémi Verschelde, Mitgründer von Godot und einer der wichtigsten Maintainer der Engine, hat den starken Anstieg KI-generierter Pull Requests, die beim Projekt eingehen, öffentlich als „zermürbend und demotivierend“ bezeichnet.
Das Problem
Inzwischen müssen Maintainer nahezu jeden Pull Request von neuen Mitwirkenden kritisch hinterfragen. Die KI-generierten Einreichungen wirken auf den ersten Blick oft plausibel, enthalten jedoch grundlegende Fehler, fehlerhafte Logik oder Code, der im jeweiligen Kontext keinen Sinn ergibt. Die Zeit, die für das Erkennen und Ablehnen dieser PRs aufgewendet wird, fehlt bei der Prüfung legitimer Beiträge.
Godot hat derzeit 4.681 offene Pull Requests auf GitHub. Ehrliche menschliche Fehler von KI-generiertem Unsinn zu unterscheiden, ist Verschelde zufolge äußerst schwierig geworden.
„Der jüngste Anstieg von Einreichungen mit minderwertigem KI-Code ist zermürbend und demotivierend.“
— Rémi Verschelde, Mitgründer von Godot
Warum das passiert
Godots Beliebtheit nahm stark zu, nachdem Unitys Kontroverse um die Runtime Fee im Jahr 2023 Entwickler dazu veranlasste, nach Alternativen zu suchen. Mehr Nutzer bedeuten mehr potenzielle Mitwirkende, und immer mehr von ihnen verwenden KI-Werkzeuge, um Codebeiträge zu erstellen, ohne zu verstehen, was der Code bewirkt.
Godot hat Richtlinien für Beiträge, die eine Offenlegung der KI-Unterstützung vorschreiben, doch diese werden häufig ignoriert. Die Einreichungen sind in der Regel nicht böswillig. Sie stammen von Menschen, die ernsthaft etwas beitragen möchten, sich dabei aber auf KI-Werkzeuge verlassen, die selbstbewusst falschen Code erzeugen.
Was Verschelde vorgeschlagen hat
Seine wichtigste Empfehlung war eine bessere Finanzierung, um zusätzliche Maintainer einzustellen, die das Prüfvolumen bewältigen können. Er räumte ein, dass der Einsatz von KI zur Erkennung KI-generierter PRs „furchtbar ironisch“ wäre, und äußerte Vorbehalte gegen eine Automatisierung des Verfahrens.
Als weitere Möglichkeiten wurden eine Abkehr von GitHub oder die Einführung gemeinschaftlicher Vertrauensbewertungssysteme genannt. Beide Optionen bergen jedoch das Risiko, die Hürden für ernsthafte neue Mitwirkende zu erhöhen, was dem Open-Source-Gedanken widerspricht.
Ein größeres Muster
Das betrifft nicht nur Godot. Open-Source-Projekte im gesamten Software-Ökosystem berichten von ähnlichen Entwicklungen. KI-Werkzeuge machen es trivial einfach, einen Pull Request zu erstellen. Einen nützlichen Pull Request zu erstellen, machen sie hingegen nicht einfach. Der Aufwand für das Einreichen ist auf nahezu null gesunken, während der Prüfaufwand hoch bleibt.