OpenAIs neue KI lernt vom Menschen
OpenAI will Künstliche Intelligenz an menschliche Präferenzen anpassen. Eine neue KI für Textzusammenfassung zeigt, wie das technisch funktioniert.

OpenAI will Künstliche Intelligenz an menschliche Präferenzen anpassen. Eine neue KI für Textzusammenfassung zeigt, wie das technisch möglich ist.

Im Oktober 2019 veröffentlichte OpenAI eine Text-KI, die zwar bessere Zusammenfassungen als das sieben Monate zuvor vorgestellte KI-Sprachmodell GPT-2 schreiben konnte, der aber dennoch deutlich weniger Aufmerksamkeit zuteil wurde.

Was OpenAI damals änderte, war der Trainingsprozess: Die Zusammenfassungs-KI wurde mit von Menschen geschriebenen Zusammenfassungen und menschlichem Feedback trainiert. Es war wohl das erste Mal, dass das bestärkende Lernen (Erklärung) erfolgreich für eine neue Generation großer Sprachmodelle eingesetzt wurde.

Jetzt veröffentlicht OpenAI eine bessere Version der Zusammenfassungs-KI. Erneut setzt OpenAI auf menschliches Feedback für bessere Ergebnisse.

KI urteilt nach menschlichem Vorbild

Beim KI-Training geht OpenAI in drei Schritten vor: Aus einem Reddit-Datensatz werden Posts mit zugehörigen von Menschen geschriebenen Zusammenfassungen ausgewählt. Anschließend bestimmen Menschen die bessere von zwei Zusammenfassungen. Dadurch entsteht ein Datensatz bestehend aus Posts, die nach der Qualität der Zusammenfassungen sortiert sind.

Mit diesem Datensatz wird anschließend ein künstliches neuronales Netzwerk überwacht trainiert (Erklärung), lernt die menschlichen Präferenzen kennen und kann so im selben Stil über gute und schlechte Zusammenfassungen urteilen.

Eine Darstellung der Methode, mit der OpenAI seine Zusammenfassungs-KI trainiert hat

OpenAI erreicht die hohe Qualität der Zusammenfassung in drei Schritten: menschliches Feedback sammeln, mit dem Feedback ein neuronales Netz trainieren und dieses Netz anschließend maschinelle Zusammenfassungen bewerten lassen. | Bild: OpenAI

Im letzten Schritt soll nun ein großes Sprachmodell wie GPT-2 möglichst gute Zusammenfassungen bisher nicht verwendeter Reddit-Posts schreiben unter Anweisung der zuvor trainierten Bewertungs-KI: Das mit menschlichem Feedback trainierte neuronale Netz urteilt über die Qualität der Zusammenfassungen von GPT-2 und gibt entsprechend eine niedrige oder hohe Belohnung an das Sprachmodell aus.

So nähert sich die Qualität der automatisierten Zusammenfassungen langsam an menschliche Ansprüche an. Das Ansatz erinnert an das kreative Wechselspiel zweier Netzwerke in den für Deepfakes eingesetzten GAN-Netzwerken (Erklärung).

Mashinelle schlägt menschliche Zusammenfassung

OpenAI hat mit dieser Methode zwei unterschiedlich große Texterstellungsmodelle mit je 1,3 Milliarden und 6,7 Milliarden Parametern trainiert. Ein GPT-3-ähnliches Riesenmodell haben die Forscher nicht eingesetzt – wohl aus Kostengründen.

Nach dem Training evaluierten die Forscher die Qualität der Zusammenfassungen durch Blindtests mit Menschen: Die maschinelle Zusammenfassung lag im Schnitt sogar über der Qualität menschlicher Zusammenfassungen. Für Interessierte stellt OpenAI alle maschinellen Zusammenfassungen auf einer Webseite zur Verfügung.

Ein Vergleich verschiedener Methoden für maschinelle Zusammenfassungen

OpenAI vergleicht die Leistung von drei Ansätzen: (1) Ein reines Sprachmodell wie GPT-2, das nicht extra für Zusammenfassungen trainiert wurde. (2) Ein mit menschlichen Zusammenfassungen überwacht trainiertes Sprachmodell und (3) ein Sprachmodell, das mit mit dem bestärkenden Lernen von menschlichem Feedback gelernt hat, und den beiden anderen Modellen deutlich überlegen ist. | Bild: OpenAI

Allerdings variiert die Qualität einer von einem Menschen geschriebenen Textzusammenfassung. Die Forscher gehen davon aus, dass die für das Training verwendeten Zusammenfassungen noch besser geschrieben werden könnten und somit die KI zwar eine menschenähnliche Leistung erreicht, aber keine besseren Ergebnisse bietet als geübte menschliche Autoren. Mehr Training und ein größeres Sprachmodell könnten das ändern.

Für OpenAI ist die Zusammenfassungs-KI ein Test: Das eigentliche Ziel sei es, die Anpassung von KI-Systemen an menschliche Präferenzen zu einer zentralen Komponente der KI-Forschung und des Einsatzes von KI-Systemen zu machen, schreiben die Forscher.

Via: OpenAI, Arxiv; Titelbild: OpenAI

Weiterlesen über Künstliche Intelligenz:

steady2

Filed under: Forschung,KI und Arbeit,KI und Forschung,KI und Kultur,Künstliche Intelligenz,OpenAI,Sprach-KI,Wandel - @ 19. September 2020 8:30