KI-generierte Lernpraline - der Turing-Test

Auf die Idee kam ich durch einen Artikel im Spiegel über eine Zeitung in Italien "Il Foglio", die im März 2025 einen Monat lang zusätzlich zur normalen Zeitung eine komplett KI-generierte Variante veröffentlicht, um zu sehen, wie tauglich sie ist. Hier gibt es nähere Infos dazu.

Das ist ja interessant, dachte ich, und überlegte, ob man das nicht auch mal bei einem Seminar machen könnte. Gedacht - getan.

Zuvor hatte ich mir einige Fragen notiert:

• erkennen die Teilnehmenden einen Unterschied zu bisherigen Lernpralinen was Qualität, Aufbau und Umsetzung angeht?
• erkennen die Teilnehmenden einen Unterschied bei mir? 
• bringt es eine Zeitersparnis?
• fühle ich mich als Trainerin damit wohl?
• ganz generell: welche Vorteile und Nachteile ergeben sich daraus?

Lernpralinen sind zweistündige Online-Seminare zu Themen rund um Training und Coaching. Sie kosten normalerweise 33 Euro, die max. Teilnehmende-Zahl ist 18. Für das Experiment bot ich sie kostenlos an und ließ 30 Anmeldungen zu, wohl wissend, dass bei kostenlosen Angeboten viele einfach wegbleiben.

Es waren 19 Teilnehmende dabei, die sich ohne mein Zutun aus Interesse am Thema angemeldet haben (nur bei einem habe ich ein bisschen angestupst). Keiner wusste vorher von dem Experiment.

1. Themenfindung

Ca. 2 Monate zuvor habe ich mir von ChatGPT ein Thema suchen lassen, das in die Themenwelt der Lernpralinen passt, von dem ich jedoch inhaltlich keine Ahnung habe. Es hat einige Anläufe gedauert, bis "wir" etwas gefunden hatten, nämlich "Das Hedonic Treadmill Modell - warum Erfolge langfristig nicht glücklich machen".

2. Ausschreibungstext formulieren lassen

Anhand von ein paar Beispielen hat ChatGPT einen Ausschreibungstext für unsere Website erstellt, den ich 1:1 übernommen hatte.

3. Warten bis zum Tag der Lernpraline

Um mich in das Thema nicht tiefer einarbeiten zu können, habe ich mich bis zum Tag der Lernpraline nicht mehr damit beschäftigt (also 2 Monate).

4. Konzept erstellen lassen

Mittags um 12 Uhr habe ich ChatGPT einen Prompt gegeben, in dem ich das Thema, die Rahmenbedingungen (z.B. Online, Dauer), die Zielgruppe, die Lernziele und die Trainingsart (z.B. interaktiv, abwechslungsreich) beschrieben hatte und dass das Ergebnis so sein soll, dass ich es umsetzen kann, obwohl ich vom Inhalt keine Ahnung habe, da ich für eine Kollegin spontan einspringen muss - den genauen Prompt findet ihr im unten angehängten PDF.

5. Max. 3 Revisionen

Ich hab mir selbst als Regel gegeben, dass ich maximal 3x nachprompten darf, z.B. "erstelle mir ein anderes Quiz zu Beginn". Bei häufigeren Revisionen hätte ich die Befürchtung, dass dann zu viele Iris Komarek statt ChatGPT drin steckt.

6. Q&A erstellen lassen

Da ich vom Inhalt ja keine Ahnung hatte, ich aber nicht auffliegen wollte, habe ich ChatGPT nach Fragen gefragt, die Teilnehmende üblicherweise dazu stellen und um gute Antworten gebeten (als Spickzettel für mich). 

7. Prompt für die KI-generierte Erstellung einer Präsentation

Diese Prompts sollten auf dem Konzept basieren und nutzbar für gamma.com in der kostenlosen Version sein. Spoiler: die Folien waren so schrecklich, dass ich mich nicht überwinden konnte sie zu verwenden - Experiment hin oder her.

8. Lernpraline halten

5 Stunden nach Konzept-Generierung fand die Praline statt. Ich habe mich sehr streng an das Konzept und die Formulierungen gehalten, auch wenn es an der ein oder anderen Stelle schwer fiel.

9. Umfrage, Auflösung, Austausch

Nach 75 Minuten war der Lernpralinen-Teil vorbei und ich stellte ohne weiteren Kommentar (außer: das war der erste Teil der Praline) die Umfrage bereit (siehe unten bei Downloads). Erst dann löste ich auf, dass die Lernpraline nun in eine KI-Praline übergeht ... und erläuterte das Experiment. Im Anschluss gingen wir in einen offenen Austausch dazu.

Niemand hatte einen Verdacht, dass hier ein Experiment dahinter steckte. Alle waren der Meinung, dass es eine ganz normale Lernpraline ist - selbst meine engsten Kolleg:innen, die mich z.T. schon seit Jahrzehnten kennen. (ich hatte wirklich niemandem etwas verraten vorher).

Die Ergebnisse der Umfrage waren - zunächst - durchweg positiv, eine Teilnehmerin meinte sogar, sie sei besser als sonst. Erst im Gespräch kam heraus, dass sich einige dachten, dass es anders als sonst war. Z.B. dass ich immer wieder abgelesen hätte, oder dass ich zwischendurch albern gekichert hätte. Zudem sei ich doch nicht sooo im Thema wie sonst gewesen.

Die positiven Ergebnisse waren zu einem (großen) Teil einem Vertrauens-Bias geschuldet. "Die Iris wird schon wissen, was sie tut", "Was sie macht hatte immer Hand und Fuß, daher ist das sicher auch gut, auch wenn ich vielleicht den Sinn noch nicht erkannt habe" ... waren typische Aussagen, die mich persönlich natürlich freuen, auf der andere Seite haben sie uns auch erschreckt: Dieser Bias kommt ja auch durch Professoren-Titel oder durch die "Eloquenz" von LLM-KI zustande.

Performance / Präsenz der Trainierenden kann fachliche Inkompetenz vertuschen - oder anders, positiv ausgedrückt: Facilitation / Moderations-KnowHow kann durch KI nicht ersetzt werden. 

Die formulierten Lernziele wurden nur zum Teil erreicht: ich wollte, dass die Teilnehmenden das Modell kennen, verstehen und bei sich und anderen praktisch anwenden können. Das Ziel "verstehen" ist praktisch nicht erfüllt worden. Das wurde als ungewöhnlich bzw. anders als bei den anderen Lernpralinen erkannt.

Das Konzept hatte (im Sinne des 4MAT) einen völlig reduzierten What-Teil. Wir hatten zum Start Relevanz für jede:n geschaffen, es gab einen recht großen Selbsterfahrungs-/ Übungsteil und auch einen Part für Ideen, wie das Modell aus Coach-/ Trainings-Perspektive zur Anwendung kommen kann.

Was kaum stattfand war die Einordnung des Modells: woher kommt es, welche psychologischen Mechanismen stecken dahinter, mit welchen Konzepten korrespondiert es, wie unterscheidet es sich von anderen usw. Und genau das hat mir (und einem Teil der Gruppe) total gefehlt.

Eine Zeitersparnis kann ich nicht abschließend beurteilen. Das Konzept konnte ich fast genau so übernehmen. Hätte ich mehr Hintergrundinfos angefordert, hätte das Verstehen des Konzeptes deutlich länger gebraucht. Ob es insgesamt schneller im Vergleich zu Eigenrecherche gewesen wäre, kann ich nicht sagen. Die Folien waren für mich völlig unbrauchbar, diese dann selbst zu erstellen, hat genauso lange wie immer gebraucht. 

Ich selbst habe mich wohler gefühlt als gedacht. Ich war mir vorher sicher, dass ich mir wie eine Schauspielerin oder Hochstaplerin vorkommen würde. Dies war aber "nur" beim Theorie-Teil der Fall (da habe ich mich sehr unwohl aufgrund des Inkompetenz-Erleben gefühlt). Bei der Anleitung der Umsetzung / Anwendung und der Moderation des Austausches jedoch war ich durchaus in meinem Element, weil ich hier in Beziehung zu der Gruppe treten konnte. 

FAZIT: es funktioniert durchaus, dass ChatGPT ein Drehbuch für ein Seminar erstellt - wenn die trainierende Person auf eine Erfahrung in Moderation und Facilitation mitbringt und der Schwerpunkt auf Umsetzung, Übung, Austausch und Selbsterfahrung liegt.

Die Teilnehmenden waren sich einig, dass sie für sich und ihre Arbeit Gutes mitgenommen haben und durchaus zufrieden waren. 

Natürlich haben sich viele Fragen aufgetan, hier sind einige davon:

Welche Auswirkungen hat das auf unser Rollenverständnis?

• Gehört didaktisches Prompten für ein hochwertiges Ergebnis zukünftig zum KnowHow einer Trainer:in?
• Wird Performance / Präsenz / Moderation in Zukunft das Schlüssel-KnowHow von Trainer:innen?

Wie gehen wir mit fachlicher Kompetenz um?

• brauchen wir Vertrauenspersonen / Bürg:innen für Inhalte (Fach-Expert:innen), die KI-generierte Inhalte "absegnen", bevor sie die Trainer:innen übernehmen?
• Werden Original-Quellen wieder an Bedeutung gewinnen?
• Wird wissenschaftliches Arbeiten eine Kernkompetenz von Trainer:innen?
• Werden Urheber:innen von Konzepten etc. einen ganz neuen Stellenwert erhalten?

Hat ChatGPT extra auf das praktische Umsetzen Wert gelegt?

• hat meine Aussage "ich habe vom Thema keine Ahnung", den konzeptionellen Schwerpunkt beeinflusst?
• sollte also verhindert werden, dass ich Halbwissen verbreite? 

Wie gehen wir mit dem Vertrauens-Bias um?

• Ist der Vertrauensvorschuss gerechtfertigt, wichtig oder eher hinderlich?
• Müssen wir unterscheiden zwischen Vertrauen durch Erfahrung und Titel / Eloquenz / überzeugendem Auftreten?
• Bekommt Vertrauen eine ganz neue Bedeutung?
• Ab wann müssen KI-generierte Trainingskonzepte gekennzeichnet werden? (25%, 50%, 75%?)

Darf man solche Experimente überhaupt machen?

Dies hat mich ehrlicherweise im Nachgang sehr beschäftigt, auch wenn ich einiges bewusst getan habe, damit es für alle hoffentlich ok sein wird:

• die Praline war kostenlos 
• das Konzept fand ich ok, so dass alle auf jeden Fall was mitnehmen konnten
• bei persönlichen Themen / Überlegungen nur Einzelarbeit (keine Gruppenarbeiten), nur wer mochte, konnte was im Plenum sagen
• zumindest im Nachhinein Transparenz hergestellt

Mir war klar, dass man so ein Experiment nicht mit jeder Gruppe und in jeder Community machen kann. Es gibt sicher welche, die sauer oder frustriert gewesen wären, wenn ihnen klar wird, dass sie unwissentlich Teil eines Experimentes waren.

Daher möchte ich allen, die dabei waren, für die Offenheit, die Diskussion und den guten Austausch im Anschluss von Herzen danken. Das bedeutet mir wirklich sehr viel!