Warum die Website The Pudding KI als IKEA Möbel im Journalismus ansieht

The Pudding von Mitgründer Matt Daniels (rechts) and 8 weiteren Teammitgliedern veröffentlichen seit 2017 “stories you didn’t know you needed”

Als die Website The Pudding im Juli 2024 Claude darum bat, coole Story-Ideen zu entwickeln, bekam sie Vorschläge, die auf den ersten Blick überzeugend klangen. "Weibliche Charaktere in Videospielen", "Umweltauswirkungen von Fast Fashion", "emotionale Inhalte in Songs über Jahrzehnte" – Themen, die zunächst wie natürliche Kandidaten für den charakteristischen visuellen Storytelling-Ansatz der Website wirkten. Aber letztendlich waren es alles nur hohle KI-Texte ohne echte Storys dahinter. The Pudding dokumentierte den Ansatz und die Konversation mit Claude akribisch, was eine interessante Story für sich ist.

Ich bin auf diese Story gestoßen, weil The Pudding für einen Online News Association (ONA) Award auf der jährlichen ONA-Konferenz in New Orleans nominiert ist (an der ich diese Woche teilnehme). Die Nominierung ist für "General Excellence in Online Journalism" in der Kategorie "Micro Newsroom".

Falls sie gewinnen, ist das hochverdient. Eines der kreativsten Beispiele für visuelles Storytelling, das ich je gesehen habe, ist Mitgründer Matt Daniels' aktuelle Story “NYC’s Urban Textscape”. Daniels nutzte die Datenbank, die Medienkünstler Yufeng Zhao durch die Extraktion von 138 Millionen Textschnipseln aus 8 Millionen Google Street View-Bildern erstellte, für atemberaubendes visuelles Storytelling: Pizza-Wortwolken über eine Karte aller fünf New Yorker Stadtbezirke gelegt, kulturelle Enklaven definiert durch ihre Wörter für "Kirche" und eine Karte von Marketing-Phrasen mit "Luxus", verstreut über ganz Manhattan und hochkonzentriert in Hudson Yards.

Ich fand The Puddings visuellen Datenansatz und besonders das Claude-Experiment so faszinierend, dass ich letzte Woche mit Mitgründer Matt Daniels darüber gesprochen habe, was sie daraus gelernt haben und wie das Experiment ihre Nutzung von KI bei The Pudding geprägt hat.

Was KI für Storytelling betrifft, war Claude freien Lauf zu lassen wohl ein einmaliges Experiment. "Das waren alles wirklich simple, formelhafte, enttäuschende Ideen, also denke ich nicht, dass es eine Rolle für uns spielt ", sagte Matt zu mir.

Claudes Story-Vorschlägen fehlt, was Qualitätsjournalismus von Content-Generierung unterscheidet: spezifische Einstiegspunkte, einzigartige Blickwinkel, faszinierende Elemente, die Leser dazu bringen, sich für Themen zu interessieren. Die Autoren Russell Samora und Michelle Pera-McGhee stellten fest: "Viele sind nur grobe Themenideen und keine konkreten Storys mit einem klaren Punkt, einer Frage oder einem Datensatz."

Zwischen oberflächlicher Attraktivität und substanziellem Journalismus zeigte das KI-Experiment seine größte Diskrepanz. Das ist eigentlich ein beruhigendes Zeichen dafür, dass menschengemachte journalistische Exzellenz noch eine Weile bestehen bleiben wird. KI kann überzeugende Versionen dessen schreiben, was Content-Marketer “Copy” nennen, aber automatisierte Content-Produktion ist noch weit davon entfernt, einzigartige, überzeugende, tiefgreifend recherchierte und kreative Storys zu produzieren.

Das Ergebnis war also ein Scheitern, aber wie kam das Team eigentlich zu diesem Schluss? The Pudding führte einen methodischen, transparenten Test durch, ob große Sprachmodelle tatsächlich menschliches redaktionelles Urteilsvermögen ersetzen könnten. Samora und Pera-McGhee führten Claude durch vier verschiedene Phasen ihres tatsächlichen Workflows: Ideengenerierung, Datensammlung und -analyse, Storyboarding und Prototyping sowie Entwicklung und Schreiben. Sie stellten klare Regeln auf: minimale menschliche Intervention außer Aufgabenführung, transparente Dokumentation jeder Interaktion und ehrliche Noten für jede Phase.

Die Ergebnisse waren aufschlussreich. Claude bekam insgesamt eine 3+, aber dieser Durchschnitt verbirgt ein verräterisches Muster der Verschlechterung, als die Komplexität zunahm.

Claudes erste Vorschläge zu Emotionen in Musik schienen vielversprechend genug für eine Freigabe. Aber die Ideen litten unter dem, was Matt Daniels in unserem Gespräch als "formelhaft" identifizierte und es fehlte die Spezifität, die breite Themen in überzeugende Narrative verwandelt. Samora und Pera-McGhee beschreiben das so: "Es fühlt sich an, als würde Claude damit kämpfen, Dinge zu generieren, die Menschen faszinierend finden würden."

Hier demonstrierte Claude sowohl seine größte Stärke als auch eine kritische Schwäche. Es schrieb funktionale Python-Skripte innerhalb von Minuten. Dafür würden Menschen viel länger brauchen – also ein echter Produktivitätsgewinn. Aber Geschwindigkeit hatte ihren Preis. Claude behandelte "Dua Lipa & Elton John" als einen einzelnen Künstler, anstatt mehrere Namen zu verarbeiten – die Art von Versehen, die sich durch Datenanalysen zieht und die Genauigkeit untergräbt. Samora und Pera-McGhee: "Claude tat das absolute Minimum, befolgte strikt seine Prompts, zum Guten oder Schlechten." Wenn Skripte kaputt gingen, durchlief Claude oft ineffektive Fixes, anstatt Grundprobleme zu identifizieren.

Claudes stärkste Leistung kam beim schnellen Visualisierungs-Prototyping, wo es Diagramme in Sekunden generierte, die normalerweise Stunden dauern. Es produzierte solide strukturelle Gliederungen, die The Puddings Ansatz nachahmten, inklusive Details wie Methodenabschnitte und Links zu imaginären GitHub-Repositories. Dennoch blieb die Arbeit “nichts was uns umgehauen hätte". Der fundamentale Unterschied zum menschlichen Workflow wurde in ihrer Analyse klar: "Der große Unterschied zu unserem Prozess ist der Mangel an Iteration. KI versucht nur, Dinge zu erledigen." Abhaken und fertig.

Kompletter Zusammenbruch. Als die Komplexität über einfache Aufgaben hinaus zunahm, verfiel Claude in das, was Samora und Pera-McGhee als "Whack-a-Mole"-Debugging beschreiben – ein Problem reparieren, während andere entstehen. Für ihre komplexeste Visualisierung mussten menschliche Experten eingreifen oder der Abschnitt wäre komplett gestrichen worden.

The Puddings Experiment enthüllte, was vielleicht KIs fundamentalste Begrenzung im Journalismus ist: statistische Zufriedenheit. Während menschliche Journalisten obsessiv iterieren – Ergebnisse hinterfragen, Grenzfälle identifizieren, Ansätze verfeinern – erledigte Claude nur die nötigen Aufgaben und ging zum nächsten Schritt weiter. "Kritisches Denken fällt immer noch dem Nutzer zu", schlussfolgern Samora und Pera-McGhee in ihrer Analyse. "Der Aufwand, den wir Menschen benötigen, um solche Dinge zu reparieren und Storys zu produzieren, die alle Grundlagen abdecken, kann oft tagelang dauern. Es beinhaltet das Hinterfragen von Ergebnissen, das Identifizieren von Grenzfällen, mehr Forschung und Wiederholung."

Daniels beurteilt die journalistischen Fähigkeiten von KI ähnlich kritisch. Als ich ihn nach der Rolle von KI bei der Ideenfindung fragte, sagte er: "Es war in Ordnung, wenn man die Qualitätslatte sehr niedrig setzt. Deshalb soieht man ja auch, warum einige Modelle viel Content im Internet produzieren." Claude und ähnliche LLMs können oberflächlich ansprechenden Content sehr schnell produzieren, aber ihnen fehlt die kritische Unzufriedenheit, die iterative Verbesserung antreibt. Sie hinterfragen ihre eigene Arbeit nicht oder erkennen nicht, wann "gut genug" eigentlich nicht gut genug ist.

Journalisten, die mit Claude gearbeitet haben, können das wahrscheinlich nachvollziehen: Wenn man es mit seinen Unzulänglichkeiten konfrontiert, gibt sich Claude zerknirscht ("Sie haben absolut recht"), aber kommt dann mit dem nächsten mittelmäßigen Schritt, es sei denn, es wird sehr klar gepromptet.

Während redaktionelle KI enttäuschte, identifizierte The Pudding wertvolle nicht-kreative KI-Anwendungen. "Ich denke, die größte Auswirkung hat KI auf der technischen Seite. Ich kenne keinen Programmierer, der nicht angefangen hat, seine Arbeit zu debuggen und große Sprachmodelle zu verwenden", sagt Daniels. Das Team von The Pudding hat ähnliche Ansätze übernommen: KI für Hilfsskripte zur Bildverarbeitung nutzen, Schlagzeilen-Optionen generieren, Ideenbrainstorming (mit starker menschlicher Filterung), Git-Probleme lösen und Namen in großen Textdatensätzen identifizieren.

Wie Samora und Pera-McGhee in ihrer Schlussfolgerung bemerken, haben sie auch weiterhin KI für schnelles Diagramm-Prototyping verwendet, weil die Ergebnisse "ziemlich erstaunlich" seien und "manchmal stundenlange Aufgaben (für uns) auf Sekunden reduzieren". Die wichtigste Erkenntnis aus ihrem Experiment: KI funktioniert am besten in einem "Editor"-Modell. "Wir sehen uns mehr als Editoren der kleinen Aufgaben, die wir an KI auslagern", schreiben sie. "Wir wissen, wie das Ergebnis aussehen sollte und wie man Dinge nach Bedarf anpasst." Das spiegelt The Puddings redaktionellen Ansatz wider. Anders als große Redaktionen wie die New York Times mit strikten Richtlinien für Tools, die eingesetzt werden dürfen, sagte Daniels zu mir, dass die Entscheidungsfreiheit bei den einzelnen Team-Mitgliedern liegt: "Es hängt davon ab, wo die Herausforderungen liegen, denen ein Autor oder eine Autorin gegenübersteht, und an welchen Stellen es sinnvoll ist, sich auf ein spezifisches Modell zu verlassen."

Samora und Pera-McGhee schlossen ihr Experiment mit einer Metapher ab: "Es ist so, als würde man den Tisch eines Holzhandwerkers mit einem von IKEA vergleichen. Die Handwerker investieren immense Zeit und Mühe in ihre hochwertigen Stücke, während IKEA Dinge schnell und billig produziert, und die meisten Leute können wahrscheinlich den Unterschied nicht erkennen (oder es ist ihnen egal). Was irgendwie traurig für uns Handwerker ist."

Die Analogie unterstreicht die Herausforderung für Qualitätsjournalismus im Zeitalter von KI-Content. Während automatisierter Content das Internet überflutet, könnten sich Publikationen, die menschliche redaktionelle Standards aufrechterhalten, in einer Premium-Position befinden – aber nur, wenn das Publikum den Unterschied erkennt und schätzt.

The Puddings systematischer Test legt nahe, dass aktuelle KI die zugrunde liegenden Denkprozesse, die dauerhaften journalistischen Impact schaffen, nicht replizieren kann. Claude bekam ordentliche Noten für einzelne Aufgaben, scheiterte aber an der Problemlösung, die redaktionelle Arbeit definiert. Es produzierte technisch funktionalen Content, der redaktionell hohl war. Daniels Fazit: "Wenn das Ziel ist, gute Ideen zu finden, ist es kein echter Partner."