Allen Diskussion um mehr Inklusivität zum Trotz: In den großen Sprachmodellen (LLMs) wie ChatGPT von Open AI, Claude von Anthropic oder Llama von Facebook sind weiße Männer immer noch überrepräsentiert. Die unterrepräsentierten Errungenschaften, Probleme oder Interessen von Frauen in LLMs sind ein Problem. Ein anderes ist die Benachteiligung von nicht-weißen Bevölkerungsgruppen.
Genau dieses Problem will das KI-Unternehmen Latimer mit einem RAG-Modell lösen. "RAG" steht für “Retrieval-Augmented Generation”. Es ist eine Technologie, die Inhalte, die LLMs ausspielen, mit gezielten Zusatzinformationen anreichert, um deren Qualität, Faktentreue und Ausgewogenheit zu verbessern. Da in neuronalen Netzwerken / LLMs Daten nicht selektiv gelöscht werden können (was einmal drin ist, ist drin), besteht Latimers Ansatz darin, seine Datenbank mit vielfältigen historischen Inhalten zu füllen, insbesondere mit Fokus auf die Geschichte und Kultur der Afro-amerikanischen und indigenen Bevölkerung.
Man muss sich Latimers Ansatz in etwa wie eine statistische Methode vorstellen, die Verzerrungseffekte von Umfragen ausgleicht, indem sie Bevölkerungsgruppen, die in den jeweiligen Umfragen statistisch unterrepräsentiert sind, nachträglich stärker gewichtet. Genau das macht Latimers selbstentwickeltes RAG-Modell „BlackGPT“. Es basiert auf Metas Llama 2 und gleicht dessen Bias aus.
Latimer ist noch im Beta-Stadium, will aber bald als SaaS-Dienstleister auf den Markt kommen, so dass dann auch Medienunternehmen die Software nutzen können.
Den Ansatz von Latimer finde ich jetzt schon so spannend, dass ich den Gründer und CEO John Pasmore kontaktiert habe, damit er sein Unternehmen und die Idee dahinter den Teilnehmern der derzeit in New York stattfindenden Chefrunde Study Tour (crusa) vorstellt und mit uns diskutiert. (Die von Annette Milz geleitete crusa wird seit vielen Jahren von mir als US-Partnerin mit organisiert.)
Dies sind die interessanten und wichtigsten Aspekte unserer Diskussion mit John Pasmore (mit zusätzlichen Recherchen von mir).
Mission: “Empathische und inklusive denkende Maschinen” bauen
Pasmore ist Informatiker (Columbia University) und serieller Startup-Gründer. Er gründete das Risikokapital-finanzierte Unternehmen Future Sum AI, das hinter Latimer steckt, im Juli 2023, nachdem er erhebliche Voreingenommenheit in ChatGPT und anderen KI-Modellen bemerkte. Das Unternehmen startete im Januar 2024 mit der Mission, “empathische und inklusiv denkende Maschinen” zu bauen.
Wie das konkret aussieht, erläuterte Pasmore an diesem Beispiel: “Latimer spricht aus historischer Perspektive nicht von ‘Sklaven’, sondern von ‘Menschen, die früher versklavt wurden’.” Damit wird ein Bias abgebaut, den Weiße oft nicht einmal bemerken: Ebenso wie niemand nur als Rollstuhlfahrer(in) oder als Obdachlose(r) wahrgenommen werden möchte, wollen auch Afro-Amerikaner ihren Vorfahren zumindest nachträglich das Recht auf Indivualität zugestehen und sie nicht nur auf das reduziert wissen, was die Sklaverei ihnen angetan hat.
Datenquellen und Ansatz
Latimers “Black GPT” beruht bislang vor allem auf diesen Datenquellen:
Amsterdam News (zweitälteste Schwarze Zeitung in den USA) mit Ausgaben von 1925 bis heute (Latimer bezahlte eine einmalige Gebühr für die Nutzung der Inhaltspakets zu Trainingszwecken und unterstützt die Zeitung mit seiner Technologie)
Akademische Dissertationen
Inhalte unter Anleitung von Professor Molefi Asante, der das erste afroamerikanische Studienprogramm mit Promotion in den USA geschaffen hat
Inhalte zur indigenen Kultur der Native Americans sind als Erweitung geplant, obwohl das aufgrund der vielfältigen Stammeserfahrungen und Sprachen einzigartige Herausforderungen mit sich bringt (nicht umsonst wurde im Zweiten Weltkrieg die unfassbar schwierige Sprache Navaho als unentschlüsselbarer Code verwendet).
Pasmore sagte bei unserer Diskussion übrigens, dass der Bias von Großen Sprachmodellen nicht auf Absicht beruht, sondern eher auf dem passiven Hinnehmen eines Misstandes. (Bei Elon Musks LLM Grok mag das anders sein.) "Selbst wenn OpenAI oder Google wirklich sicherstellen wollten, dass ihre Modelle weniger voreingenommen sind, gibt es im Internet nicht viele Inhalte zu Schwarzer Kultur oder Geschichte. Wenn ChatGPT ‘das gesamte Internet liest’, wie Sam Altman [Open AI Gründer und CEO] oft sagt, und nur diese kleine Ecke des Internets über Schwarze und Braune Menschen spricht, denkt das Sprachmodell, das ist nicht so wichtig."
Wenn die großen KI-Unternehmen allerdings aktiv Bias abbauen wollten, dann müssten sie viel stärker mit ihrer gewaltigen Finanzstärke dafür sorgen, afro-amerikanische Geschichte zu digitalisieren, fordert Passmore. Zum Beispiel verfügt die historisch Schwarze Howard University in Washington D.C. über mehr als 15 Millionen Seiten Archivmaterial, darunter Papiere von Frederick Douglass, die noch nicht eingescannt wurden. Der Menschenrechtsaktivist Douglass gilt als einflussreichster Afroamerikaner des 19. Jahrhunderts.
Geschäftsmodell und Ausblick
Latimer ist ein kommerzielles Unternehmen und generiert Einnahmen durch:
Universitätsabonnements (Gebühren pro Student pro Monat), Partner sind z.B. Southern New Hampshire University und Arizona State University
API-Zugang (Abrechnung für verarbeitete Tokens/Wörter)
Individuelle Tech-Entwicklung und Beratung für Organisationen wie z.B. Gesundheitsunternehmen
Zukünftige Ausrichtung
Latimer erweitert derzeit sein Angebot, um Abonnenten die Wahl zwischen verschiedenen Foundation-Modellen (OpenAI, Gemini, Claude) zu geben.
Problematisch für das Geschäftsmodell von Latimer: Die Trump-Regierung unterdrückt gezielt auf Inklusion fokussierte Initiativen. Universitäten zögern mittlerweile, Software zu übernehmen, die sich explizit auf Diversität, Gleichheit und Inklusion konzentriert.
Fun facts:
Das Unternehmen Latimer ist nach dem Schwarzen Erfinder Lewis Latimer benannt, der natürlich in Geschichtsbüchern und LLMs viel zu kurz kommt.
Die Ursprungsidee für Latimer ist (wie oft bei Tech-Startups) ein persönliches Erlebnis. John Pasmore hat zuhause einen Teenager und nahm sich nach einem Gespräch mit seinem Sohn nach der Schule vor, ihn nicht im Glauben aufwachsen zu lassen, Menschen, die so aussehen wie er, hätten weniger geleistet als seine weißen Mitbürger.
Fazit: Warum ist Latimer für Journalisten und Medienunternehmen relevant?
Durch die Bereitstellung eines Modells, das unterschiedliche Perspektiven besser versteht und darstellt, kann Latimer Medienunternehmen dabei helfen, authentische Inhalte zu erstellen und unterrepräsentierte Zielgruppen effektiver anzusprechen.
KI-Tool der Woche: Reve
Weil die Chefrunde Study Tour noch läuft und meinen vollen Einsatz erfordert, fällt die Rezension meines KI-Tools der Woche diesmal ganz kurz aus. Reve ist ein kostenfreier und nicht ständig überlasteter Bildgenerator. Diese Cartoons zum Thema KI-Lizenz-Marktplätze habe ich vor ein paar Tagen in weniger als zwei Minuten und mit nur zwei Prompts generiert. Die Hälfte dieser Versionen finde ich sehr brauchbar. Wenn ich Reve schon vor einer Woche gekannt hätte, wäre mein Newsletter von letzter Woche optisch schöner geworden.