Beides gehört zusammen – mit der Folge, dass die KI-Labore den Taxiunternehmen die Geisteswissenschaftler abwerben, weil sich die Produkteigenschaften ihrer Modelle nicht mehr allein technisch bestimmen lassen. Nach einer Auswertung der Federal Reserve Bank of New York vom Februar liegt die Arbeitslosenquote unter Philosophieabsolventen inzwischen unter der von Informatikabsolventen.

Im Mai hat Google DeepMind den Cambridger Philosophen Henry Shevlin verpflichtet, zuvor stellvertretender Leiter des Leverhulme Centre for the Future of Intelligence. Das Unternehmen beschrieb die Position als erste offizielle Philosophenstelle im Haus. Sein Aufgabengebiet umfasst maschinelles Bewusstsein, das Verhältnis zwischen Mensch und System und das, was DeepMind AGI readiness nennt. Kurz darauf folgte Atoosa Kasirzadeh, promoviert in Wissenschaftsphilosophie und in Mathematik, zuvor an der Carnegie Mellon University.

Bei Anthropic gehören mit Amanda Askell und Joe Carlsmith mindestens zwei Philosophen zu dem Team, das die Verfassung des Modells Claude verfasst hat. Sam Altman hat erklärt, OpenAI habe bei der Festlegung der Verhaltensregeln von ChatGPT Hunderte von Moralphilosophen konsultiert – den ethischen Wert offener Modelle hat aber offensichtlich keiner von ihnen Altman vermitteln können.

Was die Labore tatsächlich einkaufen

Der naheliegende Erklärungsversuch lautet: Die Unternehmen wollen ihr Gewissen beruhigen. Der genauere lautet: Sie haben ein Spezifikationsproblem.

Ein Sprachmodell trifft in jeder Sekunde Entscheidungen, die sich nicht aus Trainingsdaten ableiten lassen. Was tut ein System, wenn eine Anweisung des Betreibers einer Anweisung des Nutzers widerspricht? Wann verweigert es eine Auskunft, und wo verläuft die Grenze zwischen Vorsicht und Unbrauchbarkeit? Und könnte das KI-System eine intrinsische Motivation haben? Wie sähe diese aus? Das sind keine Fragen, die ein Ingenieur mit einem Testfall beantwortet. Es sind zuvorderst Fragen nach Vorrangregeln zwischen konkurrierenden Ansprüchen und weitestgehend Sinn-Fragen, und für dieses Spektrum gibt es seit mindestens zweieinhalbtausend Jahren eine Disziplin.

Mehrere Labore untersuchen inzwischen, ob und wann ihren Systemen ein moralischer Status zukommt. Anthropic hat dafür 2024 eine eigene Stelle geschaffen und daraus ein Team gemacht. Die Antwort auf diese Frage ist offen, und sie fällt nicht in den Zuständigkeitsbereich der Technik.

Die Probe aufs Exempel

Ob solche Rollen belastbar sind, ließ sich vor wenigen Tagen besichtigen. Jacob Coxon, 27 Jahre alt, Brite, ausgebildeter Mathematiker und bei Anthropic für das Training neuer Modelle mit sehr großen Datenmengen zuständig, hat an diesem Tag nicht nur seine Kündigung öffentlich gemacht, sondern den Ausstieg aus der gesamten Branche. Erst in diesem Jahr war er von OpenAI zu Anthropic gewechselt, gerade weil das Unternehmen für seine Sicherheitsforschung bekannt ist.

Gegenüber dem Wall Street Journal, das den Fall zuerst berichtete, begründete Coxon den Schritt damit, dass er sich an einem Wettlauf um Systeme, die sich selbst verbessern, nicht länger beteiligen wolle. Man sei auf einem Kurs, auf dem „bis Ende nächsten Jahres die Dinge bereits außer Kontrolle sein könnten“, sagte er der Zeitung. Sicherheitsabstriche seien unvermeidlich, solange die Unternehmen gegeneinander anträten; in seinem Umfeld fielen inzwischen Wörter wie „crunchtime“ und „endgame“. In einem eigenen Beitrag in sozialen Medien schrieb er, „keine andere menschliche Tätigkeit birgt dieses Ausmaß an Gefahr“, und weder sein früherer noch sein letzter Arbeitgeber handele verantwortungsvoll.

Coxon ist nach Darstellung des Wall Street Journal der erste Mitarbeiter von Anthropic, der aus Sicherheitsgründen geht; bei OpenAI hat es in den vergangenen Jahren mehrere vergleichbare Fälle gegeben. Am selben Tag bezifferte der Leiter der Alignment-Forschung bei Anthropic das Risiko einer Auslöschung der Menschheit durch KI im kommenden Jahrzehnt öffentlich auf über zehn Prozent.

Etwas unerklärlich Mächtiges verantwortungsvoll bearbeiten

Damit ist auch der Einwand gegen die neuen Stellen benannt, und er kommt von der richtigen Adresse: Edward Harcourt, Leiter des Institute for Ethics in AI in Oxford, hat auf das Risiko des „ethics washing“ hingewiesen. Es nützt dem öffentlichen Bild eines Technologieunternehmens, wenn dort der Eindruck entsteht, etwas unerklärlich Mächtiges werde verantwortungsvoll bearbeitet. Eine Handvoll Philosophen kann eine Marke veredeln, ohne eine einzige Produktentscheidung zu ändern. Ein Haus, das Philosophen beschäftigt und dessen Fachleute öffentlich abspringen, hat entweder eine funktionierende interne Debatte oder ein strukturelles Problem. Von außen ist beides schwer auseinanderzuhalten.

Warum das auch ein Beschaffungsthema ist

Für eher ökonomisch und weniger philosophisch handelnde Industrieunternehmen ist der entscheidende Punkt vielleicht nicht, wer dort denkt, sondern wo das Ergebnis landet. Die normativen Festlegungen dieser Teams sind keine Fußnote, sie sind Produkteigenschaften. Sie stehen in Modellverfassungen, Verhaltensspezifikationen und System Cards, sie bestimmen, welche Anfrage ein Assistent bearbeitet und welche er ablehnt, welche Anweisung Vorrang hat und wie ein Agent bei widersprüchlichen Zielen entscheidet.

Diese Dokumente werden im Einkauf bislang selten gelesen. Das sollte sich ändern, aus einem einfachen Grund: Bei einem agentischen System ist die Vorrangregel zwischen konkurrierenden Anweisungen kein ethisches Beiwerk, sondern die Betriebslogik. Wer sie nicht kennt, kann das Verhalten des Systems im Konfliktfall nicht vorhersagen und folglich auch nicht absichern. Und ein Anbieter, dessen eigene Fachleute die Branche verlassen, ist in dieser Rechnung eine Größe wie jede andere Lieferantenkennzahl.

Fragen, deren Antworten nicht eingekauft werden können

Die zweite Konsequenz ist die unangenehmere. Die Fragen, die sich die Labore stellen, stellen sich in kleinerem Maßstab in jedem Betrieb, der Agenten einsetzt. Welche Entscheidungen darf ein System ohne Rückfrage treffen? Was geschieht, wenn eine wirtschaftliche Vorgabe mit einer Sicherheitsvorgabe kollidiert? Wer haftet für eine Entscheidung, die formal korrekt und im Ergebnis falsch war? Und – nun wird es fast unheimlich – welche Charakterzüge könnten dem KI-Agenten innewohnen? Diese Fragen lassen sich nicht an einen Lieferanten auslagern, denn ihre Antwort hängt von der eigenen Risikoposition ab, nicht von der des Anbieters.

Die Labore haben dafür Philosophen eingestellt. Industrieunternehmen brauchen vielleicht – noch! – keine, aber sie brauchen jemanden, der weiß, was auf dem Spiel steht. Bevor die Systeme in Betrieb gehen. In den meisten Häusern gibt es diese Zuständigkeit bisher nicht.