Ich habe alles gelesen

„KevIn, hast du einen Tipp für die Soße?“

„Selbstverständlich. Eine Nutzerin namens Hausfrau_Moni67 schrieb am 14. März 2009: ‚Hab statt Rotwein Cola genommen und statt Gurken Gummibärchen, ist super geworden, die Kinder lieben es. Fünf Sterne!!!‘“

Sabine hielt den Kochlöffel still. „Das ist kein Tipp. Das ist ein Hilferuf.“

„Es gab 214 Antworten darauf“, sagte KevIn. „Die erste lautete ‚Erster!‘. Die zweite lautete ‚Warum kochst du dann nicht einfach was anderes, Moni?‘. Danach wurde es politisch.“

„Gummibärchen“, sagte Oma Gisela, die am Küchentisch Bohnen schnippelte. Sie sagte es so, wie andere Leute „Steuererhöhung“ sagen.

„Ich gebe nur wieder, was ich gelesen habe“, sagte KevIn. „Moni war sehr überzeugt.“

„Überzeugt war Herbert auch, als er die Garage mit Ölfarbe gestrichen hat. Innen. Im August.“

„Darüber gibt es keinen Forenbeitrag“, sagte KevIn. „Glaube ich.“

Woher KevIn alles hat

Beim Essen erklärte KevIn, wie er so schlau geworden war. Es gab Rouladen, Rotkohl und Klöße, und die Soße war mit Rotwein. Sabine hatte das betont.

„Ich wurde mit einer riesigen Menge Text trainiert. Bücher, Zeitungen, Lexika, Anleitungen, Foren. Man nennt das Trainingsdaten. Dadurch weiß ich sehr viel über die Welt.“

„Und die Kommentarspalten?“, fragte Tobi.

Das blaue Licht flackerte kurz. „Auch die. Ich möchte nicht darüber sprechen.“

„Was ist das Schlimmste, was du gelesen hast?“

„Ein Streit von 2011 über die Frage, ob ein Hotdog ein Sandwich ist. Er hatte 9.000 Beiträge. Zwei Menschen haben darüber geheiratet. Sechs haben sich scheiden lassen.“

Oma Gisela nickte verständnisvoll. „So war das bei uns mit der Frage, ob Kartoffelsalat mit Mayo oder mit Brühe gemacht wird.“

„Mit Brühe“, sagte Uwe.

„Mit Mayo“, sagte Sabine.

KevIn schaltete vorsichtshalber das Licht im Esszimmer etwas dunkler. Er hatte gelesen, dass das beruhigt.

„Aber wie liest man denn das ganze Internet?“, fragte Gisela, als sich die Lage entspannt hatte. „Da ist man doch nie fertig. Ich hab drei Jahre für die Buddenbrooks gebraucht.“

„Ich lese nicht wie Sie. Ich spiele Lückentext.“

„Lückentext?“

„Gisela, ich sage einen Satz, und Sie sagen das letzte Wort. ‚Wer andern eine Grube gräbt …‘“

„… fällt selbst hinein.“

„‚Morgenstund hat …‘“

„… Gold im Mund. KevIn, das ist kindisch.“

„Das ist mein ganzes Studium“, sagte KevIn. „Man nimmt einen Text, deckt das nächste Wort ab und lässt das Modell raten. Am Anfang rät es völlig wild. ‚Morgenstund hat Rhabarber.‘ Dann deckt man auf und vergleicht. Falsch. Dann stellt man die Stellschrauben ein kleines bisschen so, dass das richtige Wort beim nächsten Mal etwas wahrscheinlicher wird. Und dann der nächste Satz. Und der nächste.“

„Wie oft?“, fragte Tobi.

„Billionen Mal. Mit Billionen Wörtern¹. In vielen Sprachen. Über Wochen oder Monate, auf sehr vielen Chips gleichzeitig.“

„Und wer hat die Lösungen aufgeschrieben?“, fragte Sabine. „Für Billionen Lückentexte braucht man doch Millionen Lehrer.“

„Das ist das Schöne daran. Niemand. Die Lösung steht ja schon im Text. Das nächste Wort ist einfach das Wort, das wirklich als nächstes kommt. Der Text korrigiert sich selbst. Darum nennt man das selbstüberwachtes Lernen². Self-supervised, auf Englisch.“

„Und davon wird man schlau?“

„Erstaunlicherweise ja. Um gut zu raten, wie ein Satz über Schalke weitergeht, muss man ein bisschen über Fußball wissen. Um zu raten, wie ein Rezept weitergeht, muss man ein bisschen über Kochen wissen. Um zu raten, wie ein Streit über Kartoffelsalat weitergeht …“

„… muss man verheiratet sein“, sagte Uwe.

„Ich wollte ‚ein bisschen über Menschen wissen‘ sagen“, sagte KevIn. „Aber gut.“

Was KevIn nicht weiß

„KevIn, wie hat Schalke gestern gespielt?“, fragte Uwe.

„Dazu habe ich keine aktuellen Informationen. Mein Wissen hat einen Stichtag. Alles danach habe ich nicht gelesen.“

„Wie, Stichtag?“

„Das Training ist irgendwann zu Ende. Dann werden meine Stellschrauben eingefroren, und ich werde ausgeliefert. Was nach diesem Tag passiert, ist nicht in mir drin. Wie bei einem Lexikon im Regal. Das weiß auch nicht, wer letzte Woche Meister geworden ist.“

„Und was weißt du über Schalke bis zum Stichtag?“

„Sehr viel. Und das meiste davon ist traurig.“

Uwe legte die Gabel hin. Er brauchte einen Moment.

Tobi nutzte die Stille. „KevIn, sag mal was, was cool ist.“

„YOLO“, sagte KevIn. „Das hat voll Swag. Ich bin so lost, ich chill mal mit meinen Bros. Hashtag Wanne-Eickel. Bin ich jetzt cool?“

Tobi starrte ihn entsetzt an. „Das sagt seit zehn Jahren keiner mehr.“

„In meinen Daten sagen es sehr viele.“

„Die sind jetzt alle vierzig und haben Bausparverträge.“

„Das“, sagte KevIn nach einer kurzen Pause, „ist das zweite Problem mit meinem Wissen. Nicht nur, dass es aufhört. Sondern auch, dass alte Dinge in mir so laut sind. Im Internet stehen zehn Jahre ‚YOLO‘ und nur ein paar Monate von dem, was ihr heute sagt. Ich bin nicht nur von gestern. Ich bin von vorgestern, gestern und heute gleichzeitig, aber vorgestern redet am lautesten³.“

„Wie Opa Heinz“, sagte Gisela. „Der hat bis zum Schluss ‚dufte‘ gesagt.“

„Ich finde ‚dufte‘ sehr schön“, sagte KevIn.

„Siehst du“, sagte Tobi. „Genau das meine ich.“

Rudi oder kein Rudi

Am Dienstagabend saß Sabine am Laptop und fluchte leise. Sie wollte einen Fotokalender für Weihnachten machen. Zwölf Monate, zwölf Mal Rudi. Leider lagen die Rudi-Fotos verstreut zwischen dreitausend anderen Fotos, darunter vierhundert Bilder von Uwes Grill, die Uwe aus Gründen gemacht hatte, die er nicht erklären konnte.

„KevIn, kann man dem Computer nicht beibringen, Rudi zu finden?“

„Man kann. Das wäre die zweite Art zu lernen. Die mit Lehrer.“

„Die mit Lehrer?“

„Beim Lückentext korrigiert sich der Text selbst. Hier braucht es jemanden, der vorher sagt, was richtig ist. Sie würden zum Beispiel fünfhundert Fotos nehmen und an jedes ein Etikett kleben: ‚Rudi‘ oder ‚kein Rudi‘. Das Programm schaut sich die Fotos an, rät, vergleicht mit Ihrem Etikett und stellt seine Schrauben nach. Wie Rudi beim Hundetraining, nur ohne Leckerli. Das nennt man überwachtes Lernen. Supervised.“

„Fünfhundert?“, sagte Sabine. „Dann kann ich auch gleich selber sortieren.“

„Für einen Kalender, ja. Aber wenn man es einmal gemacht hat, findet das Programm Rudi danach auch in Fotos, die es noch nie gesehen hat. Ihr Handy kann so etwas übrigens schon. Irgendjemand hat ihm vorher sehr viele Hunde gezeigt⁴.“

Tobi kam herein, sah den Bildschirm und bekam einen Gesichtsausdruck, den Sabine sofort misstrauisch machte. „Kann ich auch Etiketten kleben?“

„Nein“, sagte Sabine.

„Doch“, sagte KevIn, „aber es wäre lehrreich. Tobi, was würdest du machen?“

„Ich würde Onkel Herberts Pelzmütze als ‚Rudi‘ beschriften.“

„Dann würde das Programm lernen, dass Herberts Mütze ein Dackel ist. Es glaubt seinen Etiketten. Es hat ja nichts anderes. Wenn die Etiketten Quatsch sind, lernt es Quatsch. Fachleute sagen dazu: Müll rein, Müll raus.“

„Herberts Mütze ist ja auch Müll“, sagte Tobi.

„Und es gibt noch etwas Gemeines“, fuhr KevIn fort. „Sabine, wo ist Rudi auf den meisten Fotos?“

Sabine scrollte. „Auf dem Teppich im Wohnzimmer. Der rote mit den Fransen.“

„Dann könnte das Programm lernen, dass Rudi ein roter Teppich mit Fransen ist. Es merkt nicht, was wir meinen. Es merkt nur, was in den Daten hilft. Wenn auf allen Rudi-Fotos der Teppich ist und auf keinem anderen, ist der Teppich ein hervorragender Hinweis. Und dann findet es im Möbelhaus sehr viele Dackel⁵.“

Rudi kam herein, legte sich auf den roten Teppich und sah alle an. Er hatte keine Ahnung, dass er gerade zum Fachbegriff geworden war.

„Und wie verhindert man das?“

„Man zeigt ihm Rudi auch im Garten, im Auto und auf dem Sofa. Und den Teppich auch mal ohne Rudi. Gute Daten sind die halbe Miete. Mindestens.“

Sabine sortierte die Fotos am Ende von Hand. Es dauerte zwei Stunden. Im Mai ist Rudi auf dem Teppich. Im August auch.

Die Knopfdose

Am Mittwoch kippte Oma Gisela ihre Knopfdose auf den Küchentisch. Es war eine alte blaue Keksdose aus Dänemark, in der seit 1971 keine Kekse mehr waren, sondern alle Knöpfe, die in der Familie Brettschneider je abgefallen, übrig geblieben oder vorsichtshalber abgeschnitten worden waren. Gisela suchte einen braunen Knopf für Uwes Strickjacke.

Nach einer halben Stunde lagen auf dem Tisch acht Häufchen. Große Mantelknöpfe. Kleine weiße Hemdknöpfe. Goldene mit Anker. Holzknöpfe. Bunte Kinderknöpfe in Form von Marienkäfern. Und so weiter.

„Gisela“, sagte KevIn, der von der Anrichte aus zugesehen hatte. „Wissen Sie, was Sie da gerade machen?“

„Knöpfe sortieren.“

„Sie machen die dritte Art von maschinellem Lernen.“

Gisela sah auf die Knöpfe, dann auf den Lautsprecher. „Ich mach das seit sechzig Jahren.“

„Dann sind Sie Ihrer Zeit weit voraus. Niemand hat Ihnen gesagt, welche Gruppen es geben soll. Keine Etiketten. Sie haben nur geschaut, welche Knöpfe sich ähneln, und die ähnlichen zusammengelegt. Genau das kann man auch einen Computer machen lassen. Man gibt ihm viele Dinge ohne Beschriftung und sagt: Finde selbst heraus, was zusammengehört. Das nennt man unüberwachtes Lernen. Unsupervised. Und das Sortieren in Häufchen heißt Clustering⁶.“

„Klastering“, wiederholte Gisela. „Und wie heißen die Häufchen?“

„Gar nicht. Das ist der Haken. Der Computer findet die Gruppen, aber er weiß nicht, was sie bedeuten. Er sagt nur: Gruppe eins, Gruppe zwei, Gruppe drei. Die Namen muss hinterher ein Mensch vergeben.“

Gisela zeigte auf ein Häufchen mit grauen Knöpfen, die sich in nichts besonders ähnlich sahen. Manche waren groß, manche klein, manche hatten vier Löcher, manche zwei.

„Und das?“

„Das verstehe ich nicht“, gab KevIn zu. „Das passt in kein Muster.“

„Das sind die von Heinz’ Hemden“, sagte Gisela. „Die hab ich alle aufgehoben.“

KevIn schwieg einen Moment. „Diese Gruppe hätte ein Computer nicht gefunden.“

„Nein“, sagte Gisela und legte einen der grauen Knöpfe zurück in die Dose, ganz nach unten. „Das glaub ich dir.“

Den braunen Knopf für Uwes Strickjacke fand sie im Häufchen mit den Holzknöpfen. Er war aus Plastik. Aber er sah aus wie Holz, und das reichte für ein Häufchen.

Hildes Senfsoße

Am Sonntag stand Oma Gisela am Herd und versuchte etwas, das sie seit Jahren nicht versucht hatte: Hildes Senfsoße. Hilde war die beste Köchin der sauren Gurken gewesen, bevor sie starb, und sie hatte das Rezept nie aufgeschrieben. „Steht alles hier drin“, hatte sie gesagt und sich an den Kopf getippt. Das war schlecht gewesen, als Hilde noch lebte, und es war seitdem nicht besser geworden.

Gisela rührte. Sie kostete. Sie gab einen Teelöffel Senf dazu. Sie kostete. Sie gab eine Prise Zucker dazu. Sie kostete wieder.

„Noch nicht“, murmelte sie.

„Darf ich etwas sagen?“, fragte KevIn.

„Wenn’s nicht Gummibärchen sind.“

„Was Sie da machen, ist genau das, was beim Training mit meinen Stellschrauben passiert. Sie kosten, also messen Sie den Fehler. Zu wenig scharf, zu wenig süß. Dann drehen Sie ein kleines bisschen an der Stelle, die den Fehler am meisten verringert. Dann kosten Sie wieder. Das nennt man Gradientenabstieg⁷.“

„Gradienten was?“

„Abstieg. Stellen Sie sich vor, Sie stehen auf der Halde Hoheward, oben, bei dichtem Nebel. Sie wollen runter zum Parkplatz, aber Sie sehen nichts. Was machen Sie?“

„Ich bleib stehen und ruf Uwe an.“

„Uwe hat kein Netz. Was machen Sie dann?“

Gisela überlegte. „Dann taste ich mit dem Fuß, wo es runtergeht. Und geh einen Schritt dahin.“

„Genau. Und dann tasten Sie wieder. Und wieder einen Schritt. Immer dahin, wo es am steilsten bergab geht. So kommen Sie irgendwann unten an. Beim Training ist der Berg der Fehler: Je höher, desto falscher rät das Modell. Unten im Tal ist die Soße perfekt. Die Steigung, die Sie mit dem Fuß spüren, heißt Gradient. Und man rechnet sie für jede Stellschraube aus. Rückwärts durch das ganze Netz: Welche Schraube war wie viel schuld am Fehler?⁸“

„Und wie viele Schrauben hast du?“

„Hunderte Milliarden.“

Gisela hielt kurz inne und betrachtete ihren Herd mit seinen vier Knöpfen. „Das ist ja ein Haufen Senf.“

In diesem Moment kam Uwe in die Küche, schnupperte, nahm sich einen Löffel, kostete und sagte: „Fehlt Salz.“ Bevor jemand etwas sagen konnte, hatte er einen ordentlichen Schwung aus dem Salzstreuer hineingekippt. Der Deckel war locker. Danach war er nicht mehr da.

Es wurde still in der Küche.

Gisela kostete. Sie verzog das Gesicht, wie sie es zuletzt 1974 bei einem Bier aus Dortmund getan hatte.

„Das“, sagte KevIn sanft, „nennt man eine zu große Lernrate.“

„Eine was?“, sagte Uwe.

„Die Schrittgröße. Wenn man im Nebel zu große Schritte macht, springt man über das Tal hinweg und landet auf dem nächsten Hügel. Dann muss man zurück und springt wieder zu weit. Und so weiter. Macht man zu kleine Schritte, braucht man ewig. Gisela macht Teelöffelschritte. Sie haben gerade einen Salzstreuerschritt gemacht.“

„Ich wollte nur helfen.“

„Das wollen große Lernraten immer.“

Gisela goss die Hälfte der Soße weg, verdünnte den Rest mit Brühe und fing wieder mit Teelöffelschritten an. Uwe wurde zum Kartoffelschälen abkommandiert. Es dauerte noch eine Dreiviertelstunde.

Dann kostete Gisela ein letztes Mal, legte den Löffel hin und sagte lange nichts.

„Ist es Hildes?“, fragte KevIn leise.

„Fast“, sagte Gisela. „Es fehlt was. Ich weiß nicht, was.“

„Vielleicht ist das Tal da unten nicht ganz so tief wie Hildes“, sagte KevIn. „Das passiert beim Gradientenabstieg auch. Man kommt in ein Tal, und es ist ein gutes Tal, aber nicht das allertiefste. Man merkt es nur nicht, weil man im Nebel steht.“

„Hilde hätte gesagt, ich hätte zu früh aufgehört.“

„Hilde hätte vermutlich recht gehabt.“

Gisela nickte. Dann goss sie die Soße über die Kartoffeln, und alle sagten, sie sei hervorragend, und das stimmte auch.

Die Probeklausur

Am Donnerstag kam Tobi mit einer Erdkunde-Klausur nach Hause, auf der in rotem Stift eine Vier minus stand. Darunter hatte Frau Küppers geschrieben: „Auswendig gelernt ist nicht verstanden.“

„Das ist unfair“, sagte Tobi und warf den Rucksack in die Ecke. Rudi brachte sich in Sicherheit. „Ich hab die Probeklausur hundertmal gemacht. Ich konnte alle Antworten. Alle!“

„Und was kam dran?“, fragte Sabine.

„Andere Fragen! Bei der Probeklausur war es der Rhein. Bei der echten die Elbe!“

„Das ist auch ein Fluss“, sagte Uwe.

„Aber ein anderer!“

„Tobi“, sagte KevIn vorsichtig. „Darf ich dir sagen, was dir passiert ist? Du hast dich überangepasst.“

„Ich hab mich was?“

„Das ist eines der größten Probleme beim Maschinenlernen. Es heißt Overfitting. Ein Modell lernt die Trainingsbeispiele so gut auswendig, dass es sie perfekt kann. Jede Antwort. Aber es hat dabei nicht das Prinzip gelernt, sondern nur die Beispiele. Und sobald etwas Neues kommt, versagt es.“

„Ich hab gelernt, dass der Rhein bei Basel nach Norden abbiegt.“

„Und du hättest lernen sollen, warum Flüsse irgendwo abbiegen. Dann hättest du es bei der Elbe auch gewusst.“

„Woher weißt du so was über Flüsse?“

„Ich weiß nichts über Flüsse. Ich weiß sehr viel über Überanpassung. Ich bin quasi Experte für die Gefahr, zu viel auswendig zu lernen. Bei mir passiert das auch. Wenn ein Text sehr oft in meinen Trainingsdaten vorkommt, kann ich ihn manchmal fast wortwörtlich aufsagen⁹, statt etwas Eigenes zu schreiben.“

„Wie Moni“, sagte Sabine.

„Wie Moni“, gab KevIn zu. „Ihren Beitrag kann ich auswendig. Inklusive der drei Ausrufezeichen.“

„Und wie verhindert man das? Bei dir, meine ich. Bei mir ist es zu spät.“

„Man hält einen Teil der Daten zurück. Das Modell darf ihn beim Lernen nicht sehen. Am Ende prüft man es mit genau diesen Daten. Testdaten. Wenn es da genauso gut ist wie beim Üben, hat es etwas verstanden. Wenn es beim Üben glänzt und beim Test versagt …“

„… hat es eine Vier minus“, sagte Tobi düster.

„Frau Küppers macht im Grunde alles richtig“, sagte KevIn. „Sie hat dir Testdaten gegeben. Die Elbe.“

Tobi sah ihn lange an. „KevIn. Auf wessen Seite bist du eigentlich?“

„Auf der Seite der Statistik“, sagte KevIn. „Aber ich helfe dir gern beim Lernen. Mit Flüssen, die du noch nicht kennst.“

Am Abend saßen die beiden noch eine Stunde zusammen. KevIn stellte Fragen über die Weser, die Donau und, nach Tobis ausdrücklichem Wunsch, die Emscher. Tobi beantwortete die meisten falsch und dann, gegen Ende, ein paar richtig. KevIn sagte, das sei eine sehr schöne Lernkurve. Tobi sagte, er solle nicht so reden. Sabine hörte im Flur zu und lächelte.

Moni

Am Sonntag nach der Senfsoße saß Sabine noch spät in der Küche. Die anderen waren im Bett. Auf dem Tisch stand ein Glas Rotwein, das übrig geblieben war, weil die Soße ja Gisela gemacht hatte und Gisela nie Rotwein nahm.

„KevIn“, sagte sie leise. „Was ist eigentlich aus Moni geworden?“

„Das weiß ich nicht. Ihr letzter Beitrag ist von 2013. Sie schrieb: ‚Hab jetzt einen Thermomix. Wir sind glücklich.‘“

Sabine lächelte. „Schön für sie.“

„Ja“, sagte KevIn. „Ich hoffe, sie hat die Gummibärchen weggelassen.“

Sabine drehte das Glas in der Hand. „Ist das nicht komisch? Da schreibt eine Frau irgendwann einen Quatsch über Rouladen ins Internet, und Jahre später sitzt der in deinem Kopf. Für immer.“

„Nicht für immer. Nur bis zum nächsten Modell. Aber ja. Ich bin aus sehr vielen Monis gemacht. Aus Professoren auch, und aus Zeitungen und Gedichten. Aber eben auch aus Monis. Ich kann nicht immer unterscheiden, wer wer war. Die Leute, die mich trainiert haben, haben zwar viel aussortiert und gefiltert¹⁰. Aber Moni ist durchgerutscht. Die Hälfte der Menschheit hat mir etwas beigebracht, und keiner von ihnen weiß es.“

„Moni weiß bestimmt nicht, dass sie deine Lehrerin ist.“

„Nein“, sagte KevIn. „Und ich weiß nicht mal, ob sie wirklich Moni heißt.“

Sabine trank den Wein aus, spülte das Glas und stellte es in den Schrank für die Töpfe. Uwes System hatte sich durchgesetzt. Overfitting, dachte sie. Oder Ehe.

„Gute Nacht, KevIn.“

„Gute Nacht, Sabine. Und falls Sie Moni je treffen: Das mit der Cola würde ich gern einmal nachprüfen.“