Das große Ganze
Klassische Software besteht aus Anweisungen, die Menschen schreiben: Wenn das passiert, tue jenes. KI kehrt dieses Prinzip um. Statt die Regeln vorzugeben, zeigen Entwickler einem System viele Beispiele und lassen einen Lernalgorithmus die Regeln selbst erkennen.
Fast jedes KI-System, das Sie heute nutzen, durchläuft dieselben Schritte.
| Phase | Was passiert | Beispiel: ein Chat-Assistent |
|---|---|---|
| Daten | Beispiele sammeln und bereinigen. | Große Mengen an Texten, Code und Gesprächen. |
| Modell | Eine Architektur mit anpassbaren Parametern auswählen. | Ein neuronales Transformer-Netz mit Milliarden von Parametern. |
| Training | Parameter anpassen, um Fehler zu reduzieren. | Das nächste Token vorhersagen und das Modell anschließend mithilfe von Feedback durch Menschen und KI verbessern. |
| Evaluierung | Mit Daten testen, die das Modell noch nicht gesehen hat. | Benchmarks, Sicherheitstests und menschliche Überprüfung. |
| Inferenz | Das Modell mit neuen Eingaben nutzen. | Ihre Nachricht in Sekunden beantworten. |
Schritt 1: Daten
Daten sind der Rohstoff der KI. Ein Modell kann nur Muster lernen, die in seinen Trainingsdaten vorkommen. Qualität, Vielfalt und Fairness dieser Daten prägen daher alles, was folgt.
- Strukturierte Daten: Tabellen, etwa mit Transaktionen, Sensormesswerten oder Patientenakten.
- Unstrukturierte Daten: Texte, Bilder, Audio- und Videodateien. Sie machen den Großteil der Informationen weltweit aus.
- Gelabelte Daten: Beispiele mit der richtigen Antwort, etwa Fotos mit der Kennzeichnung „Katze“ oder „Hund“.
- Synthetische Daten: Beispiele, die andere KI-Modelle erzeugen. Sie werden inzwischen häufig für das Training und die Feinabstimmung neuer Modelle verwendet.
Vor dem Training werden Daten bereinigt, Duplikate entfernt, schädliche oder minderwertige Inhalte herausgefiltert und die Daten in Zahlen umgewandelt, die das Modell verarbeiten kann. Bei Text bedeutet das, ihn in Tokens zu zerlegen: Wörter oder Wortteile.
Schritt 2: Lernmethoden
Maschinelles Lernen bietet verschiedene Möglichkeiten, aus Daten zu lernen. Moderne Systeme kombinieren sie häufig.
Überwachtes Lernen
Lernt aus Beispielen mit bekannten Antworten. Wird für die Spam-Erkennung, die Klassifizierung medizinischer Bilder und Preisprognosen eingesetzt.
Unüberwachtes Lernen
Erkennt Strukturen in Daten ohne vorgegebene Antworten, etwa Kundensegmente oder ungewöhnliche Transaktionen.
Selbstüberwachtes Lernen
Erzeugt aus Rohdaten eigene Lernsignale, indem es zum Beispiel ein Wort verdeckt und vorhersagt. So werden LLMs vortrainiert.
Verstärkendes Lernen
Lernt durch Versuch und Irrtum anhand von Belohnungen. Wird für spielende KI, Robotik und das Training von Reasoning-Modellen eingesetzt.
Schritt 3: Neuronale Netze
Die meisten modernen KI-Systeme nutzen künstliche neuronale Netze. Ein solches Netz besteht aus Schichten kleiner Einheiten (Neuronen). Jede Einheit multipliziert ihre Eingaben mit Gewichtungen, addiert die Ergebnisse und leitet sie über eine einfache nichtlineare Funktion an die nächste Schicht weiter.
- Die Eingabeschicht empfängt Zahlen, die die Daten darstellen, etwa Pixelwerte oder Token-Embeddings.
- Verborgene Schichten wandeln diese Zahlen Schritt für Schritt in abstraktere Merkmale um, bei einem Bild etwa in Kanten, Formen und Objekte.
- Die Ausgabeschicht liefert das Ergebnis, etwa eine Wahrscheinlichkeit für jedes mögliche nächste Wort.
Deep Learning bedeutet schlicht, dass ein Netz viele Schichten hat. Unterschiedliche Architekturen eignen sich für unterschiedliche Daten: Convolutional Neural Networks für Bilder, rekurrente Netze für ältere Spracherkennungssysteme, Diffusionsmodelle für die Bilderzeugung und Transformer für Sprache und zunehmend fast alles andere.
Schritt 4: Training
Training ist ein Optimierungsprozess, der sich milliardenfach wiederholt.
- Forward-Pass: Das Modell erstellt Vorhersagen für eine Gruppe von Beispielen.
- Verlust: Eine Verlustfunktion misst, wie stark die Vorhersage vom tatsächlichen Ergebnis abweicht.
- Backpropagation: Der Algorithmus berechnet, wie stark jedes Gewicht zum Fehler beigetragen hat.
- Gradientenabstieg: Jedes Gewicht wird leicht in die Richtung angepasst, die den Fehler verringert.
Führende Sprachmodelle werden über Wochen oder Monate mit riesigen Datenmengen und Tausenden spezialisierten Chips (GPUs oder TPUs) trainiert. Öffentlichen Schätzungen zufolge kostet das Training der größten Modelle mehrere zehn bis mehrere hundert Millionen US-Dollar. Deshalb entwickeln nur wenige Unternehmen solche Modelle von Grund auf.
Ein häufiges Problem ist Overfitting: Das Modell merkt sich die Trainingsbeispiele, statt allgemeine Muster zu lernen. Entwickler erkennen es, indem sie das Modell mit separaten Validierungsdaten testen. Mehr Daten, Regularisierung und frühzeitiges Stoppen helfen, es zu verhindern.
Schritt 5: Inferenz
Inferenz findet statt, wenn du KI tatsächlich nutzt. Die trainierten Modellgewichte bleiben unverändert, und deine Eingabe durchläuft das Netzwerk einmal (bei der Textgenerierung einmal pro generiertem Token), um eine Ausgabe zu erzeugen.
Die Ausführung von KI-Modellen ist deutlich günstiger als ihr Training. Bei Hunderten Millionen Nutzern sind dafür aber immer noch große Rechenzentren nötig. Deshalb bieten Anbieter Modelle in verschiedenen Größen an: kleine, schnelle Modelle für einfache Aufgaben und größere Modelle oder Modelle mit stärkerem logischem Denkvermögen für schwierige Probleme.
Wie große Sprachmodelle funktionieren
Große Sprachmodelle (LLMs) wie OpenAI GPT, Anthropic Claude und Google Gemini sowie Modelle mit frei verfügbaren Gewichten wie Llama, Mistral, Qwen oder DeepSeek entstehen in mehreren Schritten.
Token und Embeddings
Der Text wird in Tokens zerlegt. Jedes Token erhält ein Embedding, also eine lange Zahlenliste, die seine Bedeutung erfasst. Wörter mit ähnlicher Bedeutung haben ähnliche Embeddings.
Der Transformer und der Attention-Mechanismus
Die 2017 vorgestellte Transformer-Architektur nutzt einen Mechanismus namens Attention. Für jedes Token bestimmt Attention, welche anderen Tokens im Kontext am wichtigsten sind. So kann das Modell ein Pronomen dem richtigen Nomen oder eine Frage der passenden Stelle in einem langen Dokument zuordnen.
Vortraining
Das Modell liest riesige Mengen an Text und lernt, das nächste Token vorherzusagen. Damit das gut funktioniert, muss es Grammatik, Fakten, Denkweisen und Programmiermuster verinnerlichen.
Post-Training
Ein vortrainiertes Basismodell setzt lediglich Texte fort. Durch Instruction Tuning, Reinforcement Learning from Human Feedback (RLHF) und ähnliche Verfahren lernt es, Anweisungen zu befolgen, Gespräche zu führen, schädliche Anfragen abzulehnen und Unsicherheit einzugestehen.
Kontext und Tools
Bei der Inferenz sieht das Modell ein Kontextfenster mit Ihrer Unterhaltung, Anweisungen und manchmal abgerufenen Dokumenten. Retrieval-Augmented Generation (RAG) und die Websuche liefern dem Modell aktuelle Informationen, die es beim Training nicht gelernt hat.
Reasoning-Modelle und KI-Agenten
Seit 2024 haben zwei Entwicklungen verändert, wie leistungsfähige KI in der Praxis funktioniert.
Reasoning-Modelle werden oft durch Reinforcement Learning darauf trainiert, ein Problem Schritt für Schritt zu durchdenken, bevor sie eine endgültige Antwort geben. Mehr Rechenleistung bei der Antwort verbessert häufig die Ergebnisse bei Aufgaben in Mathematik, Naturwissenschaften, Programmierung und Planung. Die meisten großen Anbieter bieten inzwischen Reasoning- oder „Thinking“-Modi an.
KI-Agenten arbeiten mit einem Modell in einer Schleife: Sie planen, nutzen ein Tool, prüfen das Ergebnis und planen den nächsten Schritt. Tools können die Websuche, das Ausführen von Code, das Bearbeiten von Dateien oder andere Software umfassen. Agenten können mehrstufige Aufgaben erledigen, brauchen aber klare Ziele, Berechtigungen und eine Überprüfung durch Menschen.
Multi-Agenten-Systeme gehen noch einen Schritt weiter: Mehrere KI-Rollen arbeiten zusammen oder diskutieren miteinander. Studien zu „KI-Debatten“ deuten darauf hin, dass Modelle durch gegenseitige Kritik Fehler aufdecken können, die einem einzelnen Modell entgehen würden.
Was das für den Alltag bedeutet
Wer versteht, wie KI funktioniert, entwickelt bessere Gewohnheiten.
- Gib Kontext. Das Modell kennt nur, was in seinen Trainingsdaten und deinem Prompt steht.
- Frag bei wichtigen Fakten nach Begründungen und Quellen und überprüfe sie anschließend.
- Nutze ein Reasoning-Modell für komplexe Aufgaben und ein schnelles Modell für erste Entwürfe.
- Vergleiche Perspektiven. Verschiedene Modelle, die mit unterschiedlichen Daten trainiert wurden, können zu unterschiedlichen Schlussfolgerungen kommen.
Debatly macht den letzten Punkt einfach: Mehrere KI-Personas diskutieren deine Frage, und eine KI-Jury fasst zusammen, wer die besten Argumente hatte und warum. In derselben App kannst du auch direkt mit den neuesten Modellen von OpenAI, Anthropic und Google chatten.