Was steckt hinter LLM, Embeddings, RAG, MCP, Tools und Agents?

Kurze Antwort

Ein Large Language Model (LLM) erzeugt Texte, kennt aber nur sein Trainingswissen und das, was im Gespräch steht. Embeddings übersetzen Texte in Zahlenvektoren, damit Software inhaltlich ähnliche Dokumente findet. RAG nutzt diese Suche, um dem Sprachmodell vor der Antwort passende Abschnitte aus Ihren eigenen Dokumenten mitzugeben. Über Tools löst ein Modell Aktionen in anderen Systemen aus, das Model Context Protocol (MCP) vereinheitlicht diese Anbindung, und ein Agent verbindet alles in einer Schleife, um ein Ziel in mehreren Schritten zu erreichen.

Stand: November 2026

Das Wichtigste in Kürze

• Ein LLM ist keine Datenbank: Es formuliert überzeugend, kann aber Fakten erfinden und kennt Ihre internen Regelungen nicht.
• Embeddings und RAG verbinden Sprachmodelle mit eigenem Wissen – ohne neues Training und mit Quellenangabe.
• Tools lassen ein Modell Aktionen anstoßen; ausgeführt werden sie von Ihrer Anwendung, die Rechte und Freigaben kontrolliert.
• MCP ist ein offener Standard für diese Anbindungen, seit Dezember 2025 unter dem Dach der Linux Foundation.
• Agenten arbeiten selbstständig in mehreren Schritten – mit mehr Nutzen, aber auch mehr Risiko.
• Beginnen Sie mit der einfachsten Lösung, die die Aufgabe erfüllt, und erweitern Sie erst, wenn es nötig ist.

Die Begriffe in einem Satz

Begriff	In einem Satz
LLM (Large Language Model)	Ein Sprachmodell, das aus sehr großen Textmengen gelernt hat, Text fortzusetzen, und damit schreiben, zusammenfassen und übersetzen kann.
Token	Die Einheit, in der ein LLM Text verarbeitet – meist ein Wort oder Wortteil.
Kontextfenster	Alles, was ein Modell bei einer Antwort gleichzeitig berücksichtigen kann, einschließlich der Antwort selbst.
Embedding	Ein Zahlenvektor, der die Bedeutung eines Textes so abbildet, dass ähnliche Inhalte nahe beieinanderliegen.
RAG (Retrieval-Augmented Generation)	Ein Verfahren, bei dem vor der Antwort passende Abschnitte aus eigenen Dokumenten gesucht und dem Modell mitgegeben werden.
Tool (Function Calling)	Eine beschriebene Funktion, die ein Modell mit strukturierten Angaben aufrufen lassen kann, etwa „Ticket anlegen“.
MCP (Model Context Protocol)	Ein offener Standard, über den KI-Anwendungen Tools, Daten und Vorlagen aus anderen Systemen einheitlich anbinden.
Agent	Ein System, das ein Ziel selbstständig in mehreren Schritten verfolgt und dabei Tools nutzt.

Was kann ein Large Language Model (LLM) – und wo liegen seine Grenzen?

Kurze Antwort

Ein LLM formuliert, fasst zusammen, übersetzt und strukturiert Texte sehr gut. Es ist aber kein Nachschlagewerk: Es kann plausibel klingende, falsche Aussagen erzeugen, kennt nur einen Wissensstand bis zum Ende seines Trainings und weiß nichts über Ihre Einrichtung, solange Sie es ihm nicht mitgeben.

Ein Sprachmodell zerlegt Text in Tokens und berechnet Schritt für Schritt, welches Token als Nächstes passt. Was es dabei berücksichtigt, steht im Kontextfenster: Anweisung, Gesprächsverlauf, mitgegebene Dokumente und die entstehende Antwort. Anthropic beschreibt es als „Arbeitsgedächtnis“, getrennt vom Trainingswissen – und mehr Kontext ist nicht automatisch besser, weil Genauigkeit mit wachsender Tokenzahl nachlassen kann.

Typische Grenzen:

• Halluzinationen: Das Modell erfindet Angaben, Fundstellen oder Zahlen, wenn ihm Wissen fehlt – und formuliert sie genauso sicher wie richtige.
• Wissensstand: Neue Gesetze, geänderte Abläufe oder die aktuelle Fassung Ihrer Dienstanweisung kennt es nur, wenn sie im Kontext stehen.
• Keine Datenbank: Das Modell speichert kein abrufbares Dokument, sondern Muster. Eine verlässliche Fundstelle liefert es aus sich heraus nicht.
• Rechnen und exakte Fakten: Zahlen werden wie Text erzeugt. Für Berechnungen und Kennzahlen sind Werkzeuge wie Tabellenkalkulation, Datenbankabfrage oder Code verlässlicher.
• Datenschutz: Was Sie eingeben, verarbeitet der Anbieter des Modells. Welche Regeln für Patienten- und Beschäftigtendaten gelten, beschreibt der Artikel ChatGPT im Krankenhaus: Was ist datenschutzrechtlich erlaubt?.

Gut geeignet ist ein LLM deshalb für Entwürfe, die ein Mensch prüft: E-Mails, Aushänge, Protokolle, Gliederungen, Texte in einfacher Sprache.

Was sind Embeddings und wofür werden sie benötigt?

Kurze Antwort

Embeddings sind Zahlenvektoren, die die Bedeutung eines Textes abbilden. Texte mit ähnlichem Inhalt erhalten ähnliche Vektoren – so findet eine Suche zur Frage „Wie beantrage ich freie Tage?“ auch die Dienstanweisung zum „Urlaubsantrag“.

OpenAI beschreibt ein Embedding als Liste von Gleitkommazahlen; der Abstand zweier Vektoren zeigt, wie eng zwei Texte inhaltlich verwandt sind. Als Maß dient meist die Kosinus-Ähnlichkeit. Typische Anwendungen sind Suche, Gruppierung, Empfehlungen, das Erkennen von Ausreißern und die Klassifikation, also die Zuordnung eines Textes zur ähnlichsten Kategorie.

Damit die Suche bei vielen Dokumenten schnell bleibt, werden die Vektoren in einer Vektordatenbank oder einem Suchindex mit Vektorfunktion gespeichert. Microsoft empfiehlt für RAG-Anwendungen eine hybride Suche, die Vektor- und Stichwortsuche kombiniert. Im Gesundheitswesen ist das besonders wichtig: Abkürzungen, Dokumentnummern und Fachbegriffe müssen exakt gefunden werden, nicht nur „ähnlich“.

Auch ohne Textgenerierung sind Embeddings nützlich: Anfragen nach Thema bündeln, zu einer IT-Störung ähnliche gelöste Tickets finden oder doppelte Fassungen in einer Dokumentensammlung aufspüren. Sie erfinden nichts, können aber falsch zuordnen – prüfen Sie Ergebnisse an Stichproben. Vektoren aus personenbezogenen Texten sollten Sie so schützen wie die Ursprungsdaten.

Wie kann eine KI mit RAG auf eigenes Unternehmenswissen zugreifen?

Kurze Antwort

Bei RAG sucht eine Anwendung zu jeder Frage passende Abschnitte in Ihren Dokumenten und gibt sie dem LLM mit der Anweisung, daraus zu antworten und die Quelle zu nennen. Das Modell wird dafür nicht neu trainiert; geänderte Dokumente wirken, sobald sie neu indexiert sind.

Der Begriff geht auf eine Arbeit von Lewis und anderen (2020) zurück, die das im Modell gespeicherte Wissen um einen durchsuchbaren Index als zweites Gedächtnis ergänzt. Der Ablauf:

1. Indexieren: Dokumente werden in Abschnitte zerlegt (Chunking), als Embeddings gespeichert und mit Metadaten versehen – etwa Dokumentart, gültig ab, Geltungsbereich und Zugriffsrechte.
2. Abrufen: Die Frage wird ebenfalls in einen Vektor übersetzt; die Suche liefert die passendsten Abschnitte, möglichst hybrid und nur aus Dokumenten, die die fragende Person sehen darf.
3. Generieren: Das LLM erhält Frage und Abschnitte und formuliert eine Antwort mit Verweis auf die Fundstellen.

Beispiel: Ein Assistent für Verfahrensanweisungen, SOPs und das QM-Handbuch beantwortet die Frage „Was ist bei einem Ausfall des KIS in der Nacht zu tun?“ mit den Schritten aus dem gültigen Notfallhandbuch und einem Link auf das Dokument. Wie Krankenhäuser solche Dokumente lenken und berechtigen, zeigt SharePoint im Krankenhaus.

Worauf es ankommt:

• Chunking: Zu kleine Abschnitte verlieren den Zusammenhang, zu große verwässern das Ergebnis.
• Berechtigungen: Microsoft nennt die Zugriffskontrolle als zentrale Herausforderung – Nutzer und Agenten dürfen nur abrufen, wofür sie berechtigt sind.
• Aktualität: Nur gültige Fassungen gehören in den Index; sonst widerspricht sich auch die KI.
• Quellenangaben: Ohne Fundstelle lässt sich eine Antwort nicht prüfen.

Grenzen: RAG beantwortet Fragen, die in einzelnen Abschnitten stehen. Auswertungen über viele Dokumente („Wie viele Verfahrensanweisungen sind überfällig?“) gehören in eine Abfrage oder ein Berichtswerkzeug. Zudem können Dokumente versteckte Anweisungen enthalten: Laut OWASP verhindert RAG Prompt-Injection – manipulierte Eingaben, die das Verhalten des Modells ändern – nicht vollständig.

Was sind Tools und wie kann eine KI damit Aktionen ausführen?

Kurze Antwort

Tools sind Funktionen, die eine Anwendung dem Modell mit Name, Beschreibung und Eingabeschema bekannt macht. Das Modell führt sie nicht selbst aus: Es liefert einen strukturierten Aufruf, den Ihre Anwendung prüft, ausführt und dessen Ergebnis sie zurückgibt.

Anthropic spricht von Tool Use, andere Anbieter von Function Calling. Der Ablauf ist im Kern gleich:

1. Die Anwendung beschreibt das Tool ticket_anlegen mit den Feldern Kategorie, Standort und Beschreibung.
2. Eine Beschäftigte schreibt: „Der Drucker auf Station 3 druckt nicht mehr.“
3. Das Modell liefert den Aufruf ticket_anlegen mit Kategorie „Drucker“ und Standort „Station 3“.
4. Die Anwendung legt das Ticket an, das Modell meldet die Ticketnummer zurück.

Tools gleichen auch Schwächen des LLM aus: Statt zu raten, ruft das Modell eine Datenbankabfrage oder Berechnung auf.

Rechte und Mensch in der Schleife: Ein Tool kann nur, was die dahinterliegende Anwendung darf. Trennen Sie lesende von schreibenden Tools, vergeben Sie minimale Rechte und protokollieren Sie jeden Aufruf. Aktionen mit Folgen – eine E-Mail an Externe, eine Bestellung, geänderte Stammdaten – gibt ein Mensch vor der Ausführung frei. Das empfiehlt auch OWASP, weil sich manipulierte Anweisungen in E-Mails oder Dokumenten nie ganz ausschließen lassen.

Was steckt hinter dem Model Context Protocol (MCP)?

Kurze Antwort

MCP ist ein offener Standard, über den KI-Anwendungen Tools, Daten und Vorlagen aus anderen Systemen einheitlich anbinden. Anthropic hat ihn im November 2024 als Open Source veröffentlicht; seit Dezember 2025 gehört er zur Agentic AI Foundation unter dem Dach der Linux Foundation.

Ohne Standard braucht jede KI-Anwendung für jedes System eine eigene Anbindung. MCP legt fest, wie beide Seiten miteinander sprechen: Ein MCP-Server für das Ticketsystem wird einmal gebaut und steht dann allen KI-Anwendungen zur Verfügung, die MCP unterstützen.

Baustein	Aufgabe	Beispiel
Host	KI-Anwendung, mit der Menschen arbeiten	KI-Assistent, Entwicklungsumgebung
Client	Verbindung des Hosts zu je einem Server	eine Verbindung pro angebundenem System
Server	Programm, das Fähigkeiten eines Systems bereitstellt	Ticketsystem, Dokumentenablage, Kennzahlen-Datenbank
Tools	Funktionen, die das Modell aufrufen lassen kann	Ticket anlegen, Dokument suchen
Resources	Daten und Kontext	Dateiinhalte, Datensätze, Datenbankschema
Prompts	wiederverwendbare Vorlagen	Vorlage „Statusbericht aus Ticketdaten“

Technisch nutzt MCP Nachrichten im Format JSON-RPC 2.0, lokal oder über HTTP. Die Spezifikation wird laufend weiterentwickelt; prüfen Sie, welche Version eine Anwendung unterstützt.

Governance: Am 9. Dezember 2025 hat die Linux Foundation die Agentic AI Foundation gegründet, mit MCP als einem der Gründungsprojekte. Anthropic begründet die Übergabe damit, dass das Protokoll offen, neutral und gemeinschaftlich getragen bleiben soll.

Sicherheit: Laut Spezifikation kann MCP Sicherheitsgrundsätze nicht selbst erzwingen. Tools gelten als Ausführung beliebigen Codes; vor jedem Aufruf soll die Zustimmung der Nutzenden eingeholt werden, und Tool-Beschreibungen gelten als nicht vertrauenswürdig, wenn sie nicht von einem vertrauenswürdigen Server stammen. Für Einrichtungen im Gesundheitswesen heißt das: nur geprüfte Server einsetzen und freigeben, jedem Server minimale Rechte geben, Anmeldung regeln, Aufrufe protokollieren und Prompt-Injection über gelieferte Inhalte einplanen. MCP ist eine Schnittstelle, kein Sicherheitskonzept – es gehört in das Informationssicherheitsmanagement wie jede andere Anbindung.

Was unterscheidet einen AI Agent von einem klassischen KI-Chatbot?

Kurze Antwort

Ein Chatbot beantwortet eine Frage. Ein Agent erhält ein Ziel, plant die Schritte selbst, nutzt Tools, prüft die Ergebnisse und arbeitet in einer Schleife weiter, bis das Ziel erreicht ist oder er Hilfe braucht.

Anthropic unterscheidet Workflows, in denen Sprachmodelle und Tools festgelegten Schritten folgen, von Agenten, bei denen das Modell selbst steuert, welche Schritte und Tools es nutzt.

Ein Agent arbeitet in einer Schleife aus Denken, Handeln und Beobachten: Er plant den nächsten Schritt, ruft ein Tool auf, wertet das Ergebnis aus und entscheidet erneut. Zwischenstände hält er im Kontext oder in einem externen Speicher fest.

Beispiel: „Bereite die Vorlage für den Lenkungsausschuss des KIS-Projekts vor.“ Der Agent sucht Protokolle, gleicht offene Aufgaben ab, holt den Budgetstand und entwirft die Vorlage; die Projektleitung prüft und gibt frei. Ein Beispiel aus dem Bestand ist Copilot Cowork – siehe Microsoft Copilot im Krankenhaus.

Eine einfache Einordnung der Autonomie:

Stufe	Was die KI tut	Wer handelt
Assistent	beantwortet Fragen, entwirft Texte	Mensch übernimmt alles Weitere
Assistent mit Vorschlag	schlägt eine Aktion vor, etwa ein Ticket	Mensch bestätigt per Klick
Workflow	übernimmt einzelne Schritte in festem Ablauf	Ablauf ist vorgegeben, Mensch prüft Ergebnis
Agent mit Freigabepunkten	plant und handelt selbst, stoppt vor kritischen Aktionen	Mensch gibt an festgelegten Stellen frei
Autonomer Agent	arbeitet ohne Freigabe bis zum Ergebnis	nur für eng begrenzte, risikoarme Aufgaben

Risiken: Anthropic nennt höhere Kosten und Fehler, die sich über viele Schritte aufaddieren, und empfiehlt Tests in abgeschotteten Umgebungen, Leitplanken und menschliche Kontrollpunkte. Ergänzen Sie Abbruchbedingungen, Kostenlimits und ein Protokoll aller Schritte, damit nachvollziehbar bleibt, welche Aktion warum ausgelöst wurde.

Welche Technologie brauche ich für welchen Anwendungsfall?

Kurze Antwort

Das hängt davon ab, ob die KI schreiben, Wissen finden, Inhalte sortieren, handeln oder mehrere Schritte selbstständig erledigen soll. Wählen Sie die einfachste Technologie, die die Aufgabe löst.

Anwendungsfall	Technologie	Beispiel im Gesundheitswesen	Worauf achten
Texte entwerfen, zusammenfassen, umformulieren	LLM	Stellenanzeige, Besprechungsprotokoll, Aushang in einfacher Sprache	Ergebnis prüfen, keine Patientendaten in nicht freigegebene Dienste
Fragen zu internen Regelungen beantworten	RAG	Assistent für Verfahrensanweisungen, Dienstanweisungen, Notfallhandbuch	nur gültige Fassungen, Berechtigungen, Quellenangabe
Ähnliche Dokumente finden, sortieren, klassifizieren	Embeddings	Anfragen und Beschwerden nach Thema bündeln, ähnliche IT-Tickets finden	Stichproben prüfen, Abkürzungen und Fachbegriffe testen
Angaben aus Texten in Felder übernehmen	LLM mit strukturierter Ausgabe	Daten aus Rechnungen, Lieferscheinen oder Anträgen erfassen	festes Schema, Plausibilitätsprüfung, Unklares manuell klären
Aktion in einem System auslösen	Tools	Ticket im Service-Desk anlegen, Besprechungstermin vorschlagen, Raum buchen	Freigabe vor der Ausführung, minimale Rechte, Protokoll
Mehrere KI-Anwendungen an dieselben Systeme anbinden	MCP	Ticketsystem, Dokumentenablage und Kennzahlen-Datenbank einmal als MCP-Server bereitstellen	nur geprüfte Server, Anmeldung, Rechte je Server
Mehrstufige Abläufe mit wechselnden Schritten	Agent	Gremienvorlage aus Protokollen, Aufgaben und Kennzahlen vorbereiten; IT-Störungen vorsortieren	Freigabepunkte, Kostenlimit, Abbruch, Testbetrieb
Kennzahlen auswerten, Prognosen erstellen	keine generative KI, sondern BI oder Data Science	Belegungsprognose, Controlling-Bericht	geprüfte Datenbasis, validierte Modelle

So einfach wie möglich beginnen: Anthropic rät, zuerst die einfachste Lösung zu suchen und Komplexität nur bei Bedarf zu erhöhen. Eine sinnvolle Reihenfolge: freigegebener KI-Assistent, dann RAG, dann Tools, erst danach Agenten. Jede Stufe erhöht den Aufwand für Betrieb, Sicherheit und Prüfung. Wann Auswertungen und Prognosen eher in die Data Science gehören, erklärt der Artikel Data Science, Data Analytics und Data Engineering.

Was gilt für Datenschutz, Schweigepflicht und KI-Verordnung?

Kurze Antwort

Die Technik ändert nichts an den Regeln: Gesundheitsdaten bleiben besonders geschützt, die Schweigepflicht gilt auch gegenüber KI-Anbietern, und wer KI-Systeme einsetzt, muss die KI-Kompetenz seiner Beschäftigten fördern.

Mit RAG, Tools, MCP und Agenten entstehen neue Datenflüsse – Indizes, Vektoren, Protokolle, Verbindungen zu weiteren Systemen. Beziehen Sie diese in die Datenschutz-Folgenabschätzung ein. Einzelheiten:

• DSGVO, Schweigepflicht nach § 203 StGB und Cloud-Vorgaben nach § 393 SGB V: ChatGPT im Krankenhaus.
• Pflicht zur KI-Kompetenz nach Art. 4 KI-Verordnung: KI-Kompetenz nach Art. 4 KI-Verordnung.
• Medizinprodukterecht und Hochrisiko-KI: KI im Krankenhaus.

Die Beispiele hier stammen bewusst aus Verwaltung, Organisation und Wissensmanagement. KI für Diagnose oder Therapie ist in der Regel ein Medizinprodukt; DigitalHealthExperts bietet solche Systeme nicht an.

Welche Schulungen passen?

Kurze Antwort

Leitungen und Fachbereiche starten mit einem Grundlagenseminar. Wer RAG-Assistenten oder Agenten selbst baut, braucht Praxisseminare mit Copilot Studio oder Python.

Aufgabe	Passendes Seminar	Dauer
Begriffe, Einsatzfelder und Grenzen von KI im Gesundheitswesen verstehen	KI im Gesundheitswesen	1 Tag
KI-Grundlagen im eigenen Tempo, als Baustein der KI-Kompetenz	AI+ Healthcare Foundation	Selbstlernkurs
Generative KI und Copilot in Verwaltung und Büroarbeit nutzen	AB-730 Generative KI in Geschäftsprozessen	1 Tag
Eigene Agenten mit Wissensquellen und Aktionen bauen	AB-620 KI-Agenten mit Copilot Studio	3 Tage
Agentenlösungen planen und bewerten	AB-100 Agentic AI Business Solutions	3 Tage
RAG, Klassifikation und Textverarbeitung mit Python und LLMs umsetzen	Python-Workflows – LLMs, NLP & RAG für Texte	3 Tage
Sprachmodelle in der eigenen Umgebung betreiben	Mistral AI, Ollama & Co.	1 Tag

Alle Seminare finden Sie im Bereich Künstliche Intelligenz; auf Wunsch auch als Inhouse-Schulung mit Beispielen aus Ihrer Einrichtung. Bei Auswahl, Architektur und Einführung unterstützt Sie unsere KI-Beratung für das Gesundheitswesen.

Fazit

Die Begriffe bauen aufeinander auf: Das Sprachmodell schreibt, Embeddings finden, RAG verbindet beides mit eigenem Wissen, Tools und MCP verbinden die KI mit anderen Systemen, und Agenten setzen alles zu selbstständigen Abläufen zusammen. Mit jeder Stufe wachsen Nutzen und Verantwortung. Einrichtungen im Gesundheitswesen beginnen am besten mit einer klar umrissenen Aufgabe und der einfachsten passenden Technik, regeln Berechtigungen und Freigaben von Anfang an und schulen ihre Beschäftigten.

Quellen

1. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Lewis, P. u. a., arXiv 2005.11401, 2020 (NeurIPS 2020).
2. Context windows. Anthropic, Claude-Dokumentation, abgerufen am 07.11.2026.
3. Vector embeddings. OpenAI, API-Dokumentation, abgerufen am 07.11.2026.
4. RAG and Generative AI – Azure AI Search. Microsoft Learn, Stand August 2026.
5. Tool use with Claude. Anthropic, Claude-Dokumentation, abgerufen am 07.11.2026.
6. Model Context Protocol – Specification. modelcontextprotocol.io, Version 2026-07-28: Architektur, Funktionen der Server, Sicherheitsgrundsätze.
7. Linux Foundation Announces the Formation of the Agentic AI Foundation (AAIF). Linux Foundation, 9. Dezember 2025.
8. Building effective agents. Anthropic, 19. Dezember 2024.
9. LLM01:2025 Prompt Injection. OWASP Gen AI Security Project.
10. Verordnung (EU) 2024/1689 (KI-Verordnung). Amtsblatt der Europäischen Union, Art. 4.

Passende Schulungen

Vertiefen Sie das Thema mit Ihrem Team – im offenen Seminar oder als Inhouse-Schulung.

• KI im Gesundheitswesen – Anwendungen, Gesundheitsdaten und digitale InfrastrukturNeu im Programm1 Tag · nächster Termin 10.11.2026
• Python-Workflows - LLMs, NLP & RAG für Texte3 Tage · nächster Termin 09.–11.11.2026
• AB-620 Design and build integrated AI agent solutions in Copilot Studio (AB-620T00)3 Tage · nächster Termin 11.–13.11.2026
• AB-730 Transform business workflows with generative AI (AB-730T00)1 Tag · nächster Termin 09.11.2026
• Alle Seminare: Künstliche IntelligenzTermine, Inhalte und Inhouse-Angebote