Fine-Tuning – Definition & Bedeutung
Fine-Tuning ist das Nachtrainieren eines vortrainierten Sprachmodells mit eigenen Beispielen, damit es eine bestimmte Aufgabe, einen Stil oder ein Fachvokabular besser beherrscht. Für Firmenwissen ist dagegen meist RAG die bessere Wahl.
Was ist Fine-Tuning?
Große Sprachmodelle werden mit riesigen allgemeinen Datenmengen vortrainiert. Beim Fine-Tuning wird ein solches Modell mit einem deutlich kleineren, speziellen Datensatz weitertrainiert, zum Beispiel mit einigen hundert bis tausend Beispielen aus Eingabe und gewünschter Ausgabe. Das Modell lernt dadurch ein bestimmtes Verhalten: einen Tonfall, ein Ausgabeformat, eine Klassifikationslogik oder den sicheren Umgang mit Fachbegriffen.
Wie funktioniert Fine-Tuning?
- Daten aufbereiten: Beispiele sammeln, bereinigen und in das nötige Format bringen. Die Qualität dieser Beispiele entscheidet über das Ergebnis.
- Training: Das Modell wird angepasst. Verbreitet sind ressourcenschonende Verfahren wie LoRA, die nur einen kleinen Teil der Parameter verändern. Einige Anbieter bieten Fine-Tuning auch über ihre API an.
- Evaluation: Das angepasste Modell wird mit Testfällen gegen das Ausgangsmodell verglichen.
- Betrieb: Das Modell wird bereitgestellt, überwacht und bei Bedarf neu trainiert, siehe MLOps.
Fine-Tuning, RAG oder Prompting?
Häufig wird Fine-Tuning eingesetzt, wo es nicht nötig ist. Eine grobe Entscheidungshilfe:
- Prompting reicht, wenn gute Anweisungen und einige Beispiele im Prompt das gewünschte Ergebnis liefern, siehe Prompt Engineering.
- RAG ist richtig, wenn das Modell Wissen braucht, das sich ändert, etwa Produktdaten, Handbücher oder Verträge. Wissen per Fine-Tuning „einzubrennen“ ist teuer und veraltet schnell.
- Fine-Tuning lohnt sich für stabile Verhaltensmuster: einen einheitlichen Stil für tausende Produkttexte, zuverlässige Klassifikation, spezielle Formate oder um ein kleineres, günstigeres Modell auf das Niveau eines großen für eine eng umrissene Aufgabe zu bringen.
In der Praxis
Wir prüfen zuerst, ob Prompting und RAG das Ziel erreichen, und setzen Fine-Tuning gezielt ein, wo es messbar Qualität oder Kosten verbessert. Mehr dazu unter KI-Entwicklung.
Verwandte Begriffe & Leistungen
In der Praxis: Ob sich Fine-Tuning für einen Anwendungsfall lohnt und wie viele Trainingsdaten nötig sind, beschreibt unsere Seite LLM-Fine-Tuning und Modelltraining.
Häufige Fragen
Wie viele Daten braucht man für Fine-Tuning?
Für viele Aufgaben reichen einige hundert bis wenige tausend gute Beispiele. Wichtiger als die Menge sind Qualität und Einheitlichkeit der Beispiele.
Kann man einem Modell per Fine-Tuning das Firmenwissen beibringen?
Das ist möglich, aber selten sinnvoll. Wissen ändert sich, und ein trainiertes Modell nennt keine Quellen. Für Firmenwissen ist RAG meist die bessere Lösung.
Ist ein feinabgestimmtes Modell teurer im Betrieb?
Nicht unbedingt. Oft ermöglicht Fine-Tuning sogar ein kleineres, günstigeres Modell, das eine eng umrissene Aufgabe so gut erledigt wie ein großes.
Bereit, gemeinsam Großes zu schaffen?
Lass uns unverbindlich über dein Projekt sprechen.