Türkei (Türkisch)
Germany (German)
Worldwide (English)
Ein PEFT-Adapter-Checkpoint enthält nicht alle Base-Weights; Adapter-Config/Weights hängen vom Basismodell ab.
Halkali Merkez Viertel Fatih Str. Ozgur Apt. No. 46, Kucukcekmece, Istanbul, 34303, TR
adapter_model.safetensors, adapter_config.json, Trainer-Checkpoints, Resume, merge_and_unload, quantisiertes Merge und Validierung vollständig verstehen.
Ein PEFT-Adapter-Checkpoint enthält nicht alle Base-Weights; Adapter-Config/Weights hängen vom Basismodell ab.
`merge_and_unload()` ist nicht in-place; das zurückgegebene Modell muss zugewiesen werden.
Nach Merge gehen PEFT-Funktionen verloren; manche Quantisierung/PEFT-Kombinationen unterstützen Merge nicht.
PEFT-Adapter via `save_pretrained()` ist klein für Inference. Trainer-Checkpoint enthält Training State. Merged Model kombiniert Base + Adapter als Standalone.
Typischer Adapter-Ordner enthält `adapter_model.safetensors` und `adapter_config.json`. Bei geändertem Tokenizer auch Tokenizer-Dateien mitliefern.
Für exaktes Resume braucht man Optimizer State, Scheduler Step, Global Step und RNG. Nur Adapter-Weights fortzusetzen reproduziert den Trainingszustand nicht exakt.
Ändern sich Base-Revision, Tokenizer, PEFT-Config, Dataset-Preprocessing oder Paketversionen, kann Resume anders laufen. Metadaten pro Run sichern.
Offiziell: `model = model.merge_and_unload()`. Ergebnis ist Standalone ohne normale PEFT-Adapterfunktionen. Für reversible Merges merge_adapter/unmerge_adapter nutzen.
Beim 4-Bit-Training sind Base-Weights quantisiert. Häufig lädt man das Base-Modell in Ziel-Dtype neu und merged den Adapter dort; direktes Merge in quantisierte Module ist nicht universell unterstützt.
Falsche Base-Revision, Tokenizer-Mismatch, Dtype, Adapter Scale oder fehlende Embeddings können Outputs verändern. Vor/nach Merge deterministisch A/B testen.
Neuen Python-Prozess starten, Modell von Disk laden, Adapter- und Merged-Ausgaben vergleichen sowie Dtype, Vocab, EOS/PAD und Generation Config prüfen.
Nicht jeden Checkpoint ewig behalten: Best Metric, letzter resumable Checkpoint und ausgewählte Milestones. Adapter sind klein, Optimizer States können groß sein.
| Artefakt | Zweck | Für Resume |
|---|---|---|
| adapter_model.safetensors | LoRA-Weights | Allein nicht vollständig |
| adapter_config.json | PEFT-Config | Nötiger Kontext |
| Trainer-Checkpoint | Optimizer/Scheduler/State | Ja |
| Merged Model | Standalone Inference | Nein |
In einer funktionierenden Trainingsumgebung Pakete nicht blind aktualisieren. GPU, Treiber, CUDA/PyTorch-Runtime, Transformers, Accelerate, PEFT, TRL, bitsandbytes/Diffusers, Modellrevision und Dataset-Fingerprint pro Run protokollieren.
Nein. Es verändert das In-Memory-Modell; Dateien auf Disk bleiben.
Nicht über normale PEFT-Adapterkontrollen. Adapter separat behalten oder reversible merge_adapter-Workflows nutzen.
Modellgröße, Precision, Context, Batch, LoRA/QLoRA oder Full Fine-Tuning und Multi-GPU gemeinsam bewerten.