Wie richtet man ein lokales LLM ein?

Um ein lokales Large Language Model (LLM) einzurichten, sind einige technische Schritte notwendig. Hier eine allgemeine Anleitung:

1. **Hardware-Anforderungen prüfen**
LLMs benötigen viel Arbeitsspeicher (RAM) und oft eine leistungsfähige Grafikkarte (GPU). Für kleinere Modelle reichen oft 8–16 GB RAM, für größere Modelle (wie Llama 2 70B) werden deutlich mehr Ressourcen benötigt.

2. **Modell auswählen und herunterladen**
Es gibt verschiedene Open-Source-Modelle, z. B. [Llama 2](https://ai.meta.com/resources/models-and-libraries/llama-downloads/), [Mistral](https://mistral.ai/news/announcing-mistral-7b/), [GPT-NeoX](https://github.com/EleutherAI/gpt-neox), [Vicuna](https://lmsys.org/blog/2023-03-30-vicuna/), u. a.
Die Modelle werden meist als Gewichtsdateien (z. B. `.bin`, `.pth`, `.safetensors`) bereitgestellt.

3. **Laufzeitumgebung einrichten**
- **Python installieren** (meist Version 3.8 oder höher)
- **Virtuelle Umgebung erstellen** (optional, aber empfohlen)
- **Abhängigkeiten installieren**, z. B. mit
```bash
pip install torch transformers
```
oder für spezielle Frameworks wie [llama.cpp](https://github.com/ggerganov/llama.cpp) oder [text-generation-webui](https://github.com/oobabooga/text-generation-webui).

4. **Modell laden und starten**
Je nach Framework gibt es unterschiedliche Befehle. Beispiel mit Hugging Face Transformers:
```python
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "TheBloke/Llama-2-7B-Chat-GPTQ" # Beispiel
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

input_text = "Hallo, wie kann ich dir helfen?"
inputs = tokenizer(input_text, return_tensors="pt")
outputs = model.generate(**inputs)
print(tokenizer.decode(outputs[0]))
```
Für besonders effiziente Ausführung auf CPUs oder schwächeren GPUs empfiehlt sich [llama.cpp](https://github.com/ggerganov/llama.cpp) oder [Ollama](https://ollama.com/).

5. **Optional: Web-Oberfläche nutzen**
Tools wie [text-generation-webui](https://github.com/oobabooga/text-generation-webui) bieten eine einfache Weboberfläche zum Chatten mit dem Modell.

**Wichtige Hinweise:**
- Die Nutzung mancher Modelle erfordert eine Registrierung oder Lizenzvereinbarung (z. B. bei Llama 2).
- Die Performance hängt stark von der Hardware und Modellgröße ab.

**Weiterführende Links:**
- [llama.cpp (leichtgewichtige Ausführung)](https://github.com/ggerganov/llama.cpp)
- [Ollama (einfache Installation und Verwaltung)](https://ollama.com/)
- [Hugging Face Transformers](https://huggingface.co/docs/transformers/index)
- [text-generation-webui](https://github.com/oobabooga/text-generation-webui)

Mit diesen Schritten kannst du ein LLM lokal einrichten und nutzen.