Self-Hosting-Starter-Guide: erster eigener KI-Server
Ein eigener KI-Server klingt nach großem Rechenzentrum. Für viele KMU beginnt Self-Hosting aber kleiner: ein sauber geplanter Rechner, klare Nutzer, sichere Datenablage und realistische Erwartungen.
Warum überhaupt selbst hosten?
Cloud-KI ist schnell gestartet und für viele Aufgaben sinnvoll. Ein eigener Server wird interessant, wenn sensible Daten verarbeitet werden, wenn laufende Kosten planbarer sein sollen oder wenn interne Systeme eng angebunden werden. Self-Hosting bedeutet aber Verantwortung: Updates, Sicherheit, Verfügbarkeit und Support liegen nicht beim Cloud-Anbieter, sondern im eigenen Betrieb oder beim Dienstleister.
Für KMU ist der beste Start kein Großprojekt, sondern ein begrenzter Use Case. Zum Beispiel: interne Dokumentensuche, Transkription, Angebotsassistenz oder Klassifikation eingehender Dateien. Erst wenn der Nutzen belegt ist, lohnt größere Hardware.
Minimal sinnvolle Hardware
| Komponente | Empfehlung für den Start | Hinweis |
|---|---|---|
| GPU | Nvidia RTX mit 16 bis 24 GB VRAM oder mehr | abhängig von Modellgröße und Nutzerzahl |
| RAM | 64 GB, besser 128 GB | hilft bei Datenpipeline, Vektordatenbank, Diensten |
| SSD | 2 TB NVMe als Startpunkt | Modelle und Indizes wachsen schnell |
| Netzwerk | 1 Gbit/s Minimum, 2.5/10 Gbit/s je nach Dateien | besonders bei großen Dokumenten und Medien |
Eine RTX 4090 mit 24 GB VRAM oder eine RTX 5090 mit ca. 32 GB VRAM kann ein guter Start sein. Professionelle GPUs bieten mehr Speicher und Support, kosten aber deutlich mehr. Wer viele Nutzer, hohe Verfügbarkeit oder große Modelle plant, sollte direkt Serverhardware prüfen.
Software-Stack: klein anfangen
Beliebte Bausteine sind Ollama für lokale Modelle, Docker für reproduzierbare Dienste, PostgreSQL mit Vektorerweiterungen oder spezialisierte Vektordatenbanken. Frameworks und Modelle findet man unter anderem bei Hugging Face. Trotzdem gilt: Wenige stabile Komponenten sind besser als ein bunter Werkzeugzoo.
Ein Starter-Server sollte zunächst eine Aufgabe zuverlässig erledigen. Wenn zusätzlich Chatoberfläche, Dokumentenimport, Benutzerverwaltung, Monitoring und Backup gleichzeitig eingeführt werden, wird die Fehlersuche schwer.
Sicherheit und Rechte
Ein KI-Server verarbeitet oft genau die Daten, die im Unternehmen sensibel sind. Deshalb braucht er mindestens die gleiche Sorgfalt wie Dateiserver oder ERP-Systeme: Benutzergruppen, starke Passwörter oder SSO, regelmäßige Updates, Firewall-Regeln, Backups und Protokolle. Internetzugriff sollte nicht aus Bequemlichkeit geöffnet werden. Wenn externe Nutzung nötig ist, gehören VPN, Reverse Proxy und Zugriffsschutz in die Planung.
- keine offenen Modellserver im Internet
- Testdaten von Produktivdaten trennen
- Backups für Konfiguration, Modelle, Indizes und Nutzdaten planen
- Verantwortlichen für Updates und Freigaben benennen
Datenqualität vor Hardwaregröße
Viele KI-Projekte scheitern nicht an zu wenig GPU-Leistung, sondern an unklaren Dokumenten, Dubletten, veralteten Versionen und fehlenden Zuständigkeiten. Ein Chatbot auf einem chaotischen Netzlaufwerk gibt chaotische Antworten. Vor dem Hardwarekauf sollte daher geklärt werden, welche Quellen genutzt werden, wie aktuell sie sind und wer fachlich prüft.
Für öffentliche Orientierung zu Datenschutz und KI-Regulierung sind Stellen wie der BfDI und die EU-Kommission hilfreich. Juristische Bewertung ersetzt das nicht, aber es hilft bei der Einordnung.
Kaufen, mieten oder Dienstleister?
Kaufen lohnt sich, wenn der Server regelmäßig genutzt wird und interne oder externe Betreuung gesichert ist. Mieten oder Cloud ist sinnvoll, wenn Last stark schwankt oder erst getestet wird. Ein Dienstleister kann die Lücke schließen: lokale Hardware im Unternehmen, aber professionell geplant und betreut. Anbieter wie Neuritheon unterstützen genau bei dieser Übersetzung von Use Case zu belastbarem Betrieb.
Prüffragen für den Start
Vor der Anschaffung sollte die Geschäftsführung festlegen, welcher Nutzen nach 30, 60 oder 90 Tagen sichtbar sein soll. Gute Kriterien sind zum Beispiel weniger Suchzeit in Dokumenten, schnellere Transkription, bessere Angebotsvorbereitung oder ein stabiler interner Assistent für ein abgegrenztes Team. Ohne solche Kriterien wird der Server schnell zur allgemeinen Experimentierplattform.
Ebenso wichtig ist ein Ausstiegsplan. Wenn der Pilot nicht funktioniert, sollten Daten, Modelle und Konfiguration sauber entfernt oder archiviert werden können. Das klingt negativ, ist aber professionell: Ein kontrollierter Pilot hat einen Anfang, ein Ziel und eine Entscheidung.
Praktisch ist außerdem ein kleines internes Handbuch. Darin stehen Start und Stopp der Dienste, Speicherorte, Ansprechpartner, Backup-Pfad und bekannte Grenzen. So bleibt das System betreibbar, auch wenn die Person mit dem meisten Detailwissen gerade nicht verfügbar ist.
Fazit
Der erste eigene KI-Server sollte kein Prestigeprojekt sein. Starten Sie mit einem klaren Problem, realistischer Hardware, sauberer Sicherheit und messbarem Nutzen. Wenn der Pilot funktioniert, lassen sich GPU, Speicher, Netzwerk und Software gezielt ausbauen. So wird Self-Hosting vom Technikexperiment zu einem kontrollierten Unternehmenswerkzeug.