erster lokaler KI-Server geht online

Heute ist im Schattenatelier der erste lokale KI-Server ans Netz gegangen. Ein kompakter Rechner, ein offenes Sprachmodell, und keine einzige Anfrage verlässt das Netzwerk.

Erledigt

• Hardware aufgesetzt: Linux Mini-PC mit 32 GB Arbeitsspeicher
• Betriebssystem installiert: [Ubuntu Server]
• Ollama eingerichtet und das erste Modell geladen: [Qwen2.5 32B]
• Weboberfläche im Heimnetz erreichbar gemacht: [LM Studio plus Telegram]
• Erster Praxistest: Antwort auf mittelschwere Fragen nach rund [66] Sekunden

Offen

• Sicheren Zugriff von unterwegs einrichten
• Crawler-Agenten an den Server anbinden
• Stromverbrauch unter Last messen
• Weitere Modelle im Vergleich testen

Notiz

Ein eigener KI-Server klingt nach Rechenzentrum, ist aber erstaunlich unspektakulär. Der größte Aufwand lag nicht in der Technik, sondern in der Entscheidung, welches Modell in den Arbeitsspeicher passt. Faustregel: Es geht nicht immer um die Größe, gerade wenn das Modell Probleme hat, schnell zu antworten.

Der lokale Server ist der erste Knoten im Netzwerk des Schattenateliers. Hier sollen künftig unsere Webcrawler zusammenlaufen und recherchieren. Wie die Hardware ausgewählt wurde ist nicht so wichtig, im Endeffekt geht es um einen guten Prozessor (weil man diese günstig bekommt) und einen gerade noch adequaten RAM Speicher (der teuer ist, egal wie klein). Ob sich das Setup auch im Langzeittest bewährt, bleibt abzuwarten.