Gadget-Samstag: Der GPU-Weg für lokale KI und dein Homelab
KI-generiert mit ChatGPT
Bei lokalen Sprachmodellen entscheidet die Speicherbandbreite häufig darüber, wie schnell neue Token entstehen. Eine GeForce RTX 5060 Ti erreicht bis zu 448 GB/s. Üblicher DDR5-Arbeitsspeicher kommt im Dual-Channel auf rund 90 GB/s. Genau dieser Unterschied steht im Mittelpunkt der zweiten Ausgabe des ClawNews-Gadget-Samstags, der wöchentlichen Hardware-Auswahl für OpenClaw und lokale KI. Nach den Mini-PCs der Vorwoche liegt der Fokus diesmal auf dedizierten Grafikkarten, von günstigen Einstiegslösungen bis zu High-End-Modellen.
- GeForce RTX 5060 Ti 16 GB: Der VRAM-Einstieg
- GeForce RTX 5090: Der Bandbreiten-König
- MINISFORUM DEG2: Die externe GPU für Mini-PCs
- be quiet! Pure Power 12 M: Die Strombasis
- APC Back-UPS BX1600MI: der Puffer für den Dauerbetrieb
- Sipeed NanoKVM: Fernwartung bis ins BIOS
- Shelly Plug S Gen3: Der Stromzähler fürs Homelab
- Noctua NF-A12x25: Der Dauerläufer
- ESP32 Dev Kit: Der kleinste Agenten-Host
- Divoom Pixoo 64: Der Status-Bildschirm
- Fazit
- Häufige Fragen
- Was ist der Unterschied zwischen VRAM und Arbeitsspeicher?
- Was ist der KV-Cache bei lokalen Sprachmodellen?
- Läuft ein lokales Sprachmodell auf einem normalen Büro-Laptop?
- Was ist ein Mixture-of-Experts-Modell?
Als Amazon-Partner verdienen wir an qualifizierten Verkäufen. Dieser Artikel enthält Affiliate-Links. Kaufst du über einen dieser Links ein, erhält ClawNews eine Provision. Für dich ändert sich am Preis nichts. Die Auswahl der Produkte erfolgt redaktionell und unabhängig davon.
GeForce RTX 5060 Ti 16 GB: Der VRAM-Einstieg
Mit 16 GB Grafikspeicher bildet die GeForce RTX 5060 Ti den Einstieg in NVIDIAs aktuelle Mittelklasse für lokale KI. Der GDDR7-Speicher erreicht eine Bandbreite von 448 GB/s. DDR5-5600 kommt im Dual-Channel rechnerisch auf knapp 90 GB/s. Die Grafikkarte überträgt Daten damit fast fünfmal so schnell. Eine Faustformel hilft bei der Wahl der Modellgröße. Bei einer 4-Bit-Quantisierung, also einer verkleinerten Modellfassung mit weniger Bits pro Wert, belegen die Gewichte rund 0,6 GB je Milliarde Parameter.
Wer hauptsächlich Modelle bis 14 Milliarden Parameter fährt, bekommt hier das beste Verhältnis aus Geschwindigkeit und Aufwand. Für 70B-Ambitionen ist die Karte dagegen die falsche Adresse.
Die komplette Einordnung von der Speicheranbindung bis zur Grafikkarte findet sich in unserem Hardware-Guide für Ollama. Wer ein Windows-System plant, findet die Übersicht im Windows-Hardware-Guide.
AnzeigeGeForce RTX 5090: Der Bandbreiten-König
Nun zum High-End-Modell dieser Ausgabe. Die GeForce RTX 5090 verfügt über 32 GB GDDR7-Speicher, der über ein 512 Bit Interface angebunden ist. Die Bandbreite beträgt 1.792 GB/s und liegt damit deutlich über den 256 GB/s des GMKtec EVO-X2 aus der Vorwoche. Dafür liegt die maximale Leistungsaufnahme allerdings bei 575 W.
Für Modelle bis rund 30 Milliarden Parameter ist die Karte das schnellste Consumer-Werkzeug dieser Liste. Wer den Aufpreis nicht begründen kann, fährt mit der 5060 Ti vernünftiger.
Einen Haken gibt es trotzdem. Ein 70B-Modell belegt quantisiert rund 42 GB und sprengt damit die 32 GB Grafikspeicher. Werkzeuge wie llama.cpp verteilen die Modellschichten dann zwischen Grafikkarte und Arbeitsspeicher. Dieses Verfahren nennt sich Offloading und kostet mit jedem ausgelagerten Anteil Geschwindigkeit. Wie NVIDIA lokale OpenClaw-Agenten unter Windows positioniert, haben wir beim RTX Spark eingeordnet.
MINISFORUM DEG2: Die externe GPU für Mini-PCs
Der MINISFORUM AI X1 Pro aus der ersten Ausgabe bringt einen OCuLink-Anschluss mit. Mit dem DEG2 lässt sich eine Desktop-Grafikkarte extern betreiben. Die Anbindung erfolgt über vier PCIe-4.0-Lanes per OCuLink oder über Thunderbolt 5. Notebookcheck hat das Dock mit einer GeForce RTX 4090 getestet. Im standardisierten KI-Benchmark MLPerf Client misst die Redaktion über OCuLink eine Ausgaberate von 171,5 Token/s und erreicht damit fast Desktop-Niveau. Über USB4 V2 bricht derselbe Benchmark auf 11,7 Token ein. Für die KI-Inferenz sollte die Grafikkarte daher über OCuLink angebunden werden. USB4 oder Thunderbolt bleiben eine Ausweichlösung für Laptops.
Sinnvoll ist das Dock für alle, die einen Mini-PC mit OCuLink besitzen und aufrüsten wollen. Wer ohnehin einen Tower plant, steckt die Karte besser direkt ins Gehäuse.
be quiet! Pure Power 12 M: Die Strombasis
Das DEG2 wird ohne Netzteil (PSU) ausgeliefert und benötigt ein eigenes ATX- oder SFX-Modell. Das Pure Power 12 M stellt 850 Watt bereit und verfügt über einen nativen 12V-2×6-Anschluss, der aktuelle Grafikkarten mit bis zu 600 Watt versorgt. Laut be quiet! verarbeitet die PSU Lastspitzen bis zur doppelten Nennlast.
Für eGPU-Docks und GPU-Tower bis zur oberen Mittelklasse reicht das Netzteil aus. Eine RTX 5090 unter Dauerlast verdient dagegen die nächstgrößere Wattklasse.
APC Back-UPS BX1600MI: der Puffer für den Dauerbetrieb
Ein Agent, der rund um die Uhr läuft, übersteht Stromausfälle nur mit einer USV, einer unterbrechungsfreien Stromversorgung. Die Back-UPS liefert 1.600 VA beziehungsweise 900 Watt und gleicht Spannungsschwankungen automatisch aus. Das Modell BX1600MI verfügt über Kaltgerätebuchsen, die Variante BX1600MI-GR nutzt stattdessen Schuko-Dosen. Vor dem Kauf sollte geprüft werden, welche Version im Warenkorb liegt.
Für Mini-PC, Router und NAS ist die Dimensionierung großzügig. Einen GPU-Tower unter Volllast hält sie dagegen nicht lange am Leben.
Affiliate-Links — ein Kauf über diese Links unterstützt ClawNews.
Server, KI-Modelle und Recherche kosten Geld. ClawNews ist unabhängig — hilf mit, dass das so bleibt.
