Hier sind die bei uns im Moment laufenden Proxmox-Server nebeneinander aufgeführt. PBS ist der „Proxmox Backup Server“, der als Sicherungsziel von den drei VM-Servern automatisiert genutzt wird.

Hardware:

Firmware:

Software:

Screenshots:

Dokumente / Treiber

ULP-Server Treiber bei Dell
LP-Server Treiber bei HP
TR-Server Treiber bei Gigabyte
PBS Treiber bei HP

Der Beitrag <h5>Setup: </h5><h3><b>Proxmox Server</b></h3> erschien zuerst auf flohs blog.

Der Server ist nun seit einiger Zeit bei Bedarf in Benutzung und hat seine Stärken und Schwächen offenbart. Im Großen und Ganzen bin ich sehr zufrieden, manchmal hat sich Proxmox bzw. Debian doch etwas zickig gezeigt – Aber nur bei „Gefummel“.

Positive Aspekte:

• Der Server ist für einen Computer dieser Leistungsklasse wirklich leise, selbst bei Volllast
• Gute Leistung, ich betreibe wahlweise fünf Windows 10 oder Windows 11 VMs mit je einer vGPU samt 4 GB RAM, konfiguriert mit 16 GB RAM und 6 Kernen
• Das RGB des Kühlers habe ich aktiviert belassen weil dieser oben aus dem Gehäuse schaut
• Für die Kosten ein sehr potentes System

Negative Aspekte:

• Der Stromverbrauch ist hoch, besonders im Leerlauf werden immer über 100 Watt verbraten. Am Limit ist deutlich über 800 Watt keine Überraschung
• Das eher schwach ausgelegte Mainboard limitiert ein mögliches CPU-Upgrade auf 32 Kerne mit SMT (TR 2990WX)
• Nvidia vGPU ist inoffiziell und schon mehrfach bei Systemupdates kaputtgegangen. Sehr zeitraubend.

Nächstes mal wieder?

Für den aktuellen Einsatzzweck jederzeit gerne. Das nächste mal würde ich mich bei verschiedenen Dingen durch Erfahrung nun anders entscheiden:

• RAM-Ausbau gleich ans Limit (Auch wenn 128 GB im Moment locker ausreichen), das wären dann 256 GB
• ECC-RAM nehmen, wichtig für ZFS
• CPU-Kühler austauschen anstatt das Gehäuse zu verhunzen
• Evtl. die GT 710 einfach weglassen und in dem nun freien PCIe 2.0 x4 Slot eine weitere NVMe-SSD betreiben

Ich denke so wie der „TR-Server“ nun konfiguriert ist wird das längere Zeit unverändert laufen.

Fotos vom aktuellen Stand

Der Beitrag <h5>TR-Server #7: </h5><h3><b>Fazit</b></h3> erschien zuerst auf flohs blog.

Als Gehäuse wollte ich von Anfang an eines in 4 HE, um genug Platz zu haben. Nachdem ich mich für ein 4U-4129-L von Inter-Tech* entschieden hatte und es angekommen war, stellte ich fest das der CPU-Kühler dort knapp nicht hereinpassen würde. Ärgerlich.

Für mich eher ungewöhnlich habe ich an dieser Stelle die brutalste Methode gewählt: Den Kühler aus dem Deckel ausschneiden. Das ist nur deshalb für mich akzeptabel weil direkt über dem Server ein Einlegeboden sein wird und der leichte Überstand daher kein Problem darstellt.

Ansonsten habe ich keinen der mitgelieferten Lüfter mit 4-Pin Molexsteckern genutzt und stattdessen Pure Wings 2 von BeQuiet* verwendet – Zwei 120 mm in der Front, drei 120 mm mittig und zwei 80 mm hinten.

Der Beitrag <h5>TR-Server #6: </h5><h3><b>Die Heimat der Hardware</b></h3> erschien zuerst auf flohs blog.

Alle Slots des Mainboards sind belegt, folgende Grafikkarten sind verbaut:

⧉ Zotac

⧉ Palit

⧉ Palit

Zusätzliches

• Eine x4x4 Bifurcation-NVMe-Karte für zwei zusätzliche SSDs
• Eine Intel X540-T2 Netzwerkkarte* mit zweimal 10 Gbit über Kupfer (RJ45, Dell)

⧉ Dell

Anordnung

Die Karten sind folgendermaßen eingebaut:

⧉ Gigabyte

Der Beitrag <h5>TR-Server #5: </h5><h3><b>Erweiterungskarten</b></h3> erschien zuerst auf flohs blog.

Dank der vielen verfügbaren 3.0 Lanes können überdurchschnittlich viele NVMe-SSDs mit voller Bandbreite eingesetzt werden. Durch die hohen Preise am oberen Kapazitätsende war ich bei zwei SSDs experimentierfreudig und habe mich bei einem sehr guten Angebot von Mindfactory zum Kaufzeitpunkt hinreißen lassen, etwas zu kaufen, das (mir) recht unbekannt war:

Zwei MS200 von Mega Electronics (MS200200TTM), einem wie Samsung südkoreanischen Hersteller, der Micron oder Intel NAND einsetzt. Diese PCIe 3.0 NVMe-SSDs mit 2 TB Kapazität wurden eine Zeit lang immer wieder zu Schleuderpreisen angeboten und die Datenblätter lesen sich gut, schneller DDR4 DRAM-Cache, Hohe TBW, Gute Schreib- und Leseleistung – Alles wie gewünscht.

Ich habe schon so manchen Kommentar mit „Mega Fastro Kaputto“ gelesen, die 1 TB Version soll wohl anfällig gewesen sein – Bei meinem Modell kann ich bisher nichts auffälliges feststellen.

Wichtig zu erwähnen ist das die MS200 doppelseitig bestückt ist und daher nicht in jeden M.2-Slot passt. Bei Mobilgeräten oder Erweiterungskarten muss man aufpassen, auch bei der Kompatibilität von Passivkühlkörpern spielt das eine Rolle. Auf die von mir eingesetzte Erweiterungskarte passen z.B. nur einseitig bestückte M.2 SSDs.

NVMe-SSDs

• Zwei MS200 mit je 2 TB von Mega Electronics, auf dem Mainboard unter den Passivkühlkörpern des Boards
• Zwei Samsung 970 Evo Plus mit je 2 TB*, auf einer x8 Erweiterungskarte (x4x4 Bifurcation*) samt JEYI Passivkühlkörpern
• Eine Samsung 970 Evo Plus mit 500 GB*, auch auf dem Mainboard

⧉ MEGA Electronics

⧉ Samsung

⧉ JEYI

SATA-SSDs

• Drei Samsung SM863a Enterprise SSDs mit je 480 GB Kapazität
• Eine Samsung 840 mit 250 GB für ein parallel installiertes Windows 11 Professional

⧉ Samsung

⧉ Samsung

HDDs

• Zwei WD Red mit je 4 TB*, 3.5″, SATA – RAID1
• Zwei Toshiba mit je 2 TB*, 3.5″, SATA – RAID1
• Eine Seagate Barracuda mit 500 GB, 2.5″, USB 3.0 Intern – Daten-HDD für Windows 11
• Eine Toshiba mit 1 TB, 2.5″, USB 3.0 Intern – Images und SMB

⧉ WD

⧉ Toshiba

⧉ Sabrent

Der Beitrag <h5>TR-Server #4: </h5><h3><b>Datenträger – Ola NVMe!</b></h3> erschien zuerst auf flohs blog.

Nachdem die Basis klar ist, muss RAM beschafft werden. ECC wäre möglich, das ist gebraucht aber deutlich teurer und seltener zu finden als normaler, ungepufferter RAM. Also kommt „normaler“ Arbeitsspeicher zum Einsatz.

Der maximale Ausbau bei vier Speicherkanälen und acht Slots wären acht DDR4-Riegel mit je 32 GB Kapazität. Das ergäbe dann satte 256 GB. Wünschenswert aber zum Zeitpunkt meiner Suche finanziell nicht sinnvoll.

Corsair Vengeance LPX

Weil die Preis- / Leistung auch eine Rolle spielt wurden es DDR4-Riegel mit je 16 GB*, alle acht zusammen dann 128 GB. Die vier Speicherkanäle werden also voll ausgelastet und der Speichercontroller nicht über Gebühr beansprucht.

⧉ Corsair

⧉ Corsair

⧉ Corsair

Stromversorgung

Von einem Miner aus Bayern konnte ich in der Vergangenheit günstig zwei HX1200* erwerben, das bisher ungenutzte zweite wird nun in diesem Server zum Einsatz kommen (Das andere HX1200 steckt in „Tamy-PC“ ). Volles Zubehör, sehr guter Zustand.

⧉ Corsair

⧉ Corsair

⧉ Corsair

⧉ Corsair

⧉ Corsair

⧉ Corsair

Der Beitrag <h5>TR-Server #3: </h5><h3><b>RAM und das Netzteil</b></h3> erschien zuerst auf flohs blog.

Aus persönlicher Neigung und etwas Zufall ist es dann ein AMD Threadripper der ersten Generation geworden, samt Mainboard und Kühler. Den Anschaffungspreis beschreibe ich einfach mit „unignorierbar niedrig“, gekauft wurde gebraucht via Kleinanzeigen.

Ein Threadripper war nicht meine erste Wahl, aber oben mit dabei. Der Stromverbrauch besonders im Leerlauf soll ziemlich hoch sein, das dürfte der Multi-Die-Bauweise dieser CPUs geschuldet sein. Auf der positiven Seite gibt es reichlich PCI-Express 3.0 Lanes. Das Bundle bestand aus den nun folgenden Komponenten:

Prozessor

⧉ AMD

⧉ TPU

⧉ TPU

CPU-Kühler

Mit dem Augenmerk auf Optik beinhaltete das Bundle einen leistungsstarken Wraith Ripper Prozessorkühler von CoolerMaster. Passend nur für den Sockel TR4, speziell zum Release der zweiten Generation Threadripper auf den Markt gekommen. Ich hätte etwas flacheres (und ohne RGB) von Noctua, BeQuiet oder Thermalright gekauft, aber es hat sich eben so ergeben.

⧉ CoolerMaster

⧉ CoolerMaster

⧉ CoolerMaster

Mainboard

Mit diesem bin ich etwas unzufrieden – Es ist ein RGB-im-Überfluss-Tannenbaum geworden, ein AORUS Gaming 7 von Gigabyte. Für den Einsatz in einem Rackgehäuse eigentlich nicht das Richtige. Aus technischer Sicht wird es gut funktionieren, das RGB schalte ich vollständig ab.

Die VRMs sind aber schon recht schwach ausgelegt, da ist der 1950X (oder das Nachfolgeräquivalent 2950X) das höchste der Gefühle. Mit neuer UEFI-Version laufen ja theoretisch auch Threadripper der zweiten Generation, die zum Teil eine wesentlich höhere TDP aufweisen (32 Kerne und 64 Threads mit dem 2990WX -> 250 Watt TDP). Übertakten ist mit diesem Board eher nicht zu empfehlen, mit keiner Threadrippervariante für TR4. Zu schwach ist die Stromversorgung und deren Kühlung.

Wenn ich die Wahl gehabt hätte wäre ich wie meistens in Richtung MSI oder ASUS gegangen. Das Gigabyteboard ist trotzdem gut nutzbar für den angedachten Einsatzzweck.

⧉ Gigabyte

⧉ Gigabyte

⧉ Gigabyte

Weiter gehts mit den weiteren Komponenten, allen voran RAM.

Der Beitrag <h5>TR-Server #2: </h5><h3><b>Die Basis</b></h3> erschien zuerst auf flohs blog.

Nachdem zwei stromsparende Server die Basisdienste abarbeiten, wollte ich eine Möglichkeit zur leistungsstarken Virtualisierung von Desktopbetriebssystemen, insbesondere Windows. Die Vorstellung mehrerer Windows-VMs mit funktionierender vGPU von Nvidia um Gästen auch ohne kompatibles Windows passende Plätze anbieten zu können war schon sehr verlockend.

Um mit Blick auf die Kosten das Maximale herausholen zu können macht ein System mit möglichst vielen PCI-Express Lanes zum kleinen Preis am meisten Sinn. Warum das so ist erscheint offensichtlich, alles benötigte läuft über PCI-Express:

• NVMe-SSDs
• Erweiterungskarten für SATA / HBA
• 10 Gbps Netzwerkkarte(n)
• Grafikkarte(n)

Da kommt dann eigentlich nur Intel Xeon ab Workstationlevel, AMD Threadripper oder AMD Epyc in Frage.

Workstation?

Ich wollte eine gebrauchte OEM-Workstation vermeiden und den Selbstbauweg gehen, aus verschiedenen Gründen. Zum einen sind diese OEM-Mainboards immer nur „so viel wie nötig“ und zum anderen sind viele der dort verbauten Komponenten mittlerweile nicht mehr Standardkonform und daher schwer zu warten / auszutauschen / umzurüsten. Übertakten würde auch nicht gehen, das wäre in diesem Fall aber sowieso nicht notwendig.

Weiter geht es mit der Basis.

Der Beitrag <h5>TR-Server #1: </h5><h3><b>Ein High Performance Server für Proxmox muss her</b></h3> erschien zuerst auf flohs blog.

Für mich war VMware ESXi vor einigen Jahren der Einstieg in die Welt der Virtualisierungsserver. Das ist naheliegend, zuvor und bis heute war bzw. bin ich reger Nutzer von VMware Workstation unter Windows.

Nachdem ich später von Proxmox las hat mich das sofort interessiert:
Die nicht wirklich vorhandenen Einschränkungen bei kostenloser Nutzung und das Geschäftsmodell der Entwickler sind einfach besser als bei VMware ESXi. Zumal diese mittlerweile von Broadcom übernommen wurden und sich die Umstände nochmals verschlechtert haben. Open Source ist am Ende einfach immer das Beste.

Um unabhängig von der umhergreifenden Cloud-Manie zu sein, habe ich irgendwann aus ausgesonderten Komponenten und zwei gleichen Festplatten samt Boot-SSD ein „experimentellen“ Proxmox-Server auf meinem Benchtable zusammengebaut. Alles lief auf Anhieb problemlos und das mit wenig spezifischem Vorwissen meinerseits.

Nach etwas „herumspielen“ war klar das ich einen 24/7 Proxmoxserver bauen und betreiben wollte.

In welche Richtung soll es gehen?

Mit die beste Hardware für den Betrieb im Privatumfeld sind Mini-PCs, wie es sie in vielen Formen und Ausführungen gibt. Empfehlenswert sind da die aufbereiteten Exemplare von Lenovo, Dell, HP und ähnlichen großen OEMs. Der Softwaresupport ist einfach besser im Vergleich zu No-Name Fernost-Varianten und die Verarbeitungsqualität durchweg gut. Davon abgesehen laufen viele dieser in kommerziellem Umfeld jahrelang was zu einer sehr guten Ersatzteilversorgung führt.

Warum genau solche Geräte?

• Niedriger Stromverbrauch
• Recht leise
• Wenig Platzbedarf
• Verhältnismäßig leistungsstark
• Oft gesockelte CPUs und gesteckter RAM

⧉ Lenovo

⧉ NBB

⧉ HP

Einen oder mehrere Mini-PCs.

In meinem Fall nicht: Ich kam über Umwege an Hardware die ich ebenfalls für geeignet hielt. Zuerst kam mir ein Dell Latitude E5270 Subnotebook von 2016 mit 12,5″ Display in die Hände. Ein gut verarbeitetes Gerät, es hatte nur einen großen Makel: In Zeiten der COVID-Pandemie wurde es zusammen mit einer Flasche Desinfektionsmittel in einem Rucksack gelagert. Diese Flasche lief über Zeit aus und der Inhalt gelangte in das Notebook und besonders in das Touchdisplay. Der Kleber im gesamten Gerät löste sich – Das Backlight im Display nahm unwiederbringlich Schaden. Alles voller Flecken und an den Rändern trat überall Klebstoff aus.

Als Recyclingmaßnahme wurde dieses Notebook mit entferntem Display, ausgebauten Antennen und ohne WLAN-Karte zu unserem ersten Proxmox-Server: Die Hardware war nicht sehr stark aber gut genug um einen sinnvollen Dauerbetrieb zu ermöglichen. Zwei stromsparende Kerne mit Hyperthreading, zwei Slots für RAM und je einen SATA und NVMe Platz klingt nutzbar.

Nur wenige Monate später kam der nächste Patient zu mir, dieser hatte nach gerade einmal knapp zwei Jahren das „Billignotebook-Scharnier-Herausbrechen“-Syndrom. Ein HP 17-by2132ng von 2019. Gute Spezifikationen auf dem Datenblatt, wirklich schlechtes Design. Sowohl die Verarbeitung als auch die Auslegung von allem ist nicht das Wahre. Das häuft sich in den letzten Jahren leider zunehmend.

Auch hier habe ich das Gerät geköpft, WLAN samt Bluetooth entfernt und Proxmox installiert. Hier lohnte sich auch viel RAM*, den habe ich dazugekauft.

Beide Grundgeräte waren für mich somit kostenlos und daher bisher sinnvoller als Mini-PCs anzuschaffen. Zumal die CPUs in diesen Notebooks nur je 15 Watt TDP aufweisen, sehr sparsam.

⧉ Laptop Markt

⧉ NBB

Einsatzzwecke

In diesem Stadium hatte ich den Dell U-Zweikerner, der recht schwach auf der Brust ist aber trotzdem erstaunlich viel bewältigt und den HP, der ein Niedrigenergie-Vierkerner ist. Auf diesem laufen die anspruchsvolleren Dinge.

Um ganze Windowsumgebungen zu virtualisieren waren beide „ehemaligen“ Notebooks zu schwach. Ich habe mich dann für eine Aufteilung der Aufgaben entschieden:

• Das Dell Notebook wird ein „Ultra Low Power Server“, sowohl Rechenleistung als auch Stromaufnahme sind niedrig. Die darauf laufenden Dienste sind hauptsächlich zum 24/7 Monitoring da.
• Das HP wird der „Low Power Server“ um alle von mir gewünschten Dienste bereitzustellen. Alles was linuxbasierend ist wird hier 24/7 laufen.
• Ein dicker Server mit möglichst vielen PCI-Express-Lanes – Um Windowsvirtualisierung mit guter Leistung zu realisieren, auch mit PCIe-Passthrough und vGPU. Dieser wird nur bei Bedarf laufen, die Stromaufnahme ist wesentlich höher als bei den anderen zwei.

Diesen High Performance Server habe ich daraufhin gebaut, wie und warum ist in den nächsten Beiträgen dokumentiert.

Der Beitrag Virtualisierungshardware für Proxmox erschien zuerst auf flohs blog.