Supermicro

Úvod

Tato stránka pojednává o základních deskách Supermicro na platformě Intel Atom použitých primárně jako router se vzdáleným dohledem přes integrované IPMI.

Návod se konkrétně týká desky Supermicro A2SDi-4C-HLN4F a jejího vybavení:

• CPU: Intel Atom Processor C3558, Single Socket FCBGA1310 supported, CPU TDP support 16W
• Network Controller: Quad LAN with Intel® C3000 SoC 1GbE

Zbytek je podle konkrétního použití, typicky 2x SSD disk pro RAID1, 2x DIMM DDR4 modul a ATX zdroj

Hlavní výhody:

• velmi škálovatelný výkon - 2-16core Intel Atom CPU SoC na mini-ITX form factor desce
• mini server pro virtualizaci - možnost osadit až 256GB RAM
• full PC (klasické disky, VGA výstup, USB pro klavesnici, apod.) routr s nízkou spotřebou do 20W typicky
• IPMI rozhraní pro vzdálenou správu, včetně přístupu na kozoli serveru (jako byste u PC fyzicky seděli), je možná např. vzdálená instalace operačního systému, či vzdálený reset PC bez fyzického zásahu
• napájení ATX zdrojem nebo 12V zdrojem přes 12V 4-pin - routr nevyžaduje mít 230V na AP, stačí alespoň 24W 12V zdroj
• 4 gigabitové ethernety - možnost redundantního zapojení proti více switchům/spojům nebo použití LACP (Linux bonding)
• možnost připojení SATA i SAS disků
• možnost použití nonECC i ECC DIMM modulů
• serial rozhraní na desce (bracket nutno dokoupit)

Nevýhody:

• Jde o relativně nový HW (r. 2018)
• nedostupnost ovladačů v některých starších kernelech, např. pro NIC v deb9
• přítomnost IPMI zbůsobuje, že stroj při prvotním spuštění (po zapnutí) velmi dlouho nabíhá (klidně o 5 minut do bootu OS)
• obsahu čínský "Špehovací" chip :)

Základní schéma a popis základní desky

Scan letáku, který je přibalen k desce.

Schéma základní desky Supermicro

IPMI

Default login do IPMI je ADMIN/ADMIN

Úplně všechny funkce nejsou dostupné a musí k nim být zakoupena licence (OOB per node license), např. vzdálený update BIOSu.

Legacy mode

Pokud chceme na základní desce provozovat legacy mode (tedy ne UEFI) musí se mimo samotného nastavení legacy bootu ještě zapnout podpora legacy modu, takzvaný Compatibility Support Module (CSM), který se v biosu nachází pod položkou Security/Secure boot/CSM Support > Enabled

Při nastavení bootu je pak nutné velmi pečlivě nastavit mode a pořadí bootvacích zařízení, nejednou se nám stalo, že deska ignoruje takzvané boot menu při startu vyvolané klávesou F11 a bootuje si stejně podle pořadí nastaveného v biosu.

update BIOS

Aktuání verzi BIOSu nalezneme v BOISu, záložce Main pod položkou "BIOS version" (případně lze zjistit v IPMI v záložce System/Hardware information), podle datumu buildu poznáme zda je k dispozici novější verze, momentálně aktuální (únor 2019) je revize C17 ze 17.12.2018, název souboru je "A2SDICH8.C17", což odpovídá BIOS verzi 1.1b.

Pozor! update BIOSu = reset BIOSu do defaultu.

Postup:

1. Stáhneme si aktuální verzi z webu v pravém sloupci (Update Your BIOS).
2. Uložíme obsah rozbaleného archivu na usb flashku (FAT/FAT32), nemusí být bootovatelná.
3. Teď je nutné nabootovat v režimu UEFI a v boot menu (vyvolaném F11) vybrat možnost "Build-In UEFI Shell".
4. Spustí se Shell>, nyní se přepneme na fs0: (flash disk) a pak zadáme flash.nsh soubor_s_BIOSem.xx (např. A2SDICH8.C17) ... pozor usb flashka se může připojit například jako fs0: , fs1: , fs2: , atd ... (ověřte si přes příkaz dir, že jste ve správném zařízení).
5. Po dokončení update je třeba desku úplně vypnout úplným odpojením od napájení a nechat chvilku odpočnout (aspoň pár desítek sekund pro jistotu), pak zapojit a nechat najet nový bios, než se update kompletně dokončí může se deska i několikrát sama restartovat! to je normální chování.
6. Nakonec si BIOS znovu nastavíme podle našich potřeb.

BIOS recovery

Pokud se z jakéhokoli důvodu stane, že nenaběhne BIOS (po neúspěšném update apod.)

update IPMI

1. Z webu desky si stáhneme nový IPMI firmware https://www.supermicro.com/products/motherboard/atom/A2SDi-4C-HLN4F.cfm
2. Přihlásíme se do webového prostředí IPMI, update je v záložce Maintenence/Firmware update
3. Klikneme na Enter Update Mode a potvrdíme, že opravdu chceme přejít do modu updatu FW (nebude možno IPMI používat)
4. vybereme soubor s image a dáme upload
5. v dalším kroku necháme zaškrtnuty všechny checkboxy, dáme "start upgrade" a počkáme než se update dokončí

Monitorování/ovládání IPMI z OS

Linux obsahuje balíček pro práci s IPMI i z nabootovaného systému, balíček se jmenuje ipmitool a je dostupný z běžných repozitářů. IPMItool obsahuje velkou spoustu věcí a cílem tohoto návodu není popisovat všechny funkcionality, více zde https://linux.die.net/man/1/ipmitool

ipmitool umí např. monitorovat teplotní/napěťové senzory na základní desce a to všechny, tedy všechny, které umí monitorovat vestavěné IPMI, tento postup je mnohem spolehlivější než použité např. lmsensors:

root@hrubinova1:~# ipmitool sensor
CPU Temp         | 44.000     | degrees C  | ok    | 0.000     | 0.000     | 0.000     | 86.000    | 91.000    | 91.000
System Temp      | 49.000     | degrees C  | ok    | -10.000   | -5.000    | 0.000     | 80.000    | 85.000    | 90.000
Peripheral Temp  | 32.000     | degrees C  | ok    | -10.000   | -5.000    | 0.000     | 80.000    | 85.000    | 90.000
DIMMA1 Temp      | na         |            | na    | na        | na        | na        | na        | na        | na
DIMMA2 Temp      | na         |            | na    | na        | na        | na        | na        | na        | na
DIMMB1 Temp      | na         |            | na    | na        | na        | na        | na        | na        | na
DIMMB2 Temp      | na         |            | na    | na        | na        | na        | na        | na        | na
FAN1             | na         |            | na    | na        | na        | na        | na        | na        | na
FAN2             | na         |            | na    | na        | na        | na        | na        | na        | na
FAN3             | na         |            | na    | na        | na        | na        | na        | na        | na
FANA             | na         |            | na    | na        | na        | na        | na        | na        | na
12V              | 12.384     | Volts      | ok    | 10.144    | 10.272    | 10.784    | 12.960    | 13.280    | 13.408
5VCC             | 5.000      | Volts      | ok    | 4.246     | 4.298     | 4.480     | 5.390     | 5.546     | 5.598
3.3VCC           | 3.384      | Volts      | ok    | 2.789     | 2.823     | 2.959     | 3.554     | 3.656     | 3.690
VBAT             | 3.175      | Volts      | ok    | 2.392     | 2.479     | 2.595     | 3.494     | 3.581     | 3.697
Vcpu             | 0.720      | Volts      | ok    | 0.441     | 0.450     | 0.495     | 1.296     | 1.422     | 1.440
VDIMM            | 1.218      | Volts      | ok    | 0.948     | 0.975     | 1.047     | 1.344     | 1.425     | 1.443
PVCCSRAM         | 0.997      | Volts      | ok    | 0.655     | 0.664     | 0.745     | 1.195     | 1.294     | 1.303
P1V05_A          | 1.050      | Volts      | ok    | 0.870     | 0.897     | 0.942     | 1.194     | 1.221     | 1.248
5VSB             | 4.974      | Volts      | ok    | 3.960     | 4.038     | 4.350     | 5.624     | 5.936     | 6.040
3.3VSB           | 3.300      | Volts      | ok    | 2.603     | 2.671     | 2.875     | 3.708     | 3.912     | 3.980
PVNN             | 0.811      | Volts      | ok    | 0.568     | 0.568     | 0.640     | 1.225     | 1.351     | 1.360
PVPP             | 2.678      | Volts      | ok    | 2.174     | 2.228     | 2.390     | 3.092     | 3.254     | 3.308
P1V538_A         | 1.545      | Volts      | ok    | 1.320     | 1.347     | 1.401     | 1.644     | 1.671     | 1.698
1.2V BMC         | 1.200      | Volts      | ok    | 1.020     | 1.047     | 1.092     | 1.344     | 1.371     | 1.398
PVCC_REF         | 1.268      | Volts      | ok    | 1.043     | 1.097     | 1.142     | 1.394     | 1.421     | 1.448
Chassis Intru    | 0x0        | discrete   | 0x0000| na        | na        | na        | na        | na        | na

Ovladače

Deska využívá určitý HW, pro který nejsou dostupné free ovladače, ale naštěstí nemusíme nikde stahovat a kompilovat zdrojáky ovladačů, stačí nainstalovat balíček firmware-misc-nonfree, kde jsou všechny potřebné ovladače už připravené. Tento krok není nijak nutný a deska funguje jak má i bez nich (pokud by někomu vadil non-free SW).

po stažení balíku firmwarů je nejdříve potřeba přidat non-free repozitář do apt, to provedeme tak, že do /etc/apt/sources.list přidáme ke zdroji balíčků ještě kategorii non-free:

deb http://ftp.cz.debian.org/debian/ buster main non-free
deb-src http://ftp.cz.debian.org/debian/ buster main non-free

A poté balíček nainstalujeme:

apt update && apt install firmware-misc-nonfree

a dáme reboot, aby se FW mohl při startu zavést