Supermicro

Úvod

Tato stránka pojednává o základních deskách Supermicro na platformě Intel Atom použitých primárně jako router se vzdáleným dohledem přes integrované IPMI.

Návod se konkrétně týká desky Supermicro A2SDi-4C-HLN4F a jejího vybavení:

• CPU: Intel Atom Processor C3558, Single Socket FCBGA1310 supported, CPU TDP support 16W
• Network Controller: Quad LAN with Intel® C3000 SoC 1GbE

Zbytek je podle konkrétního použití, typicky 2x SSD disk pro RAID1, 2x DIMM DDR4 modul a ATX zdroj

Hlavní výhody:

• velmi škálovatelný výkon - 2-16core Intel Atom CPU SoC na mini-ITX form factor desce
• mini server pro virtualizaci - možnost osadit až 256GB RAM
• full PC (klasické disky, VGA výstup, USB pro klavesnici, apod.) routr s nízkou spotřebou do 20W typicky
• IPMI rozhraní pro vzdálenou správu, včetně přístupu na kozoli serveru (jako byste u PC fyzicky seděli), je možná např. vzdálená instalace operačního systému, či vzdálený reset PC bez fyzického zásahu
• napájení ATX zdrojem nebo 12V zdrojem přes 12V 4-pin - routr nevyžaduje mít 230V na AP, stačí alespoň 24W 12V zdroj
• 4 gigabitové ethernety - možnost redundantního zapojení proti více switchům/spojům nebo použití LACP (Linux bonding)
• možnost připojení SATA i SAS disků
• možnost použití nonECC i ECC DIMM modulů
• serial rozhraní na desce (bracket nutno dokoupit)

Nevýhody:

• Jde o relativně nový HW (r. 2018)
• nedostupnost ovladačů v některých starších kernelech, např. pro NIC v deb9
• přítomnost IPMI zbůsobuje, že stroj při prvotním spuštění (po zapnutí) velmi dlouho nabíhá (klidně o 5 minut do bootu OS)
• obsahu čínský "Špehovací" chip :)

Základní schéma a popis základní desky

Scan letáku, který je přibalen k desce.

Schéma základní desky Supermicro

M.2 NVME disky

deska od čtyřjádrového CPU disponuje M.2 slotem, další M.2 disk se dá přidat přes redukci do PCI-E slotu. Pozor! M.2 disky nejsou vůbec vidět v BIOSu! bootovat z nich jde pouze při použití UEFI a až po nainstalování OS v režimu UEFI kde se pro BIOS vytvoří EFI boot záznam na daný disk.

K NVME diskům a EFI obecně je ještě spousta věcí TODO...

IPMI

Default login do IPMI je ADMIN, heslo je napsané na desce (každá deska má svoje unikátní) na nálepce na IPMI portu nebo na slotu pro RAMky jde o položku "PWD:"

Úplně všechny funkce nejsou dostupné a musí k nim být zakoupena licence (OOB per node license), např. vzdálený update BIOSu.

default IP

By default IPMI bere IP z DHCP a nemá žádný fallback pokud ho nedostane, zmenit IP jde buď přes BIOS nebo ho nechat přiřadit DHCP serverem.

licence hack

Podle tohoto návodu https://peterkleissner.com/2018/05/27/reverse-engineering-supermicro-ipmi/ jde jednoduše zjistit aktivační klíč pro odemknutí všech funkcionalit IPMI

na tomto webu https://cryptii.com/pipes/QiZmdA zadat do levého horního boxu MAC adresu IPMI (da se zjistit buď na desce nebo v IPMI > configuration/network/MAC address)

nebo v bash zadat tento příkaz:

echo -n '3cecef07a4a6' | xxd -r -p | openssl dgst -sha1 -mac HMAC -macopt hexkey:8544E3B47ECA58F9583043F8 | awk '{print $2}' | cut -c 1-24 | sed 's/./&-/4;s/./&-/9;s/./&-/14;s/./&-/19;s/./&-/24;'

kde "3cecef07a4a6" je MAC dané desky

výsledné hexa číslo pak stačí zadat v IPMI do Miscellaneous/Activate License číslo vypadá např. takto: "0214-0754-cc59-7df1-83b4-c621"

Legacy mode

Pokud chceme na základní desce provozovat legacy mode (tedy ne UEFI) musí se mimo samotného nastavení legacy bootu ještě zapnout podpora legacy modu, takzvaný Compatibility Support Module (CSM), který se v biosu nachází pod položkou Security/Secure boot/CSM Support > Enabled

pozn 12.02.2021 - v novějších verzích BIOSu už toto asi není nutné, lagacy mode je přítomný i s SCM = disable

Při nastavení bootu je pak nutné velmi pečlivě nastavit mode a pořadí bootvacích zařízení, nejednou se nám stalo, že deska ignoruje takzvané boot menu při startu vyvolané klávesou F11 a bootuje si stejně podle pořadí nastaveného v biosu.

update BIOS

Aktuání verzi BIOSu nalezneme v BOISu, záložce Main pod položkou "BIOS version" (případně lze zjistit v IPMI v záložce System/Hardware information), podle datumu buildu poznáme zda je k dispozici novější verze, momentálně aktuální (únor 2019) je revize C17 ze 17.12.2018, název souboru je "A2SDICH8.C17", což odpovídá BIOS verzi 1.1b.

Pozor! update BIOSu = reset BIOSu do defaultu.

pokud máme plnou licenci pro IPMI můžeme udělat update BIOSu přes něj podobně jako se dělá update IPMI:

1. Stáhneme si aktuální verzi z webu v pravém sloupci (Update Your BIOS).
2. rozbalíme archiv a někam si uložíme binárku souboru, jměnovat se může všelijak (podle verze), ale určitě jde o ten největší soubor z archivu.
3. v IPMI jdeme do menu maintenence/BIOS update
4. vybereme soubor s image a dáme upload
5. v dalším kroku necháme zaškrtnuté položky tak jak jsou by default a dáme upgrade
6. poté co se deska sama rebootne měl by naběhnout nový BIOS
7. poroz, BIOS se muze resetnout do default! po upgrade zkontrolovat nastavení
8. deska se může rebootovat i několikrát za sebou, nepanikařit, hlavně to nevypínat apod., je to normální chování

Manuální postup bez IPMI:

1. Stáhneme si aktuální verzi z webu v pravém sloupci (Update Your BIOS).
2. Uložíme obsah rozbaleného archivu na usb flashku (FAT/FAT32), nemusí být bootovatelná.
3. Teď je nutné nabootovat v režimu UEFI a v boot menu (vyvolaném F11) vybrat možnost "Build-In UEFI Shell". Pokud shell nechce naběhnout (při výběru Build-In UEFI Shell se deska restartuje) je nutné přepnout desku z UEFI boot do DUAL boot
4. Spustí se Shell>, nyní se přepneme na fs0: (při prvotním spuštění by shell měl vypsat jaká bloková zařízení jsou k dispozici) a pak zadáme flash.nsh soubor_s_BIOSem.xx (např. A2SDICH8.C17) ... pozor usb flashka se může připojit například jako fs0: , fs1: , fs2: , atd ... (ověřte si přes příkaz dir, že jste ve správném zařízení).
5. Po dokončení update je třeba desku úplně vypnout úplným odpojením od napájení a nechat chvilku odpočnout (aspoň pár desítek sekund pro jistotu), pak zapojit a nechat najet nový bios, než se update kompletně dokončí může se deska i několikrát sama restartovat! to je normální chování.
6. Nakonec si BIOS znovu nastavíme podle našich potřeb.

BIOS recovery

Pokud se z jakéhokoli důvodu stane, že nenaběhne BIOS (po neúspěšném update apod.) deska má postup pro BIOS recovery, postup je takovýto (návod počítá se zapojeným speakerem):

1. Na desce najdeme piny pro BIOS recovery, je označen jako JBR1 a je těsně vedle IPMI ethernet portu, zkratovaný pin 1 a 2 je normální stav, zkratovaný port 2 a 3 je recovery stav viz schéma desky http://wiki.hkfree.org/images/4/4b/Supermicro-schéma_zakladní_deska.PNG
2. připravíme si image BIOSu stažený z webu výrobce, jde o soubor s názvem A2SDICH8.C17 nebo podobným a velikostí cca 16MB, který nahrajeme na flash disk (musí být FAT32) do kořenu souborového systému! a soubor přejmenujeme na "super.rom" bez uvozovek, BIOS image musí být shodný jako BIOS, který je momentálně na desce nainstalovaný, neměl by být ani starší ani novější a tímto způsobem se rozhodně nemá dělat upgrade BIOSU!
3. desku vypneme, přepneme recovery pin do polohy 2-3
4. zasuneme flash s připraveným image BIOSu do portu USB0 (viz manual k desce)
5. desku zapneme, jako první bude nabíhat IPMI, pak by deska měla 2x krátce pípnout, což značí přechod do recovery modu
6. pokud si deska nahraje image BIOSu z flashky naběhne do BIOS recovery menu, pokud se něco nepovede deska by měla 5x pípnout
7. v menu vybereme flash BIOSu a počkáme až proces doběhne
8. desku odpojíme od napájení, vytáhneme flashku a vrátíme pin JBR1 do pozice 1-2
9. desku zapneme, vlezeme do BIOSu a nastavíme ho podle potřeby

update IPMI

1. Z webu desky si stáhneme nový IPMI firmware https://www.supermicro.com/products/motherboard/atom/A2SDi-4C-HLN4F.cfm
2. Přihlásíme se do webového prostředí IPMI, update je v záložce Maintenence/Firmware update
3. Klikneme na Enter Update Mode a potvrdíme, že opravdu chceme přejít do modu updatu FW (nebude možno IPMI používat)
4. vybereme soubor s image a dáme upload
5. v dalším kroku necháme zaškrtnuty všechny checkboxy, dáme "start upgrade" a počkáme než se update dokončí

Virtuální médium

Pokud chceme např. instalovat systém z iso image cd nemusíme mít cdrom, ani image na flash, ale můžeme si image jednoduše připojit pomocí konzole IPMI.

Přímé připojení image podporuje jen iKVM javovský klient konzole, html5 konzole to (zatím) neumí

iKVM si pustíme kliknutím na plochu remote console preview v záložce system, stáhne se v javě spustitelný soubor, který po klasických javovaských 10 uporoznění, že chcete soubor opravdu spustit ukáže konzoli základní desky (VGA výstup) a zároveň ovládací lištu, kde je mimo jiné i možnost připojení virtuálního média.

Pro připojení image cd vybereme v iKVM konzoli virtual media/virtual storage, kde vybereme jako "Logical Drive Type" "ISO file", pak dáme open image a vyhledáme samotný image soubor na lokálním disku, pro připojení image zadáme "Plug In" status by měl vypsat "VM Plug-In OK" a políčka kromě plug out a ok by měla vyšednout, tím máme virtuální médium připojení a můžeme pokračovat ve standardní instalaci systému jako by bylo z CD/flash.

Musíme myslet na to, že virtual media přidá image jako USB cdrom, musí být tedy podle toho nastaven bios a bootování z USB zařízení, je stále třeba myslet na to, že výběr boot zařízení přes F11 při startu zde není příliš spolehlivý, je třeba mít boot zařízení korektně nastavené v biosu.

Virtuální médium se dá odebrat z mechaniky zadáním plug out v iKVM konzoli virtual media/virtual storage.

Monitorování/ovládání IPMI z OS

Linux obsahuje balíček pro práci s IPMI i z nabootovaného systému, balíček se jmenuje ipmitool a je dostupný z běžných repozitářů. IPMItool obsahuje velkou spoustu věcí a cílem tohoto návodu není popisovat všechny funkcionality, více zde https://linux.die.net/man/1/ipmitool

ipmitool umí např. monitorovat teplotní/napěťové senzory na základní desce a to všechny, tedy všechny, které umí monitorovat vestavěné IPMI, tento postup je mnohem spolehlivější než použité např. lmsensors:

root@hrubinova1:~# ipmitool sensor
CPU Temp         | 44.000     | degrees C  | ok    | 0.000     | 0.000     | 0.000     | 86.000    | 91.000    | 91.000
System Temp      | 49.000     | degrees C  | ok    | -10.000   | -5.000    | 0.000     | 80.000    | 85.000    | 90.000
Peripheral Temp  | 32.000     | degrees C  | ok    | -10.000   | -5.000    | 0.000     | 80.000    | 85.000    | 90.000
DIMMA1 Temp      | na         |            | na    | na        | na        | na        | na        | na        | na
DIMMA2 Temp      | na         |            | na    | na        | na        | na        | na        | na        | na
DIMMB1 Temp      | na         |            | na    | na        | na        | na        | na        | na        | na
DIMMB2 Temp      | na         |            | na    | na        | na        | na        | na        | na        | na
FAN1             | na         |            | na    | na        | na        | na        | na        | na        | na
FAN2             | na         |            | na    | na        | na        | na        | na        | na        | na
FAN3             | na         |            | na    | na        | na        | na        | na        | na        | na
FANA             | na         |            | na    | na        | na        | na        | na        | na        | na
12V              | 12.384     | Volts      | ok    | 10.144    | 10.272    | 10.784    | 12.960    | 13.280    | 13.408
5VCC             | 5.000      | Volts      | ok    | 4.246     | 4.298     | 4.480     | 5.390     | 5.546     | 5.598
3.3VCC           | 3.384      | Volts      | ok    | 2.789     | 2.823     | 2.959     | 3.554     | 3.656     | 3.690
VBAT             | 3.175      | Volts      | ok    | 2.392     | 2.479     | 2.595     | 3.494     | 3.581     | 3.697
Vcpu             | 0.720      | Volts      | ok    | 0.441     | 0.450     | 0.495     | 1.296     | 1.422     | 1.440
VDIMM            | 1.218      | Volts      | ok    | 0.948     | 0.975     | 1.047     | 1.344     | 1.425     | 1.443
PVCCSRAM         | 0.997      | Volts      | ok    | 0.655     | 0.664     | 0.745     | 1.195     | 1.294     | 1.303
P1V05_A          | 1.050      | Volts      | ok    | 0.870     | 0.897     | 0.942     | 1.194     | 1.221     | 1.248
5VSB             | 4.974      | Volts      | ok    | 3.960     | 4.038     | 4.350     | 5.624     | 5.936     | 6.040
3.3VSB           | 3.300      | Volts      | ok    | 2.603     | 2.671     | 2.875     | 3.708     | 3.912     | 3.980
PVNN             | 0.811      | Volts      | ok    | 0.568     | 0.568     | 0.640     | 1.225     | 1.351     | 1.360
PVPP             | 2.678      | Volts      | ok    | 2.174     | 2.228     | 2.390     | 3.092     | 3.254     | 3.308
P1V538_A         | 1.545      | Volts      | ok    | 1.320     | 1.347     | 1.401     | 1.644     | 1.671     | 1.698
1.2V BMC         | 1.200      | Volts      | ok    | 1.020     | 1.047     | 1.092     | 1.344     | 1.371     | 1.398
PVCC_REF         | 1.268      | Volts      | ok    | 1.043     | 1.097     | 1.142     | 1.394     | 1.421     | 1.448
Chassis Intru    | 0x0        | discrete   | 0x0000| na        | na        | na        | na        | na        | na

Oproti tomu je přes lmsensors pouze toto:

root@hrubinova1:~# sensors
coretemp-isa-0000
Adapter: ISA adapter
Package id 0:  +44.0°C  (high = +71.0°C, crit = +91.0°C)
Core 2:        +43.0°C  (high = +71.0°C, crit = +91.0°C)
Core 6:        +43.0°C  (high = +71.0°C, crit = +91.0°C)
Core 8:        +44.0°C  (high = +71.0°C, crit = +91.0°C)
Core 12:       +42.0°C  (high = +71.0°C, crit = +91.0°C)

Ovladače

Deska využívá určitý HW, pro který nejsou dostupné free ovladače, ale naštěstí nemusíme nikde stahovat a kompilovat zdrojáky ovladačů, stačí nainstalovat balíček firmware-misc-nonfree, kde jsou všechny potřebné ovladače už připravené. Tento krok není nijak nutný a deska funguje jak má i bez nich (pokud by někomu vadil non-free SW).

po stažení balíku firmwarů je nejdříve potřeba přidat non-free repozitář do apt, to provedeme tak, že do /etc/apt/sources.list přidáme ke zdroji balíčků ještě kategorii non-free:

deb http://ftp.cz.debian.org/debian/ buster main non-free
deb-src http://ftp.cz.debian.org/debian/ buster main non-free

A poté balíček nainstalujeme:

apt update && apt install firmware-misc-nonfree

a dáme reboot, aby se FW mohl při startu zavést