Monitorování serveru
Autor: Lore
Obsah
Motivace
Automatizované monitorování systému a hardwaru je zajisté jedna z vlastností, která by neměla chybět na žádném profesionálně udržovaném serveru. Upozorní nás včas na případné problémy, které by mohli často vést i k hadrwarovému porušení celého serveru. Dále vídíme dlouhodobý stav žátěže, podle něhož můžeme server upgradovat (přídání většího ventilátoru, paměti atd.)
Úkázkové řešení
Na mnohých serverech hkfree běží monitoring jak systému tak i hardwaru. Jedno z efektivních a nenáročních řesení lze najít na: http://pouchov.hkfree.org/info/.
Nástavení modulu linuxového jádra
Abychom mohli přistupovat k údajům o teplotě procesoru, základní desky, otáčkám ventilátorů aj. je nutné při konfiguraci linuxového jádra zapnout podporu pro I2C Hardware monitoring. Pokud je váš hardware muzejní kousek, můžete se přesvědčit, zda-li je monitorování chipsetu podporováno na stránce: lm_sensors.
Dále je nutné přidat do jádra podporu pro jednotlivé chipy. Nejjednodušší je přidat všechny podporované chipy jako moduly. Ušetříme si tím mnohé trápení. Pokud nechcete sami laborovat s nastavením konfigurace jádra, je možné si stáhnout a nainstalovat již odzkoušené verze jádra pro několik základních architektur z ftp hkfree.
Nastavení monitorovací utility
K tomu, abychom zjistili, které moduly jádra náhrat použijeme monitorovaní utilitu lm_sensors. Nainstaluje buč příslušný balík, či sami zkompilujeme a nainstalujeme.
$ ./configure $ make user $ make user_install
Po instalaci máme k dispozici utilitu sensors-detect. Spustíme, dojde k vyzkoušení veškerých modulů pro monitorování. Pro ty, které fungují na našem systému, nám utilita vygeneruje příslušné řádky jednak pro /etc/modprobe.conf a jednak pro startovací skripty, kde se dané moduly nahrávají.
Zdali vše funguje vyzkoušíme pomocí příkazu:
$ sensors
To nám ukáže zhruba následují informace o hardwaru na serveru.
it8712-isa-0290 Adapter: ISA adapter in0: +1.74 V (min = +4.08 V, max = +4.08 V) in1: +0.00 V (min = +4.08 V, max = +4.08 V) in2: +3.26 V (min = +4.08 V, max = +4.08 V) in3: +2.93 V (min = +4.08 V, max = +4.08 V) fan1: 2616 RPM (min = 0 RPM, div = 4) temp1: +57°C (low = -1°C, high = -1°C) sensor = thermistor temp2: +41°C (low = -1°C, high = -1°C) sensor = thermistor vid: +1.20 V
Dále můžeme sledovat teplotu hardisků a zjišťovat jestli se nám obzvlášť pod náporem FTP serveru nepřehřívají. K tomu nám poslouží monitorovaní nástroj hddtemp.
Nastavení grafického zobrazení
Nyní nás čeká nastavení softwaru, který nám bude graficky zobrazovat statistiky jednak o hardwaru, ale i softwaru (zátež linky, ping, počet přenesených dat jednotlivých uživatelů atd.)
Pro samotný sběr monitorovacích údajů použijeme asi nejrozšířenější utilitu: rrdtool. Opět si buč nainstalujeme již hotové baličký nebo stáhneme z rrdtool.
V současné době je již k dispozici řada 1.2.x. Nicměné se nám může stát, že program, který bude zpracovávat takto sebraná data, nebude rozumět novému vnitřnímu formátu, který tato sada používá. Proto zůstaneme u bezproblémové řady 1.0.x.
Jelikož se v následujícím odstavci dočteme, že pro zobrazení takto sebraných výsledků použijeme program napsaný v Perlu, musíme také nainstalovat perlovou nainstalujeme již hotové baličký nebo stáhneme z rrdtool knihovnu. To nám zajistí příkaz:
$ make site-perl-install
Po instalaci se nainstalujeme již hotové baličký nebo stáhneme z rrdtool nacházejí v adresáři: /usr/local/rrdtool-1.0.x/.
V případě, že chceme používat novou řadu nainstalujeme již hotové baličký nebo stáhneme z rrdtool 1.2.x je nutné při configuraci zapnout zapnout volbu:
$ ./configure --enable-perl-site-install
Poslední co nám zbývá je nástroj, který nám ze všech těch monitorovacích údajů, udělá přehlednou stránku s grafama. Těchno nástrojů existuje spousta viz.: rrdworld.
Pro naše účely použijeme sice už dnes poněkud zastaralý, ale efektivní nástroj: HoTSaNIC. Poslední dostupná verze (CVS snapshot) je 0.5.0-pre6.
Stáhneme HoTSaNIC a rozbalíme třeba do adresáře /opt/hotsanic-0.5.0-pre6/. Tím je veškerá instalace hotová.
Pokud hodláme používat nainstalujeme již hotové baličký nebo stáhneme z rrdtool 1.2.x musíme patchnout HoTSaNIC, kvůli chybě v generování IRQ statistik:
$ cd /opt/hotsanic; patch -p0 < irq_hostanic.patch
irq_hostanic.patch
--- ../backup/hotsanic-0.5.0-pre6/modules/system/diagrams.pl 2004-09-19 12:07:58.000000000 +0200
+++ modules/system/diagrams.pl 2005-12-19 00:11:40.000000000 +0100
@@ -487,8 +487,7 @@
"AREA:irqall_min#ffffff:\\g",
"LINE1:irqall_max#".$MODULECONFIG{COLOR_INT_ALL_MAX}.":",
"LINE1:irqall_min#".$MODULECONFIG{COLOR_INT_ALL_MIN}.":",
- "LINE1:irqall_avg#".$MODULECONFIG{COLOR_INT_ALL_AVG}.":",
- "COMMENT:Averages (min/max):\\n");
+ "LINE1:irqall_avg#".$MODULECONFIG{COLOR_INT_ALL_AVG}.":");
for (my $int=0;$int<16;$int++) {
my $intnum=$int;
if ($int<10) { $intnum="0$int"; }
Nyní přejdeme ke konfiguraci. Konfigurace hotsanicu se zkládá ze dvou částí.
- konfigurace jádra hotsanicu
- konfigurace jednotlivých modulů
konfigurace jádra hotsanicu
V adresáři HotSaNICu pustíme konfigurační dávku:
$ ./setup.pl
Nyní budeme dotázáni, které služby hodláme monitorovat a zobrazovat.
Doporučuju sledovat zejména subsystémy: apcusv, traffic, system, ping, sensors a networks.
Po dokončení konfigurace dojde k vytvoření konfiguračního souboru settings,
který pro případné změny můžeme editovat i ručně a spouštěcí script rrdgraph. Nesmíme hlavně zapomenout nakonfigurovat proměnou WEBDIR="/www/tools/info", ukazující na adresář, do kterého budou generovány HTML soubory s grafama.
Spoušetní HotSaNICu přidáme do init scriptů, tak aby nám naběhl při spuštění systémů. Do adresáře /etc/init.d/ případně /etc/rc.d/ soubor s následujícím obsahem:
#!/bin/bash
#
# Startup script for the HotSaNIC
#
hotsanic=/opt/hotsanic/rrdgraph
prog=hotsanic
start() {
echo -n $"Starting $prog: "
$hotsanic start
}
stop() {
echo -n $"Stopping $prog: "
$hotsanic stop
}
case "$1" in
start)
start
;;
stop)
stop
;;
restart)
stop
start
;;
*)
echo $"Usage: $prog {start|stop|restart}"
exit 1
esac
HotSaNIC využívá pro generování náhledů grafů software imagemagick. Proto je vhodné nainstalovat patřičný balík či zkompilovat. Máme k dispozici i nouzové řešení a to nastavit v konfiguraci HotSaNICu zmenčování jen pomocí atributů elementu IMG ve výsledém HTML souboru (nedoporučuji).
HotSaNIC si veškeré obslužné práce (generování grafů) obstarává sám v daných časových intervalech. Pokud bychom chtěli některé výsledky vidět okamžitě, můžeme pustit regenerování ručně.
$ makeindex.pl
Vygeneruje titulní index.html.
$ diagrams.pl
Vygeneruje všechny grafy.
$convert.pl
Vygeneruje náhledy ke grafům.
Tímto jsme úspěšně nakonfigurovali jádro hotsanicu a můžeme přejít ke konfiguraci jednotlivých modulů.
konfigurace jednotlivých modulů
HotSaNIC podporuje monitorování následujících subsystému:
- apcusv - záloha napajení
- apps - vytižení daných procesů
- bind - DNS
- diskio - zátěž disku
- dnet -
- mailq - MAIL
- netstat - TCP spojení
- networks - traffic uživatelů
- ntp - TIME shift
- part -
- ping - PING
- sensors - CPU/... temperature
- shoutcast -
- system - zátěž systému
- traffic - traffic
- worms - útok červů
V adresářích modules jsou adresaře pro každý z níže uvedených modulů. V každém z nich je konfiguračních soubor setting. V každém z adresářů je defaultní konfigurační soubor .settings.default, kde můžeme najít přehled všech možných konfiguračních direktiv (obzvláště pro nastavování scalingu). V následujích kapitolách je přehled základních nastavení pro jednotlivé konfigurační soubory.
apcusv
# cesta k souboru apcacces, musí nám běžet také apcupsd APCACCESS="/sbin/apcaccess"
apps
# jméno procesu a popis APP="httpd,apache" APP="proftpd,ftp"
bind
diskio
Příklad konfigurace:
nejprve zjistim ID disku:
$ cat /proc/diskstats 104 0 cciss/c0d0 28620311 262117 480954637 144392372 27258894 57877269 680496776 208876052 0 268644572 353404992 104 1 cciss/c0d0p1 62 401 1069 420 40 32 576 2356 0 2564 2776 104 2 cciss/c0d0p2 1483315 101904 21012416 14258620 14997887 37423217 419037344 1659521196 0 112408352 1673795000 104 3 cciss/c0d0p3 27136927 159732 459941065 130133284 12260967 20454020 261458856 2844319796 0 186114948 2974575520 11 0 sr0 0 0 0 0 0 0 0 0 0 0 0 2 0 fd0 0 0 0 0 0 0 0 0 0 0 0
konfigurace v tomto případě bude vypadat takto:
KERNEL="2.6" SOURCE="diskstats" DEV="104_0,cciss/c0d0"
dnet
mailq
netstat
networks
ntp
part
ping
editujte modules/ping/settings a pridejte
# configure multiple destinations of the form: # HOST=<host>,<description> # HOST=10.107.4.100,charon.hkfree.org #atd.
TIP:
Kdyby se Vam nevytvarely grafy, ale data v souborech rrd byly. Tak zeditujte soubor v adresari hotsanicu modules/ping/diagrams.pl
VIMari, at pouzji tento command:
- :%s/n:",$/n",/gc
ostatni at nahradi radky koncici na n:", za n", bez teto upravy jsem to nerozchodil!!!
( RRDtool 1.2.6 , /usr/src/hotsanic-0.5.0-pre5.tgz, perl5.8.7 )
sensors
# cesta ke vstupním hodnotám (podle načteného modulu jádra), # jméno db, popisek, pozice ve vstupním souboru, násobící koeficient, # přičítací koeficient, jednotky SENSOR="/usr/sbin/hddtemp -n /dev/hda |",hda,HDD1,1,1,0,°C,40,60 SENSOR="/sys/bus/i2c/drivers/w83627hf/1-0290/temp3_input,mb,MB temp,1,.001,0,C"
shoutcast
system
IRQ=<number>,<short description>
