Das twadmin-Paket Die Einleitung Dieses Paket wurde initial von Maximilian Pasternak (E-MAIL [1]max@eisfair.org) zusammengestellt und von Juergen Edner (E-MAIL [2]juergen@eisfair.org) ueberarbeitet. Mit Hilfe des twadmin-Paketes kann man den Status eine RAID-Verbundes an einem LSI^/3ware^-Kontroller in regelmaessigen Abstaenden abfragen oder eine Pruefung des RAID-Verbundes anstossen. Die Funktionen Das twadmin-Paket beinhaltet keine anderen Komponenten, setzt jedoch voraus, dass der Anwender die tw_cli-Software von LSI^/3ware^ bei der Installation bereithaelt. Die Voraussetzungen Dieses Paket benoetigt die tw_cli-Software von LSI^/3ware^ um funktionieren zu koennen. Aus rechtlichen Gruenden kann diese nicht ueber ein Paket zur Verfuegung gestellt werden und muss deshalb separat von der Herstellerseite ([3]http://www.lsi.com) herunter geladen werden. Die Installation Das twadmin-Paket wird ueber das Setup-Menue installiert. Wird eine aeltere Paketversion vorgefunden, so wird diese deinstalliert bevor die neuen Programmdateien installiert werden. Hierzu sollte man unbedingt zuvor den Abschnitt `Verschiedenes -> Installation des Administrationspaketes' lesen! Das Menue im Setup-Programm Das Menue im Setup-Programm ist wie folgt aufgebaut: * View documentation: Anzeigen der Dokumentation * Edit configuration: Bearbeiten der Konfiguration * Advanced configuration file handling: Konfigurationen verwalten * Show status: Status des RAID-Dienstes anzeigen * Stop service: Stoppen des RAID-Dienste * Start service: Starten des RAID-Dienstes * Show RAID Array status: Status des RAID-Verbundes anzeigen * Administrate RAID array: RAID-Verbund administrieren * Update the CLI: CLI-Software aktualisieren * View alarms log file: Alarmlogdatei anzeigen * Exit: Untermenue verlassen Die Menuepunkte duerften selbsterklaerend sein, da sie keinerlei weitere Eingaben erwarten. Aus diesem Grund wird auf deren Funktion vorerst nicht weiter eingegangen. Die Aenderung der Konfiguration Die Konfiguration kann ueber den Menuepunkt `Edit configuration' geaendert werden. Standardmaessig wird der Editor aufgerufen, der in der environment-Konfiguration ueber die Variable `EDITOR' festgelegt wurde. Nachdem der Editor beendet wurde wird abgefragt, ob die Konfiguration aktiviert werden soll. Wird dies bestaetigt, werden ueber ein Skript die modifizierten Aenderungen umgehend wirksam gemacht. Die Konfigurationsdatei In der Konfigurationsdatei, die ueber das Menue zugaenglich ist, sind folgende Parameter vorhanden; wer sie von Hand editieren will findet sie unter /etc/config.d/twadmin. Die Parameter START_TWADMIN Fuer die Aktivierung des twadmin-Paketes muss diese Variable auf den Wert `yes' gestellt werden. Die Einstellung `no' schaltet das twadmin-Paket ab. Gueltige Werte: yes, no Standardeinstellung: START_TWADMIN='no' TWADMIN_CONTROLLER_N Ueber diesen Parameter gibt man die Anzahl der RAID-Kontroller an welche im System verbaut sind. Gueltige Werte: Zahl Standardeinstellung: TWADMIN_CONTROLLER_N='0' TWADMIN_CONTROLLER_x_ACTIVE Wird dieser Parameter auf den Wert `yes' gesetzt, so wird der zugehoerige Kontrollerdatensatz aktiviert, `no' deaktiviert ihn. Gueltige Werte: yes, no Beispiel: TWADMIN_CONTROLLER_1_ACTIVE='yes' TWADMIN_CONTROLLER_x_NUMBER Ueber diesen Parameter legt man die Nummer des RAID-Kontrollers fest dessen Port-Konfiguration im Folgenden konfiguriert wird. Die Angabe dieses Wertes ist notwendig, da die Kontrollernummer systembedingt nicht immer von 0 an gezaehlt wird. Gueltige Werte: Zahl Beispiel: TWADMIN_CONTROLLER_1_NUMBER='0' TWADMIN_CONTROLLER_x_PORT_N Ueber diesen Parameter gibt man die Anzahl der Ports pro RAID-Kontroller an. Gueltige Werte: Zahl Beispiel: TWADMIN_CONTROLLER_1_PORT_N='0' TWADMIN_CONTROLLER_x_PORT_y_ACTIVE Wird dieser Parameter auf den Wert `yes' gesetzt, so wird der zugehoerige Port des Kontrollers aktiviert, `no' deaktiviert ihn. Gueltige Werte: yes, no Beispiel: TWADMIN_CONTROLLER_1_PORT_1_ACTIVE='yes' TWADMIN_TUNE Um das Setzen spezieller Performance-Einstellungen zu aktivieren muss diese Variable auf den Wert `yes' gestellt werden. Die Einstellung `no' deaktiviert diese Funktion. ACHTUNG Diese Parameter werden zur Zeit nur bei 2.4.x-Kerneln unterstuetzt! Gueltige Werte: yes, no Standardeinstellung: TWADMIN_TUNE='no' TWADMIN_TUNE_MIN_READAHEAD Wurde der Parameter [4]TWADMIN_TUNE='yes' gesetzt, so kann ueber diesen Parameter die minimale Anzahl von Festplattenbloecken festgelegt werden, die bei einem Dateizugriff im voraus gelesen werden sollen. Wird der Parameter nicht gesetzt, so wird standardmaessig der Wert '3' verwendet. (Der Wert dieses Parameters wird nach '/proc/sys/vm/min-readahead' geschrieben.) Gueltige Werte: Zahl Optimierte Einstellung: TWADMIN_TUNE_MIN_READAHEAD='512' TWADMIN_TUNE_MAX_READAHEAD Wurde der Parameter [5]TWADMIN_TUNE='yes' gesetzt, so kann ueber diesen Parameter die maximal Anzahl von Festplattenbloecken festgelegt werden, die bei einem Dateizugriff im voraus gelesen werden sollen. Wird der Parameter nicht gesetzt, so wird standardmaessig der Wert '31' verwendet. (Der Wert dieses Parameters wird nach '/proc/sys/vm/max-readahead' geschrieben.) Gueltige Werte: yes, no Optimierte Einstellung: TWADMIN_TUNE_MAX_READAHEAD='512' TWADMIN_SYSLOGD Ueber diesen Parameter wird festgelegt, ob Statusmeldungen per Syslog mitgeschrieben werden sollen oder nicht. Gueltige Werte: yes, no Standardeinstellung: TWADMIN_SYSLOGD='yes' TWADMIN_CHECK Ueber diesen Parameter wird festgelegt, ob der Status des RAID-Verbundes per Cronjob ueberwacht werden soll. Gueltige Werte: yes, no Standardeinstellung: TWADMIN_CHECK='yes' TWADMIN_CHECK_SCHEDULE Hier wird festgelegt zu welchem Zeitpunkt bzw. in welchem Intervall eine Ueberpruefung des RAID-Verbundes durchgefuehrt werden soll. Die fuenf Teilparameter haben dabei folgende Bedeutung: 1 - Minuten, 2 - Stunden, 3 - Tag des Monats, 4 - Monat, 5 - Wochentag. D.h. bei Verwendung der Standardeinstellung wird stuendlich zur 57. Minute der RAID-Status geprueft. Wer Naeheres ueber die verwendete Befehlssyntax erfahren moechte, sollte ueber eine Internet-Suchmaschine nach `man' und `crontab' suchen. Gueltige Werte: Crontab-spezifischer Parametereintrag Standardeinstellung: TWADMIN_CHECK_SCHEDULE='57 * * * *' TWADMIN_VERIFY Ueber diesen Parameter wird festgelegt, ob eine regelmaessige Pruefung des RAID-Verbundes per Cronjob durchgefuehrt werden soll. Gueltige Werte: yes, no Standardeinstellung: TWADMIN_VERIFY='yes' TWADMIN_VERIFY_SCHEDULE Hier wird festgelegt zu welchem Zeitpunkt bzw. in welchem Intervall eine Ueberpruefung des RAID-Verbundes durchgefuehrt werden soll. Die fuenf Teilparameter haben dabei folgende Bedeutung: 1 - Minuten, 2 - Stunden, 3 - Tag des Monats, 4 - Monat, 5 - Wochentag. D.h. bei Verwendung der Standardeinstellung wird an jedem 1. eines Monats um 04:26h der RAID-Verbund geprueft. Wer Naeheres ueber die verwendete Befehlssyntax erfahren moechte, sollte ueber eine Internet-Suchmaschine nach `man' und `crontab' suchen. Gueltige Werte: Crontab-spezifischer Parametereintrag Standardeinstellung: TWADMIN_VERIFY_SCHEDULE='26 4 * * 1' TWADMIN_LOG Ueber diesen Parameter wird festgelegt, ob Logeintraege geschrieben werden sollen. Gueltige Werte: yes, no Standardeinstellung: TWADMIN_LOG_FULL='no' TWADMIN_LOG_COUNT Ueber diesen Parameter wird eingestellt, wie viele Logdateien vorgehalten werden sollen. Wird dieser Wert ueberschritten, so wird die aelteste Logdatei geloescht. Gueltige Werte: Zahl Standardeinstellung: TWADMIN_LOG_COUNT='10' TWADMIN_LOG_INTERVAL Dieser Parameter bestimmt in welchen Intervallen die Logdateien archiviert werden sollen. Zur Auswahl stehen die Schluesselwoerter `daily' - taeglich, `weekly' - woechentlich und `monthly - monatlich. Gueltige Werte: daily, weekly, monthly Standardeinstellung: TWADMIN_LOG_INTERVAL='weekly' Verschiedenes Adapter-Karte installieren Als erstes sollte man die Anweisungen des LSI^/3ware^ Escalade RAID-Kontroller lesen und den Kontroller entsprechend der darin enthaltenen Beschreibung installieren. ACHTUNG Der LSI^/3ware^-Kontroller unterstuetzt nur eine Festplatte pro Kontroller-Port. D.h. es darf nur eine Festplatte an jedes Kabel angeschlossen werden. Nach der Installation der Kontrollerkarte startet man den Rechner neu und ruft waehrend des Startvorgangs das Adapter-BIOS durch Druecken von Alt+3 auf. Nachdem man dann den RAID-Verbund wie gewuenscht konfiguriert hat speichert man die Einstellungen durch Druecken von F8+y und startet den Rechner neu. Treiberinstallation Die benoetigten Treiber fuer den RAID-Kontroller koennen direkt waehrend der Installation eines neuen eisfair-Systems oder zu einem bereits laufenden eisfair-System hinzugefuegt werden. Beide Wege der Installation werden im Folgenden beschrieben. + Neue eisfair-Installation Wenn man die Treiber waehrend einer eisfair-Neuinstallation hinzufuegt, werden sie direkt in das Boot-Image aufgenommen. Hierdurch ist es moeglich das vollstaendige eisfair-System auf einem RAID-Verbund zu installieren. Es werden keine anderen Boot-Geraete bzw. Festplatten benoetigt und die einzelnen Partitionen koennen direkt ueber die Datei /etc/fstab gemountet werden. o Treiber-URL (URL zur .txt-, nicht zur .tar.gz.info-Datei) zur Datei boot.txt, Bereich DRIVER_URL, hinzufuegen. o Ein neues eisfair-Bootmedium erstellen und die Installation starten. o Waehrend der eisfair-Installation wird dann nach dem zu verwendenden Treiberpaket gefragt. Hier waehlt man: 1. - 1.1.1 3ware IDE/SATA RAID Adapters - Driver o Danach setzt man die eisfair-Installation wie gewohnt fort. + Treiber zu einer bestehenden Installation hinzufuegen Wenn man den Treiber zu einer existierenden Installation hinzufuegt, kann man die Festplattenlaufwerke nicht mittels der Datei /etc/fstab mounten. Man muss die Partitionen entweder manuell oder mittels mount-/umount-Skripten, welche in /etc/rc2.d abgelegt werden, mounten. Mit der Verfuegbarkeit des eisfair Kernel v2.3.x wird dieses Problem groesstenteils behoben sein, dann dann die Treiber bereits im Kernelpaket enthalten sein werden. o Das Treiberpaket ueber das eisfair Setup-Menue, ueber die Funktion `Install new package' installieren. 1. - 1.1.1 3ware IDE/SATA RAID Adapters - Driver Den RAID-Verbund verwenden Der LSI^/3ware^-Adapter wird als SCSI-Adapter erkannt und muss somit ueber die entsprechenden Laufwerksnamen angesprochen werden: fdisk /dev/sda mke2fs /dev/sda1 mount -t ext2 /dev/sda1 /raid1 Die Verwendung dieser Befehle wird in jedem Linux-Handbuch im Detail beschrieben. Installation des Administrationspaketes Aus lizenzrechtlichen Gruenden kann darf das LSI^/3ware^-Kommandozeilenprogramm (tw_cli) nicht in dieses Paket integriert werden. Das Programmpaket CLI for Linux muss in der Version 7.5.2, 7.6.3, 7.7.0, 9.3.0.7, 9.5.3 oder 9.5.4 manuell von der Seite [6]http://www.lsi.com/ herunter geladen und im Verzeichnis /tmp abgelegt werden bevor das twadmin-Paket installiert wird. Es werden die Archivnamen tw_cli.tgz, cli_linux.tgz, tw_cli-linux-x86-*.tgz oder 3DM2_CLI-Linux_10.2.1_9.5.4.zip erkannt. + Herunter laden von tw_cli.tgz (`CLI for Linux') von der Seite [7]http://www.lsi.com/ und Ablegen im Verzeichnis /tmp. Hinweis Wenn es kein CLI v9.5.3-Paket fuer den eigenen Kontroller gibt, sollte man es mit dem CLI-Paket des `Escalade 7000 Series'-Kontroller versuchen. + Installation des twadmin-Paketes ueber das eisfair Setup-Menue ueber die Funktion `Install new package'. Fehlerhafte Festplatte austauschen Wenn das twadmin-Paket installiert ist und dem Anwender `root@eisfair' eines Tage eine Mitteilung zugesandt wird, dass der RAID-Verbund `degraded' wurde, sollte man sich zeitnah an die Fehleranalyse machen. Normalerweise geht man dabei wie folgt vor: + Austausch der fehlerhaften Festplatte bzw. Hinzufuegen einer neuen Festplatte zum RAID-Verbund. + Beim Neustart des Rechners und waehrend des Boot-Vorgangs das Adapter-BIOS durch Druecken von Alt+3 aufrufen und die Funktion `rebuild' fuer den fehlerhaften RAID-Verbund auswaehlen. Durch Druecken von F8 und Bestaetigung durch 'Y' ('Z' auf einer deutschen Tastatur) die Operation starten. + Neustart des eisfair-Servers und warten bis der RAID-Verbund im Hintergrund neu aufgebaut wird. Ueber die Menuefunktion `Show RAID Array Status' kann man den Status der Wiederherstellung ueberwachen. Fehlerbehebung + 1. Problem: Bei einigen alten Kontrollern der 6000er-Serie laeuft der Treiber nicht stabil und es wird folgende Meldung in die Datei /var/log/messages geschrieben: > Nov 8 18:57:00 eis kernel: 3w-xxxx: scsi0: Command failed: > status = 0xc1, flags = 0x16, unit #0. Loesung: Aktualisieren des Kontroller-BIOS auf die Version 6.9. Die Software kann von der Seite [8]http://www.3ware.com/ herunter geladen werden. + 2. Problem: Wenn ein LSI^/3ware^-RAID als Boot-Device in einem eisfair-Server verwendet wird und sich weitere IDE-Festplatten im Rechner befinden, so kann dies bei einer eisfair-Installation oder einem Kernel-Upgrade zu Installationsproblemen fuehren. Loesung: Alle IDE-Festplatten vor der Installation bzw. vor dem Upgrade vom Onboard-Kontroller trennen. Installationsanleitung von Hans-Peter Seiler Vorbereitung Das Treiberpaket unterstuetzt LSI^/3ware^-IDE-RAID-Kontroller der Bauarten 7000, etc.. Benoetigt werden: + - LSI^/3ware ^Escalade IDE RAID-Kontroller + - 2 IDE Festplatten gleicher Groesse + - 2 Festplattenkabel Ultra/DMA100 80-adrig Zu beachten ist, dass im Gegensatz zu einer normalen IDE-Installation beide Festplatten gleich gejumpert sein muessen (Master oder Slave) und jede fuer sich mit einem Festplattenkabel an einen Port des Kontroller angeschlossen wird. Einrichtung RAID-Verbundes im BIOS des Kontrollers Nach Einbau des Kontrollers wird waehrend des Bootvorgangs das BIOS des Kontrollers angezeigt. Das Setup kann durch Druecken der Tasten Alt+3 aufgerufen werden. Der RAID-Verbund (Typ 1, 0, 5 oder 10) koennen exakt, wie in der Anleitung beschrieben, eingerichtet werden. Die Einstellungen werden durch Druecken der Taste F8 und Bestaetigen mit 'Y' gespeichert. Partitionieren des RAID-Verbundes Jetzt kann der eisfair-Server neu gestartet werden. Der RAID-Verbund muss nur noch partitioniert und formatiert werden. Dies erfolgt wie bei einer gewoehnlichen SCSI-Festplatte. fdisk /dev/sda (sda = Master bzw. sdb = Slave) Formatieren des RAID-Verbundes Der RAID-Verbund wird wie eine normale Festplatten formatiert. mke2fs /dev/sda1 Mounten des RAID-Verbundes Auch das Mounten des RAID-Verbundes erfolgt wie gewohnt. mount -t ext2 /dev/sda1 /raid1 Ersetzen einer defekten Festplatte von Dirk Krase Ausfall eines RAID-Verbundes Dank der Arbeit von Maximilian bekommen wir bei Problemen mit dem RAID-Verbund einen Statusreport per E-Mail mit dem Betreff `Output of fcron job: '/usr/sbin/tw_status quiet' ' zugesandt, welchen es unbedingt zu beachten gilt. Im Normalbetrieb wird diese E-Mail unterdrueckt, daher wissen wir jetzt sofort, dass ein Problem vorliegt. In diesem Report ist vermerkt, bei welchem RAID-Verbund ein Problem (degraded) aufgetreten und welche Festplatte daran schuld ist. Bei mir fand ich im Report die Zeile `Subunit 1: CBOD: DRIVE INACCESSABLE', was auch genau den Tatsachen entsprach, da ich die Festplatte zum Test einfach abgehaengt hatte. Also wissen wir jetzt welche Festplatte defekt ist. Es ist jetzt von Vorteil, wenn man beim Einbau alle Festplatten mit ihrer Portnummer beschriftet hat, sodass man in der Hektik nicht die falsche Festplatte ausbaut. Dann haette man naemlich tatsaechlich ein Problem. Bisher verhuetete der Kontroller das Schlimmste. Als naechstes wird der Server entweder ueber die Konsole oder mit Hilfe einer Terminalsession mit dem Kommando `shutdown -h now' heruntergefahren. Dazu muss man sich zuvor unbedingt als Benutzer `root' anmelden. Die weitere Vorgehensweise haengt jetzt natuerlich vom jeweiligen Einzelfall ab. Wird die Festplatte immer noch vom Kontroller erkannt, ist aber nicht in Benutzung, so kann man versuchen diese dem RAID-Verbund hinzuzufuegen und einen `Rebuild' starten. Klappt dies nicht, so wird wohl doch etwas mehr kaputt sein und die Festplatte muss getauscht werden. Wird die Festplatte nicht mehr erkannt, ist eventuell die Elektronik defekt, die Stromversorgung unterbrochen oder das IDE-Kabel defekt. Da wir pro Kanal nur eine Festplatte anschliessen koennen, besteht nicht die Moeglichkeit das Problem durch den Betrieb von zwei Festplatten an einem Kanal auschliessen. Daher sollte man einmal das Stromversorgungskabel ueberpruefen, ein anderes Kabel benutzen etc.. Nach dem erneuten Einschalten des Rechner ruft man mittels Alt+3 das Konfigurationsmenue des Kontrollers auf und schaut welcher Hinweis angezeigt wird. Dieser sollte eindeutig das weitere Vorgehen beschreiben. Wird die defekte Festplatte wieder erkannt (Drive not in Use), versuchen wir den RAID-Verbund ueber die Rebuild-Funktion erneut aufzubauen. Schlaegt dieser fehl, muss die Festplatte doch getauscht werden. Steht hinter dem betroffenen Port dagegen `Drive not listed' (wird also gar nicht erkannt), so ist die Festplatte entweder defekt oder immer noch nicht korrekt angeschlossen. Also nochmals den Rechner ausschalten und den Fehler korrigieren bis die Festplatte erkannt wird und wir `Drive not in use' lesen. Hier ist es wichtig eine Reservefestplatte fuer den Notfall im Schrank liegen zu haben. Jetzt markieren wir mittels der Cursortasten und Enter den zur reparierenden RAID-Verbund. Vor der Unit-Anzeige erscheint nach der Auswahl zur Bestaetigung ein Sternchen. Durch mehrmaliges Druecken der TAB-Taste waehlen wir das Feld `Rebuild' aus und bestaetigen wieder mittels der Entertaste. Den naechsten Hinweistext quittieren wir ebenfalls. Danach druecken wir die Taste F8 um den Vorgang zu starten. Bei der Beantwortung der Frage `Continue rebuild Yes' gilt es zu beachten, dass wir dazu auf einer deutschen Tastatur die Taste 'Z' druecken muessen. Sofort wird das Konfigurationsmenue verlassen und der eisfair-Server neu gestartet. Melden wir uns jetzt als User `eis' an, so koennen wir im Menue `Service Administration, 3ware Escalade IDE-RAID-Kontroller -> Show RAID Array Status' schauen, ob der Neuaufbau des RAID-Verbundes laeuft. Bei mir stand dort z.B.: # of units: 1 Unit 0: RAID 5 359.99 GB (703118592 blocks): REBUILDING (29%) In diesem Fall ist alles in Ordnung. Bis zum Abschluss des Neuaufbaus darf natuerlich keine weitere Festplatte ausfallen, da kein weiterer Spielraum fuer einen Fehler existiert. Diejenigen von uns, welche eine Reservefestplatte eingebaut haben die im Fehlerfall automatisch einspringt, sind hier eindeutig im Vorteil. Zu diesem Zeitpunkt bekommen wir immer noch die Statusmeldungen per E-Mail. Einige Zeit spaeter finden wir hoffentlich im Servicemenue eine aehnliche Zeile wie: # of units: 1 Unit 0: RAID 5 359.99 GB (703118592 blocks): OK Jetzt haben wir alles ueberstanden und den Fehler erfolgreich behoben. ;-) In Wirklichkeit ist alles viel einfacher als es sich hier vielleicht liest und geht viel, viel schneller von der Hand als das Schreiben dieses Textes gedauert hat. Nicht umsonst haben wir einen guten Kontroller in unserem Server verbaut. Ich selber habe wegen dieser Tests mehrmals meine Festplatten abgeschaltet und niemals Probleme beim Wiederherstellen des RAID-Verbundes (Rebuild) gehabt. Auf 3 Punkte gebracht haben wir nur folgendes zu tun: + 1. Defekte Festplatte in der Logdatei identifizieren. + 2. Die Festplatte austauschen bzw. den Fehler finden. + 3. Den RAID-Verbund wiederherstellen (Rebuild). So einfach ist die ganze Sache. Jetzt bleibt mir nur noch, Euch viel Spass mit dem Treiberpaket zu wuenschen. Dirk __________________________________________________________________ Juergen Edner 2012-12-02