Es kam in der Nacht zu einem Festplattendefekt im cPanel03. Dieser Server verfügt (wie alle anderen auch) über ein redundantes Raid-Setup, so dass auch ein Ausfall einer Festplatte nicht zum Datenverlust führt.
Beim anschliessenden Austausch der Festplatte durch den Techniker vor Ort kam es jedoch zum GAU. Dieser tauschte die falsche Festplatte aus und entzog somit dem System eine zweite Festplatte, was zu einem kompletten Verlust aller Daten führte!
Die genauen Umständen werden hier noch untersucht.
Erledigt: Wir sind nun dabei das System wieder aufzusetzen und das letzte Backup zurückzuspielen.
Beachten Sie bitte, dass letzte Backup von der Nacht vom 24 auf den 25.12 (gestern) stammt.
Wir möchten uns für die entstehenden Unannehmlichkeiten in aller Form entschuldigen und hoffen auf Ihr Verständnis.
--
Sie werden hier regelmässig über den Stand der Arbeiten informiert.
Status
06:10 Grundinstallation hat begonnen
06:45 Grundinstallation abgeschlossen
06:55 weiterer Defekt aufgetreten (wird abgeklärt)
07:35 weitere Festplatte ersetzt und das Raid-Array wird wieder hergestellt
08:52 Es sind leider weitere Probleme aufgetreten, welche den ganzen Prozess nochmals verzögern
09:36 Grundinstallation hat begonnen (RH 3 anstelle RH 4)
10:34 Grundinstallation ist abgeschlossen (Probleme sind behoben) und cPanel Installation wird gleich gestartet
11:02 die cPanel Grund Installatin ist vollem Gange daneben werden weitere Konfigurationen am System durchgeführt
11:35 Aktuell läuft der Schluss der cPanel Installation und parallel werden bereits die Backups auf dem Server transferiert. Dort wo es gefahrlos möglich ist, werden die Arbeiten selbstverständlich parallel durchgeführt. Als nächster grosser Schritt steht die Einrichtung des cPanels an, gefolgt vom Aufsetzen der verschiedenen Dienste.
12:56 Die ersten Backups werden zurückgespielt. Alle Accounts mit eigener IP Adresse werden gesondert behandelt und nachträglich korrigiert.
13:29 Bereit sind 15% aller Accounts wieder zurückgespielt. (Benutzernamen mit A und B sind bereits komplett).
14:27 34% Restore - alle Accounts mit Anfangsbuchstaben A-G
15:20 53% Restore - Buchstabe K
15:48 62% Restore - Buchstabe N
16:44 77% Restore - Buchstabe S
17:30 88% Restore - Buchstabe T
18:28 Alle Accounts wurden wiederhergestellt, Accounts mit eigener IP Adresse haben diese wieder zu geordnet erhalten
18:43 Alle individuellen DNS Einträge (zb. MX Records) wurden wieder aktualisiert. Prüfen Sie bitte Ihre Einträge mit
http://www.dnsstuff.com/ und eröffnen bei Problemen ein Ticket.
Erledigt
Nachtrag:
Nach aktuellem Kenntnisstand resultierte der Tausch der falschen Festplatte aufgrund einer falschen Labelung - näheres werden Sie in einem ausführlichen Review über alle Geschehnissen des heutigen Tag nachlesen können.
--
PS:
Selbstverständlich nutzen wir diese Situation auch gerade um sowohl auf der Hardwareseite (Raid 10) wie auch der Softwareseite (Update RH 4 und Kernel 2.6) Optimierungen durchzuführen.
Alle betroffenen Kunden werden danach von einem nochmals deutlich flotteren System profitieren.