Update: Was ist los, und wann wirds gefixt?
Stand der Dinge: Wir hatten ein Stromproblem im Rack, das einen Grossteil unserer Hardware um gulli kurzzeitig lahmlegte. Erste Notoperationen führten zu weitgehend wieder hergestellten Servern, vereinzelt ist jedoch Hardware über den Jordan: konkret ein paar Gig Ram sowie das Mainboard unseres Suchservers.
Bei der Wiederherstellung stellte sich heraus, dass die Replikation der Datenbank auf dem Such-Server zerschossen war. Die ist in der Zwischenzeit wieder hergestellt, nun muss nur noch der Index gebaut werden. Wir reden grade von Datenbanken in zweistelliger GB-Groesse, die im *laufenden Betrieb* eingespielt, repariert und upgedatet werden muessen, da gehts nicht um ein "cp dateiname" und nem MySQL-Restart, das ist alles ein wenig dicker.
Suchfunktion: Aus diesem Grund ist die SuFu bislang deaktiviert. Im Lauf des Tages denke ich, dass wir sie in Testbetrieb nehmen koennen. Morgen wird sie - wenn alles glatt geht - definitiv noch mal weg sein, weil das Mainboard des Servers ausgetauscht wird.
Bis Samstag geh ich weiter davon aus, dass es zu vereinzelten Ausfaellen/Downtimes kommen kann: wir muessen kaputtes Ram auswechseln, ein APC hats zerschossen und das eine oder andere Softwareproblem muss auch gefixt werden.
Btw., weils ein paar Leute gefragt haben: mit der Audioboerse hat die ganze aktuelle Hardwaresache nichts zu tun. Das eine ist legalesisch und das andere hat mit Strom und Rechnern zu tun.
Bisheriger Stand der Dinge folgt.
Hoi,
Stromausfall mit Folgeschaeden im Rack - einiges um gulli funktioniert grade nicht richtig. Wir sind dran und entschuldigen die Unannehmlichkeiten. Suchfunktion ist temporär deaktiviert, weil noch nicht alle Server wieder am Start sind und die laufenden Rechner aktuell überlastet sind.
Update, 18.00: der Grossteil der HW rennt wieder, teilweise muessen wir RAM und andere Kleinigkeiten wie neues Mainboard oder ACP nachruesten. Das sollte die Woche noch passieren.
Die Suchfunktion werden wir heute wohl auf *keinen* Fall wieder anschalten koennen, da wir zuerst wieder die Board-DB replizieren muessen und das erfahrungsgemaess ein wenig dauert. Wenn, wird das irgendwann des Nachts passieren, nicht garantiert diese.
Wer nun alles den Strafschnuller kriegt, ist nach wie vor nicht entschieden, ich fuerchte, das wird eine eher exklusive Sache unter Ausschluss der breiteren Oeffentlichkeit.
