Go to Top

Archiv-Datenbank mit 100 Millionen E-Mails gelöscht

In einem Rechenzentrum eines großen Outsourcing Anbieters kam es zu einem schweren Anwendungsfehler: Durch das Löschen gleich mehrerer LUNs verschwanden auf einem NetApp NAS File Server viele Millionen Kundendaten. Unter anderem war das gesamte ausgelagerte E-Mail-Backup-Archiv eines der Kunden des Rechenzentrum-Betreibers betroffen. Der verantwortliche Mitarbeiter, auf seinen Fehler angesprochen, erklärte: „Ich war mir doch so sicher, dass ich alles richtig mache“.

Die Herausforderung

Insgesamt waren durch diesen einen Fehler gleich zwei NetApp Aggregate mit 25 und 150 Terrabyte an Datenvolumen betroffen. Darunter befand sich auch eine 5,5 Terrabyte große Datenbank mit rund 100 Millionen archivierten Kunden-Emails eines Symantec Enterprise Vault Archivierungssystems. Es handelte sich dabei um das komplette E-Mail Archiv des Konzerns, der seine E-Mails bereits nach vier Wochen standardmäßig von dem Exchange-Server in das Archivsystem überführte. Wichtige Angebote, Dokumente, Vertragsverhandlungen und Absprachen sind hier nur noch über Symantec Enterprise Vault zugänglich.

Was die Situation zusätzlich verschärfte: Getroffene Beschlüsse, um das Datendesaster zumindest einzudämmen, wurden erst am nächsten Morgen nach dem Löschen der LUNs umgesetzt. Viel zu spät: Als der Schreibzugriff des Archivsystems schließlich eingestellt wurde, waren über Nacht bereits Backups von weiteren Kunden neu in eines der beiden betroffenen NetApp Aggregate geschrieben worden. Dadurch waren auch die wichtigen LUNs mit dem E-Mail Archiv überschrieben worden.

Die Lösung

Per Remote Data Recovery (RDR) stellten die Datenrettungsingenieure zunächst eine Verbindung zum Rechenzentrum und dem NetApp NAS Fileserver des Rechenzentrum-Betreibers her. Bei der detaillierten Analyse wurde der Schaden, der durch die unterbliebene Abschaltung der Archiv-Backuplösung erfolgte, entdeckt. Nachdem schnell klar war, dass durch den erneuten Backup-Schreibvorgang viel Schaden angerichtet worden war, wurde nach Rücksprache mit dem Betreiber jetzt der Fokus auf die Rettung des E-Mail-Archivs gelegt. Dazu wurde eine 1:1 Kopie eines der beiden Aggregate angefertigt und auf einen Kroll Ontrack Server mit schnellen SSD-Festplatten direkt vor Ort im Rechenzentrum zur weiteren Bearbeitung gespeichert. Anschließend folgte in mehreren Arbeitsschritten die Wiederherstellung der E-Mails. Dazu wurden zunächst die im Archivsystem gespeicherten SQL-Datenbanken und Datenbank-Strukturen rekonstruiert. Daraus wurden in einem weiteren Schritt schließlich die rettbaren E-Mails wiederhergestellt.

Das Ergebnis

Einem mehrköpfigen Team von Kroll Ontrack Datenrettungsingenieuren gelang es schließlich die verbliebenden E-Mails aus dem Archivsystem retten zu können und dem Betreiber des Rechenzentrums zur Verfügung zu stellen. Anschließend wurden die Mails in den NetApp NAS File Server/ Symantec Enterprise Vault Archivsystem zurück importiert und das System wieder in Betrieb genommen. Trotz der vielen Pannen im Rechenzentrum konnten die beschädigten Datenbanken mit den verschwundenen E-Mails wiederhergestellt und so der Betreiber des Rechenzentrums vor hohen Regressforderungen geschützt werden.

Bildmaterial: iStock