Störung Telefonanlage

% Comments 13. September 2018 von

Guten Tag,

durch eine Störung der Telefonanlage sind wir momentan nicht erreichbar. Bei wichtigen Anliegen bitte eine E-Mail an support@filoo.de senden.

Update: Da unser SIP-Provider technische Probleme hat, kann es zu weiteren Ausfällen der Telefonanlage kommen.

Netzwerkstörung

% Comments 07. September 2018 von

Ein Teil unsere Loadblancingstruktur ist zur Zeit nicht erreichbar. Wir beheben das Problem schnellstmöglich.

Update: Störung wurde innerhalb 15 min gelöst.

DDoS auf Shared Webserver

% Comments 16. August 2018 von

Guten Tag, (16.08.2018 05:00 Uhr)

zur Zeit steht einer unsere Shared Webserver unter einem DDoS Angriff aus Vorsicht haben wir diesen erstmal deaktiviert, wir kümmern uns um das Problem und bringen den Service schnellst möglich wieder Online.

 

Update 10:48

Seit 10 Uhr läuft der Shared-Server wieder ohne weitere Probleme. Vielen Dank für ihr Verständnis.

Störung im tk-ac-Netz

% Comments 15. August 2018 von

2018-08-15 14:35: noch ungeklärte Störung im tk-ac-Netz
2018-08-15 14:52: Problem ist behoben; wir analysieren momentan die Ursache

Ausfall ac-Switch

% Comments 13. August 2018 von

2018-08-13 – 10:26: Einer unserer ac-Switche (Uplink-Switch) ist ausgefallen.
2018-08-13 – 10:31: Unser VO-Techniker ist unterwegs.
2018-08-13 – 10:42: Techniler ist am Rack.
2018-08-13 – 11:01: Switch ist wiederhergestellt

Teambuilding am 20.07.2018

% Comments 19. Juli 2018 von

Wir sind am 20.07.2018 ab 11:00 Uhr nur eingeschränkt erreichbar.

In Notfällen benutzen Sie bitte wie gewohnt die Hotline und melden eine Störung: +49 5241 867300

Nicht kritische Anfragen bitte in dieser Zeit per Mail an info@filoo.de

Wir bitten um Ihr Verständnis und wünschen Ihnen ein schönes Wochenende!

Wartungsankündigung: Softwareupgrade des Core Routers in 343 am 22.07.2018

% Comments 19. Juli 2018 von

Aufgrund des Stromausfalls in der letzten Woche sind Wartungsarbeiten an einem der Core-Router in unserem Raum 3.43 (in Frankfurt a.M.) notwendig. In dem betreffenden Raum kann es am 22.07.2018 in der Zeit von 23:00 Uhr, bis 00:00 Uhr, zu Unterbrechungen in der Erreichbarkeit kommen. Die geplante Downtime beträgt einmalig fünfzehn Minuten.

Von der Downtime sind alle im genannten Raum 343 liegenden Systeme betroffen, die keine Redundante Netzwerkverkabelung haben.

Für die Unannehmlichkeiten entschuldigen wir uns und bedanken uns für Ihr Verständnis. Bei Fragen sind wir unter info@filoo.de oder +49 5241 867300 für Sie erreichbar.

DDoS auf Shared-Webserver

% Comments 07. Juli 2018 von

Guten Tag, (07.07.2018 13 Uhr)

zur Zeit steht einer unsere Shared Webserver unter einem DDoS Angriff aus Vorsicht haben wir diesen erstmal deaktiviert, wir kümmern uns um das Problem und bringen den Service schnellst möglich wieder Online.

 

 

Incident Report 21.06.2018

% Comments 22. Juni 2018 von

Zusammenfassung

Am 21.06.2018 waren Teile der Filoo-Infrastruktur von einem Stromausfall im Rechenzentrum betroffen.

Betroffene Infrastruktur

  • Colocation-Infrastruktur in Gebäude A, Raum 3.43
  • Filoo Public Cloud sowie alle Cloud-VMs
  • Dedizierte Server und Private Clouds in Gebäude A, Raum 3.43
  • Netapp Storage
  • Shared Hosting
  • E-Mail as a Service

Nicht betroffene Infrastruktur

  • DNS
  • Internet-Anbindung
  • Server in anderen Gebäudeteilen und im Rechenzentrum St. Ingbert

Incident-Beschreibung

Gegen 11:30 meldeten sämtliche Monitoring-Systeme der Filoo und einige Kunden eine Nichterreichbarkeit der Systeme in unserem Rechenzentrums-Raum 3.43. Eine erste Analyse ergab schnell, dass es sich um ein „Black Building“-Problem, also eine Unterbrechung der Stromversorgung, handeln musste. Gegen 11:41 wurde die Stromversorgung durch den Rechenzentrumsbetreiber wiederhergestellt und die Systeme liefen wieder an. Gleichzeitig begann das Team im Filoo NOC mit den Wiederanlaufmassnahmen.

Neben dedizierten Servern und Colocation-Infrastrukturen war die Filoo VMWare Public Cloud eine der ersten wieder verfügbaren Komponenten.

Da eine zentrale Netzwerkkomponente der Filoo OpenSource Public Cloud durch den Kurzschluss beschädigt wurde und ausgetauscht werden musste, konnten die Wiederanlaufmassnahmen dort erst etwas später durchgeführt werden. Jeder Node des Storage-Clusters (Ceph) wurde überprüft und kontrolliert wieder in Betrieb genommen, bevor alle virtuellen Maschinen wieder gestartet wurden. Gegen 14 Uhr waren die virtuellen Maschinen wieder verfügbar und bis auf vereinzelte Probleme einsatzbereit.

Root Cause

Elektriker der Betreiberfirma führten Arbeiten an einer Hauptstromschiene im Mietbereich des Rechenzentrumsgebäudes A aus, was durch menschliches Versagen zu einem Kurzschluss führte. Dieser trennte durch Auslösen der Sicherungen den Mietbereich, in dem einer der beiden Rechenzentrumsräume der Filoo gelegen ist, von der USV und somit von der Stromversorgung.

 Timeline des 21.06.2018

11:29                                     Kurzschluss am Einspeisefeld FTS3.2 USV 8 in Gebäude A
11:31                                     Filoo-Monitoring meldet Ausfall aller Infrastrukturen in Gebäude A, Raum 3.43
Unmittelbar danach         Filoo-NOC wird alarmiert und beginnt mit der Fehlersuche
11:41                                     Stromversorgung durch RZ-Betreiber wiederhergestellt
11:44                                     Filoo Netapp Storage wieder verfügbar
11:50                                     Stromversorgung in Gebäude A, Raum 3.43 vollständig wiederhergestellt
11:59                                     Störfallmeldung durch das automatische Warnsystem der Telehouse
Ab 11:45                                Wiederanlauf-Maßnahmen für alle physikalischen und virtuellen Server
13:57                                     Stromversorgung wird durch den RZ-Betreiber wieder in den USV-Normalbetrieb zurückgeschaltet
14:00                                     Virtuelle Maschinen in der Filoo Public Cloud wieder verfügbar

 

Unbekannte Netzstörung

% Comments 21. Juni 2018 von

21-06-2018 11:33
Erste Meldung vom RZ-Betreiber ist eingegangen:
Bisher ungeklärte Störung in mehreren Kundenbereichen

21-06-20108 12:25
Es gab einen Stromausfall in einem Raum.
Stromversorgung ist wiederhergestellt.
Wir prüfen alle Systeme.

21-06-2018 12:45
VMware VMs laufen (dreistellige ID). Bitte prüfen Sie das Dateisystem.
FCMS vServer mit SSD Storage laufen wieder.

21-06-2018 13:30
Weitere Systeme werden wiederhergestellt.

21-06-2018 13:44
FCMS Public Cloud Storage fast vollständig gestartet.
Wir werden in kürze die vServer nacheinander starten.

21-06-2018 13:46
VMware VMs sollten einmal neugestartet werden.
Wenn Ihre VM nicht erreichbar ist bitte https://vcenter.tk-dns.de/ nutzen.

21-06-2018 14:14
Wir starten jetzt die Public FCMS vServer (vierstellige ID).

21-06-2018 14:56
FCMS private Clouds sind fast alle wiedhergestellt.
In der FCMS Public Cloud starten wir weiterhin alle vServer nach und nach.

21-06-2018 15:37
FCMS public Cloud: Wir prüfen momentan alle vServer die nicht automatisiert gestartet werden konnten.
Ticketsystem und Mailserver sind wiederhergestellt.

21-06-2018 17:50
Sollten weiterhin Probleme bestehen, melden Sie sich bitte über support@filoo.de
Ein Incident-Report wird morgen im laufe des Tages veröffentlicht.

Die Hotline ist heute eine Stunde länger besetzt (19:00 Uhr).
Die Hotline ist heute zwei Stunden länger besetzt (20:00 Uhr).

21-06-2018 20:00
Die Rufbereitschaft ist selbstverstänlich wie gewohnt erreichbar: +49-5241-86730-28