Blue Flower

Sorry, seit Samstag, 25.04.2015, ca. 07:50 Uhr haben wir eine Störung und diverse Server sind leider nicht erreichbar!

Wir arbeiten mit Hochdruck an dem Problem und bitten um Entschuldigung! Wir erreichen seit 8 Jahren eine durch-

schnittliche Erreichbarkeit von 99,8% und versuchen die Zeit der Störung so kurz wie möglich zu halten!

Seit Sonntag ca 14:00 Uhr ist nun das eine Host-System komplett vom Rechenzentrum gesperrt worden, weil dieses des operative Umfeld gefährdet! Ob ein oder
mehrere Server sind gehackt worden, ist unklar! Den auf das andere Host-System transferierten pl1server hatten wir nach der Sperrung des einen Hosts, aus
Sicherheitsgründen auch gesperrt, weil auch hier Auffälligkeiten wieder auftauchten! Wir haben den Server gescannt und dieser ist sauber! Allerdings waren die Auf-
fälligkeiten durch Angriffe von außen entstanden! 

Der Scan des pl1server ergab nur bei einem Kunden in einer MySQL-Tabelle enthaltenen Schadcode. Der Webspace wurde gesperrt! Dennoch kann es sich eigentlich nicht um
einen Einbruch gehandelt haben, sondern wir vermuten, daß dies eher über Formular eingegeben wurde (Tabelle eines BB-Board / Forum)!
Nach wie vor, haben wir um weitere Erläuterungen gebeten und dies direkt nach der Sperrung am Sonntag 14:00h, von welcher IP (welchem Server) angeblich ein Hacking ausging!
Leider haben wir bisher keine Antwort erhalten! 

Wir könnten mit "aller Gewalt" jetzt die Server auf einem anderen Host bereit stellen, aber dann würden wir Gefahr laufen, daß wenn wirklich einer davon schadhaften
Programm-Code enthält, daß auch der andere Host gesperrt wird! Und wenn die dann vom RZ berechtigt gesperrt haben, wären es nicht 2 gelbe Karten, sondern sehr
wahrscheinlich die rote Karte! Aus diesem Grund haben wir es beim pl1server belassen, diesen zu verschieben, da die Verschiebung schon gestern statt fand und
wir haben ihn aber etliche Stunden persönlich durch Miteinsichtname der Log-Files und NetStatistiken überwacht! tail -f diverser Logs in verschiedenen Fenstern auf 
verschiedenen Monitoren! 

Parallel haben wir die MTRG ausgewertet und fest gestellt, daß seit dem Ausfall gestern, nur geringer Traffic angefallen ist! Auf der einer IP, die uns heute Mittag
gemeldet wurde, für die wir aber sofort nach Meldung, die MAC entzogen haben und die dann gar kein Routing mehr haben konnte, sind tatsächlich 40 KiloByte in die 
Mitigation gewandert, aber auch eingangs und ausgangs, aber ob dies mit dem fehlenden Mapping von IPv6 und ggf. eigenen Abwehr-Maßnahmen zusammen hängt, 
ist weiter unklar! Auf jeden Fall haben wir alle Statistiken via Screen-Shots gesichert und wir müssen nun abwarten, daß die Herren des RZ sich melden, denn ob 
doch noch ein Server hier mit Schadsoftware die Infrastruktur behindert hat, ist noch nicht vollständig klar! 

 

Sorry, starting today, 25th april 2015, 07:50 h, we have a fault and various servers are not available!

We are working hard on the problem and apologize! We have in 8 years an average availablity of 99,8 % and we do

our best to short the time of the fault!

 

Perdona, hoy de 25 april 2015, despues de 07:50 h un problema existir en de sistemas de hosting!

Ahora trabajo con mas potencia para regular este problemas! En 8 años de medio disponiblidad es 99,8 % y 

de personas technico trabajo fuerte para reducir de horas de faltas! Perdona por molestas!

SA 07:50h - System hat nichts mehr geantwortet und Neustart des Hosts-Systemes wurde durchgeführt - danach mehrere Disk-Scans 

SA 11:40h - Starting disk array scan - intensiv

SA 14:10h - Host-System works, but Files-System - many Errors - we check the system!

SA 17:00h - Es läuft ein Restore von pl1server auf anderen Host

SA 17:43h - Es erfolgt massives Hacking von CHINANET - ob die Störung durch Hacking verursacht wurde, ist noch unbekannt!
             CHINANET RIR 221.232.0.0/14 gesperrt!

SA 19:00h - Es läuft ein Restore von k5server

SA 19:12h - RESTORE pl1server erfolgreich - 1 Webspace gesperrt wegen Unregelmäßigkeiten (Massenhafte Einbruchsversuche, die aber durch
    die Firewall abgefangen werden! - Server-Scan wird zur Sicherheit gestartet

SA 19:30h - Das andere Host-System ist auch wieder da, aber wir müssen weiter sortieren - bitte noch Geduld - Einige Server waren problemlos
     startfähig - keine Auffälligkeiten im Netztraffik oder in der Auslastung

SO Bereitstellung diverser Server bis heute morgen auf dem pm1-host - Wir haben bis in die tiefe Nacht gearbeitet! 
    Wir haben parallel festgestellt, daß auf dem betroffenen Host IPv6 nicht mehr bereit stand, dadurch auch nicht die PVE-Firewall,
    was aber eigentlich kein Problem darstellt, da die Server über einzelne Firewalls verfügen, dennoch haben wir auch hier nach einer
    Lösung gesucht!

SO 14:00h - Hostsystem PM1 wurde abgeschaltet, weil angeblich vom ihm die Infrastruktur belastet wird