Rok 2020 byl hodně bouřlivý, a díky tomu také píši tento článek právě až nyní. Pojďme si nyní shrnout události a také novinky, které sice nebyly publikované, ale jsou již nějakou dobu v platnosti.
Stěhování DC 2 do Superhostingu
DC 2 (Server hostingoví zákazníci) jsou nyní v prostorách společnosti Superhosting. Bohužel přes opakované problémy s konektivitou (špatné přepínání zálohové trasy apod.), jsme byli nuceni přesunout zákaznické servery služby server hosting pod housing společnosti Superhosting. Rád bych tímto poděkoval společnosti Superhosting za extrémní pomoc při stěhování a ochotu.
Masivní pád Subregu a následné změny
Dne 14.9.2020 byl hacknut jeden z největších registrátorů domén - Subreg, právě i domény hostingu hostliner jsou vedené u Subregu, a díky tomu tento výpadek ovlivnil i nás.
Podrobnější informace k této události můžete najít například zde: Subreg hacknut timeline
Ve zkratce to pro hostliner znamenalo výpadek stovek zákaznických domén (zákazníci kteří měli domény jinde byli bez výpadku). Rozhodli jsme se tedy subregu nechat čas, aby věci dal do pořádku.
Bohužel útok byl tak rozsáhlý že Subreg běžel/neběžel skoro celý týden, a tak po 24 hodinách od prvních problémů jsme se rozhodli jednat.
Zrození DNS systému hostliner
A tak během dalších 24 hodin, kdy zákaznické domény sporadicky běžely a neběžely jsme dali dohromady vlastní DNS systém. Který běží na adresách ns1.hostliner.cz ns2.hostliner.cz ns3.hostliner.cz (NS3 je v síti superhosting, kvůli redundanci)
Tento systém byl po prvním otestování ihned nabídnut v testovací verzi zákazníkům, a ihned jej využilo necelých 60 domén. Zbytek zákazníků počkal na vyřešení ze strany Subregu.
I když to byl dosti tvrdý týden, Subregu se podařilo do týdne postavit celou společnost opět na nohy, i když byl útok velmi rozsáhlý.
Náhodné zastavování hlavního databázového serveru
V prosinci jsme zaznamenali pády databázového serveru, přesněji lock up-y, které vedly k zastavení databázového serveru a následné naplnění apache workerů. Tím pádem došlo k 3-4 minutovým výpadkům na webhostingu a multihostingu (cluster hosting bez výpadku). Po rozsáhlé diagnostice se nakonec podařilo odhalit příčinu - Při velkém importu se naplnila zápisová cache na RAIDovém řadiči. Ve chvíli kdy se naplnila tato cache, tak se musela vyprázdnit na disky, a v tu chvíli klesli IOPS operace na extrémně nízkou hodnotu. Díky tomu bylo na WH a MH pak vše zpomalené natolik, že se naštosovaly requesty na webovém serveru, který vystropoval LOAD na 100, čímž server přestal odpovídat.
Bohužel tento problém je způsoben i špatným flushováním cache ze strany Mysql 5, který způsobil že se naplnila write cache při flushování MySQL dat na disk.
Upgrade na MySQL 8 a SSD disky
Díky výše zmíněnému problému bylo potřeba aktualizovat prvně MySQL kvůli lock-up problémům při flushování cache, a zároveň systém dostat nad disky, kde není potřeba write cache - SSD disky.
5. Ledna 2021 se tedy udělal přesun MySQL serveru na SSD disky.
Testovací verze PHP 8
Pro webhosting a multihosting je nyní možnosti si vybrat i možnost PHP 8 - je v režimu testování, nejsou plně funkční všechny moduly (intl a cURL).
Zároveň je jako základní verze PHP 7.1, tudíž nové hostingy jsou již zakládané ve verzi 7.1, staré hostingy jsou ponechány v jejich původních verzích.
Další úpravy ve WAF
Jako další byly vloženy do WAF (Web Application Firewall) další vstupy které nyní zabraňují dalším metodám SQL injection, aby napadaly weby.
Dále také byla zrychlená odpověď WAF na hrozby (nyní do 20 sekund), a díky tomu se nám podařilo automatizovaně odrazit několik DDoS útoků.
Navyšování kapacity
Proběhlo také navyšování kapacity. Server pro WH a MH je nyní vybaven 128 GB RAM. Na zálohovém serveru je již 1,5 TB zákaznických záloh. MySQL dostalo SSD upgrade viz. odstavec výše.
Závěr
Na závěr bych chtěl poděkovat za trpělivost zákazníků při řešení problémů, a věřím že nové funkce a upgrady budou pro zákazníky vítaným přínosem.
16.02.2021