Vybavení datacentra a doporučení pro vysokou dostupnost

V tomto návodu vysvětlujeme, jak využít vybavení našich datacenter v Praze a Brně tak, abyste eliminovali co možná největší množství výpadků spojených s napájením, konektivitou a chlazením.

Napájení datacentra

Napájení umístěných technologií je zajišťováno ze dvou nezávislých napájecích větví střídavého napětí 230 V „A“ a „B“. Dojde-li k problému nebo servisu na jedné větvi, může umístěnou technologii napájet druhá, plně funkční větev. Jednotlivé napájecí větve jsou fyzicky oddělené, zálohované UPS a motorgenerátorem.

Jako primární zdroj napájení větví slouží dvě trafostanice vysokého napětí. Na každé větvi je v provozu jedna. Tyto trafostanice jsou určeny pouze pro napájení datacentra a nejsou sdíleny s dalšími subjekty.

K překlenutí krátkodobých výpadků energie slouží záložní zdroje UPS s oddělenými bateriovými moduly (Vertiv, APC Symmetra modulator). UPS chrání veškerá zařízení před neočekávanými výkyvy v síti, jako jsou poklesy napětí, napěťové špičky nebo šumy. UPS jsou typu online.

V případě dlouhodobějších odstávek elektřiny nebo neočekávaných delších poruch se automaticky uvádí po 40 sekundách do provozu redundantní motorgenerátory 2N+1 (Broadcrown, Mitsubishi), které vydrží v provozu bez tankování minimálně 24 hodin. Každá z napájecích větví má oddělenou skupinu záložních motorgenerátorů. Datacentra jsou rovněž vybavena zásobami nafty na několik dní. Pro případ rozsáhlého celostátního výpadku energie jsou s dodavateli smluvně sjednány podmínky dovozu nové nafty.

• Distribuční rozvaděče ve větvích umožňují napájení technologií o jmenovitých hodnotách jištění 10 A, 16 A, 32 A.
• Motorgenerátory jsou testovány 1x měsíčně. V rámci testů je z motorgenerátorů napájena celá zátěž datacentra.

Specifikace napájení

Konektivita

Páteřní síť MasterDC je plně redundantní. Veškeré uzly sítě jsou napojeny minimálně ze dvou nezávislých směrů. Při výpadku jedné z linek se provoz automaticky přesměruje do záložního propoje. K páteřní síti jsou redundantně připojeny jednotlivé sítě v datacentrech.

V rámci datových center je síť postavena jako L3 leaf-spine design s využitím 40 a 100GE.

Zákaznické technologie v datacentru umožňujeme připojit pomocí 1, 10, 25, 40, 100GE při využití SFP, SFP+, SFP28, QSFP+ a QSFP28 technologií, případně 1GE.

Zákazníci mohou využít připojení pomocí jedné nebo dvou větví konektivity.

Pro druhou větev konektivity podporujeme tyto L2 konfigurace zálohy:

• L2 – Porty na straně MasterDC jsou zapojeny ve fyzicky oddělených switchích v jedné VLAN se zapnutým BPDUguard. Toto zapojení je vhodné pro připojení router portů, například serverů s active-passive bondingem, nebo firewallů v HA a VRRP na straně zákazníka.
• L2 s STP – Porty na straně MasterDC jsou zapojeny ve fyzicky oddělených switchích v jedné VLAN se zapnutým RTSP s rootguard. Toto zapojení je vhodné pro připojení switchů s RTSP na straně zákazníka.
• L2 s LACP – Porty na straně MasterDC jsou zapojeny ve fyzicky oddělených switchích s MLAG a na portech směrem k zákazníkovi je aktivní protokol LACP. Toto zapojení je vhodné pro servery s active-active bondingem nebo switche s podporou LACP na straně zákazníka.

Pro druhou větev konektivity podporujeme i řešení na L3 s využitím:

• statického routingu a VRRP;
• dynamického routingu se spojovacími sítěmi, BGP a privátním AS na straně zákazníka.

Chlazení

Využíváme klimatizační jednotky přesné klimatizace Vertiv (bývalý Liebert), případně Stulz, o výkonu až 100 kW v režimu N+1. V případě výpadku nebo servisu jedné z klimatizačních jednotek je její provoz pokryt ostatními. Regulace funguje jednak na principu připínání a odpínání chladících okruhů, jednak je řízena elektronicky podle tepelné zátěže. Kompresorový okruh využívá chladivo R407c. V případě free coolingových jednotek Stulz je glykolový okruh s čerpadlem napojen přes tlakové potrubí na venkovní drycoolery Güntner o výkonu 150 kW. V případě jednotek s přímým výparem jsou využity venkovní kondenzátory.

V sálech je nainstalován systém zdvojené podlahy a studených a teplých uliček. Studené uličky jsou kapotované. Klimatizační jednotky vhánějí vzduch pod podlahu, odkud se perforací v podlaze dostává do kapotovaných studených uliček. Průchodem přes technologie, umístěné v racku se vzduch ohřívá a je následně odváděn do volného prostoru, odkud jej, pod stropem, znovu nasává klimatizační jednotka k ochlazení.

• Veškeré nevyužité pozice v racích jsou zaslepeny, aby nedocházelo k míchání studeného a teplého vzduchu.
• Teplota ve studených uličkách se udržuje v rozmezí 22–25 °C.
• Vlhkost v sálech je udržována v rozmezí 40–60 %.

Systém studených a teplých uliček