Jak na výstavbu firemního datacentra? (1. díl)
Následující článek je prvním dílem seriálu věnovaného budování a správě moderního datového centra. Rozhodli jste se pro vybudování vlastního datového centra pro potřeby vaší firmy? Pak jste si už určitě také ujasnili, jaký typ datového centra chcete stavět, kolik technologií potřebujete umístit a za jaké teploty budete stroje provozovat. Naprosto klíčovým faktorem při výstavbě je však samotný výběr místa. Firmy, které pro svá datacentra zvolily záplavové oblasti v pražském Karlíně, by mohly vyprávět.
Zásadní otázka: Kde?
Dle výše rozpočtu se nabízí dvě možnosti. Tou první je datacentrum na zelené louce, druhou pak retrofit, neboli umístění datacetra do již existující budovy. Oba přístupy mají své výhody i nevýhody. Novostavba prakticky umožňuje postavit budovu na míru datacentru a celkově dosáhnout lepších energetických parametrů a vyšších stupňů certifikací. Lokalita by měla umožňovat budoucí růst a nacházet se v seismicky klidné oblasti mimo záplavovou zónu – norma TIA 942 obsahující návrhy a doporučení pro design datacenter zmiňuje odolání až pětisetleté vodě.
Obecně je vhodné volit místa s kvalitním připojením ke zdroji elektrické energie i konektivity. V oblasti by v ideálním případě již měly být k dispozici dvě nezávislé optické trasy. Pokud nejsou, je právě vybudování sekundární optické trasy položka, která může projekt výrazně prodražit a časově prodloužit. Položení kabelů s sebou totiž nese zdlouhavý proces vyjednávání s vlastníky pozemků, vyřizování věcných břemen a podobně.
S výstavbou datacentra v retrofitu se obvykle pojí pozitivní prvek, a tím jsou nižší finanční náklady. Ruku v ruce s nimi jdou však i omezení stávající budovy a její celkový stav. Doporučuje se zejména kontrola nosnosti podlah. Obvyklá nosnost se ve starších budovách pohybuje kolem dvou set kg/m2. Plné rackové skříně ale hravě pojmou i třikrát až čtyřikrát více na metr čtvereční. Nezapomeňme ani na nosnost střechy, která bude sloužit k umístění venkovních jednotek klimatizací a dalších komponent.
Tier system
Rozděluje datová centra dle dostupnosti. Čím vyšší tier, tím vyšší teoretická dostupnost datacentra.
- Tier I basic V datacentru jsou instalovány UPS i generátory, avšak bez redundanceRedundanceRedundance znamená nadbytek oproti nezbytně nutnému. V IT nejčastěji jako zdvojení HW/datvíce, pravidelná údržba proto může zapříčinit výpadek, garantovaná dostupnost 99,671 % (tj. výpadek až 28 hodin ročně)
- Tier II redundant components N+1 redundance komponent (klimatizací, routerů, UPS), avšak pouze jedna distribuční cesta, garantovaná dostupnost 99,741 % (tj. výpadek až 22 hodin ročně)
- Tier III concurrently maintanable Jakákoliv plánovaná údržba probíhá bez výpadku, k dispozici je dostatečná kapacita záložních linek vedených různými trasami, porucha na infrastruktuře stále může způsobit výpadek části DC, garantovaná dostupnost 99,982 % (tj. výpadek až 95 minut ročně)
- Tier IV fault tolerant Infrastruktura ustojí minimálně jeden výpadek libovolné části, typicky všechny prvky infrastruktury redundantní (2x N +1), garantovaná dostupnost 99,995 % (tj. výpadek až 26 minut ročně)
Napájení
Nepřetržité napájení veškerých technologií je alfou a omegou datového centra. Proto datacentra vznikají, a proto by v ideálním případě měla být vždy napájena ze dvou oddělených větví elektrické energie s vlastním transformátorem. Elektrický proud prochází přes trafostanici skrze ATS (Automatic Transfer Switch), s připojeným diesel agregátem, do UPS jednotek se samostatnými bateriovými moduly. U menší firmy je možné realizovat napájení jen z jedné trafostanice, avšak každé zařízení by mělo disponovat duálním napájením ze dvou nezávislých větví. Větší datová centra s očekávaným výkonem nad 2 megawatty naopak mohou zvážit pořízení unikátního napájecího systému bez baterií, tzv. dynamické nebo rotační UPS. Takové zařízení integruje v jediném soustrojí systémy transformátoru, UPS i motorgenerátoru. Představit si ho můžeme jako setrvačník ve vakuovém obalu, který se neustále otáčí, a v případě výpadku energie pohání generátor.
UPS jednotky pokud možno vždy umisťujeme do oddělených prostor, protože potřebují nižší provozní teplotu. Vhodné je nepodcenit ani nákup kvalitních UPS jednotek. Některé levnější kusy disponují bateriemi s krátkou životností. Jejich údržba se proto už kdekomu oproti pořizovací ceně nečekaně prodražila. Dobrou volbou pro datacentra očekávající růst je také pořízení modulárních UPS. S každým dalším rozšířením je možné snadno přidat i další moduly.
Studené a teplé uličky aneb chlazení
Nezbytnou součástí datacentra je také chlazení. Jakýmsi standardem v této oblasti se stala dvojitá podlaha a systém studených a teplých uliček. Studené uličky je navíc vhodné zakapotovat, aby se zabránilo mísení studeného a teplého vzduchu. Rackové skříně a servery v nich jsou umístěny tak, aby z přední strany nasávaly studený vzduch a zezadu ho vypouštěly ohřátý do teplé uličky (tzv. front to back). Dvojitá podlaha, kterou bude do místnosti přiváděn studený vzduch, poslouží i dalšímu účelu – vedení metalické kabeláže. Optickou kabeláž naopak pravděpodobně povedete spíše nad racky v plastových žlabech.
V současnosti je preferovaná metoda chlazení pomocí tzv. free coolinguFree coolingFree cooling je systém ekonomického chlazení datových centervíce, díky němuž je možné využít nižších venkovních teplot, pro úsporu elektrické energie, spotřebované pro chlazení. Tento moderní způsob chlazení dosahuje maximální efektivity při nižších venkovních teplotách, ale úspor se již dosahuje při rozdílu několika stupňů. Jako doplnění kompresorového okruhu je v klimatizačních jednotkách používán glykolový okruh s venkovním radiátorem, který odvádí teplo pryč z prostor datacentra. Při napjatém rozpočtu a menší kapacitě firemního datového centra s jednotkami racků si však bohatě vystačíte s klasickou DX (direct expansion) klimatizací typu přímý výpar. DX jednotky mají nižší pořizovací náklady, ale dlouhodobě vyšší provozní náklady. Vyplatí se při chlazení malých výkonů.
Moderní datová centra se nyní staví jako tzv. high temperature data centres neboli vysokoteplotní. Nejnovější technologie ustojí ve studené uličce teploty cca od 27 až v extrémních případech do 35 °C. Proč vysokoteplotní datacentra vznikají? Důvod je prostý – při zvýšení teploty klesají náklady na energii a chlazení. Společnost Google tak například zvýšením teploty o 1 °C ve svých datacentrech šetří 4 % veškerých nákladů na energii, Intel dokonce 7 %. V našich podmínkách je navíc možné takovéto datacentrum po celý rok chladit pouze free coolingem a šetřit další náklady.
Rady a tipy pro výstavbu datového centra
- Zvolte vhodné místa mimo záplavovou oblast
- Prohlédněte si stav budovy a zjistěte nosnost podlah i střechy
- Ověřte si dostupnost vysokonapěťových přívodů
- Myslete na konektivitu, ideálně by měly být dostupné 2 optické trasy
- Při zakrytování uliček zacpěte i ty sebemenší otvory
- Pozorně čtěte všechny datové listy a soustřeďte se na ztráty a účinnost jednotlivých zařízení
- Nezapomínejte na pravidelné revize a bezpečnostní školení
- Všechny vstupy a výstupy monitorujte a analyzujte, včetně napájecích okruhů
Požární bezpečnost a monitoring
Data na serverech by měla být chráněna nejen před nechtěným výpadkem elektrického proudu, ale také před požárem nebo vniknutím nežádoucích osob. Minimálně protipožární alarm a hasicí přístroje určené pro hašení zařízení pod proudem by tak měl být k dispozici v každé sebemenší serverovně. Datacentra střední velikosti obvykle disponují automatizovaným systémem s detektory kouře a tepla. Hasicím médiem jsou nejčastěji inertní plyny, například ekologický FM200, který je zcela neškodný a šetrný jak k životnímu prostředí, tak k serverům. Levnější alternativou plynu FM200 mohou být systémy využívající demineralizovanou vodu nebo třeba dusík.
Fyzickou bezpečnost zajišťují kamery, případně i fyzická ostraha budovy, nemluvě o zámku či kódových dveří u vstupu do serverovny. V neposlední řadě nezapomeňme na monitoring veškerých komponent. U napájení měřte vstupy i výstupy z jednotlivých rackových skříní a vyhodnocujte spotřebu, abyste včas zabránili zbytečným ztrátám. Stejně důležitý je monitoring teplot a chlazení. Pokud systémy chlazení začnou pracovat mimo oblast, kde mají ideální účinnost, jejich spotřeba elektrické energie většinou velmi stoupne. Pro tyto potřeby je k dispozici celá řada komerčních systémů a nástrojů, nebo si jednoduše naprogramujte vlastní.
Pokračování příště
Co dělat ve chvíli, kdy máme vybudované a kompletně vybavené datacentrum? S trochou nadsázky bychom mohli říct, že je čas na odpočinek. O tom, kolik cesty je ještě před námi, se dozvíte v dalším díle tohoto seriálu, který se bude věnovat virtualizaci hardware a stavbě cloudu.
Článek původně vyšel v odborném magazínu IT Systems, číslo 10/2014