Jak na výstavbu firemního datacentra? (2. díl)

V minulém vydání jsme si přiblížili výběr vhodné lokality pro datové centrum a probrali základy napájení a chlazení. Pro firemní servery jsme zajistili fyzickou bezpečnost a duální konektivitu. Nakročeno máme správným směrem, ale k cíli v podobě fungující infrastruktury zbývá urazit ještě několik kroků.

Síť je základ

Dnešní aplikace kladou na síťové technologie vysoké nároky a v této oblasti také dochází k velmi rychlému vývoji. V minulosti doporučovaná třívrstvá architektura připomínající strom (access, aggregation, core) je dnes považována za nákladnou a neefektivní. Mezi hlavní argumenty proti této topologii patří nasazení spanning tree protokolu (STP) pro odstranění síťových smyček. Smyčky jsou v síti nežádoucí a STP se jich zbavuje vypnutím redundantníchRedundanceRedundance znamená nadbytek oproti nezbytně nutnému. V IT nejčastěji jako zdvojení HW/datvíce cest. V praxi to znamená, že je skutečně využívána jen část celkové propustnosti sítě. Redundantní linky se aktivují pouze v případě rozpojení primární cesty.

Novější leaf-spine návrh odstraňuje aggregation a access vrstvy třívrstvé architektury a nahrazuje je sítí páteřních (spine) a koncových (leaf) switchů ve full-mesh topologii. Každý spine switch je tak přímo připojen ke všem leaf switchům a všechny linky jsou aktivní současně. Tento design při stejných nákladech umožňuje dosáhnout vyšší propustnosti sítě a nižších latencí než první zmiňovaná architektura. Nežádoucí STP zde může být nahrazen L3 protokoly nebo moderními L2 protokoly, jako je např. Trill.

Třívrstvá nebo leaf-spine architektura?

Pro většinu datacenter a aplikací je tradiční třívrstvá architektura zcela dostačující. Trend odklonu od STP a L2 obecně je ale těžké ignorovat a sami výrobci síťových prvků budou zákazníka tlačit směrem k leaf-spine. Výhody novější topologie se navíc plně projeví při nasazení některých moderních aplikací, které často vyžadují velkou propustnost dat.

Z dnešního pohledu lze tedy jednoznačně doporučit leaf-spine architekturu, přestože konkrétní implementace jednotlivých výrobců se může mírně lišit. Samozřejmě stále platí, že veškeré důležité komponenty jsou zdvojené tak, aby selhání kteréhokoliv prvku síťové infrastruktury nemohlo způsobit nedostupnost koncového zařízení.

Bez serverů by to nešlo

Navzdory obrovskému růstu výkonu a výpočetních kapacit serverů je právě tato oblast zřejmě nejvíce konzervativní. Servery tradičně přicházejí ve formě tower, rack nebo blade, přičemž formy tower a rack značí samostatný plnohodnotný server.

Blade servery pro svou funkčnost potřebují tzv. šasi, které zajišťuje sdílené napájení, chlazení a zpravidla i konektivitu a management pro větší množství blade serverů, typicky šestnáct. Cílem je zvýšit hustotu serverů, a tím snížit nároky na prostor v datovém centru. Šasi se sdíleným napájením je navíc obvykle energeticky úspornější než stejné množství samostatných serverů.

Platí jednoduché pravidlo – blade šasi je nejlepší kupovat plné. Pokud se tedy rozhodnete svou aplikaci budovat na blade serverech a postupně škálovat s rostoucím počtem uživatelů, jednotkou růstu pravděpodobně nebude server, ale spíše celé šasi.

Dalším aspektem je zvětšení tzv. failure domény. Jedná se o důležitý pojem při definování redundance a popisuje okruh služeb, které budou postiženy výpadkem určité komponenty. Při práci s blade servery může teoreticky dojít k výpadku celého šasi, proto pro zajištění typické N+1 redundance potřebujeme navíc jedno plné šasi. To je značný rozdíl oproti jednomu rack nebo tower serveru. Obecně se tedy vyplatí blade servery nasadit zejména ve větším objemu, kde se plně vyplatí jejich výhody – úspornější provoz a snadný management.

Nové trendy

Výrobci hardware si uvědomují, že pro většinu zákazníků jsou blade šasi zbytečně velká a nákladná. Proto se snaží spojit to nejlepší z obou světů a vytvořit servery s vyšší hustotou, efektivním napájením a malou failure doménou. Výsledkem jsou malá šasi pro dva až osm serverů nabízející společné napájení a management. Jedná se o zajímavý trend, který by mohl přiblížit blade řešení i českému trhu. Už při samotném návrhu datacentra je vhodné brát v úvahu typ serverů, které v něm budou umístěny, pokud tuto informace máme k dispozici. Větší hustota serverů totiž znamená také větší koncentraci tepla a zvýšené nároky na chlazení.

Čeho se vyvarovat?

Občas lze narazit na „servery“ seskládané z desktopových komponent. Výsledkem je na první pohled výhodný stroj s velkým výkonem a nízkou cenou. Zkušenost ovšem říká, že je lepší se takovým sestavám vyvarovat. Peníze ušetřené za nákup serverů je později stejně nutné vynaložit za správu, protože servery nemají out-of-bandOut-of-band (mimopásmová komunikace)Out-of-band je označení pro komunikaci mimo hlavní přenosové pásmo (kanál).více management a kvůli rutinním chybám typu „zaříznutý firewall“ je potřeba jezdit do datacentra. Doporučuji se vyhnout i desktopovým diskům a zdrojům, neboť se jedná o nejporuchovější součásti dnešních počítačů. V serverech jsou pak jejich nedostatky ještě patrnější. Stejná rada platí i pro desktopové SSD disky, kde je na serverech patrný strmý propad výkonu jakmile je disk jednou zaplněn. Tento fenomén, známý jako „write cliff“, je způsoben běžícím garbage-collection procesem, který uvolňuje místo pro nové zápisy. Na desktopu je těžko postřehnutelný, na databázovém serveru může způsobit nepříjemné a těžko diagnostikovatelné problémy. Výrobci serverových SSD do svých disků dávají vyšší kapacitu, než jakou disk hlásí do systému. Nadbytečná kapacita je využita právě pro zmírnění write cliff efektu a chrání data, pokud se životnost disku blíží ke konci.

Datové úložiště, neboli storage

V datovém centru pojem storage obecně znamená „zařízení pro ukládání dat“. Může se jednat o lokální disk přímo v serveru nebo komplexní sestavu diskových polí.

DAS: Direct attached storage

Základní úroveň storage, při které jsou všechny disky připojeny přímo k serveru. Aby bylo takové úložiště dostupné po síti, hostující server musí použít speciální software, který data zpřístupní. Klienti se pak připojují k hostitelskému serveru. Pokud dojde k poruše hostitelského serveru, data jsou po síti nedostupná.

NAS: Network attached storage

Úložný prostor připojený k síti s přístupem na úrovni souborů. Byl vyvinut jako reakce na poptávku po specializovaném zařízení tohoto typu. Je možný souběžný přístup z více klientů a v minulosti představoval zejména levný a jednoduchý způsob sdílení dat po síti. V dnešní době jsou na trhu rychlá, spolehlivá a sofistikovaná zařízení tohoto typu, která mohou soupeřit i se SAN řešením.

SAN: Storage Area Network

Vysokorychlostní síť vyhrazená pro přenos dat mezi servery a blokovými storage (diskovými poli). Mezi nejběžnější SAN protokoly patří iSCSI a Fibre Channel. Oba slouží k rychlému a spolehlivému přenosu blokových dat. SAN sítě obvykle poskytují nejvyšší výkon a spolehlivost, ale jsou nejdražší a nejnáročnější na správu.

V datacentru běžně vidíme všechny tři zmíněné typy storage, nejčastěji však DAS u běžných serverů. Nejrychleji rostoucím je pak SAN, a to zejména díky virtualizaci.

Volba vhodného typu storage vždy závisí na konkrétní aplikaci. Například pro databázový server se hodí rychlé lokální disky a vysoká dostupnost se nejlépe zajistí na úrovni aplikace, ať už vybudováním databázového clusteru nebo jednoduchou replikací. Virtualizace na druhou stranu dokáže těžit z oddělení storage od výpočetních serverů, a proto v moderním datacentru prakticky vždy najdeme i SAN/NAS storage.

Tradiční pojetí SAN

Základním kamenem typické SAN jsou disková pole. Jedná se o specializovaná zařízení sloužící výhradně k rychlému blokovému přístupu k datům. Diskové pole se skládá obvykle z dvojice redundantních kontrolerů a jedné či více diskových polic. Kontrolery zprostředkovávají síťový přístup k datům a fungují jako řídící prvek celého pole. Diskové police jsou naproti tomu jednoduchá zařízení bez vnitřní logiky a slouží pouze jako fyzické úložiště dat.

Pokud přestane dostačovat výkon nebo kapacita, lze snadno doplnit další police s disky. Kontrolery samotné ale škálují obtížně a nezřídka je nutný složitý přechod na vyšší verzi diskového pole.

Alternativní storage na komoditních serverech

Náklady na vybudování SAN a problémy se škálovatelností kontrolerů otevírají dveře alternativním řešením. Vzhledem k příznivým cenám serverů, vzrůstající hustotě disků na jeden server a vysokému výpočetnímu výkonu je praktické k vybudování moderní SAN využít právě běžné servery. Aplikací tohoto typu je na trhu velké množství, a to i od renomovaných dodavatelů. Při návrhu síťové infrastruktury pro takové nasazení je ovšem potřeba vzít v úvahu velký síťový provoz mezi jednotlivými storage servery a patřičně se na něj připravit.

Tradiční i moderní technologie, se kterými se při výstavbě datového centra budeme setkávat, by vám již po dnešním seznámení neměly být cizí. V dalším, závěrečném díle, už do našeho datového centra převedeme podnikové aplikace a zajistíme jim spolehlivý provoz v cloudu.

Článek původně vyšel v odborném magazínu IT Systems, číslo 11/2014.