Pamięć masowa i operacyjna HPC

Nie pozwól, aby opóźnienia dostępu do danych stały się wąskim gardłem wydajności. Poznaj zaawansowane rozwiązania pamięci trwałej i pamięci masowej HPC zoptymalizowane pod kątem wymagań dotyczących przepustowości i wydajności dzisiejszych obciążeń roboczych HPC przetwarzających duże ilości danych.

Omówienie pamięci masowej i operacyjnej HPC:

  • Tradycyjne rozwiązania pamięci masowej zaprojektowane dla dysków HDD i blokowych operacji we/wy nie są dobrym rozwiązaniem dla dzisiejszych obciążeń HPC przetwarzających duże ilości danych, w tym AI i symulacji.

  • Rozwój wymagań związanych z pamięcią masową HPC spowodował konieczność zmniejszenia opóźnień i rozwiązań pamięci masowej HPC, które są w pełni zoptymalizowane pod kątem technologii pamięci trwałej (NVM), ekosystemów oprogramowania HPC i wszystkich komponentów architektury HPC.

  • Rozwiązania pamięci masowej i operacyjnej Intel® HPC, w tym pamięć trwała Intel® Optane™, dyski SSD Intel® Optane™ Solid State Drive oraz Intel® QLC 3D NAND SSD współpracują w celu usunięcia barier między danymi i obliczeniami.

BUILT IN - ARTICLE INTRO SECOND COMPONENT

AI, analiza dużych zbiorów danych, symulacja, badania obliczeniowe i inne obciążenia robocze HPC są dużym wyzwaniem dla pamięci masowej i operacyjnej. Architekci rozwiązań HPC muszą uwzględniać istotne zalety, które oferują zaawansowane rozwiązania pamięci masowej i operacyjnej HPC, w tym możliwość pozbycia się wąskich gardeł w zakresie wydajności i pojemności, które pojawiły się wraz ze wzrostem liczby rdzeni. Podczas gdy pojemność dynamicznej pamięci o dostępie swobodnym (DRAM) nie wzrasta wystarczająco szybko, aby sprostać potrzebom dzisiejszych procesorów, dyski SSD NAND powodują luki w zakresie wydajności, ponieważ nie umożliwiają odpowiednio szybkiego dostępu do często używanych danych. Nowe technologie oferują rozszerzony dostęp do danych w pamięci oraz szybszy dostęp do często używanych danych, co jest niezbędne, by pamięć masowa i operacyjna nie stały się wąskim gardłem w dzisiejszych systemach HPC.

Aby spełnić lub nawet przewyższyć kryteria dzisiejszych najbardziej wymagających testów porównawczych, systemy HPC muszą zawierać zrównoważony zbiór elementów składowych. Z powodu wykładniczego wzrostu wielkości zestawów danych w ostatnim czasie oraz liczbą operacji odczyt/zapis, które muszą wykonać aplikacje HPC, często to wydajność pamięci masowej i operacyjnej, a nie prędkość procesora, ogranicza ogólną wydajność systemu.

Obecnie najbardziej zaawansowane technologie pamięci masowej i operacyjnej HPC istnieją w ramach spektrum, które obejmuje od pamięci DRAM na poziomie gorących danych do niedrogich długoterminowych nośników pamięci masowej na poziomie zimnych danych. Architekci systemów muszą zidentyfikować produkty i możliwości, które najlepiej spełniają ich indywidualne potrzeby w zakresie wydajności obciążeń HPC. Coraz częściej nie będzie można tego znaleźć w tradycyjnych rozwiązaniach NVM i pamięci masowej.

Wyzwania w zakresie pamięci masowej i operacyjnej HPC

Granice systemów HPC są stale przesuwane, ponieważ rzeczywiste problemy obliczeniowe wymagają zbierania, przechowywania, dostępności oraz przetwarzania bardzo dużych i ciągle rosnących ilości danych. Sam rozmiar tych zestawów danych stanowi wyzwania dla pamięci operacyjnej i masowej: mówiąc krótko, pojemność pamięci DRAM jest zbyt mała, a dyski twarde są zbyt wolne.

Polegając na tradycyjnych rozwiązaniach pamięci operacyjnej i masowej, architekci systemów HPC musieli dokonać trudnych kompromisów między pojemnością pamięci masowej, wydajnością i kosztami. Wypełnienie luki między gorącymi danymi w pobliżu procesora a większą pojemnością pamięci trwałej dla pełnej gamy różnych obciążeń HPC nie było łatwe. W szczególności pozostały dwie znaczące luki:

  • Między pamięcią DRAM, z jej wysokimi kosztami oraz niską pojemnością, a dyskami SSD opartymi na technologii NAND, które oferują bardziej przystępną cenowo pojemność, ale powodują problemy z opóźnieniem.
  • Między dyskami SSD NAND i dyskami HDD, które mogą zapewnić dużą pamięć masową przy niskich kosztach, ale mają duże wymagania dotyczące energii, chłodzenia i fizycznej przestrzeni, stwarzają problemy z niezawodnością i powodują jeszcze większe opóźnienia.

Co jest potrzebne: zmniejszenie opóźnień i większa pojemność pamięci masowej

Dla wielu obciążeń roboczych HPC szybkość, z jaką można przenieść dane do procesora, stanowi zasadnicze rzeczywiste wąskie gardło wydajności. Architekci rozwiązań HPC próbowali pokonać to ograniczenie przez wykorzystanie lokalnego buforowania i poprzez wdrażanie rosnących pul pamięci DRAM, aby trzymać więcej danych bliżej procesora. Pamięć DRAM zapewnia szybki dostęp do swojej zawartości, ale jest kosztowna, podlega ograniczeniom dotyczącym rozmiaru, co sprawia, że jest niepraktyczna do wykorzystania z dużymi bazami danych w pamięci i nietrwała.

Rozwiązania pamięci nietrwałej nie są dopasowane do ekstremalnych wymagań w zakresie wydajności, z którymi mierzą się dzisiejsze systemy HPC. Skutki utraty danych w przypadku awarii systemu mogą być katastrofalne, a długi czas ponownego uruchomienia znacznie osłabia produktywność.

Przechowywanie większych ilości danych na trwałych nośnikach, takich jak dyski SSD NAND lub dyski HDD, wiąże się jednak z jeszcze większymi problemami w zakresie wydajności. Systemy pamięci masowej zaprojektowane z myślą o tradycyjnych nośnikach HDD i możliwościach wejścia/wyjścia POSIX po prostu nie nadążają za złożonymi wzorcami odczytu i zapisu danych, które są generowane przez obciążenia robocze analiz i symulacji, ani nie są odpowiednie do potrzeb obciążeń roboczych AI charakteryzujących się dużą intensywnością odczytu.

W rzeczywistości wymagania we/wy na węzeł obliczeniowy rosną w całej płycie głównej, zarówno dla eksaskali, jak i mniejszych systemów, zwiększając wymagania związane z rozwiązaniami pamięci masowej HPC, ponieważ wszystkie obciążenia robocze stają się bardziej skomplikowane.

Wybór optymalnych rozwiązań w zakresie pamięci masowej i operacyjnej HPC dla Twoich zadań

Tradycyjne klastry HPC
W przypadku wysokowydajnych zastosowań do symulacji i modelowania, takich jak prognozy dynamiki płynów, modelowanie klimatu i prognozowanie finansowe, obliczenia są zwykle rozłożone na wiele maszyn skonfigurowanych do działania jako jeden klaster HPC. Szybsza pamięć masowa i operacyjna HPC jest potrzebna, aby umożliwić dokładniejsze modelowanie, szybsze generowanie wyników i większą produktywność.

Systemy sztucznej inteligencji (AI)
Obciążenia robocze AI są coraz powszechniej stosowane w aplikacjach HPC. Obciążenia te wymagają znacznie większej liczby operacji odczytu niż tradycyjne obciążenia robocze HPC, a te, które współpracują z klastrami instrumentów lub innymi usługami strumieniowego przesyłania danych w czasie rzeczywistym, wymagają wyższej jakości usług (QoS), aby uniknąć krytycznej utraty danych. Intensywność zapisu również się zwiększa, podobnie jak faza pozyskiwania danych przez AI. Systemy te wymagają niskich opóźnień, szybkiego przesyłania komunikatów, najlepiej z zupełnym pominięciem systemu operacyjnego, aby zapewnić, że uczenie maszynowe i algorytmy wnioskowania działają przy użyciu niezbędnej prędkości i dokładności.

Wysokowydajna analityka danych (HPDA)
Nawet gdy ilość danych rośnie wykładniczo, rośnie też potrzeba szybkiego przeprowadzenia analiz. Obciążenia robocze HPDA nie tylko mają znacznie większe wymagania we/wy niż typowe obciążenia wykorzystujące duże zbiory danych, ale także wymagają większych klastrów obliczeniowych i bardziej wydajnych sieci. Wymagania dotyczące pamięci operacyjnej i masowej HPC dla obciążeń roboczych HPDA są również współmiernie większe.

Superkomputery i eksaskalowe systemy
Skalowalność i przewaga kosztowa nowoczesnych rozwiązań pamięci masowej i operacyjnej HPC są szczególnie ważne dla klastrów superkomputerów i eksaskalowych systemów. Ponieważ te rozwiązania HPC są coraz bardziej rozpowszechnione w przedsiębiorstwach i środowisku akademickim, koszty stają się istotnym czynnikiem. Jednak nadal bardzo istotne jest to, by rozwiązania te ciągle przekraczały granice znanej pojemności obliczeniowej, a jedynym sposobem na to jest wykorzystanie rozwiązań pamięci operacyjnej i masowej HPC, których wydajność jest zgodna z postępami w dziedzinie procesorów, infrastruktury i innych komponentów HPC.

Produkty pamięci masowej i operacyjnej HPC

Dzięki kompleksowej ofercie rozwiązań pamięci masowej i operacyjnej HPC oraz rozproszonej asynchronicznej obiektowej pamięci masowej (DAOS, Distributed Asynchronous Object Storage) — podstawie technologii oprogramowania eksaskalowego Intel® — firma Intel rewolucjonizuje architekturę pamięci masowej HPC. Technologie te zamykają luki między danymi w pamięci a pojemnością pamięci masowej dla dużych zestawów danych, aby obsługiwać projekty transformacyjne wymagające światowej klasy wydajności obliczeniowej.

Pamięć trwała Intel® Optane
Pamięć trwała Intel® Optane to nowa klasa rozwiązań z zakresu pamięci HPC, która obsługuje analizę w czasie zbliżonym do rzeczywistego nawet największych obecnie zestawów danych. Intel® Optane zapewnia pamięć trwałą o wysokiej pojemność i wysokiej wydajność, która może znajdować się na tej samej magistrali/kanałach co pamięć DRAM i działać jako DRAM w zakresie przechowywania danych ulotnych. Intel® Optane może również działać w trybie trwałym bez zasilania i zapewnić większą pojemność pamięci masowej przy niższym wskaźniku koszt/GB. Umożliwia to architektom rozwiązań HPC wykorzystanie dużej warstwy pamięci trwałej między pamięcią DRAM a dyskami SSD — która jest zarówno szybka, jak i przystępna cenowo.

Dyski Solid-State Drive (SSD) z technologią Intel® Optane
Dyski Solid-State Drive (SSD) z technologią Intel® Optane zapewniają zupełnie nowy rodzaj warstwy przechowywania danych między pamięcią operacyjną a dyskami SSD 3D NAND. Dyski SSD Intel® Optane DC oferują wysoką losową wydajność odczytu/zapisu i konsekwentnie niskie opóźnienie, co sprawia, że są idealne do przyspieszania buforowania. Technologia Intel® Optane oferuje również jakość i wytrzymałość potrzebną obciążeniom roboczym HPC do osiągnięcia przełomowej wydajności.

DYSKI INTEL® QLC 3D NAND SSD
Technologia Intel® QLC 3D NAND SSD zwiększa rentowność pamięci masowej, dostarczając oszczędną pamięć masową o dużej gęstości, która oferuje niezawodne połączenie wydajności, pojemności i wartości. Dyski Intel® QLC 3D NAND SSD oparte na sprawdzonej technologii wertykalnej bramki pływającej, ale z większą gęstością powierzchniową i wyjątkową architekturą obwodów pomocniczych, są zaprojektowane z myślą o zapewnieniu optymalnej wydajności dla obciążeń roboczych HPC z dużym zróżnicowaniem zapisu lub obszernym buforowaniem, szczególnie w przypadku połączenia z technologiami Intel® Optane.

Rozproszona asynchroniczna obiektowa pamięć masowa (DAOS, Distributed Asynchronous Object Storage)
Zaprojektowana z myślą o redukcji opóźnień obciążeń roboczych HPC, rozproszona asynchroniczna obiektowa pamięć masowa (DAOS, Distributed Asynchronous Object Storage) to ekosystem oprogramowania open source, który jest w pełni zoptymalizowany pod kątem pamięci trwałej Intel® Optane oraz dysków SSD Intel® Optane DC, a także innych rozwiązań i produktów Intel® HPC. Pamięć DAOS została zaprojektowana w celu pełnego wykorzystania zalet technologii NVM, zapewniając wysoką przepustowość, niskie opóźnienia, a także kontenery pamięci masowej o dużej liczbie operacji wejścia/wyjścia na sekundę (IOPS) dla aplikacji HPC.

Rozwiązania Intel® Select dla HPC
Trudnym zadaniem jest zapewnienie, aby wszystkie komponenty klastrów HPC były zweryfikowane pod kątem współpracy i spełniania Twoich konkretnych wymagań dotyczących wydajności obciążenia roboczego. Rozwiązania Intel® Select dla HPC zapewniają łatwe i szybkie do wdrożenia infrastruktury HPC z odpowiednim połączeniem obliczeń, sieci szkieletowej, pamięci operacyjnej, pamięci masowej i oprogramowania dla zrównoważonych systemów, które przyspieszą czas potrzebny do uzyskania wniosków i przełomów przez klastry analityczne lub konkretne aplikacje HPC.