AI, analiza dużych zbiorów danych, symulacja, badania obliczeniowe i inne obciążenia robocze HPC są dużym wyzwaniem dla pamięci masowej i operacyjnej. Architekci rozwiązań HPC muszą uwzględniać istotne zalety, które oferują zaawansowane rozwiązania pamięci masowej i operacyjnej HPC, w tym możliwość pozbycia się wąskich gardeł w zakresie wydajności i pojemności, które pojawiły się wraz ze wzrostem liczby rdzeni. Podczas gdy pojemność dynamicznej pamięci o dostępie swobodnym (DRAM) nie wzrasta wystarczająco szybko, aby sprostać potrzebom dzisiejszych procesorów, dyski SSD NAND powodują luki w zakresie wydajności, ponieważ nie umożliwiają odpowiednio szybkiego dostępu do często używanych danych. Nowe technologie oferują rozszerzony dostęp do danych w pamięci oraz szybszy dostęp do często używanych danych, co jest niezbędne, by pamięć masowa i operacyjna nie stały się wąskim gardłem w dzisiejszych systemach HPC.
Aby spełnić lub nawet przewyższyć kryteria dzisiejszych najbardziej wymagających testów porównawczych, systemy HPC muszą zawierać zrównoważony zbiór elementów składowych. Z powodu wykładniczego wzrostu wielkości zestawów danych w ostatnim czasie oraz liczbą operacji odczyt/zapis, które muszą wykonać aplikacje HPC, często to wydajność pamięci masowej i operacyjnej, a nie prędkość procesora, ogranicza ogólną wydajność systemu.
Obecnie najbardziej zaawansowane technologie pamięci masowej i operacyjnej HPC istnieją w ramach spektrum, które obejmuje od pamięci DRAM na poziomie gorących danych do niedrogich długoterminowych nośników pamięci masowej na poziomie zimnych danych. Architekci systemów muszą zidentyfikować produkty i możliwości, które najlepiej spełniają ich indywidualne potrzeby w zakresie wydajności obciążeń HPC. Coraz częściej nie będzie można tego znaleźć w tradycyjnych rozwiązaniach NVM i pamięci masowej.
Wyzwania w zakresie pamięci masowej i operacyjnej HPC
Granice systemów HPC są stale przesuwane, ponieważ rzeczywiste problemy obliczeniowe wymagają zbierania, przechowywania, dostępności oraz przetwarzania bardzo dużych i ciągle rosnących ilości danych. Sam rozmiar tych zestawów danych stanowi wyzwania dla pamięci operacyjnej i masowej: mówiąc krótko, pojemność pamięci DRAM jest zbyt mała, a dyski twarde są zbyt wolne.
Polegając na tradycyjnych rozwiązaniach pamięci operacyjnej i masowej, architekci systemów HPC musieli dokonać trudnych kompromisów między pojemnością pamięci masowej, wydajnością i kosztami. Wypełnienie luki między gorącymi danymi w pobliżu procesora a większą pojemnością pamięci trwałej dla pełnej gamy różnych obciążeń HPC nie było łatwe. W szczególności pozostały dwie znaczące luki:
- Między pamięcią DRAM, z jej wysokimi kosztami oraz niską pojemnością, a dyskami SSD opartymi na technologii NAND, które oferują bardziej przystępną cenowo pojemność, ale powodują problemy z opóźnieniem.
- Między dyskami SSD NAND i dyskami HDD, które mogą zapewnić dużą pamięć masową przy niskich kosztach, ale mają duże wymagania dotyczące energii, chłodzenia i fizycznej przestrzeni, stwarzają problemy z niezawodnością i powodują jeszcze większe opóźnienia.
Co jest potrzebne: zmniejszenie opóźnień i większa pojemność pamięci masowej
Dla wielu obciążeń roboczych HPC szybkość, z jaką można przenieść dane do procesora, stanowi zasadnicze rzeczywiste wąskie gardło wydajności. Architekci rozwiązań HPC próbowali pokonać to ograniczenie przez wykorzystanie lokalnego buforowania i poprzez wdrażanie rosnących pul pamięci DRAM, aby trzymać więcej danych bliżej procesora. Pamięć DRAM zapewnia szybki dostęp do swojej zawartości, ale jest kosztowna, podlega ograniczeniom dotyczącym rozmiaru, co sprawia, że jest niepraktyczna do wykorzystania z dużymi bazami danych w pamięci i nietrwała.
Rozwiązania pamięci nietrwałej nie są dopasowane do ekstremalnych wymagań w zakresie wydajności, z którymi mierzą się dzisiejsze systemy HPC. Skutki utraty danych w przypadku awarii systemu mogą być katastrofalne, a długi czas ponownego uruchomienia znacznie osłabia produktywność.
Przechowywanie większych ilości danych na trwałych nośnikach, takich jak dyski SSD NAND lub dyski HDD, wiąże się jednak z jeszcze większymi problemami w zakresie wydajności. Systemy pamięci masowej zaprojektowane z myślą o tradycyjnych nośnikach HDD i możliwościach wejścia/wyjścia POSIX po prostu nie nadążają za złożonymi wzorcami odczytu i zapisu danych, które są generowane przez obciążenia robocze analiz i symulacji, ani nie są odpowiednie do potrzeb obciążeń roboczych AI charakteryzujących się dużą intensywnością odczytu.
W rzeczywistości wymagania we/wy na węzeł obliczeniowy rosną w całej płycie głównej, zarówno dla eksaskali, jak i mniejszych systemów, zwiększając wymagania związane z rozwiązaniami pamięci masowej HPC, ponieważ wszystkie obciążenia robocze stają się bardziej skomplikowane.
Wybór optymalnych rozwiązań w zakresie pamięci masowej i operacyjnej HPC dla Twoich zadań
Tradycyjne klastry HPC
W przypadku wysokowydajnych zastosowań do symulacji i modelowania, takich jak prognozy dynamiki płynów, modelowanie klimatu i prognozowanie finansowe, obliczenia są zwykle rozłożone na wiele maszyn skonfigurowanych do działania jako jeden klaster HPC. Szybsza pamięć masowa i operacyjna HPC jest potrzebna, aby umożliwić dokładniejsze modelowanie, szybsze generowanie wyników i większą produktywność.
Systemy sztucznej inteligencji (AI)
Obciążenia robocze AI są coraz powszechniej stosowane w aplikacjach HPC. Obciążenia te wymagają znacznie większej liczby operacji odczytu niż tradycyjne obciążenia robocze HPC, a te, które współpracują z klastrami instrumentów lub innymi usługami strumieniowego przesyłania danych w czasie rzeczywistym, wymagają wyższej jakości usług (QoS), aby uniknąć krytycznej utraty danych. Intensywność zapisu również się zwiększa, podobnie jak faza pozyskiwania danych przez AI. Systemy te wymagają niskich opóźnień, szybkiego przesyłania komunikatów, najlepiej z zupełnym pominięciem systemu operacyjnego, aby zapewnić, że uczenie maszynowe i algorytmy wnioskowania działają przy użyciu niezbędnej prędkości i dokładności.
Wysokowydajna analityka danych (HPDA)
Nawet gdy ilość danych rośnie wykładniczo, rośnie też potrzeba szybkiego przeprowadzenia analiz. Obciążenia robocze HPDA nie tylko mają znacznie większe wymagania we/wy niż typowe obciążenia wykorzystujące duże zbiory danych, ale także wymagają większych klastrów obliczeniowych i bardziej wydajnych sieci. Wymagania dotyczące pamięci operacyjnej i masowej HPC dla obciążeń roboczych HPDA są również współmiernie większe.
Superkomputery i eksaskalowe systemy
Skalowalność i przewaga kosztowa nowoczesnych rozwiązań pamięci masowej i operacyjnej HPC są szczególnie ważne dla klastrów superkomputerów i eksaskalowych systemów. Ponieważ te rozwiązania HPC są coraz bardziej rozpowszechnione w przedsiębiorstwach i środowisku akademickim, koszty stają się istotnym czynnikiem. Jednak nadal bardzo istotne jest to, by rozwiązania te ciągle przekraczały granice znanej pojemności obliczeniowej, a jedynym sposobem na to jest wykorzystanie rozwiązań pamięci operacyjnej i masowej HPC, których wydajność jest zgodna z postępami w dziedzinie procesorów, infrastruktury i innych komponentów HPC.
Produkty pamięci masowej i operacyjnej HPC
Dzięki kompleksowej ofercie rozwiązań pamięci masowej i operacyjnej HPC oraz rozproszonej asynchronicznej obiektowej pamięci masowej (DAOS, Distributed Asynchronous Object Storage) — podstawie technologii oprogramowania eksaskalowego Intel® — firma Intel rewolucjonizuje architekturę pamięci masowej HPC. Technologie te zamykają luki między danymi w pamięci a pojemnością pamięci masowej dla dużych zestawów danych, aby obsługiwać projekty transformacyjne wymagające światowej klasy wydajności obliczeniowej.
Pamięć trwała Intel® Optane™
Pamięć trwała Intel® Optane™ to nowa klasa rozwiązań z zakresu pamięci HPC, która obsługuje analizę w czasie zbliżonym do rzeczywistego nawet największych obecnie zestawów danych. Intel® Optane™ zapewnia pamięć trwałą o wysokiej pojemność i wysokiej wydajność, która może znajdować się na tej samej magistrali/kanałach co pamięć DRAM i działać jako DRAM w zakresie przechowywania danych ulotnych. Intel® Optane™ może również działać w trybie trwałym bez zasilania i zapewnić większą pojemność pamięci masowej przy niższym wskaźniku koszt/GB. Umożliwia to architektom rozwiązań HPC wykorzystanie dużej warstwy pamięci trwałej między pamięcią DRAM a dyskami SSD — która jest zarówno szybka, jak i przystępna cenowo.
Dyski Solid-State Drive (SSD) z technologią Intel® Optane™
Dyski Solid-State Drive (SSD) z technologią Intel® Optane™ zapewniają zupełnie nowy rodzaj warstwy przechowywania danych między pamięcią operacyjną a dyskami SSD 3D NAND. Dyski SSD Intel® Optane™ DC oferują wysoką losową wydajność odczytu/zapisu i konsekwentnie niskie opóźnienie, co sprawia, że są idealne do przyspieszania buforowania. Technologia Intel® Optane™ oferuje również jakość i wytrzymałość potrzebną obciążeniom roboczym HPC do osiągnięcia przełomowej wydajności.
DYSKI INTEL® QLC 3D NAND SSD
Technologia Intel® QLC 3D NAND SSD zwiększa rentowność pamięci masowej, dostarczając oszczędną pamięć masową o dużej gęstości, która oferuje niezawodne połączenie wydajności, pojemności i wartości. Dyski Intel® QLC 3D NAND SSD oparte na sprawdzonej technologii wertykalnej bramki pływającej, ale z większą gęstością powierzchniową i wyjątkową architekturą obwodów pomocniczych, są zaprojektowane z myślą o zapewnieniu optymalnej wydajności dla obciążeń roboczych HPC z dużym zróżnicowaniem zapisu lub obszernym buforowaniem, szczególnie w przypadku połączenia z technologiami Intel® Optane™ .
Rozproszona asynchroniczna obiektowa pamięć masowa (DAOS, Distributed Asynchronous Object Storage)
Zaprojektowana z myślą o redukcji opóźnień obciążeń roboczych HPC, rozproszona asynchroniczna obiektowa pamięć masowa (DAOS, Distributed Asynchronous Object Storage) to ekosystem oprogramowania open source, który jest w pełni zoptymalizowany pod kątem pamięci trwałej Intel® Optane™ oraz dysków SSD Intel® Optane™ DC, a także innych rozwiązań i produktów Intel® HPC. Pamięć DAOS została zaprojektowana w celu pełnego wykorzystania zalet technologii NVM, zapewniając wysoką przepustowość, niskie opóźnienia, a także kontenery pamięci masowej o dużej liczbie operacji wejścia/wyjścia na sekundę (IOPS) dla aplikacji HPC.
Rozwiązania Intel® Select dla HPC
Trudnym zadaniem jest zapewnienie, aby wszystkie komponenty klastrów HPC były zweryfikowane pod kątem współpracy i spełniania Twoich konkretnych wymagań dotyczących wydajności obciążenia roboczego. Rozwiązania Intel® Select dla HPC zapewniają łatwe i szybkie do wdrożenia infrastruktury HPC z odpowiednim połączeniem obliczeń, sieci szkieletowej, pamięci operacyjnej, pamięci masowej i oprogramowania dla zrównoważonych systemów, które przyspieszą czas potrzebny do uzyskania wniosków i przełomów przez klastry analityczne lub konkretne aplikacje HPC.