HPC i AI: potężne połączenie

Uczenie maszynowe i głębokie uczenie wspomagają HPC, aby szybciej uzyskiwać nowe spostrzeżenia.

Więcej danych i głębsza analiza dzięki HPC AI

  • Implementacje AI są powiązane z architekturą obliczeniową HPC, a zarówno AI, jak i HPC korzystają z podobnych konfiguracji opartych na wysokowydajnym sprzęcie Intel®.

  • Naukowcy z CERN konwolucyjnych sieci neuronowych firmy Intel, które integrują prawa fizyki z modelami sztucznej inteligencji w celu uzyskania dokładniejszych wyników w rzeczywistych przypadkach użycia.

  • Intel pomaga zmniejszyć kompromis między dedykowanymi platformami AI i HPC dzięki sprzętowej akceleracji AI, ujednoliconemu programowaniu platformy za pomocą oneAPI oraz uproszczonym rozwiązaniom Intel® Select Solutions, które pomagają zmniejszyć tarcia w projektowaniu i wdrażaniu systemów.

author-image

By

HPC z wykorzystaniem sztucznej inteligencji

Architektura wymagana do implementacji HPC ma wiele podobieństw do implementacji AI. Oba wykorzystują wysoki poziom mocy obliczeniowej i pamięci masowej, dużą pojemność i przepustowość pamięci oraz wysokoprzepustowe łącza do osiągania wyników, zazwyczaj poprzez przetwarzanie ogromnych zbiorów danych o coraz większych rozmiarach. Głębokie uczenie świetnie pasuje do problemów rozwiązywanych przez HPC, które dotyczą bardzo dużych, wielowymiarowych zbiorów danych. Na przykład Quantifi wykorzystało sztuczną inteligencję z obsługą Intela do przyspieszenia wyceny instrumentów pochodnych na rynkach finansowych o współczynnik 700x w stosunku do metod konwencjonalnych,1 dostarczanie wyników w czasie zbliżonym do rzeczywistego dla ogólnych szacunków obciążeń roboczych.

Obietnica AI w HPC polega na tym, że modele AI mogą wspomagać ekspercką analizę zbiorów danych, aby szybciej uzyskiwać wyniki przy zachowaniu tego samego poziomu dokładności. Kluczowe zastosowania HPC korzystają z zaawansowanych możliwości AI, w tym:

  • Analityka dla usług finansowych (FSI), takich jak wykrywanie ryzyka i oszustw, logistyka i produkcja
  • Projektowanie produktów przemysłowych, obliczeniowa dynamika płynów (CFD), inżynieria wspomagana komputerowo (CAE) oraz projektowanie wspomagane komputerowo (CAD)
  • Wizualizacja i symulacja naukowa, zwłaszcza w dziedzinach takich jak fizyka wysokich energii
  • Klasteryzacja wzorców, nauki przyrodnicze, sekwencjonowanie genomowe i badania medyczne
  • Nauki o Ziemi i badanie sektora energetycznego
  • Pogoda, meteorologia i nauka o klimacie
  • Astronomia i astrofizyka

Jak zmieniły się obciążenia pracą

Wiele z obecnych przypadków użycia AI jest ograniczonych do wdrożeń brzegowych lub centrów danych, takich jak inteligentne systemy ruchu drogowego, które opierają się w dużym stopniu na inteligentnych kamerach do rozpoznawania obiektów AI. Algorytmy leżące u podstaw modeli sztucznej inteligencji stały się znacznie bardziej złożone, oferując większy potencjał, ale także większe wymagania obliczeniowe w zakresie odkryć naukowych, innowacji oraz zastosowań przemysłowych i biznesowych. Wyzwanie polega na tym, jak zwiększyć skalę wnioskowania AI do poziomu HPC lub jak przejść od rozpoznawania wzorców ruchu na skrzyżowaniu do sekwencjonowania genomu w ciągu godzin, a nie tygodni.

Na szczęście społeczność HPC oferuje dziesiątki lat doświadczenia, jak radzić sobie z wyzwaniami AI w skali, takimi jak potrzeba większej równoległości, szybkiego I/O dla ogromnych zbiorów danych i efektywnej nawigacji w środowiskach obliczeń rozproszonych. Możliwości HPC takie jak te mogą pomóc w przyspieszeniu AI w celu osiągnięcia użytecznych wyników, takich jak stosowanie heurystyki na poziomie eksperckim poprzez wnioskowanie na podstawie głębokiego uczenia do tysięcy transakcji, obciążeń lub symulacji na sekundę.

Sieci neuronowe oparte na informacjach fizycznych (PINN)

Jednym z przykładów zastosowania HPC wspomaganych sztuczną inteligencją jest integracja praw fizyki w modelach wnioskowania w celu wygenerowania bardziej realistycznych wyników. W tych zastosowaniach sieci neuronowe muszą przestrzegać znanych praw, takich jak zachowanie masy, energii i prędkości, i są określane jako sieci neuronowe z informacją fizyczną (PINN). Sieci PINN mogą być wykorzystywane do rozszerzenia lub zastąpienia modelowania i symulacji HPC w takich zastosowaniach jak analiza przepływu płynów, dynamika molekularna, projektowanie profili lotniczych i silników odrzutowych oraz fizyka wysokich energii.

Na przykład naukowcy z CERN wykorzystali technologię Intel® Deep Learning Boost (Intel® DL Boost) na procesorach Intel® Xeon® Scalable, aby zastąpić symulacje Monte Carlo w zderzeniach cząstek. Niska precyzja kwantyzacji int8 pomogła uzyskać do 68 000 x szybsze przetwarzanie niż symulacje programowe,2 także z niewielką poprawą dokładności.

AI w HPC jest napędzana przez wzrost ilości danych

Główną siłą napędową dla obciążeń HPC i AI jest ciągły przyrost danych i potrzeba dotrzymania kroku analizie na skalę HPC. Algorytmy sztucznej inteligencji stają się coraz bardziej zaawansowane i mogą obsługiwać znacznie większe zbiory danych niż w poprzednich latach, zwłaszcza od czasu wprowadzenia metodologii głębokiego uczenia. Dyscypliny takie jak sekwencjonowanie genomiczne generują oszałamiające ilości danych, a instytucje takie jak Broad Institute of MIT and Harvard tworzą około 24 terabajtów nowych danych każdego dnia.3

Sztuczna inteligencja pomaga przyspieszyć działanie krytycznych obciążeń, dzięki czemu odkrywanie nie pozostaje w tyle. Na przykład Intel współpracuje z Broad Institute w celu opracowania rozwiązania Intel® Select Solution for the Genomics Analytics Toolkit (GATK), które integruje sprzętową akcelerację sztucznej inteligencji do obsługi obciążeń HPC dla kluczowych zestawów narzędzi genomicznych. Używając GATK Select Solution, Broad Institute był w stanie osiągnąć 1,75x wzrost prędkości dla aplikacji Burrow-Wheeler Aligner (BWA) oraz 2x wzrost prędkości dla aplikacji HaplotypeCaller.3

Centrum Superkomputerowe w San Diego (SDSC) obsługuje jedno z największych akademickich centrów danych na świecie i jest uznawane za międzynarodowego lidera w zakresie wykorzystywania, zarządzania, przechowywania i ochrony danych. System wykorzystujący sztuczną inteligencję umożliwia naukowcom opracowanie nowych podejść do przyspieszonego szkolenia i wnioskowania. Studium przypadku: SDSC buduje superkomputer „Voyager” wykorzystujący sztuczną inteligencję.

Przezwyciężanie wyzwań związanych z przyjęciem AI w HPC

Jeśli chodzi o konfiguracje HPC dla AI, tradycyjnie istnieje kompromis pomiędzy wymaganiami AI i HPC w architekturze CPU. Obciążenia związane z AI zazwyczaj wymieniają liczbę rdzeni na szybkość, podczas gdy obciążenia HPC często preferują większą wydajność obliczeniową z dużą liczbą rdzeni i większą przepustowością międzyrdzeniową. Dzięki ciągłym ulepszeniom generacyjnym Intel oferuje rozwiązania obejmujące wbudowaną akcelerację w procesorach Intel® Xeon® Scalable.

Poniższe kluczowe innowacje zarówno w warstwie sprzętowej, jak i programowej ułatwiają projektowanie i budowanie rozwiązań AI:

  • Procesory Intel® Xeon® Scalable zapewniają wymagany wysoki poziom wydajności AI z wbudowaną akceleracją AI. Intel® AVX-512 z Intel® DL Boost Vector Neural Network Instructions (VNNI), wyłącznie w procesorach Intel®, zapewnia zoptymalizowaną wydajność AI dla szybkich spostrzeżeń w krótszym czasie.
  • Biblioteki optymalizacji o niskiej precyzji w ramach zestawu narzędzi analitycznych Intel® oneAPI AI ułatwiają kodowanie dla platform HPC i AI, zwiększając wydajność i utrzymując progi dokładności.
  • Układy Intel® FPGA do uczenia maszynowego obsługują wysoką paralelizację i pomagają przyspieszyć czas uzyskiwania wyników i spostrzeżeń w przypadku obciążeń HPC i AI.
  • Intel przejął Habana Labs i nadal inwestuje w akceleratory Habana, które są specjalnie zaprojektowane do szkolenia modeli sztucznej inteligencji i realnego wnioskowania.
  • Intel® Select Solutions for HPC AI clusters zapewnia ścieżkę do wdrożenia obciążeń AI na konwergentnych platformach HPC bez wdrażania procesorów graficznych.
  • Twórcy sztucznej inteligencji udoskonalają swoje techniki i kod, aby skuteczniej działać na klastrach HPC. Nowe optymalizacje przyśpieszają obciążenia pracą od początku do końca, od ładowania danych do ich wstępnego przetwarzania, szkolenia i wnioskowania.

Złożoność jest również głównym źródłem przeszkód w przyjmowaniu HPC i AI. Wymagane zestawy umiejętności są bardzo specyficzne dla danej dziedziny i aby odnieść sukces, przedsiębiorstwa będą musiały pozyskać talenty przeszkolone w zakresie HPC i AI. Wiodąca pozycja firmy Intel w branży może pomóc w wytyczeniu drogi, ponieważ Intel ściśle współpracuje zarówno ze społecznościami HPC, jak i AI, dzieląc się wiedzą i pomysłami.

Wnioski: Wprowadzanie inteligencji AI do HPC

Sztuczna inteligencja jest coraz częściej wykorzystywana w aplikacjach HPC, a nowe technologie i metodologie zwiększają tempo i skalę analiz AI, umożliwiając szybkie odkrycia i spostrzeżenia. Dzięki tym innowacjom naukowcy i badacze danych mogą polegać na AI przy przetwarzaniu większej ilości danych, tworzeniu bardziej realistycznych symulacji i dokładniejszych przewidywań, często w krótszym czasie.

Wydajność różni się w zależności od użytkowania, konfiguracji i innych czynników. Dowiedz się więcej na stronie intel.com/PerformanceIndex.

Wyniki są oparte na testach z dni wskazanych w konfiguracjach i mogą nie uwzględniać wszystkich publicznie dostępnych aktualizacji. Szczegóły dotyczące konfiguracji można znaleźć w materiałach dodatkowych. Żaden produkt ani komponent nie jest całkowicie bezpieczny.

Informacje o produktach i wydajności

1Intel & Quantifi Accelerate Derivative Valuations by 700x Using AI on Intel® Processors,” strona internetowa Quantifi. Data dostępu: Sierpień 2021 r.
2 „1CERN Accelerates Simulation Workloads with AI1”, witryna Intela. Data dostępu: Sierpień 2021
3Intel® Select Solutions for Genomics Analytics”, strona internetowa firmy Intel. Data dostępu: sierpień 2021.