Przewaga wynikająca z pierwszeństwa: analizy w czasie rzeczywistym dla usług finansowych

Im szybszy dostęp do analiz, tym większa przewaga na rynku

Obecnie zespoły traderów ilościowych i analityków danych potrzebują wglądu we wszystkie dzisiejsze dane w ciągu nanosekund. Wymagają również dostępu do jak największej ilości danych historycznych do dokładnej analizy trendów i pozyskiwania nowych informacji. Może to obejmować dane z zeszłego tygodnia lub miesiąca albo sprzed dziesięciu lat.

Tradycyjnie dostęp do najbardziej regularnie potrzebnych danych, znanych również jako dane „gorące” i „ciepłe”, uzyskuje się z pamięci lub szybkiej pamięci masowej, a dostęp do danych historycznych i analiz z „zimniejszej” pamięci masowej za pośrednictwem wolnych dysków albo — co gorsza — jeszcze wolniejszej sieci. Biorąc pod uwagę dzisiejsze wymagania handlowe, jest to niedopuszczalne.

Do tych rosnących zapytań historycznych dochodzi jeszcze natłok danych. Od zeszłego roku szybkości transmisji danych wzrosły dwukrotnie i z danych z raportów IDC wynika, że do 2025 roku globalna datasfera osiągnie wielkość 175 ZB danych, z czego prawie 30 procent będzie przetwarzanych w czasie rzeczywistym¹. To diametralnie zmienia podejście do infrastruktury IT.

Wielkość danych handlowych z pięciu lat może osiągnąć petabajty, które muszą być szybko dostępne i przetwarzane w ekonomiczny i niezawodny sposób oraz z minimalnymi opóźnieniami. Opóźnienia do uzyskania wyniku są kluczowym wskaźnikiem.

W przeszłości problemy z opóźnieniami były rozwiązywane przez zwiększanie liczby serwerów lub inwestowanie w drogie, wysoce wydajne pamięci operacyjne oraz sieciowe pamięci masowe. Przy dzisiejszych ilościach danych żadne z tych rozwiązań nie wchodzi w grę. W świecie usług finansowych wiedza to potęga, a wyzwania związane z wykorzystywaniem i analizowaniem danych oraz przekształcaniem ich w informacje przydatne w podejmowaniu decyzji są coraz trudniejsze. Wymagana jest nowa infrastruktura, w której jak najwięcej danych będzie przechowywanych w pobliżu jednostek obliczeniowych, by móc uzyskać do nich błyskawiczny dostęp.

Technologia Intel® Optane™ rozwiązuje ten problem. Pierwsza od 25 lat nowa technologia pamięci i pamięci masowej występuje w dwóch formatach: pamięć trwała Intel® Optane™ (Intel® Optane™ Persistent Memory) oraz dyski SSD Intel® Optane™ (Intel® Optane™ Solid State Drives). Technologie te zasadniczo dodają dwie warstwy pamięci i pamięci masowej, aby zniwelować różnice w pojemności, kosztach i wydajności pomiędzy pamięcią DRAM (nanosekundy) i NAND SSD (mikrosekundy). Patrząc na te rozwiązania z perspektywy piramidy pamięci masowej — pamięć trwała Intel® Optane™ jest tuż pod pamięcią DRAM, zapewniając wydajność podobną do pamięci operacyjnej przy niższych kosztach, za to z trwałością podobną do technologii NAND. Dyski SSD Intel® Optane™ są powyżej dysków SSD NAND i dysków twardych, zapewniając szybsze operacje odczytu i zapisu danych oraz eliminując wąskie gardła nawet przy dużych obciążeniach.

W kontekście usług finansowych zarówno pamięć trwała Intel® Optane™, jak i dyski SSD Intel® Optane™ skutecznie łączą się z trzema nowymi, innowacyjnymi technologiami: Oracle Exadata*, bazą danych Aerospike* i KX Streaming Analytics*. Poniżej znajdziesz informacje dotyczące ich zalet.

Oracle* Exadata

Dziewięć na dziesięć największych na świecie firm świadczących usługi finansowe korzysta z technologii Oracle* Exadata do obsługi baz danych do podstawowych aplikacji bankowych i analiz dotyczących klientów². Najlepsza w branży wydajność, skalowalność, dostępność i bezpieczeństwo rozwiązania firmy Exadata umożliwiają tym firmom przyspieszenie działalności, ograniczenie ryzyka i obniżenie kosztów. Kilka firm z sektora usług finansowych od ponad dziesięciu lat korzysta z rozwiązania Oracle Exadata do szybszego przetwarzania różnych obciążeń i uzyskania dokładniejszych informacji na temat klientów. Technologie Intel® w rozwiązaniach Exadata dają możliwości niosące ze sobą szereg korzyści.

Wszystko to jest możliwe, ponieważ rozwiązanie Oracle Exadata jest oparte na skalowalnej architekturze z pamięcią trwałą Intel® Optane™. Obejmuje inteligentne oprogramowanie systemowe eliminujące wąskie gardła wydajności w kluczowych obciążeniach związanych z przetwarzaniem transakcji klientów i analizami.

Przekłada się to na bardzo małe opóźnienia mające kluczowe znaczenie przy przetwarzaniu transakcji. Dane nie są po prostu przetwarzane w pamięci — to warstwa danych zapewniająca ogromną przepustowość i równoległość operacji. Ta unikatowa architektura umożliwia imponującą skalowalność i prędkości dostępne w przypadku technologii obliczeń w pamięci, jednak bez jej ograniczeń.

W dziedzinie operacji w bazach danych wrażliwych na opóźnienia dokonano ogromnego postępu. Obejmuje to takie operacje jak odczytywanie bloków z pamięci masowej, zapisywanie w dzienniku transakcji i przesyłanie bloków w klastrze. W serwerach pamięci masowej Exadata swego czasu stosowano pamięć flash jako najszybszą warstwę pamięci masowej. Teraz została ona zastąpiona pamięcią trwałą, która diametralnie zmniejsza opóźnienia. Jak wcześniej wspomniano, lepsza wydajność bazy danych Oracle* przynosi szereg korzyści w odniesieniu do wielu przetwarzanych w niej operacji.

Dzięki zastosowaniu pamięci trwałej Intel® Optane™ w połączeniu z technologią Remote Direct Memory Access (RDMA), buforowanie danych w pamięci trwałej umożliwia bazie danych Oracle znacznie szybsze uzyskiwanie dostępu do zawartości w porównaniu z jakąkolwiek technologią pamięci masowej wykorzystującą model przetwarzania żądanie/odpowiedź. Baza danych Oracle nie żąda bloku z pamięci masowej. Zamiast tego zwyczajnie odczytuje ona niezbędne dane bezpośrednio z pamięci trwałej Intel® Optane™. Oprogramowanie serwera pamięci masowej Exadata (Exadata Storage Server) jest odpowiedzialne za identyfikację „gorących” bloków danych i umieszczanie ich w pamięci trwałej.

„Exadata to jedyna platforma na świecie wykorzystującą pamięć trwałą Intel® Optane™ we współdzielonej pamięci masowej. Za sprawą połączenia technologii RoCE (Remote Direct Memory Access over Converged Ethernet), pamięci trwałej i wyjątkowego oprogramowania serwera pamięci masowej firmy Exadata, generacja Exadata X9M jest najszybszą, najbardziej niezawodną i bezpieczną platformą do obsługi bazy danych Oracle” — mówi Subban Raghunathan, wiceprezes ds. zarządzania produktami Exadata w firmie Oracle.

Zalety technologii Intel® Optane™ w odniesieniu do platformy Oracle* Exadata

• Większa skala i dostępność przyspieszają aplikacje zaplecza administracyjnego i obsługi klienta (back office i front office).
• Wbudowana automatyzacja w chmurze zwiększa dostępność i upraszcza operacje IT.
• Skalowanie zużycia online jednocześnie optymalizuje wydajność i koszty.
• Oracle* Exadata, baza danych Oracle i infrastruktura chmurowa Oracle (Oracle Cloud Infrastructure, OCI) zawierają szereg wbudowanych funkcji poprawiających bezpieczeństwo i pomagających spełnić wymagania prawne.
• Spójne wymagania dotyczące suwerenności danych, bezpieczeństwa i opóźnień.
• Najlepsze w branży możliwości automatycznego alokowania zasobów, autoskalowania i automatycznych zabezpieczeń.

Baza danych Aerospike*

Firma Aerospike jest globalnym liderem w dziedzinie rozwiązań nowej generacji do przetwarzania danych NoSQL w czasie rzeczywistym na każdą skalę. Aerospike przechwytuje dane strumieniowe na brzegu cyfrowym, łączy je z podstawowymi danymi, przekazuje dane do systemów AI i ML na potrzeby zoptymalizowanego szkolenia i analizy, a następnie kieruje instrukcje i wyniki transakcji z powrotem do brzegu w czasie rzeczywistym. W sektorze finansowym takie rozwiązanie zapewnia wydajność na hiperskalę do szybkiego przetwarzania ogromnych zbiorów danych przy bardzo niskich opóźnieniach, by zapewnić integralność transakcji finansowych, danych i analiz. Analitycy finansowi zyskują większą dokładność, mogąc częściej uzyskiwać dostęp do danych rynkowych, transakcyjnych i dotyczących klientów z wielu kanałów jednocześnie. Rozwiązanie firmy Aerospike może obsługiwać miliony transakcji na sekundę przy skalowaniu odpowiednim do petabajtowych rozmiarów danych³.

„Doskonale radzimy sobie z dużymi bazami danych, wykorzystując naszą mikrosekundową wydajność — praktycznie bez żadnych opóźnień” — wyjaśnia Jeff Ballard, dyrektor ds. marketingu partnerskiego w firmie Aerospike. Architektura pamięci hybrydowej Aerospike* umożliwia przechowywanie zarówno indeksów baz danych, jak i danych w pamięci trwałej Intel® Optane™. Warstwowa architektura wewnętrzna firmy Aerospike została zoptymalizowana do natywnego stosowania pamięci trwałej Intel® Optane™. Zapewnia to możliwości daleko wykraczające poza wdrażanie bazy danych w pamięci i po prostu wprowadzenie pamięci trwałej. Pamięć trwała Intel® Optane™ przyspiesza bazę danych Aerospike, zapewniając wydajność porównywalną do technologii DRAM przy niskich przewidywalnych opóźnieniach, a także umożliwia „indeksowanie pamięci RAM” za ułamek kosztów oraz nawet dziesięciokrotne zwiększenie skali przetwarzania danych w pamięci masowej opartej na technologii NAND³.

Firma PayPal dostarczająca największy na świecie system płatności online wybrała rozwiązanie Aerospike z pamięcią trwałą Intel® Optane™, które zapewnia pięciokrotnie większą przepustowość i trzydziestokrotne zmniejszenie liczby pominiętych transakcji związanych z oszustwami³. Te transformacyjne korzyści w zakresie wydajności umożliwiły przełomowe usprawnienia w zarządzaniu i zapobieganiu oszustwom. Ponadto to rozwiązanie zostało osiągnięte przy piętnastokrotnie mniejszym zużyciu zasobów serwerowych i oszczędności kosztów związanych ze sprzętem na poziomie 9 mln USD3. Ogólnie rzecz biorąc, to połączenie sprzętu i oprogramowania umożliwiło firmie PayPal osiągnięcie lepszych wyników biznesowych, poprawienie zadowolenia klientów i zmniejszenie kosztów oraz złożoności.

Szybkość, niezawodność i spójność rozwiązania Aerospike z pamięcią trwałą Intel® Optane™ sprawiają, że sprawdza się ono w wielu przypadkach użycia.

Wniosek? Firma Forrester zauważa, że „dzięki platformie danych NoSQL firmy Aerospike organizacje odnotowały wzrost zysków, poprawę współczynnika konwersji, zmniejszenie kosztów TCO, zmniejszenie zużycia zasobów serwerów oraz skrócenie czasu obsługi w przeliczeniu na pełny etat (FTE)”⁴.

Zalety technologii Intel® Optane™ w odniesieniu do bazy danych Aerospike*

• Możliwość przetwarzania milionów transakcji, miliardów punktów danych i petabajtów informacji historycznych w ciągu milisekund przekłada się na skuteczniejsze zapobieganie oszustwom i pasywną weryfikację tożsamości.
• Dzięki temu firmy mogą wdrożyć do swoich rozwiązań najbardziej zaawansowane algorytmy AI i sieci neutronowej/głębokiego uczenia.
• Hiperpersonalizacja zapewnia połączony 360-stopniowy profil klientów oparty na zbiorach danych AI/ML, dostarczając rzetelne informacje pozwalające na spersonalizowaną sprzedaż krzyżową i sprzedaż dodatkowych produktów.
• Usługi płatności cyfrowych — zabezpieczone przez uwierzytelnianie użytkowników online — wykorzystują dane i analizy oparte na sztucznej inteligencji w czasie rzeczywistym do bezproblemowego przetwarzania płatności i skutecznego zapobiegania oszustwom.
• Domy maklerskie mogą usprawnić operacje biurowe w wielu obszarach: optymalizując i automatyzując portfele z wykorzystaniem algorytmów AI/ML, zmniejszając ryzyko, poprawiając zgodność, płynność i możliwości pożyczania depozytów oraz automatyzując funkcje rozliczania/rozrachunku i raportowania.
• Bankierzy mogą analizować bardzo duże zbiory danych w sektorach bankowości detalicznej, korporacyjnej i inwestycyjnej, aby uzyskać hiperpersonalizację treści cyfrowych i integralność każdej transakcji.

KX* Streaming Analytics

Firma KX jest liderem w pomaganiu firmom świadczącym usługi finansowe w zakresie przetwarzania, analizowania i dostarczania informacji przydatnych w podejmowaniu decyzji na podstawie ogromnych ilości danych zarówno w czasie rzeczywistym, jak i historycznych. Rozwiązanie KX* Streaming Analytics zmniejsza koszty i poprawia produktywność przez wykrywanie anomalii, analizy, prognozy, środki zaradcze i automatyzację.

„Firmy świadczące usługi finansowe mogą obsługiwać nawet miliony transakcji na sekundę” — zauważa Ferenc Bodon, architekt rozwiązań KX. „Analitycy potrzebują zautomatyzowanej analizy handlowej, by mogli opracować strategię, a do tego potrzebują jej w skodyfikowanej formie na potrzeby szkolenia w systemie. Następnie muszą przetestować wstecznie swoje założenia na podstawie danych historycznych i w końcu wprowadzić algorytm oraz przenieść go do silnika transakcyjnego. Na każdym z tych etapów liczy się czas”⁵. Ta potrzeba szybkiego dostępu i działania wymaga sprzętu o wysokiej wydajności w celu zmaksymalizowania wartości oprogramowania — na tym właśnie polega rola technologii Intel® Optane™.

Rozmiar codziennych danych handlowych może z łatwością przekroczyć terabajt, a nawet kilka terabajtów, jeśli obejmują one instrumenty pochodne. Technologia Intel® Optane™ wprowadza przełomowe rozwiązanie umożliwiające obsługę takich wolumenów bez konieczności wdrażania ogromnych ilości zbyt kosztownej pamięci DRAM. Przykładowo czołowa instytucja finansowa osiągnęła blisko dziesięciokrotny wzrost prędkości po wdrożeniu pamięci trwałej Intel® Optane™ z rozwiązaniem KX kdb+ v4.0 w porównaniu z wysokowydajnymi dyskami SSD NAND⁶. Ponadto zastosowanie pamięci trwałej Intel® Optane™ jako urządzenia blokowej pamięci masowej z rozwiązaniem KX Streaming Analytics przekłada się na od 4 do 12 razy lepszą wydajność analiz w porównaniu z wysokowydajną pamięcią masową NVMe — wydajność obsługi obciążeń związanych z zapytaniami jest zbliżona do wydajności technologii DRAM⁶.

Wymagania w zakresie pamięci DRAM do obsługi kluczowych obciążeń przetwarzania danych zostały znacznie ograniczone. To pozwala organizacjom obsługiwać więcej wymagających obciążeń analitycznych obejmujących więcej danych przy mniejszej infrastrukturze. Teraz analitycy mają natychmiastowy dostęp do danych na przestrzeni tygodni lub miesięcy. Ta koncepcja sprawdza się w całym sektorze usług finansowych. Duże banki, domy handlowe, giełdy, dostawcy usług płatności cyfrowych — wszyscy czerpią korzyści.