Analizuj nawet 1.55 razy więcej danych na sekundę w przypadku obciążeń roboczych Apache Spark™ przy użyciu maszyn wirtualnych Microsoft® Azure® Dds_v4 ze skalowalnymi procesorami Intel® Xeon® drugiej generacji

Apache Spark

  • Analizuj więcej danych na sekundę dzięki 1.23 razy większej przepustowości na małych maszynach wirtualnych.

  • 1.46 razy większa przepustowość na średnich maszynach wirtualnych.

  • 1.55 razy większa przepustowość na dużych maszynach wirtualnych.

author-image

By

Przyspiesz obsługę obciążeń roboczych, związanych z uczeniem maszynowym, przy użyciu maszyn wirtualnych Microsoft® Azure® z serii Dds_v4 ze skalowalnymi procesorami Intel® Xeon® drugiej generacji.

Szybkie analizowanie dużej ilości danych, zbieranych przez organizację, jest trudnym zadaniem wymagającym zastosowania najnowszej technologii. Szybkość uzyskiwania przydatnych informacji dzięki analizie danych i wykorzystania ich do opracowania strategii biznesowej jest zależna od wydajności maszyn wirtualnych chmury Microsoft Azure, wybranych do obsługi klastrów Apache Spark. W przypadku dużych obciążeń roboczych Apache Spark, związanych z uczeniem maszynowym na platformie Microsoft Azure, wybierając maszyny wirtualne Dds_v4 ze skalowalnymi procesorami Intel® Xeon® drugiej generacji, można analizować więcej danych na sekundę i zwiększyć sprawność firmy.

Podczas testów dwóch implementacji uczenia maszynowego, związanych z porównaniem maszyn wirtualnych Microsoft Azure, nowsze maszyny z serii Dds_v4 ze skalowalnymi procesorami Intel® Xeon® drugiej generacji pokonały starsze maszyny wirtualne z serii Ds_v3 z procesorami Intel® Xeon® E5 v4, analizując 1.55 razy więcej danych na sekundę w przypadku obciążeń roboczych Apache Spark związanych z uczeniem maszynowym.

W przypadku małych, średnich i dużych maszyn wirtualnych zastąpienie starszych maszyn Ds_v3 wersjami Dds_v4 ze skalowalnymi procesorami Intel® Xeon® drugiej generacji umożliwia szybsze sortowanie większej ilości danych i sprawne podejmowanie decyzji biznesowych na podstawie tych danych.

Małe firmy szybciej analizują dane przy użyciu małych maszyn wirtualnych

Wymagania małej organizacji, dotyczące uczenia maszynowego, nie muszą być ograniczone. W przypadku uczenia maszynowego na dużą skalę przy użyciu maszyn wirtualnych o małej wydajności wybór nowoczesnej technologii umożliwia dostosowanie chmurowych maszyn wirtualnych do wymagań i rozwój systemu.

Testy porównujące małe maszyny wirtualne z ośmioma procesorami potwierdziły, że użycie maszyn Microsoft Azure Dds_v4 ze skalowalnymi procesorami Intel® Xeon® drugiej generacji zapewnia w przypadku obciążeń roboczych Apache Spark, związanych z uczeniem maszynowym, obsługę 1.23 razy większej ilości danych na sekundę niż na maszynach z serii Ds_v3 z procesorami Intel® Xeon® E5 v4.

Rysunek 1. Porównanie przepustowości na małych maszynach wirtualnych (8 procesorów vCPU / 32 GB pamięci RAM) w testach naiwnego klasyfikatora bayesowskiego i algorytmów centroidów (k-średnich) obciążeń roboczych z zestawu testów porównawczych HiBench.

Średnie firmy szybciej analizują dane przy użyciu średnich maszyn wirtualnych

Podobnie jak testy maszyn wirtualnych o małej wydajności testy porównawcze średnich maszyn wirtualnych z 16 procesorami vCPU potwierdziły, że maszyny Microsoft Azure Dds_v4 ze skalowalnymi procesorami Intel® Xeon® drugiej generacji umożliwiają uzyskanie zarówno lepszego naiwnego klasyfikatora bayesowskiego, jak i lepszych wyników algorytmu centroidów (k-średnich) implementacji uczenia maszynowego Apache Spark, w których zapewniają przepustowość nawet 1.46 razy większą niż starsze maszyny Ds_v3.

Rysunek 2. Porównanie przepustowości na średnich maszynach wirtualnych (16 procesorów vCPU / 64 GB pamięci RAM) w testach naiwnego klasyfikatora bayesowskiego i algorytmów centroidów (k-średnich) obciążeń roboczych z zestawu testów porównawczych HiBench.

Przedsiębiorstwa analizują dane szybciej przy użyciu dużych maszyn wirtualnych

Testy potwierdzają, że największy wzrost przepustowości w przypadku uczenia maszynowego Apache Spark zapewniają większe instancje z 64 procesorami vCPU (przepustowość 1.55 razy większa niż w przypadku maszyn wirtualnych z serii Ds_v3 w teście naiwnego klasyfikatora bayesowskiego.

W porównaniu ze starszą serią Ds_v3 maszyny wirtualne Microsoft Azure Dds_v4 ze skalowalnymi procesorami Intel® Xeon® drugiej generacji zapewniają znacznie większą wydajność, o 50% większe dyski domyślne i wysokie wartości IOP dysków domyślnych, niezależnie od wymaganej wielkości maszyn wirtualnych. Maszyny wirtualne Azure Dds_v4 zapewniają więc lepsze uczenie maszynowe niż seria Ds_v3 maszyn o różnej wielkości.

Rysunek 3. Porównanie przepustowości na dużych maszynach wirtualnych (64 procesory vCPU / 256 GB pamięci RAM) dla celów naiwnego klasyfikatora bayesowskiego i obciążeń roboczych klastrowych k-średnich z zestawu testów porównawczych HiBench.

Więcej informacji

Aby rozpocząć obsługę obciążeń roboczych Apache Spark, związanych z uczeniem maszynowym, na maszynach wirtualnych Microsoft Azure z serii Dds_v4 ze skalowalnymi procesorami Intel® Xeon® drugiej generacji, skorzystaj z witryny internetowej http://intel.pl/Azure.

Aby uzyskać więcej informacji dotyczących testów, skorzystaj z witryny internetowej http://facts.pt/pg16MAO.