Framework Apache Spark dla programistów: poziom zaawansowany - kurs 41 500 rub. z Centrum Szkoleniowego IBS, szkolenie 24-godzinne, termin 26.11.2023.

Miscellanea / by admin / December 05, 2023

click fraud protection

Szkolenie zapewnia szczegółowe zrozumienie wewnętrznej struktury i funkcjonowania frameworku Apache Spark – zarówno Spark Core (RDD), Spark SQL, Spark Streaming, jak i Spark Structured Streaming. Rozważane są mechanizmy uruchamiania komponentów klastra Spark pod kontrolą różnych menadżerów klastrów, zarządzania alokacją zasobów (przede wszystkim pamięci) oraz mechanizmy pracy planistów. Szczegółowo omówiono zalety wewnętrznego formatu reprezentacji Tungsten i działanie optymalizatora Catalyst.

Omawiane tematy:
Architektura wewnętrzna Spark, środowisko wykonawcze Spark
Konfigurowanie kontekstu Spark, SparkConf
Elementy wewnętrzne RDD, układ logiczny
Najlepsze praktyki programowania za pomocą RDD
Plan fizyczny: praca, etapy, zadania
Planiści i wykonanie planu fizycznego
Strojenie pamięci, serializacja, buforowanie, zbieranie śmieci
Datasource API, wewnętrzna reprezentacja danych Tungsten, formaty plików
Optymalizator katalizatora
Microbatch Spark Streaming: odbieranie i wysyłanie danych
Strumieniowanie strukturalne: odbieranie i dystrybucja danych

instagram viewer

Tagi chmura

Miscellanea

Ocena

widoki

Komentarze