Inżynier danych - kurs 89 000 rub. z Otusa, szkolenie 4 miesiące, termin 30.11.2023.
Miscellanea / / December 03, 2023
Co da Ci ten kurs?
- Zrozumienie kluczowych sposobów integracji, przetwarzania i przechowywania dużych zbiorów danych
- Możliwość pracy z komponentami ekosystemu Hadoop, rozproszoną pamięcią masową i rozwiązaniami chmurowymi
- Praktyczne umiejętności tworzenia usług danych, witryn sklepowych i aplikacji
- Znajomość zasad organizacji monitoringu, orkiestracji, testowania
Kurs jest adresowany programistów, administratorów DBMS i wszystkich, którzy chcą podnieść swój poziom zawodowy, opanować nowe narzędzia i zająć się ciekawymi zadaniami z zakresu pracy z danymi.
Po studiach Inżynieria Danych staniesz się poszukiwanym specjalistą, który:
- wdraża, dostosowuje i optymalizuje narzędzia do przetwarzania danych
- dostosowuje zbiory danych do dalszej pracy i analiz
- tworzy usługi wykorzystujące wyniki przetwarzania dużych ilości danych
- odpowiedzialny za architekturę danych w firmie
Real Case Studies: przykłady wdrożeń, wykorzystanie narzędzi, optymalizacja wydajności, problemy, błędy i zastosowane wyniki
Bardzo praktyczna orientacja:
W trakcie kursu będziemy stopniowo tworzyć działający produkt, rozwiązując stosowane problemy
Całościowy obraz wyzwań i zadań współczesnego biznesu oraz roli Inżyniera Danych w ich rozwiązywaniu
Zapotrzebowanie wśród pracodawców
Już 40 pracodawców jest gotowych zaprosić absolwentów kierunków na rozmowę kwalifikacyjną
6
kursyInżynier danych w Wildberries, prelegent kursu DE Junior. Ponad 7 lat w IT
Absolwent z wyróżnieniem Uniwersytetu Państwowego w Woroneżu. Obecnie student studiów magisterskich HSE „Inżynieria Systemów i Oprogramowania”. Doświadczenie zawodowe - 2 lata pracy na stanowisku Analityka i Inżyniera Danych. Obecnie pracuje z 5 popularnymi bazami danych, rozwija się w Pythonie i dynamicznie rozwija swoje umiejętności. Gotowy podzielić się moim doświadczeniem.
1
DobrzeOd ponad 10 lat rozwija analitykę w firmie. Wśród osiągnięć: - Budowa własnego, kompleksowego systemu analityki internetowej; - Budowa hurtowni analitycznej w oparciu o MPP Vertica; - Organizacja przetwarzania danych w oparciu o Spark, Kafka, HDFS; -...
Od ponad 10 lat rozwija analitykę w firmie. Wśród osiągnięć: - Budowa własnego, kompleksowego systemu analityki internetowej, - Budowa hurtowni analitycznej w oparciu o MPP Vertica, - Organizacja przetwarzania danych w oparciu o Spark, Kafka, HDFS;- Budowa procesów pracy z danymi, w tym jakości danych;- Stworzenie kilku wewnętrznych narzędzi do pracy i strukturyzacji metadanych (Data Catalog);- Budowa systemu raportowania korporacyjnego, w tym w czasie rzeczywistym; - Od ponad 5 lat podnosi w firmie Data Literacy, prowadząc różnorodne szkolenia z zakresu pracy z danymi, narzędzia, SQL; Wychował także kilku liderów analityki, którzy obecnie pracują w dużych firmach. Główny nacisk położony jest na zrozumienie problemów biznesowych podczas pracy z danymi i ich rozwiązywanie.
1
DobrzeKierownik działu, Sberbank 8 lat doświadczenia w rozwoju przemysłu, w tym w tworzeniu i utrzymaniu aplikacji internetowych zarówno w dużych firmach, jak i startupach. 3 lata rozwoju systemów rozproszonych dla dużych instytucji rządowych...
Kierownik działu, Sberbank 8 lat doświadczenia w rozwoju przemysłu, w tym w tworzeniu i utrzymaniu aplikacji internetowych zarówno w dużych firmach, jak i startupach. 3 lata rozwoju systemów rozproszonych dla dużych klientów rządowych. Zrealizowałem trzy projekty od podstaw, od prototypu po gotowy do użytku przemysłowego. Obecnie zajmuje się kompleksowym rozwojem klientów wewnętrznych banku, rozwiązując problemy związane z analizą i inżynierią danych. Doświadczenie w programowaniu w Java, Scala, Python, JavaScript. Szeroki zakres zainteresowań zawodowych, począwszy od budowy systemów rozproszonych po analitykę predykcyjną i analizę intencji. Wykształcenie: Licencjat z UrFU im. B.N. Jelcyn „Technologie informacyjne”.
Architektura danych
-Temat 1. Inżynier danych. Zadania, umiejętności, narzędzia, potrzeby rynku
-Temat 2.Architektura aplikacji analitycznych: podstawowe elementy i zasady
-Temat 3. Lokalnie / Rozwiązania chmurowe
-Temat 4. Automatyzacja i orkiestracja rurociągów – 1
-Temat 5. Automatyzacja i orkiestracja rurociągów – 2
Jezioro danych
-Temat 6. Rozproszone systemy plików. HDFS/S3
-Temat 7. Dostęp SQL do Hadoopa. Apache Hive/Presto
-Temat 8. Formaty przechowywania danych i ich cechy
-Temat 9. Analiza pilota dla 1 przypadku
-Temat 10.Kolejki wiadomości. Przegląd Kafki.
-Temat 11. Pobieranie danych z systemów zewnętrznych
-Temat 12.Apache Spark – 1
-Temat 13.Apache Spark – 2
DWH
-Temat 14.Analityczny DBMS. Bazy MPP
-Temat 15.Modelowanie DWH – 1. podstawy dbt
-Temat 16.Modelowanie DWH – 2. Skarbiec Danych 2.0
-Temat 17. Praktyki DevOps w aplikacjach analitycznych. CI+CD
-Temat 18. Analiza pilota dla przypadku 2
-Temat 19. Jakość danych. Zarządzanie jakością danych
-Temat 20. Wdrożenie rozwiązania BI
-Temat 21.Monitorowanie / Metadane
NoSQL/NewSQL
-Temat 22. Przechowywanie NoSQL. Szeroka kolumna i para klucz-wartość
-Temat 23. Przechowywanie NoSQL. Zorientowany na dokumenty
-Temat 24.ELK
-Temat 25.KliknijDom
-Temat 26. Analiza pilota dla przypadku 3
MLOps
-Temat 27.Organizacja i pakowanie kodu
-Temat 28. Architektura Docker i REST
-Motyw 29.MLFlow + DVC
-Temat 30. Wdrażanie modeli
-Temat 31. Analiza pilota dla przypadku 4
-Temat 32. Analiza pilota dla przypadku 5
Projekt dyplomowy
-Temat 33. Wybór tematu i organizacja pracy projektowej
-Temat 34.Konsultacje
-Temat 35.Ochrona