MLOps - stawka 80 000 rub. z Otusa, staż 5 miesięcy, termin 30.11.2023.
Miscellanea / / November 30, 2023
Opanujesz wszystkie niezbędne umiejętności uczenia maszynowego w zakresie przesyłania strumieniowego danych i środowisk rozproszonych. Program zawiera niezbędną wiedzę z dziedzin Data Science i Data Engineering, która pozwoli Ci przetwarzać duże zbiory danych i pisać algorytmy rozproszone w Spark.
Będziesz ćwiczyć każdy moduł, odrabiając pracę domową. Na koniec szkolenia otrzymasz końcowy projekt, który pozwoli Ci podsumować całą zdobytą wiedzę i dodać ją do swojego portfolio. Można to wykonać w ramach zadań roboczych na zbiorze danych lub jako projekt edukacyjny oparty na danych dostarczonych przez OTUS.
Dla kogo jest ten kurs?
Dla specjalistów Machine Learning lub inżynierów oprogramowania, którzy chcą nauczyć się pracować z Big Data. Zazwyczaj takie zadania istnieją w dużych firmach informatycznych posiadających produkt cyfrowy na dużą skalę.
Dla badaczy danych, którzy chcą wzmocnić swój zestaw umiejętności o umiejętności inżynieryjne. Dzięki kursowi będziesz potrafił przetwarzać dane i samodzielnie wyświetlać wyniki rozwiązań ML w produkcji.
Aby się tego nauczyć, będziesz potrzebować podstawowych umiejętności w zakresie analityki danych. Sugerujemy zapoznanie się z mapą kursów Data Science w OTUS, aby dowiedzieć się, jaki jest wymagany poziom szkolenia.
Nauczysz się:
- Używaj standardowych narzędzi potokowych ML w środowisku rozproszonym;
- Opracuj własne bloki dla potoków ML;
- Dostosuj algorytmy ML do środowisk rozproszonych i narzędzi Big Data;
- Używaj Spark, SparkML, Spark Streaming;
- Opracowywanie algorytmów przygotowania danych strumieniowych na potrzeby uczenia maszynowego;
- Zapewnienie kontroli jakości na wszystkich etapach wprowadzania rozwiązań ML do zastosowań przemysłowych.
Zapotrzebowanie na specjalistów
Umiejętności, które opanujesz, będą jak najbardziej praktyczne i obiecujące. Na rynku pojawia się coraz więcej produktów cyfrowych, których rozwój wymaga pracy z dużymi zbiorami danych i przetwarzaniem strumieniowym. Już teraz specjaliści z taką pulą umiejętności i pewnym doświadczeniem zawodowym mogą kwalifikować się do pensji na poziomie 270 tys. ruble Kolejny trend – automatyzacja procesów szkoleniowych i walidacyjnych wręcz przeciwnie, w pewnym sensie dewaluuje pracę klasycznego Data Scientisty. Wszystko zmierza do punktu, w którym nawet niespecjalista może przewidzieć dopasowanie. Dlatego ci, którzy mają przynajmniej powierzchowne umiejętności inżynieryjne, są już na wagę złota.
Funkcje kursu
Dużo praktyki w pracy z danymi
Szeroki zakres umiejętności, od rozproszonego uczenia maszynowego i przetwarzania danych strumieniowych po wyniki produkcyjne
Aktualne narzędzia i technologie: Scala, Spark, Python, Docker
Komunikacja na żywo z ekspertami za pośrednictwem webinarów i czatu na Slacku
4
kursZaangażowany w rozwój zespołu Data Science dostarczającego funkcjonalność opartą na uczeniu maszynowym dla produktów i usług firmy. Jako analityk danych brał udział w rozwoju rozwiązań Kaspersky MLAD i MDR AI Analyst. W...
Zaangażowany w rozwój zespołu Data Science dostarczającego funkcjonalność opartą na uczeniu maszynowym dla produktów i usług firmy. Jako analityk danych brał udział w rozwoju rozwiązań Kaspersky MLAD i MDR AI Analyst. Jako programista C++ brał udział w tworzeniu MaxPatrol SIEM, od wielu lat prowadzi zajęcia z obsługi komputera. dyscyplin naukowych w MSTU GA.Autor serii raportów z zakresu zarządzania i rozwoju projektów ML, C++, DS zespoły. Członek konferencji PC C++ Rosja. Kierownik programu
8
kursyPonad 20 lat doświadczenia w niestandardowych projektach deweloperskich w IT. Dziesiątki udanych projektów, w tym w ramach kontraktów rządowych. Doświadczenie w tworzeniu i wdrażaniu systemów ERP, rozwiązań open source, obsłudze aplikacji o dużym obciążeniu. Prowadzący zajęcia z...
Ponad 20 lat doświadczenia w niestandardowych projektach deweloperskich w IT. Dziesiątki udanych projektów, w tym w ramach kontraktów rządowych. Doświadczenie w tworzeniu i wdrażaniu systemów ERP, rozwiązań open source, obsłudze aplikacji o dużym obciążeniu. Prowadzący kursy z zakresu Linux, Kuber, MLOps, DataOps, SolutionArchitect, IaC, SRE oraz mentor kursu HighLoad
1
DobrzeSpecjalista w pracy z big data i uczeniem maszynowym. Przez 8 lat pracował w Odnoklassniki.ru. Zarządzał zespołem OK Data Lab (laboratorium dla badaczy w dziedzinie big data i...
Specjalista w pracy z big data i uczeniem maszynowym. Przez 8 lat pracował w Odnoklassniki.ru. Zarządzał zespołem OK Data Lab (laboratorium dla badaczy z zakresu big data i uczenia maszynowego). Analiza Big Data w Odnoklassnikach stała się wyjątkową szansą na połączenie szkolenia teoretycznego i podstaw naukowych z rozwojem prawdziwych, poszukiwanych produktów. Od 2019 roku pracuje w Sbierbanku na stanowisku Dyrektora Zarządzającego. Pełni funkcję lidera klastra zajmującego się rozwojem platformy systemów rekomendacyjnych w pionie masowej personalizacji. W 2004 roku ukończył studia na Uniwersytecie Państwowym w Petersburgu, gdzie w 2007 roku obronił doktorat z metod logiki formalnej. W outsourcingu pracowałem prawie 9 lat, nie tracąc kontaktu ze środowiskiem uniwersyteckim i naukowym.
Podstawowe wprowadzenie do rozpoczęcia kursu
-Temat 1. Modele gradientowe i liniowe
-Temat 2.Omówienie podstawowych metod i metryk uczenia maszynowego
-Temat 3.Ewolucja podejść do pracy z danymi
-Temat 4.Podstawy programowania w Scali
Podstawy technologiczne rozproszonego przetwarzania danych
-Temat 5. Rozproszone systemy plików
-Temat 6. Menedżerowie zasobów w systemach rozproszonych
-Temat 7. Ewolucja masowo równoległych i rozproszonych struktur obliczeniowych
-Temat 8. Podstawy Apache Spark 1
-Temat 9. Podstawy Apache Spark 2
Podstawy rozproszonego uczenia maszynowego
-Temat 10. Transfer algorytmów ML do środowiska rozproszonego
-Temat 11.ML w Apache Spark
-Temat 12. Tworzenie własnych bloków dla SparkML
-Temat 13.Optymalizacja hiperparametrów i AutoML
Przetwarzanie strumieniowe
-Temat 14. Strumieniowe przetwarzanie danych
-Temat 15. Biblioteki stron trzecich do użytku ze Sparkiem
-Temat 16. Przesyłanie strumieniowe Spark
-Temat 17. Strukturyzowane i ciągłe przesyłanie strumieniowe w Spark
-Temat 18. Alternatywne frameworki do streamingu
Wyznaczanie celów i analiza wyników
-Temat 19. Określenie celu projektu ML i wstępna analiza
-Temat 20. Długoterminowe cele ML na przykładzie zadania ograniczenia churn
-Temat 21.Testy A/B
-Temat 22. Tematy dodatkowe
Wysyłanie wyników ML do produkcji
-Temat 23. Podejścia do wprowadzenia rozwiązań ML do produkcji
-Temat 24.Wersjonowanie, odtwarzalność i monitorowanie
-Temat 25. Serwowanie modelek online
-Temat 26. Wzorce asynchronicznego przesyłania strumieniowego ML i ETL
-Temat 27. Jeśli potrzebujesz Pythona
ML w Pythonie w produkcji
-Temat 28. Kod produkcyjny w Pythonie. Kodeks organizacji i pakowania
-Temat 29.Architektura REST: API Flask
-Temat 30.Docker: Struktura, aplikacja, wdrożenie
-Temat 31.Kubernetes, orkiestracja kontenerów
-Temat 32.Narzędzia MLOPS dla Kubernetes: KubeFlow, Seldon Core. Cechy działania systemów heterogenicznych w przemyśle.
-Temat 33.Amazon Sagemaker
-Temat 34. Usługa AWS ML
Zaawansowane tematy
-Temat 35. Sieci neuronowe
-Temat 36. Uczenie rozproszone i wnioskowanie o sieciach neuronowych
-Temat 37. Wzmocnienie gradientowe na drzewach
-Temat 38. Uczenie się przez wzmacnianie
Praca projektowa
-Temat 39. Wybór tematu i organizacja pracy projektowej
-Temat 40. Konsultacje dotyczące projektów i prac domowych
-Temat 41.Ochrona dzieł projektowych