Analiza danych w Pythonie i bazach danych (SQL) - bezpłatny kurs firmy RANEPA, szkolenie, Termin: 6 marca 2023.
Miscellanea / / December 04, 2023
Program Python Data Analysis and Database (SQL) zapewni studentom zrozumienie podstaw programowania algorytmów ML (Machine Learning) przy użyciu języka Python. Pomoże Ci także opanować szereg kompetencji z zakresu zarządzania nowoczesnymi relacyjnymi bazami danych oraz nabyć praktyczne umiejętności posługiwania się narzędziami językowymi DBMS (Database Management Systems dane).
W biznesie i rządzie należy stale analizować ogromne ilości danych uzyskać informacje umożliwiające kontrolę jakości pracy, zgłaszać świeże pomysły i uzasadniać przyjęte decyzje. Eksperci, którzy rozumieją ogromne ilości danych, mogą spodziewać się szybkiej kariery i imponujących wynagrodzeń.
Z reguły w ogłoszeniach o pracę związanych z analizą danych najczęściej pojawia się SQL i Python.
Na kurs mogą aplikować wyłącznie studenci, którzy nie studiują na następujących kierunkach:
W trakcie doskonalenia programu studenci będą mieli możliwość tworzenia nowych produktów cyfrowych (samodzielnie lub w zespole). Autorzy najlepszych rozwiązań otrzymają wsparcie Akademii oraz możliwość współpracy z Laboratorium Sztucznej Inteligencji i Laboratorium Rozwoju Platform RANEPA.
Pyton
Jak to wszystko działa? Funkcje Pythona.
Dlaczego wszyscy używają Pythona? Porównanie z innymi językami programowania. Jak pisać programy? Plusy Pythona. Jak używać Pythona w zadaniach: edycja tekstu, praca z obrazami, pisanie robotów stockowych, uruchamianie botów chatowych. Wejście i wyjście w Pythonie. Nazwy w Pythonie. Podstawowe operacje. Kontrola postępu wykonania programu (konstrukcje warunkowe). Przykłady prostych programów.
Cykle. Linie. Metody ciągowe.
Pętla z warunkiem wstępnym. Instrukcje Przerwij i Kontynuuj. Dla pętli Struktura linii i długość linii. Element liniowy i sposób cięcia linii. Pobieranie podciągu z ciągu. Przejście linii. Sekcje.
Krotki. Listy. mapa funkcji. Generator listy wartości losowych.
Dlaczego potrzebne są krotki? Praca z listą. Lista elementów. Wydrukuj listę. Prawidłowe kopiowanie list. Funkcje korzystania z funkcji mapy. Co to są generatory wartości losowych? Pęczek. Operacje na zbiorach. Kraina Lodu. Słowniki. uzyskać metodę Przeglądanie słownika.
Funkcje. Zastosowanie funkcji matematycznych. Zakres i wykluczenie.
Jak poprawnie pisać funkcje. Proste algorytmy. Pisanie pierwszych funkcji. Jak dodać matematykę. Zalecenia dotyczące pisania własnych funkcji. Jak działają lunety. Zmienne globalne. Zwracanie wielu wartości z funkcji. Wyjątki.
Praca z plikami. Matryce. Rodzaje sortowania
Co możesz zrobić z plikami? Otwieranie i zamykanie plików. Odczyt i zapis plików tekstowych. Matryce. Wypełnianie matryc. Wprowadzanie macierzy wiersz po wierszu. Odczytywanie i pisanie macierzy. Sortowanie bąbelkowe. Analiza algorytmu. Kilka wersji rozwiązania.
Przegląd biblioteki NumPy. Praca z funkcjami NumPy. Biblioteka SciPY.
Biblioteki Pythona i ich instalacja. Podstawowe typy danych NumPy. Funkcje numeryczne. Praca z tablicami. Operacje na tablicach. Tablice dwuwymiarowe. Matryce. Podstawowe funkcje biblioteki SciPy.
Przegląd biblioteki Pand. Podstawowe analizy.
Instalacja biblioteki. Tworzenie obiektu Series. Indeksowanie ramki danych. Stoły. Odczyt i zapis plików. Indeksowanie. Próbkowanie danych. Operacje na wierszach i kolumnach. Współpraca z NaN. Sortowanie.
Wizualizacje danych. Praktyczne przykłady
Badanie nowych danych, ich wstępne przetwarzanie, wizualizacja danych, poszukiwanie powiązań pomiędzy cechami, przygotowywanie danych szkoleniowych oraz tworzenie modeli prognozowania ryzyka kredytowego. Uzyskanie modelu odpowiadającego na pytanie: udzielać czy nie udzielać pożyczki.
Automatyzacja rutynowych zadań. Praktyczne przykłady
Analiza praktycznych przykładów automatyzacji zadań związanych z pozyskiwaniem zagregowanych informacji z kilku źródeł (pliki Excel) lub Internetu.
Przegląd metod uczenia maszynowego stosowanych do analizy danych. Praktyczne przykłady
Praktyczny przykład identyfikacji podstawowych cech i ich interpretacji w problemie uczenia się nadzorowanego.
Ocena modułu tymczasowego
Certyfikacja tymczasowa odbywa się w formie testu (test komputerowy). Przykład typowego budynku testowego:
Jakiej funkcji Pythona możesz użyć, aby sprawdzić typ zmiennej?
- hwoami
- typ
- typ
- Jest
Jaki zakres liczb zostanie utworzony w następującym kodzie: zakres (9, 3, -2)
- 9 8 7 6 5 4 4
- 9 7 5 3
- 9 7 5
- 11 9 8 7 6 5 4
Co umożliwia wykonanie fragmentu kodu znajdującego się na liście?
- Fragment kodu: print(math.sqrt(2))
- wyświetlanie liczby 2 z biblioteki matematycznej
- podłączanie biblioteki matematycznej
- podniesienie liczby matematycznej do kwadratu
- wyświetlanie pierwiastka kwadratowego z dwóch
SQL-a
Przechowywanie i integralność danych.
Przechowywanie danych: pliki danych, logi, poziomy RAID, Tempdb. Relacje w bazach danych, jeden do jednego, jeden do wielu, wiele do wielu. Integralność danych: KLUCZ PODSTAWOWY, SPRAWDZONY, UNIKALNY i KLUCZ OBCY. Normalizacja tabel.
Tworzenie bazy danych i tabel.
Architektura DBMS: poziom logiczny (tabele i typy danych, klucze, indeksy, widoki, złożenia, ograniczenia, reguły, wartości domyślne) i poziom fizyczny (pliki i grupy plików, strony). Tworzenie bazy danych. Typy danych pól tabeli: Dokładne liczby, ciągi znaków Unicode, liczby przybliżone, dane binarne, data i godzina, inne typy danych, ciągi znaków. Tworzenie tabel. Gdzie pisać prośby?
Indeksy. Schematy.
Indeksy: klastrowane, nieklastrowane, unikalna identyfikacja, filtrowane, magazyn kolumn, skrót, nieklastrowane, indeks zoptymalizowany pod kątem pamięci. Diagramy ER: diagramy bazy danych, węzeł bazy danych. DML i najpopularniejsze operatory SQL: SELECT, INSERT, UPDATE, DELETE. Znaczenie unikalnych czynników.
Upraszanie. Połączenia zewnętrzne.
Zapytania w jednej tabeli. Próbkowanie bez powtórzeń. Zapytania dotyczące wielu tabel. Złączenia zewnętrzne: LEWE, PRAWE lub PEŁNE.
Funkcje agregujące. Podzapytania.
Podzapytania: WHERE COUNT, SUM, AVG, MAX, MIN, IN, ALL, ANY. Łączenie danych: WYBIERZ DOŁĄCZ. Funkcje agregujące: AVG, CHECKSUM_AGG, COUNT, COUNT_BIG, GROUPING, GROUPING_ID, MAX, MIN, STDEV, STDEVP, STRING_AGG, SUM, VAR, VARP. Warunki funkcji agregujących.
Przydatne funkcje.
Trochę więcej o operatorach. Żądanie przemysłowe. Przydatne funkcje: SQRT, RAND, CONCAT, funkcje numeryczne i łańcuchowe. Pierwszeństwo operacji i konwersja typu: CAST, CONVERT.
Transakcje. Reprezentacja.
Jedna prośba na cztery sposoby. Transakcje: koncepcja transakcji - atomowość, spójność, izolacja, trwałość, zarządzanie transakcjami - COMMIT, ROLLBACK, SAVEPOINT, SET TRANSACTION. Równoległy dostęp do danych: problemy brudnego, niepowtarzalnego odczytu, fantomy. Widoki: indeksowane, partycjonowane, systemowe.
Zmienne i pętle.
Rozpoczęcie programowania. Zmienne: DECLARE, SET, SELECT. Struktura kodu. Operatory opisu danych: CREATE, DROP, ALTER itp. Operatory manipulacji danymi: INSERT, DELETE, SELECT, UPDATE itp. Operatory do ustawiania praw dostępu w bazie danych: GRANT / REVOKE, LOCK / UNLOCK, SET LOCK MODE Operatory ochrony, odzyskiwania danych i inne operatory. Cykle: PODCZAS.
Procedury i funkcje składowane.
Stoły tymczasowe. Kursory Transact-SQL, serwer, klient. Typy kursorów: jednokierunkowy, statyczny, zestaw kluczy, dynamiczny. Procedury i funkcje składowane: CREATE PROCEDURE, CREATE PROC.
Wyzwalacze. Wyjątki.
Przenośnik HF. Wyzwalacze: AFTER, INSTEADOF. Wyjątki: Z WYJĄTKIEM. Dynamiczny SQL przy użyciu słowa kluczowego i procedury składowanej: WYKONAJ NATYCHMIAST.
DBMS. Bazy danych NoSQL.
Transakcje w programowaniu/DBMS/SQL. Sposób wykonywania żądań. Jak poprawić wydajność zapytań. Baza danych NoSQL i jej zalety.
Ocena modułu tymczasowego
Certyfikacja tymczasowa odbywa się w formie testu (test komputerowy). Przykład typowego budynku testowego:
Jakiego rodzaju dane w polach mają typ NUMBER?
- strunowy
- numeryczny
- dwójkowy
Które polecenie SQL sprawdza dane?
- ZMIENIAĆ
- WYBIERAĆ
- Z
Co to jest transakcja?
- jest to grupa operacji wykonywanych przez SZBD
- to grupa operacji posiadająca właściwości ACID
- jest to operacja wykonania polecenia SQL