Data science
v Pythonu

• Vytváření polí Numpy
• Manipulace s dimenzemi
• Kombinování a rozdělování polí
• Aplikace funkcí na prvky pole
• Lineární algebra a statistické funkce v Numpy

Úkol:
- Vytvoření pole Numpy vložením hodnot
- Rozšíření pole o další dimenze
- Řezy vícerozměrného pole
- Matematické operace nad polem

• Načítání a zápis dat pomocí knihovny Pandas
• Manipulace s dataframy – filtrování
• Kombinování více dataframů pomocí příkazu join
• Agregace pomocí příkazu groupby
• Indexy

• Tvorba základních grafů pomocí Matplotlib
• Úprava vzhledu grafu a jeho prvků
• Export grafů
• Složené grafy

Úkol:
- Načtení datového souboru
- Zjištění konkrétní hodnoty v souboru pomocí filtrování
- Agregace dat
- Vizualizace dat

• Úvod do průzkumné analýzy dat
• Odlehlá pozorování a chybějící hodnoty
• Popisná statistika datového souboru
• Knihovna SweetViz

Úkol: - Vytvoření vizualizačního souboru pomocí sweetwiz
- Základní interpretace výsledku

• Problematické situace v datech – chybějící hodnoty, odlehlá pozorování
• Metody pro identifikaci problémů v datech
• Nástroje pro opravu dat
• Normalizace dat v závislosti na zvoleném modelu

• Teoretický úvod do lineární regrese, metoda nejmenších čtverců
• Jednoduchá a vícenásobná lineární regrese, interpretace koeficientů
• Lineární regrese v knihovně scikit-learn
• Vytvoření predikce

Úkol:
- Nacvičení modelu lineární regrese
- Výpočet predikce
- Vizualizace skutečných vs. predikovaných hodnot
- Základní diagnostika modelu

• Jednoduchá a multi-class klasifikační úloha.
• Modely pro klasifikaci – logistická regrese, k-nearest neighbors (KNN), support vector machines (SVM)
• Přesnost modelu a chybové metriky
• Problém nevyváženého souboru dat a metody jeho řešení

• Základní logika rozhodovacích stromů, pojmy uzel (node), hrana (edge), list (leaf)
• Příprava dat pro rozhodovací stromy
• Nácvik modelu rozhodovacího stromu a predikce
• Analýza natrénovaného stromu

• Koncept řetězení operací do pipeliny, výhody využití
• Objekty typu transformer pro úpravu dat
• Metody fit, transform
• Práce s názvy sloupců

Úkol:
- Použití funkcí na vyhledání a ošetření chybějících hodnot
- Aplikace normalizační funkce

• Význam feature engineeringu pro přesnost modelů
• Metody užívané v rámci feature engineering – kódování kategorických proměnných, polynomy, převod numerických proměnných
• Feature engineering jako součást scikit-learn pipeline

Úkol: - Vytvoření objektu scikit-learn pipeline obsahujícího několik transformačních kroků
- Použití pipeliny pro úpravu datového souboru

• Význam validace modelu pro jeho přesnost a kalibraci hyperparametrů
• Rozdělení datového souboru na trénovací a testovací množinu dat
• Rozdělení trénovacího souboru pomocí cross-validace
• Různé typy cross-validačních technik

Úkol:
- Nacvičení vybraného modelu (lineární regrese nebo rozhodovací strom) s použitím vhodné cross-validace
- Vyhodnocení takto nacvičeného modelu

• Úvod do teorie ensemble modelů – bagging, boosting, stacking
• AutoML

• Modely využívající bagging – Random Forest, Extra Trees
• Modely využívající boosting – AdaBoost, Gradient Boosting Machines (GBM), XGBoost, LightGBM

Úkol: Vytvoření predikce s použitím některého z ensemble modelů

• Obecná charakteristika časových řad
• Modely pro predikci časových řad
• Feature engineering v časových řadách
• Cross-validace časových řad

Úkol:
- Predikce časové řady na vlastním nebo připraveném datasetu
- Aplikace všech kroků, které jsme se v průběhu kurzu naučili

• Učení bez učitele (unsupervised learning) – základy teorie a aplikace
• Modely pro shlukovou analýzu a jejich teorie
• Vyhodnocení modelu

• Důvody pro redukci počtu proměnných, přeučení modelu (overfitting)
• Metody pro výběr proměnných – signifikance proměnných, dopředný výběr a zpětná eliminace, regularizace
• Metody pro redukci dimenzionality – PCA, t-SNE

Úkol:
- Shluková analýza na vybraném datovém soubry
- Redukce dimenzionality na vybraném datové soubor