Kyberbezpečnost AI aplikací

Poznáš architekturu defense-in-depth a srovnáš si hlavní guardrails frameworky. Aplikuješ multimodální guardrails a nástroj Microsoft Presidio pro detekci citlivých údajů (PII). Zvládneš také nastavit guardrails pro přísně regulované obory.

Praktické cvičení: Přidej k chatbotu NeMo Guardrails s minimálně 3 pravidly, otestuj 5 útoků, srovnej výsledky s alternativním frameworkem a nasaď Presidio PII redakci.

Zabezpečíš RAG systémy v celém jejich cyklu – od ingestion až po finální odpověď. Naučíš se blokovat data poisoning a zlomit útočné řetězce. Ovládneš zabezpečení vektorových databází a aplikuješ striktní access control strategie.

Praktické cvičení: Implementuj security trimming pro multi-tenant RAG aplikaci, vytvoř poisoned dokument s nepřímou prompt injection, nasaď scanner při ingestion a přidej detekci anomálií.

Zjistíš, jak AI agenti kriticky rozšiřují attack surface. Naučíš se chránit nástroje proti tool poisoningu a ubránit agenty před memory poisoningem. Osvojíš si bezpečnostní vzory pro agentní systémy, jako je např. sandboxing.

Praktické cvičení: Omez oprávnění agenta s nástroji, přidej human-in-the-loop pro e-mail, nasaď rate limiting s detekcí podezřelých vzorů v logu a zprovozni MCP server s OAuth.

Zabezpečíš kódovací agenty proti rizikům v dodavatelském řetězci (supply chain). Pochopíš zásadní rozdíly v attack surface u computer-use agentů a aplikuješ na ně enterprise security controls.

Praktické cvičení: Proveď analýzu bezpečnostních modelů různých typů agentů, projdi si hands-on screen-injection lab a navrhni enterprise politiku pro jejich nasazení.

Provedeš red teaming AI aplikací a zjistíš, v čem se liší od tradičního pentestingu. Využiješ k tomu profesionální nástroje PyRIT a garak a pro evaluaci bezpečnostních testů zapojíš i LLM-as-judge.

Praktické cvičení: Proveď red team chatbotu pomocí nástrojů PyRIT a garak, vyhodnoť LLM-as-judge na známém adversarial vstupu a zdokumentuj jeho limity.

Odhalíš, jak z bezpečnostních nálezů vytvořit automatizované testy pomocí YAML konfigurace v promptfoo. Tyto testy následně úspěšně integruješ přímo do vývojové CI/CD pipeline a prozkoumáš nové možnosti testování.

Praktické cvičení: Přeměň nálezy z red teamingu na promptfoo test suite s více než 15 případy, vytvoř GitHub Actions workflow se security gatem a porovnej výsledky s jiným frameworkem.

Ochráníš AI dodavatelský řetězec pomocí prevence proti útokům přes serializaci modelů (Pickle, ONNX). Zajistíš integritu modelů díky formátu safetensors a zorientuješ se v Marketplace governance strategiích (Hugging Face, Azure AI Hub).

Praktické cvičení: Otestuj rizikový model pomocí nástroje ModelScan, interpretuj nálezy, převeď ho do formátu safetensors, sestav AIBOM a zablokuj v CI/CD pipeline modely s neznámým původem.

Prozkoumáš specifika AI observability a nasadíš platformu Langfuse pro sledování provozu. Nastavíš export bezpečnostních signálů do enterprise SIEM systémů a sestavíš vlastní AI incident response playbooky pro případ útoku.

Praktické cvičení: Integruj Langfuse s chatbotem, identifikuj útoky z traces, nastav export alertů do simulovaného SIEMu a napiš incident response playbook pro prompt injection.

Zorientuješ se v regulacích jako EU AI Act a naučíš se bez zbytečné byrokracie aplikovat NIST AI Risk Management Framework. Získáš capstone referenční architekturu bezpečného AI stacku a dokončíš svůj závěrečný security projekt.

Praktické cvičení: Vypracuj kompletní security assessment pro aplikaci OpsBot – od threat modelu přes guardrails a CI/CD testy až po monitoring a architektonický diagram.