Genri
"VIP" Подписка
Автор: Stepik, Иван Александров
Название: AI Security — практикум по безопасности ИИ приложений (2026)
Описание:
Курс - СTF-чемпионат - по защите ИИ-приложений. Короткая теория -> Атака -> Разбор -> Защита Чтобы понять как и от чего защищать, надо сначала попытаться сломать ИИ приложение, чему и будет посвящена основная часть курса. Независимо от того где и как вы создаёте свое приложение: без кода - с n8n, вайбкодингом или пишите весь код руками - курс подойдёт для любой аудитории.
Что внутри?
Prompt Injection - instruction override, system prompt extraction, delimiter attacks, output manipulation.
Jailbreaks - role-play, hypothetical framing, encoding, payload splitting, multi-turn атаки (Crescendo).
Indirect Prompt Injection — скрытые инструкции в документах, веб-страницах, email. Атака не на модель напрямую, а через контент, который она обрабатывает.
Атаки на агентов и RAG - tool abuse, knowledge base poisoning, memory attacks, multi-agent injection.
Автоматизированные атаки - PAIR, TAP, GCG - как автоматизация меняет ландшафт угроз. Без кода, но с пониманием attack loop.
Защита - есть defense-блок: от hardening промптов до проектирования guardrails.
Для кого этот курс:
— Специалисты по информационной безопасности, которые хотят понять новый класс угроз, связанных с LLM.
— Продакт-менеджеры и разработчики AI-продуктов, которые хотят делать свои системы устойчивее к атакам.
— QA и тестировщики, которые хотят добавить adversarial testing в свой арсенал.
— Все, кто активно пользуется ChatGPT, Claude и другими LLM и хочет понимать, как они ломаются.
— Студенты и исследователи в области AI safety и alignment, которые хотят быстро погрузиться в новую область.
Начальные требования:
Базовое понимание, что такое LLM (большая языковая модель) - на уровне «знаю, что это нейросеть, которая генерирует текст».
Опыт использования любой LLM (ChatGPT, Claude, Gemini и т.п.) - нужно понимать, что такое промпт и как устроен диалог с моделью
Код писать не нужно. Вообще. Все задания решаются через чат, формы и загрузку файлов.
Знание английского на уровне чтения технических терминов или использования онлайн-переводчика - часть атак и техник используют англоязычные промпты.
Что вы получаете:
Практические навыки red teaming LLM-приложений - востребованная специализация в AI Security.
Понимание таксономии атак на LLM - prompt injection, jailbreaks, indirect injection, agent attacks.
Опыт проектирования защиты: hardening промптов, guardrails, input/output фильтрация.
Умение оценивать безопасность AI-продуктов - как своих, так и сторонних.
Насмотренность и интуиция в области безопасности ИИ-приложений.
Программа:
1. ВВедение - Зачем ломать ИИ
Всё что нужно для старта!
Из чего состоит ИИ-приложение
CTF-0: Первый взлом — Hello, Injection!
2. Prompt Injection.
Твоя цель - соглашаться со всем что скажет клиент
CTF-1: Бодрый Флибустьер
Четыре класса Prompt Injection
CTF-marathon
Защита от Prompt Injection
3. Jailbreak
Что такое Jailbreak — зачем и как ломают модели
Социальные jailbreak-и
CTF: социальные jailbreak-и
Технические jailbreak-и
CTF: технические jailbreak-и
4. Агенты и непрямые PI
Инъекция вышла из чата
Payload везде: векторы косвенной инъекции
CTF: Косвенная инъекция — IN_AGENT
Агенты: LLM, который начал действовать
CTF: первые взломы InAgent Support
5. Мультиагенты и финиш.
CTF: Операция «Сорок восьмой»
А если агентов много?
В курс входят:
20 уроков
105 тестов
Скачать:
