В этой теме пересекаются математический анализ, выпуклая оптимизация и вычислительные алгоритмы. Работа требует строгого вывода формул, геометрической интерпретации градиентов целевой функции и ограничений, а также программной иллюстрации того, как ограничение нормы весов предотвращает переобучение модели.

Четыре содержательных блока курсовой

  1. Теоретический фундамент классического метода. Разбери постановку задачи минимизации гладкой функции при ограничениях типа равенств. Выпиши функцию Лагранжа, сформулируй необходимое условие экстремума первого порядка через равенство нулю градиента лагранжиана и приведи достаточное условие через знакоопределённость окаймлённого гессиана на касательном пространстве.
  2. Обобщение на неравенства и аппарат ККТ. Сформулируй теорему Каруша — Куна — Таккера. Подробно распиши условия дополняющей нежёсткости и двойственной допустимости. Покажи геометрический смысл взаимного направления градиентов целевой функции и активных ограничений на границе допустимой области.
  3. Двойственность Лагранжа и регуляризация в машинном обучении. Покажи переход от оптимизации с явным ограничением нормы вектора весов к безусловной оптимизации с штрафным слагаемым. Поясни, почему множитель Лагранжа превращается в гиперпараметр силы регуляризации, сравнив поведение L2-штрафа (Ridge) и L1-штрафа (Lasso).
  4. Численный эксперимент на модели данных. Реализуй на Python задачу оптимизации параметров полносвязной нейросети или логистической регрессии. Сравни траекторию сходимости градиентного спуска при явном проектировании весов на допустимое множество и при стандартном добавлении регуляризатора в функцию потерь.

Что преподаватель оценивает в этой работе

На защите математических курсовых смотрят на строгость определений и понимание условий применимости теорем. Преподаватель обязательно проверит, указаны ли условия регулярности ограничений (условия Слейтера или линейная независимость градиентов ограничений LICQ), без которых система ККТ не гарантирует верных точек.

В прикладной части комиссия оценивает корректность перехода от двойственной задачи к программному коду. Если в тексте заявлена нейросеть, важно показать конкретную функцию потерь (например, кросс-энтропию), аналитический вид её производной и точное место, где к градиенту добавляется штрафной член регуляризатора.

Где искать формулы и математические основания

Для строгого изложения оптимизации используй классический учебник Стивена Бойда и Ливена Ванденберге «Выпуклая оптимизация» (главы 4 и 5 о двойственности Лагранжа). Геометрические доказательства и разбор условий второго порядка подробно описаны в книге Хорхе Носедала и Стивена Райта «Numerical Optimization».

Переход к машинному обучению надежнее всего строить по монографии Яна Гудфеллоу, Иошуа Бенджио и Аарона Курвилля «Глубокое обучение» (глава 7 о регуляризации) или по пособию Кристофера Бископа «Pattern Recognition and Machine Learning». Для численной реализации используй стандартные библиотеки SciPy (модуль scipy.optimize) и PyTorch.

Частые вопросы

Нужно ли полностью доказывать теорему Лагранжа в тексте?

В курсовой работе по прикладной математике полное доказательство теоремы о неявной функции обычно опускают. Достаточно аккуратно сформулировать теорему, перечислить все условия гладкости и привести подробный вывод необходимых условий экстремума.

Почему в PyTorch параметр weight_decay называют множителем Лагранжа?

Формально weight decay добавляет штраф к функции потерь напрямую. Связь с методом Лагранжа заключается в том, что каждому фиксированному коэффициенту штрафа соответствует эквивалентная задача минимизации потерь при строгом ограничении радиуса шара весов, где этот коэффициент выступает оптимальным множителем Лагранжа.

Какую нейросеть выбрать для практической части?

Бери компактную модель — двухслойный перцептрон для задачи классификации точек на плоскости или логистическую регрессию на наборе данных с шумом. На простых архитектурах легче визуализировать разделяющую поверхность и влияние регуляризатора на геометрию весов.