Математический аппарат и теоретическая база

В теоретической части необходимо строго вывести задачу максимизации дисперсии проекции данных. Исходная выборка задаётся матрицей X размера n на d, где n равно 150 наблюдениям, а d равно 4 признакам цветка. Сначала покажи переход к центрированной матрице данных со средними значениями признаков, равными нулю. Выведи формулу выборочной ковариационной матрицы Sigma размером 4 на 4 как результат умножения транспонированной центрированной матрицы на исходную с нормировкой на n минус один.

Центральный фрагмент теории — решение задачи на условный экстремум с множителем Лагранжа. Требуется найти единичный вектор направления w, максимизирующий дисперсию проекции w-транспонированное умножить на Sigma и умножить на w при условии равенства нормы вектора единице. В результате получается характеристическое уравнение для собственных векторов и собственных значений ковариационной матрицы. Обязательно поясни спектральную теорему для симметричных вещественных матриц, гарантирующую существование ортонормированного базиса из собственных векторов.

Реализация алгоритма на выборке Iris

Практический раздел требует самостоятельного программирования всех вычислений без использования готового класса PCA из прикладных библиотек. Расчёты обычно выполняются на языке Python с библиотекой NumPy или в среде MATLAB.

  1. Центрирование четырёх числовых признаков длины и ширины чашелистика и лепестка вычитанием выборочного среднего по каждому столбцу.
  2. Вычисление выборочной ковариационной матрицы размера 4 на 4 и проверка её свойств симметричности и неотрицательной определённости.
  3. Нахождение спектра матрицы через вычисление корней характеристического многочлена или прямой вызов функции линейной алгебры для расчёта собственных пар.
  4. Сортировка собственных значений по убыванию вместе с соответствующими им собственными векторами.
  5. Формирование матрицы проекции из первых двух собственных векторов и расчёт новых двумерных координат каждого из 150 образцов.

Оценка потерь информации и визуализация

Снижение размерности с четырёх признаков до двух неизбежно влечёт потерю части дисперсии. В работе необходимо рассчитать долю объяснённой дисперсии для каждого главного направления как отношение текущего собственного значения к следу ковариационной матрицы, то есть к сумме всех четырёх собственных чисел. На датасете ирисов первая компонента аккумулирует свыше 70 процентов совокупной дисперсии, а первые две компоненты вместе описывают более 95 процентов разброса исходных точек.

Итогом расчёта служит точечный график рассеяния в осях первой и второй главных компонент. Нанеси на плоскость 150 точек с цветовой разметкой по трём реальным видам (Iris setosa, Iris versicolor, Iris virginica). Проанализируй взаимное расположение классов. Класс setosa отделится линейно вдоль первой оси, тогда как versicolor и virginica образуют близкие группы с частичным перекрытием.

Критерии оценки работы преподавателем

Преподаватель кафедры высшей математики или анализа данных оценивает математическую строгость и согласованность размерностей на каждом шаге. Проверяется корректность формул матричного дифференцирования при выводе через множители Лагранжа. В программной части смотрят на отсутствие готовых высокоуровневых обёрток и совпадение полученных собственных векторов с аналитическим решением. Собственные векторы должны быть строго ортогональны между собой, а их евклидова норма обязана равняться единице.

Частые вопросы

Нужно ли стандартизировать признаки ирисов к единичной дисперсии?

В датасете ирисов все четыре признака измерены в сантиметрах и имеют сопоставимый масштаб, поэтому классический метод работает напрямую на центрированной ковариационной матрице. Если признаки измерены в принципиально разных шкалах, ковариационную матрицу заменяют корреляционной.

Почему направление собственного вектора в коде может иметь противоположный знак по сравнению со Scikit-learn?

Собственный вектор определяет прямую в пространстве. Векторы v и минус v задают одну и ту же главную компоненту, поэтому зеркальное отражение графика по одной из осей математически корректно.