Определение жанра музыки по спектрограмме с помощью свёрточной сети

Анализ аудиосигналов с помощью компьютерного зрения базируется на переводе одномерной звуковой волны в двумерную матрицу частот и времени. Свёрточные слои нейросети извлекают из спектрограммы характерные гармоники, ритмические паттерны и тембральные окраски инструментов аналогично тому, как они находят границы объектов на обычных фотографиях.

Преобразование аудио в мел-спектрограммы

Звуковой файл в формате WAV или MP3 представляет собой массив амплитуд во времени. Для подачи в свёрточную сеть сигнал преобразуют с помощью оконного преобразования Фурье (STFT) в мел-спектрограмму, отражающую восприятие высоты звука человеческим ухом. В теоретической и расчётной части важно зафиксировать базовые параметры оцифровки:

• Частота дискретизации аудиопотока, составляющая обычно 22050 Гц при работе с музыкальными бенчмарками
• Размер окна дискретного преобразования Фурье (n_fft), чаще всего равный 2048 отсчётам для баланса частотного и временного разрешения
• Шаг смещения окна (hop_length), равный 512 отсчётам
• Количество мел-фильтров от 64 до 128, определяющее вертикальный размер входного тензора
• Логарифмирование мощности сигнала для перевода значений амплитуды в децибелы

Архитектура свёрточной сети

Для учебной курсовой работы подходят два пути построения модели. Первый путь предполагает разработку собственной архитектуры из 3–5 свёрточных блоков. Каждый блок объединяет свёртку с ядром 3x3, пакетную нормализацию (Batch Normalization), функцию активации ReLU и слой уменьшения размерности (MaxPool 2x2). Завершают сеть полносвязные слои с регуляризацией Dropout и выходом Softmax по числу жанров. Второй путь опирается на перенос обучения (Transfer Learning) с адаптацией предобученной сети ResNet-18 или MobileNetV2, где веса предварительно обучены на ImageNet, а входной слой модифицирован под одноканальные спектрограммы.

Обучение и метрики классификации

Обучение проводят с использованием функции потерь кросс-энтропии и оптимизатора Adam со скоростью обучения порядка 0.001. Результаты оценивают не только по общей доле правильных ответов (Accuracy), но и по метрикам Precision, Recall и F1-score для каждого жанра в отдельности. Обязательным элементом расчётно-графической части является матрица ошибок (Confusion Matrix), которая наглядно демонстрирует, какие пары жанров модель путает чаще всего, например блюз с джазом или рок с металом.

Что проверяет преподаватель в этой теме

Преподаватель в первую очередь обращает внимание на корректность пайплайна машинного обучения. Он оценивает обоснование выбранных параметров спектрального анализа, устойчивость модели к переобучению по графикам функции потерь на обучающей и валидационной выборках, а также детальный разбор матрицы ошибок с точки зрения физики звука и аранжировок.

Источники данных и инструменты

Для обучения классификатора используют эталонный датасет GTZAN Genre Collection, содержащий 1000 тридцатисекундных треков десяти жанров, либо подвыборку FMA Small из открытого архива Free Music Archive. Программная реализация опирается на библиотеки Python: Librosa или Torchaudio для извлечения акустических признаков, PyTorch или TensorFlow для построения нейросети, Scikit-learn и Matplotlib для расчёта метрик и визуализации спектрограмм. Теоретическую базу берут из материалов конференций ISMIR (International Society for Music Information Retrieval) и статей архива arXiv.