Генератор случайных тестовых данных для базы данных интернет-магазина

Проектирование схемы данных и целостность связей

Сначала спроектируй реляционную модель минимум из пяти связанных таблиц. В стандартный минимум входят покупатели (users), категории (categories), товары (products), заказы (orders) и позиции заказа (order_items). Преподаватель сразу проверит соблюдение третьей нормальной формы и наличие внешних ключей foreign key с правильными правилами каскадного удаления или ограничения.

Для генератора критически важен строгий порядок наполнения таблиц. Сначала генерируются независимые сущности с первичными ключами, затем зависимые. В тексте пояснительной записки покажи схему зависимостей в виде направленного ациклического графа и приведи точные типы данных полей, включая ограничения CHECK и UNIQUE.

Алгоритмы генерации и правдоподобие распределений

Равномерное случайное распределение превращает базу в бесполезный мусор для оптимизатора запросов. Настоящие продажи подчиняются закону Ципфа или принципу Парето, когда двадцать процентов популярных товаров формируют восемьдесят процентов строк в чеках. То же самое касается географии клиентов и сезонности заказов.

• Используй библиотеки генерации фиктивных данных вроде Faker на Python или Bogus на C# для формирования осмысленных имен, адресов и почтовых ящиков с валидными доменами.
• Заложи логические ограничения предметной области, чтобы дата создания заказа была строго позже даты регистрации учетной записи клиента.
• Настрой взвешенное случайное распределение для статусов заказов, отражающее типичную воронку интернет-магазина от создания до успешной доставки или отмены.
• Реализуй корреляцию цен и категорий, чтобы стоимость позиций в электронике существенно отличалась от стоимости позиций в категории канцелярских товаров.

Производительность вставки и пакетная обработка

Построчная отправка запросов через обычный INSERT упрется в накладные расходы сетевого стека и транзакционного лога СУБД. Генерация миллиона записей в таком режиме займет несколько часов. Опиши в расчетно-практической части курсовой переход к пакетной вставке.

Покажи программную реализацию через batch insert пачками по пять или десять тысяч строк, либо выгрузку во временные CSV-файлы с последующей загрузкой через бинарный протокол COPY в PostgreSQL или LOAD DATA INFILE в MySQL. Приведи замеры потребления оперативной памяти генератором, чтобы доказать использование потоковой генерации через итераторы без удержания всего объема данных в ОЗУ.

Нагрузочные тесты и валидация результатов

Финальная глава работы посвящена доказательству полезности генератора. Наполни базу двумя объемами данных, например на десять тысяч и один миллион записей. Составь три аналитических запроса разной сложности, включающих группировки GROUP BY, оконные функции и соединения JOIN нескольких таблиц.

Сними планы выполнения запросов командой EXPLAIN ANALYZE на пустой, частично заполненной и полностью загруженной базе. Покажи в графиках или таблицах изменение стоимости плана выполнения и времени отклика, а также продемонстрируй момент, когда планировщик СУБД переключается с последовательного сканирования Seq Scan на сканирование по индексам Index Scan.

Что проверяет преподаватель

• Скорость генерации данных, выраженную в количестве успешно вставленных строк за секунду.
• Архитектуру кода генератора, разделение логики формирования значений и слоя взаимодействия с базой данных.
• Корректность генерации суррогатных и естественных ключей без коллизий уникальности при больших объемах.
• Наглядность сравнения планов запросов в пояснительной записке до и после построения индексов на сгенерированном массиве.

Где брать данные и источники

Теоретическую основу бери из классических спецификаций бенчмарков TPC-C и TPC-H, определяющих стандарты нагрузочного тестирования баз данных в электронной коммерции. Официальная документация выбранной СУБД по командам EXPLAIN, COPY и параметрам работы WAL послужит опорой для расчетной главы. Реальные структуры витрин данных и распределения категорий можно изучить по открытым датасетам интернет-ритейлеров, например бразильскому датасету Olist на платформе Kaggle.