Возможно вопрос и не в тот раздел но нужен совет.
Есть: данные, допустим таблица с товарами в xls файле, возможно повторение одного товара 1-2 раза (таких товаров обычно не больше 20-30). Количество строк от 5К до 100К. Таблица не сортирована.
Нужно: провести анализ.
Мои действия: заливаю данные в БД.
Иду по списку товара по порядку , селектом проверяю есть ли данный товар уже в базе. Если есть то апдейтом изменяю параметры. Если товар встречается впервые то инсерчу его в БД.
Проблема: если товаров до 5К то скорость внесения данных в БД сносная. Если 10К-15К - процесс внесения в БД заставляет пить кофе (иногда даже пару чашек).
Анализ данных в БД проходит довольно быстро.
Как бы ускорить заполнение БД?
