Как загрузить все изображения с веб-сайта?

[Program23]

Привет, булчане!

У меня есть задача:
Загрузить изображения товаров с этого веб-сайта: http://www.onlinetrade.ru/catalogue/
Всего картинок должно быть примерно 100 тысяч.

Изображения хранятся здесь: http://www.onlinetrade.ru/img/items/s/{IMAGE_NAME}.jpg
(например: http://www.onlinetrade.ru/img/items/...her niy_1.jpg)

Но к этой директории нет доступа: http://www.onlinetrade.ru/img/items/s

Я пробовал Teleport Pro, который плохо справился с задачей.
Потом перешел на Offline Explorer, он отлично выполняет задачу. Но почему-то загружает только около 5 тысяч картинок.

Что посоветуете?

[h1dd3n]

Сам скрипт напиши, там же ничего сложного. Получить список всех разделов (рекурсивно, если там дерево), далее по каждому разделу все товары и по картинке к каждому товару.

[Program23]

Сообщение от h1dd3n

Сам скрипт напиши, там же ничего сложного. Получить список всех разделов (рекурсивно, если там дерево), далее по каждому разделу все товары и по картинке к каждому товару.

Вообще не представляю с чего начать.

[h1dd3n]

А какой язык программирования тебе ближе всего ?

[Program23]

Сообщение от h1dd3n

А какой язык программирования тебе ближе всего ?

Javascript, Php

[h1dd3n]

ну тогда возьми nodejs скачай страницу, распарси (наверняка библиотека/модуль для этого уже написаны), далее составь список всех разделов, для каждого раздела получи список товаров (также запрашивая страницу и парся её), далее для каждого товара опять же запрашиваешь страницу находишь там элемент с картинкой, скачиваешь её, готово.

можно даже не nodejs а http://phantomjs.org/

[ABTOMAT]

Сообщение от h1dd3n

nodejs

Чем джаваскрипт прямо в браузере не угодил?
Распарсить на браузере, составить список ссылок на картинки.
Далее скачать удобным способом (поюзать какой-нибудь менеджер загрузок)

[h1dd3n]

я написал что можно вместо nodejs phantomjs взять. это тот же браузер (webkit)
ни разу в браузере ничего не парсил (я на C# пишу), но разве браузер не будет загружать вместе со страницей картинки и выполнять скрипты ? если отменить это поведение в js нельзя, то это будет ощутимо медленнее чем просто стянуть html и распарсить его, к тому же в nodejs есть место для оптимизаций - например грузить много страниц одновременно заходя через разные прокси или при загрузке картинки оптимизировать ее (конвертнуть в png и пройтись по ней pngquant/optipng) и т.д..

[Program23]

Чего-то я посмотрел все это дело. Да, долго я буду вникать. PhantomJS вообще не смог поставить (так и не понял что за глобальные переменные там нужно редактировать).

Мне хотя бы что-то вроде этого сервиса нужно:
http://backlinks-checker.dimax.biz/t...r_kartinok.php

[Program23]

В общем, попробовал с помощью C# запарсить страницу и загрузить изображение. Все вроде бы грузится, да не все.
Что с Offline Explorer, что с самописными парсерами, почему-то, например, с этой страницы:
http://www.onlinetrade.ru/catalogue/ip_telefoni-c517/
(на которой 46 товаров, а следовательно 46 картинок)
Загружается только 5 картинок товара. Почему не загружаются остальные, вообще не понятно.

[ABTOMAT]

Ну у варианта с js прямо в браузере есть важное преимущество: Document Object Model строит сам браузер, "переваривая" все нештатные ситуации (верстальщик Вася не закрыл тег — приехали), которые при ручном парсинге придётся предусматривать.
Если грузить ссылки через Ajax, будет грузиться только сама страница, без прилинкованного контента.

[h1dd3n]

Сообщение от ABTOMAT

Ну у варианта с js прямо в браузере есть важное преимущество: Document Object Model строит сам браузер, "переваривая" все нештатные ситуации (верстальщик Вася не закрыл тег — приехали), которые при ручном парсинге придётся предусматривать.
Если грузить ссылки через Ajax, будет грузиться только сама страница, без прилинкованного контента.

phantomjs делает тоже самое, я же написал что это фактически браузер.
к тому же парсер для C# htmlagilitypack учитывает такие ситуации, соответствующие модули для nodejs/других платформ тоже должны такое уметь

[Randomize]

Сообщение от Program23

Javascript, Php

PhpQuery? (Если знаком с селекторами, jQuery и умеешь в curl)

<?php

error_reporting(E_ALL);
ini_set('display_errors', 'On');
ini_set('display_startup_errors', 'On');
ini_set('error_reporting', '-1');
ini_set('log_errors', 'On');

include 'phpQuery-onefile.php';

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://boolean.name/');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
$html = curl_exec($ch);
curl_close($ch);

$doc = phpQuery::newDocument($html);
$stats = array();

foreach ($doc['table tr td div a strong'] as $theme) {
    echo pq($theme)->html() . '<br />';
}

[ABTOMAT]

Короче вариантов решений задачи в топике накидали уже вагон

[Program23]

Я решил на javascript в браузере писать. Спасибо за подсказки. Пойду копать документацию.