Парсер на Node.js c размещением на сервере
Гарантия возврата денег, если товар не подойдёт
Описание
Разрабатываю парсеры на Node. js для сбора информации и автоматизации действий в браузере.
В разработке могут использоваться библиотеки Puppeteer, PlayWright или Selenium. В простых случаях обходимся без headless браузеров ( axios )
Результатом разработки является парсер, для работы по расписанию, с сохранением полученных данных в различных форматах.
Парсер может включать в себя
- Источник ссылок на ресурсы: CSV - файл, таблица Google Sheet
- Сохранение результата работы парсера: файлы различных форматов (CSV), Google Sheet, БД MySQL, PostgreSQL, API других ресурсов (один из вариантов)
- Журнал работы парсера.
Параметры парсера размещаются в конфигурационном файле . env (обсуждается).
- Расписание работы парсера, рабочее время, не рабочие дни
- Количество параллельных запросов для многопоточных парсеров, таймауты, задержки и т. д.
- Реквизиты для подключения к серверу БД
- Логины и пароли для авторизации на сторонних ресурсах
В каких случаях могу отказаться от разработки парсера
Нарушение законодательства, любые противоправные действия, нарушение авторских прав, социальные сети, массовая регистрация, сложная защита от парсинга.
Самый оптимальный вариант, это детальное техническое задание. Минимум который необходим: ссылки на ресурс, предполагаемый сценарий работы, что надо забрать, в каком формате сохранить. При отсутствии ТЗ, обсуждаем и подбираем оптимальное решение для проекта.
До оформления заказа, обязательно предварительная консультация со мной!