📄️ Хранение запросов
Как хранить запросы, которые будет обрабатывать ваш краулер
📄️ Хранение результатов
Куда сохранять все собранные данные?!
📄️ Конфигурация
Настройка параметров Crawlee
📄️ CheerioCrawler
Первые шаги в мире веб-скрапинга с Crawlee
📄️ JavaScript-рендеринг
Первые шаги в мире веб-скрапинга с Crawlee
📄️ Управление прокси
Использование прокси для обхода надоедливых IP-блокировок
📄️ Управление сессиями
Как управлять cookies, ротацией прокси IP и многим другим
📄️ Масштабирование краулеров
К бесконечности и далее! ...в пределах разумного
📄️ Как избежать блокировки
Как избежать блокировки при веб-скрапинге
📄️ JSDOMCrawler
Первые шаги в мире веб-скрапинга с Crawlee
📄️ Got Scraping
Сверхбыстрая альтернатива cURL для современного веб-скрапинга
📄️ Проекты на TypeScript
Более строгая, безопасная и удобная разработка
📄️ Запуск в Docker
Примеры Docker-образов для запуска ваших краулеров
📄️ Параллельный скрапинг
Распараллеливание скраперов с помощью Crawlee
📄️ Использование пользовательского HTTP-клиента (Экспериментально)
Настройка собственного HTTP-клиента для `sendRequest` и обычного HTTP-краулинга