Добавление данных в набор данных

Этот пример показывает, как сохранить данные в набор данных по умолчанию. Если набор данных не существует, он будет создан автоматически. Для работы с пользовательскими наборами данных используйте метод Dataset.open()

Run on

import { CheerioCrawler } from 'crawlee';

const crawler = new CheerioCrawler({
    // Функция, вызываемая для каждого URL
    async requestHandler({ pushData, request, body }) {
        // Сохраняем данные в набор данных по умолчанию
        await pushData({
            url: request.url,
            html: body,
        });
    },
});

await crawler.addRequests([
    'http://www.example.com/page-1',
    'http://www.example.com/page-2',
    'http://www.example.com/page-3',
]);

// Запускаем краулер
await crawler.run();

Каждый элемент в этом наборе данных будет сохранен в отдельном файле в следующей директории:

{PROJECT_FOLDER}/storage/datasets/default/