데이터셋에 데이터 추가하기

기본 데이터셋에 데이터를 저장하는 예제입니다. 데이터셋이 존재하지 않는 경우 자동으로 생성됩니다. Dataset.open()을 사용하여 사용자 정의 데이터셋에 데이터를 저장할 수 있습니다.

Run on

import { CheerioCrawler } from 'crawlee';

const crawler = new CheerioCrawler({
    // 각 URL에 대해 호출되는 함수
    async requestHandler({ pushData, request, body }) {
        // 기본 데이터셋에 데이터 저장
        await pushData({
            url: request.url,
            html: body,
        });
    },
});

await crawler.addRequests([
    'http://www.example.com/page-1',
    'http://www.example.com/page-2',
    'http://www.example.com/page-3',
]);

// 크롤러 실행
await crawler.run();

이 데이터셋의 각 항목은 다음 디렉터리에 개별 파일로 저장됩니다:

{PROJECT_FOLDER}/storage/datasets/default/