여러 URL 크롤링하기

여러 URL을 크롤링하는 예제입니다.

Cheerio 크롤러

Run on

import { CheerioCrawler } from 'crawlee';

const crawler = new CheerioCrawler({
    // 각 URL에 대해 호출되는 함수
    async requestHandler({ request, $, log }) {
        const title = $('title').text();
        log.info(`URL: ${request.url}\nTITLE: ${title}`);
    },
});

// 초기 요청으로 크롤러 실행
await crawler.run(['http://www.example.com/page-1', 'http://www.example.com/page-2', 'http://www.example.com/page-3']);

Puppeteer 크롤러

팁

Apify 플랫폼에서 이 예제를 실행하려면 Dockerfile에서 apify/actor-node-puppeteer-chrome 이미지를 선택하세요.

Run on

import { PuppeteerCrawler } from 'crawlee';

const crawler = new PuppeteerCrawler({
    // 각 URL에 대해 호출되는 함수
    async requestHandler({ request, page, log }) {
        const title = await page.title();
        log.info(`URL: ${request.url}\nTITLE: ${title}`);
    },
});

// 초기 요청으로 크롤러 실행
await crawler.run(['http://www.example.com/page-1', 'http://www.example.com/page-2', 'http://www.example.com/page-3']);

Playwright 크롤러

팁

Apify 플랫폼에서 이 예제를 실행하려면 Dockerfile에서 apify/actor-node-playwright-chrome 이미지를 선택하세요.

Run on

import { PlaywrightCrawler } from 'crawlee';

const crawler = new PlaywrightCrawler({
    // 각 URL에 대해 호출되는 함수
    async requestHandler({ request, page, log }) {
        const title = await page.title();
        log.info(`URL: ${request.url}\nTITLE: ${title}`);
    },
});

// 초기 요청으로 크롤러 실행
await crawler.run(['http://www.example.com/page-1', 'http://www.example.com/page-2', 'http://www.example.com/page-3']);