Cách Tự Động Crawl Dữ Liệu Web Với Node.js và Cheerio

npm init -y
npm install cheerio axios

const axios = require('axios');
const cheerio = require('cheerio');

async function fetchHTML(url) {
  try {
    const response = await axios.get(url);
    return response.data;
  } catch (error) {
    console.error('Error fetching data:', error);
    return null;
  }
}

async function scrapeData(url) {
  const html = await fetchHTML(url);
  if (!html) return;

const $ = cheerio.load(html);

// Ví dụ: lấy tiêu đề trang
  const title = $('title').text();
  console.log('Title:', title);

// Ví dụ: lấy danh sách các link
  $('a').each((index, element) => {
    const link = $(element).attr('href');
    console.log(Link ${index + 1}:, link);
  });
}

3. Xử lý dữ liệu và lưu trữ

Tùy theo mục đích, bạn có thể lưu dữ liệu vào file JSON, CSV hoặc database. Cheerio cho phép bạn lấy text, attribute, hoặc thậm chí nội dung HTML của element:

const results = [];

$('div.article').each((i, el) => {
  const title = $(el).find('h2').text().trim();
  const excerpt = $(el).find('p.excerpt').text().trim();
  const url = $(el).find('a').attr('href');

results.push({ title, excerpt, url });
});

// Lưu vào file JSON
const fs = require('fs');
fs.writeFileSync('data.json', JSON.stringify(results, null, 2));

Một số lưu ý khi crawl dữ liệu

– Tôn trọng robots.txt: Kiểm tra file robots.txt của trang web để biết được quy định crawl.
– Rate limiting: Không gửi quá nhiều request trong thời gian ngắn để tránh bị block.
– Xử lý lỗi: Luôn bắt lỗi và có cơ chế retry khi request thất bại.
– Phân tích DOM: Trước khi viết code, hãy inspect HTML để xác định đúng selector.

Kết luận

Với Cheerio và Node.js, việc tự động hóa thu thập dữ liệu từ web trở nên đơn giản và hiệu quả hơn bao giờ hết. Cheerio đặc biệt mạnh mẽ khi xử lý các trang web tĩnh và khi bạn cần trích xuất thông tin một cách nhanh gọn. Tuy nhiên, hãy luôn tuân thủ các quy tắc đạo đức và pháp lý khi crawl dữ liệu. Hy vọng qua bài viết này, bạn đã có cái nhìn tổng quan và tự tin để bắt tay vào xây dựng công cụ crawl của riêng mình.