Tu Dong Hoa Tac Vu Web Voi Nodejs

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.goto('https://example.com');
  await page.screenshot({ path: 'screenshot.png' });
  const html = await page.content();
  console.log(html);
  await browser.close();
})();

const cheerio = require('cheerio');
const axios = require('axios');

axios.get('https://example.com')
  .then(res => {
    const $ = cheerio.load(res.data);
    const titles = $('h2').map((i, el) => $(el).text()).get();
    console.log(titles);
  });

Axios – quản lý request HTTP

Axios đơn giản hóa việc gửi request GET, POST, PUT, DELETE và xử lý response dạng JSON hoặc text. Kết hợp với cheerio, nó tạo thành stack hoàn chỉnh cho web scraping.

Các ứng dụng thực tế

Thu thập dữ liệu từ nhiều nguồn

Giả sử bạn cần tổng hợp tin tức từ năm trang web khác nhau mỗi ngày. Thay vì truy cập thủ công, bạn có thể viết script Puppeteer mở từng trang, tìm các phần tử chứa tiêu đề và link, rồi lưu vào file CSV hoặc database. Kết hợp lịch cron, script sẽ chạy tự động vào một khung giờ cố định.

Kiểm tra trạng thái website và gửi cảnh báo

Một ứng dụng khác là monitor uptime. Script định kỳ request đến trang web mục tiêu, kiểm tra status code và thời gian response. Nếu phát hiện bất thường (ví dụ 5xx, timeout), nó sẽ gửi email hoặc message qua Slack API. Điều này giúp phát hiện sự cố sớm, tránh ảnh hưởng người dùng.

Tự động điền form và upload file

Trong quy trình tuyển dụng, HR thường phải nhập dữ liệu ứng viên vào nhiều hệ thống khác nhau. Với Puppeteer, bạn có thể tự động điền form, chọn file từ local path, và submit. Điều này giảm thiểu thao tác lặp lại và hạn chế sai sót gõ liệu.

Tương tác với API của bên thứ ba

Nhiều dịch vụ cung cấp API REST. Bạn có thể viết script Node.js gọi API, xử lý response, rồi cập nhật dữ liệu lên Google Sheet qua Google Sheets API hoặc lưu vào MongoDB. Ví dụ: tự động tạo task trong Trello khi có issue mới trên GitHub.

Cân nhắc về mặt pháp lý và đạo đức

Trước khi triển khai bất kỳ công cụ tự động hóa nào, hãy đọc kỹ điều khoản sử dụng của trang web. Một số nơi cấm scraping, một số giới hạn request rate. Vi phạm có thể dẫn đến chặn IP hoặc kiện tụng. Luôn:

– Tôn trọng robots.txt.
– Giới hạn tốc độ request (thêm delay giữa các lượt).
– Xác định rõ mục đích sử dụng dữ liệu.
– Cân nhắc xin permission nếu cần.

Triển khai và vận hành

Với các script đơn giản, bạn có thể chạy trực tiếp trên máy local. Với production, nên:

– Dockerize ứng dụng để đảm bảo môi trường đồng nhất.
– Dùng CI/CD để tự động deploy.
– Log chi tiết và set up alert cho lỗi.
– Dùng service như AWS Lambda (chạy theo sự kiện) hoặc cron job trên server.

Ví dụ Docker cơ bản:

FROM node:18-alpine
WORKDIR /app
COPY package*.json ./
RUN npm ci --only=production
COPY . .
CMD ["node", "index.js"]