Phân tích log để biết bot AI nào thật sự đã ghé website của bạn
Log truy cập ghi lại từng lượt ghé thật, nên đây là bằng chứng chắc nhất về hoạt động của bot AI. robots.txt chỉ nói bot được phép hay bị cấm, còn log của máy chủ ghi mỗi yêu cầu thành một dòng, kèm chuỗi User-Agent mà bot tự khai.
Trang được bot ghé nhiều là trang mà bot đang ưu tiên đọc lại
Tab trang được ghé nhiều nhất cho biết bot đang ưu tiên phần nào của website. Bài Crawl là gì của SEONGON giải thích rằng bot không đọc mọi trang như nhau. Bot xếp thứ tự ưu tiên dựa trên độ tin cậy, mức phổ biến, tần suất cập nhật và chất lượng thông tin của trang, rồi quay lại các trang đã đọc để cập nhật thay đổi.
Trang quan trọng mà bot AI hiếm khi ghé là dấu hiệu cần xem lại. Bạn kiểm xem trang đó có liên kết nội bộ, có nằm trong sitemap, tức danh sách trang gửi cho công cụ tìm kiếm, và có bị chặn trong robots.txt hay không. Việc áp điều này cho bot AI là suy luận.
Nguồn: Crawl là gì? Chi tiết về cách crawl website của bạn, blog SEONGON.
Lượt bot gặp lỗi 4xx hoặc chuyển hướng nhiều bước là lượt đọc bị lãng phí
Mỗi lượt bot nhận về trang lỗi hay trang chuyển hướng là một lượt không đọc được nội dung. Bài 40+ lỗi technical SEO phổ biến của SEONGON gọi đây là lãng phí ngân sách thu thập, tức phần tài nguyên mà bot dành cho một website. Bạn lọc báo cáo theo mã trạng thái, tức con số máy chủ trả về như 200, 301 hay 404, rồi xử lý theo gợi ý của bài:
- Với mã 404, bạn xóa liên kết nội bộ trỏ tới trang lỗi, hoặc chuyển 301 tới trang thay thế nếu nội dung còn giá trị.
- Với chuỗi chuyển hướng nhiều bước, bạn cho URL cũ chuyển thẳng tới trang đích cuối cùng trong một bước.
- Với trang đã chuyển hẳn mà vẫn trả mã 302, 303 hay 307, bạn đổi sang mã 301.
Hai lỗi này xuất hiện ở rất nhiều website, nên đáng kiểm định kỳ. Theo thống kê mà bài dẫn, 35,73% website có ít nhất một trang trả mã 4xx, và hơn 21% website gặp chuỗi chuyển hướng.
Nguồn: 40+ Lỗi Technical SEO phổ biến cần CHÚ Ý, blog SEONGON.
Lượt giới thiệu từ ChatGPT hay Perplexity cho thấy AI đã đưa người đọc về website
Tab nguồn giới thiệu đo phần lưu lượng mà câu trả lời của AI thật sự mang về. Bài 12 chỉ số đo lường GEO của SEONGON coi lưu lượng đến từ công cụ AI là chỉ số quan trọng nhất để đo hiệu quả trên không gian AI. Bài cũng phân biệt hai việc: AI nhắc tên thương hiệu, và AI trích dẫn, tức dùng trang của bạn làm nguồn kèm liên kết. Log chỉ ghi được lượt trích dẫn có người bấm vào.
So tab bot AI với tab nguồn giới thiệu giúp bạn tách trang được AI đọc khỏi trang được AI giới thiệu. Một trang được bot tìm kiếm của AI ghé nhiều mà không có lượt giới thiệu nào có thể là trang AI đọc để tổng hợp nhưng không dẫn nguồn. Đây là suy luận, nên bạn cần hỏi thử trợ lý AI để đối chiếu.
Nguồn: 12 chỉ số đo lường GEO chính xác quan trọng cần theo dõi, blog SEONGON.
Nên lấy log của ít nhất bảy ngày từ cPanel, máy chủ riêng hoặc Cloudflare
Bot AI ghé không đều theo ngày, nên log của bảy ngày liên tục cho kết quả đáng tin hơn log một ngày. Với hosting dùng cPanel, bạn vào thư mục logs trong File Manager hoặc dùng mục Raw Access Logs. Với máy chủ riêng, tệp thường nằm ở /var/log/nginx/ hoặc /var/log/apache2/. Với Cloudflare, log chi tiết chỉ có ở gói Enterprise qua tính năng Logpush.
Bot có thể tự xưng sai tên, nên cần đối chiếu thêm địa chỉ IP
Chuỗi User-Agent do bên gửi tự khai, nên một bot xấu có thể tự xưng là GPTBot. Muốn chắc chắn, bạn đối chiếu địa chỉ trong tab Địa chỉ IP với danh sách mà từng nhà cung cấp công bố. Google-Extended và Applebot-Extended không bao giờ xuất hiện trong log, vì đây chỉ là tên khai báo trong robots.txt chứ không phải bot gửi yêu cầu. Trước khi chặn một bot, bạn xem bot đó làm gì bằng công cụ kiểm tra bot AI từ robots.txt.




