Phân tích log truy cập để biết bot AI nào đã ghé website

Phân tích log truy cập của máy chủ để biết bot AI nào đã thật sự ghé website. Công cụ đọc log Nginx, Apache, Cloudflare hay tệp CSV, Excel ngay trong trình duyệt, đếm lượt theo từng bot, theo trang, theo ngày và theo mã trạng thái, rồi chấm điểm GEO từ 0 đến 100.

  • Cập nhật
  • Phiên bản 1.0
  • Log không rời khỏi máy bạn
  • Đọc được nhiều tệp cùng lúc
  • Không cần đăng nhập

Tải log truy cập lên

1Lấy tệp log từ máy chủ

Dùng log của Nginx, Apache, Cloudflare hay tệp xuất CSV, Excel. Bảng tra bên dưới chỉ chỗ tìm tệp.

2Kéo thả hoặc chọn tệp log

Chọn được nhiều tệp theo ngày để xem xu hướng. Tệp được đọc ngay trên máy bạn, không gửi lên máy chủ nào.

Mở công cụ toàn màn hình

Bảng tra nhanh chỗ để tệp log

  • Nginx/var/log/nginx/access.logĐường dẫn mặc định trên phần lớn máy chủ Linux.
  • Apache/var/log/apache2/access.logTrên CentOS, AlmaLinux thường là /var/log/httpd/access_log.
  • cPanelMetrics › Raw AccessTải tệp log thô theo từng tên miền, tệp có đuôi .gz.
  • .gzTệp nén đọc được luônKhông cần giải nén, có thể chọn nhiều tệp một lúc.
Chưa chạy0 tệp

Kéo tệp log vào khung bên trái rồi bấm Phân tích log, báo cáo sẽ hiện ở đây.

Ví dụ báo cáo của một website

12.480Lượt truy cập
1.932Lượt bot AI
14Loại bot AI
72Điểm GEO
  • GPTBot812
  • ClaudeBot540
  • PerplexityBot311
  • Google-Extended187

Đếm xong số lượt bot AI rồi, nhưng chưa biết nên tận dụng thế nào?

Biết bot AI nào đang chăm ghé thăm chỉ là bước đầu. SEONGON tư vấn chiến lược GEO giúp nội dung của bạn được các mô hình AI trích dẫn đúng lúc khách hàng đang hỏi.

Xem dịch vụ GEO Enterprise

Câu hỏi thường gặp

Tệp log của tôi có được gửi lên máy chủ nào không?

Không. Mọi phép đọc và đếm chạy ngay trong trình duyệt bằng JavaScript, kể cả bước giải nén tệp .gz. Tệp log không được tải lên bất kỳ máy chủ nào, kể cả máy chủ của SEONGON.

Công cụ đọc được những dạng log nào?

Công cụ đọc log dạng combined của Nginx và Apache, log Nginx ghi theo kiểu tên=giá trị, và tệp xuất dạng CSV, TSV, Excel. Tệp có thể có đuôi .log, .txt, .gz, .csv, .xlsx, .xls, .tsv hoặc không có đuôi. Dòng không đọc được sẽ bị bỏ qua.

Tôi có thể phân tích log của nhiều ngày cùng lúc không?

Có. Bạn chọn nhiều tệp log theo ngày trong một lần, công cụ gộp lại để vẽ xu hướng 7, 14 hay 30 ngày và cho lọc theo khoảng ngày.

Điểm GEO trong báo cáo được tính thế nào?

Điểm GEO cộng năm phần, tối đa 100: tỉ lệ lượt của bot AI trên tổng lượt (25 điểm), số công ty AI lớn có bot ghé (25 điểm), tỉ lệ bot AI vào trang thành công (20 điểm), tỉ lệ bot AI đọc trang HTML thay vì ảnh hay tệp phụ (15 điểm), và việc bot đã đọc llms.txt, robots.txt (15 điểm).

Vì sao không thấy Google-Extended hay Applebot-Extended trong danh sách bot?

Vì hai tên đó là quyền khai báo trong robots.txt để kiểm soát việc dùng dữ liệu cho AI, không phải một crawler có User-Agent riêng đi thu thập, nên sẽ không xuất hiện trong log truy cập. Muốn kiểm hai quyền này, hãy dùng công cụ kiểm tra bot AI từ robots.txt.

Cách dùng phân tích log truy cập trong ba bước

  1. 1Đưa vàoTải tệp log truy cập lên
  2. 2Chọn hoặc chỉnhChờ công cụ đếm từng bot
  3. 3Lấy kết quảXem bot AI nào đã ghé trang nào

Phân tích log để biết bot AI nào thật sự đã ghé website của bạn

Log truy cập ghi lại từng lượt ghé thật, nên đây là bằng chứng chắc nhất về hoạt động của bot AI. robots.txt chỉ nói bot được phép hay bị cấm, còn log của máy chủ ghi mỗi yêu cầu thành một dòng, kèm chuỗi User-Agent mà bot tự khai.

Trang được bot ghé nhiều là trang mà bot đang ưu tiên đọc lại

Tab trang được ghé nhiều nhất cho biết bot đang ưu tiên phần nào của website. Bài Crawl là gì của SEONGON giải thích rằng bot không đọc mọi trang như nhau. Bot xếp thứ tự ưu tiên dựa trên độ tin cậy, mức phổ biến, tần suất cập nhật và chất lượng thông tin của trang, rồi quay lại các trang đã đọc để cập nhật thay đổi.

Sáu bước bot tìm kiếm và lựa chọn trang để thu thập
Sáu bước bot tìm kiếm và lựa chọn trang để thu thập. Ảnh trong bài Crawl là gì trên blog SEONGON.

Trang quan trọng mà bot AI hiếm khi ghé là dấu hiệu cần xem lại. Bạn kiểm xem trang đó có liên kết nội bộ, có nằm trong sitemap, tức danh sách trang gửi cho công cụ tìm kiếm, và có bị chặn trong robots.txt hay không. Việc áp điều này cho bot AI là suy luận.

Nguồn: Crawl là gì? Chi tiết về cách crawl website của bạn, blog SEONGON.

Lượt bot gặp lỗi 4xx hoặc chuyển hướng nhiều bước là lượt đọc bị lãng phí

Mỗi lượt bot nhận về trang lỗi hay trang chuyển hướng là một lượt không đọc được nội dung. Bài 40+ lỗi technical SEO phổ biến của SEONGON gọi đây là lãng phí ngân sách thu thập, tức phần tài nguyên mà bot dành cho một website. Bạn lọc báo cáo theo mã trạng thái, tức con số máy chủ trả về như 200, 301 hay 404, rồi xử lý theo gợi ý của bài:

Các mã chuyển hướng tạm thời 302, 303, 307 chỉ nên dùng trong thời gian ngắn
Các mã chuyển hướng tạm thời 302, 303, 307 chỉ nên dùng trong thời gian rất ngắn. Ảnh trong bài 40+ lỗi technical SEO phổ biến trên blog SEONGON.
  • Với mã 404, bạn xóa liên kết nội bộ trỏ tới trang lỗi, hoặc chuyển 301 tới trang thay thế nếu nội dung còn giá trị.
  • Với chuỗi chuyển hướng nhiều bước, bạn cho URL cũ chuyển thẳng tới trang đích cuối cùng trong một bước.
  • Với trang đã chuyển hẳn mà vẫn trả mã 302, 303 hay 307, bạn đổi sang mã 301.

Hai lỗi này xuất hiện ở rất nhiều website, nên đáng kiểm định kỳ. Theo thống kê mà bài dẫn, 35,73% website có ít nhất một trang trả mã 4xx, và hơn 21% website gặp chuỗi chuyển hướng.

Nguồn: 40+ Lỗi Technical SEO phổ biến cần CHÚ Ý, blog SEONGON.

Lượt giới thiệu từ ChatGPT hay Perplexity cho thấy AI đã đưa người đọc về website

Tab nguồn giới thiệu đo phần lưu lượng mà câu trả lời của AI thật sự mang về. Bài 12 chỉ số đo lường GEO của SEONGON coi lưu lượng đến từ công cụ AI là chỉ số quan trọng nhất để đo hiệu quả trên không gian AI. Bài cũng phân biệt hai việc: AI nhắc tên thương hiệu, và AI trích dẫn, tức dùng trang của bạn làm nguồn kèm liên kết. Log chỉ ghi được lượt trích dẫn có người bấm vào.

Ý nghĩa của chỉ số AI trích dẫn
Ý nghĩa của chỉ số AI trích dẫn. Ảnh trong bài 12 chỉ số đo lường GEO trên blog SEONGON.

So tab bot AI với tab nguồn giới thiệu giúp bạn tách trang được AI đọc khỏi trang được AI giới thiệu. Một trang được bot tìm kiếm của AI ghé nhiều mà không có lượt giới thiệu nào có thể là trang AI đọc để tổng hợp nhưng không dẫn nguồn. Đây là suy luận, nên bạn cần hỏi thử trợ lý AI để đối chiếu.

Nguồn: 12 chỉ số đo lường GEO chính xác quan trọng cần theo dõi, blog SEONGON.

Nên lấy log của ít nhất bảy ngày từ cPanel, máy chủ riêng hoặc Cloudflare

Bot AI ghé không đều theo ngày, nên log của bảy ngày liên tục cho kết quả đáng tin hơn log một ngày. Với hosting dùng cPanel, bạn vào thư mục logs trong File Manager hoặc dùng mục Raw Access Logs. Với máy chủ riêng, tệp thường nằm ở /var/log/nginx/ hoặc /var/log/apache2/. Với Cloudflare, log chi tiết chỉ có ở gói Enterprise qua tính năng Logpush.

Bot có thể tự xưng sai tên, nên cần đối chiếu thêm địa chỉ IP

Chuỗi User-Agent do bên gửi tự khai, nên một bot xấu có thể tự xưng là GPTBot. Muốn chắc chắn, bạn đối chiếu địa chỉ trong tab Địa chỉ IP với danh sách mà từng nhà cung cấp công bố. Google-Extended và Applebot-Extended không bao giờ xuất hiện trong log, vì đây chỉ là tên khai báo trong robots.txt chứ không phải bot gửi yêu cầu. Trước khi chặn một bot, bạn xem bot đó làm gì bằng công cụ kiểm tra bot AI từ robots.txt.

Kiến thức nên đọc thêm khi phân tích log truy cập

Bài viết trên blog SEONGON

Tài liệu chính thức của Google