Tạo robots.txt theo mẫu, có sẵn cho WordPress

Tạo robots.txt đúng cú pháp chỉ mất một phút: chọn mẫu có sẵn, thêm dòng Disallow hay Allow, dán địa chỉ sitemap rồi tải file về để đưa lên thư mục gốc website của bạn.

Cập nhật 06/11/2026
Phiên bản 1.0

Chạy ngay trên máy bạn
Không cần đăng nhập
Tải file .txt ngay

Chọn mẫu và thêm quy tắc

1Chọn mẫu để bắt đầu

2Sửa từng dòng quy tắc

3Thêm địa chỉ sitemap

Bảng tra nhanh các dòng lệnh

User-agentBot áp dụngDấu * nghĩa là mọi bot.
DisallowChặn thu thậpBot không vào đường dẫn này, nhưng trang vẫn có thể hiện trên Google.
AllowMở lại đường dẫn conCho bot vào một trang nằm trong vùng đã chặn.
SitemapChỉ đường sơ đồ trangGhi địa chỉ đầy đủ, có https://.

Nội dung robots.txt sẽ tải về

Tải file về rồi đặt ở thư mục gốc website, ví dụ tenweb.com/robots.txt.

Có robots.txt đúng rồi, nhưng website vẫn chưa lên hạng?

robots.txt chỉ là một tệp nhỏ trong rất nhiều việc cần làm đúng. SEONGON kiểm tra toàn bộ website và chỉ ra việc cần làm để trang của bạn lên hạng.

Xem dịch vụ SEO tổng thể

Câu hỏi thường gặp

robots.txt có chặn được Google lập chỉ mục trang không?

Không chắc chắn. robots.txt chỉ chặn việc thu thập dữ liệu (crawl), còn nếu trang đã được liên kết từ nơi khác, Google vẫn có thể hiển thị địa chỉ trang đó trong kết quả tìm kiếm nhưng không có mô tả. Muốn chắc một trang không xuất hiện trên Google, hãy dùng thẻ meta robots noindex hoặc tiêu đề HTTP X-Robots-Tag trên chính trang đó.

Tệp robots.txt phải đặt ở đâu trên website?

Đặt đúng ở thư mục gốc của website, ví dụ https://tenweb.com/robots.txt. Đặt trong một thư mục con sẽ không có hiệu lực, vì các bot chỉ tìm tệp này ở đúng địa chỉ gốc của từng miền hoặc từng tên miền phụ.

Có cần khai báo riêng cho các bot AI như GPTBot không?

Chỉ cần khi bạn muốn xử lý riêng một bot AI, ví dụ chặn GPTBot nhưng vẫn cho Googlebot vào. Nếu không thêm nhóm User-agent riêng cho một bot, bot đó sẽ áp dụng theo nhóm User-agent: * (áp dụng cho mọi bot không được nêu tên riêng).

WordPress đã tự có robots.txt rồi, vì sao còn cần tạo tệp mới?

WordPress chỉ tự tạo một robots.txt ảo khi chưa có tệp thật nào trong thư mục gốc. Ngay khi bạn tải một tệp robots.txt thật lên thư mục gốc, tệp thật đó sẽ thay cho bản ảo, nên bạn có thể kiểm soát rõ quy tắc hơn mẫu mặc định.

Cách dùng tạo robots.txt trong ba bước

1Đưa vàoChọn một mẫu có sẵn
2Chọn hoặc chỉnhThêm quy tắc và địa chỉ sitemap
3Lấy kết quảTải file robots.txt về

Tạo robots.txt xong, cần đặt đúng chỗ và tránh chặn nhầm trang quan trọng

Tệp robots.txt tải về từ công cụ chỉ có tác dụng khi được đặt đúng chỗ và không chứa lệnh chặn nhầm. Phần dưới tóm tắt những việc cần làm với tệp vừa tạo, dựa trên các bài hướng dẫn kỹ thuật trên blog SEONGON. Cuối mỗi mục có liên kết tới bài gốc để bạn đọc đầy đủ.

Tệp robots.txt phải nằm ở thư mục gốc và dùng bốn loại lệnh cơ bản

Bot của Google chỉ tìm robots.txt ở đúng địa chỉ gốc của tên miền, nên đặt tệp ở thư mục con thì coi như website không có tệp này. Theo bài file robots.txt là gì của SEONGON, địa chỉ đúng có dạng tenmien.com/robots.txt. Đặt sai chỗ cũng là lỗi phổ biến nhất khi dùng tệp này. Bên trong tệp, mỗi dòng là một lệnh thuộc một trong bốn loại:

Bốn lệnh cơ bản trong tệp robots.txt gồm User-agent, Disallow, Allow và Sitemap — Bốn lệnh cơ bản trong một tệp robots.txt. Ảnh trong bài File robots.txt là gì trên blog SEONGON.

Lệnh User-agent cho biết các quy tắc phía dưới áp dụng cho bot nào, ví dụ Googlebot hoặc dấu sao cho mọi bot.
Lệnh Disallow chặn bot vào một đường dẫn hay một thư mục, ví dụ thư mục quản trị /admin/.
Lệnh Allow mở lại quyền vào một phần nằm trong thư mục đã bị chặn.
Lệnh Sitemap báo địa chỉ sơ đồ trang web để bot tìm các trang dễ hơn.

Ba lỗi sau làm robots.txt chặn nhiều hơn bạn muốn, nên cần soát trước khi tải tệp lên. Bài trên nêu ba lỗi nên soát trước khi tải tệp lên. Lỗi thứ nhất là chặn thư mục chứa CSS và JavaScript, vì Google cần các tệp này để hiển thị và hiểu đúng trang. Lỗi thứ hai là dùng sai dấu sao (*) và dấu đô la ($), khiến lệnh chặn rộng hơn bạn định. Lỗi thứ ba là quên gỡ lệnh chặn toàn bộ website sau khi bản thử nghiệm đã chính thức ra mắt.

Nguồn: File robots.txt là gì? 2 cách tạo và gửi file robots.txt chuẩn, blog SEONGON.

Muốn trang không hiện trên Google thì dùng thẻ meta robots noindex

Lệnh Disallow chỉ ngăn bot đọc trang, chứ không ngăn địa chỉ trang hiện trên kết quả tìm kiếm. Chỉ mục là kho các trang Google đã lưu để hiển thị khi có người tìm kiếm. Theo bài file robots.txt là gì, nếu một trang khác có liên kết trỏ tới trang đã chặn, Google vẫn có thể đưa địa chỉ đó vào chỉ mục. Bài này cũng cho biết Google đã ngừng hỗ trợ lệnh noindex viết trong robots.txt từ tháng 9 năm 2019. Vì vậy, với trang nội dung mỏng, trang quản trị hay trang trùng lặp, bạn nên dùng thẻ meta robots với giá trị noindex đặt ngay trên trang đó.

Kiểm tra thẻ meta robots bằng cách xem mã nguồn trang. Ảnh trong bài Thẻ Meta Robots là gì trên blog SEONGON.

Tệp PDF hay hình ảnh cần một cách chặn khác, vì chúng không có mã HTML để chèn thẻ. Với tệp không phải trang web như PDF hay hình ảnh, đội kỹ thuật cần cấu hình máy chủ gửi kèm X-Robots-Tag, tức tín hiệu noindex nằm trong phần đầu phản hồi của máy chủ.

Nguồn: Thẻ Meta Robots là gì? Cách đặt thẻ Meta Robots chính xác, blog SEONGON.

Dòng Sitemap giúp bot tìm trang mới, nhưng vẫn nên gửi sơ đồ trong Search Console

Khai báo sơ đồ trang web ở cả robots.txt và Search Console giúp Google phát hiện trang mới nhanh hơn. Sơ đồ trang web (sitemap) là tệp liệt kê các trang bạn muốn Google biết đến. Theo bài hướng dẫn tạo sitemap của SEONGON, bạn vào Google Search Console, chọn mục Sơ đồ trang web, nhập địa chỉ đầy đủ của tệp rồi bấm Gửi. Nếu tệp có lỗi, Search Console sẽ báo để bạn sửa.

Mục Sơ đồ trang web trong menu bên trái của Google Search Console — Mục Sơ đồ trang web nằm trong menu bên trái của Google Search Console. Ảnh trong bài Sitemap là gì trên blog SEONGON.

Tải tệp lên xong, bạn nên kiểm tra lại để chắc không có trang quan trọng nào bị chặn. Bạn nên dùng tính năng Kiểm tra URL trong Search Console với vài trang quan trọng. Bài crawl là gì của SEONGON cho biết tính năng này báo rõ trang nào đang bị robots.txt chặn.

Nguồn: Sitemap là gì? Cách tạo Sitemap cho Website WordPress tối ưu nhất, blog SEONGON.