Thẻ Meta robots là gì? Tầm quan trọng của thẻ Meta robots trong SEO như thế nào? Hẳn không phải ai làm SEO cũng nắm được. Bài viết này sẽ chỉ cho các bạn hiểu và sử dụng thẻ Meta robots một cách chính xác và hiệu quả nhất.
1. Thẻ Meta robots là gì?
Có rất nhiều định nghĩa về thẻ Meta robots nhưng về cơ bản thẻ Meta robots là một trong các yếu tố SEO onpage giúp kiểm soát cách Google nên lập chỉ mục và hiển thị một trang riêng lẻ cho người dùng trong kết quả của Google tìm kiếm bằng một đoạn mã HTML.
Đoạn mã này cần đặt trong phần <head> của một trang nhất định
Thẻ meta robots có dạng:
<meta name=”robots” content=”noindex” />
2. Tầm quan trọng của thẻ Meta Robots trong SEO
Thẻ Meta robots được sử dụng khi làm SEO website với nhiều mục đích khác nhau, tuy nhiên nó thường được sử dụng để ngăn các trang mà bạn không mong muốn Google lập chỉ mục và đưa nó ra kết quả tìm kiếm trên Google.
Tại sao làm SEO lại không mong muốn Google đưa chúng ra kết quả tìm kiếm?
Nghe có vẻ khá vô lý nhưng trong quá trình làm SEO sẽ có những trang bạn bắt buộc phải có nhưng nội dung của nó không quá hữu ích với người dùng
Dễ hiểu thì các trang đó là:
- Các trang có nội dung mỏng, ít nội dung hữu ích cho người dùng
- Các trang quản trị
- Các trang tài liệu nội bộ
- Các chương trình khuyến mãi
- Các nội dung trùng lặp
3. Các thuộc tính của thẻ Meta robots
Thẻ Meta robots gồm 2 thuộc tính đó là “name” và “content”, cách bạn chỉ định giá trị của 2 thuộc tính này sẽ quyết định cách mà các crawler làm theo.
| TÊN THẺ | CẤU TRÚC THẺ | TÁC DỤNG | ỨNG DỤNG |
| All | <meta name=”robots” content=”all” /> | ||
| Noindex | <meta name=”robots” content=”noindex” /> | Ngăn các công cụ tìm kiếm không lập chỉ mục trang | Khi bạn không muốn hiển thị trang nào đó trong kết quả tìm kiếm |
| Nofollow | <meta name=”robots” content=”nofollow” /> | Ngăn không cho robots thu thập liên kết trên trang. Tuy nhiên vẫn có thể lập chỉ mục chúng | |
| None | <meta name=”robots” content=”none” /> | Đây là sự kết hợp giữa 2 thẻ Noindex và Nofollow | Sử dụng khi bạn không muốn công cụ tìm kiếm lập chỉ mục và các robots không thu thập liên kết trên trang |
| Noarchive | <meta name=”robots” content=”noarchive” /> | Ngăn Google hiển thị bản sao đã lưu trong bộ nhớ cache của trang trong SERP . | |
| Notranslate | <meta name=”robots” content=”notranslate” /> | Ngăn Google cung cấp bản dịch của trang trong SERP . | |
| Noimageindex | <meta name=”robots” content=”noimageindex” /> | Ngăn Google lập chỉ mục các hình ảnh được nhúng trên trang. | |
| Unavailable_after | <meta name=”robots” content=”unavailable_after: Monday, 02-Sep-20 13:31:13 GMT” /> | Yêu cầu Google không hiển thị một trang trong kết quả tìm kiếm sau một ngày / giờ cụ thể. | Khi bạn không muốn hiện thị một trang trong kết quả tìm kiếm sau một thời gian cụ thể
Lưu ý: Thời gian phải theo đúng định dạng Ví dụ: Monday, 02-Sep-20 13:31:13 GMT |
| Nosnippet | <meta name=”robots” content=”nosnippet” /> | Ngăn hiện thị các đoạn trích (văn bản, hình ảnh, video,…) trên kết quả tìm kiếm | Nếu bạn muốn hiện thị chúng hãy thêm đoạn mã HTML sau
<meta name=”robots” content=”max-snippet:-1, max-image-preview:large, max-video-preview:-1″ /> vào trang web của bạn |
| Max-snippet | <meta name=”robots” content=”max-snippet:X” /> | Chỉ định số lượng ký tự tối đa mà Google có thể hiển thị trong các đoạn văn bản của họ. Thay X bằng 0 sẽ chọn không tham gia các đoạn văn bản, ‑1 tuyên bố không có giới hạn về bản xem trước văn bản. | Thay X bằng số lượng ký tự tối đa mà Google có thể hiện thị |
| Max-image-preview | <meta name=”robots” content=”max-image-preview:X” /> | Cho Google biết sẽ dùng kích thước hình ảnh nào cho đoạn mã hình ảnh | Thay X bằng giá trị mà bạn muốn Google hiện thị
none – không có đoạn mã hình ảnh nào sẽ được hiển thị standard – bản xem trước hình ảnh mặc định có thể được hiển thị large – bản xem trước hình ảnh lớn nhất có thể có thể được hiển thị |
| Max-video-preview | <meta name=”robots” content=”max-video-preview:X” /> | Thiết lập số giây tối đa cho một đoạn video. | Thay X bằng số dây bạn chọn
0 sẽ chọn không hoàn toàn ‑1 không giới hạn. |
Lưu ý: Có thể tạo nhiều lệnh bằng cách dùng dấu phẩy vào câu lệnh
Ví dụ:
<meta name=”robots” content=”max-snippet:20, max-image-preview:large”>
Thẻ này đặt giới hạn 20 ký tự cho đoạn trích văn bản và cho phép hiển thị hình ảnh xem trước với kích thước lớn nhất có thể.
<meta name=”robots” content=”noindex, nofollow”>
Thẻ này yêu cầu không lập chỉ mục trang này và không thu thập dữ liệu tất cả các liên kết trên trang
Lệnh Meta Robots nofollow
- Đối với backlink Các SEOer luôn đặc biệt chú ý mỗi khi xử lý các backlink trỏ về Website. Tuy nhiên nếu sử dụng lệnh này không chính xác, điều này là rất có hại cho thứ hạng website của bạn. Để biết trường hợp nào nên dùng hay không dùng thẻ Meta Robots nofollow, bạn có thể đọc thêm bài viết Backlink là gì của SEONGON, để sử dụng backlink một cách hiệu quả nhất cho SEO website.
- Còn đối với internal links, do đây là đường dẫn liên kết được sử dụng trong nội bộ website của bạn, nên chắc chắn sẽ không phải nghi ngại về chất lượng nội dung của thông tin. Vì thế chắc chắn bạn không nên đặt lệnh Meta Robot nofollow đối với Internal Links.
4. Cách kiểm tra và thay đổi thuộc tính của thẻ Meta robots
4.1. Cách kiểm tra thẻ Meta robots
Để kiểm tra xem một trang bất kỳ đang áp dụng thuộc tính thẻ Meta robots nào hay không? và thay đổi các thuộc tính này bạn hãy làm theo các bước dưới đây.
Bước 1: Tại trang cần kiểm tra nhấn “xem nguồn trang” hoặc dùng phím tắt Ctrl + U (với máy win); Option + Command + U (với Mac)
Bước 2: Nhấn Ctrl + F hay Command + F để tìm kiếm
Bước 3: Gõ tìm kiếm meta name=”robots” hoặc meta content để kiểm tra
Tại đây bạn có thể thấy các thuộc tính mà trang đang áp dụng
Lưu ý: Nếu bạn không tìm thấy thì mặc định là Index
4.2. Thay đổi trong HTML/CSS
Bạn có thể thay đổi thuộc tính cho Meta Robots với các cách sau:
- Cách 1: Chỉnh sửa file robots.txt
- Cách 2: Chỉnh sửa thẻ meta robots
4.3. Sử dụng Plugin Yoast SEO (Áp dụng đối với Website sử dụng WordPress)
Với những ai đang sở hữu website trên nền tảng WordPress thì bạn có thể chỉnh sửa thuộc tính cho thẻ Meta robots nhanh với các thao tác dưới đây.
- Bước 1: Truy cập vào trang cần thiết lập với quyền quản trị
- Bước 2: Kéo xuống phần thiết lập nâng cao
Tại đây bạn có thể tùy chỉnh “noindex” và “nofollow”
Tại tab “robots meta nâng cao” bạn có thể thiết lập những thẻ meta khác
4.4. Sử dụng Plugin Rank Math
Nếu bạn sử dụng Plugin Rank Math thì bạn hãy thực hiện theo các thao tác sau
Bước 1: Truy cập vào phần chỉnh sửa của bài viết
Bước 2: Chọn “Advanced”
Bước 3: Chọn các thẻ mà bạn muốn đặt
5. So sánh thẻ Meta Robots với thẻ X‑Robots-Tag?
Tương tự như Meta robots tuy nhiên X-Robots-Tag cung cấp cho bạn sự linh hoạt hơn bằng cách cho phép bạn kiểm soát cách (các loại) tệp cụ thể được lập chỉ mục.
5.1. Ví dụ về cách sử dụng X-Robots-Tag
Nếu bạn muốn ngăn các công cụ tìm kiếm hiển thị các tệp bạn đã tạo bằng PHP, bạn có thể thêm phần sau vào phần đầu của tệp header.php:
header(“X-Robots-Tag: noindex”, true);
Điều này sẽ không ngăn các công cụ tìm kiếm theo các liên kết trên các trang đó. Nếu bạn muốn làm điều đó, hãy thay đổi ví dụ trước đó như sau:
header(“X-Robots-Tag: noindex, nofollow”, true);
Mặc dù sử dụng phương pháp này trong PHP có những lợi ích của nó, nhưng rất có thể bạn sẽ muốn chặn hoàn toàn các loại tệp cụ thể. Cách tiếp cận thực tế hơn sẽ là thêm X-Robots-Tag vào cấu hình máy chủ Apache của bạn hoặc tệp .htaccess .
Hãy tưởng tượng bạn chạy một trang web cũng có một số tệp .doc, nhưng bạn không muốn các công cụ tìm kiếm lập chỉ mục loại tệp đó vì một lý do cụ thể. Trên máy chủ Apache, bạn nên thêm dòng sau vào tệp cấu hình .htaccess:
<FilesMatch “.doc$”>
Header set X-Robots-Tag “noindex, noarchive, nosnippet”
</FilesMatch>
Hoặc, nếu bạn muốn thực hiện việc này cho cả tệp .doc và .pdf:
<FilesMatch “.(doc|pdf)$”>
Header set X-Robots-Tag “noindex, noarchive, nosnippet”
</FilesMatch>
Nếu bạn đang chạy Nginx thay vì Apache, bạn có thể nhận được kết quả tương tự bằng cách thêm phần sau vào cấu hình máy chủ:
location ~* \.(doc|pdf)$ {
add_header X-Robots-Tag “noindex, noarchive, nosnippet”;
}
Có những trường hợp mà bản thân tệp robots.txt có thể hiển thị trong kết quả tìm kiếm . Bằng cách sử dụng một thay đổi của phương pháp trước đó, bạn có thể ngăn điều này xảy ra với trang web của mình:
<FilesMatch “robots.txt”>
Header set X-Robots-Tag “noindex”
</FilesMatch>
Và trong Nginx:
location = robots.txt {
add_header X-Robots-Tag “noindex”;
}
5.2. Khi nào nên sử dụng thẻ X Robots thay thế cho Meta Robots
Với những nơi bạn không thể dùng HTML để thiết lập thẻ Meta robots thì đây là lúc bạn cần phải sử dụng X-robots-tag.
Các trường hợp cần dùng thẻ X-Robots-tag
- Khi cần noindex toàn bộ tên miền, danh mục con…
- Khi muốn đặt đoạn mã HTML
Các tệp không phải là HTML như PDF, hình ảnh…bạn sẽ không thể can thiệp bằng HTML,
Kết Luận
Hiểu đúng và quản lý việc thu thập dữ liệu, lập chỉ mục trang web sẽ giúp website trở nên “sạch sẽ” hơn và có xếp hạng tốt hơn trên trang SERPs của các bộ máy tìm kiếm.
Lời khuyên: Nếu website của bạn có các URL chứa thông tin cá nhân mà bạn không muốn công khai tìm kiếm, hãy chọn một cách tiếp cận an toàn hơn, chẳng hạn như bảo vệ bằng mật khẩu, để ngăn không cho khách truy cập xem các trang bí mật thay vì dùng thẻ meta robots hay X-robots-tag.
Và nếu bạn còn bối rối và chưa hiểu rõ về “Meta robots”, hãy liên hệ với SEONGON hoặc tham gia trực tiếp các khóa học SEO của chúng tôi để có thể áp dụng hiệu quả cho trang web của mình.
Có thể bạn quan tâm:
- Để SEO hiệu quả cần bao nhiêu thời gian ?
- Tại sao nghiên cứu từ khóa lại quan trọng đối với SEO
- Search Intent là gì? Vai trò đối với SEO
- Viết bài chuẩn SEO là gì? 35 checklist dành riêng cho bạn
Nếu bạn đang cần sự tư vấn về dịch vụ SEO, hãy tham khảo đường dẫn và điền form trong bài viết để nhận được sự hỗ trợ tốt nhất từ SEONGON.
