Thẻ Meta Robots là gì? Cách đặt thẻ Meta Robots CHÍNH XÁC

Thẻ Meta Robots là gì? Tư vấn cách đặt thẻ Meta Robots chính xác

Thẻ Meta robots là gì? Tầm quan trọng của thẻ Meta robots trong SEO như thế nào? Hẳn không phải ai làm SEO cũng nắm được. Bài viết này sẽ chỉ cho các bạn hiểu và sử dụng thẻ Meta robots một cách chính xác và hiệu quả nhất.

Thẻ Meta robots là gì?

Có rất nhiều định nghĩa về thẻ Meta robots nhưng về cơ bản thẻ Meta robots là một trong các yếu tố SEO onpage giúp kiểm soát cách Google nên lập chỉ mục và hiển thị một trang riêng lẻ cho người dùng trong kết quả của Google tìm kiếm bằng một đoạn mã HTML.

Đoạn mã này cần đặt trong phần <head> của một trang nhất định

Thẻ meta robots có dạng:

<meta name=”robots” content=”noindex” />

Tầm quan trọng của thẻ Meta Robots trong SEO

Thẻ Meta robots được sử dụng khi làm SEO website với nhiều mục đích khác nhau, tuy nhiên nó thường được sử dụng để ngăn các trang mà bạn không mong muốn Google lập chỉ mục và đưa nó ra kết quả tìm kiếm trên Google.

Tại sao làm SEO lại không mong muốn Google đưa chúng ra kết quả tìm kiếm?

Nghe có vẻ khá vô lý nhưng trong quá trình làm SEO sẽ có những trang bạn bắt buộc phải có nhưng nội dung của nó không quá hữu ích với người dùng

Dễ hiểu thì các trang đó là:

  • Các trang có nội dung mỏng, ít nội dung hữu ích cho người dùng
  • Các trang quản trị
  • Các trang tài liệu nội bộ
  • Các chương trình khuyến mãi
  • Các nội dung trùng lặp

Các thuộc tính của thẻ Meta robots

Thẻ Meta robots gồm 2 thuộc tính đó là “name” và “content”, cách bạn chỉ định giá trị của 2 thuộc tính này sẽ quyết định cách mà các crawler làm theo.

TÊN THẺ CẤU TRÚC THẺ TÁC DỤNG ỨNG DỤNG
All <meta name=”robots” content=”all” />
Noindex <meta name=”robots” content=”noindex” /> Ngăn các công cụ tìm kiếm không lập chỉ mục trang Khi bạn không muốn hiển thị trang nào đó trong kết quả tìm kiếm
Nofollow <meta name=”robots” content=”nofollow” /> Ngăn không cho robots thu thập liên kết trên trang. Tuy nhiên vẫn có thể lập chỉ mục chúng
None <meta name=”robots” content=”none” /> Đây là sự kết hợp giữa 2 thẻ Noindex và Nofollow Sử dụng khi bạn không muốn công cụ tìm kiếm lập chỉ mục và các robots không thu thập liên kết trên trang
Noarchive <meta name=”robots” content=”noarchive” /> Ngăn Google hiển thị bản sao đã lưu trong bộ nhớ cache của trang trong SERP .
Notranslate <meta name=”robots” content=”notranslate” /> Ngăn Google cung cấp bản dịch của trang trong SERP .
Noimageindex <meta name=”robots” content=”noimageindex” /> Ngăn Google lập chỉ mục các hình ảnh được nhúng trên trang.
Unavailable_after <meta name=”robots” content=”unavailable_after: Monday, 02-Sep-20 13:31:13 GMT” /> Yêu cầu Google không hiển thị một trang trong kết quả tìm kiếm sau một ngày / giờ cụ thể. Khi bạn không muốn hiện thị một trang trong kết quả tìm kiếm sau một thời gian cụ thể

Lưu ý: Thời gian phải theo đúng định dạng

Ví dụ: Monday, 02-Sep-20 13:31:13 GMT

Nosnippet <meta name=”robots” content=”nosnippet” /> Ngăn hiện thị các đoạn trích (văn bản, hình ảnh, video,…) trên kết quả tìm kiếm Nếu bạn muốn hiện thị chúng hãy thêm đoạn mã HTML sau

<meta name=”robots” content=”max-snippet:-1, max-image-preview:large, max-video-preview:-1″ />

vào trang web của bạn

Max-snippet <meta name=”robots” content=”max-snippet:X” /> Chỉ định số lượng ký tự tối đa mà Google có thể hiển thị trong các đoạn văn bản của họ. Thay X bằng 0 sẽ chọn không tham gia các đoạn văn bản, ‑1 tuyên bố không có giới hạn về bản xem trước văn bản. Thay X bằng số lượng ký tự tối đa mà Google có thể hiện thị
Max-image-preview <meta name=”robots” content=”max-image-preview:X” /> Cho Google biết sẽ dùng kích thước hình ảnh nào cho đoạn mã hình ảnh Thay X bằng giá trị mà bạn muốn Google hiện thị

none – không có đoạn mã hình ảnh nào sẽ được hiển thị

standard – bản xem trước hình ảnh mặc định có thể được hiển thị

large – bản xem trước hình ảnh lớn nhất có thể có thể được hiển thị

Max-video-preview <meta name=”robots” content=”max-video-preview:X” /> Thiết lập số giây tối đa cho một đoạn video. Thay X bằng số dây bạn chọn

0 sẽ chọn không hoàn toàn

‑1 không giới hạn.

Lưu ý: Có thể tạo nhiều lệnh bằng cách dùng dấu phẩy vào câu lệnh

Ví dụ:

<meta name=”robots” content=”max-snippet:20, max-image-preview:large”>

Thẻ này đặt giới hạn 20 ký tự cho đoạn trích văn bản và cho phép hiển thị hình ảnh xem trước với kích thước lớn nhất có thể.

<meta name=”robots” content=”noindex, nofollow”>

Thẻ này yêu cầu không lập chỉ mục trang này và không thu thập dữ liệu tất cả các liên kết trên trang

Cách kiểm tra và thay đổi thuộc tính của thẻ Meta robots

Cách kiểm tra thẻ Meta robots

Để kiểm tra xem một trang bất kỳ đang áp dụng thuộc tính thẻ Meta robots nào hay không? và thay đổi các thuộc tính này bạn hãy làm theo các bước dưới đây.

Bước 1: Tại trang cần kiểm tra nhấn “xem nguồn trang” hoặc dùng phím tắt Ctrl + U (với máy win); Option + Command + U (với Mac)

Bước 2: Nhấn Ctrl + F hay Command + F để tìm kiếm

Bước 3: Gõ tìm kiếm meta name=”robots” hoặc meta content để kiểm tra

Tại đây bạn có thể thấy các thuộc tính mà trang đang áp dụng

Kiểm tra thẻ meta robots bằng kiểm tra nguồn trang

Kiểm tra thẻ meta robots bằng kiểm tra nguồn trang

Lưu ý: Nếu bạn không tìm thấy thì mặc định là Index

Thay đổi trong HTML/CSS

Bạn có thể thay đổi thuộc tính cho Meta Robots với các cách sau:

  • Cách 1: Chỉnh sửa file robots.txt
  • Cách 2: Chỉnh sửa thẻ meta robots

Sử dụng Plugin Yoast SEO (Áp dụng đối với Website sử dụng WordPress)

Với những ai đang sở hữu website trên nền tảng WordPress thì bạn có thể chỉnh sửa thuộc tính cho thẻ Meta robots nhanh với các thao tác dưới đây.

  • Bước 1: Truy cập vào trang cần thiết lập với quyền quản trị
  • Bước 2: Kéo xuống phần thiết lập nâng cao
Chỉnh Meta robots trên nền tảng WordPress

Chỉnh Meta robots trên nền tảng WordPress

Tại đây bạn có thể tùy chỉnh “noindex” và “nofollow”

Tại tab “robots meta nâng cao” bạn có thể thiết lập những thẻ meta khác

Sử dụng Plugin Rank Math

Nếu bạn sử dụng Plugin Rank Math thì bạn hãy thực hiện theo các thao tác sau

Bước 1: Truy cập vào phần chỉnh sửa của bài viết

Bước 2: Chọn “Advanced”

Chọn mục Advanced để thay đổi

Chọn mục Advanced để thay đổi

Bước 3: Chọn các thẻ mà bạn muốn đặt

Chọn thẻ mà bạn muốn cài đặt

Chọn thẻ mà bạn muốn cài đặt

So sánh thẻ Meta Robots với thẻ X‑Robots-Tag?

Tương tự như Meta robots tuy nhiên X-Robots-Tag cung cấp cho bạn sự linh hoạt hơn bằng cách cho phép bạn kiểm soát cách (các loại) tệp cụ thể được lập chỉ mục.

Ví dụ về cách sử dụng X-Robots-Tag

Nếu bạn muốn ngăn các công cụ tìm kiếm hiển thị các tệp bạn đã tạo bằng PHP, bạn có thể thêm phần sau vào phần đầu của tệp header.php:

header(“X-Robots-Tag: noindex”, true);

Điều này sẽ không ngăn các công cụ tìm kiếm theo các liên kết trên các trang đó. Nếu bạn muốn làm điều đó, hãy thay đổi ví dụ trước đó như sau:

header(“X-Robots-Tag: noindex, nofollow”, true);

Mặc dù sử dụng phương pháp này trong PHP có những lợi ích của nó, nhưng rất có thể bạn sẽ muốn chặn hoàn toàn các loại tệp cụ thể. Cách tiếp cận thực tế hơn sẽ là thêm X-Robots-Tag vào cấu hình máy chủ Apache của bạn hoặc tệp .htaccess .

Hãy tưởng tượng bạn chạy một trang web cũng có một số tệp .doc, nhưng bạn không muốn các công cụ tìm kiếm lập chỉ mục loại tệp đó vì một lý do cụ thể. Trên máy chủ Apache, bạn nên thêm dòng sau vào tệp cấu hình .htaccess:

<FilesMatch “.doc$”>

Header set X-Robots-Tag “noindex, noarchive, nosnippet”

</FilesMatch>

Hoặc, nếu bạn muốn thực hiện việc này cho cả tệp .doc và .pdf:

<FilesMatch “.(doc|pdf)$”>

Header set X-Robots-Tag “noindex, noarchive, nosnippet”

</FilesMatch>

Nếu bạn đang chạy Nginx thay vì Apache, bạn có thể nhận được kết quả tương tự bằng cách thêm phần sau vào cấu hình máy chủ:

location ~* \.(doc|pdf)$ {

    add_header  X-Robots-Tag “noindex, noarchive, nosnippet”;

}

Có những trường hợp mà bản thân tệp robots.txt có thể hiển thị trong kết quả tìm kiếm . Bằng cách sử dụng một thay đổi của phương pháp trước đó, bạn có thể ngăn điều này xảy ra với trang web của mình:

<FilesMatch “robots.txt”>

Header set X-Robots-Tag “noindex”

</FilesMatch>

Và trong Nginx:

location = robots.txt {

add_header  X-Robots-Tag “noindex”;

}

Khi nào nên sử dụng thẻ X Robots thay thế cho Meta Robots

Với những nơi bạn không thể dùng HTML để thiết lập thẻ Meta robots thì đây là lúc bạn cần phải sử dụng X-robots-tag.

Các trường hợp cần dùng thẻ X-Robots-tag

  • Khi cần noindex toàn bộ tên miền, danh mục con…
  • Khi muốn đặt đoạn mã HTML

Các tệp không phải là HTML như PDF, hình ảnh…bạn sẽ không thể can thiệp bằng HTML, 

Kết Luận

Hiểu đúng và quản lý việc thu thập dữ liệu, lập chỉ mục trang web sẽ giúp website trở nên “sạch sẽ” hơn và có xếp hạng tốt hơn trên trang SERPs của các bộ máy tìm kiếm.

Lời khuyên: Nếu website của bạn có các URL chứa thông tin cá nhân mà bạn không muốn công khai tìm kiếm, hãy chọn một cách tiếp cận an toàn hơn, chẳng hạn như bảo vệ bằng mật khẩu, để ngăn không cho khách truy cập xem các trang bí mật thay vì dùng thẻ meta robots hay X-robots-tag.

Và nếu bạn còn bối rối và chưa hiểu rõ về “Meta robots”, hãy liên hệ với SEONGON hoặc tham gia trực tiếp các khóa học SEO của chúng tôi để có thể áp dụng hiệu quả cho trang web của mình.

Xem thêm các kiến thức SEO được tổng hợp và chia sẻ bởi đội ngũ chuyên gia SEONGON tại đây.

5/5 (1 Review)
Hà Việt Nam

Tôi là Nam, hiện đang là trưởng nhóm dự án SEO của SEONGON. Là một người đam mê tìm hiểu, học hỏi đến tận cùng của vấn đề, chăm chỉ thực hành, nghiên cứu Insight, Search Intent của người dùng trong từng dự án SEO. Với hơn 5 năm kinh nghiệm đã và đang triển khai hàng trăm dự án lớn nhỏ. Thành công có, thất bại có, thực thi các dự án ở nhiều nghành nghề, lĩnh vực khác nhau, giúp tôi biết được đâu là tính đặc thù của từng dự án, cũng như góc nhìn SEO đa dạng hơn. Tôi hy vọng những bài viết của tôi thực sự hữu ích, dễ đọc, dễ hiểu, dễ áp dụng vào các dự án mà các bạn đang triển khai. Nếu bạn có gì cần trao đổi, để lại bình luận, mình sẽ cố gắng đọc và trả lời các bạn chi tiết nhất.

[Case Study]
[Case Study]
[Case Study]
[Case Study]