Sửa lỗi: Đã lập chỉ mục mặc dù bị chặn bởi robots.txt

Trong Google Search Console, nhiều người gặp cảnh báo về vấn đề lập chỉ mục, nguyên văn là: "Đã lập chỉ mục mặc dù bị chặn bởi robots.txt" đặc biệt là đối với các blog sử dụng nền tảng Blogger.

Như chúng ta đã biết robots.txt mặc định của blogger có dạng như sau:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://domain/sitemap.xml
Các tệp robots.txt ở trên cho thấy rằng tất cả các trang Tìm kiếm không được phép thu thập thông tin bot.

Nhưng nghịch lý là các trang tìm kiếm lại được liên kết trong blog tại menu, tiện ích nhãn hoặc thanh điều hướng, nên các trang này vẫn được bot thu thập dữ liệu.

Sau đây là cách khắc phục lỗi: Đã lập chỉ mục mặc dù bị chặn bởi robots.txt cho 2 trường hợp là blog cũ đang hoạt động và thiết lập cho blog mới.

Thiết lập ngay khi tạo blog mới để tránh bị báo lỗi

Ngay khi bắt đầu lập blog mới bạn nên cài đặt ngay tệp robots.txt theo mẫu:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /search/label/
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /?m=0 
Disallow: /archive.html
Allow: /
Sitemap: URL blog/sitemap.xml
Sitemap: URL blog/feeds/posts/default
Sitemap: URL blog/sitemap-pages.xml
Thêm thẻ meta trong phần seoonpage:
<!-- Noindex search page, label, dan arsip -->
     <b:if cond='data:blog.pageType in {&quot;archive&quot;} or data:blog.searchLabel or data:blog.searchQuery'>
    <meta content='noindex,nofollow' name='robots'/>
       <meta content='noindex,nofollow' name='Googlebot'/>
     </b:if>

Đối với blog cũ đang hoạt động

Cách 1: Lập chỉ mục cả trang label
Để khắc phục vấn đề, chúng ta nên để các trang label được phép thu thập thông tin bằng bot và hiển thị trong kết quả tìm kiếm.
Cho lập chỉ mục cả trang label, việc cần làm là thay thế tệp robots.txt mặc định bằng mã sau nếu bạn sử dụng tệp robots.txt như trên.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /?m=0 
Disallow: /archive.html
Allow: /search/label/
Allow: /
Sitemap: URL blog/sitemap.xml
Sitemap: URL blog/feeds/posts/default
Sitemap: URL blog/sitemap-pages.xml
Nhớ thay URL blog của bạn vào.
Sau đó bạn lưu.
Vào mẫu tìm thẻ meta noindex như bên dưới trong phần <head> (Nếu có)
<!-- Noindex search page, label, dan arsip -->
     <b:if cond='data:blog.pageType in {&quot;archive&quot;} or data:blog.searchLabel or data:blog.searchQuery'>
    <meta content='noindex,nofollow' name='robots'/>
       <meta content='noindex,nofollow' name='Googlebot'/>
     </b:if>
Xóa bỏ thẻ meta ngăn lập chỉ mục trang label và thay bằng thẻ meta dưới (ngăn lập chỉ mục trang lưu trữ).
Mẫu cũ:
<b:if cond='data:blog.pageType == &quot;archive&quot;'>
      <meta content='noindex,nofollow' name='robots'/>
    </b:if>
Mẫu mới:
<b:if cond='data:view.isArchive'>
<meta content='noindex,nofollow' name='robots'/>
</b:if>
Nếu không có thì thêm vào.
Và lưu ý bạn không được bật tiện ích lưu trữ blog.

Sau đó bạn gửi yêu cầu xác thực và chờ kết quả

Sửa lỗi: Đã lập chỉ mục mặc dù bị chặn bởi robots.txt
Cách 2: Kiên trì sửa lỗi
Sau khi bị báo lỗi "Đã lập chỉ mục mặc dù bị chặn bởi robots.txt" trong quản trị trang web bạn làm như cách với blog mới đã hướng dẫn ở phần trên (Tệp robots.txt và thẻ meta), Sau đó bạn gửi yêu cầu xác thực và chờ google cập nhật.
Không cần phải quan tâm nhiều tới nó làm gì, cứ chăm chỉ viết bài cho chất lượng.
Publis: 

9 comments

  1. Gửi lại yêu cầu xác thực như nào bác?
    1. Nếu bị báo lỗi trong Google Search Console sau khi sửa mới cần xác thực. Còn tự phát sinh thích index label thì ko cần xác thực.
    2. Cứ click vào ô màu vàng hay đỏ gì đó nó sẽ xuất hiện mục mới bấm tiếp vào mục mới nó ra "xem chi tiết" bấm tiếp là sẽ biết phải làm gì.
    3. Nó báo "đang chờ", chắc chờ 1 2 ngày xem sao. Thanks :D
    4. Kệ nó thôi.
  2. Blog em mới tạo, chưa lập chỉ mục thì nên dùng robots.txt nào vậy ạ
    1. Cách 2 với blog mới.
    2. tạo robots.txt như cách 2 thì có lập chỉ mục index trong Search Console được không anh?
    3. Thì cách đó hầu như ai cũng đang dùng. Tôi đang dùng code này
      User-agent: Mediapartners-Google
      Disallow:
      User-agent: *
      Disallow: /search
      Disallow: /search?q=
      Disallow: /search/label/
      Disallow: /archive.html
      Disallow: /comment-*
      Disallow: /?m=0
      Allow: /
      Sitemap: https://dautoblognz.blogspot.com/sitemap.xml
      Sitemap: https://dautoblognz.blogspot.com/sitemap-pages.xml
🙂😬😀😂🤣😍💖
Windows + . hoặc Windows + ; để chèn emoji