Nếu bạn là một webmaster chắc chắn khi xây dựng một website việc SEO là một việc khá quan trọng để xếp thứ hạng trang web của mình, trong đó thiết lập file robots.txt tùy chỉnh thực sự là cần thiết.
Ở bài viết này chúng ta sẽ thảo luận về robots.txt và cách tạo file robots.txt tùy chỉnh trong Blogger. Tất cả những gì liên quan đến việc thu thập dữ liệu và lập chỉ mục blog của bạn.
Robots.txt tùy chỉnh cho Blogger là thứ gì đó khá nhạy cảm và việc sử dụng không đúng tính năng này có thể khiến blog bị các công cụ tìm kiếm bỏ qua. Vì vậy, trước khi triển khai file robots.txt cho Blogger, chúng ta nên biết về nó rõ hơn.
Bước 5: Nhấn Lưu (Save) để hoàn thành.
Robots.txt là gì?
Robots.txt là một tệp văn bản đơn giản được tạo để cung cấp thông tin chi tiết cho robot tìm kiếm về các bài đăng trên Blog. Kết quả là khi robot tìm kiềm từ các công cụ tìm kiếm khác nhau như Google, Bing, Yahoo... truy cập vào trang web của bạn thì robots.txt sẽ thông báo cho trình thu thập thông tin tìm kiếm những gì nên thu thập và những gì không nên thu thập.Thậm chí, bằng cách sử dụng file robots.txt có thể cho công cụ tìm kiếm biết URL nào nên lập chỉ mục và URL nào nên bỏ qua.
Nói cách khác, bạn có thể định cấu hình để ngăn các công cụ tìm kiếm quét và lập chỉ mục các trang hoặc file trên trang web của bạn.
Tại sao Robots.txt lại quan trọng?
File robots.txt kiểm soát quyền truy cập của trình thu thập thông tin vào các khu vực nhất định trên trang của bạn. Mặc dù điều này có thể nguy hiểm nếu bạn vô tình cho phép Googlebot thu thập dữ liệu toàn bộ trang web của mình, nhưng một số trường hợp mà file robots.txt có thể rất hữu ích.- Ngăn nội dung trùng lặp xuất hiện trong SERP
- Giữ toàn bộ các phần trang web ở chế độ riêng tư
- Giữ cho các trang kết quả tìm kiếm nội bộ không hiển thị trên SERP
- Chỉ định vị trí của sơ đồ trang web
- Ngăn các công cụ tìm kiếm lập chỉ mục các file nhất định trên trang web của bạn (ví dụ như hình ảnh, PDF,...)
- Chỉ định độ trễ thu thập thông tin để ngăn máy chủ của bạn bị quá tải khi trình thu thập thông tin tải nhiều phần nội dung cùng một lúc
File Robots.txt tối ưu cho Blogger
Dưới đây là một cấu hình Robots.txt chuẩn dành cho các bạn đang dùng BloggerUser-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.example.com/sitemap.xml
Lưu ý: Bạn thay đường link sitemap bằng tên miền của bạn nhé.
Cách thêm file Robots.txt cho Blogger
Để thêm file robots.txt tùy chỉnh cho Blogger, bạn chỉ cần làm theo các bước dưới đây:Bước 1: Đăng nhập vào trang tổng quan Blogger.
Bước 2: Nhấn vào Cài đặt (Settings) > Trình thu thập thông tin và lập chỉ mục (Crawlers and indexing)
Bước 3: Bạn hãy bật tùy chọn Bật robots.txt tùy chỉnh (Enable custom robots.txt)
Bước 4: Ở mục Robots.txt tùy chỉnh (Custom robots.txt) các bạn nhập cấu hình tùy chỉnh vào.
Giải thích về file Robots.txt tùy chỉnh
Mình sẽ giải thích một chút về một số lệnh trong file robots.txt tùy chỉnh, bạn có thể tùy biến trong file của mình.- Ký tự đại điện: Các ký tự sau thường được sử dụng trong file robots.txt
* có nghĩa là tất cả, mọi thứ
/ có nghĩa là thư mục
- User-agent: Cú pháp này cho phép trình thu thập dữ liệu như của Google, Bing, Yahoo... và xác định các quy tắc được áp dụng bên dưới.
- Disallow: Nó hướng dẫn các trình thu thập dữ liệu web không thu thập thông tin thư mục hoặc file được chỉ định.
- Allow: Dòng này cho phép trình thu thập dữ liệu thu thập thông tin thư mục hoặc file cụ thể.
- Sitemap: Là sơ đồ trang web chứa cấu trúc trang web của bạn cho phép trình thu thập dữ liệu tìm đường đi qua blog của bạn.
Như vậy với hướng dẫn ở trên bạn đã có thể tạo file robots.txt cho blog của mình rồi. Giờ đây, robot tìm kiếm sẽ có thể hoạt động theo file robots.txt của bạn. Nếu bạn có bất kỳ câu hỏi nào hoặc có ý kiến đóng góp đừng ngần ngại để lại bình luận bên dưới bài viết này nhé.
Cám ơn bạn chia sẻ kiến thức nhé.