Hướng dẫn tạo file Robots.txt cho website tối ưu seo

Robots.txt là gì ?

File robots.txt là 1 dạng văn bản chứa các mã lệnh mà người quản trị web tạo ra, nó có tác dụng điều hướng các bots của công cụ tìm kiếm khi vào website của các bạn. Mà cụ thể là nó cho phép hay không cho phép Bot đánh chỉ mục 1 thư mục bất kỳ nào đó trong website của bạn hay không ?
File robots.txt được đặt trong thư mục gốc đầu tiên của website và ngang hàng với các file index.php, sitemap.xml…

ví dụ như: https://vinastar.net/sitemap.xml

Cách tạo file Robots.txt ?

Cách tạo 1 file robots.txt rất đơn giản, bạn chỉ cần mở notepad hoặc notepad ++ chèn các mã lệnh và lưu file dưới đạng đuôi .txt
Ví dụ file robots.txt của tôi có dạng như sau:

User-agent: *
Allow: /uploads/
Disallow: /admin/
Disallow: /includes/
Sitemap: https://vinastar.net/sitemap.xml

 

User-agent : dùng để xác định bot của công cụ tìm kiếm nào.
Allow: cho phép bot vào thư mục, trang nào đó.
Disallow: chặn bot vào thư mục, trang nào đó.

Như ở ví dụ trên thì cho phép tất cả các robots công cụ tìm kiếm, cho phép truy cập và đánh chỉ mục thư mục uploads, còn chặn bot truy cập và không cho đánh chỉ mục thư mục admin,includes.
Theo như cách hướng dẫn trên, các bạn có thể hiểu 1 cách đơn giản như sau: thư mục nào mà chúng ta không cần index thì nên chặn bots còn không thì ngược lại. Việc điều hướng này rất có ích trong việc SEO bởi các bots tìm kiếm sẽ không tự động lập chỉ mục các file, thư mục không mong muốn.

Sau khi tạo xong file robots.txt các bạn có thể trực tiếp vào công cụ webmaster tool để gửi cập nhập và kiểm tra lại cho chính xác.

robots.txt

Xem thêm: Sitemap là gì? cách tạo sitemap?

© 2015 Vinastar Ltd - All rights reserved. Designed by Vinastar.net