Hôm nay Thực Tập SEO xin được chia sẻ, hướng dẫn tìm hiểu cũng như cách sử dụng của Robots.txt và Meta robots. Vậy 2 Thuật Ngữ SEO này khác nhau ở điểm nào? Và cách sử dụng chúng trong quá trình SEO ra sao, mời các bạn đón đọc tài liệu SEO để làm rõ câu hỏi trên qua bài chia sẻ dưới đây
Robots.txt là gì?
Robots.txt hay còn gọi là Giao thức loại trừ robot (REP): là một tập tin văn bản mà quản trị website tạo ra để hướng dẫn robot làm thế nào để thu thập thông và các trang chỉ mục trên trang web của họ. Hay nói cách khác họ tạo ra để điều hướng BOT của các công cụ tìm kiếm tìm đến nhanh nhất để index các pages trên website của họ. Robots.txt là một dạng can thiệt vào code của hệ thống website, vì vậy sau đây là mẫu code dùng cho robots.txt.
Định dạng code
Cho phép lập chỉ mục của tất cả nội dung
|
Không cho phép lập chỉ mục của tất cả mọi thứ
|
Lập chỉ mục Disawllow của một thư mục cụ thể
|
Không cho phép Googlebot lập chỉ mục của một thư mục, ngoại trừ cho phép việc lập chỉ mục của một tập tin trong thư mục đó
|
- Bạn nên sử dụng file robots.txt này khi muốn ngăn chặn bọ tìm kiếm dò quét một trang web hoặc toàn bộ website. Và trang web đó cũng không bị lưu vào cơ sở dữ liệu của máy tìm kiếm(data base). Nhưng bạn không thể sử dụng phương pháp này để gỡ bỏ trang web khỏi CSDL của máy tìm kiếm khi nó đã được lưu vào từ trước. Dữ liệu Robots.txt có thể ngăn truy cập đến tất cả một thư mục hoặc đến một trang web cụ thể.
Cách tạo file Robots.txt
– Sau đây là ví dụ của 1 file robots.txt:
| User-agent: * Googlebot (Với Bot của Google)
Disallow: /register.html Disallow: /assets/ Disallow: /category/ Sitemap: http://thuctapseo.org/Sitemap.xml |
Công khai thông tin
Robots.txt là một tập tin công bốcông khai. Bất cứ ai cũng có thể nhìn thấy các phần của một máy chủ quản trị trang web đã bị chặn các công cụ tìm kiếm.
Điều này có nghĩa là nếu bạn có thông tin nhưng không muốn công khai trên kết tìm kiếm, bạn nên sử dụng phương pháp an toàn để giữ lượng truy cập xem bất kỳ trang web nào bí mật mà không muốn lập chỉ mục, tốt nhất nên sử dụng mật khẩu để bảo vệ.
Có thể bạn quan tâm
Meta Robots là gì?
Thẻ Meta Robots: Là thẻ được đặt trong phần head của 1 trang web và điều khiển cách bọ tìm kiếm tương tác với nội dung cũng như cách hiển thị trên trang web có trong kết quả tìm kiếm của các công cụ tìm kiếm.
Sự khác nhau giữa Robots.txt và Thẻ Meta Robots
Cách sử dụng thẻ Meta Robots
Thẻ meta robots là thẻ chèn vào trong phần <head> (là phần mở đầu của mỗi trang web).
Ví dụ:
| <meta name=”robots” content=”COMMAND”> |
Danh sách các câu lệnh thường được sử dụng trong thẻ meta robots
- Index – Mặc định tất cả các trang web đều được index.
=> câu lệnh này là không cần thiết.
- Noindex – Không index trang này, hoặc gỡ bỏ nó khỏi CSDL (cơ sở dữ liệu) nếu nó đã được index.
- Follow – Mặc định tất cả trang web, máy tìm kiếm đi theo tất cả links trên trang này.
=> Câu lệnh này là không cần thiết.
- Nofollow – Không khuyến khích máy tìm kiế,m đi theo bất kỳ links nào trên trang này.
- Nosnippet – Chúng ta yêu cầu máy tìm kiếm không được hiển thị thông tin miêu tả về trang trên bảng kết quả
Ví dụ về một thẻ meta robots:
Tác dụng của Meta robots trong SEO
Chặn với Robots.txt
– Không cho Google Spider thu thập dữ liệu của URL được nhắc tới, nhưng cũng nói cho Google Spider rằng có thể giữ cho các trang trong chỉ mục và hiển thị nó trong trong kết quả.
Chặn bằng Meta ngăn lập chỉ mục.
– Cho cho phép Google Spider có thể truy cập, nhưng không được để hiển thị URL trên trang kết quả tìm kiếm. (Phương thức được đề nghị)
Chặn bởi Nofollowing Liên kết
Đây gần như là cách làm kém hiệu quả nhất vì vẫn có thể cho các công cụ tìm kiếm website theo những cách khác qua các liên kết từ các trang khác ví dụ như analytics…
Có thể bạn quan tâm
Bài chia sẻ về Robots.txt và Meta robots của mình đến đây là kết thúc.
Cảm ơn các bạn đã dành thời gian theo dõi bài viết của chúng tôi. Nếu có bất kỳ ý kiến hay thắc mắc gì các bạn hãy bình luận xuống dưới, chúng tôi sẽ trả lời các thắc mắc của bạn một cách nhanh nhất.
Bài viết “ Robots.txt và Meta Robots ”
Tác giả: Admin – VietMoz SEO
Ghi rõ nguồn thuctapseo.org khi đăng tải lại bài viết này
Ý kiến bạn đọc (0)