Robots.txt tester
Đọc robots.txt và kiểm tra đường dẫn theo User-Agent của crawler.
Kết quả kiểm tra
Thông tin chính của lượt kiểm tra
| Thông tin | Giá trị |
|---|
Thông tin kỹ thuật Mở để xem thêm
| Thông tin | Giá trị |
|---|
Tra cứu từ máy chủ tới địa chỉ công cộng, tối đa 30 lượt/phút cho mỗi phiên; Ping và kiểm tra cổng tối đa 10 lượt/phút. URL dùng HTTP/HTTPS cổng 80/443. Nội dung tải tối đa 1 MB. Kết quả tra cứu có thể được lưu tạm; thời điểm kiểm tra hiển thị cùng kết quả.
Cách dùng
Kiểm tra quy tắc robots.txt cho một crawler và đường dẫn cụ thể. Dùng để rà soát Allow, Disallow trước khi thay cấu hình thu thập dữ liệu.
Quay lại công cụNhập URL website cần kiểm tra.
Điền User-Agent crawler và đường dẫn, ví dụ Googlebot và /san-pham/.
Bấm Kiểm tra, đọc quy tắc áp dụng và kết quả cho phép hoặc chặn.
Lưu ý khi sử dụng
Robots.txt kiểm soát việc thu thập dữ liệu, không bảo đảm URL bị loại khỏi chỉ mục và không bảo vệ nội dung riêng tư.