Trang chủ
Tools
SEO Tool
Robots.txt Generator
Tạo file robots.txt để quản lý cách bot crawl trang web
Rule 1
User-agent
All bots
Googlebot
Bingbot
GPTBot (OpenAI)
ChatGPT-User
Google-Extended
CCBot (Common Crawl)
Facebookbot
Twitterbot
Slurp (Yahoo)
Disallow
+ /admin
+ /api/
+ /private/
+ /tmp/
+ /cgi-bin/
+ Thêm
Allow
+ Thêm Allow
Crawl-delay (giây)
Thêm Rule
Reset
Sitemap URL
Host (không bắt buộc)
robots.txt
.txt
Copy
User-agent: *