Gerador de robots.txt
Gere arquivo robots.txt para seu site
Use * como curinga (ex: *.pdf, /temp*)
Opcional: tempo de espera entre requisições
Para crawlers específicos (Googlebot, Bingbot, etc.)
Como usar:
- Configure as regras para controlar o acesso dos crawlers ao seu site
- Coloque o arquivo robots.txt na raiz do seu domínio (ex: https://seusite.com.br/robots.txt)
- Use "Disallow" para bloquear caminhos específicos
- Adicione o URL do seu sitemap para facilitar a indexação
- Teste com o Google Search Console após publicar