Sitemap e robots.txt explicados sem jargão

Sitemap e robots.txt são dois arquivos de texto que quase ninguém abre, mas que decidem, na prática, se o Google encontra e mostra o seu site. Não é assunto de programador só. É assunto de dono de negócio, porque um erro de uma linha nesses arquivos derruba o site inteiro dos resultados. Este texto explica os dois em português normal, sem jargão, e mostra o que conferir hoje.

A analogia que resolve os dois de uma vez

Imagine que o seu site é um prédio e o Google é um visitante que quer conhecer tudo.

• O sitemap.xml é a lista de salas que você entrega na portaria: "olha, existem estas 42 salas, vale a pena visitar todas".
• O robots.txt é a plaquinha na entrada dizendo onde o visitante não deve entrar: "por favor, não suba ao depósito nem ao almoxarifado".

Um mostra o caminho. O outro põe limite. Os dois juntos definem por onde o robô do Google passa e o que ele registra sobre você.

O que é o sitemap.xml de verdade

O sitemap é um arquivo com a lista dos endereços do seu site, geralmente com a data da última atualização de cada um. Ele fica em seusite.com.br/sitemap.xml. Você pode abrir o seu agora mesmo no navegador para ver se existe.

Ele não é uma ordem. O Google não é obrigado a indexar nada só porque está no sitemap. Ele é um atalho de descoberta. Sem sitemap, o robô precisa achar cada página seguindo links de outras páginas. Se você publicou um artigo novo e ele não recebeu link de lugar nenhum, pode levar semanas até alguém tropeçar nele. Com sitemap, ele entra na fila de leitura muito mais rápido.

Isso importa mais do que parece em dois casos: sites novos, que ainda não recebem visita frequente do robô, e sites grandes, com muitas páginas de serviço e de cidade. Se você tem 8 serviços e atende 30 bairros, existem centenas de endereços que precisam ser descobertos. É aí que o sitemap deixa de ser detalhe.

Como criar o seu

Na maioria dos casos, você não precisa escrever nada à mão. Em WordPress, plugins de SEO geram e atualizam o sitemap sozinhos. Em sites feitos em plataformas modernas, o sitemap costuma ser gerado automaticamente pelo próprio sistema a cada publicação. O que você precisa garantir é o seguinte:

1. Que o arquivo exista e abra no navegador sem erro.
2. Que ele liste apenas páginas que você quer no Google, com o endereço final (sem redirecionamento no meio).
3. Que ele se atualize sozinho quando você publica algo novo, sem depender de alguém lembrar.
4. Que ele esteja enviado no Google Search Console.

O que é o robots.txt de verdade

O robots.txt fica em seusite.com.br/robots.txt e diz aos robôs o que eles podem ou não rastrear. Um arquivo simples e saudável de um site de serviço se parece com isto: libera tudo, bloqueia apenas as áreas internas e informa onde está o sitemap.

As instruções são poucas. "User-agent" indica para qual robô a regra vale (um asterisco significa todos). "Disallow" indica o que não deve ser rastreado. "Allow" abre exceções dentro de um bloqueio. E uma linha "Sitemap" aponta o endereço da sua lista de páginas.

O que costuma fazer sentido bloquear: telas de login e de administração, páginas de carrinho e checkout, resultados internos de busca do site e páginas de teste. O que quase nunca faz sentido bloquear: pastas de imagens, arquivos de estilo e de script (o Google precisa deles para entender o layout) e, obviamente, as suas páginas de serviço.

A confusão que mais dá prejuízo

Muita gente acha que o robots.txt esconde uma página do Google. Não é bem assim. O robots.txt pede que o robô não leia a página. Se outros sites apontarem para ela, o endereço ainda pode aparecer nos resultados, só que sem descrição, com aquele aviso de que não foi possível obter informações.

Para tirar uma página dos resultados de verdade, o caminho é a tag noindex dentro da própria página. E aqui está a armadilha: se você bloquear a página no robots.txt, o Google não consegue entrar para ler a tag noindex. Ou seja, você impede o próprio comando que queria aplicar. A regra prática é simples: quando quiser sumir com uma página, use noindex e deixe o robots.txt liberado para ela.

Os erros que mais derrubam sites

• Disallow em barra sozinha. Uma linha bloqueando a raiz do site tira tudo do rastreamento. Acontece muito quando o site sai do ambiente de testes e ninguém removeu o bloqueio. O tráfego despenca em poucos dias e a causa é uma linha de texto.
• Sitemap com endereços errados. Listar páginas que redirecionam, que dão erro 404 ou que estão com noindex passa ruído ao Google e polui o relatório do Search Console.
• Sitemap desatualizado. Um arquivo gerado uma vez, há dois anos, sem as páginas novas, não ajuda ninguém.
• Bloquear CSS e JavaScript. Sem esses arquivos, o Google enxerga o seu site quebrado e avalia a experiência mobile pior do que ela é.
• Achar que o robots.txt protege dados. Ele é público. Listar ali o endereço de uma área sigilosa é o mesmo que colocar uma placa apontando para ela.

Quando um sitemap só não basta

Existe um limite técnico: cada arquivo de sitemap comporta até 50 mil endereços ou 50 MB. Poucos negócios de serviço chegam perto disso, mas há um motivo prático para dividir o sitemap muito antes desse teto: organização e diagnóstico.

Um site que separa o sitemap por tipo de conteúdo (um para páginas de serviço, um para páginas de cidade, um para artigos do blog) ganha uma vantagem enorme no Google Search Console. Em vez de ver "de 420 endereços enviados, 380 foram indexados" e não saber onde está o buraco, você vê que as páginas de serviço estão 100% indexadas e as de cidade estão em 60%. Isso transforma um número vago em uma tarefa concreta.

Nesse formato, existe um arquivo principal, chamado índice de sitemaps, que apenas aponta para os outros. É ele que você envia no Search Console. O resto o Google descobre sozinho.

E os robôs de inteligência artificial?

O robots.txt não fala só com o Google. Rastreadores de sistemas de IA também consultam esse arquivo antes de ler o seu site. Existem robôs com nomes próprios ligados aos principais assistentes, e você pode liberar ou bloquear cada um separadamente.

A pergunta que vale a pena fazer é: você quer ser fonte de resposta em assistentes de IA ou não? Para uma empresa de mídia que vive de anúncio na página, bloquear pode fazer sentido, porque a IA resume o conteúdo e ninguém entra no site. Para um prestador de serviço, bloquear é quase sempre um tiro no pé. Ser citado numa resposta com o nome do seu negócio e a sua cidade é publicidade gratuita, mesmo sem o clique.

A recomendação prática para negócio de serviço: deixe os rastreadores de IA liberados, e concentre a energia em ter conteúdo que valha a pena citar. Só bloqueie se você tiver um motivo comercial claro para isso.

Checklist de dez minutos

Faça isto hoje, sem depender de ninguém:

1. Abra seusite.com.br/robots.txt. Se houver algum bloqueio amplo, investigue antes de qualquer outra coisa.
2. Abra seusite.com.br/sitemap.xml. Confira se as suas páginas de serviço principais estão na lista.
3. Entre no Google Search Console, envie o sitemap e veja quantos endereços foram descobertos e quantos deram erro.
4. Use a inspeção de URL em três páginas importantes e confirme que aparecem como indexadas.
5. Confira se o robots.txt tem a linha apontando o endereço do sitemap.

Se algo aí der problema, resolva antes de investir em conteúdo novo. Não adianta publicar dez artigos se o robô está barrado na portaria.

Quando isso vira um problema de escala

Enquanto o site tem vinte páginas, dá para conferir tudo na mão. Quando você começa a cobrir muitos serviços e muitas regiões, o número de endereços cresce rápido e o controle manual se perde. É por isso que projetos sérios de SEO programático tratam sitemap e rastreamento como parte da arquitetura, não como detalhe final. A geração automática precisa nascer correta, com endereços canônicos e atualização em tempo real, ou você multiplica erros em escala.

Se você quer saber se o seu site está sendo lido direito pelo Google antes de gastar energia em conteúdo, peça o diagnóstico gratuito da srvs. Em poucos minutos a gente mostra o que está travando a indexação e qual é a ordem certa de resolver.