Google explica como impedir que pop-ups apareçam na Busca usando o robots.txt

John Mueller, do Google, explicou como impedir que pop-ups exibidos num site apareçam para o Googlebot e na Busca do Google usando o arquivo robots.txt. A explicação foi uma resposta a uma pergunta publicada no Reddit sobre um aviso de verificação de idade que um site é obrigado a mostrar por razões legais.

Segundo o Search Engine Roundtable, em reportagem publicada em 3 de novembro, o pop-up do caso fica hospedado em outro domínio e entra na página por meio de uma API. A pessoa que fez a pergunta queria saber se bloquear o rastreamento no robots.txt desse outro domínio impediria o Google de renderizar o aviso.

"Isso em geral funcionaria", respondeu Mueller. Ele acrescentou que, se o pop-up depende de um arquivo JavaScript específico, também é possível bloquear esse arquivo pelo robots.txt. E fez uma ressalva: "se você tem um único arquivo JS que faz várias coisas, eu não faria isso".

Primeiro caminho: bloquear o domínio que hospeda o pop-up

Quando um site incorpora conteúdo de outro domínio, por iframe ou chamando um script, e esse domínio proíbe todo rastreamento no robots.txt, os rastreadores que respeitam o arquivo, como o Googlebot, não buscam esse conteúdo e não o usam na renderização. Segundo Mueller, é assim que muitos serviços de anúncios funcionam.

O Googlebot não rastreia essas URLs como páginas separadas, mas tenta buscá-las enquanto renderiza a página. Se o robots.txt bloqueia, o conteúdo não é carregado e não pode ser usado. O cuidado, de acordo com ele, é garantir que as páginas continuem carregando sem essas URLs, o que num caso assim costuma não ser problema.

Segundo caminho: bloquear o próprio script

A outra opção é bloquear, no robots.txt do próprio site, o arquivo JavaScript que carrega o pop-up. Mueller deu como exemplo um arquivo chamado "load-verification-popup.js": bloqueado, o script não é carregado durante a renderização.

Ele disse que, pela experiência dele, essa solução é menos comum, mas é uma alternativa. E passa a ser o caminho necessário quando não há como interferir no robots.txt do domínio que hospeda o pop-up. A reportagem observa que provavelmente existem outras formas de chegar ao mesmo resultado, mas que essa é a abordagem recomendada por um representante da Busca do Google.

Para marcas que precisam exibir avisos legais, como verificação de idade, a orientação oferece duas formas de evitar que esse conteúdo seja usado pelo Google ao renderizar as páginas: bloquear o domínio de origem do pop-up ou o script específico que o carrega. Em qualquer dos casos, vale conferir se a página continua carregando sem o aviso e evitar bloquear um arquivo JavaScript que também cumpre outras funções no site.