Google explica por que o rastreamento dispara quando um site migra para uma CDN

O Google publicou em 11 de novembro um guia para sites que vão passar a usar uma rede de distribuição de conteúdo, a CDN. O alerta central: logo depois da troca, o tráfego dos robôs de rastreamento no servidor de origem pode subir quase de imediato, justamente o problema que a CDN deveria resolver.

Segundo o Google Search Central, a explicação está em como a infraestrutura de rastreamento calcula o limite de capacidade de cada site, também chamado de hostload. Respostas cada vez mais lentas fazem os robôs reduzirem o ritmo. Respostas rápidas e estáveis, quando há demanda de rastreamento, fazem esse limite subir aos poucos.

Quando o DNS passa a apontar para a CDN, os tempos de conexão e de resposta caem muito. Para os sistemas do Google, é como se o servidor tivesse recebido uma grande atualização de hardware, e os robôs aumentam o ritmo dos pedidos para acompanhar.

O cache começa vazio

O ritmo maior não seria problema se a CDN absorvesse todos os pedidos. Só que uma CDN nova começa com o cache vazio. No primeiro pedido de cada endereço, o servidor de borda ainda não tem a cópia do arquivo (HTML, CSS, JavaScript, imagens) e precisa buscá-lo na origem. Só os pedidos seguintes para o mesmo endereço saem direto da borda.

Visitantes humanos se concentram em poucas páginas populares, como a página inicial, os artigos mais lidos e as promoções ativas, que entram no cache rápido. Os robôs fazem o contrário: percorrem todo o inventário de URLs do site, e cada endereço ainda fora do cache vai direto para a origem. O Google pondera que os robôs não aceleram de uma vez e que muitas CDNs já suavizam picos de tráfego, mas, até o cache aquecer, quem carrega o peso continua sendo o servidor de origem.

Ver esse pico nos registros costuma levar administradores a ligar o bloqueio geral de robôs no painel da CDN. Sem exceções, essas regras tratam todo tráfego automatizado da mesma forma. Quando a CDN ou o firewall de aplicação (WAF) desafia o pedido com um CAPTCHA, os robôs do Google falham. O site parece restrito ou quebrado, os robôs recuam e as páginas, inclusive as listagens de compras, começam a sair da Busca.

O que o Google recomenda

• Liberar robôs verificados. A maioria das CDNs e dos WAFs tem uma opção ou regra pronta para permitir robôs conhecidos, e os do Google podem ser identificados pelas faixas de IP que a empresa publica. Outra saída é usar o robots.txt ou regras que mirem só os robôs indesejados.
• Aquecer o cache antes. Antes de passar todo o tráfego pela CDN, acessar por ela, em ritmo controlado, as páginas de maior tráfego, as de picos previstos (lançamentos promocionais ou sazonais) e as mais rastreadas.
• Usar 429 ou 503 como freio temporário. Se a carga na origem ficar crítica enquanto o cache aquece, configurar o servidor ou a CDN para devolver os códigos 429 (Too Many Requests) ou 503 (Service Unavailable) por pouco tempo: algumas horas, ou 1 a 2 dias no máximo.

Para quem cuida de marca, o recado é que uma migração de infraestrutura também mexe com a presença nos resultados de busca. Uma regra de segurança ampla demais, sem exceção para robôs verificados, pode tirar páginas da Busca e de outros produtos que dependem dos dados rastreados.