Como a clusterização vetorial revela a arquitetura que os algoritmos enxergam no seu site

A técnica parte do mesmo fluxo dos outros artigos da série: crawl das páginas, geração de um embedding por URL, cálculo de similaridade entre os pares. A diferença é o que você faz com esses dados.

Em vez de comparar pares isolados, a clusterização agrupa todas as páginas em conjuntos com base em proximidade semântica. Algoritmos como K-Means ou HDBSCAN fazem esse agrupamento automaticamente: você define (ou deixa o algoritmo inferir) quantos clusters quer, e cada página é alocada ao grupo cujo centróide está mais próximo do seu embedding.

O resultado é um mapa. Cada cluster representa um território temático real do site. Páginas dentro do mesmo cluster são semanticamente próximas. Páginas em clusters diferentes tratam de assuntos distintos.

O Screaming Frog v22.0 implementa esse conceito com a funcionalidade de “most representative page”: a página de cada cluster cuja posição vetorial está mais próxima do centróide do grupo.

Quatro padrões aparecem com frequência quando você faz essa análise pela primeira vez num site com volume razoável de conteúdo.

O centróide do site é a média vetorial de todas as páginas. É o ponto que representa, semanticamente, o assunto central do domínio. Cada página tem uma distância em relação a esse centróide, o que o Screaming Frog chama de drift.

O Site Focus Score é uma leitura derivada dessa distância média: quanto menor o drift médio das páginas em relação ao centróide, mais coeso tematicamente é o site. Um blog especializado tem score alto. Um portal que publica sobre tudo tem score baixo.

O vazamento de documentação do Google em 2024 gerou inferências sobre um conceito interno de site focus que influenciaria rankings. Não há documentação conclusiva sobre isso, e é importante tratar como hipótese.

Na prática, páginas com drift alto merecem atenção. Não necessariamente remoção, mas avaliação: aquela página pertence a este domínio? Ela está contribuindo para a autoridade temática ou diluindo a coesão do site?

A análise de clusters não produz uma lista de tarefas diretas. Produz um mapa que informa decisões que ainda dependem de julgamento editorial.

Para planejamento de conteúdo: clusters com muitas páginas mas sem cobertura de profundidade são candidatos a uma página pilar nova. Clusters pequenos com alto tráfego indicam território valioso que ainda não foi explorado completamente.

Para consolidação: páginas no mesmo cluster com scores acima de 0.85 e tráfego baixo em ambas são candidatas naturais a merge. A página resultante costuma performar melhor do que as duas separadas.

Para arquitetura de linkagem: o mapa de clusters é a base mais sólida para definir linkagem interna. Páginas no mesmo cluster têm mais razão semântica para se linkar do que páginas em clusters diferentes.

Uma vez não é suficiente. O mapa semântico de um site muda à medida que novo conteúdo é publicado, páginas são atualizadas e o foco editorial evolui.

A cadência depende do volume de publicação. Sites que publicam regularmente se beneficiam de uma análise trimestral. Sites mais estáticos, semestralmente já é suficiente para capturar desvios relevantes.

O Screaming Frog com integração de embeddings é o caminho mais direto. Para quem já tem Python no fluxo, sentence-transformers com HDBSCAN resolve o clustering de forma mais granular.

A arquitetura de conteúdo que existe na planilha e a arquitetura semântica que os algoritmos enxergam nem sempre são a mesma coisa. Isso não é um problema a resolver de uma vez por todas, é uma tensão permanente que precisa ser monitorada.

A clusterização vetorial é a ferramenta que torna essa tensão visível. O que fazer com o que aparece no mapa continua sendo trabalho editorial: decidir o que consolidar, o que fortalecer, o que reposicionar e o que simplesmente aceitar como está.