Por uma série de razões, os motores de busca não indexam todas as páginas de um site ou, pelo contrário, adicionam páginas indesejadas ao índice. Como resultado, é quase impossível encontrar um site que tenha o mesmo número de páginas no Yandex e no Google.

Se a discrepância não ultrapassar 10%, nem todos prestam atenção nisso. Mas esta posição é válida para sites de mídia e informação, quando a perda de uma pequena parte das páginas não afeta o tráfego geral. Mas para lojas online e outros sites comerciais, a ausência de páginas de produtos na busca (mesmo que uma em cada dez) é uma perda de receita.

Portanto, é importante verificar a indexação das páginas no Yandex e no Google pelo menos uma vez por mês, comparar os resultados, identificar quais páginas estão faltando na busca e tomar medidas.

Problema com monitoramento de indexação

Visualizar páginas indexadas não é difícil. Isso pode ser feito enviando relatórios em painéis para webmasters:

(“Indexação” / “Páginas em busca” / “Todas as páginas” / “Baixar tabela XLS/CSV”);

Capacidades da ferramenta:

verificação simultânea de páginas indexadas em Yandex e Google (ou em um PS);
a capacidade de verificar todos os URLs do site de uma só vez;
Não há limite para o número de URLs.

Peculiaridades:

trabalhe “na nuvem” - não há necessidade de baixar e instalar software ou plugins;
upload de relatórios em formato XLSX;
notificação por e-mail sobre o término da coleta de dados;
armazenamento de relatórios por tempo ilimitado no servidor PromoPult.

É muito importante que todas as páginas do seu site estejam indexadas nos motores de busca (Yandex, Google, etc.).

Em primeiro lugar, se a página não estiver no índice, as pessoas não conseguirão encontrá-la e você perderá tempo (e possivelmente dinheiro) na sua criação, conteúdo e design. Cada página do índice é uma fonte de visitantes.
Em segundo lugar, se uma página não estiver no índice, isso pode indicar problemas técnicos no site, como conteúdo duplicado, falhas no site ou na hospedagem.
Em terceiro lugar, esta página pode desempenhar um papel técnico, por exemplo, participar num esquema de links (ou conter links pagos pelos quais você não será pago se a página não estiver no índice).

Trabalhando com clientes, encontrei repetidamente o fato de que, devido a problemas de indexação, havia posições ruins. Este é um problema técnico que costumo corrigir no primeiro mês de cooperação, devido ao qual há um aumento notável de visitantes e vagas já a partir do 2º mês.

A seguir considerarei formas manuais e automatizadas de verificar a indexação de páginas no Yandex e no Google. Eu vou te mostrar como verificar a indexação do site em geral e cada página separadamente.

Como descobrir o número de páginas de um site

Isso pode ser feito de várias maneiras:

Agora que sabemos o número real de páginas, precisamos verificar quantas delas estão indexadas no Yandex e no Google

Vemos a indexação do site como um todo

Neste caso descobrimos Quantas páginas do site estão indexadas no mecanismo de busca?. O que isso nos dá? Conhecendo a quantidade real de páginas do site, podemos comparar se ela corresponde à quantidade de páginas indexadas. E se corresponder, então está tudo em ordem, caso contrário, você precisa descobrir o problema e descobrir quais páginas estão faltando (ou quais páginas estão duplicadas).

Indexação de sites em Yandex

Várias maneiras.

Como você pode ver, os dados são um pouco diferentes. Isso se deve ao fato de que o design url:your-site mostra não apenas páginas, mas outros tipos de arquivos (doc, xls, jpg, etc.). O webmaster mostra exatamente o número de páginas.

Indexação de sites no Google

Aqui, semelhantemente ao Yandex, existem 2 métodos:

Usando manualmente o site:your site build. O efeito será aproximadamente o mesmo do Yandex.
Usando as Ferramentas do Google para webmasters https://www.google.com/webmasters/(análogo ao Yandex.Webmaster)

métodos automáticos

O que vem a seguir

Agora que sabemos quantas páginas reais estão indexadas, pode haver 3 situações:

O número de páginas nos motores de busca e no site é o mesmo. Esta é a opção ideal, significa que está tudo bem com o site.
O número de páginas indexadas é menor. Isso significa que há problemas com o site (o problema mais comum é o conteúdo não informativo ou não exclusivo)
O número de páginas indexadas é maior. Provavelmente você tem problemas com a duplicação de páginas, ou seja, uma página pode ser acessada em vários endereços. Isso é ruim para a promoção, porque... O peso estático da página é desfocado e além disso existem muitas páginas com conteúdo repetido.

Para diagnosticar melhor o site, precisaremos descobrir quais páginas estão indexadas com precisão e quais não estão incluídas no índice.

Como verificar a indexação de uma página

Podemos precisar disso quando quisermos verificar uma página específica do nosso site (por exemplo, publicada recentemente) ou uma página do site de outra pessoa (por exemplo, onde compramos um link e estamos aguardando que ele seja indexado)

Como verificar a indexação de todas as páginas individualmente

Neste caso, verificaremos todas as páginas do site para indexação de uma só vez e como resultado descobriremos Quais páginas específicas não são indexadas no mecanismo de busca?.

Aqui precisamos não apenas saber o número de páginas reais do site, mas também a lista de endereços dessas páginas (seus URLs). Esta é provavelmente a coisa mais difícil neste artigo. Parece que recebemos uma lista de páginas quando geramos o mapa do site, mas os endereços lá não estão contidos na forma pura e você precisa trabalhar com algum tipo de programa de processamento de dados para extraí-los. Portanto, usaremos outro programa.

Como obter uma lista de todas as páginas de um site

Antes de coletar links, você precisa configurar o parâmetro Excluir Padrões. Isso é feito para excluir links desnecessários durante a coleta, por exemplo, no meu caso, ao coletar muitos endereços como: https://site/prodvizhenie/kak-prodvigayut-sajjty.html? responder paracom=324#respond, que aponta para um comentário na página. E eu só preciso do endereço da página. Portanto, configurei a exclusão de endereços usando a máscara *replytocom*:

A seguir, começamos a coletar urls e quando o programa terminar de coletá-los, vamos até a aba Yahoo Map / Text e copiamos os endereços de lá (O botão salvar não funciona, pois estamos usando versão gratuita programas)

Agora temos os endereços de todas as páginas.

Como verificar a indexação da página automaticamente

Tudo é simples aqui. Após iniciar o programa, adicione a lista de URLs do seu site coletada na última etapa e adicione-as à lista de URLs de origem. O programa permite que você verifique a indexação no Yandex, Google e Rambler, selecione o mecanismo de busca desejado e execute a verificação:

Depois de receber uma lista de páginas que não foram incluídas no índice, você precisa entender por que isso aconteceu. Se tudo estiver em ordem com a página, para que ela seja incluída no índice, você pode adquirir links para ela ou vários retuítes de contas atualizadas.

Conclusão

A capacidade de verificar a indexação das páginas do seu site permitirá que você trabalhe de forma mais produtiva com os mecanismos de busca, bem como identifique problemas existentes no site.

Como você pode descobrir rapidamente se uma página que é importante para você está incluída no índice do mecanismo de pesquisa? E em geral, quantas páginas de um site são “vistas” pelos motores de busca? Neste post, descrevi os métodos que os especialistas em SEO usam com mais frequência e preparei um bônus para os leitores.

Ao indexar uma página, o robô do mecanismo de busca adiciona informações sobre o site ao banco de dados. Outras pesquisas ocorrem em páginas indexadas. Não confunda indexação e rastreamento.

Um robô pode rastrear todo o site rapidamente. E adicionar ao índice é lento, não adicionando algumas páginas ou removendo páginas do índice.

Quer que todas as páginas do seu site sejam indexadas rapidamente? Aconselharemos sobre a estratégia ideal de promoção de SEO:

1. Verifique a indexação no painel para webmasters

Este é um método de verificação básico para um webmaster ou proprietário de site.

Google. Você precisa ir para Console de pesquisa e na guia “Índice do Google”, selecione “Status da indexação”.

Yandex. Passamos pela autorização no Yandex.Passport, vamos ao Yandex.Webmaster e seguimos o caminho “Indexação de Sites” - “Páginas em Pesquisa”. Outra opção: “Indexação de Sites” - “Histórico” - “Páginas em Busca”. Aqui você pode ver a dinâmica das mudanças no número de páginas da pesquisa.

Para usar este método, você deve ter um certo nível de acesso ao painel do webmaster. Um exemplo de boa indexação de sites. O número de páginas de qualidade está crescendo e elas estão sendo adicionadas ao índice.
Os problemas de indexação são assim:

A captura de tela mostra um site fechado para indexação no arquivo robots.txt

Às vezes, você precisa impedir que páginas de sites ou links colocados neles apareçam nos resultados de pesquisa. Você pode ocultar o conteúdo do site da indexação usando o arquivo robots.txt, marcação HTML ou autorização no site.

Proibição de indexar um site, seção ou página

Se algumas páginas ou seções do site não devem ser indexadas (por exemplo, com informações proprietárias ou confidenciais), limite o acesso a elas das seguintes maneiras:

Use autorização no site. Recomendamos este método para ocultar a página principal de um site da indexação. Se página inicialé proibido no arquivo robots.txt ou usando a meta tag noindex, mas os links levam a ele, a página pode acabar nos resultados da pesquisa.

Proibindo a indexação do conteúdo da página

Ocultar parte do texto da página da indexação

No código HTML da página, adicione o elemento noindex. Por exemplo:

O elemento não é sensível ao aninhamento - ele pode estar localizado em qualquer lugar do código HTML da página. Se precisar tornar o código do site válido, você pode usar uma tag no seguinte formato:

texto a ser impedido de ser indexadoOcultar um link em uma página da indexação

No código HTML da página, adicione o atributo ao elemento a. Por exemplo:

O atributo funciona de forma semelhante à diretiva nofollow na meta tag robots, mas se aplica apenas ao link para o qual é especificado.

Recentemente, no trabalho, me deparei com uma tarefa em que era necessário verificar um grande número de páginas para indexação no Yandex e no Google. Você pode facilmente usar serviços pagos (por exemplo, Topvisor), que fornecerão todas as informações em bela vista. Ou alguns serviços que permitem verificar apenas 10 páginas gratuitamente, mas pode haver muitas dessas páginas, e os serviços pagos podem custar uma boa quantia. Você pode fazer tudo isso de graça, mas para isso precisamos do Kay Collector.

Em primeiro lugar precisaremos preparar links, pois para cada PS precisamos de comandos diferentes.

Verificação de link em massa no Yandex

Para fazer check-in no Yandex, você precisa preparar uma lista de links no seguinte formato:

hospedar:zamal.info/poleznye-seo-servisy/ | url: zamal.info/poleznye-seo-servisy/

hospedar:zamal.info/category/seo/| url:zamal.info/category/seo/

Verificação de links em massa no Google

No Google tudo será um pouco mais simples:

site:zamal.info/poleznye-seo-servisy/

site:zamal.info/category/seo/

Para que servem esses comandos?

Muitos podem perguntar, por que não apenas inserir o endereço do link, pois ele mostrará imediatamente uma solicitação vazia ou este link. Infelizmente, não funcionará dessa maneira. Sim, em alguns casos isso funcionará. Mas em outros, o Yandex pode facilmente mostrar outros URLs que não estão relacionados ao que inserimos. E o Kay Collector nos dará a informação de que sua página está no índice, embora não seja o caso.

Como fazer links de forma tão massiva?

Verificando a indexação da página usando o Key Collector

Depois de coletar 2 listas separadas (ou uma para fazer check-in em um PS específico), abra o Key Collector. Vamos criar um projeto. Vamos às configurações - análise e no campo “excluir caracteres” e “substituir caracteres por espaço”, exclua tudo o que está lá e salve.

Quanto tempo leva o processo?

Tudo isso depende do número de links que estão sendo verificados. Levei cerca de 12 horas para verificar 10 mil páginas

Configurando a exportação

Enquanto o processo de verificação está em andamento, você pode configurar a exportação imediatamente. Vá para configurações - exportar. Na parte inferior, coloque uma marca de seleção apenas acima de “Frase” e “Posição” ou “Posição [G]”. Após a conclusão do processo, carregue tudo em um arquivo xls (clique no ícone verde no canto superior esquerdo).

Vamos ver o resultado

Como resultado, obtemos uma tabela com duas colunas, que indica a página e a posição.

1 – no índice

-1 – não está no índice

Em seguida, podemos simplesmente filtrar as páginas não indexadas e enviá-las para novo rastreamento (se houver poucas delas) ou criar um mapa do site separado para elas e também enviá-las para novo rastreamento (adicionando-o ao webmaster).

Medições