Google se recusar a indexar os URLs adicionais criado por vBET

[myandy99]

vBET 3.4.1
vBSEO 3,6
vBulletin 3.6.8
vBSEO Mapa do Site

Eu integrada com vBET Sitemap vBSEO e as URLs geradas no sitemap aumentaram significativamente por causa dos idiomas adicionais. No entanto Google se recusa a índice de a maioria deles na web com a seguinte mensagem enviada para mim no meu Webmaster Tool:


Googlebot encontrou um número extremamente elevado de URLs no seu site: http://xxxx.com/

Googlebot encontrou problemas ao rastrear o seu http://xxxx.com/ site.

Googlebot encontrou um número extremamente grande de links em seu site. Isso pode indicar um problema com a estrutura do seu site URL. Googlebot pode ser desnecessariamente rastrear um grande número de URLs distintas que apontam para conteúdo idêntico ou similar, ou partes rastreamento de seu site, que não se destinam a ser rastreado pelo Googlebot. Como resultado Googlebot pode consumir largura de banda muito mais do que o necessário, ou pode ser completamente incapazes de índice de todo o conteúdo em seu site.

Mais informações sobre este problema

Aqui está uma lista de URLs amostra com problemas em potencial. No entanto, esta lista pode não incluir todos os URLs problemáticos em seu site.

(Nota: as URLs de exemplo listadas são as URLs de língua estrangeira (como http://xxx.com/forums/no/something-something.html) e eles estão trabalhando URLs, NÃO URLs quebrado).


Como resultado, enquanto que com vBET eu submeti URLs muito mais do que antes (661.934) ao Google por meio de sitemap, o Google rejeitou a maioria deles e apenas indexadas 44.506 deles.

A mensagem detalhada que explica por que o Google não indexar esses URLs é semelhante ao seguinte:


URLs não seguidos
Quando testamos uma amostra de URLs do seu Sitemap e constatamos que alguns URLs de redirecionamento para outros locais. Recomendamos que o seu Sitemap conter URLs que apontam para o destino final (o redirecionamento da meta) em vez de redirecionar para outra URL.

Erro de HTTP: 301
URL:
http://xxx.com/forums/sl/blah-blah-blah/314-what-ever-sample.html
Problema detectado em: 18 de agosto de 2011

Google não deve índice mais do meu URLs se não todos? Eu li neste fórum a boas histórias sobre vBET aumentando a URLs indexadas na web, trazendo no tráfego adicional. Isso não aconteceu comigo.

Como corrigir o meu problema?

[kamilkurczak]

Olá,
você pode colar aqui uma mensagem cheia de google? com lista completa de urls errado? se você não deseja colá-lo aqui - você pode PM para mim. Eu preciso verificar estes links notado por google:) graças

[myandy99]

Apenas PM'ed você. Total de 2 PMs porque a mensagem do Google é muito longa. Obrigado

[kamilkurczak]

Olá,
Eu verifiquei os links e eu não notei nenhum urls erradas e redirecionamentos duplos. Você pode colar aqui o conteúdo do arquivo robots.txt?
em segundo lugar - usando ferramentas google chrome (ctrl + shift + j em cromo) notei alguns erros - você pode verificá-lo usng navegador Google Chrome.
(Request ruim 400, imagem não encontrada = 404), você pode verificá-lo.

Vou tentar encontrar por que o Google enviar-lhe essa mensagem.

em segundo lugar. Notei algumas páginas com o dobro lang na url, por exemplo: assim não há problema com redirecionamento. você tem certeza que você integrar vBET com vBSEO corretamente?

[myandy99]

Eu pensei que eu segui as instruções para integrar vBET com vBSEO. O que você acha que eu poderia ter perdido? Eu posso verificar novamente.

fóruns / não pl / / photoplog é para um terceiro partido mod vBulletin e não foi integrado com vBET (não sei como fazê-lo) por isso não estou surpreso ao ver URLs estranho para photoplog sob vBET. Photoplog é instalado na raiz do site não, a raiz do fórum para que a URL realmente deve ser root / qualquer língua / photoplog, não root / fóruns / whatever linguagem / photoplog. Mas de qualquer maneira o Google está reclamando sobre a minha URLs fórum regular sendo demais e problemático.

Este é o meu robots.txt antes de eu receber a mensagem do Google:

User-agent: Slurp

User-agent: *
Disallow: / forums / cron.php
Disallow: / forums / login.php
Disallow: / forums / newreply.php
Disallow: / forums / newthread.php
Disallow: / forums / printthread.php
Disallow: / forums / private.php
Disallow: / forums / profile.php
Disallow: / forums / register.php
Disallow: / forums / report.php
Disallow: / forums / reputation.php
Disallow: / forums / search.php
Disallow: / forums / sendmessage.php
Disallow: / forums / payments.php
Disallow: / forums / cgi-bin /
Disallow: / forums / includes /
Disallow: / forums / living_avatars /
Disallow: / forums / customavatars /
Disallow: / forums / members.php
Disallow: / forums / memberlist.php
Disallow: / companheiro de quarto
Disallow: / companheiro de quarto-notused
Disallow: 3rdparty / /
Disallow: / cgi-bin /
Disallow: / classes /
Disallow: / crons /
Disallow: / funções /
Disallow: import / /
Disallow: / includes /
Disallow: / jscript /
Disallow: licença / /
Disallow: / modules /
Disallow: moderador / /
Disallow: / psystems /
Disallow: / smarty /
Disallow: / temp /
Disallow: / ajax /
Disallow: news.php / /
Disallow: / forums / members /

Sitemap: http://xxxx.com/forums/sitemap_index.xml.gz


Este é o meu robots.txt depois de ter recebido mensagens de Google (que eu adicionei para não permitir / forums / language / membros)


User-agent: Slurp

User-agent: *
Disallow: / forums / cron.php
Disallow: / forums / login.php
Disallow: / forums / newreply.php
Disallow: / forums / newthread.php
Disallow: / forums / printthread.php
Disallow: / forums / private.php
Disallow: / forums / profile.php
Disallow: / forums / register.php
Disallow: / forums / report.php
Disallow: / forums / reputation.php
Disallow: / forums / search.php
Disallow: / forums / sendmessage.php
Disallow: / forums / payments.php
Disallow: / forums / cgi-bin /
Disallow: / forums / includes /
Disallow: / forums / living_avatars /
Disallow: / forums / customavatars /
Disallow: / forums / members.php
Disallow: / forums / memberlist.php
Disallow: / companheiro de quarto
Disallow: / companheiro de quarto-notused
Disallow: 3rdparty / /
Disallow: / cgi-bin /
Disallow: / classes /
Disallow: / crons /
Disallow: / funções /
Disallow: import / /
Disallow: / includes /
Disallow: / jscript /
Disallow: licença / /
Disallow: / modules /
Disallow: moderador / /
Disallow: / psystems /
Disallow: / smarty /
Disallow: / temp /
Disallow: / ajax /
Disallow: news.php / /
Disallow: / forums / members /
Disallow: / forums / af / members /
Disallow: / forums / sq / members /
Disallow: / forums / ar / members /
Disallow: / forums / hy / members /
Disallow: / forums / az / members /
Disallow: / forums / eu / members /
Disallow: / forums / ser / members /
Disallow: / forums / bg / members /
Disallow: / forums / ca / members /
Disallow: / forums / zh-CN / members /
Disallow: / forums / hr / members /
Disallow: / forums / cs / members /
Disallow: / forums / da / members /
Disallow: / forums / nl / members /
Disallow: / forums / en / members /
Disallow: / forums / et / members /
Disallow: / forums / tl / members /
Disallow: / forums / fi / members /
Disallow: / forums / fr / members /
Disallow: / forums / gl / members /
Disallow: / forums / ka / members /
Disallow: / forums / de / members /
Disallow: / forums / el / members /
Disallow: / forums / ht / members /
Disallow: / forums / iw / members /
Disallow: / forums / oi / members /
Disallow: / forums / hu / members /
Disallow: / forums / é / members /
Disallow: / forums / id / members /
Disallow: / forums / ga / members /
Disallow: / forums / it / members /
Disallow: / forums / ja / members /
Disallow: / forums / ko / members /
Disallow: / forums / lv / members /
Disallow: / forums / lt / members /
Disallow: / forums / mk / members /
Disallow: / forums / ms / members /
Disallow: / forums / mt / members /
Disallow: / forums / não / members /
Disallow: / forums / fa / members /
Disallow: / forums / pl / members /
Disallow: / forums / pt / members /
Disallow: / forums / ro / members /
Disallow: / forums / ru / members /
Disallow: / forums / sr / members /
Disallow: / forums / sk / members /
Disallow: / forums / sl / members /
Disallow: / forums / es / members /
Disallow: / forums / sw / members /
Disallow: / forums / sv / members /
Disallow: / forums / zh-TW / members /
Disallow: / forums / th / members /
Disallow: / forums / tr / members /
Disallow: / forums / uk / members /
Disallow: / forums / ur / members /
Disallow: / forums / vi / members /
Disallow: / forums / cy / members /
Disallow: / forums / yi / members /
Disallow: / forums / member.php
Disallow: / forums / af / member.php
Disallow: / forums / sq / member.php
Disallow: / forums / ar / member.php
Disallow: / forums / hy / member.php
Disallow: / forums / az / member.php
Disallow: / forums / eu / member.php
Disallow: / forums / be / member.php
Disallow: / forums bg / / member.php
Disallow: / forums / ca / member.php
Disallow: / forums / zh-CN / member.php
Disallow: / forums / hr / member.php
Disallow: / forums / cs / member.php
Disallow: / forums / da / member.php
Disallow: / forums / nl / member.php
Disallow: / forums / en / member.php
Disallow: / forums / et / member.php
Disallow: / forums / tl / member.php
Disallow: / forums / fi / member.php
Disallow: / forums / fr / member.php
Disallow: / forums / gl / member.php
Disallow: / forums / ka / member.php
Disallow: / forums / de / member.php
Disallow: / forums / el / member.php
Disallow: / forums / ht / member.php
Disallow: / forums / iw / member.php
Disallow: / forums / oi / member.php
Disallow: / forums / hu / member.php
Disallow: / forums / é / member.php
Disallow: / forums / id / member.php
Disallow: / forums / ga / member.php
Disallow: / forums / it / member.php
Disallow: / forums / ja / member.php
Disallow: / forums / ko / member.php
Disallow: / forums / lv / member.php
Disallow: / forums / lt / member.php
Disallow: / forums / mk / member.php
Disallow: / forums / ms / member.php
Disallow: / forums / mt / member.php
Disallow: / forums / não / member.php
Disallow: / forums / fa / member.php
Disallow: / forums / pl / member.php
Disallow: / forums / pt / member.php
Disallow: / forums / ro / member.php
Disallow: / forums / ru / member.php
Disallow: / forums / sr / member.php
Disallow: / forums / sk / member.php
Disallow: / forums / sl / member.php
Disallow: / forums / es / member.php
Disallow: / forums / sw / member.php
Disallow: / forums / sv / member.php
Disallow: / forums / zh-TW / member.php
Disallow: / forums / th / member.php
Disallow: / forums / tr / member.php
Disallow: / forums / uk / member.php
Disallow: / forums / ur / member.php
Disallow: / forums / vi / member.php
Disallow: / forums / cy / member.php
Disallow: / forums / yi / member.php
Disallow: / forums / hy / member.php
Disallow: / forums / az / member.php
Disallow: / forums / eu / member.php
Disallow: / forums / ka / member.php
Disallow: / forums / ur / member.php

Sitemap: http://xxxx.com/forums/sitemap_index.xml.gz

[kamilkurczak]

você pode verificar o nosso arquivo de robôs a partir daqui
http://www.vbenterprisetranslator.com/forum/general-discussions/243-vbet-performance.html # post1178

[vBET]

Oi. Acabei de publicar informações para Kamil de transmitir-me a tua PM. A meu ver o problema é causado por código de dupla linguagem na URL - isso é porque você tem o e-mail do Google - você tem muitos URL com mesmo conteúdo.

Primeiro de tudo - essas ligações não devem ser criados. A causa aqui não pode ser integrada plugins.

Em seguida, mesmo que tais URL é criado vBET supor para saber mais sobre ele e redirecionamento. Redirecionamento não acontece em seu fórum e este é o problema. Eu não sei por que ele não redirecionar - é bug vBET ou por causa de você estiver usando-a não a versão vBulletin oficialmente suportados. vBET 3.x é para vBulletin 3.8, e você estiver usando vBulletin 3.6. Eu preciso verificar se no local. Por favor, PM-me o seu Admin CP e detalhes de acesso FTP.

[myandy99]

Apenas PM'ed você

[vBET]

OK assim que - agora vejo problema real - links para photoplog não deve incluir / forums em tudo. Este foi questão de integração - você não fez qualquer esforço de integração e ligação foi relativa não absoluta para vBET assumiu que ainda é ligação do fórum.

Você não vê como é contribuíram para reclamação do Google, mas eu vejo isso. Cada (a maioria) das ligações incluídas existem traduzido links - cada página traduzida incluídas link quebrado para photoplog (como DOMAIN / forums / pl / photoplog / index.php foi incluído em cada página com tradução polonês). Assim, cada página traduzida incluído link para o conteúdo duplicado, porque sob os links quebrados que você tem photoplog página que inclui o conteúdo da página principal do fórum.

Acabei de adicionar photoplog para URLs ignorado tão vBET não irá gerar tais links quebrados para photoplog anymore. Seria melhor para integrar e tê-lo traduzido também, mas não é coberto pelo suporte gratuito. Por favor, abra novo tópico na seção de integração para ajudar - ainda Vai ser complicado, se possível em tudo, porque você tem que combinado com vBSEO regras - por isso, muito provavelmente, sugestões de integração padrão não será suficiente. Fazendo a integração por nossa equipe de serviços é pago e custa $ 30 (http://www.vbenterprisetranslator.com/integration-service.php).

Assim solução real resolve a questão, mantendo suas páginas photoplog fora do sistema vBET. Links quebrados não serão gerados mais e já reconhecida links quebrados pelo Google será redirecionado para link como:
DOMAIN/forums/pl/photoplog/gallery-view-3.html
será redirecionado para:
DOMAIN/forums/photoplog/gallery-view-3.html

Então, você ainda precisa adicionar htaccess regra que irá redirecionar esses pedidos para:. DOMAIN/photoplog/gallery-view-3.html
Este já está fora de vBET sistema (vBET agora ignora photoplog no seu fórum) - é porque o seu fórum permite tais links quebrados.

Isto deve resolver o problema - não vejo qualquer outras anomalias. Se você fizer isso - por favor, deixe-nos saber onde. Por favor, dedique uma atenção especial para todos os links vão fora de seu diretório forum - verificar se após a tradução desses estão corretas. Estas devem ser absoluta, caso contrário vBET vai vê-lo como parte do conteúdo do fórum e adicionar acompanhamento tradução lá. É possível acompanhar de tradução para páginas fora do diretório do fórum e tradução de apoio lá se é usando o motor gera vBulletin, mas requer a integração - por padrão forum traduz vBET.

Por favor, diga que você precisar de mais ajuda nesta área.

PS.
Mais uma anomalia, mas não relacionadas com vBET - Google mostra vários links para páginas ecards, onde depois de ir lá eu vi o conteúdo da página mesmo depois de redirecionar URL, mas outras, por favor, certifique-se que redirecionam envia cabeçalho apropriado dizer que o conteúdo não existe.

[vBET]

Respondendo à sua pergunta em PM por que você teve de aviso sobre a página que está agora perfeitamente OK.

Razões possíveis:
1. Tinha link para o conteúdo duplicado (para ligar PhotoPost errado que foi em cada página a sua traduzido antes de fazermos a mudança)
2. Quando o Google chegou lá pela primeira vez você pode ter problemas com o Google tradução em si - como quota excedida, ou temporária bloqueado solicitações de saída do seu servidor, ou temporária bloqueada pelo Google Translation API em si (a partir de outra razão que a tradução) - assim se nay daqueles aconteceu quando o Google visitou seu robô NÃO cache ainda página, então robô viu somente o layout em branco com todos os textos (resultado da tradução foi string vazia para cada tradução) - para todas as páginas foi mesmo então.

Não posso dizer que isso aconteceu, mas essas são as possíveis razões que vemos agora. Também vale lembrar que agora, quando o cache está cheio, é menos provável que você irá exceder Tradução Google quota API (é definir a partir de algum tempo - depois que o Google fez o anúncio de que API Tradução será fechado).

Neste exato momento, não vemos qualquer problema com resto de sua URLs. Se você ver qualquer assunto, por favor nos avise, vamos reagir imediatamente para ajudá-lo. Neste momento ele parece estar bom. Precisa de mais ajuda com esta questão? :)

[vBET]

Como você escreveu em PM - neste momento não mais ajuda é necessária aqui. No caso, se você vai precisar de mais ajuda nessa área, por favor, escreva aqui:)