GoogleがインデックスするvBETによって作成された追加のURLを拒否する

[myandy99]

vBET 3.4.1
vBSEO 3.6
vBulletin 3.6.8
vBSEOサイトマップ

私は、追加言語のための有意な増加vBSEOのサイトマップとサイトマップに生成されたURLにvBETを統合。しかしGoogleは私のウェブマスターツールで私に送られた次のメッセージが表示されてウェブ上でインデックスそれらのほとんどをすることを拒否：


http://xxxx.com/：Googlebotは、サイト上のURLの非常に高い数を発見

あなたのサイトのhttp://xxxx.com/をクロールしながらGooglebotが問題が発生しました。

Googlebotは、サイトのリンクの非常に大きな数字が発生しました。これは、あなたのサイトのURL構造に問題がある可能性があります。 Googlebotが不必要に同一または類似のコンテンツに個別のURLがそのポイントの多数をクロールするか、Googlebotによりクロールされることを意図されていないあなたのサイトの一部をクロールすることができます。結果としてGooglebotが必要よりもはるかに多くの帯域幅を消費する可能性がある、またはサイト上のコンテンツの完全インデックスすべてにできないことがあります。

この問題の詳細について

ここに潜在的な問題を持つサンプルのURLのリストです。しかし、このリストには、サイト上のすべての問題のあるURLが含まれていない場合があります。

（注：記載されているサンプルのURLは、外国語のURL（例えばhttp://xxx.com/forums/no/something-something.htmlなど）であり、彼らは、壊れたのURLをURLをしないで作業している）。


私はサイトマップを介してGoogleに以前よりもはるかに多くのURL（661934）を提出vBETとしながらその結果、Googleはそれらのほとんどを拒否し、そのうちの44506のインデックスを作成しました。

GoogleがインデックスそれらのURLをしなかった理由を説明する詳細なメッセージは、次のようなものです。


クロールが完了できなかった
サイトマップからURLのサンプルをテストいたしましたところ、一部のURLが他の場所にリダイレクトすることがわかった。私達はあなたのサイトではなく、別のURLにリダイレクトの最終目的地（リダイレクトターゲット）にURLがそのポイントを含んでいることをお勧めします。

HTTPエラー：301
URL：
http://xxx.com/forums/sl/blah-blah-blah/314-what-ever-sample.html
上で検出された問題：2011年8月18日

すべてではない場合、私のURLのインデックスよりもGoogleではないでしょうか？私はこのように追加のトラフィックにもたらす、このフォーラムでvBET、ウェブ上でインデックス付けされたURLを増やす方法について良い話をお読みください。これは私には起きていない。

私の問題を解決するには？

[kamilkurczak]

こんにちは、
あなたはここにGoogleから完全にメッセージを貼り付けることができます？間違ったURLの完全なリストがある？それをここに貼り付けしたくない場合 - あなたは、PM私にすることができます。私はGoogleによって気づかこのリンクをチェックする必要があります：）ありがとう

[myandy99]

ちょうどあなたのPM'ed。合計2 PMはGoogleのメッセージは非常に長いですので。感謝

[kamilkurczak]

こんにちは、
私はあなたのリンクをチェックし、私はあらゆる間違ったURLや二重リダイレクトに気付かなかった。ここにはあなたのrobots.txtファイルの内容を貼り付けることができますか？
第二に - Google Chromeのツールを使用して（Ctrl + Shift +クロームのj）私はいくつかのエラーに気づいた - それがGoogle ChromeブラウザをUSNG確認することができます。
（不正な要求400 = 404を見つけていない画像）あなたはそれをチェックすることができます。

私はGoogleがあなたにそのメッセージを送信する理由を見つけようとします。

第二に。私は、例えば、URLの二重LANGと一部のページに気づいた。そのリダイレクトに問題があります。あなたが正しくvBSEOでvBETを統合すると思っていますか？

[myandy99]

私はvBSEOでvBETを統合するための指示に従ったと思った。私が見逃している可能性をどう思いますか？私は二重チェックすることができます。

フォーラム/なし/ PL / photoplogサードパーティのvBulletinのMODのためではない、それは私がvBET下photoplogための奇妙なURLを見て驚いていないですので、（私はそれを行う方法がわからない）vBETと統合されていません。 URLが実際のルート/どんな言語/ photoplog、rootではなく/フォーラム/どんな言語/ photoplogでなければならないので、Photoplogは、サイトのルートではなく、フォーラムのルートの下にインストールされています。とにかくGoogleは私の定期的なフォーラムのURLが多すぎると問題のあることについて文句を言っている。

私はGoogleのメッセージを受信する前にこれが私のrobots.txtを次のとおりです。

ユーザーエージェント：丸呑み

ユーザーエージェント：*
許可しない：/フォーラム/ cron.phpを
許可しない：/フォーラム/ login.php
許可しない：/フォーラム/ newreply.php
許可しない：/フォーラム/ newthread.php
許可しない：/フォーラム/ printthread.php
許可しない：/フォーラム/ private.php
許可しない：/フォーラム/ profile.php内
許可しない：/フォーラム/ register.php
許可しない：/フォーラム/ report.php
許可しない：/フォーラム/ reputation.php
許可しない：/フォーラム/ search.php
許可しない：/フォーラム/ sendmessage.php
許可しない：/フォーラム/ payments.php
許可しない：/フォーラム/ cgi - binに/
許可しない：/フォーラム/ /含まれています
許可しない：/フォーラム/ living_avatars /
許可しない：/フォーラム/ customavatars /
許可しない：/フォーラム/ members.php
許可しない：/フォーラム/ memberlist.php
許可しない：/ルームメイト
許可しない：/ルームメイト- notused
許可しない：/ 3rdparty /
許可しない：/ cgi - bin /に
許可しない：/クラス/
許可しない：/ cronでは/
のDisallow：/ /機能
許可しない：/インポート/
のDisallow：/ /含まれています
のDisallow：/ / JScriptの
許可しない：/ライセンス/
のDisallow：/ /モジュール
許可しない：/モデレーター/
許可しない：/ psystems /
のDisallow：/ / Smartyの
許可しない：/ TEMP /
許可しない：/ AJAX /
許可しない：/ news.php /
許可しない：/フォーラム/メンバー/

サイトマップ：http://xxxx.com/forums/sitemap_index.xml.gz


私はGoogleのメッセージを受信した後にこれが（私は/フォーラム/言語/メンバーに許可しない追加）私のrobots.txtをです。


ユーザーエージェント：丸呑み

ユーザーエージェント：*
許可しない：/フォーラム/ cron.phpを
許可しない：/フォーラム/ login.php
許可しない：/フォーラム/ newreply.php
許可しない：/フォーラム/ newthread.php
許可しない：/フォーラム/ printthread.php
許可しない：/フォーラム/ private.php
許可しない：/フォーラム/ profile.php内
許可しない：/フォーラム/ register.php
許可しない：/フォーラム/ report.php
許可しない：/フォーラム/ reputation.php
許可しない：/フォーラム/ search.php
許可しない：/フォーラム/ sendmessage.php
許可しない：/フォーラム/ payments.php
許可しない：/フォーラム/ cgi - binに/
許可しない：/フォーラム/ /含まれています
許可しない：/フォーラム/ living_avatars /
許可しない：/フォーラム/ customavatars /
許可しない：/フォーラム/ members.php
許可しない：/フォーラム/ memberlist.php
許可しない：/ルームメイト
許可しない：/ルームメイト- notused
許可しない：/ 3rdparty /
許可しない：/ cgi - bin /に
許可しない：/クラス/
許可しない：/ cronでは/
のDisallow：/ /機能
許可しない：/インポート/
のDisallow：/ /含まれています
のDisallow：/ / JScriptの
許可しない：/ライセンス/
のDisallow：/ /モジュール
許可しない：/モデレーター/
許可しない：/ psystems /
のDisallow：/ / Smartyの
許可しない：/ TEMP /
許可しない：/ AJAX /
許可しない：/ news.php /
許可しない：/フォーラム/メンバー/
許可しない：/フォーラム/ AF /メンバー/
許可しない：/フォーラム/平方メートル/メンバー/
許可しない：/フォーラム/ AR /メンバー/
許可しない：/フォーラム/ HY /メンバー/
許可しない：/フォーラム/ AZ /メンバー/
許可しない：/フォーラム/ EU /メンバー/
のDisallow：/ /フォーラム/もの/メンバー
許可しない：/フォーラム/ BG /メンバー/
許可しない：/フォーラム/ CA /メンバー/
許可しない：/フォーラム/ ZH - CN /メンバー/
許可しない：/フォーラム/ HR /メンバー/
許可しない：/フォーラム/ CS /メンバー/
許可しない：/フォーラム/ DA /メンバー/
許可しない：/フォーラム/ NL /メンバー/
許可しない：/フォーラム/ EN /メンバー/
許可しない：/フォーラム/ら/メンバー/
許可しない：/フォーラム/ TL /メ ンバー/
許可しない：/フォーラム/ FI /メンバー/
許可しない：/フォーラム/ FR /メンバー/
許可しない：/フォーラム/ GL /メンバー/
許可しない：/フォーラム/ KA /メンバー/
許可しない：/フォーラム/デ/メンバー/
許可しない：/フォーラム/エル/メンバー/
許可しない：/フォーラム/ HT /メンバー/
許可しない：/フォーラム/ IW /メンバー/
許可しない：/フォーラム/ハイ/メンバー/
許可しない：/フォーラム/胡/メンバー/
許可しない：/フォーラム/ /メンバー/です。
許可しない：/フォーラム/ ID /メンバー/
許可しない：/フォーラム/ GA /メンバー/
許可しない：/フォーラム/それ/メンバー/
許可しない：/フォーラム/ JA /メンバー/
許可しない：/フォーラム/ KO /メンバー/
許可しない：/フォーラム/ LV /メンバー/
許可しない：/フォーラム/ LT /メンバー/
許可しない：/フォーラム/ MK /メンバー/
許可しない：/フォーラム/ MS /メンバー/
許可しない：/フォーラム/ MT /メンバー/
許可しない：/フォーラム/無し/メンバー/
許可しない：/フォーラム/ FA /メンバー/
許可しない：/フォーラム/ PL /メンバー/
許可しない：/フォーラム/ PT /メンバー/
許可しない：/フォーラム/ RO /メンバー/
許可しない：/フォーラム/ RU /メンバー/
許可しない：/フォーラム/ SR /メンバー/
許可しない：/フォーラム/ SK /メンバー/
許可しない：/フォーラム/ SL /メンバー/
許可しない：/フォーラム/ ES /メンバー/
許可しない：/フォーラム/ SW /メンバー/
許可しない：/フォーラム/ SV /メンバー/
許可しない：/フォーラム/ ZH - TW /メンバー/
のDisallow：/ /フォーラム/目/メンバー
許可しない：/フォーラム/ TR /メンバー/
許可しない：/フォーラム/イギリス/メンバー/
許可しない：/フォーラム/ウル/メンバー/
許可しない：/フォーラム/ viの/メンバー/
許可しない：/フォーラム/ CY /メンバー/
許可しない：/フォーラム/伊/メンバー/
許可しない：/フォーラム/ member.php
許可しない：/フォーラム/ AF / member.php
許可しない：/フォーラム/平方メートル/ member.php
許可しない：/フォーラム/ AR / member.php
許可しない：/フォーラム/ HY / member.php
許可しない：/フォーラム/ AZ / member.php
許可しない：/フォーラム/ EU / member.php
許可しない：/フォーラム/ / member.phpである
許可しない：/フォーラム/ BG / member.php
許可しない：/フォーラム/ CA / member.php
許可しない：/フォーラム/ ZH - CN / member.php
許可しない：/フォーラム/ HR / member.php
許可しない：/フォーラム/ CS / member.php
許可しない：/フォーラム/ DA / member.php
許可しない：/フォーラム/ NL / member.php
許可しない：/フォーラム/ EN / member.php
許可しない：/フォーラム/ ET / member.php
許可しない：/フォーラム/ TL / member.php
を禁止/フォーラム/ FI / member.php
許可しない：/フォーラム/ FR / member.php
許可しない：/フォーラム/ GL / member.php
許可しない：/フォーラム/ KA / member.php
許可しない：/フォーラム/デ/ member.php
許可しない：/フォーラム/エル/ member.php
許可しない：/フォーラム/ HT / member.php
許可しない：/フォーラム/ IW / member.php
許可しない：/フォーラム/ハイ/ member.php
許可しない：/フォーラム/胡/ member.php
許可しない：/フォーラム/ / member.phpです
許可しない：/フォーラム/ ID / member.php
許可しない：/フォーラム/ GA / member.php
許可しない：/フォーラム/それ/ member.php
許可しない：/フォーラム/ JA / member.php
許可しない：/フォーラム/ KO / member.php
許可しない：/フォーラム/ LV / member.php
許可しない：/フォーラム/ LT / member.php
許可しない：/フォーラム/ MK / member.php
許可しない：/フォーラム/ MS / member.php
許可しない：/フォーラム/ MT / member.php
許可しない：/フォーラム/無し/ member.php
許可しない：/フォーラム/ FA / member.php
許可しない：/フォーラム/ PL / member.php
許可しない：/フォーラム/ PT / member.php
許可しない：/フォーラム/ RO / member.php
許可しない：/フォーラム/ RU / member.php
許可しない：/フォーラム/ SR / member.php
許可しない：/フォーラム/ SK / member.php
許可しない：/フォーラム/ SL / member.php
許可しない：/フォーラム/ ES / member.php
許可しない：/フォーラム/ SW / member.php
許可しない：/フォーラム/ SV / member.php
許可しない：/フォーラム/ ZH - TW / member.php
許可しない：/フォーラム/目/ member.php
許可しない：/フォーラム/ TR / member.php
許可しない：/フォーラム/イギリス/ member.php
許可しない：/フォーラム/ UR / member.php
許可しない：/フォーラム/ viの/ member.php
許可しない：/フォーラム/ CY / member.php
許可しない：/フォーラム/伊/ member.php
許可しない：/フォーラム/ HY / member.php
許可しない：/フォーラム/ AZ / member.php
許可しない：/フォーラム/ EU / member.php
許可しない：/フォーラム/ KA / member.php
許可しない：/フォーラム/ UR / member.php

サイトマップ：http://xxxx.com/forums/sitemap_index.xml.gz

[kamilkurczak]

ここから私たちのロボットのファイルを確認することができます
http://www.vbenterprisetranslator.com/forum/general-discussions/243-vbet-performance.html＃post1178

[vBET]

こんにちは。私はちょうど私にあなたのPMを転送するためカミルに情報を掲載。私は問題がURLの中の二重言語のコードが原因で発生しているかを見るように - あなたは多くのURLの同じコンテンツを保有している - あなたがGoogleから電子メールを得た理由です。

すべての最初の - そのようなリンクが作成されるべきではない。原因はここにプラグインを統合できないことができます。

そのようなURLが作成される次の場合でも、vBETはそれについて確認したり、リダイレクトするとします。リダイレクションは、フォーラムで発生していないとこれは問題です。私はそれがリダイレクトされない理由がわからない - それはvBETバグや理由はない正式にサポートされているvBulletinバージョンでそれを使用しているのです。 vBET 3.xはvBulletin 3.8のためであり、あなたはvBulletin 3.6を使用しています。私はそれ所でチェックする必要があります。私にあなたの管理者CPとFTPアクセスの詳細をPMしてください。

[myandy99]

ちょうどあなたのPM'ed

[vBET]

ので[OK]を - 今私が本当の問題を参照してください - photoplogためのリンクがすべてで/フォーラムを含めないでください。これは、統合の問題でした - あなたはすべての統合努力をしなかったとvBETがそれはまだフォーラムのリンクであると仮定ので、リンクは相対的な絶対的ではなかった。

あなたはそれがGoogleの苦情に寄与しているのかわかりませんが、私はそれを参照してください。リンクリンクをそこに翻訳されている含まれているそれぞれの（ほとんど） - 各翻訳ページをphotoplogに壊れたリンクを（DOMAIN /フォーラム/ PL / photoplog / index.phpのようなポーランド語翻訳と各ページに含まれていた）を含む。それらの壊れたリンクの下に、メインフォーラムのページのコンテンツを含むページをphotoplogしているために、各翻訳ページでは、重複したコンテンツへのリンクが含まれています。

私はちょうどvBETはもうphotoplogため、壊れたリンクを生成しないように無視されたURLにphotoplog追加。それは統合し、それはまた、翻訳した方がいいだろう、しかしそれは、無償サポートの対象外となります。ヘルプの統合のセクションで新しいスレッドを開いてください - おそらく標準的な統合のヒントが十分にできなくなるので、 - すべてで可能であればそれはvBSEOルールと組み合わせているので、まだそれは、トリッキーになります。私達のスタッフによって統合を行うと、サービスを支払い、それが$ 30（http://www.vbenterprisetranslator.com/integration-service.phpを）コストである。

ので、実際の解決策はvBETシステムのごphotoplogページを省くことで問題を解決します。リンク切れはもう生成されませんし、Googleで既に認識され、リンク切れは、同じようにリンクできるようにリダイレクトされます。
DOMAIN/forums/pl/photoplog/gallery-view-3.html
にリダイレクトされます。
DOMAIN/forums/photoplog/gallery-view-3.html

だからあなたはまだ追加する必要があるためこのような要求をリダイレクトするhtaccessのルール：。DOMAIN/photoplog/gallery-view-3.htmlは
これはvBETシステム（vBETがあなたのフォーラムでphotoplog無視）からすでに出ています - あなたのフォーラムが、壊れたリンクを可能にするため、それがです。

これは、問題を解決する必要があります - 私は、他の異常が表示されません。これを行うと - 私たちはどこにお知らせください。あなたのフォーラムのディレクトリの外部に向かうすべてのリンクのための特別な注意を行ってください - チェックは、それらが正しいことを翻訳後に行います。それらは絶対でなければならない、そうでなければvBETは、フォーラムの内容の一部のように表示され、そこに翻訳のトラッキングを追加。それはvBulletinのエンジンを使用して生成するかどうかそこにフォーラムのディレクトリとサポートの翻訳外のページに翻訳を追跡することが可能ですが、それは統合が必要です - デフォルトのvBETの変換のフォーラムで。

この地域でより多くの助けを必要とする何を教えてください。

PS。
vBETに関連する1つ以上の異常ではなく、が - そこに行くの後、私はリダイレクトした後、他のURLに同じページの内容を見たところ、Googleが、ページをeカードへのいくつかのリンクを表示、リダイレクトが存在するかその内容を伝える適切なヘッダを送信することを確認してください。

[vBET]

ここで完全にOKであるページを警告していた理由PMであなたの質問に答える。

考えられる理由：
1。それは、重複コンテンツ（我々が変更を加えた前に、各翻訳済みのページ上にあった間違ったphotopostリンクへ）へのリンクを持っていた
2。いや、それらのが発生した場合など - を超えたクォータ、またはあなたのサーバから一時的にブロックされる送信要求のような、または一時的なGoogleの翻訳API自体（翻訳以外の理由から）によってブロックさ - Googleは、そこには、Googleの翻訳自体に問題があることが初めて来たときGoogleはロボットがロボットがすべてのテキストを空白（翻訳結果は、各変換のための空の文字列だった）とレイアウトだけを見てから、キャッシュされていないページでは訪問したとき - そのすべてのページでは、その後、同じでした。

言うことができないそれは起こったが、それらは私たちが今見られる理由ですか。また、今すぐあなたのキャッシュがいっぱいになるときには、Googleの翻訳APIクォータを（ - Googleが翻訳APIがクローズされることをアナウンスした後にそれはある時点から設定されている）を超えないことが少ない可能性であることに注意してください。

この瞬間にあるため、URLの残りの部分に関する問題が表示されません。何か問題が表示された場合、我々はあなたを助けるために即座に反応する私たちに知らせてください。現時点ではそれが正常に見える。この問題でより多くの助けが必要ですか？ ：）

[vBET]

あなたがPMに書いたように - この時点ではより多くのヘルプはここで必要とされる。この地域でより多くの助けを必要とする場合のケースでは、ちょうどここに書き込みしてください。）