みんなの「教えて(疑問・質問)」にみんなで「答える」Q&Aコミュニティ

こんにちはゲストさん。会員登録(無料)して質問・回答してみよう!

締切り済みの質問

「robots.txt による URL 制限」

所有するHP(Googleでドメインを取得し、Google Appsで管理しています)について、Googleのウェブマスターツールを使用し、クローラのアクセスをしたところ、「サイトをクロールした際に検出されたクロールエラー」として、「robots.txt により URL が制限されています」、という結果が4件現われました。

素人なので、その意味するところもよく理解できていないのですが、ここ数日、HPへの訪問者数が大きく減少していることと関連している気がします。
なお、robots.txt により URL が制限されています、という4件のURLは、いずれも所有するHPのメインのサイトそのものです。

本件はどのように判断すべきなのでしょうか。
Google社に質問を出そうにも、同社は利用者からダイレクトに質問を受けることをしておらず、連絡の取りようがありません。

なお、所有するHPへの最大Traffic Sourceは、米国人サイト利用者一般への閲覧情報提供・閲覧マネジメントサービスを提供する米国会社ですが(URLを調べた結果です)、このURLをGoogleの解析機能でチェックしたところ、「このWebサイトは、有害なプログラムを転送するか、オンライン詐欺に関係していることが確認されています。この画面を閉じてください。」という表示が出てきます。
私のHPが、クローラアクセスのクロールエラーで「robots.txt により URL が制限されています」とされているのも、このことと無関係ではないような気がします(私のHPが有害なサイトとして扱われているのではないかと。なおHPは全て英語のサイトです)。

上記の現象をどう解釈したらいいのか、robots.txt によるURL制限を外すにはどうしたらいいのか、またGoogle社に個別質問を出す方法などについて、どなたかお教えいただけませんでしょうか。

ある特定の日を境にHP閲覧者数の極端な減少が発生しており、非常に困っていますので、どうかよろしくお願いいたします。

投稿日時 - 2011-08-30 22:41:00

QNo.6978753

uwx

すぐに回答ほしいです

このQ&Aは役に立ちましたか?

2人が「このQ&Aが役に立った」と投票しています

回答(1)

ANo.1

文章の通りなら、自分で設置したrobots.txtで、
Disallow: / してるって事です。
解除するとクロール制限が無くなります。

後半部分の有害サイト云々の事は何の事かわかりません。

Googleへの個別質問は一切受付していません。
ウェブマスター ヘルプ/フォーラムにて、
たまーに社員さんが回答をくれる程度です。
http://www.google.com/support/forum/p/webmasters?hl=ja

実際のサイトURLを提示して、予測とか無しに詳細に説明しましょう。
または、
素人とか、急ぎなら制作会社やコンサルなどに有料でご相談を。

投稿日時 - 2011-08-31 22:27:24

お礼

ありがとうございます。
私自身はプログラムの知識はないのでクロール制限などできませんので、なぜそのような結果になっているのか不思議です。
Googleの無料ブログを利用しているので制作会社はありませんが、誰か専門家に相談してみようと思います。
なお「有害サイト」云々は、私のブログのtraffic sourceの最大者(いつの間にか他を圧倒しての最大者になっていたようです)が、そのURLを叩くとなぜか有害サイトに指定されています(このサイトも元は有害サイト扱いではなかったようですが)。
ご回答、たいへんありがとうございました。

投稿日時 - 2011-09-01 10:42:42

あなたにオススメの質問