robots.txtで検索エンジンを操作しよう

今日は、7月7日の七夕と言う事でrobots.txt（ロボットテキスト）について書いてみようと思います。
（全く関係ないです）

robots.txtはホームページを巡回してくる検索エンジンロボットに対する物で
主にクロールして欲しくないページやディレクトリを指定するのに使用します。

YahooやGoogleに思うようにインデックスされないサイトで、サイト内のなんらかのエラーが生じて
インデックスを保留されているケースもあります。
robots.txtをルートディレクトリに置いて、不要なページを巡回しない様にすると
不思議とインデックス数が増えていく事もあります。

作成方法はいたって簡単です。

メモ帳を開いて

User-agent: *
Disallow: /abc/
Disallow: /deg.html

この様な形で記載してあげれば良いだけです。
この場合ですと、
abcのディレクトリはインデックスしない
deg.htmlファイルをインデックスしない
と言う感じになります。

・User-agent:の後に半角スペース
・Disallow:の後に半角スペース
・最終行は空白にしておく
・メモ帳のままファイル名をrobots.txtで保存してサーバーにアップする

これだけです。

Googleのウェブマスターツールにrobots.txt検出の項がありますので、
そこでちゃんと伝わっているのかを確認する事が出来ます。

robots.txtを設置していないのにrobots.txt にアクセスできませんと言うエラーが出ている場合は
インデックスを保留されてしまっているので、robots.txtを置いてあげると良いでしょう。

参考リンク

Googleのウェブマスターツールに有料リンク報告フォーム追加

Googleのウェブマスターツールに有料リンクの報告フォームが追加されました。

以下Googleより抜粋

-------------------------------------------------------------------------------------------------

Google の検索結果の品質を維持するためご協力をお願いします。
Google では、ユーザーによりよい検索結果を提供するため、ユーザーと検索エンジンにとって分かりやすい明瞭なコンテンツを作成するようお願いしております。しかし、すべてのウェブ サイトがユーザーを考慮して作られているわけではありません。自身のサイトへの有料リンクという形で PageRank™ を「買おう」とするサイト所有者もいます。リンクの購入による PageRank の向上は、Google の 品質に関するガイドラインに違反します。

Google ではアルゴリズム的手法を含むさまざまな手法により、有料リンクを検出しています。また、ユーザーからのご報告も参考にさせていただいております。リンクの購入や販売を行っているサイトをご存じの場合は、ぜひ下記にご記入の上、お知らせください。送信内容を調査させていただくとともに、お送りいただいたデータを有料リンクの検出アルゴリズムに役立たせていただきます。

-------------------------------------------------------------------------------------------------

有料リンクがどの様な形態で売買されているのか、どの様なリンクが有料リンクなのかを
判断するアルゴリズムを作り出そうと言う事な訳です。

現在でも悪質な物（ページランク向上が目的なだけのリンク）などは、その効果を失っているか
もしくは検索結果を下げるペナルティーを受けています。

通常有料リンクはページランクが高いページとなるわけだが、
ほとんどの高ページランクからのリンクは、link:URLで表示されています。
link:URLで検索した場合に、買ったはずのリンクが表示されて無い場合は
その効果が無いと判断しても良いだろう。

ウェブマスターツール内の被リンクにも含まれてなければ間違い無い。

有料リンクでも、ページランク向上を目的とした物や検索結果を操作するための物でなければ
なんら問題はありません。