Yahooのロボット型検索エンジンがGoogleからYSTに変わって、いろいろと調査
をしているのですが、どうしてもわからないことがあります。それはページが
どうすれば登録されるか、です。

ロボット型検索エンジンのページ取得(クロール)と、検索結果への反映(イン
デックス)の仕組みは、下記の様になっています。
1 検索対象になっている(インデックス済)ページの内容を取得する(クロール)
2 前回と比較し、変更があった場合は検索結果を変更する(再インデックス)
3 そのページのリンクをたどり、新たなページを取得する(クロール)
4 検索結果に反映させ、新たなページも検索対象とする(インデックス)

1と2はサーバーのアクセスログと検索結果を見て大体のタイミングや更新頻度
はわかるようになります。ところが、3と4に関しては一ヶ月以上たった今でも
わかりません。一ヶ月前の同日に公開したページで、同じところから被リンク
があるページの例では片方は検索対象となり、片方は未だに検索対象になって
いないというものもあります。確認したところ3のステップまでは行っています
が、検索対象にはなっていません。どのような基準でこれが決まっているのか
が全くわからない状態です。

実際に保守契約をしているお客さんや自社運営サイトのインデックス状況を調
べてみました。やり方は簡単です。

http://www.12no3.com/aaa.htm がインデックスされているか調べたい場合は、
Yahoo!の検索を行う際に入力ボックスの頭に「url:」とURLを入れます
（url:http://www.12no3.com/aaa.htm）。もし検索対象となっていれば「ペー
ジとの一致 (1件) 」と表示され、登録されたページが出てきます。

もし検索対象となっていない場合は「カテゴリ・サイト・ページ検索で一致す
る情報はありませんでした。」というメッセージが出てきます。これを自分の
サイトの全てのページに対して行います（実際はスクリプトを作って、自動的
に登録状況を把握しました）。サイトによっては200ページを超えるところも
あるし、10ページ程度のサイトもあります。結果はインデックス率70～90%と
いう数字でした。ちなみに、Googleはほとんどのサイトが100%です。

インデックスされないページは、検索エンジンの結果には表示されないため、
サイト内からしか移動できません。これが重要ページであった場合は、企業に
とってかなりの痛手となってしまいます。ファイル名を変えて新規ページに見
せたり、外部サイトからリンクを張ってみたりして試行錯誤しておりますが、
今のところ解決には至っていません。

せっかくのページが検索されないと思うと悔しくなってしまいます。みなさん
も自社サイトのページがどれぐらいYahooの検索対象となっているかチェック
してみてください。