100害あって一利なしのクローラ対策

googlebot以外の検索サイトのクローラは100害あって一利なしですが、悲しいかなその一利に望みを託してしまうサイト運営者は多いはず。(私もその一人です)

ガイドミーでは10万件近くのニュース記事を抱えているため、bingbotの嫌がらせとも思える集中クローリングには、ブロックするまでの勇気もなく、途方に暮れておりました。

最近になって、googleのwebマスタツールとそっくり同じものをMicrosoftも提供するようになりました。

bingウェブマスター

googleパクリでjsの動きがおかしい、うんこツールですが、クローラのアクセス制御が出来るようなので登録後、設定してみました。

うんこちゃん頑張ってくれ~

カテゴリー: 技術関連 パーマリンク