blog 作品検索について サイト検索について ロボット拒否と登録削除

ZDEA 2.0 サイト検索 ロボット「zbot」について

zbot とは?

zbot は ZDEA で開発しているロボット(プログラム)です。自動的にリンクをたどり、ウェブからデータを抽出します。

ZDEA サイト検索はクリエイター分野に特化し、「ロボット型サイト検索」という分野の実現を目指しています。

zbot の目的は?

zbot の目的は ZDEA サイト検索に必要なデータを収集することです。収集したデータはサイトの解析に使用します。

zbot はサーバに異常な負荷をかけますか?

いいえ、zbot の負荷は一人の人間がサイトを訪問するのと同じくらいの負荷です。

ロボット・プログラムの性能の一つに、一秒間にいくつのファイルを処理(ダウンロード)できるか?という基準がありますが、設計上、この値は追求していません。zbot は、かなりゆっくりと動作します。

zbot を拒否するには?

zbot は The Robots Exclusion Protocol に準拠するよう気をつけています。しかし拒否していることを確認するために robots.txt や html ファイルを読む(ダウンロードする)必要があります。zbot が完全に巡回しなくなる訳ではありませんので、ご理解ください。

1. 下記を記入した robots.txt をドメインの直下に設置(保存)してください。サブドメインは別のウェブサイトとして扱います。設置例 http://hoge.example.com/robots.txt

User-agent: zbot
Disallow: /

2. ドメインの直下に robots.txt を設置できない場合、ウェブページにて zbot を拒否することができます。html ファイルの head 要素内に下記をコピー&ペーストしてください。

<meta name="robots" content="noindex,nofollow" />

意図せず登録されてしまった場合は、電子メール にてご連絡ください。

zbot はどこから来るんですか?

zbot は URL の一覧から巡回を始め、リンクをたどりつつ対象サイトを広げます。もっとも古い URL は開発者のブラウザのお気に入りに入れていたものです。

IPA FY2006 2nd Exploratory Software Project © 2006-2007 ZDEA ™