百度Li会長「理解得るには時間かかる」–国内サイトのアクセス制限問題に危機感という記事より。
国内サイトのサーバに多大な負荷をかけて問題視されている同社のクローラー「Baiduspider」について、「管理者の方々に理解してもらうには時間がかかるだろう」とコメント
百度のクロールというと、そりゃもう大変なものでした。負荷がかかりまくりで、ネタフルでも対策させて頂いています。
そういう影響もあって、予定されていた3月下旬のサービス開始が遅れるようです。「今年中にサービスを開始する」と少し弱気になっています。
よほど、いろいろなところでブロックされまくりなのでしょうね。
日本のサイト管理者様へのメッセージがウェブサイトに掲載されています。
今後はこの問題について会社全体が真摯に受け止め、日本のインターネット業界におけるルールに従い、このようなことが二度とないように努めていく所存でございます。
具体的にはクロールの頻度を「9回/秒から1回/3秒まで」下げたり、「毎日のクローラー総量をコントロール」するなどしているようです。
とはいえ「中国でバイドゥは知名度が高く、クローリングに関して特に問題はなかった」というのも、ちょっと違うような気もします。
「検索エンジンとしてコンテンツ（の収集）は一番大切」という通り、ここを乗り越えられないと百度としても日本での展開はあり得ません。果たしてどうなるでしょうか。
