2006-07-26から1日間の記事一覧
"robots.txt"で以下のような設定ができないようなので Crawl-delay: 3以下の設定をしました。SetEnvIf User-Agent "Baiduspider+" BadUser deny from env=BadUserhttp://www.baidu.com/search/spider.htmCrawl-delayができるのであればまたお会いしましょう…
"robots.txt"で以下のような設定ができないようなので Crawl-delay: 3以下の設定をしました。SetEnvIf User-Agent "Baiduspider+" BadUser deny from env=BadUserhttp://www.baidu.com/search/spider.htmCrawl-delayができるのであればまたお会いしましょう…