WEB制作(html・css(スタイルシート))に関する各種メモ書き

robots.txt を設置して検索エンジンクローラーが巡回しないようにする

検索エンジンクローラーに指示を与えるにはサイトのトップに robotx.txt を設置します。

全クローラーを対象にクロールをさせない

(最後に空行を1行入れます)

User-agent: *
Disallow: /

● robots.txt 解析ツール

http://www.searchengineoptimization.jp/robots-txt-analyzer

No.1170
11/01 22:57

edit