http://4-seo.net/news/story/1727/ 【SEO】robots.txtを書く上で気をつけるべき9つの注意点 Tweet ちょっと誤解してた部分もあったので、自分のためにもrobots.txtの書き方と注意点をなるべくわかりやすくまとめてみました。 robots.txtとは？ クローラーに自分のウェブサイトのどこにアクセスしてはいけないかを教えることができるテキストファイル。 robots.txtのファイル名 ファイル名は「robots.... Thu, 09 May 2013 00:48:02 JST ja