http://4-seo.net/news/story/7693/ クローラーを制御するために使われるrobot.txt。ややこしそうに感じますが、意味と書き方は、覚えてしまえば実は簡単です。robot.txtの書き方や注意点、テスト方法などをわかりやすく解説します。SEO対策をしていると、ユーザーのためには必要だけど、検索エンジンにはインデックスしたくないページも出てくると思います。 そんなときに必要なのが、robot.txt（ロボットテキスト）によるクローラー... Tue, 10 Nov 2015 16:48:02 JST ja