クローラーを制御するために使われるrobot.txt。ややこしそうに感じますが、意味と書き方は、覚えてしまえば実は簡単です。robot.txtの書き方や注意点、テスト方法などをわかりやすく解説します。SEO対策をしていると、ユーザーのためには必要だけど、検索エンジンにはインデックスしたくないページも出てくると思います。 そんなときに必要なのが、robot.txt（ロボットテキスト）によるクローラー...
Search results for robottxt
« previous1 next »
