http://4-seo.net/news/story/11049/ An Analysis of the World's Leading robots.txt Files (世界のリーダーたちの robots.txt ファイル)というブログで、世界の上位100万サイトの robots.txt を解析したベン・フレデリクソンさん(Ben Frederickson)の話が出ていました。 フレデリクソンさんは、解析結果から、3つの面白い気づきを紹介してくれています。 G... Sat, 25 Nov 2017 16:48:02 JST ja