実は間違っていた robots.txt の設定

web サイトを運営していると、まとわりついてくるのが robots.txt というファイル。古来から色々と設定はできる...