P109 robots.txtとrobots metaタグ

robots.txtやrobots metaタグは、拘束力のない紳士協定です。これらの指示に従うかどうかは、クローラ作成者が決められます。
相手のWebサイトに迷惑をかけないようにするため、クローラーを作成する際には、これらの指示に従うべきである。

なお、上記背景より、セキュリティ的にも悪意を持った人からはクローリングされる事は認識しておかなければならない。