robots.txtやrobots metaタグは、拘束力のない紳士協定です。これらの指示に従うかどうかは、クローラ作成者が決められます。
相手のWebサイトに迷惑をかけないようにするため、クローラーを作成する際には、これらの指示に従うべきである。
なお、上記背景より、セキュリティ的にも悪意を持った人からはクローリングされる事は認識しておかなければならない。
Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド-
- 作者: 加藤耕太
- 出版社/メーカー: 技術評論社
- 発売日: 2016/12/16
- メディア: 大型本
- この商品を含むブログ (2件) を見る