国立国会図書館法

・国・地方公共団体等の公的機関がインターネット上で公開している資料を、国立国会図書館が収集できる。（国立国会図書館法第二十五条の三）
・国立国会図書館が法律に基づきインターネット資料を収集することについては、著作権者の許諾を要しない。（著作権法第四十二条の四）
・インターネット上で公開している資料が収集の対象である。（一般に公開されている資料が対象ですので、LANやWANでのみ公開しているものは対象とはなりません。）
・収集対象機関ウェブサーバの負荷軽減のため、ダウンロードの間隔は１秒以上あけて収集を行う。
・。アクセス制限を行っている場合は、次々頁を参考に、国立国会図書館による収集を許可する設定をrobots.txtに追加する必要がある。（国立国会図書館法第二十五条の三第二項に定められた「必要な手段」にあたり、収集の対象となる機関は設定の追加の義務がある。）
(国立国会図書館：国立国会図書館法によるインターネット資料の収集について)
http://warp.da.ndl.go.jp/bulk_info.pdf

Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド-