A. 针对网站设置的robots.txt文件可以忽略其中的规则

B. 爬虫技术本身是中性的,爬取内容需要遵守相关的法律法规,并且避免对服务器造成太大压力

C. 针对网页的爬取频率应该设置地越快越好

D. 爬虫对于网站不公开的数据也可以进行爬取