关于众多公共网站或平台上的robots.txt文件，正确的描述是（ ）。

A、robots.txt每个网站都有呈现给访问者;
B、作为数据爬取者，不必要关注robots.txt声明的内容;
C、每个网站或平台的robots.txt文件都是相同的;
D、表明该网站或平台中不想被spider访问的部分，或者指定搜索引擎只收录指定的内容