在根目录新建robots.txt文件，设置把需要屏蔽的文件写入到文件夹里面，我们以织梦CMS为例！

设置robots.txt文件

User-agent: *
Disallow: /*?*
Disallow: /*.php$
Disallow: /*.css$
Disallow: /*.js$
Disallow: /data/
Disallow: /include/
Disallow: /plus/
Disallow: /special/
Disallow: /module/
Disallow: /dede/
Disallow: /html/
Disallow: /member/