# # www.see-say.com # 按照robots.txt的标准写法,规定一些不允许爬虫爬的页面或目录。 # robots.txt 的写法参照 # ----------------------------------------------------------------------------- User-agent: * Disallow: /a1/ Disallow: /a2/ Disallow: /a3/ Disallow: /admin/ Disallow: /dx1/ Disallow: /shboto/ Disallow: /vip/ Disallow: /bbs/ Disallow: /404.htm Disallow: /?action-* Disallow: /viewcomment.asp?* Disallow: /?viewnews-* Disallow: /action-* Disallow: /category-* Disallow: /space.php?* Disallow: /news_view-* Disallow: /portal.php?* Disallow: /action-model-name* Disallow: /vip.asp #站点地图 Sitemap: http://www.see-say.com/sitemap.xml