MSDN,我告诉你(中文站)
请教站长兄和各位看官:只允许google和百度抓取,而阻止其他所有蜘蛛抓取,如何写?这样行吗:):User-agent: GooglebotDisallow: /allow: /archive/allow: index.phpallow: sitemap.phpUser-agent: BaiduspiderDisallow: /allow: /archive/allow: index.phpallow: sitemap.phpUser-agent: *Disallow: /
2023年07月17日