Linux file命令详解
请教站长兄和各位看官:只允许google和百度抓取,而阻止其他所有蜘蛛抓取,如何写?这样行吗:):User-agent: GooglebotDisallow: /allow: /archive/allow: index.phpallow: sitemap.phpUser-agent: BaiduspiderDisallow: /allow: /archive/allow: index.phpallow: sitemap.phpUser-agent: *Disallow: /
2023年07月11日