Skip to content
  • 可以抓取本页,而且可以顺着本页继续索引别的链接
html
<meta name="ROBOTS" content="INDEX,FOLLOW" />
<meta name="ROBOTS" content="ALL" />
  • 不许抓取本页,但是可以顺着本页抓取索引别的链接
html
<meta name="ROBOTS" content="NOINDEX,FOLLOW" />
  • 可以抓取本页,但是不许顺着本页抓取索引别的链接
html
<meta name="ROBOTS" content="INDEX,NOFOLLOW" />
  • 不许抓取本页,也不许顺着本页抓取索引别的链接
html
<meta name="ROBOTS" content="NOINDEX,NOFOLLOW" />
<meta name="ROBOTS" content="NONE" />