2022年08月16日(火)

robots.txtとは？クロール拒否する方法・書き方・必要性を解説

• 0
• 0
• 1
• 3

robots.txtとは、特定のページやフォルダへのクロールを拒否できるテキストファイルのことを指す。

例えば以下のようなコードを書き、サイトのルートディレクトリにアップロードすることで実現できる。

robots.txt

User-agent: Googlebot

Disallow: /sample/

User-agent: *

Allow: /

Sitemap: http://www.example.com/sitemap.xml

検索エンジンに「クロールさせないコンテンツ」を指定することで、重要なコンテンツを優先的にクロールさせることが可能になる。そのため、robots.txtには一定のSEO効果を期待できるといえるだろう。

しかし、Google公式ヘルプを確認すると、Googleは「大規模サイトや、更新頻度が高い中規模サイトでなければ、robots.txtは設置しなくても構わない」と明言している。

なぜならば、数千ページ程度のサイトならばクローラーは効率的に行われるからだ。小規模サイトの場合、無理にrobots.txtを設置しなくてもOKである。

逆に、むやみにrobots.txtを指定することで、SEOに逆効果となる可能性すらある。