2022年08月16日(火)
robots.txtとは？クロール拒否する方法・書き方・必要性を解説
robots.txtとは、特定のページやフォルダへのクロールを拒否できるテキストファイルのことを指す。
例えば以下のようなコードを書き、サイトのルートディレクトリにアップロードすることで実現できる。
robots.txt
User-agent: Googlebot
Disallow: /sample/
User-agent: *
Allow: /
Sitemap: http://www.example.com/sitemap.xml
検索エンジンに「クロールさせないコンテンツ」を指定することで、重要なコンテンツを優先的にクロールさせることが可能になる。そのため、robots.txtには一定のSEO効果を期待できるといえるだろう。
しかし、Google公式ヘルプを確認すると、Googleは「大規模サイトや、更新頻度が高い中規模サイトでなければ、robots.txtは設置しなくても構わない」と明言している。
なぜならば、数千ページ程度のサイトならばクローラーは効率的に行われるからだ。小規模サイトの場合、無理にrobots.txtを設置しなくてもOKである。
逆に、むやみにrobots.txtを指定することで、SEOに逆効果となる可能性すらある。
author:
バズ部
株式会社ルーシーが運営するSEO対策やWordPressの情報発信をしているマーケティングメディア
Ads
株式会社ルーシーが運営するSEO対策やWordPressの情報発信をしているマーケティングメディアバズ部の記事『robots.txtとは？クロール拒否する方法・書き方・必要性を解説』についてまとめています。
この記事は特にSVG・SEO・Google・動について書かれており、 SEO対策のカテゴリーに分類されます。気になるWebデザインの記事やまとめを見つけたら「本文を読む」をクリックすると、記事配信元のバズ部で全文を閲覧することができます。RSS Sourceの「このサイトの記事一覧」をクリックするとバズ部の記事をまとめて表示することができます。また閲覧数や各SNSのシェア状況を目安に、他の人たちが記事をどのように評価しているのか推測することができます。Webデザインにとって有益な記事をまとめていますので、ぜひリンク先をチェックしてみてください。
0
0
1
3
