robots.txtとは？SEOでの重要性から設定方法まで解説

SEOやWebサイトの運用を進めるうえで、絶対に欠かせない知識のひとつである「robots.txt」。

robots.txtは、検索エンジンがWebサイトを巡回し、情報を収集するクローラー（ロボットのようなもの）の動きをコントロールするために作成するテキストファイル（.txt）です。

主に、サイトへの過負荷を防ぎ、特定のページをクローラーに巡回させないようにするために使用されます。

ここで、「それってそんなに重要なの？」と感じた方も多いのではないでしょうか？

実は、robots.txtはSEO対策を進めるうえで非常に重要で、適切に設定することでWebサイト全体のSEO評価を高めることが期待できます。

この記事では、robots.txtについての基礎知識から、SEO効果、適切な設定方法、注意点について詳しく解説していきます。

Webサイトの運用やSEOに取り組む方にとって、必須の知識なので、ぜひ記事を最後まで読んで理解を深めてくださいね。

SEO対策にお困りではないですか？

• 狙ったキーワードで検索上位がとれていない
• 戦略的にSEO対策をしたい
• 検索順位改善だけでなく売上・利益にもつなげたい

現在、上記のようなお困りごとがありましたら、SEOで圧倒的な成果を創出してきた我々『シュワット株式会社』へご相談ください。検索順位上昇にとどまらず売上・利益などビジネス的な成果を追求し、戦略設計から施策の実行、インハウス化支援まで、ニーズに合わせた最適なプランで強力にサポートいたします。

＼SEO対策で圧倒的な成果を創出する／

お問い合わせはこちら

シュワット株式会社のSEO対策支援サービスをチェック

• 自社のSEOを診断したい⇒「SEOチェックリストをダウンロードする」
• 専門家に伴走支援してほしい⇒「SEOコンサルティングサービス」
• SEOを学びたい⇒「SEOウェビナー」

robots.txtとは？

robots.txtとは、サイトを巡回するクローラーの動きをコントロールするために作成するテキストファイル（.txt）のことです。

前提知識として、Googleなどの検索エンジンは、「クローラー」という様々なWebサイトを巡回するロボットがページ内容を読み取り、その後にその内容をデータベース上にインデックス（登録）しています。

robots.txtは、この検索エンジンのクローラーに対して、サイトのどのURLにアクセスして良いか、どのURLにアクセスしてはいけないか、を伝えることができます。

robots.txtファイルの使用目的

robots.txtファイルは主に、検索エンジンのクローラーによるサイトへのアクセスを最適化する目的で使用されます。

まず前提として、サイトごとにクローラーが巡回できる量は決まっており、ページ数が多いとクロールされないページが出てきてしまうことがあります。

しかし、検索エンジンに表示させたい重要なページがクロールされないのは避けたいところですよね。

そこで、「robots.txtファイルの出番」です。

robots.txtファイルでクローラーの巡回が不要なページへのアクセスを制限することにより、クロール量に余裕が生まれ、ウェブサイト内の重要なページが優先してクロールされるようになります。

その結果、重要ページが検索エンジンに知ってもらえ、検索結果に表示される可能性が高まるのです。

その他にも、ファイル形式別で以下のような目的で使用されます。

渡邉

特にページ数の多い大規模サイトでは、重要なページへのクロールリソースを確保するために、重要でないページや類似ページのクロールを防ぐために、積極的にrobots.txtが使用されます。

注意点：robots.txtを設定しても検索結果に表示されなくなるわけではない

robots.txtはあくまでクローラーへの「指示」であり、ページを検索結果から完全に非表示にするためのものではない点に注意が必要です。

すでに検索結果に表示（インデックス）されているページを、後からrobots.txtでクロール制限の対象とした場合、クローラーのアクセス自体はなくなりますが、インデックスがなくなるわけではないので、そのページは引き続き検索結果に表示され続けるのです。

したがって、ページを検索結果から完全に非表示にしたい場合は、別の命令文である「noindex」を使用する必要があります。

「noindex」については、下記で詳しく解説しています。

あわせて読みたい

noindexとは？SEOでの重要性や適切な設定方法、注意点まで この記事でわかること noindexのSEO効果とその注意点 noindexの適切な設定方法 この記事の監修者：渡邉 志明（シュワット株式会社 代表取締役） これまで複数のWebメデ…

robots.txtファイルの設置手順

robots.txtファイルの書き方を以下の5つの手順に分けて解説します。

それでは各ステップごとに詳しく見ていきましょう。

1. robots.txt ファイルの作成

robots.txtファイルを作成するには、まずファイル名を「robots.txt」とし、テキスト形式で作成する必要があります。

WordやGoogleドキュメントではなく、「メモ帳」や「テキストエディット」のような純粋なテキストエディタを使用しましょう。

これは、WordやGoogleドキュメントが独自の形式で保存し、クローラーが認識できない文字を含める可能性があるためです。

作成したrobots.txtファイルは、サイトのルートディレクトリに配置する必要があります。

例えば、https://www.example.com/ のサイトであれば、ファイルはhttps://www.example.com/robots.txt に置きます。

作成にあたり、以下のようなポイントも抑えておきましょう。

2. robots.txt の記述方法とサンプルコード

robots.txt は、以下の4つの「グループ」で構成されています。

robots.txtのサンプルコードとしては、以下のようになります。

User-agent: *  
Disallow: /example/
Allow: /example/0001

Sitemap:https://example.com/sitemap.xml

上記のように各グループでルールを定め、クローラーのアクセスを制御するのが特徴です。

user-agentの記述について

user-agentは、どの検索エンジンのクローラーに対してrobots.txtの記述を適用するかを指定する箇所です。

▼すべての検索エンジンのクローラーを対象にする

User-agent: *

▼Googleのクローラーのみを対象にする

User-agent: Googlebot

▼Bingのクローラーのみを対象にする

User-agent: Bingbot

全文記載すると、以下のようになります。

# Googleのクローラーをブロック
User-agent: Googlebot
Disallow: /

# Bingのクローラーをブロック
User-agent: Bingbot
Disallow: /

# 上記以外のすべてのクローラーはブロックしない
# (何も記述しないか、Allowを明記)
User-agent: *
Allow: /

▼各検索エンジンのbot名

Disallowの記述について

Disallowは、どのディレクトリやページのクロールを禁止するかを指定する箇所です。

▼サイト全体へのクロールを禁止する場合

Disallow: /

▼特定のディレクトリへのクロールを禁止する場合

Disallow: /private/

▼特定のページへのクロールを禁止する場合

Disallow: /members/profile/setting.html

動的なURLパラメータがあるページを禁止する場合は、ワイルドカード * を使うのが便利です。

Disallow: /search?*session_id=

上記の記述により、session_id= という文字列を含む search ページのクロールを防ぐことができます。

▼特定のページへのクロールを禁止する場合（例：.pdfファイル）

Disallow: /*.pdf$

Allowの記述について

Allowは、Disallowで大きな範囲を禁止しつつ、その中の一部だけクロールを許可したい場合に使用します。

Allowは、Disallowよりも後に記述します。

User-agent: *
Disallow: /private/
Allow: /private/public/

Sitemapの記述について

サイトの構造をクローラーに効率的に伝えるため、XMLサイトマップ（sitemap.xml）のURLを記述します。

User-agent: *
Disallow: /private/
Allow: /private/public/

Sitemap: https://www.example.com/sitemap.xml

robots.txtファイル内のどこにでも記述できますが、一般的にはファイルの末尾に記述することが多いです。

おさえておきたい記述のポイント・注意点

以下の点を抑えておきましょう。

• クローラーはファイルを上から順に読み込み、最初に一致したものから適用します。
• 大文字と小文字を区別されます。
• 行の先頭に # を付けるとその行はコメントとして無視されます。

サンプルコード

User-agent: *
Disallow: /

User-agent: *
Disallow: /calendar/
Disallow: /junk/
Disallow: /books/fiction/contemporary/

User-agent: Googlebot
Disallow: /*.gif$
Disallow: /*.pdf$

User-agent: Unnecessarybot
Disallow: /
User-agent: *
Allow: /

これらのルールを組み合わせることで、サイト内の特定の部分へのクローラーのアクセスを細かく制御することができます。

3. robots.txt ファイルのアップロード

作成したrobots.txtファイルを、検索エンジンのクローラーがアクセスできるようにサイトに設置しましょう。

ファイルの設置方法は、サイトやサーバーの環境によって異なります。

具体的な手順については、ご利用のホスティング事業者に確認するか、事業者のドキュメントを参照してください。

アップロードする際の手順は以下の通りです。

1. 配置場所：サイトのルートディレクトリに設置します。
   （例：https://www.example.com/robots.txt）
2. ファイル名：ファイル名は「robots.txt」とします。
3. アクセス可能性：アップロード後、ファイルが一般公開されており、Googleを含む検索エンジンのクローラーがアクセスできるか確認します。

アップロードが完了したら、ファイルが正しく設定されているかテストツールなどで確認するようにしましょう。

4. robots.txt のマークアップをテストする

robots.txtファイルを設定したら、その記述が正しく機能するかを確認することが重要です。

Googleでは、主に2つの方法でrobots.txtファイルのマークアップをテストできます。

①Google Search Consoleで確認する方法

サイトにアップロード済みのrobots.txtファイルにアクセスし、エラーや警告を確認できます。

STEP

左側のメニューから「設定」をクリックします。

STEP

「クロール」の項目にある「robots.txt」を探し、「レポートを開く」をクリックします。

STEP

robots.txtの状態を確認する

ステータスがエラーになっている場合は、記述方法やファイル形式に問題があるので、確認し再度作成してみましょう。

再アップロード後に、再クロールをこの画面からリクエストすることができます。

②robots.txtパーサーでプログラム的に確認する方法

Google Search Consoleを使わず、プログラム上で「特定のURLが特定のクローラーに対して許可されているか」を確認する方法もあります。

かつてはGoogle Search Consoleに「robots.txt テスター」というツールがありましたが、2023年12月に廃止されました。

現在は、前述のrobots.txtレポートと「URL検査ツール」で確認するのが基本です。

それに加えて、ローカル環境で細かく検証したい場合は、robots.txtパーサーを使うと便利です。

代表的なパーサーは以下の通りです。

• urllib.robotparser：Python標準ライブラリ。追加インストール不要で手軽に使えます。
• gpyrobotstxt / robotspy：Googleの解析仕様を忠実に再現したPython製パーサー。Googlebotの挙動に近い判定が必要な場合に使います。
• google/robotstxt：Googleが公開している公式パーサー（C++製）。Googlebotが実際に使用しているコードがベースです。

ここでは、追加インストール不要で最も手軽なPython標準ライブラリ urllib.robotparser を使った確認方法を説明します。

import urllib.robotparser

# パーサーを準備し、対象サイトのrobots.txtを読み込む
rp = urllib.robotparser.RobotFileParser()
rp.set_url("https://example.com/robots.txt")
rp.read()

# Googlebotが /private/secret.html にアクセスできるか
print(rp.can_fetch("Googlebot", "https://example.com/private/secret.html"))
# -> Disallow: /private/ に該当すれば False

# すべてのクローラーが公開ページにアクセスできるか
print(rp.can_fetch("*", "https://example.com/public/page.html"))
# -> 禁止ルールに該当しなければ True

動作確認を行い、必要に応じて修正することで、検索エンジンによるサイトの評価やパフォーマンス管理を最適化できます。

注意点

テスト前にrobots.txtファイルが一般公開されているかを確認してください。ブラウザで
「https://(あなたのサイト名).com/robots.txt」にアクセスして確認することができます。

以下のように表示されればOKです。

5. robots.txt ファイルの Google への送信

robots.txt ファイルは、サイトのルートディレクトリにアップロードして正しくテストが完了すれば、Google のクローラーが自動的に検出し、利用を開始します。

ただし、robots.txt ファイルの内容を更新した場合など、Google が保持しているrobots.txt のキャッシュを速やかに更新してほしい場合は、Google に送信するという手順を踏むことで、より早く変更を反映させることができます。

robots.txt ファイルの更新を Google に伝える方法

1. Google Search Console にログインします。
2. 該当するプロパティを選択します。
3. 左メニューの「設定」をクリックします。
4. 「クロール」セクションにある「robots.txt」の「レポートを開く」をクリックします。
5. 右側から「再クロールをリクエスト」をクリックします。

これにより、Google に最新の robots.txt ファイルの情報を伝えることができます。

WordPressサイトでのrobots.txtの設定方法

WordPressでサイトを運用している場合、robots.txtの扱いには特有のポイントがあります。

大きく分けて「仮想robots.txt」と「実ファイル」の2つを理解しておきましょう。

WordPressは「仮想robots.txt」を自動生成する

WordPressは、サーバー上に実ファイルがなくても、自動的に仮想的なrobots.txtを出力します。

初期状態で「自サイトのURL/robots.txt」にアクセスすると、通常は以下のような内容が表示されます。

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

管理画面（/wp-admin/）へのクロールを防ぎつつ、動作に必要な admin-ajax.php だけを許可する、という最低限の設定です。

この仮想ファイルは、サーバーのルートディレクトリに実ファイルのrobots.txtを設置すると、そちらが優先される仕組みです。

SEOプラグインや実ファイルで編集する

仮想robots.txtの内容を変更したい場合、編集方法は主に2通りです。

• SEOプラグインで編集する：「Yoast SEO」「All in One SEO」には、管理画面からrobots.txtを編集できる機能があります。
• 実ファイルを設置する：FTPやサーバーのファイルマネージャーで、ルートディレクトリに robots.txt をアップロードします。

渡邉

「SEO SIMPLE PACK」のような軽量プラグインにはrobots.txt編集機能が付いていないことが多いため、その場合は実ファイルをサーバーに設置して編集します。なお、WordPressでサイトマップのURLをrobots.txtに記載したい場合は、XMLサイトマップのURLを忘れず追記しましょう。

robots.txtを活用する上での注意点は？

robots.txtを活用する際は、以下の点に注意が必要です。

それぞれ見ていきましょう。

反映までにタイムラグがある

robots.txtの設定変更が検索エンジンに反映されるまで時間がかかる場合があります。

すぐに効果を期待しすぎないよう注意しましょう。

渡邉

サイト公開時は特に、管理画面など絶対にクロールさせたくないページをクロールさせないためにも、robots.txtが問題なく設定できているようにしましょう。

クロール拒否はユーザーのアクセスを制限するわけではない

robots.txtでクロールを拒否しても、ユーザーが直接URLを入力した場合は通常通りアクセスできます。

機密情報など見られたくない内容はパスワード保護など別の方法で守るようにしましょう。

重複コンテンツ対策としては不十分

重複コンテンツの問題はrobots.txtだけでは解決できません。

noindexタグや正規化（canonical）設定も併用することが望ましいです。

重複コンテンツの対策方法について詳しくは下記の記事をご覧ください。

あわせて読みたい

重複コンテンツとは？SEOへの悪影響や正しい対策＆防止方法を徹底解説 この記事でわかること 重複コンテンツの概要や基準 重複コンテンツがSEOに与える悪影響 重複コンテンツを発見し対策する方法＆未然に防ぐ方法 この記事の監修者：渡邉 …

小規模サイトでは過度な設定は不要

数千ページ以下の規模であれば、robots.txtによるクロール最適化は必須ではありません。

むしろ、ノウハウの不足している状態でrobots.txtを使用すると、必要なページのインデックスを妨げてしまう場合もあるので、注意しましょう。

渡邉

robots.txtは高度なSEOノウハウが求められるので、不安な場合は弊社のような専門会社にご相談ください。

各サブドメインへ個別のrobots.txtの用意が必要

運用している全てのサブドメインは、それぞれが独立したrobots.txtファイルを持つ必要があります。

例えば、cloudflare.com に専用のファイルがあるだけでなく、blog.cloudflare.com や community.cloudflare.com といった関連する全てのサブドメインにも、個別のrobots.txtファイルを用意しなくてはなりません。

なお、サブディレクトリ（example.com/blog/）には設定できません。

robots.txt設定でよくある3つの失敗

robots.txtは、設定を誤るとSEOに逆効果となる場合があります。

特に多い失敗は、以下の3つです。

以上の注意点を把握したうえでrobots.txtを適切に運用し、サイトのパフォーマンス管理に役立ててください。

robots.txtファイルに関するやや高度な情報

ここまで、robots.txtファイルに関して、SEO担当者やWeb担当者として知っておきたい情報は一通り解説いたしました。

ここでは、中級者・上級者向けにやや高度な情報にも触れていきます。

robots.txtの仕組み

robots.txtとは、HTMLのようなマークアップコードを含まない、純粋なテキスト形式のファイルです。

そのため拡張子は「.txt」となります。robots.txtファイルは、ウェブサイトを構成する他のデータと同様にウェブサーバー上に配置されています。

実際に、どのウェブサイトのrobots.txtも、通常は対象ドメインのURLの末尾に「/robots.txt」を付け加えることで、誰でもその内容を閲覧することが可能です。

サイト内のどこからもリンクが設定されていないため、一般ユーザーがその存在に気づくことは稀ですが、以下のようにページが存在しています。（自社サイトURLの末尾に「/robots.txt」と入れてみましょう。）

検索エンジンなどのクローラーは、サイト内の各ページを読み込む前に、まずこのファイルを参照しにきます。

robots.txtに強制力はない

robots.txtファイルはbotに対してウェブサイト内での動きに関するガイドラインをとなりますが、その指示に技術的な強制力はありません。

Googlebotをはじめ、検索エンジンのクローラーやニュースアグリゲーターのような行儀の良いbotは、ドメイン内の情報を収集する前にrobots.txtを確認し、そこに書かれたルールを遵守します。

その一方で、スクレイピング用のbotや悪意を持ったbotは、このファイルを完全に無視するか、逆にアクセスを禁止されている箇所を特定する手がかりとして悪用することもあります。

悪意のあるbotへの対策は、サーバー側でのアクセス制限や専門的なセキュリティツールの導入が必要です。

robots.txtファイル内に矛盾する指令があった場合

クローラーは、robots.txt内に記述された命令の中で、最も限定的で詳細なものを優先して解釈します。

もしファイル内に互いに矛盾するような指令が存在した場合、botはより具体的なルールの方に従う設計になっています。

robots.txtファイルで使用されているプロトコルファイル

robots.txtファイルは、ウェブサイトとクローラーとの間のコミュニケーションを制御するためのファイルです。

このファイルは、主に以下の2つのプロトコルに基づいています。

このように、robots.txtファイルは、主にロボット排除標準を用いてアクセスの制御を行い、サイトマッププロトコルを用いてサイト構造の情報を提供します。

robots.txtと合わせて知っておきたいmeta robotsによる各種設定

robots.txtと、関連性の高い設定項目として、meta robotsによるnoindexやnofollowの設定方法についても理解しておきましょう。

noindexやnofollowは、以下のようにmeta robotsで<head> セクション内に記述されます。

<meta name=”robots” content=”noindex,nofollow”>

上記の例では、ページをインデックス登録せず、リンクもたどられないように設定しています。

meta robotsはrobots.txtファイルとは異なり、ページ単位で細かい制御が可能なため、用途に応じて使い分けることが重要です。

meta robotsを利用すると、各ページごとに検索エンジンへのクロールやインデックスの制御が可能です。代表的な指定例は以下のとおりです。

robots.txtで生成AI（AIクローラー）のアクセスを制御する方法

ChatGPTやClaude、Geminiなどの生成AIの普及により、robots.txtには新しい論点が加わりました。

それが「AIクローラー（AIボット）の制御」です。

AI各社は、自社AIの学習やAI検索の回答生成のために、独自のクローラーでWeb上の情報を収集しています。

これらのAIクローラーも、Googlebotと同様にrobots.txtでアクセスを制御できます。

ただし制御できるのは、後述の通りルールを守る「行儀の良いbot」に限られます。

「学習用」と「検索・回答用」でクローラーを分けて考える

AIクローラーを制御するうえで、最も重要なのがクローラーの種類の区別です。

AI各社は、目的の異なる2種類のbotを運用しているケースが多くあります。

つまり、コンテンツの無断学習を防ぎたいからとすべてのAIクローラーを一律でブロックすると、AI検索からの集客機会まで失うおそれがあります。

AI検索経由の流入を伸ばすLLMOやAIOの観点からも、目的に応じた使い分けが重要です。

主要なAIクローラーのUser-agent一覧

代表的なAIクローラーのUser-agentは、以下の通りです。

AIクローラーのUser-agent名は新設・変更されることがあります。

最新の正確な情報は、各社の公式ドキュメントで確認するようにしましょう。

AIクローラーをブロックする記述例

特定のAIクローラーをブロックする場合も、通常のrobots.txtと書き方は同じです。

対象のUser-agentに対して Disallow: / を指定します。

# OpenAIの学習用クローラーをブロック
User-agent: GPTBot
Disallow: /

# Anthropic（Claude）の学習用クローラーをブロック
User-agent: ClaudeBot
Disallow: /

# GoogleのAI学習向けクローラーをブロック
User-agent: Google-Extended
Disallow: /

# Common Crawl（多くのAIの学習元）をブロック
User-agent: CCBot
Disallow: /

上記のように、学習用クローラーだけを指定すれば、AI検索の検索・回答用クローラーは許可したまま、学習目的の収集だけを拒否できます。

渡邉

「AIに学習はされたくないが、AI検索からの集客は伸ばしたい」という場合は、学習用botだけをブロックする戦略が有効です。これはLLMO・AIO（AI検索最適化）の観点でも重要な判断になります。

海外の調査では、トラフィック上位のニュースサイトのうち約79%が、robots.txtでAI学習用クローラーをブロックしているという報告もあります。

BuzzStream「Which News Sites Block AI Crawlers in 2025?」

なお、AIクローラーの制御に特化した新しい仕組みとして「llms.txt」も提案されています。

robots.txtとあわせて、下記の記事もぜひご覧ください。

シュワット株式会社のAIマーケティ…

llms.txtとは？LLMOに必要？書き方や最新動向まで | シュワット株式会社 llms.txtの概要から、Googleの公式見解、期待されるメリット・デメリット、具体的な書き方・作り方（実装方法）までを詳しく解説します。

まとめ

robots.txtファイルは、検索エンジンのクローラーに対してサイト内のクロール許可や禁止の指示を出す重要なファイルです。

本記事の要点を振り返っておきましょう。

適切に設定することで、不要なページのクロールを防ぎ、SEO効果の向上につながります。

一方で、robots.txtは高度なSEO・AIOの知識が求められる領域でもあります。

「自社の設定が正しいか不安」「AI時代に合わせた対策を相談したい」という方は、ぜひ一度シュワットにご相談ください。

SEO対策にお困りではないですか？

• 狙ったキーワードで検索上位がとれていない
• 戦略的にSEO対策をしたい
• 検索順位改善だけでなく売上・利益にもつなげたい

現在、上記のようなお困りごとがありましたら、SEOで圧倒的な成果を創出してきた我々『シュワット株式会社』へご相談ください。検索順位上昇にとどまらず売上・利益などビジネス的な成果を追求し、戦略設計から施策の実行、インハウス化支援まで、ニーズに合わせた最適なプランで強力にサポートいたします。

＼SEO対策で圧倒的な成果を創出する／

お問い合わせはこちら

シュワット株式会社のSEO対策支援サービスをチェック

• 自社のSEOを診断したい⇒「SEOチェックリストをダウンロードする」
• 専門家に伴走支援してほしい⇒「SEOコンサルティングサービス」
• SEOを学びたい⇒「SEOウェビナー」