AIクローラー｜LLMO用語集

AIクローラーは、インターネット上に公開されている情報を自動で集めるプログラムです。
AIが人間の質問に答えたり自然な文章を作ったりするためには、大量のデータによる学習が欠かせません。
AIクローラーは世界中のウェブサイトを自動で巡回し、ニュースやブログの文章など、AIの学習に必要となるデータを集める役割を持っています。
検索エンジンがウェブサイトを見つけやすくするために動くプログラムとは異なり、AIを開発する企業がAIの学習を進める目的で専用に動かしているプログラムです。

ウェブサイトのサーバーにある「robots.txt」というファイルを編集することで、特定のプログラムからのアクセスをブロックできます。
このファイル内にアクセスを拒否したいAIクローラーの名称を書き込み、データ収集を許可しない指示を記述します。
特定の企業のクローラーだけを指定して防ぐ設定や、現在判明している主要なAIクローラーをまとめてブロックする設定が可能です。

メリットは、自社の情報がAIの回答の元データとして利用され、AIを通じて新たなユーザーに情報が届く可能性がある点です。
出典元として自社サイトのリンクが提示され、ウェブサイトへのアクセス数増加が見込める場合もあります。
デメリットは、自社が作成した独自の文章などが意図しない形でAIの回答文に使われてしまうリスクがある点です。
また、複数のクローラーからアクセスが集中した場合、サーバーの処理能力が圧迫されてサイトの表示速度が低下することもあります。