Technical Guide

robots.txtだけ見て、
判断しない。

AI検索のクロール可否を調べる時は、User-agentのルールだけでなく、noindex、canonical、sitemap、ページ自体の公開状態まで切り分けます。

ROBOTS

まず全体ルールを読む。

User-agent: * のAllow / Disallowを確認し、その後に個別User-agentの指定があるかを見ます。意図せず重要ディレクトリを遮断していないか確認します。

INDEX

robots.txtでクロール可能でも、ページにnoindexが設定されていれば別の問題です。クロール制御とインデックス制御を混同しないことが重要です。

CANONICAL

canonicalが意図しないURLを指していないか確認します。www有無、http/https、末尾スラッシュなどの重複整理にも関係します。

SITEMAP

sitemap.xmlに主要ページを載せ、robots.txtからsitemapの場所を示します。サイト内リンクも含め、発見経路を一つに依存しない設計にします。

注意

クローラーを許可すればAI回答に必ず掲載・引用されるわけではありません。クロール可能性は土台の一つです。