你的 robots.txt，可能正在擋住 AI
一行多年前設定的規則，就足以讓你完全不出現在 AI 的答案裡。十分鐘可以檢查完。
先給答案：<strong>robots.txt 一定要檢查，llms.txt 則是投入極低、值得順手做的選項。</strong>robots.txt 若不小心封鎖了 GPTBot、ClaudeBot 或 PerplexityBot，你的內容就完全不會進入這些引擎的候選名單，這是最致命也最容易修正的問題。llms.txt 目前尚未有主流引擎正式宣告支援，但檔案小、維護成本低，且能同時作為對內的內容索引，屬於做了沒壞處的項目。
robots.txt 最常見的三個錯誤
第一個錯誤：用萬用字元一次擋掉所有非搜尋引擎的爬蟲。有些資安設定或防爬蟲外掛會產生這類規則，連帶把 AI 爬蟲一起擋掉。
第二個錯誤：把整個內容目錄擋住。常見於誤把 /wp-content/ 或 /uploads/ 全面封鎖，導致圖片與部分內容無法被讀取。正確做法是只封鎖真正不該公開的路徑。
第三個錯誤：測試站的設定被帶到正式站。開發階段常用 Disallow: / 封鎖全站，上線時忘記改回來。這個錯誤會讓整個網站從搜尋與 AI 中消失，而且外觀上完全看不出異常。
檢查方式很簡單：直接在瀏覽器打開你的網域加上 /robots.txt，逐行讀過。不確定某一行的意思，就不要保留它。
主流 AI 爬蟲的名稱與建議設定
目前值得明確放行的爬蟲包含：OpenAI 的 GPTBot、OAI-SearchBot、ChatGPT-User；Anthropic 的 ClaudeBot、anthropic-ai；Perplexity 的 PerplexityBot、Perplexity-User；Google 用於生成式產品的 Google-Extended；以及 Applebot-Extended、CCBot 等。
建議的做法是為每一個爬蟲寫出獨立的群組並明確 Allow: /，而不是只依賴 User-agent: * 的通用規則。原因是：當網站上存在其他限制規則時，明確的具名群組優先序更高，不容易被意外波及。
要特別留意的是，放行代表你的內容可能被用於模型訓練或即時檢索。這是取捨：不放行可以保護內容，但也等於放棄在 AI 答案中出現的機會。建議依內容性質決定——公開的行銷內容應放行，付費或機敏內容本來就不該放在公開網址上。
llms.txt 該寫什麼？怎麼驗證有沒有效
llms.txt 放在網站根目錄，是一份給語言模型閱讀的純文字摘要。實務上建議包含四個部分：
一、一段話說明這個網站是什麼、服務對象是誰。二、公司的可查證事實，例如全銜、統一編號、地址、電話、營業時間。三、主要服務頁面與重點文章的連結與一句話說明。四、更新日期與引用時的標註方式。
驗證方式：直接用瀏覽器開啟你的網域加上 /llms.txt，確認可以正常顯示且內容正確。若要進一步確認，可以把檔案內容貼給生成式 AI，問它「這家公司是做什麼的」，看它能不能正確回答。
要誠實說明的是：目前沒有任何主流引擎正式宣告會讀取 llms.txt，它的效果尚未被證實。之所以仍建議做，是因為成本極低、無副作用，而且整理這份檔案的過程本身，就會逼你把公司的核心事實理清楚——這件事對 GEO 一定有幫助。
「robots.txt 擋錯一行，等於你從所有 AI 的答案裡消失。這是投報率最高的十分鐘。」
十分鐘，確認 AI 讀不讀得到你的網站
甫東科技提供免費的 AI 爬蟲可及性檢測：我們會實際以各家 AI 爬蟲的身分請求你的網站，確認是否被封鎖或限流，並檢查 robots.txt 的每一行設定，附上可直接套用的修正範例。
免費檢測 AI 爬蟲可及性圖片來源：首圖由 Mohammad Rahmani 攝影，取自 Unsplash，依 Unsplash License 免費使用。
