UrsaKit LogoUrsaKit

robots.txt 產生器

在瀏覽器產生 robots.txt：逐個爬蟲設定 Allow 與 Disallow、crawl-delay、sitemap，並內置阻擋 AI 爬蟲的預設。

爬蟲規則

規則組 1
選填設定

robots.txt 輸出

輸入規則並產生 robots.txt。

robots.txt 在控制什麼

robots.txt 是放在網域根目錄的純文字檔，用來告訴爬蟲哪些路徑可以抓取。它不是安全機制——不理會它的爬蟲照樣能讀取公開網址——但主流搜尋引擎與多數 AI 爬蟲在抓取前都會先讀這個檔案。

檔案由一個個群組組成。每個群組以 User-agent 開頭，後面跟著只適用於這些爬蟲的 Allow 與 Disallow 規則。當兩條規則都符合某個網址時，比對長度較長的那條勝出，所以可以在一整個被擋的目錄裡，用更精確的 Allow 開一個例外。

如何產生 robots.txt

  1. 選一個預設（全部允許、全部禁止、阻擋 AI 爬蟲），或從預設群組開始手動修改。
  2. 在每個群組設定 user-agent，並一行一個列出要 Allow 或 Disallow 的路徑。
  3. 視需要加上 crawl-delay 與 sitemap 的完整網址。
  4. 按「產生 robots.txt」，下載後上傳到網域根目錄，讓 /robots.txt 能回應這份檔案。

robots.txt 範例

一般公開網站

User-agent: *，不填 Allow / Disallow，加上 Sitemap
User-agent: * 與空的 Disallow 行，再接一條 Sitemap，代表全部可抓取

測試環境

「全部禁止」預設
User-agent: * 與 Disallow: /，整個網域都不進搜尋結果

阻擋 AI 爬蟲

「阻擋 AI 爬蟲」預設
六個群組，分別是 GPTBot、CCBot、Google-Extended、anthropic-ai、ClaudeBot、PerplexityBot，各自 Disallow: /

UrsaKit 與其他 robots.txt 工具比較

比較項目UrsaKitsmallseotoolstechnicalseo手寫
價格免費，免註冊免費，含廣告免費免費
執行位置你的瀏覽器對方伺服器對方伺服器你的編輯器
逐爬蟲路徑規則有僅全站允許/拒絕是驗證器不是產生器手動
AI 爬蟲預設有，六個無無手動
路徑正規化有，自動補斜線無無手動
網上抓取測試無，只輸出靜態檔無有無
常見問題

常見問題

這個 robots.txt 產生器要收費嗎？

不用。產生、複製與下載都免費，免註冊也沒有次數限制。

我的資料會被上傳嗎？

不會。檔案在瀏覽器內以 JavaScript 組出，你填的路徑與 sitemap 網址不會離開裝置。

Allow 與 Disallow 同時符合時誰優先？

比對長度較長的那條勝出。因此可以用較長的 Allow: /admin/public/ 在一整包 Disallow: /admin/ 裡開例外。

robots.txt 真的擋得住 AI 爬蟲嗎？

對願意遵守的爬蟲有效，目前包含 GPTBot、CCBot、Google-Extended、Anthropic 與 Perplexity。它是請求而非技術封鎖，不遵守的爬蟲仍能抓取公開頁面。

Sitemap 要寫在這裡嗎？

建議要，這是慣例位置。一行一個完整網址，每行輸出一條 Sitemap；也可以在 Search Console 直接提交。

新檔案多久會生效？

爬蟲通常一天內會重新讀取 robots.txt，但已收錄的頁面要等重新爬取才會消失，因此把頁面移出 Google 是另一件事。

全部工具