Cloudflare推出「Pay per Crawl」服務，讓網站可向AI爬蟲收費

AI資訊

Cloudflare推出「Pay per Crawl」服務，讓網站可向AI爬蟲收費

隨著人工智慧技術的迅速發展，AI爬蟲（AI Web Crawlers）對網路內容的抓取量激增，許多網站內容創作者面臨著內容被無償提取、商業利益受損的嚴峻挑戰。為了保護內容創作者權益並創造新的收入模式，全球知名雲端基礎設施供應商Cloudflare於2025年7月正式推出了創新服務——「Pay per Crawl」（依爬行次數付費），讓網站擁有者能夠向AI爬蟲收取費用，開啟了網站內容授權與變現的新紀元。

「Pay per Crawl」的誕生背景

近年來，AI大模型如ChatGPT、Claude等依賴大量網路爬蟲抓取內容作為訓練數據，導致許多網站流量被大量爬取，卻未能從中獲得合理的經濟回報。Cloudflare的數據顯示，OpenAI的爬蟲每帶來一次推薦流量，卻會抓取網站多達1700次，Anthropic甚至高達7萬多次，這種高頻率的爬取嚴重影響了網站的正常運營與廣告收益。

面對這種情況，內容創作者與出版商普遍希望能夠在不完全封鎖AI爬蟲的前提下，獲得合理的補償。Cloudflare的「Pay per Crawl」服務，正是為了滿足這一需求而誕生，提供一種靈活且公平的內容授權與收費機制。

服務運作原理與技術特色

「Pay per Crawl」基於HTTP標準中的**402 Payment Required（需付款）**狀態碼實現。當AI爬蟲嘗試訪問受保護的內容時，如果未在請求中展示支付意圖，網站伺服器將回應402狀態碼，並附帶該內容的收費價格資訊。爬蟲必須明確表示願意支付的價格，才能獲得內容訪問權限。

網站擁有者可在Cloudflare平台設定：

• 統一的按次爬取收費價格

• 對不同AI爬蟲的三種策略：免費訪問、按價收費或完全封鎖

• 靈活的例外設定，允許特定合作夥伴免費抓取

技術層面，「Pay per Crawl」採用先進的Web Bot Auth機制，利用Ed25519密鑰對與HTTP訊息簽名，確保爬蟲身份真實可靠，防止冒用或欺騙行為。爬蟲可在請求標頭中加入「crawler-max-price」或「crawler-exact-price」字段，表明支付意願。交易成功後，伺服器會在回應標頭中標示「crawler-charged」欄位，完成收費流程。

Cloudflare同時擔任該付費機制的交易中介（Merchant of Record），負責收取AI公司的費用並將收益分配給內容創作者。

內容創作者與AI企業的雙贏模式

「Pay per Crawl」不僅讓網站擁有者能夠掌控內容的使用權，避免無償被AI爬蟲大量抓取，也為AI公司提供了合法且透明的內容獲取途徑。這種付費機制有助於打破現有AI訓練數據來源的不平衡，建立更健康的數據生態。

Cloudflare執行長馬修·普林斯表示，內容創作者並非想完全封鎖AI爬蟲，而是希望獲得合理補償，讓他們能夠持續創作優質內容。此舉有望防止因內容被無償攫取而導致的創作動力下降，避免惡性循環。

預設封鎖與申請參與測試

為了保障創作者權益，Cloudflare將預設封鎖未經授權的AI爬蟲，除非AI公司申請加入「Pay per Crawl」付費計畫並同意支付費用。現有Cloudflare用戶可申請參與此服務的封閉測試，逐步推動市場規模化。

未來展望：AI內容授權與代理付費的可能性

Cloudflare同時提出「內容獨立日」倡議，鼓勵更多內容平台與AI公司合作，推動網路內容的合理授權與付費。隨著AI代理程式（Agentic AI）逐漸普及，未來這些智能代理將代表用戶自動訪問網站、整合資訊並進行付費，讓內容獲取更智能化且合法化。

Cloudflare甚至在評估推出自家穩定幣作為支付工具，進一步促進AI內容付費生態的發展。

結語

Cloudflare推出的「Pay per Crawl」服務，標誌著AI時代內容授權與變現進入新階段。這項創新機制不僅為網站內容創作者開闢了新的收入來源，更為AI公司提供了合法、透明且可持續的數據獲取方式。隨著技術成熟與生態完善，未來網站與AI之間的互動將更加公平、共贏，推動數位內容產業健康發展。