當 AI 助理逐漸由「回答問題」走向「代替使用者完成工作」，如何教會 AI 執行一套跨應用程式、跨網頁及跨步驟的工作流程，便成為新的挑戰。傳統做法通常需要自行撰寫提示詞、流程文件、API 指令，甚至建立自動化程式，對一般使用者而言仍然存在一定門檻。
Microsoft 最近在 GitHub 開源的 Skill Recorder，提供了另一種更直觀的方式：使用者只需親自示範一次工作，工具便會記錄螢幕操作、視窗切換、瀏覽頁面及可選的語音講解，再交由 GitHub Copilot 分析，將整段操作整理成工作意圖及有順序的執行步驟，最後產生 AI Agent 可以重複使用的 Skill 或 Automation。
它的核心理念可以簡化為：
不必先教 AI 怎樣做；先讓 AI 看你做一次，再把這次示範整理成可重用的技能。
Skill Recorder 是 Microsoft 開源的跨平台桌面應用程式，採用 Electron 技術製作，主要用途是將使用者在電腦上的實際工作流程，轉化為 AI Agent 可以理解及重複執行的技能定義。
它不是單純的螢幕錄影軟件，也不是傳統只會重播滑鼠座標的 RPA 工具。Skill Recorder 會嘗試理解使用者在操作期間完成了甚麼工作、每個步驟的目的，以及哪些操作可以抽象化為較穩定的工具指令。
例如，使用者示範一次：
開啟 GitHub。
找到某一個 Issue。
閱讀問題內容。
加上指定標籤。
留下回覆。
將 Issue 指派給某位成員。
傳統錄製工具可能只記住滑鼠點擊的位置及按鍵順序，但 Skill Recorder 的目標，是將這次操作重構成類似以下的 AI 技能：
讀取 GitHub Issue 的內容。
判斷 Issue 類型及處理狀態。
根據條件加入標籤。
產生適合的回覆。
指派給指定團隊成員。
對多個符合條件的 Issue 重複執行。
換句話說，它不只是記住「你按了甚麼」，而是嘗試理解「你想完成甚麼」。
Skill Recorder 的操作流程主要分為四個階段：
使用者按下錄製按鈕後，便可以按照平時的工作方式完成任務。工具會在背景記錄相關螢幕及活動資料，使用者不需要特別改變操作習慣。
在 macOS 上，可以使用 Command + Shift + R 開始或停止錄製；Windows 則可以使用 Ctrl + Shift + R。錄製期間，畫面會顯示一個置頂控制列，讓使用者查看錄影及麥克風狀態，並可以即時靜音、切換麥克風或放棄目前錄製。
這種設計適合處理需要多個軟件協作的工作，例如：
在瀏覽器搜尋資料，再整理到文件。
從電郵複製資料到試算表。
在內容管理系統發布文章。
從 CRM 系統讀取客戶資料，再建立跟進紀錄。
在社交媒體後台整理貼文及回覆。
由本地應用程式讀取檔案，再上載到雲端平台。
單靠螢幕畫面，有時未必足以理解使用者的判斷。例如使用者打開一個網頁，可能是為了比較價格、確認日期、核對資料，或者等待某個條件成立。從畫面上看到的點擊，未必能完全反映背後原因。
因此，Skill Recorder 支援語音旁白。使用者可以一邊操作，一邊說明：
「我現在先確認客戶的付款狀態。」
「如果這個項目已經完成，就不需要再發送提醒。」
「這裡只處理標記為高優先的案件。」
「我正在比較兩份文件的版本日期。」
「如果表格資料不完整，我會先暫停，不會提交。」
這些語音內容可以協助 AI 理解流程背後的判斷邏輯，而不是只模仿表面的點擊行為。
Skill Recorder 使用 Whisper 模型在本機進行語音轉錄，支援多種語言。官方說明指出，首次使用語音轉錄功能時，需要下載約 252 MB 的模型，之後可以在本機完成轉錄，無需每次將語音內容上傳到雲端。
完成錄製後，使用者可以按下 Analyze，讓 GitHub Copilot CLI 分析整段工作流程。
分析結果主要會整理成兩部分：
Intent：任務意圖，說明整項工作的主要目的。
Steps：執行步驟，按照先後次序列出完成任務所需的操作。
例如，一段原本包含大量視窗切換及滑鼠點擊的錄影，可能會被整理成：
任務意圖：
整理本週收到的網站查詢，篩選需要跟進的個案，並將資料加入客戶跟進表。
執行步驟：
開啟指定電郵資料夾。
篩選過去七天收到的查詢。
閱讀每封電郵的主旨及內容。
判斷是否需要人工跟進。
將符合條件的查詢資料加入試算表。
為每項資料設定跟進日期。
對已完成處理的電郵加入標記。
這個階段不應該直接按下建立按鈕。使用者應該逐項檢查分析結果，確保 AI 沒有誤解工作目的、遺漏重要判斷條件，或把一次性的操作錯誤地當成固定規則。
確認分析內容後，使用者可以將結果建立成兩種主要產物：
Skill 是一份可供 AI Agent 按需要執行的技能文件，通常會以 SKILL.md 形式呈現。
它可以被理解為一份為 AI Agent 編寫的工作程序，當使用者日後提出相關要求時，Agent 可以按照這份技能執行任務。
例如：
「整理今天所有需要回覆的電郵。」
「按照客戶服務流程處理新的查詢。」
「找出本週尚未更新的專案紀錄。」
「將符合條件的 GitHub Issue 加上標籤。」
Automation 則是可以按照時間表、事件或觸發條件執行的自動化流程。
例如：
每天早上整理前一天的表單提交。
每星期一建立未完成工作的報告。
當收到特定類型的電郵時，自動建立待辦事項。
當 GitHub Issue 加入指定標籤時，啟動後續處理。
官方 README 表示，Skill Recorder 可從一次錄製結果產生可按需要執行的 Skill，或建立按時間表及觸發條件運作的 Automation。
Skill Recorder 很容易被理解為另一種 RPA 錄製工具，但兩者的設計理念並不完全相同。
| 比較項目 | 傳統 RPA 錄製 | Skill Recorder |
|---|---|---|
| 主要方法 | 記錄滑鼠、鍵盤及介面操作 | 記錄操作，再由 AI 重構工作意圖 |
| 重點 | 重播原本的操作流程 | 產生可重用及可泛化的 AI 技能 |
| 對介面變動的適應力 | 通常較依賴按鈕位置及元素結構 | 嘗試改用 API、CLI 或 Agent 原生工具 |
| 工作範圍 | 常集中於固定軟件及固定流程 | 可跨越瀏覽器、桌面程式及不同工作環境 |
| 產物 | 流程圖、機器人工作流程或腳本 | SKILL.md 或 Automation |
| 使用方式 | 按固定規則執行 | 由 AI 根據任務內容決定如何執行 |
| 彈性 | 適合高度標準化流程 | 適合包含判斷、文字理解及變動資料的工作 |
Skill Recorder 的一個重要方向，是優先使用 AI Agent 的原生工具，而不只是重新播放螢幕點擊。例如，對於 GitHub 工作，Agent 可能使用 gh CLI；對於網頁資料，可能改用網頁擷取工具；對於檔案處理，可能使用命令列或程式庫。
這種做法的好處是，流程不一定要依賴某個按鈕在螢幕上的固定位置。即使網頁版面稍有改變，Agent 仍可能透過更高層次的工具完成相同任務。不過，這並不代表每個產生的 Skill 都一定能穩定運作，實際效果仍取決於錄製內容、分析品質、可用工具及權限設定。
Skill Recorder 在錄製期間會在本機收集工作活動資料，內容包括：
使用中的應用程式及視窗切換。
瀏覽器正在開啟的網頁網址。
螢幕錄影及因畫面變化而擷取的畫面影像。
使用者複製文字時的剪貼簿短預覽。
使用者選擇啟用的語音旁白。
由語音轉換而成的文字內容。
官方說明指出，錄製、儲存、畫面擷取及語音轉錄都會在使用者電腦上進行；當使用者按下 Analyze 後，相關事件時間線、視窗及文件標題、網址、剪貼簿預覽、畫面影像及旁白文字，才會傳送到 GitHub 雲端，交由 Copilot 處理。
這代表「錄製時沒有即時上傳」並不等於「整個流程完全離線」。分析階段涉及雲端 AI 處理，因此使用者在錄影前必須先考慮資料保密及公司政策。
使用 Skill Recorder 時，切勿在錄影中顯示、輸入、貼上或讀出以下資料：
密碼。
API Key。
存取 Token。
私人登入資料。
客戶身份證明文件。
財務及銀行資料。
未公開的公司文件。
內部系統網址及管理員資訊。
受保密協議保護的內容。
個人健康或社福個案資料。
更安全的做法，是先使用測試帳戶、虛擬資料及去識別化文件示範流程。若必須處理真實資料，應先確認組織的雲端 AI 使用政策、資料處理協議及權限安排。
Skill Recorder 目前以原始碼版本方式提供，並不是一般「下載安裝檔、雙擊即可使用」的桌面軟件。官方提供 macOS、Ubuntu 及 Windows 的安裝方式，安裝指令會下載指定版本的 Node.js 執行環境，並在本機建立對應版本的應用程式。
使用者需要具備：
GitHub 帳戶。
可使用 GitHub Copilot 的權限。
macOS 或 Windows 11 環境；Ubuntu 亦有對應安裝方式。
在 macOS 上授予螢幕錄影權限。
可執行安裝指令的終端機或 PowerShell。
對本機檔案、瀏覽器及應用程式權限有基本理解。
macOS 是目前官方文件列出的主要目標平台，Windows 11 支援 x64 及 ARM64。GitHub Copilot CLI 會隨應用程式提供，首次進行分析時，如果尚未登入 Copilot，系統會要求使用者登入。
對一般非技術使用者來說，較建議由資訊管理人員先建立測試環境，再向員工提供經驗證的安裝方式。對教育機構、NGO 或企業而言，也應先確認終端機權限、GitHub 帳戶政策及錄製資料的保存方式。
Skill Recorder 最適合處理「人可以示範一次，而且日後會重複出現」的工作。
對內容創作者而言，可以錄製以下流程：
從新聞網站整理研究資料。
將資料加入內容研究表。
根據主題分類參考來源。
將文章草稿貼到內容管理系統。
填寫標題、摘要、關鍵字及 SEO 欄位。
上載圖片、設定分類及安排發布時間。
產生社交媒體宣傳內容。
例如，內容編輯可以示範一次「將研究資料整理成文章草稿」的流程，並在操作時說明：
「先確認資料的日期，再檢查是否有官方來源；如果只有轉載文章，就暫時放入待核實欄，不會直接引用。」
這種旁白有助於 AI 理解流程背後的判斷規則。
NGO 或社福機構可以考慮使用 Skill Recorder 建立以下流程：
整理服務申請資料。
將活動報名資料加入試算表。
發送活動確認通知。
匯總每月服務數據。
更新義工出席紀錄。
將公開資料整理成報告初稿。
依照指定欄位建立個案跟進提醒。
不過，涉及個人資料及個案內容的工作必須非常小心。建議先以虛擬個案資料測試，並將 AI 只用於非敏感、低風險及經批准的行政流程。
一般企業可以錄製：
每日整理電郵。
將表單提交內容轉入 CRM。
產生每週銷售摘要。
更新專案管理系統。
整理發票及付款狀態。
建立會議後續任務。
監察指定網站的公開資訊。
這類工作通常重複性高，但又包含少量文字理解及條件判斷，正是 AI Skill 比固定滑鼠巨集更有潛力的地方。
對課程設計者而言，Skill Recorder 也可以用來建立「示範式教學」。
講師不必先寫出非常完整的操作手冊，而是可以：
實際示範一次工作。
一邊示範，一邊說出判斷理由。
讓 Copilot 整理為有順序的步驟。
人工修訂成課程教材。
再將同一份 Skill 用作課堂練習或 AI 助教指令。
例如，可以錄製「如何使用 AI 工具製作一篇 SEO 文章」的流程，之後整理成：
研究主題。
確認目標受眾。
建立文章結構。
產生初稿。
檢查事實及引用。
優化標題及摘要。
加入 FAQ 結構。
進行人工編輯及發布前檢查。
這種方式有助於將原本只存在於講師腦中的經驗，轉化為可傳承、可審核及可重複使用的工作資產。
很多人第一次使用操作錄製工具時，會嘗試把每一次點擊都錄得非常完整。然而，Skill Recorder 的真正價值並不只是記錄操作數量，而是讓 AI 理解任務目的及判斷條件。
以下兩種說法的效果可能很不一樣。
「我現在按這裡，再按下一頁，然後複製這段文字，之後貼到另一個系統。」
這只描述了表面操作，AI 未必知道：
為甚麼要複製這段文字。
哪些資料需要複製。
如果找不到資料應該怎樣處理。
哪些情況不應該繼續。
貼上後是否需要檢查格式。
「我現在查看本週收到的申請。只有狀態為『待審核』及資料完整的項目才會進入下一步。如果缺少電話號碼，我會先標記為需要補充，不會建立正式紀錄。確認資料完整後，我才會將姓名、申請日期及服務類別加入跟進表。」
這種說明清楚包含：
工作目的。
篩選條件。
排除條件。
例外處理。
輸出欄位。
不應執行的操作。
因此，錄製前可以先用以下問題整理自己的思路：
這項工作的最終目標是甚麼？
哪些資料需要處理？
哪些資料應該排除？
哪些步驟是固定的？
哪些步驟取決於條件？
遇到錯誤時應該停止、跳過還是通知使用者？
哪些操作需要人工確認？
哪些動作會產生不可逆的結果？
雖然 Skill Recorder 的概念非常有吸引力，但它仍然不是「錄一次便百分之百自動化」的工具。
錄影內容可能包含臨時修正、錯誤點擊、個人習慣或不必要步驟。AI 可能會把這些偶然行為誤判為正式流程，因此使用者必須人工檢查分析結果。
如果只示範正常情況，產生的 Skill 可能只適用於正常資料。實際工作通常還會遇到：
欄位缺失。
格式不一致。
網頁載入失敗。
權限不足。
重複資料。
網站版面變動。
需要主管批准的情況。
建立正式技能時，最好額外補充例外條件及停止規則。
Skill Recorder 的輸出主要針對 Microsoft Scout 或 Microsoft 365 Copilot Cowork 等環境而設計。即使產生了 SKILL.md，其他 AI Agent 平台也未必可以直接使用，可能需要重新整理格式、調整工具名稱及修改執行權限。
因此，SKILL.md 應被視為一份可編輯的技能規格，而不是對所有平台都完全兼容的通用程式。
即使 Skill 已經建立，AI Agent 仍然需要具備相應權限，例如：
讀取指定資料夾。
存取瀏覽器或網站。
使用 GitHub。
發送電郵。
修改雲端文件。
建立或刪除紀錄。
如果權限設計不當，Agent 可能會執行超出原本預期的工作。因此，對發送訊息、刪除檔案、提交表單、修改客戶資料等操作，應加入人工確認。
在企業、學校或 NGO 正式使用之前，可以先進行以下檢查：
是否會錄製個人資料或機密文件？
Analyze 階段會傳送哪些資料到雲端？
組織是否批准使用 GitHub Copilot 處理相關內容？
是否可以使用測試帳戶及虛擬資料？
錄影檔案及中間資料會保留多久？
Agent 使用的是個人帳戶還是共用帳戶？
是否採取最少權限原則？
是否需要限制發送、刪除及提交功能？
是否設置人工審批步驟？
是否可以追蹤 Agent 執行紀錄？
產生的 Intent 是否準確？
Steps 是否包含所有必要條件？
是否明確列出例外處理？
是否已用多組測試資料驗證？
如果任務失敗，是否會停止並通知負責人？
網站或軟件介面改變後，誰負責更新 Skill？
公司政策改變後，誰負責重新審核？
如何處理過時的 Skill？
是否為每份 Skill 設定版本號及負責人？
是否定期檢查 Agent 是否仍按正確流程執行？
Skill Recorder 並不是要取代所有自動化平台，也不是一個完整的企業流程管理系統。它最有價值的地方，在於降低建立 AI Skill 的第一個門檻。
過去，若要讓 AI Agent 執行一項工作，使用者通常要先完成以下工作：
分析目前的人工流程。
將流程寫成文字文件。
列出輸入、輸出及例外條件。
研究 Agent 所支援的工具。
編寫技能檔案或腳本。
測試不同情況。
修正權限及錯誤處理。
Skill Recorder 將其中一部分工作改為「直接示範」。使用者可以先按平時的方法完成一次任務，再由 AI 將操作內容轉化成初步流程。這對不熟悉程式設計、但非常熟悉業務流程的員工尤其有幫助。
不過，示範只是起點，不是終點。成熟的 AI 自動化流程仍然需要人工審核、測試、權限控制及持續維護。
Microsoft Skill Recorder 展示了一個值得關注的方向：未來建立 AI Agent 技能，不一定要從撰寫複雜提示詞或程式碼開始，也可以先由人類實際示範一次工作，然後讓 AI 從操作、語音及上下文之中整理出可重用的工作方法。
它最適合用於重複性高、流程相對清晰、但又包含一定判斷及文字理解的工作。內容製作、行政管理、資料整理、客戶服務、GitHub 協作、教育培訓及 NGO 行政流程，都可能成為實用場景。
然而，使用者不應把它視為「錄影後便完全交給 AI」的魔法工具。真正可靠的做法，是將 Skill Recorder 產生的內容當作第一版流程草稿，再由專業人員檢查意圖、步驟、例外條件、機密資料及執行權限。
如果說傳統自動化是「先寫好規則，再要求機器照做」，Skill Recorder 所代表的新方式，便是「先觀察人類如何工作，再協助整理成 AI 能夠理解的技能」。這種由示範驅動的 Agent 建構方式，可能會成為企業及個人建立 AI 工作流程的重要入口。
「AI創業家社群」 是一個專為推動AI人工智慧創業者之間的交流與合作而設的專業平台。隨著AI技術的不斷進步，市場需求日益增加，為AI創業者提供一個支持性強、資源豐富的環境，幫助AI創業家在競爭激烈的AI市場中脫穎而出。
立即按此加入AI創業家社群
Copyright 2026, AI-Directories.com 香港AI工具平台 All Rights Reserved.