Memories.ai 推出 Memories Upload,讓參與者領取任務、用穿戴式攝影機拍攝日常操作,再提交影片換取報酬。官方說明,影片由自動化工具與人工審查,約需 10 個工作天。有人拍、平台收之後,距離機器人學會操作,還隔著哪些處理步驟?官方應用說明

但這裡要先問一個更前面的問題:開發團隊缺的是辨識「人在做什麼」的影像,還是教機器手臂「下一步怎麼動」的示範?兩者需要的機器人訓練資料,內容與驗收方式不同。

Memories Upload 如何把日常操作變成付費任務?

平台以任務說明界定拍攝內容與要求,參與者領取後錄影上傳;報酬依審查認定的合格分鐘數計算。

官方應用頁說明,領取任務時會鎖定要求與費率,拍攝可使用平台借出的 LUCI Pin 攝影機。影片需符合內容、長度及活動要求,上傳總時長與計酬時長可能不同,不能把整段錄影時間當成收入。任務與報酬說明

服務條款則說明,參與者須支付可退還的裝置押金;平台購買獲接受的錄影,取得相關權利,用於自身 AI 與機器人技術開發。這是錄影取得與使用的商業安排,沒有建立特定機器人任務的效能保證。服務條款

對台灣參與者而言,拍攝前應先確認註冊地區資格、裝置寄送、押金退還與提領條件,再計算拍攝、上傳及重拍的時間。開發團隊採購時,也可對照AI 訓練資料授權條件,把取得資料的權利和實際可用性分開檢查。

影片從拍攝到訓練,需要經過哪些處理?

先定義任務與拍攝要求,再檢查畫面、挑選片段、標註動作,最後轉成模型能讀取的資料格式;各階段都需要驗收條件。

第一人稱影片指從操作者視角記錄活動。任務說明要界定起點、終點、物件及成功條件;拍攝時則需讓手部、工具與操作結果可見。若手碰到物件的瞬間被遮住,單純增加同類影片數量,仍可能缺少學習所需的訊號。

Memories.ai 的產品頁把流程分成拍攝、去除閒置片段與品質檢查、標註,以及交付。頁面展示場景、物件、動作時間範圍及三維手部姿態,也就是估計手部關節在空間中的位置;部分畫面與輸出明列為示意,採購時仍需核對實際交付欄位與誤差。官方資料流程

Memories.ai 將交付內容描述為影片加上標註,透過資料存取介面提供。這是平台對產品流程的說明,訓練效益仍需由使用團隊實測。官方產品頁

為什麼看得見動作,還不能直接控制機器人?人手與夾爪的結構不同,影片也未必包含機器人的關節狀態與控制指令。把人類示範映射到機器人可執行的動作,仍可能需要姿態轉換、機器人示範或其他學習方法。

因此,開發團隊應追問標籤如何產生、人工抽查多少、錯標由誰修正,以及交付格式能否接入現有訓練程式。這些工作會影響機器人影片標註成本,應與影片採購費一起估算。

任務說明、第一人稱拍攝、品質審查、動作標註與格式整理依序連向訓練,另一條機器人狀態與控制資料支線在訓練前加入。
影片要進入訓練流程,需先經過審查、標註與格式整理;控制操作還可能需要機器人狀態和指令資料。

DROID 與 Ego4D 為何採用不同的資料設計?

DROID 蒐集機器人的操作示範,連結觀測與動作;Ego4D 以人類第一人稱影片及標註支援視覺理解研究,兩者不能只用時數比較。

DROID 研究團隊把同一套機器手臂平台帶到不同環境,蒐集約 7.6 萬條成功示範軌跡、350 小時互動資料,涵蓋 564 個場景。軌跡是一段依時間排列的操作記錄,包含同步影像、機器人狀態與控制命令,保留了「看到什麼、做了什麼」的對應。DROID 論文

Khazatsky 等人在 DROID 論文指出,操作策略的訓練通常需要記錄機器人觀測與動作,這類資料難以直接從網路蒐集。研究結果屬於其機器人平台與實驗設定,不能作為 Memories Upload 的成效證據。研究原文

Ego4D 則讓人們佩戴攝影機記錄真實生活。官方文件介紹的資料涵蓋 926 名拍攝者、9 國與 74 個地點,約有 3,600 小時影片,搭配密集敘述及不同研究任務的標註。它讓研究者分析日常活動,仍須另接機器人控制資料。Ego4D 官方文件

資料來源主要記錄內容開發時要核對的缺口
Memories Upload任務影片與平台提供的標註實際欄位、品質與授權範圍
DROID機器人影像、狀態與控制資料與自家機型及任務的差異
Ego4D人類第一人稱影片及理解任務標註如何連接到機器人的動作空間

三者可作資料設計對照。選擇時要看模型需要什麼輸入、學習什麼輸出,不能將人類影片時數和機器人軌跡數排成同一張效能排行榜。

資料量之外,整合成本出在哪裡?

成本包含任務覆蓋、補標與轉檔、授權及隱私處理,以及獨立測試;影片採購價只占其中一部分。

同樣標為「收納」,資料可能集中在相似物件與光線,缺少部署現場的遮擋、反光或狹窄空間。若「抓取完成」在不同標註者手中落在不同時間點,下游模型會收到不一致的學習目標。團隊應抽查這些差異,再決定補拍或重標。

DROID 的蒐集流程會隨機提示任務,並定期要求調整照明、鏡頭或場景物件,減少資料集中在容易完成的操作。蒐集流程原文 借鏡這種設計,買方可先按物件、光線與遮擋程度分組抽樣,逐組記錄可用片段及退件原因,避免總可用率掩蓋特定情境的缺口。

標註驗收則可先請兩名人員獨立標記同一批片段,比對動作名稱與起訖時間。發生分歧時,應由指定負責人回看畫面,釐清是定義模糊、畫面不可辨識,還是操作失誤,再決定修訂規則或退件。建議保留原標籤、修訂版本及理由,並將確認後的範例交回標註團隊,作為下一批驗收依據。

隱私也會改變可交付內容。Memories.ai 的隱私政策說明,錄影包含聲音、身體與周遭環境;向第三方提供前,由平台進行去識別化,包含處理臉孔、可識別文件、位置及音訊。購買團隊應確認處理後是否仍保留任務所需訊號。隱私政策

參與者也需留意旁人同意、私人空間與工作場所資料。政策列出不同類型資料的保存安排,並提醒刪除帳號可能不會刪除已購錄影或已訓練模型。因此,同意範圍、保存與刪除方式、第三方提供條件,都應在上傳前核對。

四格驗收清單分別檢查手部操作是否被遮擋、動作標註是否一致、資料授權與隱私條件,以及獨立任務測試。
採購前逐項核對畫面、標註、權利與獨立測試,才能判斷影片是否適用於團隊的任務。

開發團隊如何判斷外部影片是否適用?

需要補充物件、場景或活動理解的團隊,可先抽樣驗證人類影片;需要精確控制與接觸操作的任務,則應另外確認機器人動作資料是否足夠。

驗證應從一項具體任務開始。若目標是辨識工具使用順序,先測標註是否足以支援辨識;若目標是讓夾爪完成操作,就應檢查成功率、失敗型態及安全限制,不能用影片分類表現代替實機驗收。

DROID 的實驗除了原有任務,也加入干擾物、新物件或鏡頭位置改變等測試條件。實驗設計原文 團隊可據此將測試分為熟悉條件與現場變化,分別記錄結果,判斷新增資料改善了哪一類操作,以及哪些變化仍會造成失敗。

比較時建議固定模型架構、訓練預算與測試次數,只改變是否加入候選資料;測試片段也應與訓練來源分開,避免同段錄影的相鄰畫面同時出現在兩邊。每次試驗可記錄完成與否、卡在哪一步、是否需要人工介入,讓採購決策能對照具體失敗原因。

  1. 定義一項任務,寫下成功與失敗條件。
  2. 列出模型需要的視角、物件、標籤及機器人狀態欄位。
  3. 抽樣影片,檢查遮擋、連續性、標註一致性與使用權利。
  4. 估算每段可用資料的採購、補標、轉檔與驗證成本。
  5. 保留未參與訓練的物件或場景,比較加入資料前後的任務結果。
  • 先確認缺的是視覺理解資料,還是機器人操作示範。
  • 把可用率、補標與整合費用納入採購比較。
  • 以獨立任務測試決定是否擴大使用。

常見問題

Q1:日常操作影片可以直接訓練機器人嗎?

可用於部分視覺理解或表徵學習工作;要產生可執行的控制動作,還需核對機型、動作資料與訓練方法。

Q2:上傳後一定會獲得報酬嗎?

平台依合格分鐘數計酬,需通過任務審查。拍攝時長、採用時長與所得報酬不能畫上等號。

Q3:如何判斷買來的影片有沒有用?

先抽樣檢查欄位與標註,再固定模型及測試條件,比較加入影片前後的結果,並記錄失敗原因。