即時感與互動回饋設計

音像藝術創作 W12 · 2026.11.23 · 週一 n5-6 節 · 南大 C308
0 / 6
QR
edu.pingshengwu.com/ava-w12

練習 10 回顧:三個講評面向

斷訊時的行為

手離開畫面時系統做了什麼。fallback 是互動作品的完成度指標,不是額外加分項。

映射的可讀性

操作者要能在幾秒內發現手的動作對應到畫面的哪一個變化。

現場可操作性

供他人操作與自己示範是兩件事。交到別人手上時,系統的邊界會立刻暴露。

1 / 6

Latency budget:即時感是預算分配問題

延遲的來源

  • 感測器擷取:攝影機一格於 30 fps 下為 33 ms
  • 分析運算:MediaPipe、Audio Analysis CHOP
  • 節點網路的 cook time
  • 顯示輸出:投影機再增加一格

預算如何分配

一般而言,人對「即時」的感知門檻約在 100 ms 以內;音樂性互動的要求更嚴。

以中鍵檢視 cook time,找出訊號鏈上成本最高的節點,效能優化即針對該處。Lag CHOP 的平滑會消耗延遲預算:平滑與即時為 trade-off,須自行取捨。

2 / 6

互動 ≠ 觸發:擾動與回彈

觸發式

揮手觸發一段動畫。一次性因果,重複兩次即失去資訊量。

連續式

位置持續映射到參數。具跟隨感,但系統本身沒有內部狀態。

動態系統式

觀眾擾動一個具平衡態的系統,系統依自身規則回彈(attractor、spring、flocking)。互動因而成為雙向關係。

POP 工具箱此時已完備:Force POP 提供回復力,Particle POP 保存狀態,Feedback 提供記憶,構成動態系統的三項要素。

3 / 6

本週三件:回饋的三種身體

Memo Akten · Body Paint(2009)

身體動作轉化為顏料;運動能量的視覺殘留。

觀察重點:殘影作為記憶,使互動產生厚度。

memo.tv

Kyle McDonald · Sharing Faces(2013)

兩地觀眾交換表情;鏡子作為介面。

觀察重點:回饋迴圈中的他者。

creativeapplications.net

Olafur Eliasson · Your Rainbow Panorama(2011)

觀者移動改變所見色彩;建築尺度的互動。

觀察重點:不使用感測器的互動,身體本身即為輸入。

olafureliasson.net

4 / 6

整合小品:期末系統的第一塊磚

本週不新增練習。將練習 9(聲音)與練習 10(輸入)接為同一個系統,即期末作品的雛形。

本週課堂工作

  • 聲音鏈與輸入鏈合併進同一個 patch
  • 整理網路:功能分區、每區收 Null、以 Container COMP 分裝
  • 量測 cook time,找出成本最高的節點

課後思考

下週繳交演出形式雛形,A4 一頁:演出內容、控制方式、觀眾所見、預估長度。

所寫的是演出的形式,不是裝置的功能清單。

5 / 6

下週:聲影連動性與期末 brief

W13 內容

三評分軸詳解(聲影連動性、控制介面、表演性)· 演出形式提案討論 · 期末時程確認。本週與 ICMP 兩班合上。

課前準備

  • 繳交演出形式雛形,A4 一頁
  • 觀看 W13 三件賞析(坂本龍一與高谷史郎、Nicolai、Quayola)
6 / 6