I/O 外部裝置
身體與世界驅動 POP
音像藝術創作 W11 · 2026.11.16 · 週一 n5-6 節 · 南大 C308
秉聖老師 · 音像藝術創作 115-1
0 / 7
edu.pingshengwu.com/ava-w11
練習 9 回顧：三個講評面向
具記憶的那一條映射
lag、feedback 或累積，是讓畫面不只跟著鼓點跳的關鍵。三條映射裡有沒有真的做到一條。
抖動
輸出抖動代表 Math CHOP 與 Lag CHOP 還沒調。這在錄影裡藏不住。
分頻的選擇
兩個頻段取在哪裡，決定畫面對音樂的哪一層有反應。
課堂挑選數件現場開啟，一併檢視 envelope 的時間常數。
1 / 7
本週目標：打開輸入端
聲音之後，輸入端擴及身體與外部世界：攝影機、感測器、控制器。任何可數值化的資料皆可轉為點屬性。此軸對應期末評分第二軸「控制介面」。
影像輸入
WebCam 加 MediaPipe（骨架與手勢），以及 Kinect 或 LiDAR 深度資料。
控制訊號
MIDI controller，以及 OSC（手機 app 亦可作為來源）。
進 POP
位置資料 → CHOP → CHOP to POP → 力場中心或其他點屬性。
2 / 7
內容大綱：四條輸入路徑
| 路徑 | OP / 工具 | 取得資料 |
|---|---|---|
| WebCam | Video Device In TOP 加 MediaPipe（palette） | 手部、臉部、骨架關節座標 |
| 深度攝影機 | Kinect 或 LiDAR 的 TOP 與 CHOP | 深度圖、人體骨架、點雲 |
| MIDI | MIDI In CHOP | 旋鈕與打擊墊數值，精確且穩定 |
| OSC | OSC In CHOP 與 OSC In DAT | 手機或其他軟體送出的任意數值 |
共通處理原則：所有輸入到 TouchDesigner 內部皆為數值。先收 Null CHOP 確認 range，再以 Math CHOP 與 Lag CHOP 整理，最後餵給 POP。W2 的 data mapping 三式在此全數回收。
3 / 7
本週三件：互動藝術的三個原點
David Rokeby · Very Nervous System（1986）
攝影機追蹤身體並即時生成聲音；互動藝術的開創之作。
觀察重點：系統的靈敏度本身即構成美學。
4 / 7
練習 10：攝影機互動點雲
目標：以手部或身體作為點雲的作用力來源，並於課堂現場供他人操作。
| 要求 | 細節 |
|---|---|
| 輸入 | 以 WebCam 加 MediaPipe（手部或姿態）為主；可並用 MIDI controller |
| 映射 | 手部位置對應 Force Radial POP 的中心，或其他自行設計的關係 |
| 整理 | 輸入訊號一律經 Math CHOP 與 Lag CHOP 平滑；斷訊須有 fallback，手離開畫面時不得失控 |
| 繳交 | 節點截圖上傳 eeclass；60 秒錄影（操作者與畫面同框）放個人 Google Drive 資料夾並附可存取連結 |
5 / 7
期末預告：三個待決定的問題
聲影連動性
作品的聲音與影像是什麼關係？映射、記憶，還是併置？
控制介面
以什麼裝置演出？鍵盤與滑鼠不列入有效答案。
表演性
觀眾能否辨識演者的操作？8 至 10 分鐘的時間結構為何？
W13 須繳交演出形式雛形，非裝置 demo。自本週起算，準備時間為兩週。
6 / 7
下週：即時感與互動回饋
W12 內容
latency budget · audio-visual feedback · 擾動與回彈的動態系統。互動的定義不是觸發，而是持續的關係。
課前準備
- 繳交練習 10
- 觀看 W12 三件賞析（Akten、McDonald、Eliasson）
骨架版：開課前補完示範細節與截圖
7 / 7
← → · SPACE · CLICK