映射與演出:介面不是函數
電腦音樂製作 W13 · 2026-11-30
秉聖老師 · 電腦音樂製作 115-1
0 / 33
edu.pingshengwu.com/icmp-w13/
Part 1
銜接:從生成系統到演出介面
1 / 33
從生成系統到演出介面
上一週處理系統如何自行運作;本週處理系統與演出者之間如何連結,以及觀眾如何理解這個連結。
W12 生成 隨機/規則/回饋 W13 映射與演出 介面如何連到系統 期末自述 工具選擇的美學立場
本週建立的詞彙將用於期末自述,說明工具選擇背後的美學立場(D40 評分項目)。
2 / 33
Part 2
主流框架:控制精度是否等於表現力
3 / 33
介面與音源的分離
弓弦樂器(小提琴) 弦 介面=音源,物理律決定連結 電子樂器 介面 (滑桿/按鈕) 音源 (合成引擎) mapping 連結需要被明確定義, 定義本身就是設計決策
以小提琴為例:琴弦既是控制機制,也是聲音來源,兩者的連結由物理定律決定。電子與數位樂器的介面通常(usually)是與音源分離的獨立裝置,連結需要被明確定義;定義連結的動作稱為 mapping(映射)。並非所有聲學樂器都屬同一物體(如鋼琴鍵與弦透過機械傳動連接),也並非所有電子樂器都採分離架構(如整合式電子樂器)。
Hunt, A. D., Wanderley, M. M., & Paradis, M. (2002). The Importance of Parameter Mapping in Electronic Instrument Design. Proceedings of the 2002 Conference on New Instruments for Musical Expression (NIME) , 88–93. 擴充期刊版:Hunt, A. D., Wanderley, M. M., & Paradis, M. (2003). Journal of New Music Research , 32(4), 429–440.
4 / 33
三種映射策略的實驗設計
Hunt、Wanderley 與 Paradis(2002)比較三種介面到合成參數的連結方式。
滑桿1 滑桿2 音量 音高 一對一:各自獨立 實驗一:一對一
滑桿 (需持續移動) 音量 一對一+能量: 停止移動即停止發聲 實驗二:一對一+能量
振幅 頻率 聲像 調變比 調變指數 多對多:交叉耦合 實驗三:多對多交叉耦合
第三種介面為 stereo FM synthesis 的多參數交叉耦合:振幅、頻率、聲像、調變比、調變指數。
5 / 33
受試者反應:一對一易學,多對多需要投入
練習時間 操作表現 一對一:很快學會,難以再進步 多對多:起步慢,需持續投入
在此三策略比較中,一對一映射的受試者能快速學會參數對應,但其後難以在表現力或準確度上進步。多對多映射並非能立即上手,需要投入練習才能達到令人滿意的操作結果;受試者將這種挑戰性類比於傳統樂器對演奏者的要求(Hunt, Wanderley & Paradis, 2002)。曲線依原論文之質性描述示意,非原始測量數值。
6 / 33
框架背後的假設
上述實驗把 expressivity(表現力)與介面精通所需的複雜度連結在一起:映射越不容易被立即看穿,介面感覺越像一件樂器。
這是互動介面設計文獻裡對 mapping 最常見的處理方式,也是本節要檢驗的預設:表現力是否等於控制的複雜度。
7 / 33
Part 3
Fell 的反例:沒有明確的映射
8 / 33
聲音與影像的對應:一個光譜
三件作品可置於同一個光譜上,衡量聲音與影像之間的關係有多接近一個可計算的函數。
節奏同步:影像隨拍點變化 Robotron(2007,Signal)
高度規律的節奏同步
資料 8 螢幕+16 喇叭,即時轉換同步 test pattern(2008)
聲音即時轉換為圖樣
聲音 色彩 ? 並置:無數學或自然律關係 Fell / Nicolai
無明確函數,觀眾建構
9 / 33
「這裡沒有 mapping」
"There is no mapping. It's just like putting two objects next to each other: a football and a block of cheddar cheese, a tennis ball and some ricotta […] The relationship is absolutely tight, but doesn't follow any mathematical or natural law."
聲音與色彩的並置,和運動球類與乳製品的並置,是同一種關係:絕對緊密,但不遵循任何數學或自然律。
Fell, 引自 Whitelaw 訪談 (2007),收於 Fell (2013) Works in sound and pattern synthesis , p.84–85。 照片:Aoki Takamasa 攝,Wikimedia Commons,CC BY-SA 4.0。
10 / 33
公車與落葉:對齊不是函數
公車:站牌到站牌 樹到地面:落葉 半程對齊:落葉正好過半 中間沒有其他關係;對齊本身被觀眾讀成關聯
公車自一端站牌開往另一端,同時一片葉子自樹上落下;公車行至街道中點時,葉子恰好落到一半。兩件事之間是否存在隱藏的數學關係並不重要,重要的是這個對齊被賦予了詩意的份量。
Fell (2013), p.85。
11 / 33
其餘的關係由觀眾建構
「Attack on Silence 裡的轉場,只是在同樣的時間點開始與結束;兩者之間沒有其他關係;任何其他關係都是觀眾自己建構的。」
Fell (2013), p.85。
12 / 33
Part 4
觀眾如何建構「他在做什麼」
13 / 33
觀眾看得到什麼,聽得到什麼
看得到的動作 訊號處理 (觀眾看不到) 聽得到的聲音 觀眾在動作與聲音之間建構關聯,不經過訊號處理本身
觀眾能看到身體動作,能聽到聲音變化,但看不到中間的訊號處理過程;動作與聲音之間的關聯,觀眾至少部分依據時間上的同時性自行建構。同時性並非唯一線索,文字框架等脈絡亦參與這個建構過程。
14 / 33
Cueing:文字框架是作品的一部分
無標題、無節目單 觀眾:只看到聲音與畫面同時出現 標題「Isomorphism and Totality」 觀眾:被引導去尋找深層數學關係 同一組聲光組合,因為文字框架不同而被不同地感知
標題「Isomorphism and Totality」引導觀眾去尋找深層的數學關係;節目單與標題因此不是作品的說明,而是作品的構成材料之一。
Fell (2013), p.83–84。
15 / 33
介面不是函數:演出者一端
start stop Fell 的演出介面 只有開始與停止;無其他參數 常見的多參數介面 多旋鈕/多滑桿,逐一映射到合成參數
Fell 在 Attack on Silence 系列的現場演出中,介面只允許啟動與終止轉場,沒有其他可調整的參數。
Fell (2013), p.89–90。
16 / 33
放棄控制是策略性選擇
「作品的演出是一種抵抗行為:不只針對觀眾維持注意力的需求,也針對演出者想要主動參與、想要作為作品操控者的欲望。」
極簡的介面因此不是能力限制,而是刻意設計的立場。
Fell (2013), p.90。
17 / 33
Part 5
工具即時間哲學:L-side 與 P-side
18 / 33
TenHouten(1999)的原始脈絡
TenHouten 提出 Ordinary-Linear 與 Pattern-Cyclical 兩種時間意識模型,依據對澳洲原住民與歐裔澳洲人生命史訪談語料的分析,主張澳洲原住民的認知模式偏向 visuospatial(視覺空間)而非 temporal(時間性)取向。
此架構原本用於比較不同文化間的時間經驗,並非為描述作曲軟體而提出;下一張的對照為 Fell 自己的延伸應用。
TenHouten, W. D. (1999). Text and Temporality: Patterned-Cyclical and Ordinary-Linear Forms of Time-Consciousness. Symbolic Interaction , 22(2), 121–137.
19 / 33
工具作為時間哲學:兩套作曲軟體
Digital Performer Ordinary-Linear(L) 固定的 now 點;時間分割為等長區段 L1 線性,時間是單一維度 L6 量化測量;一個不變的錨點/零點 L7 時間是一連串已排序的片刻 MaxMSP Pattern-Cyclical(P) 無固定原點;事件依連結關係發生 P1 空間為二維,非單一時間軸 P6 可變測量;以「現在」為錨點 P7 無限的現在;事件只是發生 TenHouten (1999) 七對特徵中,Fell 選取三對套用於兩套作曲軟體
Fell 借用 TenHouten 的框架,主張 Digital Performer 的 timeline 介面對應 Ordinary-Linear 時間意識,MaxMSP 的 spatial patcher 介面對應 Pattern-Cyclical 時間意識。
Fell (2013), Table 2, p.66–67。
20 / 33
這組詞彙用於期末自述
期末演出的自述須說明工具選擇背後的美學立場。L-side(Ordinary-Linear)與 P-side(Pattern-Cyclical)是描述這個立場可用的詞彙之一,不是唯一答案,也不是每組工具都能被乾淨地歸入其中一邊。
21 / 33
Mark Fell《Multistability》(2010)
Version A Version B 同一套 pattern-generating system 多數曲目成對出現,亦有例外;標題「multistability」取自 Necker cube 的知覺多重穩態
同一套 pattern-generating system 產生一系列變體,共 17 軌;多數曲目以 A/B 版本成對出現(如 1-A/1-B),但也有未成對或多重變體的曲目(如 3、4、9、12,以及 2-AA)。標題取自知覺心理學的 multistability:如 Necker cube 般可從相異且互斥的角度被看見,觀者的位置本身也隨之改變。
Fell (2013), p.117–118。 發行:Raster-Noton, 2010。
23 / 33
static balance
Carsten Nicolai《static balance》(2007)
拋物面鏡將展場中的環境噪音(訪客交談、空調、腳步聲等持續變動的聲響)聚焦並反射,形成隨位置改變的聲場;聽者在空間中移動時,經驗到的聲響隨之不同。
此聲場仍受物理定律支配,但輸入端並非作者設定的少數可控參數,而是不受控制、持續變動的環境噪音;位置與聽覺經驗之間因此不存在一個聽者或作者可指認、操作的 mapping。聽者的經驗無法由單一、可讀的函數關係預測。
展覽:PaceWildenstein, New York, 2007-10-05–11-03(10-04 為藝術家出席之開幕酒會,非展期起日)。 照片為 Carsten Nicolai 本人肖像(2009),非該展覽現場照。攝影:Dieter Wuschanski,Wikimedia Commons,CC BY-SA 4.0。 課程 Canonical Works 原列年份 1999,經 Wikipedia 條目與 WorldCat 展覽目錄查證,正確年份為 2007。
24 / 33
test pattern
Ryoji Ikeda《test pattern》(2008)
系統將文字、聲音、照片與影像等任意資料轉換為條碼與二進位圖樣,探討裝置效能的臨界點與人類知覺閾值之間的關係。
首演於山口媒體藝術中心(YCAM),以 8 台螢幕與 16 支喇叭呈現;聲音即時且連續地轉換為同步的視覺圖樣。
圖為 2013 年 test pattern [no.5] 於 Carriageworks(Sydney)重製版,非 2008 年首演照。攝影:Carriageworks,Wikimedia Commons,CC BY-SA 3.0。
25 / 33
Part 7
課務:期末 brief 與跨課媒合
26 / 33
期末演出規則
演出長度為 10 至 15 分鐘,其中至少 8 分鐘須為單一連續段落。
27 / 33
評分依據
評分依據為 W14 試演、完整的 10 至 15 分鐘錄音錄影,以及自述;W16 上台為必要環節,但非唯一證據。
設備故障或臨時請假因此不致使期末演出(D40)的成績直接歸零。
28 / 33
跨課媒合
電腦音樂製作修課學生(12 人)為媒合中的稀缺方,每人最多招募 1 位音像藝術創作修課學生為夥伴。
未配對的音像藝術創作學生依原課綱完成個人作品;合作為選配,非預設。
29 / 33
合作組的計分方式
合作組各自計入原本修課的成績:電腦音樂製作端評聲音,音像藝術創作端評影像。
每位學生另交一份自己所屬技術端的說明,併入自述,以確認個別貢獻。
30 / 33
三個必到日期
12/07 試演 第 9 節必到,到 18:20 12/14 彩排 第 9 節必到,到 18:20 12/21 演出 第 9 節必到,到 18:20
三個日期皆須到第 9 節,即 18:20。
31 / 33
W16 聯合場流程
13:20 14:40 15:00 16:30 16:45 18:15 中堂/研究室:AVA 展呈開放(不撤場) C308:ICMP 上半 6 場 C308:ICMP 下半 6 場 休息 16:30–16:45(觀眾可回中堂二次觀展)
音像藝術創作的展呈自 13:20 起於中堂或研究室持續開放,不因換場而撤除;電腦音樂製作的演出分為兩段,中間休息 15 分鐘,觀眾可回中堂二次觀展。
32 / 33
下週:時間結構與長度
W14 為製作工作坊與同儕講評,全員試演 8 分鐘節錄。
33 / 33
← → · SPACE · CLICK