空間音訊
從 Stereo 到 IRCAM Spat~

SOUND DESIGN W11 — 2026.05.05 · C-LAB 臺灣聲響實驗室參訪日
秉聖老師 — 聲音設計 114-2
0 / 38
QR — sd-w11-spatial-audio
edu.pingshengwu.com/sd-w11-spatial-audio

Phase 0

導聆 — 進 49.4 聽作品

三個觀察任務 · 帶進去聽

等下我們會先在 49.4 立體聲場聽一個作品 — 帶這三個任務進去。

C-LAB Future Vision Lab interior
C-LAB · Future Vision Lab · 內部空間
C-LAB Dome immersive acoustic space
C-LAB · Dome · 沉浸式聲學實驗空間

Task 1 · 定位最清楚

找一個你能指出聲音位置的時刻 — 它在房間哪裡?

Task 2 · 空間情緒

不是定位 — 是整體氛圍。那是怎麼做出來的?

Task 3 · 降維 stereo 做不到

找一個非要在這個空間聽的時刻 — 為什麼?

帶這三個觀察進場聆聽,回來用它們接續後面的內容。

1 / 38

Phase 1

開場破題

今日流程

導聆 — 進 49.4 立體聲場聽作品00:00 · 5 min
開場破題 — 為什麼需要「空間」00:05 · 10 min
Paradigm map — 五種空間音訊範式00:15 · 25 min
歷史脈絡 → IRCAM → C-LAB00:40 · 20 min
中場 + 短討論01:00 · 10 min
聆聽 demo 集(4 段)01:10 · 30 min
工具總覽(補充)01:40 · 20 min
2 / 38

為什麼聲音需要「空間」?

先丟一個問題 —

你生活中聽到的所有聲音,
有哪一個是「沒有空間」的?

即使戴耳機,聲音也帶著錄音時的空間殘響。

空間自始為聽覺經驗的本然維度。「空間音訊」之當代意義,在於將此維度重新置於組成的核心

定位

Localization

距離

Distance

沉浸

Immersion

3 / 38

開場 demo — Virtual Barber Shop

1996 · QSound · binaural 經典

戴上耳機

聽完之後 — 你剛才「相信」自己在哪裡?stereo 喇叭播得出這個效果嗎?

4 / 38

我們怎麼聽到方向?

在講機器怎麼擺聲音之前 — 先看一下人類怎麼定位聲源

ITD · 雙耳時間差

聲音到左右耳時間差(最多約 0.6 ms)。

主導低頻 < 1.5 kHz — 波長比頭大,靠相位差判位

ILD · 雙耳強度差

頭擋聲音造成的音量差(head shadow)。

主導高頻 > 1.5 kHz — 波長比頭小,被頭擋住

HRTF · 頭相關轉換函數

外耳廓 / 頭 / 軀幹對各方向頻率的染色。

負責垂直 / 前後定位 — 每個人耳廓不同 → HRTF 因人而異

後面講的五種範式,本質都是用喇叭或耳機重現這三組線索

VBAP / Channel 處理 ILD · Ambisonics 用 SH 模擬完整聲場讓耳朵自己解碼 ITD+ILD+HRTF · Binaural 用 HRTF 卷積直接餵雙耳

Lord Rayleigh 1907 提出 ITD/ILD「Duplex Theory」— 比 stereo 早了 30 年

5 / 38

Phase 2

五種空間音訊範式

什麼是「範式」?

paradigm 一詞於本講之意涵

範式(paradigm):對「聲音如何存在於空間」的一組根本假設,以及由此假設衍生的訊號表示法與處理流程。

五種範式對「聲音是什麼」給出五種答案:

範式之間的差異屬存有論層次:訊號本體的定義不同,因此 record / mix / decode 的整套流程亦隨之不同。範式內部的演算法選擇(VBAP / MDAP / KNN 等)為後段細分主題。

6 / 38

五種範式總覽

範式核心思路代表系統
Channel-based每聲道 = 一只喇叭Stereo · 5.1 · 7.1.4 Atmos bed
Scene-based錄整個聲場,事後 decodeAmbisonics(FOA / HOA)
Object-based聲源 + metadata,渲染端決定Dolby Atmos object · MPEG-H
Binaural模擬雙耳到達差,耳機專用HRTF · dummy head
WFS / 點聲源陣列重建波前,sweet spot 消失IOSONO · Holophonix

接下來五張,一張講一個。

7 / 38

1 · Channel-based — 從 Stereo 開始

  • Stereo:兩個聲道、兩顆喇叭 — phantom center 的幻覺
  • 5.1 → 7.1 → 7.1.4(Atmos bed):把幻覺擴張到環繞與頂部
  • 限制:sweet spot 嚴格、聲道數綁播放系統

關鍵詞 — 「擺一堆聲道」

5.1 surround sound speaker layout
5.1 channel layout · Wikimedia Commons
8 / 38

2 · Scene-based — Ambisonics

  • 不錄聲道,而是錄整個聲場(W/Y/Z/X 四個分量 = First Order Ambisonics)
  • Higher Order(3rd / 7th)解析度更高,概念一樣
  • 優勢:跟最後播放系統解耦 — 同一份檔案可 decode 給耳機(binaural)、5.1、22.2、dome

關鍵詞 — 「錄一個聲場」

Native B-format Ambisonics microphone
Nimbus-Halliday B-format mic · Wikimedia Commons
9 / 38

球面諧波 — Ambisonics 的數學底

為什麼 1st order 是 4 聲道、3rd order 變 16 聲道?

  • Ambisonics 把聲場分解成球面諧波(Spherical Harmonics, SH)的疊加 — 像把訊號做傅立葉,但是在球面上做
  • Order N 對應 (N+1)² 個聲道:1st = 4ch,2nd = 9ch,3rd = 16ch,7th = 64ch
  • Order 越高 → 角度解析度越好,但需要的麥克風 capsule 數解碼運算都暴增
  • 右圖是把同一隻 3D 兔子 / 骷髏用不同階數的 SH 重建 — 從低階的「模糊球」漸進到高階的「精細形狀」。空間音訊的 order 跟它一模一樣的邏輯:1st order 像那團模糊球,能感知方向但聲源是糊的;HOA 才能把聲源「聚焦」

每多一階就多一層空間細節 — 麥克風價格也跟著翻倍。

Spherical harmonics reconstruction at increasing orders (rabbit and skull)
SH 重建:l<1 → l<32 · Skibbe et al., ICCV 2009
10 / 38

3 · Object-based — Dolby Atmos / MPEG-H

  • 聲源帶 metadata(位置、移動軌跡、增益)— 渲染端依播放系統重新計算
  • 同一個 mix,戲院 22.2、家用 7.1.4、AirPods binaural 都能用
  • 商業現場主流:Apple Music spatial、Netflix、戲院

關鍵詞 — 「聲音是物件,不是聲道」

Dolby Atmos studio with height speakers
Dolby Atmos system, SoundFirm Melbourne · Wikimedia Commons
11 / 38

4 · Binaural — 給耳朵的聲音

  • HRTF(Head-Related Transfer Function):模擬聲音從某方向到達雙耳的差異
  • 假人頭錄音(dummy head)vs 數位 HRTF 渲染
  • 限制:頭不能轉(沒做頭部追蹤的話);HRTF 因人而異 → 內部化(in-head)前後混淆是常見副作用

關鍵詞 — 「直接餵雙耳」

開場 Virtual Barber Shop 那段就是 binaural。即使數學完美,HRTF 通用化的個人差異 → 聲音容易卡在頭裡而不是「外面」— 這也是 Apple AirPods 後來導入個人化 HRTF 掃描的原因。

Neumann KU 100 dummy head microphone
Neumann KU 100 dummy head · Wikimedia Commons
12 / 38

5 · WFS — 點聲源陣列

  • Wave Field Synthesis:用幾十顆 ↔ 幾百顆喇叭重建波前
  • Sweet spot 消失 — 教室裡每個位置都聽到正確的空間定位
  • TU Berlin、IOSONO、Holophonix
  • 屬於 paradigm shift;改變於訊號模型層級,超出聲道數量擴張之範疇

關鍵詞 — 「重建波前」

Wave field synthesis speaker array
WFS speaker array, Eindhoven 2006 · Wikimedia Commons
13 / 38

五種範式怎麼選?

場景常用範式
戲院 / 家庭劇院Channel-based(成熟、便宜)
360 影片 / VRScene-based(Ambisonics)
串流跨裝置Object-based(Atmos)
耳機體驗Binaural(單獨或當其他 paradigm 的 decode 終點)
美術館 / 藝術裝置 / 研究機構WFS / 客製化點聲源(少見、貴)

真實案例常常混搭 — Atmos 內含 channel bed + objects;VR 用 Ambisonics + binaural decode。

14 / 38

Panning Algorithm 細分

同一張 paradigm map 拉細一層 — 每個 paradigm 底下用什麼演算法把聲音「擺到位置上」

演算法機制對應範式典型場景
VBAP找最近 3 顆喇叭組三角形,依向量分解分配增益(Pulkki 1997)Channel-based5.1 / 7.1.4 / dome
MDAPVBAP 的延伸 — 把聲源擴成多個虛擬點,分散到更多喇叭,避免單顆過載 / sweet spot 太窄(Pulkki 1999)Channel-based大空間裝置、移動聲源
KNN panning最近 K 顆喇叭(K 可調),用角度倒數加權分配增益、再做能量正規化。不需要三角網,所以不規則 / 缺幾顆喇叭的場域也算得出來Channel-based / Object-basedSpatGRIS、Spat~、不規則陣列、藝術裝置
Ambisonic decoder把錄好的 SH 聲場依喇叭擺位反算增益(規則 / 不規則陣列都可解)Scene-basedVR / dome / 任意陣列
WFS每顆喇叭算 delay + gain,重建波前(Huygens 原理)WFS / 點聲源陣列研究機構、IOSONO

KNN 怎麼運作 — 三步驟

  1. 找鄰居:以聲源角度為基準,挑出 K 顆角度最近的喇叭(K 通常 3–10,創作者可調)
  2. 加權:每顆喇叭依角度差倒數(或高斯函數)給增益 — 越靠近聲源的喇叭越大聲
  3. 能量正規化:總增益平方和 = 1,避免 K 越大聲音越爆 / 越小越虛

K 是創作參數:K=3 銳利定位、K=8 像 wash 一樣糊掉,可以做「聲音慢慢散開」這類動態效果。

為什麼 KNN 適合不規則陣列

VBAP 需要把球面切成乾淨的三角網(Delaunay triangulation)— 喇叭少幾顆、或上下角度錯落不對稱,三角網就崩了。KNN 不需要拓樸結構,只看角度距離,所以:

  • C-LAB Dome、藝術裝置這種「臨時搭、喇叭擺哪算哪」的場域 → KNN
  • 戲院 / 規格化 5.1.4 / Atmos → VBAP 或 channel-based 演算法
  • HOA decoder 跟 KNN 可串接:先 SH 編碼,解碼時再用 KNN 派到不規則陣列上

SpatGRIS 同時支援 VBAP / KNN / HOA decoder 就是這個原因 — 創作者選工具,不是被工具選。

15 / 38

Phase 3

歷史脈絡 → IRCAM → C-LAB

在錄音之前 — Acousmate 的 2,500 年

「聽不到聲源」不是錄音時代的問題

  • 字源希臘文 ἀκοῦσμα (akousma) — 「被聽到的東西」
  • 畢達哥拉斯(西元前 6 世紀)讓學生在簾幕後聽他講課 — 看不到老師才能專注於訊息本身
  • 這群學生被稱為 Acousmatics(神祕教派)
  • 1955 法國評論家 Jérôme Peignot 借用此詞描述musique concrète — 聽到聲音卻看不見來源
  • 1970s François Bayle 在 GRM 將 acousmatic 制度化 → 下一張的 Acousmonium

喇叭是現代的簾幕。

把聲源從視覺中移除,是一個 2,500 年的命題 — 只是技術載體從布幕留聲機喇叭耳機

Pythagoras and Philolaus, woodcut from Gaffurio 1492
Pythagoras & Philolaus · 木刻版畫 · F. Gaffurio《Theorica Musicae》1492 · Wikimedia Commons
16 / 38

空間音訊不是 VR 才有的事

在 Stockhausen / Chowning / IRCAM 之前,已經有 90 年的累積

事件意義
1881 Clément Ader · Théâtrophone(巴黎歌劇院舞台兩支麥克風 → 電話線送到觀眾耳機) 史上第一次「雙耳遠端聆聽」— 比 stereo 唱片早 50 年
1907 Lord Rayleigh · Duplex Theory(ITD 主導低頻、ILD 主導高頻) 現代空間聽覺的物理聲學基礎 — 後面所有 panning 演算法都奠基於此
1930s Bell Labs · Oscar 人工頭 · Blumlein stereo 專利(1931) Stereo 的數學定形 · 第一隻 dummy head → binaural 的工程起點
1955 Stockhausen《Gesang der Jünglinge》— 5 組喇叭環繞觀眾 第一次把空間當成作曲參數(下一張)
1970s Gerzon · Ambisonics · Neumann KU80 商用人工頭 Scene-based 的數學成形 · binaural 進入德國廣播
1990s– IRCAM Spat~ · WFS · 商用 surround · HOA 從學術 → 戲院 → 美術館 → 串流

每個範式背後都有百年以上的物理 / 工程 / 美學累積。VR 跟 Atmos 是延續、不是起點。

17 / 38

Stockhausen《Gesang der Jünglinge》(1955–56)

空間音樂的起點

  • 5 組喇叭環繞觀眾 — 電子音樂史上第一次把「空間」當成作曲參數
  • WDR Köln 工作室,結合電子聲與男童聲的具象 / 合成混合

課堂播 1–2 min 有空間移動感的段落。

Karlheinz Stockhausen
Karlheinz Stockhausen, WDR 1994 · Wikimedia Commons
18 / 38

Chowning《Turenas》(1972)

算法移動的起點

  • John Chowning,Stanford CCRMA — 用 4 喇叭做 360° 移動
  • 同時建立 FM synthesis 的數學模型 — 這作品同時是兩件事的起點
  • Distance cue:音量、濾波、Doppler、reverb

「移動的幻覺如何被算出來」

FM synthesis 直觀示意 — carrier 與 modulator
FM 直觀解釋 · The Fellow Passenger · YouTube
19 / 38

GRM Acousmonium — diffusion 的傳統

  • Pierre Schaeffer 學派,Bayle 1974 設計 Acousmonium
  • 80+ 顆喇叭排成「聲響交響樂團」— 演出時由「聲響演奏者」即時 diffuse
  • 與 channel-based 屬不同思路;以空間情緒之塑造為核心目標,定位精確度為次要關切
  • 1980s 起 GRM 將自家工作流打包為 plugin 工具鏈 GRM Tools(Bandpass / Evolution / Reson / SpacesST 等),將 musique concrète 處理思路帶進 DAW · inagrm.com/grmtools

空間屬於表演本身,於現場即時成形。

同一首作品,今晚在這個 hall 跟下個月在另一個 hall,diffuse 的人不同,作品就不一樣。

GRM Acousmonium
Pierre Schaeffer · GRM Acousmonium · Wikimedia Commons
20 / 38

IRCAM Spat~ 譜系

  • IRCAM(Paris, 1977–)— 把空間化做成可程式化的工具
  • Spat~ Max/MSP 模組(1990s 起):聲源位置、距離、reverb、directivity 都可以是時間函數
  • 譜系作品:Jonathan Harvey、Kaija Saariaho、Marco Stroppa
  • 後續:Spat Revolution(IRCAM × Flux::)成為當代空間音訊製作核心工具

與 C-LAB 的關聯:臺灣聲響實驗室與 IRCAM 簽署合作協議,技術譜系延續至此。

IRCAM, Place Stravinsky, Paris
IRCAM · Place Stravinsky, Paris · Wikimedia Commons
21 / 38

Phase 4

中場 + 短討論

Break

5 MIN

22 / 38

短討論

到目前為止,
哪一種 paradigm 最讓你好奇?為什麼?

開放討論。

23 / 38

Phase 5

聆聽 demo 集

Demo 規則

你的描述,能讓不在場的人重建那個空間嗎?

24 / 38

Demo 1 · Stockhausen《Gesang der Jünglinge》

1955–56 · 5 喇叭環繞 · 電子音樂史第一個

youtube.com/watch?v=nffOJXcJCDg

60 年前的作品,今天聽起來「過時」嗎?

哪些手法現在還有人用?

25 / 38

Demo 2 · Chowning《Turenas》

1972 · 4 喇叭算法移動 · FM synthesis 同時起源

youtube.com/watch?v=kSbTOB5ft5c

「移動」在這作品裡是裝飾還是結構

拿掉移動,還剩什麼?

26 / 38

Demo 3 · Ambisonics 360 video

YouTube spatial audio test · 戴耳機 + 用手機/筆電轉動視角

youtube.com/watch?v=IURc99o8vQo

當你能控制聽什麼方向,「作者意圖」還在嗎?

這是賦權還是失控?

27 / 38

Demo 4 · Dolby Atmos binauralized trailer

Dolby 官方 demo · 戴耳機聽

商業電影的「沉浸」跟 Stockhausen 的「空間化」是同一件事嗎?

28 / 38

四段的共通問題

空間在這四段裡分別扮演什麼角色?

結構

Stockhausen
Chowning

沉浸

Atmos
商業電影

主動探索

Ambisonics 360
VR / 互動

你想做哪一種

29 / 38

Phase 6

工具總覽(補充)

Ableton Live 12.2 — Surround Panner

內建多聲道環繞聲相器 · 商業 DAW · channel + object

  • Live 12.2 直接內建 — 不再需要外掛或 Max for Live patch
  • 支援 4ch / 5.1 / 7.1.4 等格式,XY 平面拖拉定位
  • 對應 Dolby Atmos export — 連到商業 streaming 工作流

ableton.com/live

Ableton Live Surround Panner
Ableton Surround Panner UI · ableton.com
30 / 38

IEM Plug-in Suite

免費開源 Ambisonic 套件 · IEM Graz · scene-based

  • 奧地利 IEM Graz 釋出 — 學術圈 Ambisonics 事實標準
  • StereoEncoder / MultiEncoder(編碼)· BinauralDecoder / AllRADecoder(解碼)
  • VST / AU — Reaper、Ableton 都能掛,入門 Ambisonics 的第一站

plugins.iem.at

IEM StereoEncoder
IEM StereoEncoder · plugins.iem.at
31 / 38

Xp for Live (XP4L)

Max for Live 空間音訊工具包 · 跑在 Ableton

  • Max for Live 寫的工具包 — 直接掛在 Ableton track 上
  • 同時支援 多聲道(channel-based)Ambisonic,混合工作流
  • 適合用 Live 但想跳出官方 Surround Panner 限制的人

xp4l.com

XP4L interface
Xp for Live 介面 · xp4l.com
32 / 38

SpatGRIS

喇叭陣列空間化軟體 · GRIS UdeM × SAT Montréal · speaker-based

  • 專為任意喇叭配置設計 — 不限 5.1 / 7.1.4 規格
  • 支援最多 256 ch I/O,2D / 3D dome / 環形 / 任意點陣
  • 免費開源 — 美術館、藝術裝置、研究機構常用

github.com/GRIS-Research/SpatGRIS

SpatGRIS 3D dome view
SpatGRIS 3D dome 視圖 · GRIS UdeM
33 / 38

O3A Flare(plugin 類)

Ambisonic 視覺化 plugin · Blue Ripple Sound

  • O3A(third-order Ambisonic)聲場即時視覺化
  • 不同頻段以顏色區分(紅低 → 紫高),看得到聲源主方向與頻譜分布
  • 插在 Ambisonic 訊號鏈中段「看見」聲場 — 監聽 / 教學 / debug 都好用

blueripplesound.com/plugin/o3a_flare

O3A Flare plugin
O3A Flare · Blue Ripple Sound
34 / 38

五個工具對照

放回 paradigm map — 不同工具對應不同範式

工具主要範式商業性適合場景
Ableton Surroundchannel + object商業 DAW 內建商業製作、Atmos export
IEM Plug-in Suitescene(Ambisonic)免費開源學術、Ambisonics 入門
XP4Lchannel + scene免費(Live 內)Ableton 用戶想擴展
SpatGRISspeaker-based免費開源美術館、任意陣列
O3A Flarescene 視覺化商業 plugin監聽、教學、debug

沒有「最好」— 看你要做哪一種空間,住在哪個 DAW 生態系。

35 / 38

思考題 — 兩條路通向耳機

在 demo 跟工具之後 — 留一個問題給自己

如果最終都是耳機聆聽,
「Ambisonics → Binaural decoding」「直接用人工頭錄音」
各自的優缺點是什麼?

Ambisonics → Binaural

  • 事後可變更解碼方式(換 HRTF / 加頭部追蹤)
  • 同一份檔案能上戲院喇叭也能 binaural — 跨系統
  • 需要編碼 / 解碼的運算成本 + 精度損失

直接 dummy head 錄

  • 錄什麼就是什麼 — 真實場域的麥克風 + 反射
  • 無法後製空間 / 無法跨系統 · 頭轉就破功
  • 製作成本低(兩支麥),但修不了

這題沒有標準答案 — 看你做的是「可被重新詮釋的素材」還是「不可重複的時刻」。

36 / 38

「我想自己試試看」checklist

  1. 戴耳機,到 iem.at 下載 IEM Plug-in Suite。
  2. 在 Reaper / Ableton 開一個 4-channel 軌,把一段 mono 聲音用 Encoder 移動位置
  3. BinauralDecoder 監聽 — 聽得出方向變化嗎?
  4. 為一段 1 分鐘的影片做空間化配音。
37 / 38

延伸閱讀

進一步研究的起點。

論文 · 演算法源頭

  • Pulkki, V. (1997).
    Virtual sound source positioning using vector base amplitude panning. JAES 45(6). — VBAP 原始論文
  • Daniel, J. (2003).
    Spatial sound encoding including near field effect: distance coding filters and a viable, new ambisonic format. AES 23rd Conf. — HOA decoder
  • Gerzon, M. A. (1992).
    General metatheory of auditory localisation. AES 92nd Convention. — Ambisonics 理論基底

教材 · 訪談

  • Zotter, F. & Frank, M. (2019).
    Ambisonics: A Practical 3D Audio Theory. Springer (免費下載) — IEM 作者、目前最權威的紙本級教材
  • Lopez-Lezcano, F. (2025).
    Music 222: Sound in Space. Stanford CCRMA — 完整課程材料、SH 圖譜、decoder 實作
  • Anderson, J. (Composer interviews).
    Annette Vande Gorne on acousmonium & diffusion. Computer Music Journal 36(1)

線上 · 文件 / Wiki

plugins.iem.at/docs · IEM Plug-in Suite manuals

flux.audio/project/spat-revolution · Spat Revolution 官方文件

en.wikipedia.org/wiki/Ambisonics · 歷史 + 數學概覽

ccrma.stanford.edu/~jos/Spatial/ · Smith, JOS 數位濾波器空間音訊章節

當代 acousmatic · 延伸聆聽

Influx — Métamorphoses 2024

第 13 屆雙年 acousmatic 作曲比賽決賽輯(Vande Gorne / Jonty Harrison 評審體系)。2024-10-16 於布魯塞爾「L'Espace du Son」音樂節首演,2025-03 發行。Schaeffer / GRM 譜系於當代之延伸。

influxacousmatic.bandcamp.com/album/m-tamorphoses-2024

下一步

  • W12 工作坊:用 IEM + Reaper 做一段 4-channel 空間化
  • 有興趣 dome 製作 → SpatGRIS + SAT Montréal 教學
  • 商業 Atmos → Apple Logic Pro 內建 Atmos 工作流
38 / 38