‹
Lập trình âm thanhChương 12 · CHƯƠNG 12 ỨNG DỤNG WEB AUDIO PHẦN 2

CHƯƠNG 12 ỨNG DỤNG WEB AUDIO PHẦN 2

Mục tiêu của chương

Sau chương này, người đọc phải làm được những việc sau.

• Viết vào một AudioParam bằng ba cách chuẩn, chọn đúng cách cho từng loại tham số, và đo được mức nhiễu răng cưa đã giảm.

• Huỷ và neo lại lịch cũ đúng cách khi người dùng đổi ý giữa chừng, và giải thích được vì sao thiếu dòng neo thì sai.

• Dựng được một rack hiệu ứng có bypass thật, và chứng minh bằng số rằng đặt gain về 0 không tiết kiệm gì.

• Chọn đúng luật trộn khô-ướt và đo được độ gợn mức của luật do người đọc chọn trên toàn dải núm.

• Giải thích được ảnh hưởng của thứ tự khe trong rack bằng hai chỉ số đỉnh và độ to.

• Dựng được kiến trúc bus và nhóm, cài được ducking hai chiều, và đo được phần lời nổi lên trên tiếng ra.

• Chỉ ra được khối nào gộp chung được và khối nào không, và đo được tỉ số tiết kiệm của mỗi cách gộp.

• Đặt được trần đa âm có mờ ra, và nói được cái giá phải trả cho nó.

• Viết đúng vòng đời sáu bước của một giọng, và phát hiện được node rò bằng cách đếm chứ không bằng công cụ đo bộ nhớ.

• Tách được máy âm thanh khỏi giao diện, và dựng được một phép kiểm hồi quy chạy trong vòng kiểm tự động.

Chương này trả lời bằng số những câu hay được trả lời bằng cảm tínhĐặt gain về 0 có tiết kiệm máy không? Đo được: 519 so với 517 mili giây, tức không tiết kiệm gì. Chỉ ngắt nối mới rẻ, và rẻ 3,5 lần.Một bus vang chung rẻ hơn bao nhiêu so với mỗi giọng một phòng? Đo được: 3,2 lần ở bốn giọng, và 16,2 lần ở ba mươi hai giọng.Node đã phát xong mà bỏ sót việc ngắt thì tốn gì? Đo được: chậm hơn 1,77 lần — và công cụ đo bộ nhớ của trình duyệt không nhìn thấy nó.Toàn bộ mã JavaScript trong bài đã chạy thật trên một bản cài đặt Web Audio đầy đủ, kết quả đổ ra tệp rồi đo lại bằng mô-đun Python của các chương trước.

12.1 Vị trí của chương trong cuốn sách

12.1.1 Chương 11 dựng được đồ thị. Chương này dựng được ứng dụng

Cuối chương 11, người đọc đã dựng được một đồ thị node chạy thật: có nguồn phát, có bộ lọc, có worklet riêng, và có lịch sự kiện chính xác tới một mẫu. Nhưng một đồ thị chạy được chưa phải là một ứng dụng.

Khoảng cách giữa hai thứ ấy không nằm ở phép xử lý. Nó nằm ở những câu hỏi mà chương 11 chưa cần trả lời: khi người dùng kéo một thanh trượt thì viết vào tham số như thế nào cho khỏi kêu tách; khi tắt một hiệu ứng thì máy có rẻ đi thật không; khi có ba mươi giọng cùng lúc thì cái gì nên dùng chung; và khi một tiếng đã tắt thì những node của nó đi đâu.

Hình minh hoạ
Hình minh hoạ

Hình 12.1 Bảy mục kỹ thuật của chương 12

Hình minh hoạ
Hình minh hoạ

Hình 12.2 Bốn khoảng cách giữa một đồ thị chạy được và một ứng dụng giao được

12.1.2 Mọi câu trả lời trong chương này đều là số đo

Chương 11 đã đặt ra một nguyên tắc: mã JavaScript in trong bài là mã đã chạy thật, và mọi con số là số đo trên tiếng ra. Chương 12 giữ nguyên nguyên tắc ấy, và dùng nó cho một loại câu hỏi khác — những câu hỏi mà người ta hay trả lời bằng cảm tính.

Ví dụ câu hỏi quen thuộc nhất: đặt gain của một nhánh về 0 có tiết kiệm máy không? Ai cũng có một ý kiến. Mục 12.3.3 đo và cho ra con số 519 mili giây so với 517 — nghĩa là không tiết kiệm gì hết. Chỉ ngắt nối mới rẻ, và rẻ 3,5 lần.

Bảng 12.1 Bảy mục và câu hỏi mà mỗi mục trả lời bằng số

MụcCâu hỏiTrả lời đo được
12.2Viết vào tham số thế nào cho khỏi kêu tách?Ramp thay vì gán thẳng: sạch hơn 71 decibel
12.3Bypass bằng gain = 0 có rẻ không?Không rẻ chút nào; ngắt nối rẻ 3,5 lần
12.3Luật wet/dry nào giữ được mức?Tuyến tính hõm 2,99 dB; đẳng công suất gợn 0,03
12.4Ducking tự động nâng lời lên bao nhiêu?Từ dưới nhạc 2,62 dB lên trên nhạc 8,43 dB
12.5Một bus vang chung rẻ hơn bao nhiêu?Từ 3,2 lần ở 4 giọng lên 16,2 lần ở 32 giọng
12.6Node đã phát xong mà không ngắt thì tốn gì?Chậm hơn 1,77 lần, và bộ nhớ thật không trả lại
12.8Dựng lại một cảnh có ra đúng kết quả cũ không?Đúng từng bit — sai lệch bằng 0 trên 88.200 mẫu

12.1.3 Một nhận xét về thứ tự các mục

Bảy mục của chương này xếp theo một trật tự có chủ ý: từ thứ nghe được sang thứ đo được, rồi mới tới thứ giao được.

• Hai mục đầu — 12.2 và 12.3 — là chuyện tai nghe thấy. Tiếng tách, tiếng bụp khi bật tắt, mức tụt khi kéo núm wet/dry. Người dùng phàn nàn về đúng những thứ này.

• Ba mục giữa — 12.4 tới 12.6 — là chuyện máy chịu được. Trộn động, dùng chung tài nguyên, và dọn dẹp. Người dùng không nghe thấy chúng, nhưng khi chúng sai thì máy nóng lên và tiếng bắt đầu ngắt quãng.

• Hai mục cuối — 12.7 và 12.8 — là chuyện giao được. Tách mô-đun và kiểm hồi quy. Đây là phần biến một bài tập thành một sản phẩm mà người khác dám sửa.

Một lời dặn trước khi vào bàiChương này có rất nhiều con số, và cám dỗ lớn nhất là học thuộc chúng. Đừng. Con số của máy dựng cuốn sách này không phải con số của máy người đọc, và càng không phải con số của máy người dùng.Thứ đáng học là cách đo và hình dạng của kết quả: cái nào tăng tuyến tính theo số giọng, cái nào gần như nằm ngang, cái nào không đổi gì cả. Hình dạng ấy thì đúng trên mọi máy.Mỗi phép đo trong bài đều kèm đủ thông tin để chạy lại. Bài tập cuối chương yêu cầu chạy lại ít nhất ba phép trên máy của người đọc.

12.2 Lập lịch tham số — đổi núm mà không kêu tách

12.2.1 Lỗi phổ biến nhất: gán thẳng vào value mỗi khung hình

Nối một thanh trượt HTML với một AudioParam là việc đầu tiên ai cũng làm, và hầu như ai cũng làm sai theo cùng một kiểu. Mã sai trông rất hợp lý.

Liệt kê 12.1 Cách viết ai cũng nghĩ tới đầu tiên — và nó sai

slider.addEventListener("input", (e) => { gainNode.gain.value = Number(e.target.value); // SAI});

Vấn đề không nằm ở chỗ giá trị sai. Giá trị hoàn toàn đúng. Vấn đề nằm ở chỗ trình duyệt chỉ sinh sự kiện input mỗi khung hình một lần — sáu mươi lần mỗi giây, tức cách nhau 16,7 mili giây — trong khi Web Audio chạy 344,53 khối mỗi giây. Giữa hai lần gán, tham số đứng nguyên một chỗ rồi nhảy một bước.

Công thức (12.1)(12.1)

Trong công thức, Δv là độ lớn của bước nhảy giữa hai khung hình liên tiếp và f là tần số khung hình. Mỗi bước nhảy ấy là một chỗ gãy trong đường bao, đúng cái đã gây tiếng tách ở mục 6.6 — chỉ khác là ở đây nó lặp lại sáu mươi lần mỗi giây, thành một tiếng rè liên tục mà người ta hay đổ cho bộ lọc.

Bảng 12.2 Ba nhịp thời gian cùng chạy trong một ứng dụng

NhịpTần suấtKhoảng cáchAi điều khiển
Khung hình giao diện60 lần/giây16,7 msTrình duyệt, theo màn hình
Khối dựng âm thanh344,53 lần/giây2,90 msWeb Audio, cố định 128 mẫu
Mẫu44.100 lần/giây22,7 µsPhần cứng

Bảng cho thấy gốc của vấn đề bằng con số: giữa hai lần giao diện kịp viết vào tham số, Web Audio đã dựng xong gần sáu khối. Sáu khối ấy nhận đúng một giá trị không đổi, rồi khối thứ bảy nhận một giá trị khác hẳn.

Hình minh hoạ
Hình minh hoạ

Hình 12.3 Nhiễu răng cưa của phép gán thẳng, và cách sửa bằng một dòng

12.2.2 Cách sửa: ramp tới khung hình kế tiếp

Cách sửa chỉ dài hơn một dòng. Thay vì gán thẳng, hãy hẹn cho tham số đi tới giá trị mới trong đúng khoảng thời gian tới khung hình sau.

Liệt kê 12.2 Cách viết đúng — và đây là mã đã chạy để đo ra con số 71 decibel

const KHUNG = 1 / 60; // 16,7 msslider.addEventListener("input", (e) => { const v = Number(e.target.value); const t = ctx.currentTime; const p = gainNode.gain; p.cancelScheduledValues(t); p.setValueAtTime(p.value, t); // NEO — xem B12.2.4 p.linearRampToValueAtTime(v, t + KHUNG);});

Kết quả đo trên tiếng ra: phần năng lượng trên 5 kilohertz hạ từ −54,1 xuống −124,9 decibel, tức sạch hơn 71 decibel. Cử chỉ vẫn theo tay đúng như cũ — người dùng không nhận ra gì khác ngoài việc tiếng rè biến mất.

Vì sao ramp tới khung sau chứ không phải 5 mili giâyNếu ramp ngắn hơn khoảng cách hai khung hình thì tham số tới đích rồi đứng chờ — lại thành bậc thang, chỉ là bậc thang có góc bo.Nếu ramp dài hơn thì mỗi lệnh mới lại cắt ngang lệnh cũ giữa chừng, và cử chỉ bắt đầu bị trễ so với tay.Ramp đúng bằng một khung hình cho một đường liên tục tuyệt đối mà vẫn bám sát tay. Đây là lý do hằng số 1/60 xuất hiện trong mã, chứ không phải một con số chọn tuỳ ý.

12.2.3 Ba cách viết vào một AudioParam, và khi nào dùng cách nào

Web Audio cho ba cách đưa một tham số tới giá trị mới, và chúng khác nhau ở hình dạng đường đi chứ không ở đích đến.

Bảng 12.3 Ba cách đưa tham số tới giá trị mới

Cách gọiHình dạngTới đích khi nàoDùng cho
setValueAtTimeBước nhảy thẳng đứngNgay lập tứcTham số ngoài đường tín hiệu; và để neo
linearRampToValueAtTimeĐường thẳngĐúng thời điểm đã hẹnNúm điều khiển, mờ chéo, pan
exponentialRampToValueAtTimeĐường mũĐúng thời điểm đã hẹnTần số và cao độ — tai nghe theo lô-ga
setTargetAtTimeĐường mũ tiệm cậnKhông bao giờ tới hẳnDucking, tắt tiếng, đường bao trơn
Ba điểm dễ sai nhỏ của ba cách trênexponentialRamp không đi qua được số 0 và cũng không xuất phát từ 0 — gọi với đích bằng 0 là lỗi. Muốn tắt hẳn bằng đường mũ thì ramp xuống một giá trị rất nhỏ rồi setValueAtTime(0) ngay sau.setTargetAtTime nhận hằng số thời gian chứ không nhận thời điểm đích. Sau một hằng số, tham số đi được 63 phần trăm quãng đường; sau ba hằng số, 95 phần trăm. Muốn tắt hẳn thì vẫn phải đặt thẳng sau đó.Cả ba đều tính từ giá trị đang có tại thời điểm hẹn, không phải giá trị lúc gọi hàm. Đây là nguồn của toàn bộ mục 12.2.4.
Hình minh hoạ
Hình minh hoạ

Hình 12.4 Mỗi loại tham số một cách đổi và một hằng số thời gian

12.2.4 Điểm dễ sai lớn nhất: bỏ sót việc huỷ lịch cũ

Người dùng kéo thanh trượt xuống rồi đổi ý và kéo ngược lên giữa chừng. Lệnh ramp thứ hai được gọi trong khi lệnh ramp thứ nhất còn chưa chạy xong. Chuyện gì xảy ra?

Câu trả lời làm nhiều người ngạc nhiên: cả hai lệnh cùng có hiệu lực. AudioParam giữ một danh sách sự kiện chứ không giữ một giá trị. Lệnh mới không thay thế lệnh cũ — nó xếp vào sau, và đường đi thật là kết quả của cả danh sách.

Hình minh hoạ
Hình minh hoạ

Hình 12.5 Quên huỷ lịch cũ, và cách huỷ rồi neo lại cho đúng

Trong phép đo của hình, một ramp dài đang đưa tham số lên 0,9 thì bị một ramp mới cắt ngang, hạ xuống 0,2. Bản không huỷ chạm 0,2 đúng như hẹn rồi bị ramp cũ kéo ngược trở lại 0,9. Bản huỷ đúng cách dừng ở 0,2 và giữ nguyên.

Liệt kê 12.3 Ba dòng phải đi liền nhau mỗi lần lập lịch mới

// SAI — chỉ huỷ mà không neo lạip.cancelScheduledValues(t);p.linearRampToValueAtTime(v, t + 0.05);// ĐÚNG — huỷ, NEO giá trị hiện tại, rồi mới rampp.cancelScheduledValues(t);p.setValueAtTime(p.value, t);p.linearRampToValueAtTime(v, t + 0.05);

Dòng neo ở giữa là dòng người ta hay bỏ. Không có nó, ramp mới không biết xuất phát từ đâu: cancelScheduledValues xoá cả điểm mốc cuối cùng, nên tham số rơi về giá trị của sự kiện còn lại gần nhất trước đó — thường là một chỗ hoàn toàn không liên quan.

Một ghi chú trung thực về cancelAndHoldAtTimeĐặc tả có sẵn một hàm làm đúng việc huỷ-và-neo trong một lời gọi: cancelAndHoldAtTime. Trên giấy nó là câu trả lời gọn hơn.Trên bản cài đặt dùng để dựng cuốn sách này, cancelAndHoldAtTime cho kết quả hoàn toàn giống cancelScheduledValues — nghĩa là nó không neo. Vì vậy bài này dạy mẫu ba dòng, là mẫu chạy đúng ở mọi nơi.Người đọc nên tự kiểm hàm ấy trên trình duyệt đích của mình trước khi dùng. Cách kiểm nằm ngay trong bài tập 3 cuối chương.

12.2.5 Lập lịch an toàn: đừng bao giờ hẹn vào hiện tại

Một lỗi nữa rất hay gặp và rất khó thấy: hẹn sự kiện vào đúng currentTime. Trông thì hợp lý — hẹn vào bây giờ. Nhưng currentTime là thời điểm đầu của khối đang dựng, và khi mã của chúng ta chạy thì khối ấy có thể đã dựng xong một phần.

Công thức (12.2)(12.2)

Trong công thức, N là số mẫu của một khối dựng — bằng 128 — và f là tần số lấy mẫu. Với 44.100 hertz, khoảng an toàn tối thiểu là 2,90 mili giây. Thực tế nên lấy rộng hơn: 20 mili giây là con số quen dùng, đủ để chịu được một lần trễ luồng mà vẫn không ai nghe ra độ trễ.

Hình minh hoạ
Hình minh hoạ

Hình 12.6 Vì sao mọi lệnh lập lịch đều cộng thêm một khoảng an toàn

Bảng 12.4 Khoảng an toàn nên dùng trong bốn tình huống

Tình huốngKhoảng an toànVì sao
Người dùng vừa bấm nút20 msKhông ai nhận ra 20 ms; và nó chịu được một lần trễ luồng
Nốt nhạc theo bộ lập lịch100 – 200 msCửa sổ nhìn trước của mục 11.7.4 đã lo phần này
Đổi tham số theo cử chỉ20 msĐủ an toàn mà vẫn bám tay — xem mục 12.2.2
Tiếng phản hồi tức thì trong trò chơi0 ms, dùng start()Gọi start() không tham số là lệnh phát ngay ở khối kế tiếp
Bốn việc cần nhớ của mục 12.2Không bao giờ gán thẳng vào .value của một tham số nằm trên đường tín hiệu. Luôn ramp — dù chỉ ramp một khung hình.Mỗi lần lập lịch mới: huỷ, neo, rồi mới ramp. Ba dòng, luôn đi cùng nhau.Mọi thời điểm hẹn đều là currentTime cộng một khoảng an toàn, không bao giờ là currentTime trần.Gói cả ba việc trên vào một hàm dat() duy nhất và bắt mọi núm đi qua nó — xem mã ở mục 12.7.3. Đây là cách duy nhất để không bỏ sót ở lần thứ ba mươi.

12.3 Rack hiệu ứng — chuỗi khối bật tắt được

12.3.1 Một rack là gì, và vì sao nó không chỉ là một chuỗi

Chương 11 đã nối các node thành chuỗi bằng connect. Một rack hiệu ứng là chuỗi ấy cộng thêm ba thứ mà một ứng dụng thật nào cũng cần: mỗi khối bật tắt được riêng, mỗi khối trộn được khô với ướt, và thứ tự các khối đổi được.

Bảng 12.5 Ba thứ một rack có mà một chuỗi connect thường không có

ThứCần gì thêmMục bàn
Bật tắt từng kheHai nhánh song song và hai GainNode để mờ chéo giữa chúng12.3.2
Trộn khô với ướtMột GainNode trên mỗi nhánh, và một luật trộn đúng12.3.4
Đổi thứ tự kheNgắt và nối lại toàn chuỗi — và biết trước hậu quả của thứ tự12.3.5
Hình minh hoạ
Hình minh hoạ

Hình 12.7 Kiến trúc một rack: khe, nhánh bypass, và đường khô song song

Công thức (12.3)(12.3)

Công thức nói một điều đơn giản nhưng hay bị bỏ qua: chi phí của cả rack là tổng chi phí của những khe đang bật, với b là cờ bật tắt của khe thứ i và c là chi phí của nó. Câu hỏi thú vị nằm ở chỗ: khi b bằng 0 thì cái gì làm cho c biến mất khỏi tổng?

12.3.2 Bypass: hai cách làm, và chỉ một cách nghe được

Cách thứ nhất là ngắt nối: gọi disconnect trên khối cần tắt rồi nối thẳng đầu vào sang đầu ra. Cách thứ hai là mờ chéo: dựng sẵn hai nhánh song song, một nhánh có hiệu ứng và một nhánh không, rồi chuyển giữa hai gain của chúng.

Cách thứ nhất là cách ai cũng nghĩ tới, và nó tạo ra một bước nhảy ngay tại điểm ngắt. Đo trên tiếng ra: năng lượng cao tần quanh chỗ chuyển là −43,0 decibel với cách ngắt tức thì, so với −102,1 với mờ chéo 20 mili giây. Chênh nhau 59 decibel — và 59 decibel là khoảng cách giữa một tiếng bụp rõ mồn một và không nghe thấy gì.

Hình minh hoạ
Hình minh hoạ

Hình 12.8 Hai cách bypass, và cái giá tính bằng CPU của mỗi cách

Liệt kê 12.4 Bypass đúng cách: mờ chéo trước, ngắt nối sau

batTat(khe, bat, ms = 20) { const t = this.ctx.currentTime + 0.02; const g = ms / 1000; for (const [p, dich] of [[khe.uotGain.gain, bat ? 1 : 0], [khe.khoGain.gain, bat ? 0 : 1]]) { p.cancelScheduledValues(t); p.setValueAtTime(p.value, t); p.linearRampToValueAtTime(dich, t + g); } if (!bat) { setTimeout(() => khe.uot.disconnect(), ms + 60); } else if (!khe.dangNoi) { khe.uot.connect(khe.uotGain); khe.dangNoi = true; }}

12.3.3 Và bây giờ là con số làm nhiều người bất ngờ

Câu hỏi: nếu chỉ cần đặt gain của nhánh hiệu ứng về 0 là đủ tắt tiếng, thì việc gì phải ngắt nối cho mất công?

Phép đo trả lời dứt khoát. Cùng một đồ thị hai mươi bốn giọng, dựng bốn giây tiếng: bật hiệu ứng mất 517 mili giây; đặt gain về 0 mất 519 mili giây; ngắt nối mất 146 mili giây.

Đặt gain về 0 không tiết kiệm gì cả519 so với 517 mili giây — chênh lệch nằm trong sai số phép đo. Web Audio vẫn chạy đầy đủ mọi node trong nhánh, rồi mới nhân kết quả với 0 ở cuối.Chỉ có ngắt nối mới làm cho nhánh biến mất khỏi đồ thị dựng, và lúc ấy mới rẻ — 146 so với 517, tức 3,5 lần.Kết luận thực hành: mờ chéo về 0 trước cho khỏi kêu, rồi mới ngắt nối sau khi mờ xong. Hai việc, hai lý do khác nhau, và bỏ việc nào cũng sai một nửa.

12.3.4 Trộn khô với ướt, và một luật hay bị chọn sai

Mỗi khe trong rack có một núm wet/dry quyết định bao nhiêu phần tín hiệu đi qua hiệu ứng. Cách đơn giản nhất là chia tuyến tính: nhánh khô nhân với 1 trừ x, nhánh ướt nhân với x. Cách này sai — và sai theo đúng kiểu đã gặp ở mục 10.4 khi bàn về luật pan.

Công thức (12.4)(12.4)

Mức tổng hợp phụ thuộc hệ số tương quan ρ giữa hai nhánh. Với hai tín hiệu hoàn toàn giống nhau, ρ bằng 1 và luật tuyến tính giữ được mức. Nhưng nhánh ướt là tiếng đã qua hiệu ứng nên nó gần như không tương quan với nhánh khô: ρ về gần 0, và mức tụt đúng ở giữa.

Công thức (12.5)(12.5)

Luật đẳng công suất dùng cosin và sin thay cho phép chia tuyến tính. Đo trên đồ thị chạy thật với một tiếng vang thật: luật tuyến tính hõm 2,99 decibel tại x bằng 0,5, còn luật đẳng công suất gợn tổng cộng 0,03 decibel trên toàn dải.

Hình minh hoạ
Hình minh hoạ

Hình 12.9 Hai luật trộn khô-ướt, và mức đo được trên toàn dải núm

Ba con số của mục này đều là 3 decibel — và chúng là mộtMục 10.2: cộng hai nguồn không tương quan thì mức lên 3,01 decibel chứ không phải 6,02.Mục 10.4: luật pan tuyến tính hụt 3,01 decibel ở giữa.Mục này: luật wet/dry tuyến tính hõm 2,99 decibel ở giữa.Ba mục khác nhau, cùng một phép toán: cộng hai thứ không tương quan thì cộng theo công suất, không cộng theo biên độ.

12.3.5 Thứ tự các khe — một quyết định, không phải một thói quen

Đặt bộ EQ trước hay sau bộ nén? Câu hỏi này trong phòng thu thường được trả lời bằng thói quen. Nhưng nó có một câu trả lời đo được, và câu trả lời ấy khác nhau tuỳ mục đích.

Phép đo dùng cùng một tiếng trống, một bộ EQ nâng 9 decibel ở 900 hertz, và một bộ nén ngưỡng −24 với tỉ số 6. Đổi thứ tự hai khối không đổi một chữ nào trong mã ngoài thứ tự hai lời gọi connect.

Bảng 12.6 Cùng hai khối, đổi thứ tự, và hai con số đổi hẳn

Cấu hìnhĐỉnh (dBFS)Độ to (LUFS)Nhận xét
Tín hiệu vào−10,92−33,64Chưa qua khối nào
EQ → nén−0,53−22,91Bộ nén nhìn thấy phần đã nâng và kiểm soát được nó
nén → EQ+1,86−20,94Phần nâng đi thẳng ra ngoài — vượt trần 0 dBFS
Hình minh hoạ
Hình minh hoạ

Hình 12.10 Đổi thứ tự hai khối trong rack, và hai con số đổi theo

Đặt EQ trước nén thì bộ nén làm được việc của nó: đỉnh dừng ở −0,53 dBFS, dưới trần. Đặt EQ sau nén thì phần nâng đi thẳng ra ngoài, không ai kiểm soát, và đỉnh vọt lên +1,86 dBFS — tức đã cắt méo trước khi ra tới loa.

Thứ tự mặc định nên dùng khi chưa có lý do khácCổng và lọc bỏ tiếng ồn đầu tiên — không nên để bộ nén khuếch đại tiếng ồn nền lên rồi mới đi lọc.EQ cắt trước bộ nén, EQ nâng cũng trước bộ nén — để bộ nén nhìn thấy đúng thứ sẽ ra ngoài.Bộ nén rồi tới hiệu ứng thời gian — vang và trễ nên ăn vào tín hiệu đã ổn định mức, không thì đuôi vang cũng bị nén theo và nghe như đang thở.Bộ giới hạn cuối cùng, sau tất cả. Đây là mục 8.6, và nó là khối duy nhất có quyền nói câu cuối về đỉnh.

12.4 Trộn động — khi bản trộn tự đổi theo sự kiện

12.4.1 Bus và nhóm: chỗ ổn định để gắn mọi thứ vào

Trong một ứng dụng thật, nguồn phát sinh ra và chết đi liên tục: mỗi bước chân là một BufferSourceNode mới, mỗi nốt nhạc là một giọng mới. Không thể gắn núm âm lượng vào một thứ chết sau nửa giây.

Giải pháp là chèn một tầng ở giữa: mỗi loại tiếng đi qua một GainNode dựng sẵn lúc nạp ứng dụng và sống suốt phiên. Tầng ấy gọi là nhóm, và nó là chỗ duy nhất đáng gắn núm, bộ lọc chung, và ducking vào.

Hình minh hoạ
Hình minh hoạ

Hình 12.11 Ba tầng của một bản trộn: nguồn, nhóm, và bus gửi

Bảng 12.7 Bộ nhóm tối thiểu cho một ứng dụng trò chơi hoặc phát thanh

NhómChứa gìNúm riêngViệc đặc biệt
NhạcNhạc nền, nhạc chuyển cảnhCóLà nhóm bị ducking hạ xuống
LờiThoại, thuyết minhCóLà nhóm kích hoạt ducking; thường không gửi vang
Hiệu ứngTiếng va chạm, bước chân, giao diệnCóNhóm đông nhất — chỗ đặt trần đa âm
Môi trườngTiếng nền liên tục: gió, mưa, đám đôngCóÍt giọng nhưng dài; gửi vang nhiều nhất
MasterTất cả bốn nhóm trênCóChỗ đặt bộ giới hạn cuối cùng — mục 8.6
Phân biệt nhóm với bus gửiNhóm nằm trên đường tín hiệu: mọi thứ đi qua nó rồi mới ra tiếp. Tắt nhóm là tắt cả loại tiếng ấy.Bus gửi nằm song song: mỗi nguồn gửi một phần tín hiệu sang, kết quả cộng thêm vào bản trộn ở master. Tắt bus gửi thì tiếng vẫn còn, chỉ mất phần vang.Nhầm hai thứ này là nguồn của lỗi điển hình: đặt convolver trên đường tín hiệu thay vì song song, rồi không hiểu vì sao không tắt được tiếng khô đi đâu cả.

12.4.2 Ducking — nhạc nền tự nhường chỗ cho lời

Ducking là việc hạ mức một nhóm xuống trong lúc một nhóm khác đang phát. Trong trò chơi và trong phát thanh, nó là thứ khiến người nghe không phải tự chỉnh âm lượng mỗi khi có lời thoại.

Công thức (12.6)(12.6)

Trong công thức, d là tín hiệu điều khiển đi từ 0 tới 1 theo mức độ có tiếng ở nhóm ưu tiên, còn g là mức thấp nhất mà nhóm bị hạ xuống tới. Với g bằng 0,28 như trong phép đo, nhóm nhạc bị hạ 11,1 decibel khi có lời.

Công thức (12.7)(12.7)

Công thức thứ hai nói phần thu được: chênh lệch giữa lời và nhạc tăng thêm đúng bằng lượng đã hạ. Đo lại trên tiếng ra thật — không phải trên đường điều khiển — cho kết quả: không ducking thì lời thấp hơn nhạc 2,62 decibel; có ducking thì lời trội hơn nhạc 8,43 decibel. Đổi 11,06 decibel, khớp với lượng hạ đã đặt.

Hình minh hoạ
Hình minh hoạ

Hình 12.12 Đường điều khiển ducking, và lời nổi lên bao nhiêu trên tiếng ra

Liệt kê 12.5 Ducking hai chiều: hạ nhanh, trả chậm

const TAU_XUONG = 0.030; // 30 ms — kịp trước âm tiết đầuconst TAU_LEN = 0.200; // 200 ms — trả chậm cho êmconst G_MIN = 0.28;duck(bat) { const p = this.nhacGain.gain; const t = this.ctx.currentTime + 0.02; p.cancelScheduledValues(t); p.setValueAtTime(p.value, t); // NEO — bắt buộc p.setTargetAtTime(bat ? G_MIN : 1, t, bat ? TAU_XUONG : TAU_LEN);}
Hai hằng số không bao giờ bằng nhauHạ phải nhanh, vì tai nghe thấy ngay khi lời bị nhạc lấn. 20 tới 40 mili giây là khoảng quen dùng.Trả phải chậm, vì trả nhanh làm nhạc phồng lên giữa hai câu, nghe như đang bơm. 150 tới 400 mili giây tuỳ nhịp lời.Đặt hai hằng số bằng nhau là lỗi hay gặp nhất, và triệu chứng của nó rất dễ nhận: nhạc nền thở theo từng câu.Và dòng setValueAtTime neo lại trong mã trên không được bỏ. Không có nó, setTargetAtTime tính từ một giá trị không xác định — trong phép thử đầu tiên khi dựng bài này, nó cho ra những con số như 2.136.643,5.

12.4.3 Lấy tín hiệu điều khiển từ đâu

Có ba cách lấy tín hiệu d trong công thức (12.6), và chúng khác nhau về độ chính xác lẫn độ phức tạp.

Bảng 12.8 Ba cách sinh tín hiệu điều khiển cho ducking

CáchCách làmƯuNhược
Theo sự kiệnGọi duck(true) khi bắt đầu phát lời, duck(false) khi lời hếtĐơn giản, chính xác tuyệt đối, không tốn gìChỉ dùng được khi biết trước lời bắt đầu lúc nào
Theo đường baoChạy AnalyserNode trên nhóm lời, đọc mức mỗi khung hình rồi lái gainTheo được tiếng trực tiếp, ví dụ micrôTrễ một khung hình; phải tự làm ngưỡng và trễ nhả
Bằng sidechainCho nhóm lời điều khiển một DynamicsCompressor đặt trên nhóm nhạcĐúng kiểu phòng thu, ổn định nhấtWeb Audio không có đầu vào sidechain — phải tự dựng bằng worklet

Với ứng dụng trò chơi và ứng dụng phát thanh có kịch bản, cách thứ nhất là cách nên dùng — nó không tốn gì và không sai bao giờ. Hai cách sau chỉ cần tới khi nguồn ưu tiên là tiếng trực tiếp mà ứng dụng không biết trước.

Hình minh hoạ
Hình minh hoạ

Hình 12.13 Sự kiện nào đổi tham số nào, đổi ra sao, và điểm dễ sai đi kèm

12.4.4 Một quy tắc để không loạn

Tới đây một ứng dụng đã có khá nhiều thứ cùng muốn viết vào cùng một chỗ: người dùng kéo núm, ducking hạ nhóm nhạc, khoảng cách nhân vật đổi mức, và trạng thái trò chơi đổi bộ lọc. Bốn thứ ấy chạy độc lập với nhau và không thứ nào biết ba thứ kia đang làm gì.

Mọi tham số động đều phải có một chủ duy nhấtKhi ducking hạ nhóm nhạc xuống 0,28 và người dùng cùng lúc kéo núm âm lượng nhạc, hai bên cùng ghi vào một AudioParam — và bên gọi sau thắng, bất kể ý định.Cách sửa: tách làm hai GainNode nối tiếp. Một cái cho người dùng, một cái cho ducking. Mỗi tham số một chủ, và mức cuối là tích của hai — đúng thứ chúng ta muốn.Quy tắc này áp cho mọi tham số động, không riêng ducking: âm lượng theo khoảng cách, âm lượng theo trạng thái, và âm lượng do người dùng đặt là ba thứ khác nhau và nên nằm trên ba node khác nhau.

Chi phí của cách này rất nhỏ: mỗi GainNode thêm vào tốn khoảng 25 micro giây lúc dựng — xem mục 12.6.4 — và gần như không tốn gì lúc chạy, vì nhân với một hằng số là phép rẻ nhất trong cả đồ thị. Đổi lại, mã đọc được và không bao giờ có hai chỗ cùng ghi vào một tham số.

12.5 Tối ưu tài nguyên — làm ít đi chứ không làm nhanh hơn

12.5.1 Dùng chung một bộ lọc thay vì mỗi giọng một bộ

Khi ba mươi giọng cùng cần một bộ lọc thấp qua với cùng tần số cắt, có hai cách mắc. Cách thứ nhất: mỗi giọng một BiquadFilterNode riêng. Cách thứ hai: một bộ lọc duy nhất đặt trên GainNode của nhóm, sau chỗ tất cả đã cộng lại.

Công thức (12.8)(12.8)

Công thức viết ra sự khác biệt: cách riêng nhân cả chi phí hiệu ứng lên N lần, cách chung thì không. Vì bộ lọc là tuyến tính và bất biến theo thời gian nên lọc tổng bằng đúng tổng các bản đã lọc — hai cách cho cùng một kết quả nghe được, chỉ khác giá.

Hình minh hoạ
Hình minh hoạ

Hình 12.14 Cùng một tiếng, hai cách mắc bộ lọc, và tỉ số giữa hai cách

Đo trên đồ thị chạy thật: với 8 giọng, cách chung rẻ hơn 2,31 lần; với 128 giọng, 2,89 lần. Điều đáng chú ý là tỉ số ấy không cố định mà nhích lên theo số giọng — càng đông thì càng đáng gộp.

Bảng 12.9 Khối nào gộp chung được, khối nào không

KhốiTuyến tính?Gộp được?Lý do
GainNodeCóĐượcNhân với hằng số — cộng rồi nhân bằng nhân rồi cộng
BiquadFilterNodeCóĐượcLọc tổng bằng tổng các bản lọc
DelayNodeCóĐượcTrễ tổng bằng tổng các bản trễ
ConvolverNodeCóĐược — và đây là chỗ lãi nhấtChập tổng bằng tổng các bản chập — công thức (12.9)
DynamicsCompressorNodeKhôngKhôngNén tổng khác tổng các bản nén — mục 8.4
WaveShaperNodeKhôngKhôngMéo tổng khác tổng các bản méo; sinh cả tần số tổng và hiệu
PannerNodeKhông, vì mỗi giọng một vị tríKhôngGộp là mất thông tin vị trí riêng — mục 10.7
Khi nào không được gộpKhi mỗi giọng cần một thiết lập khác nhau — mỗi nhân vật một tần số cắt riêng theo khoảng cách chẳng hạn. Lúc ấy gộp là đổi kết quả nghe được, không phải tối ưu.Khi hiệu ứng không tuyến tính. Bộ nén, bộ méo, bộ cắt đỉnh: nén tổng khác tổng các bản đã nén. Mục 8.4 đã cho thấy điều này.Quy tắc gọn: khối tuyến tính thì gộp được, khối phi tuyến thì không. Bộ lọc, gain, trễ, vang — gộp được. Nén, méo, giới hạn — không.

12.5.2 Bus gửi vang — chỗ tiết kiệm lớn nhất trong cả chương

Phép chập là phép tính đắt nhất trong một đồ thị âm thanh thông thường. Cho mỗi giọng một ConvolverNode riêng là cách chắc chắn nhất để làm một ứng dụng ngừng hoạt động.

Công thức (12.9)(12.9)

Công thức nói rõ vì sao gộp được: phép chập là tuyến tính, nên chập tổng đã trộn bằng đúng tổng các bản đã chập. Hệ số s là mức gửi của giọng thứ i — mỗi giọng vẫn có phần vang riêng nhiều ít khác nhau, nhưng phép chập chỉ chạy một lần.

Hình minh hoạ
Hình minh hoạ

Hình 12.15 Cái giá của việc mỗi giọng mang một phòng vang riêng

Bảng 12.10 Vang riêng và vang chung — thời gian dựng đo được

Số giọngMỗi giọng một convolverMột bus gửi chungChung rẻ hơn
4105 ms33 ms3,2 lần
8231 ms37 ms6,3 lần
16532 ms52 ms10,2 lần
321.010 ms62 ms16,2 lần

Cột thứ hai tăng gần như tuyến tính theo số giọng. Cột thứ ba gần như đứng yên: từ 33 lên 62 mili giây khi số giọng tăng tám lần. Đó chính là hình dạng mà công thức (12.9) dự đoán, và nó là lý do mọi phần mềm trộn nhạc trên đời đều có khái niệm bus gửi.

Liệt kê 12.6 Bus gửi vang — dựng một lần, mọi giọng dùng chung

// LÚC NẠP ỨNG DỤNG — đúng một lầnthis.vang = this.ctx.createConvolver();this.vang.buffer = await this.napIR("phong_vua.wav");this.vangTra = this.ctx.createGain();this.vangTra.gain.value = 0.8;this.vang.connect(this.vangTra).connect(this.master);// MỖI GIỌNG — chỉ thêm một GainNode nhỏif (gui > 0) { const sg = this.ctx.createGain(); sg.gain.value = gui; // hệ số s trong (12.9) g.connect(sg).connect(this.vang);}

12.5.3 Trần đa âm — cắt bớt giọng, và cái giá của việc cắt

Khi một mẫu trống chạy nhanh, đuôi của tiếng trước còn chưa tắt thì tiếng sau đã vào. Số giọng cùng sống cứ thế leo lên cho tới khi nó bằng số tiếng phát trong quãng thời gian bằng độ dài đuôi.

Công thức (12.10)(12.10)

Số giọng sống là giá trị nhỏ hơn giữa trần đã đặt và tỉ số giữa độ dài đuôi với khoảng cách hai lần phát. Vế thứ hai là con số tự nhiên của bản nhạc; vế thứ nhất là con số chúng ta đặt ra.

Hình minh hoạ
Hình minh hoạ

Hình 12.16 Trần đa âm: cái được tính bằng CPU và cái mất tính bằng decibel

Đo trên một mẫu 150 nhịp mỗi phút với sáu lớp: không đặt trần thì dựng mất 118 mili giây; đặt trần 8 còn 58; đặt trần 16 còn 81. Nhưng nhìn cột đỉnh thì thấy cái giá: cắt bớt giọng cũng cắt bớt phần cộng dồn, nên đỉnh đi từ −2,21 lên −0,91 dBFS. Tiếng nghe thưa hơn, không phải chỉ nhẹ máy hơn.

Liệt kê 12.7 Trần đa âm có mờ ra, không cắt thẳng

phatCoTran(ten, opts) { if (this.song.size >= TRAN) { const cu = this.song.keys().next().value; // giọng già nhất this.dungMuot(cu, 0.015); // mờ 15 ms rồi stop } return this.phat(ten, opts);}dungMuot(id, ms) { const { s, g } = this.song.get(id); const t = this.ctx.currentTime + 0.005; g.gain.cancelScheduledValues(t); g.gain.setValueAtTime(g.gain.value, t); g.gain.linearRampToValueAtTime(0, t + ms); s.stop(t + ms + 0.005); // onended sẽ tự dọn — xem B12.6}
Chọn giọng nào để cắtCắt giọng già nhất là mặc định hợp lý và là thứ mã trên làm. Nó gần đúng với chỗ tai ít để ý nhất, vì giọng già thường đã ở phần đuôi.Cắt giọng nhỏ nhất thì đúng hơn về tâm lý nghe nhưng tốn công theo dõi mức từng giọng — chỉ đáng làm khi trần thấp.Không bao giờ cắt giọng mới nhất. Người dùng vừa bấm mà không nghe thấy gì là lỗi nghiêm trọng hơn nhiều so với việc mất một đuôi vang.Và luôn mờ ra 10 tới 20 mili giây thay vì gọi stop thẳng — nếu không, trần đa âm tự nó trở thành máy sinh tiếng tách.

12.5.4 Thứ tự làm việc khi tối ưu

Bốn mục vừa rồi cho bốn cách tiết kiệm với bốn tỉ số rất khác nhau. Xếp chúng theo tỉ số được trên công bỏ ra thì thứ tự không giống thứ tự người ta hay nghĩ tới.

Hình minh hoạ
Hình minh hoạ

Hình 12.17 Sáu việc tối ưu xếp theo tỉ số được trên công bỏ ra

Một câu cần nói rõ về những con số nàyMọi tỉ số trong mục 12.5 đo bằng thời gian dựng ngoại tuyến, tức thời gian máy cần để tính xong một đoạn tiếng — không phải thời gian thực.Ưu điểm của cách đo ấy: nó lặp lại được, không phụ thuộc tải hệ thống, và so sánh được giữa hai lần chạy. Đó là lý do bài này dùng nó.Giới hạn của nó: nó không cho biết ứng dụng chạy nổi bao nhiêu giọng trên máy người dùng. Muốn biết điều đó thì phải đo renderCapacity trên chính máy ấy, đúng như đã bàn ở mục 11.5.3.Tỉ số thì chuyển được giữa hai cách đo; con số tuyệt đối thì không.

12.6 Vòng đời và bộ nhớ — node đã chết đi đâu

12.6.1 Sáu bước của một giọng

Mục 11.3.3 đã nói một node nguồn chỉ dùng được một lần. Trong một ứng dụng, điều đó có nghĩa là mỗi tiếng phát ra là một vòng đời đầy đủ, và vòng đời ấy có sáu bước.

Hình minh hoạ
Hình minh hoạ

Hình 12.18 Sáu bước của một giọng, và bước duy nhất người ta hay bỏ sót

Bảng 12.11 Sáu bước, ai gọi, và chuyện gì sai nếu bỏ

BướcAi gọiBỏ thì sao
1. Tạo nodeMã của chúng taKhông có tiếng
2. Nối vào đồ thịMã của chúng taNode chạy nhưng tiếng không tới đâu cả
3. Lập lịch tham sốMã của chúng taTiếng vào đột ngột — kêu tách, xem mục 12.2
4. PhátWeb Audio, ở luồng riêngKhông có gì sai — đây là bước chúng ta không đụng vào
5. onendedTrình duyệt gọi ngược lại mã của chúng taBỏ sót đăng ký thì bước 6 không bao giờ chạy
6. Ngắt nối và bỏ tham chiếuMã của chúng ta, trong bước 5Rò node: chậm dần và tốn bộ nhớ — mục 12.6.2

Năm bước đầu do mã của chúng ta gọi. Bước thứ sáu — dọn dẹp — cũng do mã của chúng ta gọi, nhưng gọi trong một hàm mà trình duyệt kích hoạt chứ không phải chúng ta. Đó là lý do nó hay bị bỏ sót: không có dòng nào trong mã tuyến tính nhắc tới nó.

12.6.2 Node bị bỏ sót không chỉ tốn bộ nhớ — nó tốn CPU

Đây là chỗ trực giác hay sai. Người ta nghĩ một node đã phát xong thì nó im, mà im thì không tốn gì. Web Audio không làm việc như vậy: chừng nào node còn nối vào đồ thị, trình duyệt còn phải chạy qua nó mỗi khối 128 mẫu.

Hình minh hoạ
Hình minh hoạ

Hình 12.19 Cái giá của node bị bỏ sót, đo bằng CPU và bằng bộ nhớ

Bảng 12.12 Bỏ lại K chuỗi node đã phát xong — thời gian dựng đo được

Số chuỗi bỏ lạiCòn nối vào đồ thịĐã disconnectChậm hơn
012 ms11 ms1,05 lần
3223 ms20 ms1,13 lần
12867 ms51 ms1,31 lần
512589 ms333 ms1,77 lần

Tỉ số tăng theo số node bỏ lại, đúng như dự đoán. Nhưng cần đọc con số này cho đúng: 1,77 lần chứ không phải vô hạn. Một node câm vẫn rẻ hơn một node đang kêu, nên tỉ số dừng lại ở đó chứ không lớn thêm. Nói cách khác, node rò làm ứng dụng chậm dần chứ không làm nó chết ngay — và đó chính là lý do lỗi này sống sót lâu trong các dự án thật.

12.6.3 Vì sao công cụ đo bộ nhớ của trình duyệt không thấy

Phép đo bộ nhớ đi kèm cho một kết quả đáng để dừng lại nghĩ. Tạo 20.000 GainNode và giữ tham chiếu: heap JavaScript lên từ 7,9 tới 22,1 MB. Thả tham chiếu rồi cho bộ thu gom rác chạy: heap tụt về 8,0 MB — sạch sẽ.

Nhưng bộ nhớ thật của tiến trình không quay lại, và khi 20.000 node vẫn còn nối vào đồ thị thì nó leo thêm 115 MB nữa trong khi heap JavaScript đứng yên ở 8,0. Phần thân thật của một AudioNode nằm ngoài heap JavaScript.

Đọc hai cột này cho đúngCột heap thấp không chứng minh là không rò. Nó chỉ chứng minh là phần vỏ JavaScript đã được thu hồi.Cột bộ nhớ thật cao cũng không chứng minh là có rò — bộ cấp phát giữ lại vùng nhớ đã xin của hệ điều hành là chuyện bình thường.Thứ thật sự chứng minh có rò là đếm: giữ một Map các giọng đang sống và kiểm tra rằng nó trở về rỗng khi mọi tiếng đã tắt. Đây là phép kiểm rẻ nhất và chắc nhất, và nó nằm trong bảng kiểm ở mục 12.8.4.

12.6.4 Dựng đồ thị cũng tốn tiền

Còn một chi phí nữa ít ai để ý: chính việc tạo node cũng mất thời gian, và thời gian ấy tiêu trong luồng chính chứ không phải luồng âm thanh.

Bảng 12.13 Chi phí tạo và nối node, đo trên bốn cỡ đồ thị

Số nodeThời gian dựngMỗi node
643,3 ms26,0 µs
25611,9 ms23,3 µs
1.02447,1 ms23,0 µs
4.096227,6 ms27,8 µs
Công thức (12.11)(12.11)

Chia ngân sách một khối cho chi phí một node được một con số dễ nhớ: khoảng 116 node. Dựng nhiều hơn thế trong một khung hình là đã tiêu hết thời gian của một khối dựng — và tuy hai luồng khác nhau nên nó không gây ngắt tiếng ngay, nó vẫn làm khung hình giật.

Hệ quả thực hành của con số 116Đừng dựng đồ thị của cả màn chơi trong một khung hình. Chia ra vài khung, hoặc dựng lúc màn hình đang tải.Đừng tạo node trong vòng lặp vẽ. Mỗi bước chân một BufferSource là bình thường; ba mươi bước chân trong một khung hình thì không.Và với những chuỗi hiệu ứng dùng đi dùng lại, hãy dựng sẵn một bể rồi tái sử dụng — chỉ trừ BufferSourceNode, thứ không tái sử dụng được vì đặc tả cấm.
Hình minh hoạ
Hình minh hoạ

Hình 12.20 Cái gì phải dọn, cái gì phải giữ, và dọn bằng cách nào

12.7 Đóng gói ứng dụng — tách máy âm thanh khỏi giao diện

12.7.1 Ba mô-đun và một ranh giới

Sáu mục vừa rồi cho một đống kỹ thuật. Nếu đổ hết chúng vào cùng một tệp với mã xử lý nút bấm thì sau hai tuần không ai sửa được nữa — kể cả người viết.

Cách tổ chức đã chứng minh được là dùng được chia làm ba mô-đun, và điều quan trọng không phải là con số ba mà là ranh giới giữa chúng.

Hình minh hoạ
Hình minh hoạ

Hình 12.21 Ba mô-đun, và giao diện chỉ được gọi qua một ranh giới duy nhất

Bảng 12.14 Ba mô-đun: việc của mỗi bên, và thứ mỗi bên bị cấm

Mô-đunViệc của nóBị cấm
Giao diệnĐọc trạng thái nút và núm, vẽ đồng hồ mức, gọi các hàm của máy âm thanhKhông được biết tới AudioContext, node, hay currentTime
Máy âm thanhGiữ context, dựng đồ thị cố định, quản lý giọng sống, lập lịch mọi tham sốKhông được đụng vào DOM, không được tự đọc tệp
Kho tài nguyênNạp và giải mã buffer, giữ một Map dùng chung, trả buffer khi được hỏiKhông được biết đồ thị mắc thế nào
Một phép thử để biết ranh giới có đúng khôngTìm chữ document và chữ window trong tệp máy âm thanh. Nếu có, ranh giới đã bị phá vỡ.Tìm chữ createGain, connect, currentTime trong tệp giao diện. Nếu có, ranh giới cũng đã bị phá vỡ.Phép thử nghiêm nhất: chạy được máy âm thanh trong OfflineAudioContext, không có trình duyệt, không có DOM. Nếu chạy được thì ranh giới đúng — và đó cũng chính là thứ làm cho mục 12.8 khả thi.

12.7.2 Nạp và mở máy — điểm dễ sai số một của mọi ứng dụng Web Audio

Mọi trình duyệt hiện nay đều tạo AudioContext ở trạng thái suspended cho tới khi có một cử chỉ thật của người dùng. Đây là quy định chống quảng cáo tự kêu, và nó không có ngoại lệ.

Hình minh hoạ
Hình minh hoạ

Hình 12.22 Năm mốc từ lúc trang mở tới lúc ứng dụng sẵn sàng phát

Triệu chứng khi làm sai rất dễ nhận: bấm nút đầu tiên thì im, và tới lần bấm thứ hai thì tất cả những gì đã hẹn từ trước bung ra cùng một lúc thành một tiếng nổ. Nguyên nhân là các lệnh start đã được hẹn vào một đồng hồ chưa chạy.

Liệt kê 12.8 Mở máy đúng cách — resume nằm trong chính trình xử lý sự kiện

let may = null;document.querySelector("#batDau") .addEventListener("click", async () => { if (!may) { may = new MayAmThanh(); await may.moMay(); // resume() nằm trong này await may.napKho(DANH_SACH); } may.phat("mo_dau"); }, { once: false });// Và mọi chỗ phát tiếng đều phải kiểm trước:phat(ten, opts) { if (this.ctx.state !== "running") return null; /* ... */}

12.7.3 Khung mã của cả chương gói lại

Toàn bộ những gì đã học trong chương này gói được vào hai mảnh mã. Mảnh thứ nhất dựng một lần và sống suốt phiên; mảnh thứ hai sinh ra hàng nghìn lần và tự dọn.

Hình minh hoạ
Hình minh hoạ

Hình 12.23 Hai mảnh mã: thứ dựng một lần, và thứ sinh ra hàng nghìn lần

Chú ý ba dòng cancel, neo, ramp trong hàm dat của mảnh (a). Chúng là mục 12.2.4 đóng gói lại thành một chỗ duy nhất, và mọi núm trong ứng dụng đều đi qua đó. Đây là cách duy nhất để không bỏ sót ở lần thứ ba mươi.

Bên phải, hàm phat làm đúng năm việc: lấy buffer từ kho, tạo source và gain, nối nhánh gửi vang nếu có, đăng ký onended để tự dọn, rồi mới start với khoảng an toàn 20 mili giây. Không dòng nào trong hai khối này biết đến DOM.

Những thứ chưa có trong khung mã trênXử lý lỗi khi decodeAudioData thất bại — tệp lỗi hoặc định dạng trình duyệt không đọc được.Trần đa âm của mục 12.5.3, và bể node tái sử dụng của mục 12.6.4.Hàm dungHet() để tắt sạch mọi giọng khi chuyển màn, và close() khi rời trang.Ba việc trên là nội dung của bài thực hành 2 cuối chương này.

12.8 Kiểm và đo — làm sao biết lần sửa vừa rồi không làm sai gì

12.8.1 Vì sao kiểm âm thanh khó, và vì sao ở đây nó lại dễ

Kiểm tự động cho phần mềm âm thanh nổi tiếng là khó, vì kết quả phụ thuộc đồng hồ, phụ thuộc tải máy, và phụ thuộc thiết bị ra. Chạy hai lần thì ra hai tệp khác nhau ở những chữ số cuối, và thế là không so sánh được.

OfflineAudioContext gỡ đúng khó khăn ấy. Nó dựng nhanh hơn thời gian thực, không phụ thuộc thiết bị, và — điều quan trọng nhất — nó cho kết quả lặp lại được.

Hình minh hoạ
Hình minh hoạ

Hình 12.24 Dựng hai lần cùng một đồ thị, và sai lệch giữa hai lần

Công thức (12.12)(12.12)

Phép kiểm hồi quy chỉ là công thức trên: dựng lại, so với tệp chuẩn, và đòi sai lệch nhỏ hơn ε. Điều bất ngờ dễ chịu là ε ở đây lấy bằng đúng không được — phép đo cho sai lệch lớn nhất bằng 0 trên 88.200 mẫu. Không phải rất nhỏ, mà bằng không, từng bit một.

Liệt kê 12.9 Một phép kiểm hồi quy đầy đủ, chạy được trong vòng kiểm tự động

import { OfflineAudioContext } from "node-web-audio-api";import { readFileSync, writeFileSync } from "node:fs";async function dungCanh() { const c = new OfflineAudioContext(2, 44100 * 2, 44100); const may = new MayAmThanh(c); // CÙNG mô-đun, khác context await may.moMay(); may.phat("trong", { muc: 0.8, gui: 0.3 }); may.dat("amLuongNhac", 0.6); return c.startRendering();}const b = await dungCanh();const moi = b.getChannelData(0);const chuan = new Float32Array(readFileSync("chuan.f32").buffer);let lech = 0;for (let i = 0; i < moi.length; i++) lech = Math.max(lech, Math.abs(moi[i] - chuan[i]));if (lech > 0) { console.error("LỆCH", lech); process.exit(1); }

12.8.2 Ba mức kiểm, từ chặt tới lỏng

Không phải phép kiểm nào cũng nên đòi sai lệch bằng không. Ba mức sau dùng cho ba loại thay đổi khác nhau.

Bảng 12.15 Ba mức kiểm và khi nào dùng mức nào

MứcĐòi hỏiDùng khiĐiểm dễ sai
Từng bitε = 0Sửa thứ đáng lẽ không đổi tiếng: đổi tên biến, tách hàm, dọn mãĐổi phiên bản trình duyệt cũng làm nó đỏ — và đó là đỏ đúng
Theo ngưỡngε = 10⁻⁶ tới 10⁻⁴Đổi thứ tự phép cộng, đổi kiểu số, chuyển sang workletNgưỡng quá lỏng thì lỗi thật đi qua
Theo chỉ sốĐỉnh, LUFS, phổ lệch dưới ngưỡngĐổi thuật toán có chủ ý: đổi bộ lọc, đổi luật trộnHai tiếng khác hẳn nhau vẫn có thể cùng LUFS
Một lời khuyên từ kinh nghiệm dựng chính cuốn sách nàyLưu tệp chuẩn dưới dạng float32 thô, không phải WAV nén hay MP3. Mọi phép mã hoá có tổn hao đều làm vô hiệu phép so sánh từng bit.Lưu kèm một tệp JSON ghi số kênh, tần số lấy mẫu, và phiên bản thư viện đã dùng. Khi phép kiểm đỏ mà không hiểu vì sao, tệp ấy là thứ trả lời.Và khi phép kiểm đỏ vì chúng ta cố ý đổi thuật toán, đừng nới ngưỡng — hãy nghe bản mới, xác nhận nó đúng, rồi thay tệp chuẩn. Nới ngưỡng là cách chắc chắn nhất để phép kiểm mất giá trị.

12.8.3 Đo trong lúc chạy thật

Kiểm ngoại tuyến bắt được lỗi về nội dung. Nó không bắt được lỗi về tài nguyên, vì nó không chạy trong thời gian thực. Ba số sau nên đọc ngay trong ứng dụng đang chạy.

• ctx.renderCapacity — phần trăm ngân sách một khối đã dùng. Vượt 70 phần trăm thường xuyên là dấu hiệu phải giảm tải trước khi máy yếu hơn gặp phải. Đã bàn ở mục 11.5.3.

• Kích thước Map giọng đang sống — nó phải dao động quanh số giọng thật và phải trở về rỗng khi im tiếng. Không về rỗng là rò, và đây là phép phát hiện rẻ nhất.

• Số node đã tạo từ lúc mở — một biến đếm tự tăng. Chia cho thời gian chạy được số node mỗi giây, và so với con số 116 node mỗi khối ở công thức (12.11).

Bảng 12.16 Ba số đo trong lúc chạy, ngưỡng, và việc phải làm khi vượt

Số đoĐọc từ đâuNgưỡng đáng loViệc phải làm
Tải luồng âm thanhctx.renderCapacityTrên 70 phần trăm kéo dàiGiảm tải theo thứ tự ở bảng mục 12.5.4
Số giọng đang sốngKích thước Map của máy âm thanhKhông về 0 sau khi im tiếngTìm chỗ thiếu onended — mục 12.6.2
Số node tạo mỗi giâyMột biến đếm tự tăngTrên 116 node trong một khung hìnhDựng sẵn và tái sử dụng — mục 12.6.4

Ba số này nên hiện ngay trên màn hình trong bản dựng dành cho lập trình viên, cạnh số khung hình mỗi giây. Chúng rẻ tới mức không có lý do gì để không đo, và cả ba đều phát hiện được lỗi trước khi người dùng nghe thấy.

12.8.4 Bảng kiểm trước khi giao

Hình minh hoạ
Hình minh hoạ

Hình 12.25 Tám dòng phải qua trước khi giao một ứng dụng Web Audio

Bảy trong tám dòng của bảng đã có phép đo kèm theo ngay trong chương này. Dòng còn lại — mở máy đúng cách — kiểm bằng cách tải trang trong một cửa sổ mới và bấm nút đầu tiên: nếu tiếng ra ngay và ra đúng một lần, dòng ấy qua.

Bảng 12.17 Kiểm mỗi dòng của bảng bằng cách nào, và con số để so

DòngKiểm bằng cách nàoCon số để so
Không kêu táchDựng ngoại tuyến một lần kéo núm, đo năng lượng trên 5 kHzNên dưới −110 dB; xem mục 12.2.2
Huỷ đúng chỗCắt ngang một ramp dài bằng một ramp ngắn, đọc giá trị cuốiPhải dừng ở đích mới, không bị kéo về đích cũ
Bypass rẻ thậtDựng cùng một cảnh ba lần: bật, gain 0, ngắt nốiBản ngắt nối phải rẻ hơn rõ rệt — bài này đo 3,5 lần
Vang dùng chungĐếm số ConvolverNode trong đồ thịPhải bằng số phòng, không phải số giọng
Có trần đa âmPhát dồn dập rồi đọc kích thước Map giọng sốngKhông được vượt trần đã đặt
Không rò nodeChờ im tiếng rồi đọc lại kích thước Map ấyPhải bằng 0
Mở máy đúng cáchTải trang trong cửa sổ mới, bấm nút đầu tiênTiếng ra ngay, và ra đúng một lần
Có bản chuẩnChạy phép kiểm ở mục 12.8.1 hai lần liên tiếpSai lệch bằng 0 trên toàn bộ số mẫu

12.9 Thực hành, bài tập và tổng kết

12.9.1 Ba bài thực hành

Ba bài dưới đây làm ngay sau khi đọc xong chương, mỗi bài khoảng mười lăm phút, và cả ba dùng chung một tệp khởi đầu.

• Thực hành 1 — chữa một thanh trượt. Cho sẵn một trang có thanh trượt nối với gain bằng phép gán thẳng. Nghe tiếng rè, sửa theo mục 12.2.2, rồi dựng ngoại tuyến cả hai bản và đo phần năng lượng trên 5 kilohertz của mỗi bản. Ghi lại hai con số.

• Thực hành 2 — thêm ba thứ còn thiếu vào khung mã. Lấy khung mã ở mục 12.7.3, thêm trần đa âm, thêm hàm dungHet, và thêm xử lý lỗi cho decodeAudioData. Kiểm bằng cách phát ba mươi tiếng liên tiếp rồi in kích thước Map giọng sống.

• Thực hành 3 — dựng một phép kiểm hồi quy. Chạy mã ở mục 12.8.1 để sinh tệp chuẩn, sửa một hằng số bất kỳ trong máy âm thanh, chạy lại, và xác nhận phép kiểm đỏ. Rồi hoàn nguyên và xác nhận nó xanh.

12.9.2 Bảy bài tập

• Bài 1 — đo lại tỉ số bus vang trên máy của người đọc. Chạy phép đo của mục 12.5.2 với bốn số giọng, vẽ hai đường và so hình dạng với hình trong bài. Con số sẽ khác; hình dạng phải giống. Giải thích một câu nếu không giống.

• Bài 2 — bypass ba cách. Dựng cùng một rack ba lần: bypass bằng gain 0, bằng disconnect thẳng, và bằng mờ chéo rồi disconnect. Đo cả thời gian dựng lẫn năng lượng cao tần quanh chỗ chuyển. Lập một bảng ba dòng hai cột.

• Bài 3 — kiểm cancelAndHoldAtTime. Trên trình duyệt của người đọc, dựng phép thử của mục 12.2.4 với ba biến thể: không huỷ, huỷ rồi neo, và cancelAndHoldAtTime đứng riêng. Nói xem trình duyệt ấy có cài đúng đặc tả không.

• Bài 4 — luật wet/dry riêng. Cài một luật thứ ba nằm giữa tuyến tính và đẳng công suất, ví dụ luật bù một nửa. Đo độ gợn trên toàn dải núm và so với hai con số 2,99 và 0,03 trong bài. Nói khi nào luật ấy đáng dùng.

• Bài 5 — ducking theo đường bao. Thay ducking theo sự kiện bằng ducking đọc mức từ AnalyserNode trên nhóm lời. Đo lại chênh lệch lời trên nhạc và so với con số 8,43 decibel trong bài. Nói xem cách nào chính xác hơn và vì sao.

• Bài 6 — tìm rò trong một ứng dụng cho sẵn. Cho một trang có ba chỗ rò node khác nhau. Tìm cả ba bằng cách đếm Map giọng sống, sửa, và chứng minh bằng một phép kiểm tự động rằng Map trở về rỗng sau khi im tiếng.

• Bài 7 — bảng kiểm cho dự án tự làm. Áp bảng kiểm tám dòng ở mục 12.8.4 vào dự án thực hành của chính người đọc. Với mỗi dòng, ghi rõ đã qua hay chưa, và nếu chưa thì ghi việc cần làm. Kèm ít nhất hai phép đo tự chạy.

12.9.3 Tổng kết chương 12

Hình minh hoạ
Hình minh hoạ

Hình 12.26 Chương 12 gói lại trong sáu con số

Chương 11 và chương 12 hợp thành phần Web Audio của cuốn sách, và hai chương ấy trả lời hai câu hỏi khác nhau. Chương 11 hỏi: một đồ thị âm thanh thời gian thực hoạt động như thế nào. Chương 12 hỏi: làm sao để nó chịu được người dùng thật, máy thật, và một người khác đến sửa mã.

Ba điều đáng mang sang chương sauMọi thứ đổi trên đường tín hiệu đều phải đổi có hình dạng — không bao giờ đổi bằng một bước nhảy. Tai người phát hiện bước nhảy giỏi hơn phát hiện bất cứ thứ gì khác.Tối ưu là làm ít đi, không phải làm nhanh hơn. Sáu việc trong bảng ở mục 12.5.4 đều là bỏ bớt việc chứ không phải tính nhanh hơn — và tỉ số của chúng đi từ 1,05 tới 16,2 lần.Và thứ đắt nhất trong một đồ thị Web Audio không phải là phép tính, mà là những node bị bỏ sót.

Chương 13 rẽ sang một hướng khác hẳn: mô hình AI tạo sinh nhạc và giọng — biểu diễn bằng token, họ mô hình tự hồi quy và khuếch tán, và bài toán tách nguồn. Nhưng mọi thứ dựng ra ở đó rồi cũng phải chạy trong một đồ thị như đồ thị của chương này, và phải chịu đúng những ràng buộc vừa đo.

Tài liệu tham khảo của chương

Nguồn trực tiếp của nội dung trong bài

• W3C — Web Audio API, khuyến nghị chính thức. Phần AudioParam automation là nguồn trực tiếp của mục 12.2: ngữ nghĩa chính xác của từng phương thức lập lịch, và định nghĩa của cancelScheduledValues với cancelAndHoldAtTime. Đọc kỹ phần này trước khi tin vào trực giác.

• Rothstein, J. — MIDI: A Comprehensive Introduction, chương về quản lý đa âm. Khái niệm trần đa âm và luật chọn giọng để cắt ở mục 12.5.3 lấy từ truyền thống nhạc cụ điện tử, không phải từ Web Audio.

• Izhaki, R. — Mixing Audio: Concepts, Practices and Tools. Nguồn của mục 12.3.5 về thứ tự khe và của mục 12.4 về bus, nhóm, và ducking. Sách viết cho người trộn nhạc chứ không cho người lập trình, và đó là lý do nên đọc.

• Choi, H. — Web Audio performance and best practices, cùng loạt bài về kiến trúc luồng. Nguồn của phần bàn về chi phí dựng đồ thị ở mục 12.6.4.

Sách

• Smus, B. — Web Audio API. Phần về bể node tái sử dụng và về quản lý giọng vẫn còn nguyên giá trị.

• Reiss, J. D., McPherson, A. — Audio Effects: Theory, Implementation and Application. Chương về hiệu ứng thời gian giải thích vì sao vang phải nằm cuối chuỗi, và chương về động lực giải thích thứ tự nén với EQ.

• Somberg, G. (chủ biên) — Game Audio Programming: Principles and Practices. Bộ sách nhiều tập, và các chương về voice management, ducking, và bus routing là bản dài của mục 12.4 và 12.5.

• Beazley, D. — Python Distilled, chương về vòng đời đối tượng. Đọc để đối chiếu: bài toán ở mục 12.6 không phải bài toán riêng của Web Audio.

Công cụ nên biết

• Thẻ Performance của bảng điều khiển trình duyệt. Nó vẽ riêng một hàng cho luồng âm thanh, và đây là cách nhìn thấy chi phí dựng đồ thị ở mục 12.6.4 rơi vào luồng nào.

• Thuộc tính ctx.renderCapacity. Con số duy nhất đọc được ngay trong mã cho biết ứng dụng còn bao nhiêu chỗ thở. Đã bàn ở mục 11.5.3 và dùng lại ở mục 12.8.3.

• node-web-audio-api. Bản cài đặt Web Audio đầy đủ chạy ngoài trình duyệt; toàn bộ số liệu của chương này dựng bằng nó, và nó là thứ làm cho phép kiểm hồi quy ở mục 12.8 chạy được trong vòng kiểm tự động.

• Bất kỳ thư viện đo LUFS nào theo ITU-R BS.1770. Hai chỉ số đỉnh và độ to ở mục 12.3.5 là hai chỉ số tối thiểu để nói chuyện về thứ tự khe mà không cãi nhau.

Đọc thêm theo hướng

• Muốn đi sâu về quản lý giọng: tìm đọc về voice stealing và về priority-based voice allocation trong các máy tổng hợp phần cứng. Trần đa âm ở mục 12.5.3 mới là bản đơn giản nhất của cả một họ thuật toán.

• Muốn đi sâu về trộn động: tìm đọc về adaptive music và về vertical remixing trong âm thanh trò chơi. Ducking ở mục 12.4 là trường hợp riêng đơn giản nhất của việc bản trộn tự đổi theo trạng thái.

• Muốn đi sâu về kiểm: tìm đọc về golden file testing và về perceptual audio metrics như PEAQ hay ViSQOL. Ba mức kiểm ở mục 12.8.2 dừng ở chỗ so sánh số; các chỉ số ấy đi tiếp tới chỗ so sánh nghe.

• Muốn đi sâu về kiến trúc: tìm đọc mã nguồn của Howler.js và của Tone.js. Cả hai đều là bản đầy đủ của mục 12.7, và đọc chúng là cách nhanh nhất để thấy những gì khung mã trong bài còn thiếu.

Một lưu ý về các con số trong bài

Cách đọc các con sốCác con số về decibel — nhiễu răng cưa, tiếng tách khi bypass, độ hõm của luật wet/dry, đỉnh và độ to khi đổi thứ tự khe, chênh lệch lời trên nhạc — là kết quả đo trên tiếng ra thật của đồ thị Web Audio chạy thật, đo lại bằng mô-đun Python của các chương trước. Chúng lặp lại được trên mọi máy.Các con số về thời gian dựng — mọi tỉ số trong mục 12.5 và 12.6 — là số đo trên máy dựng cuốn sách này. Con số tuyệt đối sẽ khác trên máy khác; tỉ số và hình dạng của đường cong thì không.Con số 116 node ở công thức (12.11) là phép chia giữa ngân sách một khối và chi phí trung bình một node đo được. Nó là bậc độ lớn để nhớ, không phải một hằng số của đặc tả.Sai lệch bằng 0 ở mục 12.8.1 là con số chính xác, không phải làm tròn: 88.200 mẫu trùng nhau từng bit qua hai lần dựng trong hai tiến trình khác nhau.Mã JavaScript in trong bài là mã đã chạy, không phải mã giả.