‹
Lập trình âm thanhChương 13 · CHƯƠNG 13 AI TẠO SINH NHẠC VÀ GIỌNG

CHƯƠNG 13 AI TẠO SINH NHẠC VÀ GIỌNG

Mục tiêu của chương

Sau chương này, người đọc phải làm được những việc sau.

• So sánh được bốn cách biểu diễn âm thanh cho một mô hình, và tính được số lượng cùng bitrate của mỗi cách.

• Giải thích được vì sao không mô hình nào sinh thẳng dạng sóng, bằng con số chứ không bằng cảm tính.

• Cài được lượng tử hoá dư, và đo được chất lượng tái dựng theo số tầng cùng số từ mã.

• Chỉ ra được vì sao đo trên dữ liệu đã học là vô nghĩa, và tự dựng được phép đo trên phần giữ riêng.

• Đo được entropy chéo của một mô hình tự hồi quy, và giải thích được vì sao ngữ cảnh dài hơn cần dữ liệu nhiều hơn.

• Chọn được nhiệt độ, top-k và top-p có căn cứ, và nhận ra được hiện tượng suy sụp thành vòng lặp.

• Giải thích được quá trình thuận của khuếch tán, và vì sao lịch cosine tốt hơn lịch tuyến tính.

• Đo được quan hệ giữa số bước lấy mẫu và chất lượng, và nói được ít bước thì mất cái gì.

• Chỉ ra được bài toán pha, và giải thích được vì sao một phổ mel hoàn hảo vẫn chưa phải là tiếng.

• Tính được trần trên của một bài toán tách nguồn trước khi huấn luyện bất kỳ mô hình nào.

• Chọn được thước đo theo câu hỏi, và thiết kế được một phép nghe có đối chứng đủ cỡ mẫu.

Một chương về AI, nhưng không huấn luyện mô hình lớn nàoKhông thể huấn luyện một mô hình sinh nhạc trong khuôn khổ một chương sách, và cũng không nên. Điều chương này làm là đo bằng số những cơ chế quyết định chất lượng của mọi mô hình như thế — bằng mã chạy trong vài giây trên một máy tính xách tay.Cơ chế biến sóng thành token cài được đầy đủ bằng numpy. Quá trình thuận của khuếch tán tính thẳng ra được bằng công thức. Và mọi bài toán tách nguồn đều có những trần trên tính được mà không mô hình nào vượt qua.Đổi lại, có hai chỗ chương này không đo được, và bài nói rõ từng chỗ khi tới: hiện tượng lệch phơi nhiễm ở mục 13.4.3, và giới hạn của bài toán đồ chơi ở mục 13.5.3.Mô-đun tính toán của cuốn sách có thêm ba mươi hai hàm cho chương này, và bộ tự kiểm 410 phép chạy bằng một lệnh, đạt 100 phần trăm.

13.1 Vị trí của chương trong cuốn sách

13.1.1 Mười hai chương vừa qua đã dựng đúng bộ công cụ cần cho chương này

Đây là chương đầu tiên của cuốn sách nói về trí tuệ nhân tạo. Nhưng nó không bắt đầu từ đầu: gần như mọi khái niệm sẽ dùng ở đây đều đã có sẵn từ mười hai chương trước.

• Phổ và cửa sổ ở mục 4.5. Mọi mô hình sinh âm thanh đều làm việc trên một biến thể của phổ đồ, và mọi giới hạn của phổ đồ vẫn còn nguyên ở đó.

• Thang che lấp và cách tai phân giải tần số ở mục 1.7. Đó chính là lý do thang mel tồn tại, và là lý do gần như mọi mô hình đều nén phổ theo thang ấy.

• Lượng tử hoá và bitrate ở mục 3.5 và 3.8. Token của một mô hình sinh nhạc là kết quả của một phép lượng tử hoá véc-tơ, và bitrate của nó tính đúng theo cách đã học.

• SNR và thước đo khách quan ở mục 7.6. Toàn bộ mục 13.8 là câu chuyện về chỗ những thước đo ấy đánh lừa người dùng chúng.

Hình minh hoạ
Hình minh hoạ

Hình 13.1 Bảy mục kỹ thuật của chương 13

13.1.2 Chương này không huấn luyện một mô hình lớn nào — và vẫn đo được

Không thể huấn luyện một mô hình sinh nhạc trong khuôn khổ một chương sách, và cũng không nên. Điều làm được, và điều chương này làm, là đo bằng số những cơ chế quyết định chất lượng của mọi mô hình như thế — bằng mã chạy trong vài giây trên một máy tính xách tay.

Ba thứ đo được mà không cần mô hình lớnCơ chế biến sóng thành token — lượng tử hoá dư — cài được đầy đủ bằng numpy, và mục 13.3 đo cả chất lượng lẫn cái giá của nó.Cơ chế khuếch tán có một nửa hoàn toàn tính được bằng công thức: quá trình thuận. Và với một bài toán đồ chơi, bộ khử nhiễu tối ưu cũng viết ra được bằng công thức — nên mục 13.5 đo được đúng phần chất lượng mất đi do giảm số bước, tách khỏi phần mất đi do mô hình học kém.Bài toán tách nguồn có những trần trên tính được mà không mô hình nào vượt qua. Mục 13.7 đo hai trần ấy, và chúng giải thích cả một hướng phát triển của lĩnh vực này.

Đổi lại, có những thứ chương này không đo được, và bài sẽ nói rõ từng chỗ khi tới. Chỗ lớn nhất là hiện tượng lệch phơi nhiễm của mô hình tự hồi quy — nó cần một mô hình có cửa sổ ngữ cảnh dài mới quan sát được, và mô hình đồ chơi ở mục 13.4 không dựng lại được nó.

13.1.3 Ba tầng của một hệ thống sinh âm thanh

Trước khi vào chi tiết, cần một bản đồ. Mọi hệ thống sinh nhạc hay sinh giọng đều có ba tầng, và phần lớn hiểu lầm về lĩnh vực này đến từ việc gộp ba tầng ấy làm một.

Hình minh hoạ
Hình minh hoạ

Hình 13.2 Ba tầng của một hệ thống sinh, và bốn cách biểu diễn đi giữa chúng

Bảng 13.1 Ba tầng và câu hỏi riêng của mỗi tầng

TầngViệc của nóCâu hỏi quyết định
1. Điều kiệnNhận chữ, nốt nhạc, giọng mẫu, hay một đoạn nhạc đã cóNgười dùng điều khiển được cái gì
2. Mô hình sinhSinh ra một biểu diễn trung gian — token hoặc phổ melSinh cái gì, và sinh theo cơ chế nào
3. Dựng lại sóngBiến biểu diễn trung gian thành mẫu nghe đượcMất bao nhiêu ở khâu này — và đây là tầng hay bị bỏ sót nhất

Cả chương này xoay quanh cái đi giữa ba tầng ấy. Mục 13.2 đo bốn cách biểu diễn có thể chọn; mục 13.3 dựng cách được dùng nhiều nhất; hai mục sau bàn hai cơ chế sinh; và mục 13.6 đo cái giá của tầng ba.

13.2 Biểu diễn âm thanh cho một mô hình

13.2.1 Vì sao không mô hình nào sinh thẳng dạng sóng

Câu hỏi đầu tiên và tự nhiên nhất: sao không cho mô hình sinh thẳng từng mẫu một? Câu trả lời không nằm ở chất lượng mà nằm ở số lượng.

Hình minh hoạ
Hình minh hoạ

Hình 13.3 Bốn cách biểu diễn cùng một giây tiếng, và bitrate của chúng

Công thức (13.1)(13.1)

Trong công thức, T là số tầng lượng tử hoá, K là số từ mã mỗi tầng, f là tần số lấy mẫu và H là bước nhảy của phép biến đổi Fourier thời gian ngắn. Với tám tầng, một nghìn không hai mươi bốn từ mã, và bước nhảy 256 mẫu ở 44,1 kilohertz, kết quả là 1.378 token mỗi giây và 13,78 kilobit mỗi giây — so với 705,6 kilobit của PCM mười sáu bit.

Hình minh hoạ
Hình minh hoạ

Hình 13.4 Cái giá tuần tự của tự hồi quy, và vì sao token là bắt buộc

Con số đáng nhớ nhất của mục nàyBa phút nhạc là 7.938.000 mẫu. Sinh từng mẫu một theo thứ tự thì phải chạy bảy triệu chín trăm nghìn bước tuần tự — không có cách nào song song hoá, vì mẫu sau phụ thuộc mẫu trước.Cùng ba phút ấy chỉ là 248.062 token. Ít hơn 32 lần.Đó là lý do duy nhất và đủ để mọi hệ thống sinh nhạc tự hồi quy đều bắt đầu bằng một bộ mã hoá thành token — chứ không phải vì token nghe hay hơn.

13.2.2 Thang mel — vì sao nén 513 xuống 80 lại gần như không mất gì

Cách nén thứ hai không rời rạc hoá mà chỉ giảm chiều: gộp 513 vạch tần số của một khung thành 80 dải theo thang mel. Điều đáng chú ý là phép gộp ấy làm mất rất ít thứ tai nghe được, trong khi gộp thành 80 vạch cách đều thì làm sai lệch toàn bộ vùng thấp.

Công thức (13.2)(13.2)

Công thức không phải một quy ước tuỳ ý. Nó dựng lại đúng cách tai người phân giải tần số — thứ đã đo ở mục 1.7 khi bàn về che lấp. Ở vùng thấp, tai phân biệt được hai tần số cách nhau vài chục hertz; ở vùng cao, phải cách nhau hàng trăm hertz mới nghe ra. Thang mel đúng là hình dạng ấy.

Hình minh hoạ
Hình minh hoạ

Hình 13.5 Thang mel, và bộ lọc mel dựng từ nó

Liệt kê 13.1 Dựng bộ lọc mel — mười dòng, không cần thư viện ngoài

def bo_loc_mel(n_fft, sr, so_dai, fmin=20.0, fmax=None): fmax = fmax or sr / 2 m = linspace(hz_sang_mel(fmin), hz_sang_mel(fmax), so_dai + 2) f = array([mel_sang_hz(v) for v in m]) # đỉnh các tam giác vach = rfftfreq(n_fft, 1 / sr) H = zeros((so_dai, vach.size)) for k in range(so_dai): tr, gi, ph = f[k], f[k + 1], f[k + 2] len_ = (vach - tr) / (gi - tr) # sườn lên xuong = (ph - vach) / (ph - gi) # sườn xuống H[k] = maximum(0, minimum(len_, xuong)) return H # (so_dai, n_fft//2 + 1)

Mỗi hàng của ma trận trả về là một tam giác trên trục tần số. Nhân ma trận ấy với phổ công suất của một khung được 80 số thay cho 513. Toàn bộ phép nén mel chỉ có thế.

Bảng 13.2 Ba con số của phép nén mel

Đại lượngGiá trịÝ nghĩa
Số vạch mỗi khung513Với phép biến đổi 1.024 điểm
Số dải mel80Cách chọn phổ biến nhất hiện nay
Tỉ số nén6,4 lầnVà mất rất ít thứ tai nghe được
Số thực mỗi giây13.781So với 88.372 nếu giữ phổ đầy đủ
Nhưng phép nén này không miễn phíNén mel là phép chiếu xuống chiều thấp hơn, nên nó không đảo ngược được chính xác. Mục 13.6.3 đo chỗ mất ấy, và con số lớn hơn nhiều người tưởng.Quan trọng hơn: phổ mel chỉ giữ độ lớn. Pha bị bỏ hoàn toàn. Một mô hình sinh phổ mel làm xong việc của nó rồi mà vẫn chưa có tiếng — mục 13.6.1 cho thấy điều đó bằng hình.Vì vậy mọi hệ thống sinh phổ mel đều phải có một tầng ba, và chất lượng của tầng ấy thường quyết định nhiều hơn chất lượng của mô hình sinh.

13.2.3 Ba loại vật liệu, ba cấu trúc khác hẳn nhau

Trước khi đi tiếp, nên nhìn xem một phổ mel thật trông như thế nào với ba loại vật liệu khác nhau. Cấu trúc mà mắt nhìn ra ở đây chính là cấu trúc mà mọi mô hình phải học được — và cũng là thứ mà mục 13.7 sẽ khai thác để tách chúng ra khỏi nhau mà không cần học gì cả.

Hình minh hoạ
Hình minh hoạ

Hình 13.6 Phổ mel của nhạc có cao độ, tiếng gõ, và giọng nói

Bảng 13.3 Ba cấu trúc và hệ quả của mỗi cấu trúc

LoạiTrông ra sao trên phổ melHệ quả
Nhạc có cao độNhững vạch ngang kéo dài — chuỗi hài của một nốtDự đoán được theo thời gian; nén rất tốt
Tiếng gõNhững vạch dọc — năng lượng trải khắp dải tần trong một khoảnh khắcKhó nén; và là chỗ mọi phép nén hay làm nhoè
Giọng nóiNhững mảng ngang đổi chậm — các formant, cộng một cấu trúc hài bên dướiCần cả hai loại cấu trúc trên cùng lúc

Bảng 13.4 Bốn cách biểu diễn, gộp lại thành một bảng để tra

Cách biểu diễnSố mỗi giâyGiữ phaDùng làm đích cho
Dạng sóng thô44.100Có — nó chính là phaKhông mô hình sinh nào ở quy mô thật
Phổ độ lớn 513 vạch88.372KhôngÍt dùng — vẫn quá nhiều số
Phổ mel 80 dải13.781KhôngHọ khuếch tán
Token 8 tầng × 1.024 mã1.378Gián tiếp, qua bộ giải mãHọ tự hồi quy

Cột thứ ba là cột đáng chú ý nhất và cũng là cột hay bị bỏ qua. Chỉ dạng sóng thô mang pha một cách hiển nhiên. Phổ mel không mang pha, nên một mô hình sinh phổ mel bắt buộc phải có một khối dựng pha ở sau. Token thì mang pha một cách gián tiếp: bộ giải mã của codec đã học sẵn cách sinh ra dạng sóng, nên nó tự lo phần ấy — và đó là một ưu điểm ít được nói tới của cách biểu diễn bằng token.

Chú ý điều này: một mô hình giỏi ở nhạc có cao độ chưa chắc giỏi ở tiếng gõ, vì hai loại đòi hỏi hai kiểu năng lực khác nhau. Đó là lý do các phép đánh giá nghiêm túc luôn tách riêng hai loại vật liệu, và cũng là lý do các bản nhạc sinh ra bằng AI thường có phần trống nghe thiếu sắc nét hơn phần giai điệu.

13.3 Codec nơ-ron — nơi token của nhạc sinh ra

13.3.1 Lượng tử hoá véc-tơ, và vì sao một tầng là không đủ

Mục trước kết luận rằng phải rời rạc hoá. Nhưng rời rạc hoá một véc-tơ bốn mươi chiều thành một số nguyên thì làm thế nào?

Cách cơ bản là lượng tử hoá véc-tơ: chuẩn bị sẵn một mã sách gồm K véc-tơ mẫu, rồi với mỗi khung, tìm từ mã gần nhất và ghi lại chỉ số của nó. Mỗi khung tốn đúng log hai của K bit. Muốn chất lượng cao hơn thì tăng K.

Và đây là chỗ cách cơ bản gãy. Muốn mười hai bit mỗi khung thì cần bốn nghìn không chín mươi sáu từ mã; muốn mười sáu bit thì cần sáu mươi lăm nghìn. Số từ mã phải lưu và phải duyệt cho mỗi khung tăng theo hàm mũ của số bit.

Công thức (13.3)(13.3)
Ba hệ quả của hàm mũ ấyBộ nhớ: một mã sách 65.536 từ với 40 chiều là hơn 10 megabyte — chỉ để lưu bảng.Tốc độ: mỗi khung phải so với toàn bộ mã sách. Ở 172 khung mỗi giây, đó là hơn mười một triệu phép so mỗi giây.Và quan trọng nhất: Dữ liệu. Học được 65.536 từ mã cần rất nhiều khung, và học không đủ thì mã sách chỉ đang thuộc lòng — mục 13.3.3 đo đúng hiện tượng ấy.

13.3.2 Lượng tử hoá dư — chồng nhiều mã sách nhỏ

Cách gỡ rất gọn, và nó là cơ chế đứng sau mọi codec nơ-ron hiện nay: thay vì một mã sách lớn, dùng nhiều mã sách nhỏ chồng lên nhau. Tầng thứ nhất lượng tử hoá chính véc-tơ; tầng thứ hai lượng tử hoá phần dư mà tầng một chưa dựng được; tầng ba lượng tử hoá phần dư còn lại của tầng hai; và cứ thế.

Công thức (13.4)(13.4)
Hình minh hoạ
Hình minh hoạ

Hình 13.7 Sơ đồ lượng tử hoá dư: mỗi tầng dựng phần dư của tầng trước

Liệt kê 13.2 Toàn bộ thuật toán, không có gì hơn

def rvq_hoc(X, so_ma, so_tang, vong): du = X.copy() sachs = [] for t in range(so_tang): C = hoc_ma_sach(du, so_ma, vong) # k-means sachs.append(C) _, dung = luong_tu_vector(du, C) du = du - dung # phần DƯ đi tiếp return sachs

Chín dòng, và đó là cơ chế sinh ra token cho gần như mọi mô hình sinh nhạc hiện nay. Trong một codec nơ-ron thật, phép biến đổi trước và sau khối này là một mạng nơ-ron thay vì phép biến đổi Fourier — nhưng phần lượng tử hoá thì đúng như trên.

Liệt kê 13.3 Mã hoá và giải mã — và chỗ tham số so_tang làm nên khác biệt

def rvq_ma_hoa(X, sachs): du, ra = X.copy(), [] for C in sachs: i, dung = luong_tu_vector(du, C) ra.append(i) du = du - dung return stack(ra, axis=1) # (so_khung, so_tang)def rvq_giai_ma(idx, sachs, so_tang=None): T = idx.shape[1] if so_tang is None else so_tang ra = zeros((idx.shape[0], sachs[0].shape[1])) for t in range(T): # BỎ BỚT TẦNG Ở ĐÂY ra = ra + sachs[t][idx[:, t]] return ra
Công thức (13.5)(13.5)

Chất lượng đo bằng tỉ số giữa năng lượng tín hiệu và năng lượng sai số tái dựng, tính bằng decibel — đúng cùng một định nghĩa SNR đã dùng từ mục 3.5.

13.3.3 Cùng một ngân sách bit, sáu cách chia tầng

Câu hỏi thiết kế trung tâm: có mười hai bit mỗi khung, nên chia thành mấy tầng? Sáu cách dưới đây đều tiêu đúng mười hai bit, nên chúng cho cùng một bitrate.

Hình minh hoạ
Hình minh hoạ

Hình 13.8 Sáu cách chia cùng một ngân sách bit, và cái giá của mỗi cách

Bảng 13.5 Sáu cách chia mười hai bit mỗi khung

Cách chiaSNR trên dữ liệu đã họcSNR trên phần giữ riêngTừ mã phải lưu
1 tầng × 4.096 mã283,2 dB29,09 dB4.096
2 tầng × 64 mã29,84 dB28,40 dB128
3 tầng × 16 mã27,29 dB26,75 dB48
4 tầng × 8 mã25,18 dB24,55 dB32
6 tầng × 4 mã22,07 dB21,60 dB24
12 tầng × 2 mã20,46 dB20,35 dB24
Đọc bảng này theo hai chiềuChiều thứ nhất — bài học về cách đo. Cách một tầng cho 283 decibel trên dữ liệu đã học, một con số vô nghĩa: mã sách có 4.096 từ trong khi chỉ có 2.586 khung học, nên nó chỉ đang thuộc lòng từng khung. Trên phần giữ riêng nó tụt về 29,09.Chiều thứ hai — bài học về thiết kế. Trên phần giữ riêng, cách một tầng chỉ hơn cách hai tầng đúng 0,69 decibel, trong khi phải lưu và duyệt 32 lần nhiều từ mã hơn. Đó là toàn bộ lý do lượng tử hoá dư tồn tại.Và chiều thứ ba, ẩn trong bảng: chia càng nhỏ thì càng kém. Mười hai tầng hai mã kém cách hai tầng tới tám decibel. Nên vẫn phải chọn, và chỗ chọn tốt nhất trong bảng này là hai tới bốn tầng.

13.3.4 Thêm tầng thì được thêm bao nhiêu

Câu hỏi thứ hai: giữ nguyên số mã mỗi tầng rồi cứ thêm tầng thì chất lượng lên tới đâu?

Hình minh hoạ
Hình minh hoạ

Hình 13.9 Thêm tầng thì được thêm bao nhiêu decibel

Bảng 13.6 Chất lượng theo số tầng, mã sách 64 từ, đo trên phần giữ riêng

Số tầngBitrateSNR tái dựngTầng này thêm được
11,03 kbps24,55 dB—
22,07 kbps28,63 dB4,08 dB
33,10 kbps30,27 dB1,64 dB
44,13 kbps31,40 dB1,13 dB
66,20 kbps33,03 dB0,75 dB
88,27 kbps34,29 dB0,62 dB

Hình dạng đáng nhớ: tầng thứ hai thêm 4,08 decibel, tầng thứ tám chỉ thêm 0,62. Bitrate tăng gấp tám mà chất lượng chỉ tăng 9,7 decibel. Đây là quy luật lợi ích giảm dần, và nó có hai hệ quả thực hành rất cụ thể.

• Một codec nên có nhiều tầng để có thể bỏ bớt, chứ không phải để dùng hết. Mục sau nói rõ chỗ này.

• Sinh sai một token ở tầng một tai hại hơn hẳn ở tầng tám. Đó là lý do nhiều hệ thống thật dùng một mô hình riêng, lớn hơn, chỉ để sinh tầng đầu, rồi một mô hình nhỏ hơn cho các tầng còn lại.

13.3.5 Bỏ tầng khi chạy — tính chất đắt giá nhất

Đây là hệ quả đến miễn phí từ công thức (13.4), và nó là lý do lượng tử hoá dư được ưa dùng hơn mọi cách khác.

Hình minh hoạ
Hình minh hoạ

Hình 13.10 Cùng một chuỗi token, đọc bao nhiêu tầng thì tuỳ người dùng

Bốn mức chất lượng trong hình dựng từ đúng một chuỗi token. Không phải mã hoá lại, không phải học lại, và không phải lưu bốn bản. Chỉ cần bộ giải mã đọc ít tầng hơn.

Đây là codec phân lớp của mục 3.8, nhưng không phải thiết kế thêmỞ mục 3.8, codec phân lớp là một tính năng phải thiết kế riêng: phải chia luồng bit thành lớp cơ sở và lớp nâng cao.Ở đây nó là hệ quả tự nhiên của cách token sinh ra: tầng một là lớp cơ sở, các tầng sau là lớp nâng cao, và tính chất ấy có sẵn chứ không phải thêm vào.Một máy chủ phát nhạc dùng đúng tính chất này để hạ bitrate khi đường truyền kém; một mô hình sinh dùng nó để sinh nhanh bản nháp rồi mới sinh tiếp các tầng chi tiết.

13.4 Họ mô hình tự hồi quy

13.4.1 Ngữ cảnh đáng bao nhiêu bit

Mô hình tự hồi quy sinh một chuỗi bằng cách sinh từng phần tử, mỗi phần tử phụ thuộc những phần tử đã sinh trước đó.

Công thức (13.6)(13.6)

Vế thứ hai là entropy chéo — số bit trung bình mà mô hình cần để ghi một token. Nó vừa là hàm mất mát khi huấn luyện, vừa là thước đo trực tiếp xem mô hình đã học được bao nhiêu. Và nó đo được ngay trên chuỗi token thật của mục 13.3.

Hình minh hoạ
Hình minh hoạ

Hình 13.11 Ngữ cảnh đáng bao nhiêu bit, và vì sao nó không miễn phí

Bảng 13.7 Entropy chéo theo độ dài ngữ cảnh

Mô hìnhTrên dữ liệu đã họcTrên phần giữ riêngNhận xét
Đoán ngẫu nhiên đều6,00 bit6,00 bitTrần trên — log₂ của 64
Bậc 0 (chỉ tần suất)5,27 bit5,14 bitBiết token nào hay gặp
Bậc 1 (nhớ 1 token)2,04 bit2,02 bitTiết kiệm 66 % — và gần như không có chênh lệch học với kiểm
Bậc 2 (nhớ 2 token)2,27 bit2,41 bitTệ hơn bậc 1 — thiếu dữ liệu
Vì sao nhớ nhiều hơn lại kém hơnBảng bậc một có 64 nhân 64, tức 4.096 ô, và có 2.586 mẫu học. Đã thiếu, nhưng còn ước lượng được.Bảng bậc hai có 64 mũ ba, tức 262.144 ô, vẫn với 2.586 mẫu. Trung bình chưa tới một phần trăm ô có một mẫu — nên phần lớn ước lượng là nhiễu vô nghĩa.Đây là quy luật không có ngoại lệ: ngữ cảnh dài hơn đòi hỏi dữ liệu nhiều hơn. Mô hình lớn không phá được quy luật ấy; nó chỉ đẩy được điểm gãy đi xa hơn, bằng cách chia sẻ tham số giữa các ngữ cảnh giống nhau thay vì đếm riêng từng ô.Và đó chính là điều một mạng nơ-ron làm mà một bảng đếm không làm được.

13.4.2 Lấy mẫu: nhiệt độ, top-k và top-p

Có phân phối rồi thì chọn token như thế nào? Lấy token có xác suất cao nhất là cách kém nhất — nó cho một chuỗi lặp lại đến mức nhàm chán. Lấy mẫu theo đúng phân phối thì đa dạng nhưng dễ lạc. Ba tham số dưới đây là ba cách đi giữa.

Công thức (13.7)(13.7)

Nhiệt độ nhỏ hơn 1 làm phân phối nhọn hơn — an toàn nhưng lặp; lớn hơn 1 làm nó phẳng hơn — đa dạng nhưng dễ sai. Top-k giữ lại k xác suất lớn nhất; top-p giữ nhóm nhỏ nhất có tổng xác suất vượt một ngưỡng.

Liệt kê 13.4 Ba phép lọc phân phối, mỗi phép bốn dòng

def ap_nhiet(p, nhiet): q = log(maximum(p, 1e-30)) / nhiet q = exp(q - q.max()) return q / q.sum()def loc_top_k(p, k): nguong = sort(p)[-k] q = where(p >= nguong, p, 0.0) return q / q.sum()def loc_top_p(p, nguong): thu = argsort(p)[::-1] giu = searchsorted(cumsum(p[thu]), nguong) + 1 q = zeros_like(p); q[thu[:giu]] = p[thu[:giu]] return q / q.sum()
Hình minh hoạ
Hình minh hoạ

Hình 13.12 Nhiệt độ, top-k và top-p đo trên chính chuỗi token của bài

Bảng 13.8 Tám cách lấy mẫu, đo trên 3.000 token sinh ra

Cách lấy mẫuEntropyTỉ lệ lặp lạiLệch tài liệu thật
Tài liệu thật5,20 bit55,9 %—
Nhiệt 0,50,00 bit100,0 %4,350 bit
Nhiệt 0,81,63 bit64,4 %0,179 bit
Nhiệt 1,03,44 bit37,8 %0,108 bit
Nhiệt 1,34,78 bit19,6 %0,354 bit
Top-k 41,85 bit23,3 %2,343 bit
Top-p 0,90,00 bit100,0 %4,350 bit
Top-p 0,982,93 bit44,8 %0,047 bit
Ba điều rút ra từ bảng nàyNhiệt 0,5 suy sụp hoàn toàn: mô hình lặp đúng một token, tỉ lệ lặp 100 phần trăm. Đây chính là cái vòng lặp mà ai từng nghịch một mô hình sinh nhạc đều đã gặp, và nguyên nhân là tham số chứ không phải mô hình.Top-p 0,9 cũng suy sụp, vì phân phối chuyển tiếp ở đây quá nhọn nên nhân chỉ còn đúng một token. Nghĩa là top-p không tự động an toàn hơn top-k — nó chỉ đổi cách chọn ngưỡng, và ngưỡng vẫn phải chọn bằng cách đo.Con số lệch thấp nhất trong bảng là top-p 0,98, và nó thấp hơn cả lấy mẫu nguyên bản. Đó là lý do các hệ thống thật hay đặt ngưỡng rất cao chứ không đặt vừa phải.

13.4.3 Một token sai kéo dài bao lâu

Điểm yếu hay được nhắc nhất của mô hình tự hồi quy là lệch phơi nhiễm: khi huấn luyện, mô hình luôn nhìn thấy ngữ cảnh đúng; khi sinh, nó phải nhìn ngữ cảnh do chính nó vừa sinh ra, kể cả khi ngữ cảnh ấy đã sai.

Hình minh hoạ
Hình minh hoạ

Hình 13.13 Một token sai kéo dài bao lâu trong mô hình bậc một

Phép đo cho mô hình bậc một sinh sai đúng một token rồi chạy tiếp: sau tám token còn lệch 0,25 bit, sau ba mươi hai token chỉ còn 0,024 — tức khoảng hai phần mười giây là mất hẳn.

Nhưng phải đọc con số này cho đúngCon số ấy đúng với một mô hình chỉ nhớ một bước. Sai lệch bị loại bỏ nhanh chính vì mô hình không có trí nhớ dài.Một mô hình có cửa sổ ngữ cảnh dài thì token sai nằm nguyên trong ngữ cảnh và tiếp tục ảnh hưởng tới mọi token sinh sau — cho tới khi nó trôi ra khỏi cửa sổ. Đó mới là lệch phơi nhiễm thật.Mô hình đồ chơi trong bài không dựng lại được hiện tượng ấy, và bài này không có cách nào đo nó bằng số. Đây là một trong hai chỗ mà chương 13 phải dừng ở mức mô tả — và nói rõ như vậy tốt hơn là đưa ra một con số không đứng vững.
Hình minh hoạ
Hình minh hoạ

Hình 13.14 Bốn quyết định khi lấy mẫu một mô hình tự hồi quy

13.5 Họ mô hình khuếch tán

13.5.1 Ý tưởng: học đi ngược một quá trình đã biết

Mô hình tự hồi quy sinh theo thứ tự thời gian. Mô hình khuếch tán sinh theo một trục hoàn toàn khác: nó bắt đầu từ nhiễu thuần và gọt dần thành tín hiệu, sinh cả đoạn cùng một lúc ở mỗi bước.

Điều làm cho ý tưởng ấy khả thi là một quan sát đơn giản: quá trình thuận — từ tín hiệu sạch đi tới nhiễu thuần — thì biết trước hoàn toàn, không cần học gì cả.

Công thức (13.8)(13.8)

Trong công thức, alpha ngang là phần tín hiệu còn lại ở bước t, và epsilon là nhiễu Gauss chuẩn. Chỉ một phép trộn có tỉ lệ đã biết. Vì thế sinh ra dữ liệu huấn luyện cho bài toán ngược là chuyện miễn phí: lấy một đoạn nhạc thật, chọn một bước t bất kỳ, trộn nhiễu vào theo đúng tỉ lệ ấy, rồi bảo mô hình đoán lại phần nhiễu đã thêm.

Liệt kê 13.5 Quá trình thuận — ba dòng, và không có gì phải học

def them_nhieu(x0, abar_t): e = standard_normal(x0.shape) return sqrt(abar_t) * x0 + sqrt(1 - abar_t) * e, e# Sinh một mẫu huấn luyện cho bài toán ngược:t = randint(0, T) # chọn một bước bất kỳxt, e = them_nhieu(x0, abar[t]) # trộn nhiễu vào# rồi bảo mô hình đoán lại chính e từ (xt, t).
Hình minh hoạ
Hình minh hoạ

Hình 13.15 Quá trình thuận chạy trên phổ mel thật của một giai điệu

Bảng 13.9 Tương quan với bản gốc theo bước khuếch tán

Bước tSNRTương quan với phổ gốcMắt còn nhận ra gì
043,8 dB1,000Nguyên vẹn
2009,4 dB0,948Cấu trúc còn rõ
4002,6 dB0,805Vẫn thấy các nốt
600−2,9 dB0,584Chỉ còn vệt mờ
800−9,9 dB0,306Gần như không
999−80,0 dB−0,001Không gì cả

Việc học là học đi ngược lại từng bước một, và mỗi bước chỉ phải khử một lượng nhiễu nhỏ. Đó là lý do bài toán khó ấy trở nên dễ hơn hẳn việc sinh thẳng ra một phổ mel hoàn chỉnh: nó được chia thành một nghìn bài toán con, mỗi bài dễ.

13.5.2 Lịch nhiễu — và vì sao lịch tuyến tính lãng phí

Alpha ngang đi từ gần một xuống gần không theo một lịch do người thiết kế chọn. Lịch tuyến tính là lựa chọn đầu tiên trong lịch sử, và nó có một vấn đề chỉ lộ ra khi nhìn bằng decibel.

Công thức (13.9)(13.9)
Hình minh hoạ
Hình minh hoạ

Hình 13.16 Hai lịch nhiễu, và tỉ số tín hiệu trên nhiễu của chúng

Lịch tuyến tính tụt xuống dưới không decibel ngay ở bước 259 trên một nghìn. Nghĩa là hơn bảy mươi tư phần trăm số bước còn lại được tiêu vào việc khử một thứ mà tín hiệu đã yếu hơn nhiễu — gần như vô ích, vì ở đó không còn gì để học.

Công thức (13.10)(13.10)

Lịch cosine đẩy mốc ấy tới bước 496, đúng giữa hành trình. Nó không thêm một tham số học nào, chỉ đổi công thức, và đó là toàn bộ nội dung của một cải tiến đã trở thành mặc định của cả lĩnh vực.

Một cách đọc khác về cùng con sốCó thể nghĩ về lịch nhiễu như phân bổ ngân sách: một nghìn bước là ngân sách, và mỗi bước nên được tiêu vào một mức SNR khác nhau.Lịch tuyến tính tiêu ba phần tư ngân sách vào vùng dưới không decibel — nơi mọi thứ trông như nhau.Lịch cosine chia đôi ngân sách. Và các lịch mới hơn còn đi xa hơn: chúng lấy mẫu bước t theo phân phối của chính SNR chứ không theo phân phối đều của t.

13.5.3 Số bước lấy mẫu đổi chất lượng bao nhiêu

Huấn luyện với một nghìn bước rồi khi sinh lại nhảy bước để chạy nhanh — đó là điều mọi hệ thống thật đều làm. Câu hỏi là nhảy bao nhiêu thì mất bao nhiêu.

Công thức (13.11)(13.11)

Công thức trên là một bước lấy mẫu tất định kiểu ddim: từ trạng thái ở bước t, ước lượng bản sạch, rồi nhảy thẳng tới bước s bất kỳ nhỏ hơn t. Số bước dùng thật vì thế tách rời khỏi số bước đã huấn luyện.

Liệt kê 13.6 Lấy mẫu nhảy bước — và so_buoc là tham số quyết định

def lay_mau_ddim(xT, abar, so_buoc, khu): moc = linspace(len(abar) - 1, 0, so_buoc + 1).round() x = xT.copy() for k in range(so_buoc): t, s = int(moc[k]), int(moc[k + 1]) at = abar[t] x0 = khu(x, at) # ước lượng bản sạch e = (x - sqrt(at) * x0) / sqrt(1 - at) a_s = abar[s] if s > 0 else 1.0 x = sqrt(a_s) * x0 + sqrt(1 - a_s) * e return x
Phép đo này đo được đúng phần cần đoNếu đo trên một mô hình thật thì không tách được: chất lượng kém có thể do ít bước, mà cũng có thể do mô hình học chưa tốt.Vì thế phép đo ở đây dùng một bài toán đồ chơi — phân phối gốc là hỗn hợp ba Gauss một chiều — nơi bộ khử nhiễu tối ưu viết ra được bằng công thức chính xác.Kết quả vì thế là phần chất lượng mất đi hoàn toàn do số bước, với một mô hình hoàn hảo. Mọi mô hình thật chỉ có thể kém hơn thế.Giới hạn của cách làm này cũng phải nói rõ: một hỗn hợp Gauss một chiều không phải âm thanh. Thứ chuyển được sang bài toán thật là hình dạng của đường cong, không phải con số tuyệt đối.
Hình minh hoạ
Hình minh hoạ

Hình 13.17 Số bước lấy mẫu đổi chất lượng bao nhiêu, và ít bước thì mất gì

Bảng 13.10 Sai lệch phân phối theo số bước lấy mẫu

Số bướcSai lệch W₁So với sànNhận xét
11,27065 lầnMọi mẫu dồn về trung bình — mất cả ba đỉnh
40,34418 lầnDựng lại được ba đỉnh, sai hẳn tỉ lệ
160,0904,6 lầnĐã gần đúng
640,0241,2 lầnĐủ dùng
1280,0201,0 lầnChạm sàn
5120,0201,0 lầnKhông hơn gì 128 bước

Quy luật rõ ràng: mỗi lần gấp đôi số bước thì sai lệch giảm gần một nửa, cho tới khi chạm sàn ở khoảng 64 tới 128 bước. Đó là lý do các hệ thống thật thường dùng vài chục bước chứ không dùng cả nghìn, và cũng là lý do các hệ thống một bước phải được chưng cất riêng chứ không thể chỉ đơn giản giảm số bước xuống một.

Điều đáng chú ý ở cột cuối: một bước không cho một mẫu kém — nó cho trung bình của phân phối. Chuyển sang âm thanh, đó chính là lý do tiếng sinh ra từ quá ít bước nghe mờ và thiếu chi tiết, chứ không nghe méo hay nhiễu.

13.5.4 Hai họ mô hình, hai cách trả giá

Hình minh hoạ
Hình minh hoạ

Hình 13.18 Tự hồi quy so với khuếch tán: sáu tiêu chí

Con số quyết định nhất trong bảng nằm ở dòng đầu: ba mươi giây nhạc cần 41.344 bước tuần tự với mô hình tự hồi quy tám tầng, và khoảng năm mươi bước với mô hình khuếch tán — bất kể đoạn dài bao nhiêu. Tỉ số ấy là 827 lần, và nó tăng tuyến tính theo độ dài.

Nhưng bảng này là bảng về hai cơ chế, không phải hai sản phẩmNhiều hệ thống mới sinh token bằng khuếch tán — tức lấy đích của họ này và cơ chế của họ kia.Nhiều hệ thống khác sinh phổ mel bằng mô hình tự hồi quy trên các mảnh phổ.Vì vậy khi đọc một bài báo, câu hỏi đúng không phải là "nó thuộc họ nào" mà là hai câu riêng biệt: nó sinh ra cái gì, và nó sinh theo cơ chế nào.

13.6 Giọng, vocoder, và bài toán pha

13.6.1 Phổ mel không đủ để dựng lại tiếng

Giả sử một mô hình khuếch tán đã sinh ra một phổ mel hoàn hảo. Nó đã làm xong việc của nó. Nhưng vẫn chưa có tiếng — và khoảng cách từ đó tới tiếng nghe được lớn hơn nhiều người tưởng.

Lý do là phổ độ lớn loại bỏ pha. Với mỗi ô phổ, nó giữ lại độ lớn và bỏ đi thông tin về thời điểm. Và pha không phải một chi tiết nhỏ: nó quyết định dạng sóng.

Hình minh hoạ
Hình minh hoạ

Hình 13.19 Cùng một độ lớn phổ, hai pha khác nhau, hai tiếng khác hẳn

Bảng 13.11 Hai bản có cùng độ lớn phổ, đo bằng ba thước

Thước đoGiá trịNói lên điều gì
Khoảng cách mel6,98 dBGần như không thấy khác biệt — và phần lớn con số này còn do phép dựng lại chồng lấn cửa sổ
Khoảng cách phổ log11,30 dBCũng không thấy gì đáng kể
SI-SDR−39,4 dBHoàn toàn không phải cùng một tiếng

Tai nghe hai bản này thì bản thứ hai là một tiếng rè, không còn nhận ra giọng. Nhưng mọi thước đo dựa trên độ lớn phổ đều bảo chúng gần như giống nhau. Đây là bài toán trung tâm của tầng ba.

13.6.2 Griffin-Lim và giới hạn của nó

Cách cổ điển để đoán lại pha là thuật toán Griffin-Lim: bắt đầu từ pha ngẫu nhiên, rồi lặp đi lặp lại hai bước — dựng lại tín hiệu, phân tích lại, giữ pha vừa có nhưng thay độ lớn bằng độ lớn đích.

Hình minh hoạ
Hình minh hoạ

Hình 13.20 Cái mà Griffin-Lim cải thiện, và cái mà nó không cải thiện

Hai hình phải đọc cùng nhau. Griffin-Lim tối thiểu hoá sai lệch độ lớn phổ, và nó làm đúng việc ấy: từ 11,30 xuống 7,14 decibel sau 128 vòng, đều đặn và đơn điệu. Nhưng dạng sóng dựng ra không tiến gần tiếng gốc chút nào.

Liệt kê 13.7 Griffin-Lim — vòng lặp giữ độ lớn, đổi pha

def griffin_lim(bien_do, vong): pha = exp(1j * uniform(-pi, pi, bien_do.shape)) X = bien_do * pha # xuất phát từ pha ngẫu nhiên for _ in range(vong): y = istft(X) # về miền thời gian Y = stft(y) # rồi quay lại miền phổ X = bien_do * exp(1j * angle(Y)) # GIỮ pha, THAY độ lớn return istft(X)
Vì sao SI-SDR không bao giờ cải thiện ở đâyCó vô số dạng sóng khác nhau cùng cho một độ lớn phổ. Griffin-Lim hội tụ về một trong số đó, và không có lý do gì nó phải là chính dạng sóng gốc.Vì thế đừng dùng SI-SDR để chấm một bộ dựng pha, và đừng kỳ vọng thêm vòng lặp sẽ cho ra đúng tiếng gốc. Phép kiểm sức khoẻ ở góc hình cho thấy nếu có cả pha đúng thì SI-SDR lên tới 226 decibel — nên vấn đề không phải ở công cụ đo.Cái tai nghe thấy ở đầu ra Griffin-Lim là chất kim loại đặc trưng, và đó là lý do các hệ thống hiện đại thay hẳn nó bằng một vocoder học được — thứ được huấn luyện để cho ra dạng sóng nghe tự nhiên, chứ không phải để khớp độ lớn phổ.

13.6.3 Cổ chai mel — mất mát xảy ra trước cả khi nói tới pha

Còn một mất mát nữa, và nó xảy ra sớm hơn. Nén 513 vạch xuống 80 dải mel là một phép chiếu, nên đảo ngược nó không bao giờ chính xác.

Hình minh hoạ
Hình minh hoạ

Hình 13.21 Cổ chai mel: đo trên mel thì ổn, đo trên phổ thật thì không

Con số quan trọng nhất trong hình là cặp 1,72 và 13,4. Cùng một bản dựng lại: đo bằng khoảng cách mel — tức đúng thước đo mà mô hình được huấn luyện để tối ưu — thì lệch 1,72 decibel, nghe như mọi thứ đều ổn. Đo bằng phổ thật thì lệch 13,4.

Hai hệ quả thực hànhVocoder hiện đại không dựng ngược ma trận mel bằng giả nghịch đảo. Nó học ánh xạ từ mel về sóng, và nhờ thế nó bù lại được phần thông tin mà phép chiếu đã bỏ — bằng cách học xem loại âm thanh nào thường đi với mẫu mel nào.Một mô hình sinh phổ mel không bao giờ nên được đánh giá bằng chính khoảng cách mel của nó. Đó là chấm bài bằng chính đề bài, và con số 1,72 ở trên cho thấy nó dễ dãi tới mức nào.

13.6.4 Vậy một hệ thống sinh giọng gồm những gì

Bảng 13.12 Ba khối của một hệ thống sinh giọng, và chỗ mỗi khối hay sai

KhốiViệcSai thì nghe ra sao
Từ chữ sang biểu diễnChuyển văn bản thành chuỗi âm vị có trường độ và ngữ điệuĐọc sai, ngắt câu sai, ngữ điệu phẳng
Mô hình âm họcSinh phổ mel hoặc token từ chuỗi âm vịGiọng đúng chữ nhưng sai chất giọng; hoặc lặp một âm tiết
VocoderTừ phổ mel hoặc token về dạng sóngChất kim loại, rè, hoặc mất phụ âm — mục 13.6.2 và 13.6.3

Với tiếng Việt, khối thứ nhất khó hơn hẳn so với các ngôn ngữ không thanh điệu: thanh điệu là một phần của nghĩa, nên nó phải được mô hình hoá tường minh chứ không thể để mô hình âm học tự suy ra từ chữ. Đây là chỗ một hệ thống nhập khẩu hay sai, và cũng là hướng mà một dự án nghiên cứu nhỏ có thể đóng góp được.

13.7 Tách nguồn — và hai trần trên không vượt được

13.7.1 Tách bằng mặt nạ: cơ chế chung của gần như mọi phương pháp

Tách nguồn là bài toán ngược của trộn: cho một bản đã trộn, dựng lại từng nguồn. Nó là nền của mọi ứng dụng tách nhạc nền khỏi giọng hát, tách lời khỏi tiếng ồn, hay bóc riêng từng nhạc cụ.

Gần như mọi phương pháp làm việc trên phổ đều theo cùng một khuôn: ước lượng một mặt nạ — một số trong khoảng không tới một cho mỗi ô phổ — rồi nhân nó với độ lớn của hỗn hợp.

Công thức (13.12)(13.12)
Hình minh hoạ
Hình minh hoạ

Hình 13.22 Khuôn chung của mọi phương pháp tách bằng mặt nạ

Khối duy nhất khác nhau giữa các phương pháp là khối ước lượng mặt nạ. Bốn khối còn lại hoàn toàn giống nhau, và một trong số đó đặt ra một giới hạn mà không phương pháp nào trong khuôn này vượt được.

13.7.2 Hai trần trên, và cả hai đều đo được

Trần thứ nhất là trần của mặt nạ: nếu biết trước cả hai nguồn, thì mặt nạ tốt nhất cho kết quả bao nhiêu? Có hai cách chọn — nhị phân lý tưởng giao mỗi ô cho nguồn to hơn; tỉ lệ lý tưởng chia mỗi ô theo tỉ lệ năng lượng, đúng công thức (13.12).

Trần thứ hai sâu hơn: mặt nạ chỉ sửa độ lớn, còn pha thì vay nguyên của hỗn hợp — tức pha của hai nguồn đã trộn lẫn. Cho độ lớn đúng tới từng ô mà vẫn vay pha thì kết quả dừng ở đâu?

Công thức (13.13)(13.13)

Thước đo dùng ở đây là SI-SDR, bất biến theo tỉ lệ chung, nên nó không bị đánh lừa bởi chênh lệch âm lượng. Đây là thước đo chuẩn của toàn bộ lĩnh vực tách nguồn.

Liệt kê 13.8 SI-SDR — bốn dòng, và dòng thứ hai là điều làm nên tên gọi

def si_sdr_db(chuan, uoc): s = chuan - chuan.mean(); y = uoc - uoc.mean() a = dot(y, s) / dot(s, s) # tỉ lệ tốt nhất — BẤT BIẾN chieu = a * s nhieu = y - chieu return 10 * log10(sum(chieu**2) / sum(nhieu**2))
Hình minh hoạ
Hình minh hoạ

Hình 13.23 Ba trần trên chồng lên nhau, đo trên cùng một hỗn hợp

Bảng 13.13 Năm mức, đo trên nguồn nhạc của cùng một hỗn hợp

Cấu hìnhSI-SDRCần biết gì
Hỗn hợp, chưa tách16,41 dBKhông gì
Mặt nạ nhị phân lý tưởng31,85 dBBiết trước cả hai nguồn
Mặt nạ tỉ lệ lý tưởng31,20 dBBiết trước cả hai nguồn
Độ lớn đúng, pha của hỗn hợp34,06 dBBiết độ lớn thật của nguồn đích
Độ lớn và pha đều đúng236,55 dBBiết cả pha — tức đã có nguồn rồi
Ba điều phải rút raDòng cuối là phép kiểm sức khoẻ: có cả độ lớn lẫn pha đúng thì dựng lại gần như tuyệt đối. Nên mọi mất mát ở bốn dòng trên đều là mất mát thật chứ không phải lỗi công cụ.Dòng thứ tư là con số đáng nhớ nhất của cả mục: 34,06 decibel là trần của toàn bộ họ phương pháp mặt nạ. Không mô hình nào trong họ ấy vượt qua được, dù to tới đâu, dù dữ liệu nhiều tới đâu.Và đó là lý do các hệ thống tách nguồn hàng đầu hiện nay chuyển sang làm việc thẳng trên miền thời gian — nơi không có khái niệm pha của hỗn hợp để phải vay mượn.

13.7.3 Hai chuẩn so sánh không cần học gì cả

Trước khi huấn luyện một mô hình tách nguồn, nên chạy hai phương pháp cổ điển. Nếu mô hình không vượt được chúng thì nó chưa học được gì.

Phương pháp thứ nhất khai thác đúng quan sát đã nêu ở mục 13.2.3: thành phần hài kéo dài theo thời gian, thành phần gõ trải rộng theo tần số. Lọc trung vị dọc trục thời gian giữ lại cái thứ nhất; lọc trung vị dọc trục tần số giữ lại cái thứ hai.

Liệt kê 13.9 Tách hài với gõ — không có tham số học nào

def tach_hpss(x, k_hai, k_go, mu): X = stft(x) A = abs(X) H = trung_vi(A, k_hai, truc=THOI_GIAN) # giữ phần hài G = trung_vi(A, k_go, truc=TAN_SO) # giữ phần gõ Mh = H**mu / (H**mu + G**mu) return istft(X * Mh), istft(X * (1 - Mh))

Phương pháp thứ hai là phân rã ma trận không âm: tìm R mẫu phổ và mức của từng mẫu theo thời gian sao cho tích của chúng xấp xỉ phổ của hỗn hợp.

Công thức (13.14)(13.14)
Hình minh hoạ
Hình minh hoạ

Hình 13.24 Hai cách không cần học, so với trần trên của mặt nạ

Bảng 13.14 Bốn mức trên cùng một hỗn hợp

Phương phápNguồn nhạcNguồn gõCần gì
Hỗn hợp, chưa tách16,41 dB−16,25 dBKhông gì
Lọc trung vị24,17 dB7,08 dBMột giả thiết về cấu trúc; chạy 0,39 giây
NMF, R = 830,05 dB13,43 dBKhông nhãn, nhưng phải gán thành phần
Mặt nạ nhị phân lý tưởng31,85 dB15,33 dBBiết trước cả hai nguồn
Một lời phải nói rõ về con số NMFTrong phép đo ở đây, việc gán mỗi thành phần NMF cho nguồn nào được làm bằng cách so với nguồn thật — tức có dùng thông tin mà một hệ thống thật không có.Vì thế 30,05 decibel là một cận trên của NMF, không phải kết quả của một bộ tách mù. Một bộ tách mù thật phải tự gán, và đó là phần khó nhất.Nói rõ điều này quan trọng hơn con số. Rất nhiều so sánh trong tài liệu về tách nguồn không nói rõ mức thông tin mà mỗi phương pháp được cho, và khi ấy hai con số không so được với nhau.

Liệt kê 13.10 NMF — luật cập nhật nhân của Lee và Seung

def nmf(V, R, vong): W = abs(standard_normal((V.shape[0], R))) + 0.1 H = abs(standard_normal((R, V.shape[1]))) + 0.1 for _ in range(vong): WH = maximum(W @ H, 1e-12) H = H * ((W.T @ (V / WH)) / (W.T @ ones_like(V))) WH = maximum(W @ H, 1e-12) W = W * (((V / WH) @ H.T) / (ones_like(V) @ H.T)) W = W / W.sum(axis=0, keepdims=True) return W, H # W: R mẫu phổ; H: mức theo thời gian
Hình minh hoạ
Hình minh hoạ

Hình 13.25 Bốn mức của một bài toán tách nguồn

13.8 Đánh giá — ba chỗ thước đo khách quan bị đánh lừa

13.8.1 Ba phép biến đổi, hai thước đo, và ba lần bất đồng

Mọi thước đo khách quan đều trả lời một câu hỏi cụ thể, và không thước đo nào trả lời được mọi câu. Ba phép biến đổi dưới đây làm lộ ra điều đó rất rõ.

Hình minh hoạ
Hình minh hoạ

Hình 13.26 Ba phép biến đổi, và hai thước đo nói ngược nhau ở cả ba

Bảng 13.15 Ba lần hai thước đo bất đồng

Phép biến đổiKhoảng cách melSI-SDRTai người nghe ra
Đảo pha ngẫu nhiên6,98 dB — gần như không có gì−39,4 dB — sai hoàn toànSai hoàn toàn
Tăng đều 3 dB3,00 dB — thấy đúng 3 decibel+229 dB — hoàn hảoChỉ to hơn một chút
Dịch đi 1 ms1,10 dB — gần như không thấy−10,0 dB — kém rõ rệtKhông nghe ra gì

Không thước đo nào đúng cả ba lần, vì mỗi thước hỏi một câu khác. SI-SDR hỏi "sóng có khớp không" — nên nó bắt được đảo pha, bỏ qua thay đổi âm lượng, và phạt nặng một phép dịch mà tai không nghe ra. Khoảng cách mel hỏi "phổ có khớp không" — nên nó mù hoàn toàn trước pha.

13.8.2 Chọn thước đo theo câu hỏi

Hình minh hoạ
Hình minh hoạ

Hình 13.27 Chọn thước đo theo câu hỏi, và cỡ mẫu cho phép nghe

Bảng trong hình xếp năm thước đo theo câu hỏi mà mỗi thước trả lời, và cột thứ ba — thứ mà mỗi thước mù trước — quan trọng hơn hai cột đầu. Chọn sai thước đo không cho kết quả sai; nó cho một kết quả đúng về một câu hỏi mà chúng ta không hỏi.

Ba lỗi hay gặp khi báo cáo kết quảChấm một mô hình sinh phổ mel bằng chính khoảng cách mel của nó. Mục 13.6.3 cho thấy thước đo ấy dễ dãi tới mức nào.Dùng SI-SDR cho một bộ sinh pha. Mục 13.6.2 cho thấy nó không bao giờ cải thiện, dù bản dựng có tốt lên thật.Báo một con số tách nguồn mà không nói rõ phương pháp được cho biết trước những gì. Mục 13.7.3 cho thấy chênh lệch có thể tới sáu decibel chỉ vì khác mức thông tin.

13.8.3 Và khi kết luận cuối cùng là phép nghe

Với âm thanh sinh ra bằng AI, không thước đo khách quan nào thay được phép nghe có đối chứng. Nhưng phép nghe cũng phải làm cho đúng, và câu hỏi đầu tiên là cần bao nhiêu người.

Bảng 13.16 Cỡ mẫu tối thiểu cho một phép nghe so sánh cặp

Chênh lệch thật giữa hai bảnSố người nghe tối thiểu
Bản A hơn 5 % — tức 55 % chọn A385
Bản A hơn 10 % — tức 60 % chọn A97
Bản A hơn 20 % — tức 70 % chọn A25
Bản A hơn 30 % — tức 80 % chọn A11

Với độ tin cậy 95 phần trăm. Nghe hai bản rồi kết luận không phải là một quan điểm khác — nó chỉ đơn giản là không đủ dữ liệu để kết luận. Và bảng này cũng cho một lời khuyên ngược: nếu chỉ có mười người nghe được, thì đừng đặt câu hỏi so sánh hai bản gần nhau, mà hãy chọn hai bản khác nhau rõ rệt.

Liệt kê 13.11 Cỡ mẫu tối thiểu — một dòng công thức

def so_mau_nghe_can(do_lech_muc, do_tin_cay=0.95): z = 1.96 if do_tin_cay >= 0.95 else 1.645 return ceil(z**2 * 0.25 / do_lech_muc**2)# so_mau_nghe_can(0.10) -> 97 người# so_mau_nghe_can(0.05) -> 385 người
Bốn quy tắc cho một phép nghe đáng tinMù: người nghe không biết bản nào là bản nào. Nếu người tổ chức cũng không biết trong lúc chấm thì càng tốt.Ngẫu nhiên hoá thứ tự trình bày cho từng người nghe, vì bản nghe trước luôn có lợi thế.Cùng mức to: chuẩn hoá LUFS cả hai bản trước khi cho nghe — mục 7.4. Bản to hơn gần như luôn được chọn, và đó là hiệu ứng đã biết từ lâu.Có mỏ neo: chèn vào một bản chắc chắn kém và một bản chắc chắn tốt. Người nghe không phân biệt được hai mỏ neo ấy thì dữ liệu của họ nên bỏ.

13.9 Thực hành, bài tập và tổng kết

13.9.1 Ba bài thực hành

Cả ba bài dùng chung mô-đun Python của cuốn sách, và cả ba đều chạy xong trong vài giây.

• Thực hành 1 — dựng một codec token. Lấy một đoạn nhạc bất kỳ, tính phổ mel, học một chồng mã sách bốn tầng, rồi đo SNR tái dựng khi giải mã một, hai và bốn tầng. Ghi lại ba con số và một câu nhận xét về hình dạng.

• Thực hành 2 — tìm điểm suy sụp của nhiệt độ. Dựng mô hình bậc một trên chính chuỗi token vừa có, rồi sinh ba nghìn token ở các nhiệt độ từ 0,4 tới 1,4. Tìm nhiệt độ thấp nhất mà tỉ lệ lặp lại chưa vượt 70 phần trăm.

• Thực hành 3 — chạy hai chuẩn so sánh tách nguồn. Trộn một đoạn nhạc với một đoạn trống, chạy lọc trung vị và NMF, rồi so với mặt nạ tỉ lệ lý tưởng. Lập một bảng bốn dòng và trả lời: phương pháp nào đáng dùng nếu chỉ có mười phút?

13.9.2 Bảy bài tập

• Bài 1 — chia tầng cho một ngân sách khác. Lặp lại phép đo của mục 13.3.3 với ngân sách 16 bit mỗi khung thay vì 12. Cách chia tốt nhất có đổi không? Giải thích bằng số từ mã phải lưu.

• Bài 2 — lượng tử hoá dư trên vật liệu khác. Chạy lại mục 13.3.4 với một đoạn chỉ có tiếng gõ, rồi với một đoạn chỉ có giọng nói. Đường cong lợi ích giảm dần có khác nhau không, và vì sao?

• Bài 3 — bậc ba. Thêm mô hình bậc ba vào phép đo của mục 13.4.1. Dự đoán trước kết quả, rồi đo, rồi so. Cần bao nhiêu mẫu học để bậc ba thắng bậc một?

• Bài 4 — lịch nhiễu riêng. Thiết kế một lịch thứ ba nằm giữa tuyến tính và cosine, vẽ đường SNR của nó, và nói bước nào nó qua mốc không decibel. Lịch ấy đáng dùng khi nào?

• Bài 5 — số bước và hình dạng phân phối. Lặp lại mục 13.5.3 với một hỗn hợp năm Gauss thay vì ba. Số bước cần để chạm sàn có tăng không? Đưa ra một giả thuyết rồi kiểm bằng số.

• Bài 6 — trần trên trên vật liệu của người đọc. Trộn hai đoạn tiếng bất kỳ rồi đo lại năm mức của mục 13.7.2. Trần do vay pha có gần 34 decibel không? Nếu lệch nhiều thì tìm xem vì sao — gợi ý: xem hai nguồn chồng phổ nhau bao nhiêu.

• Bài 7 — thiết kế một phép nghe. Viết đề cương một phép nghe so sánh hai bản do AI sinh ra, đủ bốn quy tắc ở mục 13.8.3, và tính cỡ mẫu cho chênh lệch mà người đọc muốn phát hiện. Một trang, không cần chạy thật.

13.9.3 Tổng kết chương 13

Hình minh hoạ
Hình minh hoạ

Hình 13.28 Chương 13 gói lại trong sáu con số

Chương này khác các chương trước ở một chỗ: nó nói về những hệ thống mà chúng ta không dựng lại được toàn bộ. Nhưng nó vẫn giữ nguyên nguyên tắc của cuốn sách — mọi con số trong bài đều là số đo, chạy lại được bằng một lệnh, và mỗi chỗ không đo được đều được nói rõ là không đo được.

Ba điều đáng mang sang chương sauCái đi giữa các tầng quyết định nhiều hơn cái nằm trong mỗi tầng. Chọn token hay chọn phổ mel là quyết định lớn hơn chọn kiến trúc mô hình.Mọi bài toán đều có trần trên tính được, và tìm ra nó trước khi huấn luyện tiết kiệm rất nhiều công. Trần 34,06 decibel của họ mặt nạ là ví dụ rõ nhất trong chương này.Thước đo trả lời câu hỏi của nó, không trả lời câu hỏi của chúng ta. Ba lần bất đồng ở mục 13.8.1 nên được nhớ như một lời cảnh báo thường trực.

Chương 14 mang những thứ này vào một sản phẩm thật: chuẩn hoá và xử lý kết quả do AI sinh ra, đổi tần số lấy mẫu, và ghép chúng vào đúng đường ống đã dựng ở chương 12. Đó là chỗ mọi con số của chương 7, chương 12 và chương này gặp nhau.

Tài liệu tham khảo của chương

Nguồn trực tiếp của nội dung trong bài

• Zeghidour, N. và cộng sự — SoundStream: An End-to-End Neural Audio Codec; và Défossez, A. và cộng sự — High Fidelity Neural Audio Compression (EnCodec). Hai bài này là nguồn của cơ chế lượng tử hoá dư ở mục 13.3, kể cả kỹ thuật bỏ tầng khi chạy.

• Ho, J., Jain, A., Abbeel, P. — Denoising Diffusion Probabilistic Models; và Nichol, A., Dhariwal, P. — Improved Denoising Diffusion Probabilistic Models. Bài thứ hai là nguồn của lịch cosine ở công thức (13.10), và phần lập luận của nó đúng bằng phép đo ở mục 13.5.2.

• Song, J., Meng, C., Ermon, S. — Denoising Diffusion Implicit Models. Nguồn của phép lấy mẫu nhảy bước ở công thức (13.11) và của toàn bộ mục 13.5.3.

• Griffin, D., Lim, J. — Signal Estimation from Modified Short-Time Fourier Transform. Thuật toán ở mục 13.6.2, và bài gốc nói rất rõ về chính giới hạn mà mục ấy đo được.

• Le Roux, J. và cộng sự — SDR: Half-Baked or Well Done? Nguồn của SI-SDR ở công thức (13.13), và là bài nên đọc trước khi báo bất kỳ con số tách nguồn nào.

• Fitzgerald, D. — Harmonic/Percussive Separation Using Median Filtering. Toàn bộ mục 13.7.3, và là ví dụ đẹp về một phương pháp không có tham số học mà vẫn rất mạnh.

Sách và tài liệu nền

• Lee, D. D., Seung, H. S. — Algorithms for Nonnegative Matrix Factorization. Luật cập nhật nhân dùng ở công thức (13.14).

• Müller, M. — Fundamentals of Music Processing. Sách nền tốt nhất cho phần phổ, thang mel và tách nguồn cổ điển; có mã Python đi kèm cho gần như mọi hình.

• Vaswani, A. và cộng sự — Attention Is All You Need. Đọc để hiểu cách một mô hình chia sẻ tham số giữa các ngữ cảnh giống nhau — chính là điều mà bảng đếm ở mục 13.4.1 không làm được.

• Goodfellow, I., Bengio, Y., Courville, A. — Deep Learning, chương về mô hình sinh. Đọc phần bàn về đánh đổi giữa các họ mô hình để đối chiếu với bảng ở mục 13.5.4.

Công cụ nên biết

• librosa — thư viện Python cho phân tích âm nhạc. Nó có sẵn phổ mel, HPSS và nhiều thứ khác của chương này; dùng nó để đối chiếu với bản tự viết, đừng dùng nó thay cho việc tự viết.

• mir_eval và museval — hai thư viện chuẩn để chấm tách nguồn. Chúng cài đầy đủ bộ SDR, SIR, SAR chứ không chỉ SI-SDR.

• webMUSHRA hoặc BeaqleJS — công cụ dựng phép nghe có đối chứng chạy trên trình duyệt. Đây là cách rẻ nhất để làm đúng bốn quy tắc ở mục 13.8.3.

• Bộ tự kiểm của mô-đun đi kèm sách. Ba mươi hai hàm mới của chương này đều có phép kiểm riêng, và người đọc chạy chính bộ ấy trên mã của mình để tự đối chiếu.

Đọc thêm theo hướng

• Muốn đi sâu về sinh nhạc: tìm đọc về MusicLM, MusicGen và AudioLM. Cả ba dựng trên đúng cơ chế token của mục 13.3, và đọc phần mô tả tầng token của chúng sẽ thấy lại toàn bộ mục ấy.

• Muốn đi sâu về vocoder: tìm đọc về HiFi-GAN và về BigVGAN. Chúng là câu trả lời hiện đại cho đúng bài toán mà mục 13.6 nêu ra, và phần bàn về hàm mất mát của chúng giải thích vì sao khoảng cách mel không đủ.

• Muốn đi sâu về tách nguồn: tìm đọc về Conv-TasNet, Demucs và Band-Split RNN. Chúng chính là những hệ thống đã bỏ khuôn mặt nạ để thoát khỏi trần 34 decibel ở mục 13.7.2.

• Muốn đi sâu về tiếng Việt: tìm đọc về mô hình hoá thanh điệu trong tổng hợp giọng, và về các bộ dữ liệu giọng Việt công khai. Đây là hướng mà một dự án nghiên cứu nhỏ đóng góp được thật, vì phần lớn hệ thống sẵn có đều thiết kế cho ngôn ngữ không thanh điệu.

Một lưu ý về các con số trong bài

Cách đọc các con sốCác con số về số lượng và bitrate — số mẫu, số khung, số token, kilobit mỗi giây, số từ mã — là kết quả tính chính xác từ công thức. Chúng đúng với mọi máy và mọi vật liệu.Các con số về SNR tái dựng, entropy chéo, tỉ lệ lặp lại, SI-SDR và khoảng cách phổ là kết quả đo trên vật liệu sinh bằng chính mô-đun của cuốn sách, nên chạy lại được hoàn toàn như cũ. Đổi vật liệu thì con số đổi theo; hình dạng của kết quả thì không.Riêng phép đo ở mục 13.5.3 chạy trên một bài toán đồ chơi một chiều chứ không trên âm thanh. Lý do và giới hạn của cách làm ấy nêu ngay tại mục.Vật liệu dùng trong bài là tiếng tổng hợp, không phải bản thu thật. Điều đó làm cho mọi phép đo lặp lại được, nhưng cũng làm cho chúng dễ hơn thực tế — nhất là ở mục tách nguồn. Bài tập 6 yêu cầu chạy lại trên vật liệu của chính người đọc.Mã Python in trong bài là mã đã chạy, không phải mã giả.