wav2midi 方針・設計

音声波形のパワースペクトルの抽出

音声波形 $f(t)$ の周波数成分ーつまりパワースペクトル $F(\omega)$ はフーリエ変換を用いて求めることができる。

$F(\omega) = \int_{-\infty}^{\infty} f(t) \; e^{-i \omega t} dt$

ここで、対象となる音声波形 $f(t)$ はサンプリング周期 $T_s$ により一定間隔で標本化された離散値となる。そのため、離散フーリエ変換(Discrete Fourier Transform―DFT)を用いる。

まず、 $f(t)$ をある区間 $[t_0, t_0 + \Delta t)$ で $N$ 個標本化したときの $f(t)$ の標本化列 $\{ f_s[j] \}$ は以下のようになる $(j \in \mathbb{N}, 0 \leq j \lt N)$ 。

$f_s[j] = f(t_0 + jT_s)$

そして、 $\{ f_s[x] \}$ のパワースペクトル $F_s(\omega)$ は離散フーリエ変換より以下のように求められる。

$F_s(\omega) = \sum_{x=0}^{N-1}{ f_s[j] \; e^{-i \omega j T_s} } \\$

ここで、 $\{ f_s[j] \}$ はサンプリング周期 $T_s$ で $N$ 個標本化されているので、取りうる周波数 $\{ \nu[k] \}$ および角周波数 $\{ \omega[k] \}$ は標本点 $k$ を使って以下のようになる $(k \in \mathbb{N}, \; 0 \leq k \lt N)$ 。

$\nu [k] = \frac{1}{T_s} \frac{k}{N} \\ \omega [k] = 2 \pi \nu [k]$

よって、 $F_s(\omega)$ は、パワースペクトル列 $\{ F_s[k] \}$ となり、以下のようになる。

$F_s[k] = \sum_{x=0}^{N-1}{ f_s[j] \; e^{-i \frac{2 \pi jk}{N} }} \\$

高速フーリエ変換(Fast Fourier Transform―FFT)

DFTでは計算量が $O(n^2)$ となり計算量が膨大になるため、実際に実装する際は FFT を用いる。これで計算量が $O(n \log n)$ となり大幅に減らすことができる。

まず、回転因子 $W_N$ というものを導入する。

$W_N = e^{-i \frac{2 \pi}{N}}$

すると、 $\{ F_s[k] \}$ は以下のようになる。

$F_s[k] = \sum_{j=0}^{N-1}{ f_s[j] \; W_N^{jk}} \\$

ここで、回転因子 $W_N$ は以下の関係が成り立つ。

$W_N^{nN} = e^{-i 2n \pi} = 1, \;\;\; (n \in \mathbb{Z}) \\ W_N^{n \frac{N}{2}} = e^{-i n \pi} = -1, \;\;\; (n \in \mathbb{Z}) \\ W_N^{an} = e^{-i \frac{2 \pi an}{N}} = e^{-i \frac{2 \pi n}{\frac{N}{a}}} = W_{\frac{N}{a}}^{n} \\ W_N^{n - \frac{N}{2}} = e^{-i \frac{2 n \pi}{N}} e^{i \pi} = -W_N^{n}$

つぎに、 $N$ が偶数である場合に、 $\{ F_s[k] \}$ を $k$ が偶数の場合と奇数の場合にわけ、それぞれ $\frac{N}{2}$ ごとに分割する。

$\{ F[k] \} = \begin{cases} \{ F[2k] \} \\ \{ F[2k+1] \} \\ \end{cases}$

$\begin{align} F_s[2k] &= \sum_{j=0}^{\frac{N}{2}-1}{ f_s[j] \; W_N^{2jk}} + \sum_{j=\frac{N}{2}}^{N-1}{ f_s[j] \; W_N^{2jk}} \\ &= \sum_{j=0}^{\frac{N}{2}-1}{ f_s[j] \; W_N^{2jk}} + \sum_{j=0}^{\frac{N}{2}-1}{ f_s[j + \frac{N}{2}] \; W_N^{2jk+jN}} \\ \\ &= \sum_{j=0}^{\frac{N}{2}-1}{ f_s[j] \; W_N^{2jk}} + \sum_{j=0}^{\frac{N}{2}-1}{ f_s[j + \frac{N}{2}] \; W_N^{2jk}} \\ &= \sum_{j=0}^{\frac{N}{2}-1}{ (f_s[j] + f_s[j + \frac{N}{2}]) \; W_N^{2jk}} \\ \end{align}$

$\begin{align} F_s[2k+1] &= \sum_{j=0}^{\frac{N}{2}-1}{ f_s[j] \; W_N^{j(2k+1)}} + \sum_{j=\frac{N}{2}}^{N-1}{ f_s[j] \; W_N^{j(2k+1)}} \\ &= \sum_{j=0}^{\frac{N}{2}-1}{ f_s[j] \; W_N^{2jk} W_N^j} + \sum_{j=\frac{N}{2}}^{N-1}{ f_s[j] \; W_N^{2jk} W_N^j} \\ &= \sum_{j=0}^{\frac{N}{2}-1}{ f_s[j] \; W_N^{2jk} W_N^j} + \sum_{j=0}^{\frac{N}{2}-1}{ f_s[j+\frac{N}{2}] \; W_N^{2(j+\frac{N}{2})k} W_N^{(j+\frac{N}{2})}} \\ &= \sum_{j=0}^{\frac{N}{2}-1}{ f_s[j] \; W_N^{2jk} W_N^j} + \sum_{j=0}^{\frac{N}{2}-1}{ f_s[j+\frac{N}{2}] \; W_N^{2jk} W_N^{lN} W_N^j W_N^{\frac{N}{2}}} \\ &= \sum_{j=0}^{\frac{N}{2}-1}{ f_s[j] \; W_N^{2jk} W_N^j} - \sum_{j=0}^{\frac{N}{2}-1}{ f_s[j+\frac{N}{2}] \; W_N^{2jk}} W_N^j \\ &= \sum_{j=0}^{\frac{N}{2}-1}{ (f_s[j] - f_s[j+\frac{N}{2}]) \; W_N^{2jk} W_N^j} \end{align}$

ここで、数列 $\{ f_s^E[j] \}$ および $\{ f_s^O[j] \}$ を考える。

$f_s^E[j] = f_s[j] + f_s[j + \frac{N}{2}] \\ f_s^O[j] = (f_s[j] - f_s[j + \frac{N}{2}]) W_N^{j}$

$\{ f_s^E[j] \}$ 、 $\{ f_s^O[j] \}$ および回転因子 $W_N$ の性質により $W_N^{2jk} = W_{\frac{N}{2}}^{jk}$ とすると $\{ F_s[2k] \}$ および $\{ F_s[2k+1] \}$ はそれぞれ以下のようになる。

$F_s[2k] = \sum_{j=0}^{\frac{N}{2}-1}{ f_s^E[j] \; W_{\frac{N}{2}}^{jk}} \\ F_s[2k+1] = \sum_{j=0}^{\frac{N}{2}-1}{ f_s^O[j] \; W_{\frac{N}{2}}^{jk}} \\$

これより、 $\{ F_s[2k] \}$ および $\{ F_s[2k+1] \}$ それぞれが、離散フーリエ変換の式になっているので、あとはこれを再帰的に分割していく。

この一連の演算の結果の数列を $\{ \text{FFT}_{N}^{\{ f [j] \}} \}$ とすると以下のような式になる。

$\begin{align} \text{FFT}_{N}^{\{ f [j] \}} [k] &= \begin{cases} \text{FFT}_{\frac{N}{2}}^{\{ f^E [j] \}} [2k] \\ \text{FFT}_{\frac{N}{2}}^{\{ f^O [j] \}} [2k+1] \end{cases} \\ \text{FFT}_{1}^{\{ f [j] \}} [k] &= f[0] \end{align}$

よって、 $\{ F_s[k] \}$ は以下のようになる。

$F_s[k] = \text{FFT}_{N}^{\{ f_s [j] \}}[k]$

参考

音階の周波数

音階は1オクターブごとに12個存在し、隣り合う音階の周波数の比率が一定である。すなわち音階の周波数は等比数列となる。また、1オクターブごとに周波数が2倍となるため、音階の周波数の公比 $r_f$ は以下のようになる。

$r_f = 2^{\frac{1}{12}}$

また、最初の音階 $\text{A0}$ の周波数は $27.5 \text{[Hz]}$ である。そのため、初項 $a_f$ は以下のようになる。

$a_f = 27.5$

よって、 $r_f$ および $a_f$ より $n$ 番目の音階の周波数―すなわち一般項 $a_{n}$ は以下のようになる。

$\begin{align} a_{n} &= a_f \; r_f^n \\ &= 27.5 \times {2^{\frac{1}{12}}}^n \\ &= 27.5 \times {2^{\frac{n}{12}}} \;\;\; \cdots \;\;\; (a) \end{align}$

さて、ここでピアノの鍵盤は88鍵存在するので各鍵盤 $n$ の周波数 $\nu_p$ および音階 $S_p$ は以下のようになる $(n \in \mathbb{N}, \; 0 \leq n \lt 88)$ 。

$\nu_p [n] = a_{n}$

$S_p [n] = \begin{cases} \text{A0} & (n = 0) \\ \text{A#0} & (n = 1) \\ \text{B0} & (n = 2) \\ \text{C1} & (n = 3) \\ \cdots \\ \end{cases}$

参考

音階周波数

パワースペクトルから音階の抽出

パワースペクトルのピーク(基音)を抽出することにより求めることができる。

まず、基音はパワースペクトル列 $\{ F_s[k] \}$ で最大の大きさを持つはずなので、最大値 $F_{s \; \text{max}}$ 抽出する。

$F_{s \; \text{max}} = \max \{ F_s \}$

次に、 $F_{s \; \text{max}}$ の $70\text{%}$ 以上の大きさを持つスペクトル列を基音 $K_b$ と定義すると以下のようになる。

$K_b = \{ k \in \mathbb{N} \; | \; 0 \leq k \lt N, \; F_s [k] \geq 0.7 \; F_{s \; \text{max}} \}$

これより基音の周波数 $\nu_b$ は以下のようになる。

$\{ \nu_b [k] \} = \{ \nu [k] \; | \; k \in K_b \}$

ここで、式 $(a)$ を $n$ について解くと以下のようになる。

$a_{n} = 27.5 \times {2^{\frac{n}{12}}} \\ \frac{a_{n}}{27.5} = {2^{\frac{n}{12}}} \\ \log_2{\frac{a_{n}}{27.5}} = \log_2{{2^{\frac{n}{12}}}} \\ \log_2{\frac{a_{n}}{27.5}} = \frac{n}{12} \\ n = 12 \; \log_2{\frac{a_{n}}{27.5}}$

ここで、 $a_{n}$ を音階の周波数以外の一般の周波数 $\nu$ について考える。つまり、 $s(\nu) = n$ 、 $\nu = a_n$ とすると上式は以下のようになる。

$s(\nu) = 12 \; \log_2{\frac{\nu}{27.5}}$

ただし、音階 $s(\nu)$ は整数である必要があるので $(s(\nu) \in \mathbb{Z})$ 、上式を四捨五入してもっとも近い整数に丸める。そのため以下のようになる。

$s(\nu) = \text{round}(12 \; \log_2{\frac{\nu}{27.5}})$

$\{ \nu_b [k] \}$ 及び、 $s(\nu)$ より、音声波形 $f(t)$ の音階 $S$ は以下のようになる。

$S = \{ s(\nu_b [k]) \; | \; k \in K_b \}$

本記事では、自然数 $\mathbb{N}$ は $0$ を含む。