読む編集履歴表示

音声分析

ウィキペディアから、無料の百科事典

音声分析（おんせいぶんせき、（英: speech analysis）は音声を特徴量へ変換・表現することである^[1]。

概要

音声とはヒトの喉から発せられた振動である。最も単純な表現として音声は波、すなわち振幅の時間変動で表される。一方で波には様々な表現が存在する。例えばフーリエ変換を介して周波数表現でも等価に表現できるし、STFTによりスペクトログラムとしても表現できる。このように波である音声を分析し異なる表現へ変換することを音声分析という。

音声分析により得られる音響特徴量にはスペクトログラム、基本周波数などが挙げられる。これらの音響特徴量は音声認識や音声合成の入力として利用される。

音響特徴量

音響特徴量（おんきょうとくちょうりょう、（英: acoustic feature, speech representation）は音声分析で得られる特徴量である。

音響特徴量は専門家の手による特徴量エンジニアリングで考案されたり、機械学習を利用した表現学習によって得られる。特徴量の良さはその用途により異なる。以下は音響特徴量の例である。

非周期性指標

非周期性指標（ひしゅうきせいしひょう、（英: aperiodicity）は音響信号の各周波数における非調波成分の割合である^[2]。有声音であれば声のかすれ具合に相当する^[3]。

分類

音声分析はアプローチによって様々に分類できる。

短時間分析

短時間分析（たんじかんぶんせき、（英: short-term analysis）は音声を短い音声断片へ区分けして扱う分析の総称である^[4]。フレーム分析（フレームぶんせき、（英: frame analysis）とも。

音声とくに言語音はしばしば準定常性をもつ、すなわち短時間では定常で長時間では変動する^[4]。短時間と長時間の特性を同時に分析するには、長い音声を短時間に区分けして各区画の特性を調べかつその変遷に着目すればよい^[4]。これが短時間分析である。音声の言語音的側面を調べる際は短時間分析が多様される。一例として、短時間フーリエ変換等の時間周波数解析、PSOLAの分析段階が挙げられる。

分析窓

分析窓（ぶんせきまど、（英: analysis window）は音声から短時間区間を切り出す窓関数である^[5]。 $w_{a}(t)$ や $h(t)$ で表記される。

音声分析では（多くの場合） $t=0$ を分析窓中心として静的な分析窓を記述し、これを分析したい区間の中心 $t$ までシフトし原音声 $x(\tau )$ に掛けることで信号 ${\tilde {x}}(\tau )$ を取り出す。これは次の式で表される：

{\tilde {x}}(\tau )=x(\tau )w_{a}(\tau -t)

窓を掛けることにより、窓の台以外の区間では信号 ${\tilde {x}}(\tau )$ は $0$ になる。直感的には音声をフェードイン/フェードアウトさせて一部区間のみ音がなるようにしているといえる。

短時間分析では分析区間を動かして変遷を分析するため、区間中心（=分析窓のシフト量）である $t$ を変数と見なす。これにより信号 ${\tilde {x}}(\tau ,t)$ は次の式で表される^[6]：

{\tilde {x}}(\tau ,t)=x(\tau )w_{a}(\tau -t)

なお、分析窓をパラメトリックにする音声分析も様々存在する（例: PSOLA - ウインドウ長が原音声のピッチに依存^[7]）。

手法

フーリエ変換に基づく周波数解析がしばしば利用される。これによりスペクトルやスペクトログラムが得られ、また更なる分析によってf_oやフォルマントの経時変化が得られる。

また、音声波形について、DCT変換を用いて直接数値化する事も行われている。これを更にパターンに当てはめる事で伝送用に特化させたものが音声圧縮アルゴリズムのCELPであり、この数値の相関性を基にして、特定の人物の音声を合成することも可能である。

以下は特定の特徴量を得るために用いられる分析手法の一例である：

スペクトル包絡
- 線形予測符号化（LPC）
- ケプストラム法
非周期性指標
- D4C

Acoustic Unit Discovery

機械学習によりAcoustic Unit (AU) を得ることをAcoustic Unit Discovery; AUD という。典型的なAUDでは教師なし学習を用い、音声信号に繰り返し現れる単位（= AU）を抽出できるようモデルを学習する。学習方法やモデルによりAUがもつ特性は異なる（例: 音素に似た話者独立な特徴量、話者性を持つフォルマント的な特徴量）。AUは音声合成（unit-to-speech, speech resynthesis）や言語モデル（例: GSLM）に利用される。用途によりAUに求められる特性は異なる。

以下は具体的な手法の一例である。

教師なし学習^[8]
- 再構成ベース: VQ-VAE-WaveNet
- 自己教師あり学習ベース: CPC, wav2vec 2.0, HuBERT
ASRモデル

脚注

[脚注の使い方]

出典

↑ 音声分析合成システム ... 音声の特徴を活用し、音声をパラメータとして表現する分析法(森勢 2018, p. 53)
↑ aperiodicity is defined as the power ratio between the speech signal and the aperiodic component of the signal以下より引用。Morise (2016). "D4C, a band-aperiodicity estimator for high-quality speech synthesis". Speech Communication. 84: 57–65.
↑ 森勢将雅「音声パラメータのデザイン : 知覚情報を操作可能な音声合成に向けて」『日本音響学会誌』第74巻第11号、日本音響学会、2018年11月、608-612頁、CRID 1390001288135088000、doi:10.20697/jasj.74.11_608、ISSN 03694232。
1 2 3 音声は時間とともに特徴が変わるため、短時間分析により短時間ごとの性質と時間的な特性の変化を観測することが望ましい。(森勢 2018, p. 19)
↑ 短時間の波形を窓関数により切り出(森勢 2018, p. 19)
↑ 波形を切り出す演算は以下のようになる。... $y(\tau ,t)=x(\tau )w(\tau -t)$ "(森勢 2018, p. 19)
↑ pitch-synchronous analysis windows $h_{m}(n)$ ... Their lengths are ... proportional to the local pitch period,(Moulines 1990, pp. 454–455)
↑ Studies on unsupervised speech representation learning can roughly be divided into reconstruction and self-supervised learning methods.以下より引用。Polyak, et al. (2021). Speech Resynthesis from Discrete Disentangled Self-Supervised Representations.

参考文献

森勢, 将雅『音声分析合成』コロナ社〈音響テクノロジーシリーズ〉、2018年。ISBN 9784339011371。
Moulines, Eric (1990). "Pitch-synchronous waveform processing techniques for text-to-speech synthesis using diphones". Speech Communication. 9 (5–6): 453–467. doi:10.1016/0167-6393(90)90021-Z。