堀内 靖雄

伴奏システムが人間らしい伴奏を行うには，人間の協調演奏法を分析しモデル化する必要がある．我々の先行研究では 「独奏者と伴奏者の演奏タイミングのずれ」 と 「伴奏者の時間長変化」 という 2 つの演奏情報から次拍の時間長変化を予測するモデルを提案した．しかし本研究で名演奏家の合奏録音を分析した結果，直前の時間長変化よりも過去数拍分の平均テンポからのずれの方が予測に有効であることがわかった．そこで新たに線形予測モデルを構築し，予測誤差による評価を行ったところ，従来手法よりも高い精度での予測が可能となった．さらに，本研究では一般的な楽曲における長い音符や休符などにも対応可能な予測モデルを提案する．

失語症の症状の一つとして、喚語障害がある。質問により単語の思い出しを支援する機能を携帯端末上に実装し、評価実験を行った。実験の結果、料理データベースとユーザの料理の定義が一致している場合、失語症者1名が提案手法により、単語を自力で思い出せたことを確認した。(著者抄録)

GMM-UBM super-vectors will potentially lead to worse modelling for speaker verification due to the inter-session variability, especially when a small amount of training utterances were available. In this study, we propose a phoneme dependent method to suppress the inter-session variability. A speaker's model can be represented by several various phoneme Gaussian mixture models. Each of them covers an individual phoneme whose inter-session variability can be constrained in an inter-session independent subspace constructed by principal component analysis (PCA), and it uses corpus uttered by a single speaker that has been recorded over a long period. SVM-based experiments performed using a large corpus, constructed by the National Research Institute of Police Science (NRIPS) to evaluate Japanese speaker recognition, and demonstrate the improvements gained from the proposed method.

楽器演奏は,その表現のための楽譜の理解や解釈,楽器操作の訓練だけでなく,演奏者間の影響など,多様な要素の関連によって成立している.演奏の支援を目的とするシステムの提案に際しては,その行為における人間の諸感覚をどのように扱うべきかに関する課題に取り組むこととなる場合が多く,提案したシステムの評価はしばしば困難な問題となる.本稿では,人間の楽器演奏の支援を目的としたシステムとして先行する研究事例を複数とりあげる.それらの研究計画がどのような考え方に基づき進められてきたのかを紹介しながら,そのような目的を持つシステムにとって望ましい評価手法の設計において必要となる要素や課題について議論する.

本論文では腕動作が同一で手型が異なる手話単語を含む手話文に対する連続手話認識手法を提案する.腕動作のみによる手話認識については手首座標を三次元で追跡し,隠れマルコフモデルにより認識する手法をすでに提案している.しかしながら,その手法では腕動作が同一で手型が異なる単語を区別することはできなかった.本論文ではそのような単語に対して,手首座標の追跡時に腕が静止した時点と腕の運動方向が大きく変化した時点の手型画像を取得しておき,それらをサポートベクターマシンで分類することで,同二腕動作を持つ手話単語の識別を行う.評価実験として,腕動作が同一で手型が異なる単語群を辞書から抽出し,認識実験を行った.結果として,手型の異なる単語について約8割の認識率を実現した.

本論文では腕動作が同一で手型が異なる手話単語を含む手話文に対する連続手話認識手法を提案する．腕動作のみによる手話認識については手首座標を三次元で追跡し，隠れマルコフモデルにより認識する手法をすでに提案している．しかしながら，その手法では腕動作が同一で手型が異なる単語を区別することはできなかった．本論文ではそのような単語に対して，手首座標の追跡時に腕が静止した時点と腕の運動方向が大きく変化した時点の手型画像を取得しておき，それらをサポートベクターマシンで分類することで，同一腕動作を持つ手話単語の識別を行う．評価実験として，腕動作が同一で手型が異なる単語群を辞書から抽出し，認識実験を行った．結果として，手型の異なる単語について約 ８ 割の認識率を実現した．In this paper, we will introduce a continuous sign language recognition method which can distinguish the words with the same arm motion and the different hand shape. We have proposed a sign language recognition method based on the Hidden Markov Model tracking the signer's arm motion. However, the method used only arm motion and it was unable to distinguish the words with the different hand shape and the same arm motion. In this study, the hand shape images were extracted when the arm motion stopped or the movement direction of arm changes significantly. The extracted images are classified by the Support Vector Machine and identified as the proper sign word. As the result of the recognition experiment, the recognition accuracy was about 80% for the words with the different hand shape.

© 2014 First author et al. In this paper, we propose a tempo prediction model for an accompaniment system. To realize a system that acts as a human performer, it is necessary to clarify how performance control is done by human accompanists. In our previous study, we proposed a method for predicting the next beat time by using the previous history of two parameters: the time difference between the soloist and accompanist and the change of the beat duration of the accompanist. However, the study analyzed only simple music that consisted of notes with the same musical length; therefore, the model cannot be applied to general music with different note lengths. In this study, we analyze general ensemble recordings by virtuosi to investigate the effectiveness of prediction with the two parameters proposed in the previous study and a newly added parameter: the time length difference between the soloist and accompanist. Then, we propose a method for predicting the next beat time of the accompanist that is applicable to general music. The result of an evaluation experiment shows that this model can predict the next beat time with errors of 25-45 ms. Copyright:

人間が相手の感情を判断する場合,短い音声区間からでも推定できる.そこで機械による認識でも短い音声区間から推定できると考え,認識実験を行った.その結果発話音声からどの区間でも3秒程度あれば認識に十分だという結果が得られた.

自動伴奏システムが人間らしい伴奏を実現するためには，人聞が行っている伴奏制御方法の解明が必要である．我々の先行研究において，人間同士の合奏を分析することにより，「独奏者と伴奏者の演奏タイミングのずれ」 と 「伴奏者の時間長変化」 の履歴から未来の演奏を予測する手法を提案したが，その研究で分析したデータは単純な練習曲であったため，現実的な合奏における有効性は不明であった．そこで本研究では名演奏家の合奏録音データを分析し，先行研究のパラメータの有効性を調査することを目的とする．分析の結果，演奏表現上の音楽的逸脱が少ない状況では先行研究の有効性が示されたが，音楽的逸脱が大きい状況では先行研究のパラメータでは予測が困難であることが示された．In order to realize an automatic accompaniment system like a human, it is necessary that control method of human accompanist is elucidated. In our previous study, we proposed a method to predict the duration of the next beat using the history of two parameters; "the time difference between the soloist and the accompanist" and "the tempo modification of the accompanist". However, the score used in the analysis is just a simple etude, so the pragmatic effectiveness of the method for real-world music is not clear. Therefore, we analyze ensemble recordings by virtuosi to investigate the effectiveness of these two parameters. As a result, the effectiveness was shown when the tempo was stable, on the other hand, it was shown that the prediction was difficult in the situation where the virtuosi perform expressively with tempo rubato.

Denoising Autoencoder を用いて残響が重畳した対数パワースペクトルからその影響を除去した対数パワースペクトルを生成する手法を提案する．音声の時間変化をモデル化するため，提案法では連続した複数の短時間分析窓によるスペクトルフレームを連結したものをネットワークの入力として用いる．さらに，音声認識に必要なサブ音素レベルでの時間分解能を維持しながら時定数の大きな残響の影響をより正しく捕らえることを目的として，長さの異なる 2 つの分析窓長を併用する拡張手法を提案する．実験では，CENSREC-4 を用いた数字音声認識により提案法が従来手法よりも効果的であることを示す．さらに，JNAS を用いた音声認識を行い，提案法が大語彙連続音声認識においても耐残響フロントエンドとして有効であることを示す．

Denoising Autoencoder を用いて残響が重畳した対数パワースペクトルからその影響を除去した対数パワースペクトルを生成する手法を提案する.音声の時間変化をモデル化するため,提案法では連続した複数の短時間分析窓によるスペクトルフレームを連結したものをネットワークの入力として用いる.さらに,音声認識に必要なサブ音素レベルでの時間分解能を維持しながら時定数の大きな残響の影響をより正しく捕らえることを目的として,長さの異なる 2 つの分析窓長を併用する拡張手法を提案する.実験では,CENSREC-4 を用いた数字音声認識により提案法が従来手法よりも効果的であることを示す.さらに,JNAS を用いた音声認識を行い,提案法が大語彙連続音声認識においても耐残響フロントエンドとして有効であることを示す.

リアルタイム映像配信における字幕提示において,字幕情報の遅延や欠落は大きな問題である.この問題に対し,音声と字幕の同期と字幕の要約が有効であると考えられるが,一般的な映像での検証はほとんどなされていない.そこで本研究では(1)字幕提示のタイミングを変化させた場合の了解度実験(2)音声に忠実な字幕文(全文字幕)と音声を要約した字幕文(要約字幕)での了解度実験と主観評価実験を行った.結果として字幕提示のタイミングは音声と同期させた場合の了解度が最も高くなった.全文字幕と要約字幕では了解度において有意差は見られなかったが,ろう者に対しては要約字幕の方が了解度が高い傾向が示された.また,主観評価では要約字幕の評価が高くなり,字幕を要約することの有効性が示された.

リアルタイム映像配信における字幕提示において,字幕情報の遅延や欠落は大きな問題である.この問題に対し,音声と字幕の同期と字幕の要約が有効であると考えられるが,一般的な映像での検証はほとんどなされていない.そこで本研究では(1)字幕提示のタイミングを変化させた場合の了解度実験(2)音声に忠実な字幕文(全文字幕)と音声を要約した字幕文(要約字幕)での了解度実験と主観評価実験を行った.結果として字幕提示のタイミングは音声と同期させた場合の了解度が最も高くなった.全文字幕と要約字幕では了解度において有意差は見られなかったが,ろう者に対しては要約字幕の方が了解度が高い傾向が示された.また,主観評価では要約字幕の評価が高くなり,字幕を要約することの有効性が示された.

本論文ではKinectとパーティクルフィルタを用いた手話認識手法について検討する.我々の先行研究では腕の肌色情報とKinectによる距離情報を統合し、パーティクルフィルタにより、腕を追跡して手話認識を行う手法を提案し、高い認識精度が示された.しかしこの手法では、腕の肌色情報を用いるために腕まくりをしなければならないという制約が存在した.そこで本研究ではKinectの距離情報を利用することにより、腕まくりの制約を課さなくても腕検出を行える手法を提案し、認識実験により先行研究と同程度の認識精度が得られたことを示す.

リアルタイム映像配信における字幕提示において,字幕情報の遅延や欠落は大きな問題である.この問題に対し,音声と字幕の同期と字幕の要約が有効であると考えられるが,一般的な映像での検証はほとんどなされていない.そこで本研究では(1)字幕提示のタイミングを変化させた場合の了解度実験(2)音声に忠実な字幕文(全文字幕)と音声を要約した字幕文(要約字幕)での了解度実験と主観評価実験を行った.結果として字幕提示のタイミングは音声と同期させた場合の了解度が最も高くなった.全文字幕と要約字幕では了解度において有意差は見られなかったが,ろう者に対しては要約字幕の方が了解度が高い傾向が示された.また,主観評価では要約字幕の評価が高くなり,字幕を要約することの有効性が示された.

リアルタイム映像配信における字幕提示において,字幕情報の遅延や欠落は大きな問題である.この問題に対し,音声と字幕の同期と字幕の要約が有効であると考えられるが,一般的な映像での検証はほとんどなされていない.そこで本研究では(1)字幕提示のタイミングを変化させた場合の了解度実験(2)音声に忠実な字幕文(全文字幕)と音声を要約した字幕文(要約字幕)での了解度実験と主観評価実験を行った.結果として字幕提示のタイミングは音声と同期させた場合の了解度が最も高くなった.全文字幕と要約字幕では了解度において有意差は見られなかったが,ろう者に対しては要約字幕の方が了解度が高い傾向が示された.また,主観評価では要約字幕の評価が高くなり,字幕を要約することの有効性が示された.

本論文ではKinectとパーティクルフィルタを用いた手話認識手法について検討する.我々の先行研究では腕の肌色情報とKinectによる距離情報を統合し、パーティクルフィルタにより、腕を追跡して手話認識を行う手法を提案し、高い認識精度が示された.しかしこの手法では、腕の肌色情報を用いるために腕まくりをしなければならないという制約が存在した.そこで本研究ではKinectの距離情報を利用することにより、腕まくりの制約を課さなくても腕検出を行える手法を提案し、認識実験により先行研究と同程度の認識精度が得られたことを示す.

身体的なハンディキャップにより意思疎通が難しい患者,特に筋萎縮性側索硬化症(ALS)の患者に対し代替となる効率的なコミュニケーション手段を提供することを目的として,眼電位を入力とした音声合成インタフェースを提案し研究を行っている.システムは目の周囲に配置した生体電極から眼電位信号を取り込み,音声認識技術を応用した認識器を用いて眼球動作を認識する.そしてその結果をもとに,実時間で音声合成を行う.これまでのシステムでは認識器においてコンテキスト非依存隠れマルコフモデル(HMM)や一部の眼動素のみ直前のコンテキストに依存化させたバイ眼動素モデルを用いていたが,認識性能の点で不十分であった.そこで本研究では,直前および直後のコンテキストに依存化させた状態共有トライ眼動素モデルの利用を検討する.さらに,眼動素の並びをモデル化したN-gramモデルの導入を行う.従来のコンテキスト非依存HMMのみを用いた場合の仮名認識精度が84 3%,バイ眼動素モデルを用いた場合が89 1%であったのに対し,トライ眼動素モデルを用いた場合は96 2%と認識精度が大きく向上した さらに, N-gramモデルとして仮名3-gramモデルを使用することで, 97 3%の高い認識精度が得られた.

Denoising autoencoder is applied to reverberant speech recognition as a noise robust front-end to reconstruct clean speech spectrum from noisy input. In order to capture context effects of speech sounds, a window of multiple short-windowed spectral frames are concatenated to form a single input vector. Additionally, a combination of short and long-term spectra is investigated to properly handle long impulse response of reverberation while keeping necessary time resolution for speech recognition. Experiments are performed using the CENSREC-4 dataset that is designed as an evaluation framework for distant-talking speech recognition. Experimental results show that the proposed denoising autoencoder based front-end using the short-windowed spectra gives better results than conventional methods. By combining the long-term spectra, further improvement is obtained. The recognition accuracy by the proposed method using the short and long-term spectra is 97.0% for the open condition test set of the dataset, whereas it is 87.8% when a multi condition training based baseline is used. As a supplemental experiment, large vocabulary speech recognition is also performed and the effectiveness of the proposed method has been confirmed.

In this study, we developed a compact wireless Laplacian electrode module for electromyograms (EMGs). One of the advantages of the Laplacian electrode configuration is that EMGs obtained with it are expected to be sensitive to the firing of the muscle directly beneath the measurement site. The performance of the developed electrode module was investigated in two human interface applications: character-input interface and detection of finger movement during finger Braille typing. In the former application, the electrode module was combined with an EMG-mouse click converter circuit. In the latter, four electrode modules were used for detection of finger movements during finger Braille typing. Investigation on the character-input interface indicated that characters could be input stably by contraction of (a) the masseter, (b) trapezius, (c) anterior tibialis and (d) flexor carpi ulnaris muscles. This wide applicability is desirable when the interface is applied to persons with physical disabilities because the disability differs one to another. The investigation also demonstrated that the electrode module can work properly without any skin preparation. Finger movement detection experiments showed that each finger movement was more clearly detectable when comparing to EMGs recorded with conventional electrodes, suggesting that the Laplacian electrode module is more suitable for detecting the timing of finger movement during typing. This could be because the Laplacian configuration enables us to record EMGs just beneath the electrode. These results demonstrate the advantages of the Laplacian electrode module.

<p>高齢者や障害者をユーザとして想定した場合，ユーザへの負荷が小さいシステムが必要となる．しかし，現状の多くのシステムでは自然な対話が実現できておらず，ユーザに負担を課している．本研究では，非母語・母語対話における話者交替のタイミングを分析し，非母語話者-母語話者間で話者交替の様相が異なることを示す．この結果は，母語の対話では，参与者が互いに負荷を軽減するように話者交替を行っているこが示唆された．</p>

本研究では,視覚障害者にとってより効率的に正しい漢字を選択できる方式として,変換候補の漢字の意味情報を用いた手法を提案する.変換候補の漢字を連想しやすい基準として,意味の観点から上位語・類義語・関連用言,語源の観点から和語・漢語・外来語を意味情報として用いた.従来の詳細読みと提案手法である意味情報に基づいた漢字変換による比較実験を,晴眼者による疑似実験と視覚障害者を対象に行った.その結果,意味情報は詳細読みに比べてより負担が少なく速く漢字を変換できる傾向が明らかになった.