黒岩 眞吾

音楽情報処理の一分野として研究されている伴奏システムは，人間の伴奏者のように独奏者に協調した演奏を行うシステムである．より良い協調演奏のためにはリハーサルによる独奏者の演奏意図の学習が不可欠であり，この機能を伴奏システムに組み込んだ先行研究はいくつか存在するが，独奏者が伴奏から受ける影響を考慮していないといった手法上の問題があるのに加え，リハーサル機能の有効性の検証も十分ではなかった．そこで本研究では，独奏者の意図したテンポ表現をリハーサルで学習し，学習結果を次回の合奏時のテンポ制御に利用することにより，独奏者の意図を反映した伴奏を実現した．本手法ではリハーサルの初期段階で独奏者が伴奏の影響を受けずに演奏意図をシステムへ伝えられるよう，独奏者単独での演奏による学習を可能とした．4 名のプロフルート奏者による評価実験の結果，提案したリハーサル機能の有効性を確認することができた．

伴奏システムが人間らしい伴奏を行うには，人間の協調演奏法を分析しモデル化する必要がある．我々の先行研究では 「独奏者と伴奏者の演奏タイミングのずれ」 と 「伴奏者の時間長変化」 という 2 つの演奏情報から次拍の時間長変化を予測するモデルを提案した．しかし本研究で名演奏家の合奏録音を分析した結果，直前の時間長変化よりも過去数拍分の平均テンポからのずれの方が予測に有効であることがわかった．そこで新たに線形予測モデルを構築し，予測誤差による評価を行ったところ，従来手法よりも高い精度での予測が可能となった．さらに，本研究では一般的な楽曲における長い音符や休符などにも対応可能な予測モデルを提案する．

音楽情報処理の一分野として研究されている伴奏システムは，人間の伴奏者のように独奏者に協調した演奏を行うシステムである．より良い協調演奏のためにはリハーサルによる独奏者の演奏意図の学習が不可欠であり，この機能を伴奏システムに組み込んだ先行研究はいくつか存在するが，独奏者が伴奏から受ける影響を考慮していないといった手法上の問題があるのに加え，リハーサル機能の有効性の検証も十分ではなかった．そこで本研究では，独奏者の意図したテンポ表現をリハーサルで学習し，学習結果を次回の合奏時のテンポ制御に利用することにより，独奏者の意図を反映した伴奏を実現した．本手法ではリハーサルの初期段階で独奏者が伴奏の影響を受けずに演奏意図をシステムへ伝えられるよう，独奏者単独での演奏による学習を可能とした．4 名のプロフルート奏者による評価実験の結果，提案したリハーサル機能の有効性を確認することができた．

伴奏システムが人間らしい伴奏を行うには，人間の協調演奏法を分析しモデル化する必要がある．我々の先行研究では 「独奏者と伴奏者の演奏タイミングのずれ」 と 「伴奏者の時間長変化」 という 2 つの演奏情報から次拍の時間長変化を予測するモデルを提案した．しかし本研究で名演奏家の合奏録音を分析した結果，直前の時間長変化よりも過去数拍分の平均テンポからのずれの方が予測に有効であることがわかった．そこで新たに線形予測モデルを構築し，予測誤差による評価を行ったところ，従来手法よりも高い精度での予測が可能となった．さらに，本研究では一般的な楽曲における長い音符や休符などにも対応可能な予測モデルを提案する．

失語症の症状の一つとして、喚語障害がある。質問により単語の思い出しを支援する機能を携帯端末上に実装し、評価実験を行った。実験の結果、料理データベースとユーザの料理の定義が一致している場合、失語症者1名が提案手法により、単語を自力で思い出せたことを確認した。(著者抄録)

本論文では腕動作が同一で手型が異なる手話単語を含む手話文に対する連続手話認識手法を提案する.腕動作のみによる手話認識については手首座標を三次元で追跡し,隠れマルコフモデルにより認識する手法をすでに提案している.しかしながら,その手法では腕動作が同一で手型が異なる単語を区別することはできなかった.本論文ではそのような単語に対して,手首座標の追跡時に腕が静止した時点と腕の運動方向が大きく変化した時点の手型画像を取得しておき,それらをサポートベクターマシンで分類することで,同二腕動作を持つ手話単語の識別を行う.評価実験として,腕動作が同一で手型が異なる単語群を辞書から抽出し,認識実験を行った.結果として,手型の異なる単語について約8割の認識率を実現した.

本論文では腕動作が同一で手型が異なる手話単語を含む手話文に対する連続手話認識手法を提案する.腕動作のみによる手話認識については手首座標を三次元で追跡し,隠れマルコフモデルにより認識する手法をすでに提案している.しかしながら,その手法では腕動作が同一で手型が異なる単語を区別することはできなかった.本論文ではそのような単語に対して,手首座標の追跡時に腕が静止した時点と腕の運動方向が大きく変化した時点の手型画像を取得しておき,それらをサポートベクターマシンで分類することで,同二腕動作を持つ手話単語の識別を行う.評価実験として,腕動作が同一で手型が異なる単語群を辞書から抽出し,認識実験を行った.結果として,手型の異なる単語について約8割の認識率を実現した.

本論文では腕動作が同一で手型が異なる手話単語を含む手話文に対する連続手話認識手法を提案する．腕動作のみによる手話認識については手首座標を三次元で追跡し，隠れマルコフモデルにより認識する手法をすでに提案している．しかしながら，その手法では腕動作が同一で手型が異なる単語を区別することはできなかった．本論文ではそのような単語に対して，手首座標の追跡時に腕が静止した時点と腕の運動方向が大きく変化した時点の手型画像を取得しておき，それらをサポートベクターマシンで分類することで，同一腕動作を持つ手話単語の識別を行う．評価実験として，腕動作が同一で手型が異なる単語群を辞書から抽出し，認識実験を行った．結果として，手型の異なる単語について約 ８ 割の認識率を実現した．In this paper, we will introduce a continuous sign language recognition method which can distinguish the words with the same arm motion and the different hand shape. We have proposed a sign language recognition method based on the Hidden Markov Model tracking the signer's arm motion. However, the method used only arm motion and it was unable to distinguish the words with the different hand shape and the same arm motion. In this study, the hand shape images were extracted when the arm motion stopped or the movement direction of arm changes significantly. The extracted images are classified by the Support Vector Machine and identified as the proper sign word. As the result of the recognition experiment, the recognition accuracy was about 80% for the words with the different hand shape.

人間が相手の感情を判断する場合,短い音声区間からでも推定できる.そこで機械による認識でも短い音声区間から推定できると考え,認識実験を行った.その結果発話音声からどの区間でも3秒程度あれば認識に十分だという結果が得られた.

自動伴奏システムが人間らしい伴奏を実現するためには，人聞が行っている伴奏制御方法の解明が必要である．我々の先行研究において，人間同士の合奏を分析することにより，「独奏者と伴奏者の演奏タイミングのずれ」 と 「伴奏者の時間長変化」 の履歴から未来の演奏を予測する手法を提案したが，その研究で分析したデータは単純な練習曲であったため，現実的な合奏における有効性は不明であった．そこで本研究では名演奏家の合奏録音データを分析し，先行研究のパラメータの有効性を調査することを目的とする．分析の結果，演奏表現上の音楽的逸脱が少ない状況では先行研究の有効性が示されたが，音楽的逸脱が大きい状況では先行研究のパラメータでは予測が困難であることが示された．In order to realize an automatic accompaniment system like a human, it is necessary that control method of human accompanist is elucidated. In our previous study, we proposed a method to predict the duration of the next beat using the history of two parameters; "the time difference between the soloist and the accompanist" and "the tempo modification of the accompanist". However, the score used in the analysis is just a simple etude, so the pragmatic effectiveness of the method for real-world music is not clear. Therefore, we analyze ensemble recordings by virtuosi to investigate the effectiveness of these two parameters. As a result, the effectiveness was shown when the tempo was stable, on the other hand, it was shown that the prediction was difficult in the situation where the virtuosi perform expressively with tempo rubato.

Denoising Autoencoder を用いて残響が重畳した対数パワースペクトルからその影響を除去した対数パワースペクトルを生成する手法を提案する.音声の時間変化をモデル化するため,提案法では連続した複数の短時間分析窓によるスペクトルフレームを連結したものをネットワークの入力として用いる.さらに,音声認識に必要なサブ音素レベルでの時間分解能を維持しながら時定数の大きな残響の影響をより正しく捕らえることを目的として,長さの異なる 2 つの分析窓長を併用する拡張手法を提案する.実験では,CENSREC-4 を用いた数字音声認識により提案法が従来手法よりも効果的であることを示す.さらに,JNAS を用いた音声認識を行い,提案法が大語彙連続音声認識においても耐残響フロントエンドとして有効であることを示す.

Denoising Autoencoder を用いて残響が重畳した対数パワースペクトルからその影響を除去した対数パワースペクトルを生成する手法を提案する．音声の時間変化をモデル化するため，提案法では連続した複数の短時間分析窓によるスペクトルフレームを連結したものをネットワークの入力として用いる．さらに，音声認識に必要なサブ音素レベルでの時間分解能を維持しながら時定数の大きな残響の影響をより正しく捕らえることを目的として，長さの異なる 2 つの分析窓長を併用する拡張手法を提案する．実験では，CENSREC-4 を用いた数字音声認識により提案法が従来手法よりも効果的であることを示す．さらに，JNAS を用いた音声認識を行い，提案法が大語彙連続音声認識においても耐残響フロントエンドとして有効であることを示す．

リアルタイム映像配信における字幕提示において,字幕情報の遅延や欠落は大きな問題である.この問題に対し,音声と字幕の同期と字幕の要約が有効であると考えられるが,一般的な映像での検証はほとんどなされていない.そこで本研究では(1)字幕提示のタイミングを変化させた場合の了解度実験(2)音声に忠実な字幕文(全文字幕)と音声を要約した字幕文(要約字幕)での了解度実験と主観評価実験を行った.結果として字幕提示のタイミングは音声と同期させた場合の了解度が最も高くなった.全文字幕と要約字幕では了解度において有意差は見られなかったが,ろう者に対しては要約字幕の方が了解度が高い傾向が示された.また,主観評価では要約字幕の評価が高くなり,字幕を要約することの有効性が示された.

本論文ではKinectとパーティクルフィルタを用いた手話認識手法について検討する.我々の先行研究では腕の肌色情報とKinectによる距離情報を統合し、パーティクルフィルタにより、腕を追跡して手話認識を行う手法を提案し、高い認識精度が示された.しかしこの手法では、腕の肌色情報を用いるために腕まくりをしなければならないという制約が存在した.そこで本研究ではKinectの距離情報を利用することにより、腕まくりの制約を課さなくても腕検出を行える手法を提案し、認識実験により先行研究と同程度の認識精度が得られたことを示す.

リアルタイム映像配信における字幕提示において,字幕情報の遅延や欠落は大きな問題である.この問題に対し,音声と字幕の同期と字幕の要約が有効であると考えられるが,一般的な映像での検証はほとんどなされていない.そこで本研究では(1)字幕提示のタイミングを変化させた場合の了解度実験(2)音声に忠実な字幕文(全文字幕)と音声を要約した字幕文(要約字幕)での了解度実験と主観評価実験を行った.結果として字幕提示のタイミングは音声と同期させた場合の了解度が最も高くなった.全文字幕と要約字幕では了解度において有意差は見られなかったが,ろう者に対しては要約字幕の方が了解度が高い傾向が示された.また,主観評価では要約字幕の評価が高くなり,字幕を要約することの有効性が示された.

本論文ではKinectとパーティクルフィルタを用いた手話認識手法について検討する.我々の先行研究では腕の肌色情報とKinectによる距離情報を統合し、パーティクルフィルタにより、腕を追跡して手話認識を行う手法を提案し、高い認識精度が示された.しかしこの手法では、腕の肌色情報を用いるために腕まくりをしなければならないという制約が存在した.そこで本研究ではKinectの距離情報を利用することにより、腕まくりの制約を課さなくても腕検出を行える手法を提案し、認識実験により先行研究と同程度の認識精度が得られたことを示す.

リアルタイム映像配信における字幕提示において,字幕情報の遅延や欠落は大きな問題である.この問題に対し,音声と字幕の同期と字幕の要約が有効であると考えられるが,一般的な映像での検証はほとんどなされていない.そこで本研究では(1)字幕提示のタイミングを変化させた場合の了解度実験(2)音声に忠実な字幕文(全文字幕)と音声を要約した字幕文(要約字幕)での了解度実験と主観評価実験を行った.結果として字幕提示のタイミングは音声と同期させた場合の了解度が最も高くなった.全文字幕と要約字幕では了解度において有意差は見られなかったが,ろう者に対しては要約字幕の方が了解度が高い傾向が示された.また,主観評価では要約字幕の評価が高くなり,字幕を要約することの有効性が示された.

本論文ではKinectとパーティクルフィルタを用いた手話認識手法について検討する.我々の先行研究では腕の肌色情報とKinectによる距離情報を統合し、パーティクルフィルタにより、腕を追跡して手話認識を行う手法を提案し、高い認識精度が示された.しかしこの手法では、腕の肌色情報を用いるために腕まくりをしなければならないという制約が存在した.そこで本研究ではKinectの距離情報を利用することにより、腕まくりの制約を課さなくても腕検出を行える手法を提案し、認識実験により先行研究と同程度の認識精度が得られたことを示す.

リアルタイム映像配信における字幕提示において,字幕情報の遅延や欠落は大きな問題である.この問題に対し,音声と字幕の同期と字幕の要約が有効であると考えられるが,一般的な映像での検証はほとんどなされていない.そこで本研究では(1)字幕提示のタイミングを変化させた場合の了解度実験(2)音声に忠実な字幕文(全文字幕)と音声を要約した字幕文(要約字幕)での了解度実験と主観評価実験を行った.結果として字幕提示のタイミングは音声と同期させた場合の了解度が最も高くなった.全文字幕と要約字幕では了解度において有意差は見られなかったが,ろう者に対しては要約字幕の方が了解度が高い傾向が示された.また,主観評価では要約字幕の評価が高くなり,字幕を要約することの有効性が示された.

本論文ではKinectとパーティクルフィルタを用いた手話認識手法について検討する.我々の先行研究では腕の肌色情報とKinectによる距離情報を統合し、パーティクルフィルタにより、腕を追跡して手話認識を行う手法を提案し、高い認識精度が示された.しかしこの手法では、腕の肌色情報を用いるために腕まくりをしなければならないという制約が存在した.そこで本研究ではKinectの距離情報を利用することにより、腕まくりの制約を課さなくても腕検出を行える手法を提案し、認識実験により先行研究と同程度の認識精度が得られたことを示す.

話者認識は、音声からその発話者を認識する技術であり、30年以上の歴史がある。近年のセキュリティ意識の高まりとともに、その重要性が改めて認識され、その研究も盛り上がりを見せている。本稿では、パネルディスカッションに臨むに際し、話者認識技術の現状と今後の課題について概観する。特に、国際的な研究動向、機械学習を用いるアプローチ、環境の違いに対する頑健性、法科学分野における応用について、その最新の動向と今後の予想される展開について述べる。(篠田)

身体的なハンディキャップにより意思疎通が難しい患者,特に筋萎縮性側索硬化症(ALS)の患者に対し代替となる効率的なコミュニケーション手段を提供することを目的として,眼電位を入力とした音声合成インタフェースを提案し研究を行っている.システムは目の周囲に配置した生体電極から眼電位信号を取り込み,音声認識技術を応用した認識器を用いて眼球動作を認識する.そしてその結果をもとに,実時間で音声合成を行う.これまでのシステムでは認識器においてコンテキスト非依存隠れマルコフモデル(HMM)や一部の眼動素のみ直前のコンテキストに依存化させたバイ眼動素モデルを用いていたが,認識性能の点で不十分であった.そこで本研究では,直前および直後のコンテキストに依存化させた状態共有トライ眼動素モデルの利用を検討する.さらに,眼動素の並びをモデル化したN-gramモデルの導入を行う.従来のコンテキスト非依存HMMのみを用いた場合の仮名認識精度が84 3%,バイ眼動素モデルを用いた場合が89 1%であったのに対し,トライ眼動素モデルを用いた場合は96 2%と認識精度が大きく向上した さらに, N-gramモデルとして仮名3-gramモデルを使用することで, 97 3%の高い認識精度が得られた.

<p>高齢者や障害者をユーザとして想定した場合，ユーザへの負荷が小さいシステムが必要となる．しかし，現状の多くのシステムでは自然な対話が実現できておらず，ユーザに負担を課している．本研究では，非母語・母語対話における話者交替のタイミングを分析し，非母語話者-母語話者間で話者交替の様相が異なることを示す．この結果は，母語の対話では，参与者が互いに負荷を軽減するように話者交替を行っているこが示唆された．</p>

本研究では,視覚障害者にとってより効率的に正しい漢字を選択できる方式として,変換候補の漢字の意味情報を用いた手法を提案する.変換候補の漢字を連想しやすい基準として,意味の観点から上位語・類義語・関連用言,語源の観点から和語・漢語・外来語を意味情報として用いた.従来の詳細読みと提案手法である意味情報に基づいた漢字変換による比較実験を,晴眼者による疑似実験と視覚障害者を対象に行った.その結果,意味情報は詳細読みに比べてより負担が少なく速く漢字を変換できる傾向が明らかになった.

情報推薦に用いられるコンテンツベースベース技術に関して、あらすじが書かれた文書などストーリー性のあるコンテンツに対する類似度計算方法を提案する.ストーリーとは映画や小説などに含まれる話の筋のことであり、それらを説明する文書の中では人物の行動の経緯など要素の連続によって表現されていることが多い.しかし、従来の文書間類似度を計算する際に用いられるベクトル空間モデルでは、出現順序によって意味合いが変るストーリーを比較することは難しい.本研究ではストーリー性を考慮した文書の比較を行うことを目標とし、映画のあらすじ文書を対象に要素の並びを利用した類似度計算方法を検討した.

情報推薦に用いられるコンテンツベースベース技術に関して、あらすじが書かれた文書などストーリー性のあるコンテンツに対する類似度計算方法を提案する．ストーリーとは映画や小説などに含まれる話の筋のことであり、それらを説明する文書の中では人物の行動の経緯など要素の連続によって表現されていることが多い．しかし、従来の文書間類似度を計算する際に用いられるベクトル空間モデルでは、出現順序によって意味合いが変るストーリーを比較することは難しい．本研究ではストーリー性を考慮した文書の比較を行うことを目標とし、映画のあらすじ文書を対象に要素の並びを利用した類似度計算方法を検討した．