堀内 靖雄

It is important to make WWW pages considering accessibility for the visually impaired who use text-to-speech for browsing WWW. Therefore, it is desirable that the authoring tool have the functions for accessibility and some commercial tools have these functions. However, few user who make WWW site have the knowledge about accessibility and these functions were not often used. In this research, we proposed the new idea of the authoring tool which automatically makes WWW pages accessible for the visually impaired. In order to realize this idea, we adopted the logical tree structure for the structure of WWW site. We implemented the prototype system of authoring tool and evaluated the method and its usability. As a result, it was shown that the idea worked well and the proposed tool can output WWW pages more accessible.

視覚と聴覚に重複障害を持つ盲聾者は, 外界の情報を入手することや他人とコミュニケーションをとることが困難であるため, 我々は盲聾者が抱えるこれらの問題を支援するエディタ, ブラウザ, 会議システムといった盲聾者用アプリケーションを開発してきた.しかし、盲聾者が一人で使用するにはアクセシビリティとユーザビリティの観点で不十分な点が明らかとなった.そこで, 本研究では盲聾者の特徴やメディアの性質を考慮して, どのような盲聾者用アプリケーションにも共通して必要であると考えられる盲聾者用UIを提案し, 実際にアプリケーションに実装・評価することで, 盲聾者用アプリケーションにおける提案したUIの有用性を確認した.

現状の手話CGアニメーションは実際の手話と比べて動きが不自然であるため、読み取りづらいという問題がある。その原因の一つに、手話単語の時間構造を考慮していないことが挙げられる。手話では、同一の単語であっても文脈によって手の速さが変化すると言われており、それによって表現の時間長が異なると考えられている。この点について、本研究で検討を行った結果、単語時間長には手の移動距離や運動の種類、係り受けといった要因が影響していることが示唆された。そこで、これらの要因を説明変数とする重回帰分析により単語時間長のモデル化を行ったところ、寄与率が0.75という予測精度の高いモデル式が得られた。また、モデルの妥当性を検証するための評価実験を行った結果、モデルを導入した手話CGアニメーションが単語時間長を一定にした手話CGアニメーションに対して7:3の比率で支持され、提案したモデルの有効性が確認された。

本研究では, わたりに手話としての多くの情報が含まれているという事実を考慮し, わたり・手話単語における2点間の到達運動の分析を行った.ロボットの運動の研究などでは, 動作が安定となる条件として, 加速度が連続になることが必要とされており, 人の自然な動作も最低限同様の条件が必要との仮説を立て, 加速度の変化率まで滑らかとなる4次遅れ系のステップ応答式による手話データのフィッティングとモデル化を行った.また, そのモデル化の速度変化パターンに従った手話CGアニメーションを合成し, 健聴者・手話者による従来手法との比較実験を行い, 「人間の手の動きとしての自然さ」が増しているという評価を得た.

視覚と聴覚に重複障害を持つ盲聾者は, 外界の情報を入手することや他人とコミュニケーションをとることが困難であるため, 我々は盲聾者が抱えるこれらの問題を支援するエディタ, ブラウザ, 会議システムといった盲聾者用アプリケーションを開発してきた.しかし、盲聾者が一人で使用するにはアクセシビリティとユーザビリティの観点で不十分な点が明らかとなった.そこで, 本研究では盲聾者の特徴やメディアの性質を考慮して, どのような盲聾者用アプリケーションにも共通して必要であると考えられる盲聾者用UIを提案し, 実際にアプリケーションに実装・評価することで, 盲聾者用アプリケーションにおける提案したUIの有用性を確認した.

現状の手話CGアニメーションは実際の手話と比べて動きが不自然であるため、読み取りづらいという問題がある。その原因の一つに、手話単語の時間構造を考慮していないことが挙げられる。手話では、同一の単語であっても文脈によって手の速さが変化すると言われており、それによって表現の時間長が異なると考えられている。この点について、本研究で検討を行った結果、単語時間長には手の移動距離や運動の種類、係り受けといった要因が影響していることが示唆された。そこで、これらの要因を説明変数とする重回帰分析により単語時間長のモデル化を行ったところ、寄与率が0.75という予測精度の高いモデル式が得られた。また、モデルの妥当性を検証するための評価実験を行った結果、モデルを導入した手話CGアニメーションが単語時間長を一定にした手話CGアニメーションに対して7:3の比率で支持され、提案したモデルの有効性が確認された。

本研究では, わたりに手話としての多くの情報が含まれているという事実を考慮し, わたり・手話単語における2点間の到達運動の分析を行った.ロボットの運動の研究などでは, 動作が安定となる条件として, 加速度が連続になることが必要とされており, 人の自然な動作も最低限同様の条件が必要との仮説を立て, 加速度の変化率まで滑らかとなる4次遅れ系のステップ応答式による手話データのフィッティングとモデル化を行った.また, そのモデル化の速度変化パターンに従った手話CGアニメーションを合成し, 健聴者・手話者による従来手法との比較実験を行い, 「人間の手の動きとしての自然さ」が増しているという評価を得た.

Finger braille is one of the communication methods for the deaf blind, which seems to be the most suited medium for real-time communication by its speed and accuracy in transmitting characters. We hypothesize that the prosody information exists in the time structure of finger braille typing. Prosody is the paralinguistic information that has functions to transmit the sentence structure, prominence, emotions and other form of information in real-time communication. In this research, we performed a cognition experiment on 12 subjects with a simulated output to confirm the effect of prosody in the time structure. As a result, the percentages of questions answered correctly were 79 % for the prosody simulated output and 65 % for the monotonous output. The result shows the possibility that the prosody information of finger braille can be applied to the assistive technologies for deaf-blind people's communication.

Finger braille is one of the communication methods for the deaf blind. The interpreter types braille codes on the fingers of deaf blind. Finger braille seems to be the most suitable medium for real-time communication by its speed and accuracy of transmitting characters. We hypothesize that the prosody information exists in the time structure and strength of ringer braille typing. Prosody is the paralinguistic information that has functions to transmit the sentence structure, prominence, emotions and other form of information in real time communication. In this study, we measured the surface electromyography (sEMG) of finger movement to analyze the typing strength of finger braille. We found that the typing strength increases at the beginning of a phrase and a prominent phrase. The result shows the possibility that the prosody in the typing strength of finger braille can be applied to create an interpreter system for the deafblind.

In this study, we investigated the relationship between turn-taking and prosody. We considered that to interact smoothly in real-time communication, speakers must show presignals to turn-taking as prosodic features before turn edges. We attempted to discriminate the turn change by the decision tree method using only prosodic features in turn-final accentual phrases that include earlier positions compared with turn-final mora. In the discrimination experiment, we used the corpus of Japanese spontaneous dialogue, and defined prosodic parameters such as F0 contour, power contour and duration. We compared the two parameter conditions for using parameters with and without the final mora of turns. From the results, the accuracy under the conditions of not using the parameters of the final mora is 80%, which is not significantly worse than the result of 83% when using all parameters. Taking into account only prosody was used, we consider this result to be fairly good.

本稿では，人間同士の合奏データから推定した演奏制御モデルを実装した伴奏システムについて述べる．制御モデルは「独奏者と伴奏者の間の時間的ずれ」の履歴と「伴奏者のテンポ変化量」の履歴から伴奏者の未来の演奏時刻を決定する．しかしながら，このモデルは8分音符だけからなる楽曲から推定されているため，実際の曲に対して適用する場合には音が演奏されない部分についても考慮しなければならない．そこで，本研究では，人間が演奏時に自身の内部で利用しているであろう内的クロックを推定して，伴奏制御に用いる手法を提案する．人間の演奏者と提案システムによる合奏実験を行なった結果，内的クロックの推定により，提案手法に基づく伴奏制御が可能であることが確認された．In this paper, we will introduce an accompaniment system that controls its own performance based on the model estimated from the data of human ensemble. The model can decide its future performance from the history of the time difference between the soloist and the accompanist and the history of the tempo modification of the accompanist. In order to apply this model to the actual scores, we have to estimate the inner clock of the soloist when the note does not exist in the score. So we introduced the estimation method of the inner clock using the notes around the missing position. We performed the experiment where human performers play with the introduced accompaniment system. As a result, we observed that the system can follow the tempo modification by the soloist. Moreover, it was confirmed that the estimation method of the inner clock worked effectively.

本研究では, 時間的差分学習に基づく環境適応手法ならびに, 環境の変化に応じてオンラインで適応モデルのクラスタリングを行う手法を提案する.本手法により, 自動的に適応モデルを蓄積でき, 最適なモデルを選択して強化学習を行うことで即座に環境に適応することができる.AURORA-2Jデータベースを用いて雑音環境下における音声認識実験を行った結果, 提案手法は従来の適応手法に比べて認識精度の改善が得られた.

本研究では，時間的差分学習に基づく環境適応手法ならびに，環境の変化に応じてオンラインで適応モデルのクラスタリングを行う手法を提案する．本手法により，自動的に適応モデルを蓄積でき，最適なモデルを選択して強化学習を行うことで即座に環境に適応することができる．AURORA－2Jデータベースを用いて雑音環境下における音声認識実験を行った結果，提案手法は従来の適応手法に比べて認識精度の改善が得られた．This paper describes a novel approach based on online adaptation and clustering using TD learning. The adapted models gradually accumulate and cluster with the environmental conditions and can immediately adapt by selecting the optimal model from the clusters. We conducted speech recognition experiments by a connected digit recognition in noisy environments including the variation of speakers and noises. The results verify that the proposed method has a higher recognition performance than the conventional adaptation method.

近年, 音声認識技術を用いた議事録の自動生成が検討されているが, 音声を正確に文字に書き起こすことを目指しており言語情報のみしか抽出されないため, 正確に議論の雰囲気や内容を伝えることは難しいと考えられる.それに対して, 我々は話者の発話状態を議事録に付与することで, 議論の内容の再現性を高めることができると考えている.そこで, 本研究では, 音声から話者の発話状態を推定し議事録に付与することを目的として, 発話印象と韻律情報について分析を行った.まず, 対話音声を対象として話者の発話印象の評定実験を行い, その結果から得られた発話印象の評定値と韻律情報に対して正準相関分析によりそれらの相関関係を分析し, 発話印象のモデル化について検討を行った.さらに, 重回帰分析により韻律パラメータから発話印象の推定についても検討を行った.

近年, 音声認識技術を用いた議事録の自動生成が検討されているが, 音声を正確に文字に書き起こすことを目指しており言語情報のみしか抽出されないため, 正確に議論の雰囲気や内容を伝えることは難しいと考えられる.それに対して, 我々は話者の発話状態を議事録に付与することで, 議論の内容の再現性を高めることができると考えている.そこで, 本研究では, 音声から話者の発話状態を推定し議事録に付与することを目的として, 発話印象と韻律情報について分析を行った.まず, 対話音声を対象として話者の発話印象の評定実験を行い, その結果から得られた発話印象の評定値と韻律情報に対して正準相関分析によりそれらの相関関係を分析し, 発話印象のモデル化について検討を行った.さらに, 重回帰分析により韻律パラメータから発話印象の推定についても検討を行った.

近年，音声認識技術を用いた議事録の自動生成が検討されているが，音声を正確に文字に書き起こすことを目指しており言語情報のみしか抽出されないため，正確に議論の雰囲気や内容を伝えることは難しいと考えられる．それに対して，我々は話者の発話状態を議事録に付与することで，議論の内容の再現性を高めることができると考えている．そこで，本研究では，音声から話者の発話状態を推定し議事録に付与することを目的として，発話印象と韻律情報について分析を行った．まず，対話音声を対象として話者の発話印象の評定実験を行い，その結果から得られた発話印象の評定値と韻律情報に対して正準相関分析によりそれらの相関関係を分析し，発話印象のモデル化について検討を行った．さらに，重回帰分析により韻律パラメータから発話印象の推定についても検討を行った．Recently, it has been studied an automatic creation of minutes using speech recognition technology. However, the method aims at recognizing a speech correctly. Therefore, we consider that it is difficult to express the atmosphere and the contents of the argument because language information is only extracted. We think that it is able to improve the reproducibility of the contents of the argument by indexing utterance impressions of speakers to the minutes. In this study, we analyzed an utterance impression and prosody in spontaneous speech. At first, we conducted evaluational experiments of the utterance impression in dialogue speech. We investigated the correlation of evaluational results of the utterance impression obtained by the experiments and the prosody using the canonical correlation analysis and studied the modelling of the utterance impression. Moreover, we estimated the utterance impression by the prosody using the multiple linear regression.

本研究では, 時間的差分学習に基づく環境適応手法ならびに, 環境の変化に応じてオンラインで適応モデルのクラスタリングを行う手法を提案する.本手法により, 自動的に適応モデルを蓄積でき, 最適なモデルを選択して強化学習を行うことで即座に環境に適応することができる.AURORA-2Jデータベースを用いて雑音環境下における音声認識実験を行った結果, 提案手法は従来の適応手法に比べて認識精度の改善が得られた.

This paper describes a novel approach based on online unsupervised adaptation and clustering using temporal-difference (TD) learning. Temporal-difference learning is a reinforcement learning technique and is a computational approach to learning whereby an agent tries to maximize the total amount of reward it receives when interacting with a complex, uncertain environment. The adaptation progresses based on rewards that represent correctness of outputs. The adapted models gradually accumulate and cluster with the environmental conditions and can immediately adapt by selecting the optimal model from the clusters. We conducted speech recognition experiments by a connected digit recognition in noisy environments including the variation of speakers and noises. The results verify that the proposed method has a higher recognition performance than the conventional adaptation method.

In this study, we investigated the relationship between turn-taking and prosody. We considered that to interact smoothly in real-time communication, speakers must show presignals to turn-taking as prosodie features before turn edges. We attempted to discriminate the turn change by the decision tree method using only prosodie features in turn-final accentual phrases that include earlier positions compared with turn-final mora. In the discrimination experiment, we used the corpus of Japanese spontaneous dialogue, and defined prosodie parameters such as F0 contour, power contour and duration. We compared the two parameter conditions for using parameters with and without the final mora of turns. From the results, the accuracy under the conditions of not using the parameters of the final mora is 80%, which is not significantly worse than the result of 83% when using all parameters. Taking into account only prosody was used, we consider this result to be reasonably good.

In sign language research, technically it has been possible to investigate prominence around a unit of sign movements that realizes strong visual impression. Based on the researches of speech prominence, this study proposes techniques to delimit a sequential hand-movement into small units, and investigates the prominence by the comparisons of physical properties on each unit between emphasized signing and non-emphasized signing in Japanese Sign Language. The original data for this paper came from 3 native signers who produced 3 sentences, 5 times in 2 modes. The result of Factor Analysis showed that prominence on the lexical parts of the sign movements was most distinctive through all subjects and examples. The varieties in the transitional part of the sign movements and the longer pause insertions before the lexical part of the sign movements were also observed.

従来, 視覚障害者が用いている仮名漢字変換は, 詳細読みというその漢字の用例を音声で聞かせて漢字を識別させる手法をとっている.しかし, 変換候補の漢字と説明する用例の漢字が分からなければ, 変換は困難である.そこで, 新たな仮名漢字変換方式として変換候補の漢字の意味情報を用いた手法を提案する.変換候補の連想しやすさの基準として, 意味情報を表記と意味の観点から上位語, 類義語, 関連用言, 和語, 漢語, 外来語に分類した.さらに, 変換候補の連想しやすさの基準として, 意味情報の単語親密度について分析を行った.その結果, 意味情報の分類が変換候補の連想しやすさの基準として有効であることがわかり, 意味情報の初期優先順位の決定手法を明らかにした.また, 詳細読みによる仮名漢字変換方式と比較実験を行い, 提案手法の有効性を示した.

従来の伴奏システムでは人間の独奏者の音響情報のみを用いて伴奏制御を行なっているが、実際の人間の合奏ではブレスが非常に重要な役割を演じている。本研究では伴奏システムでのブレス情報利用を目的として、演奏におけるブレスのタイミングの分析、ならびに、ブレスの自動検出手法についての検討を行なった。そこで (1) 合図としてのブレスを伴なう演奏データの収録、(2) ブレスの分析結果からブレスの立ち上がり時刻と楽曲の冒頭のテンポとの高い相関を確認、(3) ブレスの音響的な特徴に基づくブレスの自動検出手法の提案を行なった。評価実験の結果、本手法でのブレスの立ち上がり時刻の検出誤差は平均10ミリ秒程度の推定精度を達成した。Although accompaniment systems use only acoustic information for musical synchronization, human accompanists use breath of the soloist as musical cues in the actual performance. In this study, we investigate breath as musical cues and introduce the method of auto detection of breath. First, performance data including breath as musical cues were recorded. Second, we analyzed these data and the high correlation between the onset time of breath and sound was observed. Third, we introduced the method detecting breath based on the acoustic features of breath. The result of the evaluating experiment shows that the estimation error of the onset time of breath is about 10 milliseconds and it was suggested that this method is useful for the accompaniment system.

聴覚障害者が日常会話で主として用いている手話言語は音声と同様に実時間でコミュニケーションを行なえる対話型自然言語である。本研究では自然手話対話における話者交替現象の分析を目的とし、(1)手話のネイティブスピーカー(ネイティブサイナー)による自然手話対話の収録、(2)音声での分析と同様、手話におけるポーズの概念を導入し、ポーズにより分割された発話単位の提案、(3)話者交替に関する分析を行なった。結果として、手話対話の話者交替においても音声と同様の傾向が見られ、対話型自然言語としての共通性が示されると同時に、音声には見られない手話特有の現象もいくつか観察することが出来た。

手話研究において, 手話の単位周辺に生じるプロミネンスについて分析を行うことは技術的に可能になってきている.本研究では, 手話の動きを単語内の小さな単位に区切る手法を報告するとともに, 強調手話と非強調手話との比較によって各単位ごとの運動量の変化について分析を行う.本研究で分析に用いられるデータは, 3人のネイティブ手話者によって2つのモードで各5回ずつ繰り返して産出された3単語である.因子分析の結果, 強調手話では単語内の語彙的な意味をもつ動きが高いプロミネンスを示すことがわかった.また強調手話では, 語彙的な意味をもつ動きの前のわたりの動きの多様性や長いポーズの挿入も観察された.

本研究では盲ろう者の社会参加を支援するための指点字会議システムを試作した.重度の盲ろう者は, 視聴覚を用いたコミュニケーション手段を利用できないため, 触覚を用いてコミュニケーションをとる.本研究では, 盲ろう者のコミュニケーション手段である指点字に着目し, リアルタイムの対話型メディアとしての可能性を分析した.指点字の性質(揮発性, 一次元性, プロソディ)について論じ, さらに対話型コミュニケーションシステムに必要とされる要素を, 認知・理解・発話の観点から検討した.評価実験により実装した機能の有効性を確認した.さらにこの結果は, 複数のメディアが使用される会議や, 参加者の理解や発言の能力に差のある会議に, 広く応用できる可能性がある.