堀内 靖雄

In this study, we introduce a method for estimating the syntactic structure of Japanese speech from F0 contour and pause duration. We defined a prosodic unit (PU) which is bound by a local minimum point of an F0 contour pattern or pause. Combining PUs repeatedly (a pair of PUs is combined into one PU), a tree structure is gradually generated. Which pair of PUs in a sequence of three PUs should be combined is decided by the discriminant function based on the discriminant analysis of many speech data. We applied the method to the ATR 503 Phonetically Balanced Sentences read by four Japanese speakers. As a result, the correct rate of judgement for each sequence of three PUs is 79% and the estimation accuracy of the entire syntactic structure for each sentence is 26%. We consider this result to be fairly good for the difficult task of estimating a syntactic structure only from prosody.

本論文では、日本語地図課題対話コーパスで用いられた音声の書き起こし手法を拡張し、ジェスチャー情報を音声現象との時間的関係において表現するアノテーション手法を提案する。また、データの交換用として、それらをTEI形式で表現する手法を提案し、記述する。さらに、予備的検討として、うなづき、視線一致などが数多く生じることが期待されるディベート課題による対話と共通の話題による自由対話の収録を行ない、本アノテーション手法を適用した。In this paper, we will introduce an annotation method for describing gestures made by speakers in speech dialogues in terms of their relationship in time. This method is based on the transcribing method in Japanese Map Task Dialogue Corpus. Equivalent information to the annotation of transcription and gestures represented by this method can be also represented in the TEI P4 format for data exchange between other researchers. As a preliminary investigation, we annotated the two new recorded dialogues between a pair of good friends; one is a debate about the theme which they have different opinions and another is a free talk about the event when they met first.

スクリーンリーダや音声ブラウザが開発され, 視覚障害者にもインターネットから有益な情報を得ることが可能となってきた.しかし, 視覚的な表現が多用されたウェブページは, 単にテキスト情報を音声化するだけでは効率的な理解は難しい.そこで, 従来研究やWAIのガイドラインなどをふまえ, さらにアクセシビリティを高める方法について議論し, 特にインタラクティブ性とユーザの主体性に着目して提案を行う.またその提案機能の一つである「類義語検索」について, 視覚障害者を対象に評価実験を行ったので, 詳しく述べる.実験結果より, まだ改良点は多くあるものの, 被験者からは良好な評価が得られた.

スクリーンリーダや音声ブラウザが開発され, 視覚障害者にもインターネットから有益な情報を得ることが可能となってきた.しかし, 視覚的な表現が多用されたウェブページは, 単にテキスト情報を音声化するだけでは効率的な理解は難しい.そこで, 従来研究やWAIのガイドラインなどをふまえ, さらにアクセシビリティを高める方法について議論し, 特にインタラクティブ性とユーザの主体性に着目して提案を行う.またその提案機能の一つである「類義語検索」について, 視覚障害者を対象に評価実験を行ったので, 詳しく述べる.実験結果より, まだ改良点は多くあるものの, 被験者からは良好な評価が得られた.

本稿では，演奏生成システムによるピアノコンクール実施推進のためのワークショップ``蓮根''（performance RENdering piano CONcours）の目的，ワークショップでの話し合いの経過，今後の予定を報告する．その後異なる立場から三人のパネリストを迎えて「演奏生成システムによるピアノコンクール実施における審査（評価）」というタイトルでパネルディスカッションを行う．Rencon --performance RENdering piano CONcours-- is a workshop for planning a piano contest of performance rendering systems, by the cooperation of computer science researchers and music professionals,for revitalizing computer music research.This paper reports Rencon's purpose, the progress so far, and its future plans. We will also have a panel discussion entitled ``the evaluation of piano contest for performance rendering systems.''

盲ろう者のコミュニケーション手段の1つとして指点宇がある。指点子には時間間隔の変化によるプロソディ情報が付加されており、プロソディ情報が受け手の理解を補助していることが評価実験により明らかにされている。しかし、区間長に対する呈示時間の割合の関係に関する規則は明らかにされていない。また、その割合が指点子の受け子が熟練者、初心者それぞれの場合で同じものなのかも知られていない。本研究ではその割合を30%、50%、70%とした時間構造を用意し、熟練者、初心者それぞれが、どの時間構造が最も受けやすいのかを検討した。その結果、両者ともに50%のものが最も受けやすいとなった。しかし、熟練者はその割合が大きいものよりは小さいものを好み、初心者はその逆であるという結果も示された。

盲ろう者のコミュニケーション手段の1つとして指点宇がある。指点子には時間間隔の変化によるプロソディ情報が付加されており、プロソディ情報が受け手の理解を補助していることが評価実験により明らかにされている。しかし、区間長に対する呈示時間の割合の関係に関する規則は明らかにされていない。また、その割合が指点子の受け子が熟練者、初心者それぞれの場合で同じものなのかも知られていない。本研究ではその割合を30%、50%、70%とした時間構造を用意し、熟練者、初心者それぞれが、どの時間構造が最も受けやすいのかを検討した。その結果、両者ともに50%のものが最も受けやすいとなった。しかし、熟練者はその割合が大きいものよりは小さいものを好み、初心者はその逆であるという結果も示された。

伴奏システムとは人間の独奏者の演春テンポや音量に追従してコンピュータが伴奏パートを演奏するシステムである。従来の伴奏システムは人間の独奏者の演奏のみを聞いて伴奏システム自身が発音した演奏を聞いていなかった。そのため伴奏システムは自分自身の音の発音時刻や音量を誤認識していた。本研究ではその厚因とそれによって引き起こされる問題点について考察し解決策としてフィードバック機構を提案する。フィードバック機構を用いて伴奏システムに自分自身の音をきくための「耳」を装備する。耳を使い正確な発音時刻と音量を認識することで演奏遅延の補償、演春の正確なずれの認識、音量の追従といったことを実現する。Past accompaniment systems could only hear the performance by human soloists and could not hear system's own performance. Therefore the system couldn't know the actual onset time of its own note, the accurate time lag to the soloist and the loudness of its own performance in the real world. This unawareness causes some problems for natural sounding ensemble. In this study, we introduce the feedback mechanism in order to give an ear to the accompaniment system so that the accompaniment system is allowed to compensate the any kinds of delay, recognize the accurate time lag to the human performer and match the soloist in terms of their loudness. The prototype system was developed using the PC with a DSP card.

伴奏システムとは人間の独奏者の演奏テンポや音量に追従してコンピュータが伴奏パートを演奏するシステムである。従来の伴奏システムは人間の独奏者の演奏のみを聞いて伴奏システム自身が発音した演奏を聞いていなかった。そのため伴奏システムは自分自身の音の発音時刻や音量を誤認識していた。本研究ではその原因とそれによって引き起こされる問題点について考察し解決策としてフィードバック機構を提案する。フィードバック機構を用いて伴奏システムに自分自身の音をきくための「耳」を装備する。耳を使い正確な発音時刻と音量を認識することで演奏遅延の補償、演奏の正確なずれの認識、音量の追従といったことを実現する。

In this paper, we introduce durational rules in text-To-Finger- Braille. Finger Braille is one of the communication methods for the deaf blind and it seems to be the medium most suited to real-Time communication and for expressing the feelings of the speaker because of its prosody existing similarly to spoken languages. First, we analyzed duration between two Braille codes in Finger Braille and found that it can be changed according to the structure and meaning of the sentences. Second, we construct durational rules in Finger Braille based on these results. Third, the effectiveness of the rule was examined in listening experiments with a deaf blind person. As a result, it is suggested that durational prosody help listeners to have clear understanding. Finally, we made a prototype of Finger Braille receiver for teletext broadcasting system as a practical application applying this rule.

本稿では人間同士の協調演奏動作における制御モデルを推定する。機械と人間による合奏のデータから推定されたモデルにもとづいて動作する2つのエージェントを考え、それらの協調演奏をシミュレーションにより観察した。その結果、人間対機械のモデルをそのまま適用すると両者の演奏は収束しなかったが、「エージェントの演奏は互いに影響を及ぼし合う」という相互作用の考えを考慮に入れたモデルに修正する事により収束するシミュレーション結果を得た。In this paper, we will introduce a hypothetical model of interactive human performance. Models of human performance were derived from performance data of human performer and machine. We simulated interactive performance by applying these models to ensemble by two agents. As a result, these models did not work well and ensemble diverged. Then we adjusted parameters by taking interaction between performers into consideration. Simulation with new parameters succeeded and realized ensembles as human performers do.

本稿では人間の協調演奏動作における制御モデルを推定する。人間の未来の演奏（テンポ変化）を1拍前の「両者の時間的ずれ」と「両者の時間長のずれ（テンポのずれ）」から決定するモデルを考え、人間と計算機（テンポ変化をあらかじめ指定できる）による演奏データに対して、重回帰分析を適用し、妥当と考えられる4つのモデルを導き出した。In this paper, we will introduce a hypothetical model of human performance. Several performances, where performers play together with a computer which can play with an accurate tempo specified beforehand, were recorded. These recorded performances were analyzed in order to find hypothetical models of human performance. We suppose that human performer decides next beat length (in the future) with 'the time lag between the computer and the performer' and 'the difference of beat length between them.' We found 4 models are appropriate from the results of multiple regression analysis of the recorded data.

本稿では人間の協調演奏動作における制御モデルを推定する。人間の未来の演奏（テンポ変化）を1拍前の「両者の時間的ずれ」と「両者の時間長のずれ（テンポのずれ）」から決定するモデルを考え、人間と計算機（テンポ変化をあらかじめ指定できる）による演奏データに対して、重回帰分析を適用し、妥当と考えられる4つのモデルを導き出した。In this paper, we will introduce a hypothetical model of human performance. Several performances, where performers play together with a computer which can play with an accurate tempo specified beforehand, were recorded. These recorded performances were analyzed in order to find hypothetical models of human performance. We suppose that human performer decides next beat length (in the future) with 'the time lag between the computer and the performer' and 'the difference of beat length between them.' We found 4 models are appropriate from the results of multiple regression analysis of the recorded data.

本稿では人間同士の協調演奏動作における制御モデルを推定する。機械と人間による合奏のデータから推定されたモデルにもとづいて動作する2つのエージェントを考え、それらの協調演奏をシミュレーションにより観察した。その結果、人間対機械のモデルをそのまま適用すると両者の演奏は収束しなかったが、「エージェントの演奏は互いに影響を及ぼし合う」という相互作用の考えを考慮に入れたモデルに修正する事により収束するシミュレーション結果を得た。In this paper, we will introduce a hypothetical model of interactive human performance. Models of human performance were derived from performance data of human performer and machine. We simulated interactive performance by applying these models to ensemble by two agents. As a result, these models did not work well and ensemble diverged. Then we adjusted parameters by taking interaction between performers into consideration. Simulation with new parameters succeeded and realized ensembles as human performers do.

近年では音声認識において、音声信号の各フレームのパターンのスペクトル特性を統計的手法で表現する隠れマルコフモデル(HMM)が一般に使われているが、本研究では、(1)上記のような音韻系列の分析手法のみならず、(2)基本周波数抽出を中心とする抑揚解析、(3)文章そのものの状態遷移表並びに人工推論的推論手法を用いて、次に発話される文章の予測という3つの異なる手法を用いて、総体的な対話そのものの音声認識率を向上させる音声認識法を紹介する。またその上でその3つの異なる論理の合体ロジック(以降マッチング部という)が、首尾よく機能しているか確認する。確認方法としては、文章予測が正確になされたと仮定して、音韻情報により作られる構文木の構造が葉の入れ替えを許しながら、抑揚推定による抑揚木の構造と葉の合体・分裂を考慮したある閾値内で類似しているかを、比較検討する。

いくつかの連続的な会話を通して見ると話題には下記の2つがあることがわかる。(1) "ところで"とか"さて"という言葉で分割されるか、ポーズが長く話題が前のものと全く変わってしまう単位である、話題の最高階層を意味するスーパートピック。(2) このスーパートピック内で"結論"まで到達させるべき過程としてのいくつかの会話片であるメタトピック。自然対話では話者が突然緊急事態に遭遇したり、相互の意見の対立がない限りは、両話者は1つのスーパートピックに関して、一つの"結論"を構成するために協調し、その"結論"が完成された時点で次のスーパートピックに論理的に移行し、新たな"結論"を得るための協調作業が始まる。音声対話システムにおいて、現文章から次文章への状態遷移表を使って、スーパートピックを形成する過程であるメタトピックの予測を可能にし、言語モデルの貧弱さを補うべく従来音韻認識主体で考えられていた音声認識の誤認識部を補完し総体的に音声認識率上昇に寄与するアルゴリズムを提案する。

近年では音声認識において、音声信号の各フレームのパターンのスペクトル特性を統計的手法で表現する隠れマルコフモデル(HMM)が一般に使われているが、本研究では、(1)上記のような音韻系列の分析手法のみならず、(2)基本周波数抽出を中心とする抑揚解析、(3)文章そのものの状態遷移表並びに人工推論的推論手法を用いて、次に発話される文章の予測という3つの異なる手法を用いて、総体的な対話そのものの音声認識率を向上させる音声認識法を紹介する。またその上でその3つの異なる論理の合体ロジック(以降マッチング部という)が、首尾よく機能しているか確認する。確認方法としては、文章予測が正確になされたと仮定して、音韻情報により作られる構文木の構造が葉の入れ替えを許しながら、抑揚推定による抑揚木の構造と葉の合体・分裂を考慮したある閾値内で類似しているかを、比較検討する。

This article describes an outline of the creation of the Japanese Map Task Corpus and part of the analysis of the Corpus. The project recorded 128 dialogues which take place while the two participants are engaged in the performance of the Map Task. The total length of the recording is about 23 hours. The dialogues are transcribed in Japanese kana characters. The corpus is planned to be published on CD-ROMs, with the set of digitized sound files and the transcriptions in the format of the TEI P3, together with the software which have helped the creation of the corpus and will be helpful in analysis of the corpus. In this article the principles and practices of the creation of the corpus are described and discussed. Some results from the analysis of the corpus are presented.