(57)【要約】【課題】システムと利用者との対話により必要事項を入力する音声入力装置において、システムと利用者との対話を円滑に行わせる音声対話制御方法を提案する。【解決手段】システムの第１音声出力が終了し、第２音声出力中に利用者からの割込音声入力が発生した場合、第２音声出力の内容の重要度が高い場合は第２音声出力を継続して出力させ、第２音声出力の内容を全て利用者に伝達し、重要度の低い内容の場合は第２音声出力を一時停止させ、割込音声入力の発生状況、第１音声出力への応答状況を多岐に分類し、その分類に応じて割込音声入力を第２音声出力に対する応答として取り込む処理、割込音声入力を第１音声出力に対する応答として取り込む処理、一時停止中の第２音声出力の再生を再開する処理等を実行させる。【選択図】  図１
2004325848.tif 000002
【特許請求の範囲】
【請求項１】
システムからの第１音声出力が終了する毎に、この第１音声出力に対応する応答が音声で入力され、この音声入力をシステムで音声認識し、音声認識結果を直前に終了した第１音声出力に対応する入力値として取得する通常応答処理を実行し、この通常応答処理後に第２音声出力を発生する対話動作を繰返す音声対話制御方法において、
システムの第１音声出力が終了し、第２音声出力中に割込音声入力が発生した場合、上記第２音声出力の内容の重要度を考慮して予め定められた音声出力停止／非停止情報に基づいて、上記第２音声出力を継続させるか、一時停止させるかを判定する第１判定処理と、
この第１判定処理において上記第２音声出力を一時停止すると判定した場合、上記第２音声出力の開始から、利用者からの上記割込音声入力の始端までの所要時間を計測することにより、第２音声出力中での利用者からの割込位置を取得し、割込位置の時刻が予め設定した所定の値より早ければ、上記第２音声出力の内容は利用者に未伝達と判定し、上記割込位置の時刻が予め設定した所定の値より遅ければ、上記第２音声出力の内容は利用者に伝達済と判定する第２判定処理と、
利用者からの上記割込音声入力に対して、認識結果、認識尤度、認識音声の継続長などから、割込音声が十分な内容を伴う非断片発話であったか、それとも十分な内容を伴わない断片的な発話であったかを判定する第３判定処理と、
を実行し、これら第１判定処理、第２判定処理、第３判定処理の各判定結果に応じて、
上記第１判定処理で上記第２音声出力を継続させると判定した場合に、上記割込音声入力を無視して上記第２音声出力を継続して出力する動作を実行する第１応答処理と、
上記第１判定処理で上記第２音声出力を一時停止させると判定した場合に、上記第２音声出力の再生を一時停止させる処理を実行する第２応答処理と、
上記第２判定処理で伝達済と判定し、更に上記第３判定処理で上記割込入力を非断片発話、と判定した場合は上記割込音声入力を上記第２音声出力に対する応答として取り込む処理を行う第３応答処理と、
上記第２判定処理で未伝達と判定し、更に上記第３判定処理で上記割込音声入力が非断片発話である、と判定した場合は上記割込音声入力を上記第１音声出力に対する応答として取り込む処理を行う第４応答処理と、
上記第２判定処理で伝達済と判定し、上記第３判定処理で断片発話と判定した場合は上記第２応答処理により停止されている上記第２音声出力の再生を再開させる第５応答処理と、
上記第２判定処理で未伝達と判定され、更に上記第３判定処理で上記割込入力が断片発話と判定した場合は、上記第２応答処理により停止されている上記第２音声出力の再生を冒頭から出力し直す第６応答処理と、
上記第２判定処理で未伝達と判定され、上記第３判定処理で上記割込音声入力は断片発話と判定され、更に上記第１音声出力に対して利用者からの応答がなかった場合は上記第１音声出力を冒頭から出力し直す第７応答処理と、
の何れかを実行する音声対話制御方法。
【請求項２】
システムからの第１音声出力が終了する毎に、この音声出力に対応する利用者からの応答が音声で入力され、この音声入力をシステムで音声認識し、音声認識結果を直前に終了した第１音声出力に対応する入力値として取得する通常応答処理を実行し、この通常応答処理後に再び第２音声出力を発生する対話動作を繰返す音声対話制御装置において、
システムの第１音声出力が終了し、第２音声出力中に利用者からの割込音声入力が発生した場合、上記第２音声出力の内容の重要度を考慮して予め定められた音声出力の停止／非停止情報に基づいて上記第２音声出力を継続させるか、一時停止させるかを判定する第１判定手段と、
この第１判定手段において上記第２音声出力を一時停止すると判定した場合、上記第２音声出力の開始から、利用者からの上記割込音声入力の始端までの所要時間を計測することにより、第２音声出力中での利用者からの割込位置を取得し、割込位置の時刻が予め設定した所定の値より早ければ、上記第２音声出力の内容は利用者に未伝達と判定し、上記割込位置の時刻が予め設定した所定の値より遅ければ、上記第２音声出力の内容は利用者に伝達済と判定する第２判定手段と、
利用者からの上記割込音声入力に対して、認識結果、認識尤度、認識音声の継続長などから、割込音声が十分な内容を伴う非断片発話であったか、それとも十分な内容を伴わない断片的な発話であったかを判定する第３判定手段と、
を実行し、これら第１判定手段、第２判定手段、第３判定手段の各判定結果に応じて、
上記第１判定手段で上記第２音声出力を継続させると判定した場合に、上記割込音声入力を無視して上記第２音声出力を継続して出力する動作を実行する第１応答手段と、
上記第１判定手段で上記第２音声出力を一時停止させると判定した場合に、上記第２音声出力の再生を一時中止させる第２応答手段と、
上記第２判定手段で伝達済と判定し、更に上記第３判定手段で上記割込入力を非断片発話、と判定した場合は上記割込音声入力を上記第２音声出力に対する応答として取り込む処理を行う第３応答手段と、
上記第２判定手段で未伝達と判定し、更に上記第３判定手段で上記割込音声入力が非断片発話である、と判定した場合は上記割込音声入力を上記第１音声出力に対する応答として取り込む処理を行う第４応答手段と、
上記第２判定手段で伝達済と判定し、上記第３判定手段で断片発話と判定した場合は、上記第２応答手段により停止されている上記第２音声出力の再生を再開させる第５応答手段と、
上記第２判定手段で未伝達と判定し、上記第３判定手段で断片発話と判定した場合は、上記第２応答手段により停止されている上記第２音声出力の再生を冒頭から出力し直す第６応答手段と、
上記第２判定手段で未伝達と判定され、上記第３判定手段で上記割込音声入力は断片発話と判定され、更に上記第１音声出力に対して利用者からの応答がなかった場合は上記第１音声出力を冒頭から出力し直す第７応答手段と、
によって構成したことを特徴とする音声対話制御装置。
【請求項３】
コンピュータが解読可能な符号列によって記述され、コンピュータに請求項１記載の音声対話制御方法を実行させる音声対話制御プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は各種の予約システム等に利用することができる音声対話制御方法、音声対話制御装置、音声対話制御プログラムに関し、特にシステムからの音声出力中に利用者からの音声入力が割込んだ場合でも、対話の処理を円滑に実行することができる音声対話制御方法、音声対話制御装置、音声対話制御プログラムを提供しようとするものである。
【０００２】
【従来の技術】
従来より各種の音声対話装置、例えば特許文献１が提案されている。特許文献１ではシステムからの音声出力中に、ユーザが発話し、割込が発生した場合に、システムからの音声出力を一時的に中断し、その利用者からの割込発話の内容に応じて音声出力を再開するか、終了するかを決定する制御方法（特許文献１、図１、図５、図７）を提案している。
図１３を用いてその制御の様子を簡単に説明する。時点Ｔ０でシステムからの音声出力ＳＹＳ−１が再生され始める。本来であればこの音声出力ＳＹＳ−１は時点Ｔｎまで継続して再生される。然しながら、ここでは時点Ｔ１で利用者から音声ＵＳＲ−２が発話され、割込音声入力ＵＳＲ−２の継続時間を計測し、その継続時間がある閾値より長ければ音声の再生を中止し、ある閾値より短ければ音声の再生を再開させ、音声出力ＳＹＳ−１の続きを再生する方法を提案している。
また、特許文献１の請求項４では割込音声入力ＵＳＲ−２の内容を解析し、割込音声入力ＵＳＲ−２の内容が肯定的であれば音声出力ＳＹＳ−１の続きを再開させ、否定的であれば音声出力を中止する方法を提案している。
【０００３】
【特許文献１】
特開平８−１４６９９１号公報
【０００４】
【発明が解決しようとする課題】
特許文献１ではシステムからの音声出力中に利用者から割込音声入力が発生した場合に、割込音声入力の内容と継続時間に応じてシステムからの音声出力を再開させるか中止するかの二者択一方法で制御している。この二者択一方式による制御方法によれば例えばシステムから施設の説明を再生している最中に「えっ！」等と短い割込の発話があっても、その発話により説明の再生が一時中断されるが、再び再生が再開される。また、「終了してください。」或は「ありがとう」等と比較的長い割込の発話をすると、説明の再生が中止され、説明文の再生を途中で終了させることができる。
従来技術によるこの手法は、システム音声出力が、利用者への説明や提示のように、比較的、長い時間にわたって出力を続ける場合に、利用者がシステム音声出力を停止させたいのか、それとも継続してシステム音声出力を傾聴し続けたいのかを判定することを目的としている。
然しながら、システムからの質問と利用者からの応答の対話の発話権が頻繁に交替するような対話システムで、かつ、利用者からの割込音声入力を常時受け付けるようなシステムでは、利用者からの割込音声入力の内容や長さ、割込まれた位置に応じて、よりきめ細かな対応を行わないと、発話が混乱して、対話が潤滑に進行しなくなるという問題が発生する。
【０００５】
例えば、システムから利用者に対して、質問が行われるのとほぼ同時である、数百ミリ秒程度のタイミングで、利用者からの割込み発話が入力された場合は、利用者がシステム音声出力を停止させたいかどうかということより、利用者はシステム音声出力を聞き始める前に、発話を始めようとしていた可能性が高い。従って、利用者からの割り込みにより出力を一時停止させるシステム音声出力は、継続するか、再生を終了するか、という選択肢では不十分であり、利用者からの割込み入力音声が、どのシステム音声出力に対する応答なのかを判定することが重要となる。
また、システム出力音声の開始と、利用者からの割込音声入力がほぼ同時になる状況では、利用者は発話を始めかけていたにも関わらず、システムの出力音声が始まったのに驚き、割込音声入力を途中で止めてしまう傾向がある。従って、利用者からの割込音声入力が存在したからと言って、その認識結果をそのまま利用すると、利用者が途中で止めた断片的な発話に対する認識結果は十分な内容を含んでいないことも多く、却って対話を混乱させる要因となることがある。そこで、利用者からの割込音声入力に対しては、入力音声の長さ、認識尤度、認識結果の内容などを総合的に判断して、断片的な発話として扱い認識結果を活用しない方がよいのか、非断片発話として扱い認識結果を活用してよいのか、を判定する必要がある。
【０００６】
図１４を用いて、利用者からの割込音声入力の違いに対応させて、システムが次の出力音声を変化させるべき例を説明する。例えばシステムの音声出力ＳＹＳ−１で乗車日時を問い合わせ、利用者からの音声入力ＵＳＲ−２で「３月１１日」と応答した後、次の入力項目である乗車駅の駅名を問い合わせるための音声出力ＳＹＳ−３の開始直後に、利用者から割込音声入力ＵＳＲ−４で「東京駅」と発話されると、システムはそれ以後の音声出力ＳＹＳ−３の再生を中止し、駅名「東京駅」を入力値として取得し、音声出力ＳＹＳ−３に対する入力値を確定することができる。
但し、図１４Ｃに示すように、音声出力ＳＹＳ−１に対し、音声入力ＵＳＲ−２´で「３月１１日」と入力した後、音声出力ＳＹＳ−３の再生途中で割込音声入力ＵＳＲ−４´で「あっ、やっぱり３月１０日」と発話があった場合、システムは音声出力ＳＹＳ−３を中止するだけで、駅名の入力項目に対して「３月１０日」が入力されても、システムが、利用者から乗車駅が入力されるものとして認識処理を待ち受けていると、割込音声入力ＵＳＲ−４´は乗車駅に言及していないので、システムは音声出力ＳＹＳ−３に対する利用者からの入力値を確定させることができず、再度音声出力ＳＹＳ−５で「ご乗車の駅名を〜」のように、乗車駅名の入力を促すような問合せを行うことになってしまい、利用者とシステムとの間の対話が噛み合わない状況を引き起こしやすい。
【０００７】
この発明の目的は音声対話装置において、利用者の発話がシステムの音声出力に対して割込を発生しても、利用者の発話内容を解析し、利用者が意図する対話状況を維持し、既に入力値が確定している入力項目に対しても、修正を行うことができる音声対話制御方法、音声対話制御装置、音声対話制御プログラムを提案しようとするものである。
【０００８】
【課題を解決するための手段】
この発明では、システムからの音声出力が終了する毎に、この音声出力に対応する利用者からの応答が音声で入力され、この音声入力をシステムが音声認識し、音声認識結果を直前に終了した音声出力に対応する入力値として取得する通常応答処理を実行し、この通常応答処理後に再び音声出力を発生する対話動作を繰返す音声対話制御方法において、システムの第１音声出力が終了し、第２音声出力中に割込音声入力が発生した場合、第２音声出力の内容の重要度を考慮して予め定められた音声出力停止／非停止情報に基づいて、第２音声出力を継続させるか、一時停止させるかを判定する第１判定処理と、この第１判定処理において第２音声出力を一時停止すると判定した場合、第２音声出力の開始から、利用者からの割込音声入力の始端までの所要時間を計測することにより、第２音声出力中での利用者からの割込位置を取得し、割込位置の時刻が予め設定した所定の値より早ければ、第２音声出力の内容は利用者に未伝達と判定し、割込位置の時刻が予め設定した所定の値より遅ければ、第２音声出力の内容は利用者に伝達済と判定する第２判定処理と、利用者からの割込音声入力に対して、認識結果、認識尤度、認識音声の継続長などから、割込音声が十分な内容を伴う非断片発話であったか、それとも十分な内容を伴わない断片的な発話であったかを判定する第３判定処理とを実行し、これら第１判定処理、第２判定処理、第３判定処理の各判定結果に応じて、第１判定処理で第２音声出力を継続させると判定した場合に、割込音声入力を無視して第２音声出力を継続して出力する動作を実行する第１応答処理と、第１判定処理で第２音声出力を一時停止させると判定した場合に、第２音声出力の再生を一時中止させる処理を実行する第２応答処理と、第２判定処理で伝達済と判定し、更に第３判定処理で割込入力が非断片発話、と判定した場合は割込音声入力を第２音声出力に対する応答として取り込む処理を行う第３応答処理と、第２判定処理で未伝達と判定し、更に第３判定処理で割込音声入力が非断片発話、と判定した場合は割込音声入力を第１音声出力に対する応答として取り込む処理を行う第４応答処理と、第２判定処理で伝達済と判定し、第３判定処理で断片発話と判定した場合は第２応答処理により停止されている第２音声出力の再生を再開させる第５応答処理と、第２判定処理で未伝達と判定され、第３判定処理で割込音声入力が断片発話と判定された場合は、第２応答処理により停止されている第２音声出力の再生を冒頭から出力し直す第６応答処理と、第２判定処理で未伝達と判定され、第３判定処理で割込音声入力が断片発話と判定され、更に第１音声出力に対して利用者からの応答がなかった場合は第１音声出力を冒頭から出力し直す第７応答処理と、の何れかを実行する音声対話制御方法を提案する。
【０００９】
この発明では更に、システムからの第１音声出力が終了する毎に、この音声出力に対応する利用者からの応答が音声で入力され、この音声入力をシステムで音声認識し、音声認識結果を直前に終了した第１音声出力に対応する入力値として取得する通常応答処理を実行し、この通常応答処理後に再び第２音声出力を発生する対話動作を繰返す音声対話制御装置において、システムの第１音声出力が終了し、第２音声出力中に利用者から割込音声入力が発生した場合、第２音声出力の内容の重要度を考慮して予め定められた音声出力の停止／非停止情報に基づいて第２音声出力を継続させるか、一時停止させるかを判定する第１判定手段と、この第１判定手段において第２音声出力を一時停止すると判定した場合、第２音声出力の開始から、利用者からの割込音声入力の始端までの所要時間を計測することにより、第２音声出力中での利用者からの割込位置を取得し、割込位置の時刻が予め設定した所定の値より早ければ、第２音声出力の内容は利用者に未伝達と判定し、割込位置の時刻が予め設定した所定の値より遅ければ、第２音声出力の内容は利用者に伝達済と判定する第２判定手段と、利用者からの割込音声入力に対して、認識結果、認識尤度、認識音声の継続長などから、割込音声が十分な内容を伴う非断片発話であったか、それとも十分な内容を伴わない断片的な発話であったかを判定する第３判定手段とを実行し、これら第１判定手段、第２判定手段、第３判定手段の各判定結果に応じて、第１判定手段で第２音声出力を継続させると判定した場合に、割込音声入力を無視して第２音声出力を継続して出力する動作を実行する第１応答手段と、第１判定手段で第２音声出力を一時停止させると判定した場合に、第２音声出力の再生を一時中止させる第２応答手段と、第２判定手段で伝達済と判定し、更に第３判定手段で割込入力が非断片発話、と判定した場合は割込音声入力を第２音声出力に対する応答として取り込む処理を行う第３応答手段と、第２判定手段で未伝達と判定し、更に第３判定手段で割込音声入力が非断片発話、と判定した場合は割込音声入力を第１音声出力に対する応答として取り込む処理を行う第４応答手段と、第２判定手段で伝達済と判定し、第３判定手段で断片発話と判定した場合は、第２応答手段により停止されている第２音声出力の再生を再開させる第５応答手段と、第２判定手段で未伝達と判定し、第３判定手段で断片発話と判定した場合は、第２応答手段により停止されている第２音声出力の再生を冒頭から出力し直す第６応答手段と、第２判定手段で未伝達と判定され、第３判定手段で割込音声入力が断片発話と判定され、更に第１音声出力に対して利用者からの応答がなかった場合は第１音声出力を冒頭から出力し直す第７応答手段とによって構成した音声対話制御装置を提案する。
この発明では更に、コンピュータが解読可能な符号列によって記述され、コンピュータに上記音声対話制御方法を実行させる音声対話制御プログラムを提案する。
【００１０】
作用
この発明によれば、第１判定処理及び第２判定処理、第３判定処理を施し、これらの各判定処理の判定結果に応じて通常の応答処理に加えて、音声出力を強制的に再生し続ける第１応答処理と、音声出力を一時中断させる第２応答処理と、音声出力を一時中断し、割込音声入力を音声出力に対する応答として処理する第３応答処理と、割込音声入力を第２音声出力の一つ前に終了した第１音声出力に対する応答として処理する第４応答処理と、中断している音声出力の再生を再開させる第５応答処理と、中断している音声出力を冒頭から再生する第６応答処理と、一つ前に出力した第１音声出力を冒頭から再生する第７応答処理とを実行させるから、割込音声入力が発生した場合におけるあらゆる状況を適切に処理することができる。この結果、対話を混乱させることなく継続させ、必要事項を適正に入力させることができる。
【００１１】
【発明の実施の形態】
図１を用いてこの発明による音声対話制御装置１００を含む音声対話システム２００の概要を説明する。音声対話制御装置１００の入力側には入力音声処理装置１０１が設けられ、出力側に音声出力装置１０２が設けられる。入力音声処理装置１０１では、音声区間検出部１１において、利用者から入力された音声の音声信号からその始端と終端を検出する。入力された音声信号の始端が検出されると、その始端検出信号は音声対話制御装置１００に送られ、音声対話システム２００が音声信号を出力中であれば、割込音声入力が発生したと判定することに用いられる。
入力された音声信号の始端と終端で区切られた音声データは音声認識部１２に入力され、この音声認識部１２で始端と終端で区切られた各音声データを音声認識し、その認識結果を単語列などの文字データ形式で出力する。
【００１２】
音声認識部１２から出力される音声認識結果は、音声理解部１３に渡され、音声理解部１３で利用者が発話で伝えようとしていた意図及び意味内容を特定する。以下では、この利用者の発話内容を「発話意味表現」と呼ぶ。音声理解部１３で特定された発話意味表現は、音声理解部１３から出力され文脈理解部１４に入力され、文脈理解部１４では、利用者により入力された発話に関して認識及び理解した結果である「発話意味表現」と、文脈理解部１４の内部に蓄えられている「履歴情報」との２つを用いて、最新の理解状態を計算する。文脈理解部１４で決定した最新の理解状態は、入力音声処理装置１０１の出力として音声対話制御装置１００に入力される。
音声対話制御装置１００は入力音声処理装置１０１から渡された最新の理解状態を元に、次に音声対話システム２００が出力すべき音声出力となるデータを決定するため、予め用意されている対話シナリオの中から選択を行う。
対話シナリオから選択されて決定した音声出力となるデータは、文字データ形式で出力され、この文字データが音声出力装置１０２に入力される。音声出力装置１０２は音声合成部１５と、音声出力部１６とによって構成される。音声合成部１５は入力された文字列から出力すべき音声データを合成する。音声出力部１６は音声合成部１５で合成された音声データの開始と停止の制御を行う。つまり、音声対話制御装置１００から出力される一時停止指定（第１判定処理）及び出力再開指令（第２・第３判定処理）に従って音声の一時停止と出力再開を制御する。
【００１３】
図２にこの発明による音声対話制御装置１００の内部の実施例を示す。図２に示す点線で囲んだ通常対話制御部１０３は従来から存在する音声対話制御装置と同等の構成を示す。つまり、通常対話制御部１０３は最新理解状態受信手段２１と、始端／終端信号受信手段２２と、対話シナリオ格納手段２３と、対話シナリオ選択手段２４と、文字列出力手段２５と、通常判定手段２６と、通常応答手段２７と、入力項目記録手段２８とを具備して構成される。
一方、図２に示す１０４はこの発明の要部となる割込処理部の構成を示す。割込処理部１０４は、第１判定手段３０−１と、第２判定手段３０−２と、第３判定手段３０−３と、第１応答手段３１−１と、第２応答手段３１−２と、第３応答手段３１−３と、第４応答手段３１−４と、第５応答手段３１−５と、第６応答手段３１−６と、第７応答手段３１−７と、発話時間計測手段３２と、音声停止／再開制御手段３３とによって構成される。尚、これら通常対話制御部１０３と、割込処理部１０４はバスラインＢＵＳによってＣＰＵ１０５に接続され、ＣＰＵ１０５によって全体が制御される。
通常対話制御部１０３では最新理解状態受信手段２１に、文脈理解度１４から出力された利用者からの音声入力に関する最新理解状態が入力されると、その内容に応じて、次に音声出力すべき発話内容を決定するため対話シナリオ選択手段２４が対話シナリオ格納手段２３から対話シナリオを選択し、その選択された対話シナリオを文字列出力手段２５から文字列として出力し、その文字列を用いて音声合成部１５（図１）で音声合成し、音声出力部１６で音声として出力する。
始端／終端信号受信手段２２では、音声区間検出部１１から送られてくる音声入力の発話始端と終端を時刻データとして受信すると共に、システムが出力する音声出力の発話始端及び終端も時刻データとして記録しておき、対話における発話の順序及び割込の発生を監視する。
【００１４】
図３にシステムの音声出力と、利用者からの音声入力の時間関係の一例を示す。各音声出力と、利用者の音声入力に名称を付し、その名称を用いて以下に各部の動作を説明する。図３に示すＳＹＳ−１はシステムから出力した第１音声出力、ＳＹＳ−３は第２音声出力、ＳＹＳ−５は第３音声出力と称することにする。また、ＵＳＲ−２、ＵＳＲ−４、は利用者が音声で入力した第１音声入力及び第２音声入力と称することにする。
第１音声出力ＳＹＳ−１に対する第１音声入力ＵＳＲ−２は、第１音声出力ＳＹＳ−１が終了した時点Ｓ１ｅｎｄから更に時間が経過した時点Ｕ２ｓｔａｒｔで発話が開始されている。このような時間関係にある第１音声入力ＵＳＲ−２は通常対話制御部１０３で処理される。
【００１５】
つまり、通常判定手段２６は利用者の発話始端（この例ではＵ２ｓｔａｒｔ）が検出された時点でシステムが音声出力中か否かを判定する。システムが音声出力中でない状態で利用者からの発話が開始された場合は、通常応答手段２７が起動され、通常の応答処理を実行する。ここで、通常の応答処理とは現在入力中の音声入力（この例では第１音声入力ＵＳＲ−２）が、直前に発話が終了した音声出力（この例では第１音声出力ＳＹＳ−１）に対する応答であるものと解釈し、第１音声入力ＵＳＲ−２の内容から入力項目を抽出し、入力項目記憶手段２８に記憶する処理を指す。正常な対話が行われている状況ではこの通常応答処理が繰返され、必要な入力項目が音声入力から抽出されて入力項目記録手段２８に取り込まれる。
【００１６】
図４に通常応答処理の動作をフローチャートで示す。
ステップＳＰ０は利用者からの音声入力待ち受けステップ。
ステップＳＰ１は、利用者から音声入力が発生し、その始端を検出した状況を示す。
ステップＳＰ２は、その始端の時点でシステムから音声が出力されている最中か否かを判定する判定ステップ、この判定ステップを、この明細書では通常判定処理と称することにする。この通常判定処理でシステムの音声出力がされていない状態で利用者からの音声入力が発生した場合は通常状態と判定し、通常応答処理ステップＳＰ３に進む。
ステップＳＰ２でシステムの音声出力中に利用者から割込発話が発生したと判定された場合は割込処理に分岐する。この割込処理は割込処理部１０４で実行される。
ステップＳＰ２で通常状態と判定された場合はステップＳＰ３で入力された音声入力（ＵＳＲ−２）が、その直前に出力された音声出力（ＳＹＳ−１）に対する応答として通常応答処理が実行される。
ステップＳＰ４で入力項目が全て入力されたか否かを判定し未だ未入力の項目が存在した場合はステップＳＰ５で入力項目を更新し、ステップＳＰ０に戻り待機状態となる。
【００１７】
次に、割込処理部１０４の動作について説明する。通常判定手段２６（図２）で割込の発生が検出されると、割込処理部１０４に設けた第１判定手段３０−１が起動され第１判定処理を実行する。割込の発生の様子は図３に示す第２音声出力ＳＹＳ−３が出力されている状況下で利用者から第２音声入力ＵＳＲ−４が発話された状態で表わされる。従って以下では音声入力ＵＳＲ−４を割込音声入力と称すことにする。
第１判定手段３０−１はシステムの第２音声出力ＳＹＳ−３に対して割込音声入力ＵＳＲ−４が発生した時点でシステムが出力中の第２音声出力ＳＹＳ−３の内容の重要度を判定する。この判定には例えば対話シナリオに重要度を示すフラグが付されているか否かによって判定することができる。つまり、対話シナリオ格納手段２３に格納されている対話シナリオには、重要度の高い内容であり、利用者からの割込みがあっても、割込みに応じるよりはシステムからの出力を継続させるべきであり、割込みを受け付けないことを示すフラグが付され、反対に、内容の重要度が必ずしも高くなく、利用者からの割込みが発生した場合には、その割込み入力を優先させて処理すべきシナリオには、フラグが付されていない。もし、フラグが付されている対話シナリオを第２音声出力ＳＹＳ−３として出力している最中に割込音声入力ＵＳＲ−４が発生した場合は、この発明では割込音声入力ＵＳＲ−４を無視し、その対話シナリオの第２音声出力ＳＹＳ−３を最後まで出力する。この処理をここでは第１応答処理（出力強行・割込み無視）と称す。
【００１８】
一方、もし、利用者からの割込み不可を示す重要度フラグが付されていない対話シナリオを音声出力している最中に利用者からの割込音声入力ＵＳＲ−４が発生した場合は、この発明ではその割込音声入力ＵＳＲ−４を尊重し、まず第２音声出力ＳＹＳ−３を一時的に中断させる。この中断処理をここでは第２応答処理（出力の一時停止）と称す。
このように、音声出力の内容の重要度に応じて、重要度が高い場合には第１応答処理を実行することにより、システムから確実に利用者に伝えたい、重要度の高い内容（例えば、システムから利用者への問合せなど）を最後まで確実に利用者に聞かせて伝達することができる。
【００１９】
一方、第２応答処理を実行し、第２音声出力ＳＹＳ−３を図３に示したように一時中断させた場合は、第２判定手段３０−２と、発話時間計測手段３２（図２）が起動される。この第２判定手段３０−２では、システムから音声として出力されている発話の開始時刻や継続時間を計測しておき、その計測結果により、利用者からの割込み発話の開始位置がシステム音声出力ＳＹＳ−３のどの位置で生じたかを算出する。それにより、音声出力ＳＹＳ−３が対話相手である利用者への伝達を完了させたと見なしてよいのか、それとも、音声出力ＳＹＳ−３は出力が開始されはしたものの、実質的には利用者へ伝達が完了しなかったと見なすべきなのかを判定する。この判定をここでは第２判定処理（伝達／未伝達判定）と称す。この第２判定処理に用いる、利用者への伝達が完了したか未伝達かを判定する方法としては、システムが出力している発話の継続時間が、予め設定してある所定時間以上か否かにより判定することができる。設定する所定時間は、システム発話が一時停止させられるまでの継続時間の絶対値であってもよいし、本来、出力するはずであった発話の全体の長さの１／２以上あるいは１／３以上のように比率で設定する等の方法が考えられる。
【００２０】
図５に第１判定処理と第２判定処理を実行する部分のプログラムの概要を説明するためのフローチャートを示す。
ステップＳＰ６は第１判定処理（出力強行・割込み無視）を実行する部分のステップを示す。このステップＳＰ６で再生中の音声出力の内容の重要度を判定する。このステップＳＰ６で重要度が高い、すなわち、利用者からの割込み不可と判定した場合は、ステップＳＰ７及びステップＳＰ８に分岐し、音声出力ＳＹＳ−３を最後まで強制的に再生し、第１応答処理を実行する。
一方、ステップＳＰ６で第２音声出力ＳＹＳ−３の内容の重要度が低い、すなわち、利用者からの割込みに対処すべきと判定した場合は、ステップＳＰ９に分岐し、ステップＳＰ９からＳＰ１０へ進む。
ステップＳＰ１０で音声停止／再開制御手段３３（図２）を起動させ、この音声停止／再開制御手段３３により音声出力部１６（図１）を制御して第２音声出力ＳＹＳ−３の再生を一時停止させ第２応答処理を終了する。第２応答処理の後、ステップＳＰ１１に進む。
【００２１】
ステップＳＰ１１では第２判定処理（伝達／未伝達判定）を実行する。第２判定処理は発話時間計測手段３２で第２音声出力ＳＹＳ−３の出力開始から一時停止までの時間ｄＳＹＳ３と、第２音声出力ＳＹＳ−３の出力停止位置Ｓ３ｍｉｄの計測値を参照し、利用者に第２音声出力ＳＹＳ−３の内容の伝達が完了したとみなすか否かを判定する。この判定はステップＳＰ１２とＳＰ１４で行われる。
ステップＳＰ１２では時間ｄＳＹＳ３が予め設定した閾値より長いか、又は停止位置Ｓ３ｍｉｄが第２音声出力の全体の時間の１／２を過ぎた後半部である場合はステップＳＰ１３に示すように第２音声出力ＳＹＳ−３の内容は利用者に伝達された（「伝達済」）と判定する処理を行う。
一方、もしステップＳＰ１４で時間ｄＳＹＳ３が閾値より短いか、又は出力停止位置Ｓ３ｍｉｄが第２音声出力ＳＹＳ−３の中の前半部であったと判定された場合は、
【００２２】
ステップＳＰ１５で第２音声出力ＳＹＳ−３の内容は利用者に「未伝達」として扱うものと処理する。
ステップＳＰ１３又はＳＰ１５を実行した後、ステップＳＰ１６に進み割込音声ＵＳＲ−４の終端が検出されるのを待つ。
割込音声入力ＵＳＲ−４の終端が検出されると、図６に示すステップＳＰ１７の第３判定処理（断片・非断片判定）に進む。
ステップＳＰ１７で行う第３判定処理は割込音声入力ＵＳＲ−４の内容の有無を解析し、この内容の有無と、第２判定処理でのステップＳＰ１３とＳＰ１５で判定した利用者への「伝達済」及び「未伝達」との組合せに応じて４つの状態に分類する。
【００２３】
ステップＳＰ１８は第１の分類を選択したステップを示す。第１の分類ステップＳＰ１８では第２音声出力ＳＹＳ−３の内容（発話量）が利用者に「伝達済」であることと、割込音声入力ＵＳＲ−４の内容が充分存在し、「非断片発話」である場合に選択される。
このステップＳＰ１８が選択された場合はステップＳＰ２２で割り込み音声入力ＵＳＲ−４を第２音声出力ＳＹＳ−３に対する応答として処理を行う。つまり、割込音声入力ＵＳＲ−４の音声認識結果を第２音声出力ＳＹＳ−３に対する応答として入力項目記録手段２８（図１）に記録する（ステップＳＰ２９）。これを第３応答処理と称する。第３応答処理は、システムからの第２音声出力ＳＹＳ−３は無事利用者に伝達されており、かつ、ＳＹＳ−３に割込んだ利用者からの割込み入力ＵＳＲ−４にも十分な内容がある場合であり、システムは、割込まれたＵＳＲ−４の入力に対して、次の応答を行えばよい。
【００２４】
ステップＳＰ１９は第２の分類を選択したステップを示す。第２の分類ステップＳＰ１９では第２音声出力ＳＹＳ−３が利用者に「未伝達」で、割込音声出力ＵＳＲ−４の発話が充分存在し、「非断片発話」である場合に選択される。この分類の場合は、利用者は、システムからの第２音声出力ＳＹＳ−３を聞き取った上でＵＳＲ−４の割込み入力を行ったと考えるのではなく、ひとつ前の段階でシステムから出力された第１音声出力ＳＹＳ−１に対して応答したと考えるべきである。つまり、第１音声出力ＳＹＳ−１に対して、利用者は第１音声入力ＳＹＳ−２で応答したが、それに加えて、さらに応答を続けるため、第２音声入力ＵＳＲ−４を発声したと考える。第２音声入力ＵＳＲ−４の開始時刻（Ｕ４ｓｔａｒｔ）が、たまたま、第２音声出力ＳＹＳ−３の開始時刻（Ｓ３ｓｔａｒｔ）より後になってしまった場合である。
従ってこのステップＳＰ１９が選択された場合はステップＳＰ２３で割り込み音声入力ＵＳＲ−４を第１音声出力ＳＹＳ−１に対する応答として処理を行う。従って、この場合にはステップＳＰ２９で割込音声入力ＵＳＲ−４の音声認識結果を第１音声出力ＳＹＳ−１に対する応答として入力項目記録手段２８（図１）に記録する。この処理をここでは第４応答処理と称す。
【００２５】
ステップＳＰ２０は第３の分類を選択したステップを示す。第３の分類ステップＳＰ２０では第２音声出力ＳＹＳ−３が利用者に「伝達済」で、割込音声出力ＵＳＲ−４の発話量が少なく、「断片発話」である場合に選択される。この第３の分類の場合は、利用者は、システムからの第２音声出力ＳＹＳ−３を聞き取ったものの、何か具体的に伝えたいことがあって、割込み入力ＵＳＲ−４を発声した訳ではなく、何か言いかけてやめたか、相槌などの発話をしただけ、と考える。つまり、システムは、利用者が割込んできた第２音声入力ＵＳＲ−４に対して応答する必要はなく、いったん停止させてしまった第２音声出力ＳＹＳ−３を再開させるべきと考えられる。
従ってこのステップＳＰ２０が選択された場合はステップＳＰ２４に進みステップＳＰ２４で第２音声出力ＳＹＳ−３の再生を再開する処理を実行する。この処理をここでは第５応答処理と称す。
ステップＳＰ２１は第４の分類を選択したステップを示す。この第４分類ステップＳＰ２１では第２音声出力ＳＹＳ−３が利用者に「未伝達」で、割込音声入力ＵＳＲ−４の発話量が少なく「断片発話」である場合に選択される。
このステップＳＰ２１が選択された場合は更に２つのステップＳＰ２５とＳＰ２６に分類される。
【００２６】
ステップＳＰ２５はステップＳＰ２１で規定した条件「ＳＹＳ−３が未伝達」、「ＵＳＲ−４が断片発話」に加えて第１音声入力ＵＳＲ−２に発話が存在した条件（図６ではＵＳＲ−２≠０と表示）を加える。この条件を満たす状況としては、第１音声出力ＳＹＳ−１に対して、利用者は第１音声入力ＵＳＲ−２の発話を行ったものの、「ＳＹＳ−３が未伝達」であることから、続く第２音声出力ＳＹＳ−３を聞き取った上で第２音声入力ＵＳＲ−４を返した訳ではなく、第１音声入力に続く発話として第２音声入力ＵＳＲ−４を発話し始めたものの、たまたま第２音声出力ＳＹＳ−３と重なってしまったため、第２音声入力ＵＳＲ−４を途中でやめてしまい、断片発話になったと考えられる。従って、システム・利用者とも、ＳＹＳ−３・ＵＳＲ−４を話そうとしてやめてしまったような状況と考えられるため、この状況では、システムが当初の予定通り、第２音声出力ＳＹＳ−３を、もう一度、発話し始めるべきと考えられる。このために、ステップＳＰ２５が選択された場合にはステップＳＰ２７に進み、このステップＳＰ２７で第２音声出力ＳＹＳ−３を冒頭から再生を始める処理を実行する。この処理をここでは第６応答処理と称す。
この第６応答処理により利用者には第２音声出力ＳＹＳ−３が冒頭から伝達され、利用者により、第２音声出力ＳＹＳ−３に対する応答が入力されることを待ち受ける。
【００２７】
一方、第１音声入力ＵＳＲ−２が無音声（図６ではＵＳＲ−２＝０と表示している）であった場合にはステップＳＰ２６で第１音声出力ＳＹＳ−１に対する応答が未だ確定していないと判定する。つまり、第１音声出力ＳＹＳ−１に対して、利用者は何らかの理由で応答するのが遅れてしまい、やっと応答を始めようとしたのだが、システムの側では、第１音声出力ＳＹＳ−１に対して、利用者からの応答が何もないため、第１音声入力ＵＳＲ−２に相当する応答は無音であったと判断し、無音による応答に対する次の発話、第２音声出力ＳＹＳ−３を開始しようとしたところに、たまたま利用者からの第２音声入力ＵＳＲ−４が重なるように始まってしまったと考えることができる。この場合、システム・利用者とも、ＳＹＳ−３・ＵＳＲ−４を話そうとしてやめてしまった状況であるが、利用者が話し始めてやめてしまったＵＳＲ−４は、第１音声出力ＳＹＳ−１に対する応答であったであろうと考えることができるので、システムは、第１音声出力ＳＹＳ−１に対する応答を促すため、もう一度、第１音声出力ＳＹＳ−１を繰り返すことが望ましいと考えられる。従って、ステップＳＰ２６が選択された場合はステップＳＰ２８で第１音声出力ＳＹＳ−１を冒頭から再生し直し、利用者から第１音声出力ＳＹＳ−１に対する応答が入力されるのを待ち受ける。この処理をここでは第７応答処理と称す。
これら、第５応答処理、第６応答処理、第７応答処理を実行した後はステップＳＰ３０では、第５応答処理（第２音声出力ＳＹＳ−３の再開）、第６応答処理（第２音声出力ＳＹＳ−３の冒頭からの再生し直し）、第７応答処理（第１音声出力ＳＹＳ−１の再生し直し）で出力されたシステムからの発話に対して、利用者から入力される音声入力を待ち受けて待機する処理を行う。
以上説明した各応答処理動作例を図７乃至図１２を用いて説明する。
【００２８】
図７は通常応答処理の対話例を示す。第１音声出力ＳＹＳ−１で「お探しになりたいエリアを入力してください」と音声が出力される。音声の終了後に利用者が第１音声入力ＵＳＲ−２で「そうですねー、じゃぁ新宿でお願いします」と回答する。
回答の終了後にシステムから第２音声出力ＳＹＳ−３で「エリアは新宿でよろしいですか？」と確認の問い合わせが出力される。音声出力ＳＹＳ−３が終了した後で利用者から第２音声入力ＵＳＲ−４で「はいそうです」と回答する。システムは音声入力ＵＳＲ−４を受理することで、ＳＹＳ−１で出力されたエリアに関する質問を完了させて次の質問事項に移り、音声出力ＳＹＳ−５で「次に、ジャンルを教えて下さい」と出力する。このように割込が発生することもなく、音声出力と音声入力が交互に繰返されることにより通常の応答処理が実行される。
【００２９】
図８は上述した第３応答処理の対話例を示す。第１音声出力ＳＹＳ−１と第１音声入力ＵＳＲ−２に対しては通常応答処理と、同じ手順で処理が実行される。ここでは第２音声出力ＳＹＳ−３に対して、第２音声入力ＵＳＲ−４が割込により生じた例を示す。第２音声入力ＵＳＲ−４が割込を発生させたが、割込音声入力ＵＳＲ−４の発生位置が、第２音声出力ＳＹＳ−３の中央より後方であるとした場合、第２判定手段３０−２は第２音声出力ＳＹＳ−３の内容が利用者に「伝達済」と判定し、更に、割込音声入力ＵＳＲ−４は「はいそうです」と発話され「非断片発話」であるため、図６に示したステップＳＰ２２で第２音声入力ＵＳＲ−４を第２音声出力ＳＹＳ−３に対する回答として処理する。その結果割込音声入力ＵＳＲ−４の終端を待って次の入力項目を問い合わせる第３音声出力ＳＹＳ−５が出力される。
【００３０】
図９は第４応答処理の対話例を示す。この例では第２音声出力ＳＹＳ−３に対してその開始直後に割込音声入力ＵＳＲ−４が発生した状態を示す。割込が第２音声出力ＳＹＳ−３の出力開始直後であることから、第２音声出力ＳＹＳ−３の内容は利用者に「未伝達」と判定される。これに対し、割込音声入力ＵＳＲ−４は「だから、新宿ですよ」と「非断片発話」であるため、図６に示したステップＳＰ１９が選択され、割込音声入力ＵＳＲ−４を第１音声出力ＳＹＳ−１に対する回答として処理を行う。この結果として、第２音声出力ＳＹＳ−３は存在しなかったものとして扱い、割込音声入力ＵＳＲ−４を第１音声出力ＳＹＳ−１に対する回答として扱うため、第３音声出力ＳＹＳ−５として「はいすみません、新宿、了解です」のように、本来、出力されるはずであった第２音声出力ＳＹＳ−３とは異なる対話シナリオが選択され、利用者に音声出力が行われる。
【００３１】
図１０は第５応答処理の対話例を示す。この例では第２音声出力ＳＹＳ−３の再生開始から中央部分を経過した時点で十分な内容を持たない認識結果である、割込音声入力ＵＳＲ−４が発生した場合を示す。第２音声出力ＳＹＳ−３は半分以上が再生されているから利用者には「伝達済」として処理される。また、割込音声入力ＵＳＲ−４は「断片発話」と判定するから、この場合には図６に示したステップＳＰ２０が選択され、ステップＳＰ２０が選択されることにより、割込音声入力ＵＳＲ−４の内容には対処せず、かつ、第２音声出力ＳＹＳ−３は利用者に伝達済と扱うので、音声出力ＳＹＳ−３の再生が、割込みにより一時停止した位置から再開される。尚、この例では再生の再開位置を中断位置より開始点側に採り、再生済みの内容を一部重複させて再生することで認識性を高める工夫を施している。
第２音声出力ＳＹＳ−３の再生を再開し、その終了後に音声入力ＵＳＲ−５により「はいＯＫです」と入力することにより、音声出力ＳＹＳ−１で行った質問に対する回答がＳＹＳ−３を経て確定される。
【００３２】
図１１は第６応答処理の対話側を示す。この例では第２音声出力ＳＹＳ−３の出力開始直後に十分な内容を持たない認識結果である、割込音声入力ＵＳＲ−４が発生した場合を示す。この場合には、割込音声入力ＵＳＲ−４の開始点は、第２音声出力ＳＹＳ−３の開始直後であるため、利用者には第２音声出力の内容は「未伝達」と判定される。更に、割込音声入力ＵＳＲ−４も「断片発話」であるため、図６に示したステップＳＰ２１が選択される。更に、ここでは第１音声入力ＵＳＲ−２が有音であるため、第１音声出力ＳＹＳ−１で行われた質問に対する回答は既に第１音声入力ＵＳＲ−２で行われているものと判定される。従って、この場合には第２音声出力ＳＹＳ−３を冒頭から再生し、利用者に第２音声出力ＳＹＳ−３に対する回答を求める。
【００３３】
図１２は第７応答処理の対話例を示す。この例では第１音声出力ＳＹＳ−１に対して、利用者は第１音声入力ＵＳＲ−２で発声を行わずに応答が無音であり、更に、第２音声出力ＳＹＳ−３の開始直後に十分な内容を持たない認識結果である、割込音声入力ＵＳＲ−４が発生した場合を示す。
この場合には、第２音声出力ＳＹＳ−３は開始直後に中断されているから、その内容は利用者に「未伝達」と判定される。更に、割込音声入力ＵＳＲ−４も「断片発話」と判定されるから、図６に示したステップＳＰ２１が選択される。ステップＳＰ２１が選択されて更に第１音声入力ＵＳＲ−２が無回答であるから、この場合にはステップＳＰ２６に進み、ステップＳＰ２６で第１音声入力ＵＳＲ−２に対する回答がまだ行われていないと判定され、第１音声出力ＳＹＳ−１がもう一度再生され、利用者に第１音声出力ＳＹＳ−１に対する回答を求める。
【００３４】
以上説明した音声対話制御方法及び音声対話制御装置はこの発明による音声対話制御プログラムをコンピュータにインストールし、コンピュータに解読させて実行させることにより実現される。この発明による音声対話制御プログラムはコンピュータが解読可能な符号列によって記述され、コンピュータが読み取り可能な記録媒体に記録され、この記録媒体から読み出されてコンピュータにインストールするか又は記録媒体から読み出され、通信回線を通じてコンピュータにインストールされる。
【００３５】
【発明の効果】
以上説明したように、この発明によればシステムの音声出力中に利用者が割込音声入力を発生しても、その発生状況を複数に分類して処理し、あらゆる状況の割込に対しても適切な対話の処理と、入力値の取得の処理を実行するから、対話が混乱に陥ることもなく、利用者に負担を掛けることなく必要事項の入力を行わせることができる。
【図面の簡単な説明】
【図１】この発明を適用して好適な音声対話装置の一例を説明するためのブロック図。
【図２】この発明の要部の構成を説明するためのブロック図。
【図３】この発明の動作を説明するためのタイミングチャート。
【図４】図２に示した通常対話制御部と、この発明の要部となる割込処理部との動作の分岐部分を説明するためのフローチャート。
【図５】この発明で提案する第１応答処理と、第２応答処理の動作を説明するためのフローチャート。
【図６】この発明で提案する第３応答処理乃至第７応答処理の動作を説明するためのフローチャート。
【図７】図２に示した通常対話制御部の通常対話処理時の対話例を説明するためのタイミングチャート。
【図８】この発明で提案する第３応答処理の対話例を説明するためのタイミングチャート。
【図９】この発明で提案する第４応答処理の対話例を説明するためのタイミングチャート。
【図１０】この発明で提案する第５応答処理の対話例を説明するためのタイミングチャート。
【図１１】この発明で提案する第６応答処理の対話例を説明するためのタイミングチャート。
【図１２】この発明で提案する第７応答処理の対話例を説明するためのタイミングチャート。
【図１３】従来の技術の一例を説明するためのタイミングチャート。
【図１４】従来の技術の他の例を説明するためのタイミングチャート。
【符号の説明】
１００    音声対話制御装置              ２８    入力項目記録手段
１０１    入力音声処理装置            ２００    音声対話システム
１０２    音声出力装置              ３０−１    第１判定手段
１０３    通常対話制御部            ３０−２    第２判定手段
１０４    割込処理部                ３０−３    第３判定手段
１０５    ＣＰＵ                    ３１−１    第１応答手段
１１    音声区間検出部            ３１−２    第２応答手段
１２    音声認識部                ３１−３    第３応答手段
１３    音声理解部                ３１−４    第４応答手段
１４    文脈理解部                ３１−５    第５応答手段
１５    音声合成部                ３１−６    第６応答手段
１６    音声出力部                ３１−７    第７応答手段
２１    最新理解状態受信手段          ３２    発話時間計測手段
２２    始端／終端信号受信手段        ３３    音声停止／再開制御手段
２３    対話シナリオ格納手段    ＳＹＳ−１    第１音声出力
２４    対話シナリオ選択手段    ＳＹＳ−３    第２音声出力
２５    文字列出力手段          ＵＳＲ−２    第１音声入力
２６    通常判定手段            ＵＳＲ−４    割込音声入力
２７    通常応答手段
【図１】
2004325848.tif 000003
【図２】
2004325848.tif 000004
【図３】
2004325848.tif 000005
【図４】
2004325848.tif 000006
【図５】
2004325848.tif 000007
【図６】
2004325848.tif 000008
【図７】
2004325848.tif 000009
【図８】
2004325848.tif 000010
【図９】
2004325848.tif 000011
【図１０】
2004325848.tif 000012
【図１１】
2004325848.tif 000013
【図１２】
2004325848.tif 000014
【図１３】
2004325848.tif 000015
【図１４】
2004325848.tif 000016