(57)【要約】コンテンツ情報に利用されるマークアップ言語の表記に対して、変更を加えて保存し、変更を加えたりした情報を配信する配信装置と受信する受信端末とに用いる情報処理装置を構成することができる。より具体的には、マークアップ言語で記載された音素辞書情報を変更してタグを追加したり、変数や属性を追加したりして保存・変更・配信することにより、音声認識技術と音素認識技術を利用し情報処理装置を操作する。これにより、コンテンツ情報に含まれる単語や文字列に対して音声認識を行う際に、音声認識辞書に単語モデルや音響モデルや文法モデルや品詞情報が認識辞書に登録されていなくても、コンテンツ情報から音素や音素片からなる表音記号認識に用いる表音記号によって認識辞書情報を動的に構成し利用することにより適切な音声認識を実現することが可能な情報処理装置等を提供することができる。
2007069512.tif 000002
【特許請求の範囲】
【請求項１】
文字情報及び／又はメタ情報を含むコンテンツ情報を取得するコンテンツ情報取得手段と、
前記コンテンツ情報取得手段により取得されたコンテンツ情報から、表音記号からなる認識表音記号列を検出する認識表音記号列検出手段と、
前記認識表音記号列を用いて認識辞書情報を生成する認識辞書情報生成手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
文字情報及び／又はメタ情報を含むコンテンツ情報を取得するコンテンツ情報取得手段と、
前記コンテンツ情報取得手段により取得されたコンテンツ情報から、文字情報及び／又はメタ情報に基づいて展開対象文字列を検出する展開対象文字列検出手段と、文字列と表音記号とを対応づけて記憶する表音記号記憶手段と、
前記表音記号記憶手段を参照することにより、前記展開対象文字列を認識表音記号列に変換する表音記号変換手段と、
前記認識表音記号列を用いて認識辞書情報を生成する認識辞書情報生成手段と、
を備えることを特徴とする情報処理装置。
【請求項３】
前記表音記号変換手段により変換された表音記号を、前記コンテンツ情報に付加することにより当該コンテンツ情報を保存するコンテンツ情報保存手段を更に備えることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記コンテンツ情報保存手段により保存されたコンテンツ情報と、当該コンテンツ情報に基づいて生成された認識辞書情報とを他の情報処理端末に送信する送信手段を更に備えることを特徴とする請求項１から３のいずれか一項に記載の情報処理装置。
【請求項５】
音声を入力する音声入力手段と、
前記音声入力手段により入力された音声の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された特徴量から、表音記号に変換する特徴量表音記号変換手段と、
前記特徴量表音記号変換手段により変換された表音記号と、前記認識辞書情報に含まれる認識表音記号列を構成する表音記号とを評価し、もっとも類似する表音記号に対応して所定の処理を実行する処理実行手段と、
を更に備えることを特徴とする請求項１から４のいずれか一項に記載の情報処理装置。
【請求項６】
前記コンテンツ情報には、音素情報及び／又は音素片情報が含まれており、
前記処理実行手段は、前記特徴量表音記号変換手段により変換された表音記号と、前記認識辞書情報に含まれる認識表音記号列を構成する表音記号とを評価し、もっとも類似する表音記号に対応して利用者に対し、音声発話による情報の提示を行うことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記表音記号は、音素又は音素片であることを特徴とする請求項１から６のいずれか一項に記載の情報処理装置。
【請求項８】
前記実行される処理は、音素認識に伴う認証処理であることを特徴とする請求項５から７のいずれか一項に記載の情報処理装置。
【請求項９】
コンピュータに、
マークアップ言語を用いて記述された情報を解釈するマークアップ言語解釈ステップと前記解釈によって指定された属性を獲得する属性獲得ステップと、
属性獲得ステップによって獲得された属性に関連付けられた表音記号列及び／又は音素列及び／又は音素片列を抽出する表音記号抽出ステップと、
前記表音記号抽出ステップによって、音素認識部で用いる音素列辞書を変更する辞書変更ステップと、
を実現させることを特徴とするプログラム。
【請求項１０】
コンピュータに、
マークアップ言語を用いて記述された情報を解釈するマークアップ言語解釈ステップと前記解釈によって指定された属性を獲得する属性獲得ステップと、
属性獲得ステップによって獲得された属性に関連付けられた表音記号列及び／又は音素列及び／又は音素片列を抽出する表音記号抽出ステップと、
前記属性獲得ステップによって獲得された属性に基づき利用者が入力する情報の種別を評価する情報種別評価ステップと、
前記情報評価ステップによって、音素認識部で用いる音素列辞書を変更する辞書変更ステップと、
を実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声認識において音素認識及び／又は音素片認識を用いる情報処理装置等に関する。
【背景技術】
【０００２】
従来から一般的に音声を用いる情報処理装置や操作方法は音声認識に関する技術が知られている。音声認識を行う方法としては、一般的に利用者発話に伴う音声から統計的に作られた音素や音素片による音響モデルや標準パラメータやテンプレートを用いた音素認識や音素片認識により音素や音素片を時系列的に抽出し音素や音素片記号列を獲得する方法が知られている。【０００３】
そして、音素列や音素片列からなる単語が記録された音声認識辞書を用いて、認識された音素列や音素片列と音声認識辞書に登録された音素列や音素片列との一致を評価し、評価の結果一致度の高い音素列や音素片列に関連付けられた単語を取得したり、装置制御の命令を実行したりすることで音声認識や認識に伴う処理を実現する。【０００４】
ここで、装置を制御するユーザインタフェースとしては、非特許文献１のように音素の認識辞書により特定される単語と単語に関連付けて辞書登録された装置制御方法を音素の認識処理により選択し実施する方法があり、音素や音素片の認識技術としては特許文献１に示されるように古くからの公知技術として用いられている。【０００５】
また、音声の認識において、人の対話における発話単語は省略形や「おー」や「うーん」といった感嘆語や造語などの変化が多く、特にコンテンツ情報では商品名や役者名などは辞書登録が困難な固有名詞が多く必ずしも全ての単語を辞書登録できなかった。そこで、音素認識を用いてコンテンツを検索する技術が特許文献２や非特許文献２や非特許文献３等において提案されている。【０００６】
ここで、特許文献３には、マークアップ言語の１つであるＨＴＭＬにおける音声認識への利用において、認識可能な単語の表示表現を変えることで、利用者による音声操作がやりやすくなるような提案がなされている。【０００７】
また、特許文献４には、最低限必要な語彙に伴う音響モデルによる認識辞書データを動的に獲得する方法が提案されている。【０００８】
また、特許文献５によれば、マークアップ言語の１つであるＨＴＭＬにおける音声認識への利用において、認識可能な単語を特定するために特定の記号で範囲を指定し、音声による認識が行えることを利用者に明示する方法が提案され、発音が難解な単語には認識可能な読み方を記載することで利便性を図っている。
【特許文献１】特開昭６２−２２０９９８号公報
【特許文献２】特開２００５−７０３１２号公報
【特許文献３】特開平１１−２５０９８号公報
【特許文献４】特開２００２−９１８５８号公報
【特許文献５】特開２００５−１８２４１号公報
【非特許文献１】「高齢化社会対応型生活支援インターフェースに関する研究開発」、青森県工業総合研究センターによるキープロジェクト研究報告書  Vol.5、Apr.1998〜Mar.2001 ０３１
【非特許文献２】中沢正幸, 遠藤隆, 古川清, 豊浦潤, 岡隆一(新情報処理開発機構), 「音声波形からの音素片記号系列を用いた音声要約と話題要約の検討」,信学技報, SP９６-２８, pp.６１--６８, June １９９６.
【非特許文献３】岡 隆一, 高橋裕信, 西村拓一, 関本信博, 森靖英, 伊原正典, 矢部博明, 橋口博樹, 松村博. パターン検索のアルゴリズム・マップ -"CrossMediator" を支えるもの -. Someone Unknown, editor, 人工知能学会研究会, volume １, pages １-６. 人工知能学会, ２００１.
【０００９】
また、音素記号列のマークアップ言語における利用方法はＭＰＥＧ２などの動画ストリーム内で用いられるＭＰＥＧ７における記述としてSegment および Media Locatorという構成を使用して、<Media Locator>でビデオコンテンツ内のSegmentもしくはFrameを直接指定したり、<Media Locator>でコンテンツを指し、<Media Time>でそのコンテンツ内部の時間位置を指定すると共に適当な固有名詞を指定するタグと組合せたりという使い方や、前述のSegmentでコンテンツを割当てたりする際にVisual、Audioのローレベルなメタデータとして、固定の間隔で同種のメタデータを付けるための<Series>という記述方法を用いたりする方法がある。この際、オーディオだと<Scalable Series>として指定する方法がりＭＰＥＧ７オーディオには、自動音声認識結果である単語(word)ラティスと音素(phone)ラティスとを記述する <Spoken Content DS>というものがある。【００１０】
また、ＶｏｉｃｅＸＭＬという音声認識における標準化方式では文脈にあわせて文法に依存した認識を実施するために、これまで製品間でバラバラだったユーザインタフェースユーザインタフェースの記述を統一的な手法を表記する方法が提案されているが、文脈や文法に依存せず音素や音素片といった表音記号識別子を使って任意のタグの対象範囲に属性を与え、辞書情報を動的に構成する方法は提案されていない。【００１１】
なお、従来の出願や文献によると、音素と音節を混同しているものが多く見受けられるが、本発明における音素とは日本語で「あかさたな」という発音を例にする場合、音節表記した場合であれば「あ/か/さ/た/な」もしくは「a/ ka/ sa/ ta/ na」と単音声で表記され、音素表記した場合は「a/ k/ a/ s/ a/ t/ a/ n/ a」もしくは「a/ cl/ k/ a/ s/ a/ cl/ t/ a/ n/ a」と表記され、音素片表記であれば「a/ a-k/ k/ k-a/ a/ a-s/ s/ s-a/ a/ a-t/ t/ t-a/ a/ a-n/ n/ n-a/ a」もしくは「a/ a-cl/ cl/ cl-k/ k/  k-a/ a/ a-s/ s/ s-a/ a/ a-cl/ cl/ cl-t/ t/ t-a/ a/ a-n/ n/ n-a/ a」といった例がバイグラムであれば考えられ、「a-a-a/ a-cl-cl/ cl-cl-cl/ cl-cl-k/ cl-k-k/ k-k-a/ a-a-a/ a-a-s/ s-s-s/ s-a-a/ … t-a-a/ a-a-n/ n-n-n/ n-a-a/ a-a-a」と言った例がトライグラムの例となり、音素を時系列的に前半部、中盤部、後半部といった任意の位置に基づいて分解した音素片であっても良く、/cl/ は発音前の無音部もしくは無声部を指しており、これらの音素や音素片はともに任意の改善により任意の音を示す音素や表記記号や表音記号や発音記号及びそれらを時系列的に分解した音素片のような表記記号片や表音記号片や発音記号片に変更しても良い。【００１２】
また、音素及び音素片を用いる表音記号認識と通常の音声認識の違いを説明すると、音素認識や音素片認識は一般的な音声認識と違い意味や内容を解釈する語彙認識を行わないという特徴と音響モデルを単語や文法や品詞などの言語モデルの変化に応じて動的に構成しないという特徴があり、より詳しくは音素認識や音素片認識は文法に関わる言語モデルを用いないため認識結果として意味を捉えていないこと、若しくは漢字のような意味を含む記号に変換していないこと、若しくは同音異義語や同音異表記語を弁別しないこと、文脈に応じて名詞や動詞といった品詞の弁別を行わないこと、若しくは形態素解析や構文解析を行わないことなどといった特徴があり、本件では音素認識や音素片認識をはじめとして、音素や音素片や発音記号や（時系列的に分割された発音記号としての）発音記号片とそれらの記号列に基づく表音記号を用いた認識を併せて表音記号認識として表記している。【００１３】
このように、音素及び音素片による認識は表音記号別の静的な音響モデルを用いて発話者の発話音を分析し発話にともなう表音記号列と認識辞書内の表音記号列の一致のみを評価するという特徴から認識処理や認識辞書の構成が単純になり音の一致のみを評価するため辞書未登録語や感嘆詞であっても音素や音素片といった表音記号や発音記号からなる識別子列の認識が可能となる。【００１４】
この際、従来からあるように話者の発話特性に合わせて学習し性能を改善する動的な音響モデルを用いても良いが、一般的な音声認識のような単語や文法に依存して音響モデルを動的に切替えるといった処理を音素認識や音素片認識では行わないという特徴がある。【００１５】
このため、音素列や音素片列を登録済み辞書内容と比較することで未登録音素列や音素片列の検出が容易に可能となり、音素や音素片を用いた表音記号認識による認識結果に基づいて単語を限定し再度一般的な文法を加味した音声認識を実施することで効率的な音声認識を実現するといった方法も考えられる。【００１６】
そして、音素や音素片による認識方法は辞書に登録されていない単語がある場合であっても、認識対象文中の未登録単語をひらがな文字表記に変換し、変換されたひらがな文字列の遷移状態に合わせて、機知の情報から得られる韻律に基づき音素列や音素片列に変換した記号列を認識辞書に一時的に登録し、利用者の発話を音素列や音素片列として認識した後に獲得された音素列や音素片列と認識辞書の音素列や音素片列とを比較することで記号列同士の一致度を測り認識結果を獲得し、認識結果として利用頻度が下がれば削除するといった方法により、従来の音声認識よりも自由度の高い動的な音素や音素片による辞書構成を持つ音声認識が可能となる。【００１７】
また、このとき、音素や音素片単位の音響モデルを利用者の発話に合わせて再学習するといった方法により、文法や単語に依存しない動的な音響モデル辞書により認識精度を改善するように利用者の発話から得られる音響情報を教師情報として再利用して、認識のための再学習を実施してもよい。
【発明の開示】
【発明が解決しようとする課題】
【００１８】
従来の音声認識技術において、人の対話における発話単語の省略形や「おー」や「うーん」といった感嘆語（感嘆詞）や造語などは時代や環境に伴う違いも多く語、特にコンテンツ情報では商品名や役者名などの流行に依存する動的な固有名詞は認識辞書への登録は非効率的であったため、膨大で変化に富む音声認識を実用化する場合の課題として古くから存在するものの音響モデルや文法モデルを含む認識辞書を繰返し配布することはその情報量の大きさから比較的困難であるため認識辞書に登録されていない語彙に依存した認識は事実上不可能であった。【００１９】
また、従来の音声認識では一般的に韻律モデルや文法モデルの学習が不可欠であり、そういった処理手順が前述の造語や流行語や固有名詞などに基づく辞書未登録語の認識の課題となっており、そういった未登録単語に関連する韻律や単語間の共起関係による文法モデルの学習が困難であるという課題があった。【００２０】
また、従来マークアップ言語による音声情報はコンテツ情報としての映像や音声に同期した音声情報以外は検索や操作の対象にできなかった。そして、音素記号列を含む情報を利用者に提供するためには事前に音声情報を認識し音素と単語ＩＤ（単語識別子）を関連付けて保存する必要があったため、不特定単語に対する容易な音素列・音素片の提供方法や操作方法が無いという課題があった。【００２１】
また、上述した特許文献３に開示された技術では、辞書に登録されていない単語を認識するための方法は提示されていない。さらに、特許文献４に開示された技術では、語彙に依存しない音声認識を行うことができず、未知の単語に対してその都度韻律モデルを学習する等の手段をとる必要があり、自由度の高い音声認識を実現することができなかった。さらに、特許文献５に開示された技術では、音声認識方法が従来の音声認識方法と差異が無く、音素や音素片を用いた認識が出来ないと言った問題点があった。【００２２】
このような課題を踏まえ、本発明が目的とするところは、コンテンツ情報に含まれる単語や文字列に対して音声認識を行う際に、音声認識辞書に単語モデルや音響モデルや文法モデルや品詞情報が登録されていなくても、音素や音素片からなる表音記号認識を用いた表音記号に基づく認識辞書情報を利用することでより適切な音声認識を実現することが出来る情報処理装置等を提供することを目的とする。
【課題を解決するための手段】
【００２３】
上記の課題を解決するために、第１の発明の情報処理装置は、文字情報及び／又はメタ情報を含むコンテンツ情報を取得するコンテンツ情報取得手段と、前記コンテンツ情報取得手段により取得されたコンテンツ情報から、表音記号からなる認識表音記号列を検出する認識表音記号列検出手段と、前記認識表音記号列を用いて認識辞書情報を生成する認識辞書情報生成手段と、を備えることを特徴とする。【００２４】
第２の発明の情報処理装置は、文字情報及び／又はメタ情報を含むコンテンツ情報を取得するコンテンツ情報取得手段と、前記コンテンツ情報取得手段により取得されたコンテンツ情報から、文字情報及び／又はメタ情報に基づいて展開対象文字列を検出する展開対象文字列検出手段と、文字列と表音記号とを対応づけて記憶する表音記号記憶手段と、前記表音記号記憶手段を参照することにより、前記展開対象文字列を認識表音記号列に変換する表音記号変換手段と、前記認識表音記号列を用いて認識辞書情報を生成する認識辞書情報生成手段と、を備えることを特徴とする。【００２５】
また、第３の発明は、第２の発明の情報処理装置において、前記表音記号変換手段により変換された表音記号を、前記コンテンツ情報に付加することにより当該コンテンツ情報を保存するコンテンツ情報保存手段を更に備えることを特徴とする。【００２６】
また、第４の発明は、第１から第３の発明のいずれかに記載の情報処理装置において、前記コンテンツ情報保存手段により保存されたコンテンツ情報と、当該コンテンツ情報に基づいて生成された認識辞書情報とを他の情報処理端末に送信する送信手段を更に備えることを特徴とする。【００２７】
また、第５の発明は、第１から第４の発明のいずれかに記載の情報処理装置において、音声を入力する音声入力手段と、前記音声入力手段により入力された音声の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出された特徴量から、表音記号に変換する特徴量表音記号変換手段と、前記特徴量表音記号変換手段により変換された表音記号と、前記認識辞書情報に含まれる認識表音記号列を構成する表音記号とを評価し、もっとも類似する表音記号に対応して所定の処理を実行する処理実行手段と、を更に備えることを特徴とする。【００２８】
また、第６の発明は、第５の発明の情報処理装置において、前記コンテンツ情報には、音素情報及び／又は音素片情報が含まれており、前記処理実行手段は、前記特徴量表音記号変換手段により変換された表音記号と、前記認識辞書情報に含まれる認識表音記号列を構成する表音記号とを評価し、もっとも類似する表音記号に対応して利用者に対し、音声発話による情報の提示を行うことを特徴とする。【００２９】
また、第７の発明は、第１から第６の発明のいずれかの情報処理装置において、前記表音記号は、音素又は音素片であることを特徴とする。【００３０】
また、第８の発明は、第１から第６の発明のいずれかの情報処理装置において、前記実行される処理は、音素認識に伴う認証処理であることを特徴とする。【００３１】
また、第９の発明のプログラムは、コンピュータに、マークアップ言語を用いて記述された情報を解釈するマークアップ言語解釈ステップと前記解釈によって指定された属性を獲得する属性獲得ステップと、属性獲得ステップによって獲得された属性に関連付けられた表音記号列及び／又は音素列及び／又は音素片列を抽出する表音記号抽出ステップと、前記表音記号抽出ステップによって、音素認識部で用いる音素列辞書を変更する辞書変更ステップと、を実現させることを特徴とする。【００３２】
また、第１０の発明のプログラムは、コンピュータに、マークアップ言語を用いて記述された情報を解釈するマークアップ言語解釈ステップと前記解釈によって指定された属性を獲得する属性獲得ステップと、属性獲得ステップによって獲得された属性に関連付けられた表音記号列及び／又は音素列及び／又は音素片列を抽出する表音記号抽出ステップと、前記属性獲得ステップによって獲得された属性に基づき利用者が入力する情報の種別を評価する情報種別評価ステップと、前記情報評価ステップによって、音素認識部で用いる音素列辞書を変更する辞書変更ステップと、を実現させることを特徴とする。
【発明の効果】
【００３３】
本発明によれば、音素認識を用いた情報処理装置を利用するために、提供されるコンテンツ情報の認識に必要な音素辞書をコンテンツ情報に関連付けられた若しくはコンテンツ情報に含まれるマークアップ言語から獲得することで表示内容に関する不特定単語に対応することができる。したがって、商品販売のような不特定単語が頻発する可能性の高い処理を単体の装置やサーバ・クライアント環境で行うために、音素列や音素片列や各種識別子の呼称をマークアップ言語のタグ属性として記載し、コンテンツの画像やページ単位の文章や文章構成におけるフレームや動画像の１コマとしてのフレームや動画像の複数フレームにまたがるシーン単位に発話音素辞書を指定が出来るようにすることで課題の解決を図ろうとするものである。【００３４】
また、これらの操作に用いるキーワードを音素展開することで、利用者に送信するＨＴＭＬやＸＭＬ、ＲＳＳ、ＥＰＧ、ＢＭＬ、ＭＰＥＧ７、ＣＳＶといった配布用ファイル形式やマークアップ言語によって変数や属性、特定タグとして音声操作に関する音素列や音素片列を用いた識別子を任意のマークアップ言語やスクリプトと関連付けて組込む方法により容易に音声を利用した索引付けや利用者が音声を用いて情報を獲得、閲覧、操作したりするための音声制御情報を配布共有したり、端末側で音声制御情報の獲得を行うことを可能とし課題の解決を図ろうとするものである。【００３５】
そして、本発明は音素や音素片を用いて不特定単語を認識するという従来の技術を実施するにあたり、インターネット環境で変化する多様なコンテンツに対してコンテンツ情報の一場面中に出現する単語に制約があることを利用し、音素列や音素片列による動的な辞書構成方法を提供することで、韻律モデルや文法モデルを利用しない不特定単語に対応した音声認識処理の実現を図り利便性の向上を実現しようとしている。【００３６】
また、ＭＰＥＧ７であれば映像情報のシーンを表すタグの中でそのシーン名称や、役者名、配役名を音素記号列や音素片記号列を用いて属性や変数、タグによる範囲指定により音声ストリームの認識個所以外をマークアップ言語で記載した情報を用いて、音素検索技術による任意の役者名や配役名での検索を実施することでマークアップ言語情報により場面に応じた音素列が獲得できるため任意の指示や検索を行える装置が実現でき課題の解決が図られる。【００３７】
また、ＨＴＭＬであれば、対象とするリンクやＣＧＩ表記に音素記号列を含む変数、属性を設けたり、特定のタグで囲まれた範囲を音素列に変換し、タグの変数、属性として埋め込んだり、選択したい商品を囲むテーブルタグのテーブル要素ごとに変数、属性を設け各要素タグに名称を音素列記号で変数、属性として与えたり、フォームタグやインプットタグの変数、属性として音素列を与え、与えられた音素列に基づいて、情報を送信したり次のページへ遷移するといった方法により課題の解決が図られる。【００３８】
また、ＲＳＳによる音素列や音素片列の配信を行っても良いし、タグを用いてキーワードにＩＤを関連付け、ＩＤと音素列・音素片列を関連付けた認識辞書情報としてＣＳＶファイルを提供することで認識の対象となるキーワードを特定するといった方法を用いても良いし、顔や指紋などの画像認識辞書と音素や音素片による表音記号列を用いた固有名詞を伴う認識辞書と話者ごとの音素や音素片に基づく音響モデルとを関連付けることで合言葉による個人認証を行っても良い。【００３９】
このようにして、音素や音素片による認識辞書の内容をマークアップ言語の属性や任意のタグや辞書ファイルとして外部から獲得することにより、情報処理装置の操作を可能とし、課題の解決を図ることができる。【００４０】
すなわち、コンテンツ情報に明確に含まれない単語が指定の無い限り認識辞書に含まれないため、誤認識の生じる確率が低減されると共に、音声操作をしたり、音素列や音素片列による装置制御に利用したり、情報に種類によって画像や音声を伴う認証条件を変えられるため汎用性の高い個人認証をしたり、情報処理装置間の情報交換に利用したりするために既存のマークアップ言語を拡張し音素や音素片による表記を追加したり、マークアップ言語やコンテンツに付随もしくは関連付けられた音素や音素片による辞書情報を用いたりすることによって利便性の高いユーザインタフェースを実現することができる。
【図面の簡単な説明】
【００４１】
【図１】本発明を利用した情報処理装置のブロック図。
【図２】認識辞書情報のデータ構造の一例を示した図。
【図３】表音記号付与処理の動作フローを示した図。
【図４】表音記号付与処理の動作を説明するための図。
【図５】表音記号付与処理の動作を説明するための図。
【図６】表音記号付与処理の動作を説明するための図。
【図７】表音記号付与処理の動作を説明するための図。
【図８】認識辞書更新処理の動作フローを示した図。
【図９】認識辞書情報の異なるデータ構造を示した図。
【図１０】認識辞書情報更新処理の動作フローを示した図。
【図１１】認識辞書情報更新処理の動作を説明するための図。
【図１２】認識辞書情報更新処理の動作を説明するための図。
【図１３】認識辞書情報更新処理の動作を説明するための図。
【図１４】認識辞書情報更新処理の動作を説明するための図。
【図１５】サーバ・クライアントモデルに適用した場合における動作フローを示した図。
【図１６】サーバ・クライアントモデルに適用した場合における動作フローを示した図。
【図１７】本実施形態における変形例を説明するための図。
【図１８】本実施形態における変形例を説明するための図。
【符号の説明】
【００４２】
１  情報処理装置
１０  制御部
２０  記憶部
２０２  コンテンツ情報
２０４  表音記号変換テーブル
２０６  認識辞書情報
２０８  表音記号付与プログラム
２１０  認識辞書情報更新プログラム
２１２  音声操作プログラム
３０  通信部
４０  入出力部
５０  操作部
６０  表示部
【発明を実施するための最良の形態】
【００４３】
本発明はコンテンツ情報に利用されるマークアップ言語の表記に対して、変更を加えて保存したり、保存して利用したり、変更を加えた情報をそのまま利用したりする装置や変更を加えた情報を配信する配信装置と受信し認識や認識に伴う操作や応答に利用する受信端末とに用いる情報処理装置を構成することができる。より具体的にはＸＭＬやＨＴＭＬによる例にあるように、すでにあるマークアップ言語で記載された情報を変更しタグを追加したり、変数や属性を追加したりして保存・変更・配信する方法とそれらの情報を受信して情報処理装置を操作する方法である。【００４４】
＜コンテンツ情報の例＞
まず、本発明を用いて実施される検索や索引付けの対象となるコンテンツとコンテンツ情報について説明すると、もっぱらコンテンツとは、映画、ドラマ、写真、報道、アニメ、イラスト、絵画、音楽、プロモーションビデオ、小説、雑誌、ゲーム、論文、教科書、辞書、書籍、コミック、カタログ、ポスター、放送番組情報などを示していることが一般的によく知られているが、本発明では公共情報、地図情報、商品情報、販売情報、広告情報や予約状況、視聴状況、道路状況といった情報やアンケート、監視カメラ映像、衛星写真、ブログ、模型、人形、ロボットであっても良いし、それらの装置に具備されたカメラ・マイク・センサ入力などで得られる情報やそれらの情報や状態や状況の呼称やそれらの抽象概念や上位概念や下位概念に関する呼称を音素や音素片による記号列に展開した情報を含んでも良い。【００４５】
また、映像の時系列的変化、音声の時系列変化、読み手の音読位置の時系列的変化を期待する文章、ＨＴＭＬにおけるマークアップ言語表記による電子情報、それらにより生成された検索指標情報などであっても良く、音読位置を時間軸として解釈して句点や文や章や文章をフレームとして捕らえても良い。【００４６】
また、コンテンツに付属するメタ情報、文字情報による文書や番組情報としてのＥＰＧやＢＭＬ、譜面情報としての音階、一般的な静止画や動画像、３次元情報としてのポリゴンデータやベクトルデータやテクスチャデータやモーションデータ（動作データ）、可視化数値データによる静止画像や動画像、宣伝や広告を目的としたコンテンツ情報等を含んでいても良く、視覚情報や聴覚情報や文字情報やセンサ情報を含む自然情報により構成されている。【００４７】
そして、従来から用いられるＭＰＥＧ７などの音素(phone)ラティスを記述する <Spoken Content DS>タグを用いてコンテンツの音声内容を認識して音素列を付与するという方法が提案されているが、この方法はコンテンツ内で生じている音声情報の認識に基づいた記号列により索引付されているため、利用者がコンテンツのタイトルや出演者を音声操作によって検索できるようにするために音素表記や音素片表記といった発音記号や表音記号を用いた表記による情報の提供を行っているわけではない。【００４８】
このため、コンテンツタイトルや出演者などの名称や表現に関わる不特定単語や固有名詞を必ずしも音声認識に利用できないため、本発明のようなシーンの説明文やタイトルや出演者名称といったコンテンツ情報にかかわる文字情報を音素展開することで併記し、タグの変数や属性としてＭＰＥＧ情報内に音素記号列や音素片記号列や音節記号列をはじめ任意の発音記号や表音記号に基づく識別子を埋め込むことで音声認識への音素認識技術の利用を図ることができる。【００４９】
つまり、マークアップ言語の音声処理の対象となるタグで囲まれた部分が任意の文字列であれば、その文字列を音素記号列や音素片記号列に展開し音素記号や音素片記号を用いて認識に利用できるようにすると共に、利用者の発話から認識された音素記号列や音素片記号列との一致を評価したり、発話した音素を任意の表音文字に変換したりして表音文字同士の一致を図っても良いし、利用者の発話認識結果にもとづいた音素記号列との一致を評価して、利用者の操作対象や検索対象であるとしてもよい。また、表意記号で記載されているアットマークや鍵括弧といった文字や記号であれば適切な表音記号列による音素記号や音素片記号に変換してもよいし、複数の発話が推測できる文字列であれば、従来の音声認識のように複数の音素列や音素片列や音節記号列を与えていても良い。【００５０】
そして、認識された音素列や音素片列をクエリとしてデータベースに与えＤＰやHMM等の記号列マッチング方法により検索し、検索結果に音素列や音素片列を加えて利用者から閲覧できるように一覧として検索結果を提示し、検索結果に含まれる音素列に基づいて商品を選択し、獲得した制御方法から課金や購入手続きを行うための音素列や音素片列を認識に伴い認識辞書から検出することで販売に伴う一連の処理を実施したり、パスワードを利用者発話音声特徴などにより構成された音素認識辞書や画像特徴により構成された指紋や虹彩や顔や掌紋などの認識辞書と組合せることで認証を行い課金したりすることで、物品や権利といった商品やコンテンツ情報の検索・閲覧・販売・認証・課金手続きを実現することが出来る。【００５１】
このように、コンテンツの再生個所やページや表示個所といった情報内の位置に応じて認識結果として獲得されるべき任意の単語を評価するために必要な表音記号に基づく識別子や識別子列の認識辞書を切替えることで多彩な利用環境における不特定単語に対する汎用性の高い辞書構成を可能とし、動的に構成される音素や音素片を用いた表音記号による認識辞書に基づいて認識された単語を提示したり、任意の処理を実施したり、広告のＵＲＬを獲得したり、広告を提示したり、装置を操作したりすることで、利用者にコンテンツや広告の配信において利便性の高い情報の提示の実現やＷｅｂなどのインターネット環境においてＣＧＩ処理のポストやゲットに用いる変数に音素列や音素片列を利用することにより検索条件の指定をして送信したり、Ｗｅｂページ切替えや操作を行ったりすることができる。【００５２】
なお、日本語を音素に展開する手順はよく知られており、表意文字で得る漢字かな混じり表記を表音文字に変換する「分ち書き」プログラムを用いて「カナ表記」にした後に「カナ表記」にともなう「ローマ字」などの発音記号を用いて音素記号変換や音素片記号変換を実施し認識に用いる記号列を構成する方法があり、同様の手順で音節記号による記載を行う方法もある。【００５３】
そして、英語であれば英語音素記号や発音記号を用いて音素記号列に変換したり、国際音素記号を用いて音素記号列に変換したりすることが可能であり、任意の言語やその言語に適した音素記号や音素片記号を用いても良く、各種言語において発音辞典もあることから、言語に応じた発音記号に基づいて表音記号による識別子としての音素や表音記号を時系列的に分解した識別子としての音素片、そして、それらの表音記号を数字と対応付けて適当な文字コードにして表記したりすることにより任意の表音記号に基づくマークアップ言語を用いた情報の配信が可能となる。【００５４】
この際、必要であれば音素記号列を音素片記号列に変換することで、検索における利便性の向上を図っても良いし、環境音識別子や音階識別子、画像識別子、動作識別子をそれぞれの環境音ラティスや音階ラティスとしたり、ＭＰＥＧストリーム中に画像識別子や動作識別子のセクションを設けたり、それらの識別子の呼称に関する発音に基づいて音素列や音素片列を与えても良い。【００５５】
次に、より具体的な手順について図を用いて説明する。
〔装置構成〕
まず、本発明を適用した場合の情報処理装置１の装置構成について図１を用いて説明する。ここで、情報処理装置１は、通常汎用的なコンピュータや、専用端末、携帯移動端末等の各情報処理機器で実現される装置である。【００５６】
図１に示すように、情報処理装置１は、制御部１０と、記憶部２０と、通信部３０と、入出力部４０と、操作部５０と、表示部６０とを備えて構成されている。ここで、各機能部は、バスを介してそれぞれ制御部１０に接続されている。なお、操作部５０や表示部６０は任意に取外し可能な装置であってもよい。【００５７】
まず、通信部３０は、他の装置とＬＡＮ（Local Area Network）や、インターネット等の通信網を介して情報交換を行うための機能部である。ここで、通信部３０は、一般的にイーサネット（登録商標）や、モデム、無線ＬＡＮ、ケーブルテレビ装置といったコンテンツ情報を送信及び／又は受信できる装置により構成されている。【００５８】
つぎに、入出力部４０は、他の装置や外部から情報を入出力するための機能部であり、例えばマイクやスキャナ、キャプチャボード、カメラ、センサ類等の入力装置や、スピーカやプリンタ、造形装置、表示装置等の出力装置から構成されている。【００５９】
記憶部２０は、情報処理装置１内における情報を取得して記憶したり、制御部１０により実行されるプログラムが記憶されたりする機能部である。記憶部２０は、半導体記憶素子としてのＲＯＭやＲＡＭ、磁気記憶媒体としてのハードディスクや磁気テープ、光記憶媒体としてのＣＤ（Compact Disk)やＤＶＤ（Digital Versatile Disk）等から構成されている。【００６０】
具体的には、記憶部２０には、コンテンツ情報２０２と、表音記号変換テーブル２０４と、認識辞書情報２０６とを記憶しており、表音記号付加プログラム２０８と、認識辞書情報更新プログラム２１０と、音声操作プログラム２１２とを格納している。【００６１】
コンテンツ情報２０２には、外部から通信部３０を介して取得されたコンテンツや、入出力部４０を介して入力されたコンテンツが保存されている。また、表音記号変換テーブル２０４は、コンテンツ情報の中から表音記号に変換される際に参照されるテーブルであり、例えば文字列と音素等の表音記号とが対応づけられて記憶されているテーブルである。【００６２】
認識辞書情報２０６は、単語と音素列や音素片列等（以下、これら音素列等を表音記号として示す）との関係を記憶している情報である。例えば、図９に示すように、項目「Title」と、対象単語として「お得キャンペーン」と、音素列（表音記号）として対象単語から展開された「o/t/o/k/u/ky/a…」とが対応づけて記憶されている。認識辞書情報２０６は、項目等の他にも例えば「商品名」、「商品の愛称」及び「商品の愛称に基づく音素列」といった固有名詞を登録しても良く、一般的な言語辞書に登録されないような感嘆語や罵倒誤を含む単語を音素列や音素片列によって動的に入替えることで多様な認識を実現する認識辞書を構成している。【００６３】
操作部５０は、ユーザからの操作入力を受信する機能部であり、キーボードやマウスやカメラやリモコン（ワイヤレス含む）といった操作に伴う情報を入力する入力装置等で構成されている。また、表示部６０は、情報処理装置１が出力する情報を利用者ユーザに視認させるために出力する機能部であり、ディスプレイやプロジェクタ等を含む操作に関わる表示をおこなう表示装置を用いて構成されている。【００６４】
制御部１０は、記憶部２０に記憶されている各種プログラムを呼び出すことにより、プログラムに対応する機能を実現するための処理を実行したり、情報処理装置１の各機能部を制御したりすることを行っている。【００６５】
制御部１０は、記憶部２０から表音記号付加プログラム２０８を読み出して実行することにより、後述する表音記号付加処理を実現する。また、記憶部２０から認識辞書情報更新プログラム２１０を読み出して実行することにより、後述する認識辞書情報更新処理を実現する。また、音声操作プログラム２１２を読み出して実行することにより、音声操作処理を実現する。【００６６】
また、制御部１０は、プログラムを実行することにより、音素・音素片認識処理やタグ情報の獲得やタグ識別子の獲得や音素列・音素片列の獲得や利用者発話音声の音素・音素片認識による音素列・音素片列と辞書登録情報に関連付けられた音素列・音素片列の類似度評価により単語の選択を行うことができるとともに、入出力部からマイクを利用して音声波形を獲得し、音声認識に用いたり、スピーカを利用して本発明により獲得した音素列や音素片列を用いて音声合成により利用者に情報を提供したりしても良い。【００６７】
なお、制御部１０は、通常ＣＰＵ（Central Processor Unit）やＤＳＰ、ＡＳＩＣ等を用いて構成されており、また、これらを任意に組合せて実現することも可能である。【００６８】
＜動作＞
続いて、情報処理装置１が実行する各動作処理について説明する。【００６９】
＜表音記号付加処理＞
まず、表音記号付加処理について図３を用いて説明する。図３は、表音記号付加処理を説明するための動作フローであり、制御部１０が、記憶部２０の表音記号付加プログラム２０８を読み出して実行することにより実現される処理である。【００７０】
まず、制御部１０は、通信部３０により受信されるか、入出力部４０により入力されることにより保存されているコンテンツ情報２０２を取得する（ステップＳ３０１）。【００７１】
次に、読み込まれたコンテンツ情報２０２から展開対象文字列を検出する（ステップＳ３０２）。ここで、展開対象文字列とは、表示制御方法の変化を識別するための文字列（情報）であり、例えばマークアップ言語の場合を一例に取ると、リンクを示すタグ<A>や、タイトルを示すタグ<TITLE>といったものである。このタグに挟まれた範囲を対象として音素や音素片等の表音記号に展開される展開対象文字列が検出される。【００７２】
次に、展開対象文字列を発話に伴う発音記号からなる音素列や音素片列（表音記号）に展開する（ステップＳ３０３）。これにより、例えばタイトルやリンク先の呼称が表音記号に変換される。この展開文字列を表音記号に変換する際には、タグに含まれる情報であるALT属性やID属性といった他の属性を参照することで文字列を獲得し、音素列や音素片列へ変換することで辞書登録するための表音記号列を用いて認識辞書情報を構成したり、画像ファイル名や音楽ファイル名や映像ファイル名や文書ファイル名から音素や音素片列を構成したり、画像ファイルや音楽ファイルや映像ファイルや文書ファイル内に記載されたタグの属性やタグに挟まれた文字列を利用して音素や音素片列を構成したり、タグに挟まれた文字列から音素列や音素片列を構成したり、タグに属性として関連付けられたリンク情報を用いてリンク先にあるファイルの名称やファイルに含まれている文字情報に基づいてタグやタグの属性やタグに挟まれた文字列を利用して音素列や音素片列を構成したり、といった任意の方法を用いることで辞書に登録する表音記号列を構成する方法が考えられる。【００７３】
具体的には、表音記号変換テーブル２０４を用いて表音記号に変換される。例えば、タイトルタグに囲まれた文字列「メイン」に対して、表音記号変換テーブル２０４を参照し表音記号として「m/e/i/n/」と変換される。【００７４】
また、このような表音記号への展開を行わなくても既にコンテンツ情報自体のタグとして表音記号展開された属性を与えている場合もあり、認識に用いるための表音記号列による認識表音記号列が構成されていてもよく、例えばコンテンツ情報を獲得するステップS401を実施した後に図４から図７に示されるようなマークアップ言語情報から付随するメタ情報から「pronounce属性」を検出するステップＳ４０２を実施し、検出された「pronounce属性」の変数として記述されている音素や音素片からなる表音記号列を抽出し、抽出された表音記号列と「pronounce属性」が検出されたメタ情報とを関連付けて辞書情報として登録するステップＳ４０３を実施することにより、音声操作プログラムを用いたり、情報処理装置が認識可能な発話音を表記する表音記号列に関連付けられたメタ情報としてのタグやＣＧＩなどを用いる処理内容や遷移先ページを特定したり、することで任意の処理や手順や操作を指定して、動的な表音記号列を用いた認識を実現する。【００７５】
この結果、表音記号保存処理が実行され表音記号認識に用いる認識表音記号列が保存される（ステップＳ３０４）。表音記号保存処理とは、ステップＳ３０３において変換された認識に用いる表音記号を保存する処理であり、例えば、それぞれのタグに既に属性として記録されている表音記号を抽出したり、タグに挟まれた文字列から展開して新しく属性として表音記号（音素列や音素片列）を追加する処理（ステップＳ３０４ａ）や、それぞれのタグに音声の認識対象であることを示すタグや属性をコンテンツ情報に追加したりする処理（ステップＳ３０４ｂ）や、認識させたい固有名詞を分離し表音記号に変換し認識表音記号列を構成することで認識辞書情報２０６を構成して更新する処理（ステップＳ３０４ｃ）が実行される。これにより、コンテンツ情報と認識に利用したい単語の音素列や音素片列からなる表音記号列としての認識表音記号列とを明確にする処理が実施されることとなる。【００７６】
そして、制御部１０は、変更されたコンテンツ情報２０２を更新保存したり、関連付けられた認識表音記号列からなる音素や音素片を用いた表音記号認識のための認識辞書情報を更新保存したりする（ステップＳ３０５）。これにより、利用者の発話の認識や通信部経由での配信に変更されたコンテンツ情報を利用できるようにする。【００７７】
なお、上述した処理は、情報処理装置１が実行することとして説明したが、コンテンツ情報を配信する配信装置（サーバ）側が実行することで受信側の音素列への変換にともなう情報の処理負担を減らすようにしても良い。配信装置側が実行することにより、利用者からのコンテンツ情報の呼び出しに応じて配信装置は音声による制御情報の付随したコンテンツ情報を配信する。したがって、情報処理装置１（端末装置）はコンテンツのページやフレーム応じて分類された音素情報が情報処理装置で獲得可能となり制約の少ない任意単語を音声利用することができるようになる。【００７８】
ここで、表音記号付加処理を実行した場合の動作例について、図を用いて説明する。まず図４は、情報処理装置１が取得したコンテンツ情報２０２の様子を示した図である。ステップＳ３０１が実行されることにより、通信部３０又は入出力部４０からコンテンツ情報２０２を取得し、記憶部２０に保存する。【００７９】
そして、表音記号（音素列・音素片列）による評価対象として目的となるタグに関連する情報を検出する（ステップＳ３０２）。なお、図４の情報はステップＳ３０２で抽出処理を実行する場合に、ＲＳＳのアイテムセクションを用いたコンテンツ情報例であり、アイテムセクションから対象文字列を抽出して変換処理を施したものが図５又は図６として記載されている。【００８０】
そして、取得したコンテンツ情報に含まれるタグの中から、展開対象文字列の対象となるタグが検出されたら、そのタグで指定されている範囲の文字列を検出する。例えば図４ではタイトルを意味するタグ「<title>」から「</title>」までの間に挟まれた「お得キャンペーン」を表音記号列への展開対象文字列として検出する。この際、不要な括弧記号を削除してもよく、この文字列の抽出によって配信側の指定した任意のタイトル文字列を取得できる。【００８１】
そして、取得できた文字列を確認し、表音記号変換テーブル２０４を用いて文字列の発音に従った表音記号列に変換する。そして、図５に示すように、もともとのコンテンツ情報２０２に記載されたタグに属性や変数として例えば新規にpronounce属性を追加して表音記号列を追記する処理や（ステップＳ３０４ａ）、図６に示すように、<pronounce>〜</pronounce>タグを新たに設定する処理や、表音記号と認識する単語や命令を関連付けて認識辞書情報２０６として保存すると共に、認識辞書情報２０６をコンテンツ情報２０２に認識辞書情報２０６の獲得先としてＵＲＬを<META>タグなどにより記載し関連付ける処理（ステップＳ３０４ｃ）等が実行されコンテンツ情報に表音記号認識に用いる表音記号列情報を追記したり関連付けたりすることが可能となる。【００８２】
そして、前述の変更を行ったコンテンツ情報２０２を他の端末に直接配信したり、装置内で利用したりすることで表音記号（音素や音素片や発音記号や発音記号片）に基づいた操作を行えることとなる。【００８３】
また、例えばＭＰＥＧ７では図７のように、「<Pronounse DS>」タグを追加して、コンテンツ種別の音素列を記載したり、背後にある環境音として「Rainsound」が生じていると併記したり、フレーズタグに置ける出演者に関する表記に対して属性として配役名の音素記号列「pronounce=”t/o/m/u”」を加えている。また、ＨＴＭＬではボタンやリンクに関連付けた構成の実施例を提示しており、任意のタグで挟まれた範囲をキーワードとして検索し、コンテンツの閲覧検索に役立てたり、操作のための発音を音素記号列として提供したりしてもよいし、獲得された音素や音素片といった表音記号列を情報処理装置１における音声合成発話のための発話音素や発話音素片の単語辞書に用いてもよい。【００８４】
このように、表音記号付加処理によれば、取得されたコンテンツ情報に基づいて音声操作を行うための表音記号を付加することで表音記号認識に用いる表音記号辞書に組込むための表音記号列情報を含むコンテンツ情報を構成することができる。【００８５】
＜認識辞書情報更新処理＞
次に、コンテンツ情報２０２に、すでに表音記号が付加されている場合における認識辞書情報更新処理について図８を用いて説明する。図８は、認識辞書情報更新処理に係る動作フローを示した図であり、制御部１１０が、記憶部１２０の認識辞書情報更新プログラム２１０を実行することにより実現される処理である。【００８６】
まず、制御部１０は、コンテンツ情報２０２を取得する（ステップＳ４０１）。次に、制御部１０は、読み出されたコンテンツ情報２０２から表音記号列を抽出する（ステップＳ４０２）。本実施形態においては、コンテンツ情報２０２に含まれるタグ（「＜」と「＞」に挟まれた部分）を抽出することにより、表音記号列が含まれているタグを特定し抽出することとなる。【００８７】
例えば、制御部１０がタイトルタグ「<TITLE>」の「pronounce属性」を抽出することにより、その引数である表音記号として、音素記号列「o/t/o/k/u…」を抽出する。そして、抽出された音素列をページタイトルとして保存するとともに認識辞書情報２０６に登録する（ステップＳ４０３）。【００８８】
なお、これらの辞書をページの切替えに応じて変化する表示内容にしたがって切替えることで表示内容に無い単語による誤認識を避けることが可能となり音声認識率の改善を図り操作性を向上させても良いし、コンテンツ情報に任意のタグや文字列を用いて関連付けられた辞書情報のＵＲＬなどから必要な音素列を獲得し認識単語や制御方法への関連付けを行う辞書情報を更新しても良い。【００８９】
また、配信されるコンテンツ情報に音素列や音素片列が記載されていなかったり、関連する音素辞書が関連付けられていなかったりした場合、前述の音素列・音素片列を埋め込む手順に従って音素や音素片の記号列をコンテンツ中から構成し、辞書情報を構築しても良く、構成された辞書情報は同一の単語が用いられているか否かを検出することで利用可能であれば再利用しても良い。【００９０】
また、制御用認識辞書を構成する場合に音素記号列が変化しない制御命令であれば図９の様に制御命令に関連したＩＤと命令単語と音素列を関連付けた辞書を用いて制御用の命令単語を特定するＩＤを命令弁別用ＩＤとして記載したコンテンツ情報の配信や記憶媒体への記録を実施したのち、通信部から受信したコンテンツ情報や記憶媒体から獲得したコンテンツ情報に関連付けられた情報において音素情報や音素片情報を記載する個所に記載された命令弁別用ＩＤから命令用単語を特定し、特定された命令単語から音素や音素片への変換機能を行うことで音素列や音素片列を構成し認識に用いたり、前記制御命令に関連付けられた音素列や音素片列に基づくハッシュ値を命令弁別用ＩＤに用いたりすることで、冗長になりやすい送信時の音素列表現を短縮し通信効率の改善を図っても良い。【００９１】
また、記憶媒体や通信手段を経由して獲得され記憶部に保存されたコンテンツ情報２０２に関し、表音記号への変換や追加がなされて無い場合は前述の方法で内容の解釈を行い当該情報処理装置１に応じた識別子列による表音記号へ変換し、既にコンテンツ情報２０２の内容に対して表音記号の記載や変換や更新が既になされている場合はコンテンツ情報２０２の内容に対する変換や更新をしなくてもよい。【００９２】
また、これらの変換はコンテンツ情報配給者や利用者の状況によりサーバ側で変換して配信しても、クライアントで受信したものを適宜変換しても、装置単体で外部の記憶媒体から獲得した情報を自装置で利用可能なように変換しても、ゲートウエイやルータなどの中継手段を用いて変換しても良い。【００９３】
＜音声操作処理＞
次に、音声操作処理について、図１０を用いて説明する。まず、制御部１０は、通信部３０又は入出力部４０に取得されたコンテンツ情報や、記憶部２０に保存されているコンテンツ情報２０２を取得する（ステップＳ５０１）。【００９４】
次に、取得されたコンテンツ情報から、音素や音素片などにより構成された表音記号を抽出する（ステップＳ５０２）。そして、抽出された表音記号に基づいて認識辞書情報２０６を更新登録する（ステップＳ５０３）。【００９５】
次に、利用者からの発話に基づく音声入力が入出力部４０からあるまで待機する（ステップＳ５０４；Ｎｏ）。ここで、利用者から音声入力がなされると（ステップＳ５０４；Ｙｅｓ）、制御部１０は入力された利用者の音声の特徴量を抽出する（ステップＳ５０５）。そして、抽出された特徴量から音素や音素片といった表音記号を認識し、表音記号に変換する（ステップＳ５０６）。【００９６】
そして、ステップＳ５０６において変換された表音記号と、先に認識辞書に登録された表音記号とがどの程度一致しているかを判定する一致評価を実行する（ステップＳ５０７）。この一致評価は本装置の記憶部に記憶されている音響や音声の標準モデルや標準パラメータや標準テンプレートとの一致度を評価関数によって評価し評価結果としての表音記号を特定する。そして、一致評価に基づいて特定された表音記号を時系列的に複数得ることで表音記号列を特定する。そして、特定された表音記号列に一番類似度の高い表音記号列を表音記号の認識結果とし、認識結果に関連付けられた情報に伴い、装置操作や検索処理を実行する（ステップＳ５０８）。【００９７】
ここで、認識結果に伴う処理とは、例えば本発明を用いた表音記号列の認識によって実現される固有名詞を伴う文字列の生成や各動作命令や情報もしくは商品に関する検索の実行や表音記号列の認識に伴い特定された一連の利用者への情報提示や利用者の指示ずる操作等である。具体的には、ウェブブラウザのページ切替えやテレビやビデオの操作、ロボットやナビゲーション装置やコンピュータや映像音響機器もしくは調理器もしくは洗濯機もしくはエアコンといった家電の音声や文字や画像や映像による応答、検索条件の指示、情報処理装置が提示する情報の保存や変更や登録や削除、認識結果に伴う広告や番組内容の指定や閲覧、キーワードや発話特徴による個人認証といった一連の処理や操作である。また、顔や指紋などの画像認識辞書と音素や音素片による表音記号列を用いた固有名詞を伴う認識辞書と話者ごとの音素や音素片に基づく音響モデルとを関連付けることで合言葉による個人認証を行っても良く、認証に伴い課金やサービスの選別を行うことが出来る。【００９８】
具体的には、利用者からの質問に答えるための音声合成に先ほどの認識辞書で登録されている音素列や音素片列による単語を発話させることで、認識可能な単語を明示したり、認識結果に応じて任意の操作を実施したり、認識結果に応じて認識された文字列や単語列を提示したり、音素列や音素片列に関連付けられた広告を行ったりすることが、従来の音声認識技術との組合せにより出来るようになる。【００９９】
そして、次の音声入力を実施するか否かを判断する（ステップＳ５０９）。ここで、再度音声入力がされる場合は（ステップＳ５０９；Ｙｅｓ）、音声が入力されることを待機する処理としてステップＳ５０４に処理が戻る。また、音声の入力がされない場合（ステップＳ５０９；Ｎｏ）、次のコンテンツ情報を獲得するか否かを判断する（ステップＳ５１０）。ここで、次のコンテンツ情報を獲得する場合は（ステップＳ５１０；Ｙｅｓ）、新たにコンテンツを獲得するためにステップＳ５０１から処理を繰り返し実行する。また、新たにコンテンツ情報を獲得しない場合には（ステップＳ５１０；Ｎｏ）、処理を終了し利用者の発話を待つといった一連の処理を行う。【０１００】
すなわち、本発明を利用する装置は獲得されたマークアップ言語による情報から音素や音素片といった表音記号による識別子や識別子を特定するための特徴量を用いて利用者が音声操作を行える箇所をマークアップ言語情報から獲得するとともに、必要であれば指紋や表情や掌紋などの画像や動作に関連する任意の識別子を獲得し組合せることで個人認証などに利用したり、認識によるエージェントやロボットの対応動作に利用したりすることもできる。【０１０１】
そして、利用者の発話や入力により得られた識別子や特徴量によって従来マウス操作で行われる選択処理を実施し、テーブルタグの任意の行や列、リンクや操作ボタンにフォーカスを与えたり、カーソルをオーバラップさせたり、これらの操作に伴うイベントをオペレーティングシステムからブラウザへ発行したり、赤外線やＬＡＮや電話回線等といった通信手段を用いて他の装置を制御したり、認識された単語に応じてエージェントやロボット対応動作を変化させたりすることで、音素や音素片と言った表音記号列の認識に伴う一連の処理を実施することができる。【０１０２】
そして、ステップＳ５０１により獲得されたコンテンツ情報は、タグ内の「pronounce」属性情報を検出（ステップＳ５０２）し、認識辞書情報２０６に登録（ステップＳ５０３）する。このとき、認識用の表音記号列がどのようなタグと関連付けられているかを同時に登録することで、画面構成情報の表示位置や表示項目を前後のタグとの組合せによってブラウザにおける各タグを処理する際の表示位置を特定したり、ＭＰＥＧ７などにおけるコンテンツ情報中のシーンやタイトルや時系列位置を示すタグとの関連付けによってシーン位置を特定したり、地図情報を表記するＸＭＬなどによって緯度経度による空間位置情報や地名や地域の情報や店舗の情報と関連付けたりすることで物理的な位置を特定したりできるようになる。【０１０３】
続けて、図１１から図１４を用いて音声操作処理の動作例について説明する。利用者が「一行目、起案者」と発音した場合テーブルタグのカラム選択において最上位の行に記載されたテーブルタグのpronounce属性を用いてi/ch/i/gy/o/u/m/eとk/i/a/n/sh/aといった音素列と利用者の発話音素との一致を認識辞書から確定する。この結果、発話の音素列にあった「起案者」列を選択し、行を指定するタグにある「一行目」を選択することで「一行目」の「起案者」が選択される（ステップＳ５０６）。【０１０４】
また、図１１にあるＨＴＭＬのそれぞれの送信ボタンに属性として設けられた音素列が検出された場合はフォームタグの指定に従っての送信を行ったり、利用者発話の音素列を認識し「ts/u/g/i/e」との一致度が高ければリンク先へ移動したりすることでウエッブブラウジング処理を行うことが出来る。そして、ページ間の移動の際に「移動しますか？」といった質問を利用者に音声や文字列や画像や映像によって提供する（ステップＳ５０６）といった利用者への応対を伴うエージェントやロボットなどの対話処理を行っても良いし、顔や指紋などの画像認識辞書と音素や音素片による表音記号列を用いた固有名詞を伴う認識辞書と話者ごとの音素や音素片に基づく音響モデルとを関連付けることで合言葉による個人認証を行っても良い。【０１０５】
次に、利用者から見た場合のブラウザ画像を提示して説明すると図１１をＨＴＭＬブラウザで表示した場合、図１２のようになる、ここで「イチギョウメ」という発話をすると属性の「i/ch/i/g/y/o/u/m/e」というpronounce属性の音素列にしたがって、図１３のように一行目にフォーカスＢ３００が設定され、「ショウサイ」という発音にしたがってpronounce属性の音素列が「sh/o/u/s/a/i」と記載されているボタンＢ３０２に対し図１４のように選択された後にクリック処理が実施されフォームが送信される（ステップＳ５０６）。【０１０６】
この際、詳細ボタンがたくさん表示されると、どのボタンかわからなくなるので「装置側から何行目ですか？」とアナウンスしたり「起案番号は幾つですか？」と利用者に提示した内容から容易に類推できる対象の音素列や音素片列を取得できるように質問したりすることで音声や表示によるインタラクティブな処理を実施しても良いし、それらの発話内容を単語や発話記号列やボイスＸＭＬで提供してもよい。【０１０７】
このようなイベントを受け取ったブラウザはそれらのイベントに従って事前に設定されている処理を実施し、例えばＨＴＭＬにおける<a>タグであれば、指定のリンク先へアクセスし任意のウエッブページや画像や映像や音楽や商品情報を獲得したり、「<INPUT TYPE="button">」や「<INPUT TYPE="submit">」、「<INPUT TYPE="image">」、「<BUTTON TYPE="〜">」といった操作入力タグであれば該当のボタンや画像が押下された状態へＨＴＭＬ処理を遷移させたり、「<FRAME>」タグであれば、フレームの名称に従ってフレームの選択を行ったり、「<SELECT>」タグであれば、利用者の発話した音素、音素片による発音記号列のあるセレクトタグにフォーカスを移し、オプションタグの中から選択候補を構成し、任意の項目を選択したり、「<HR>」や「<A NAME="">」タグであれば、そのタグに変数や属性として関連付けられた音素や音素片による発音記号列を用いて関連するタグのある目的の行までスクロールしたり、「<TITLE>」タグであればタグで挟まれた範囲を発音記号列に展開するとともに自身のＵＲＬと関連付けてブックマークに記憶するといった処理が実施できる（ステップＳ５０６）。【０１０８】
もちろん、これらの表音記号による認識はスクリプトなどと連携してこれらの処理を実施してもよいし、「<EMBED SRC="">」や「<OBJECT>」、「<APPLET CODE="">」などのタグによって任意の拡張機能を追加し、それらのプログラムへの変数や属性として与えたり、それらを外部から操作するための命令や表音記号である音素や音素片や発音記号による識別子列や特徴量に用いたり、スクリプトと連携して利用するための情報に用いたり、スクリプトの制御条件に用いたりしても良い。【０１０９】
また、例えばＸＭＬやＲＤＦを用いたＲＳＳやＭＰＥＧ７であれば、図４のようなアイテムセクションを選択対象とするために図５のような変数や属性の追加や図６のようなタグの追加による変更を加える方法をとっても良く、ＲＤＦの「Dublin Core」に基づく要素タイプに「pronounce」要素を追加して、音素や音素片によるシーン名や役者、配役名の呼称表記を行ったり、「img-type」や「img-position」要素を追加して画像の表示位置や特徴量を記載したり、「motion」要素を追加して画面内の動作を表記したり、「env- sound」要素を追加して環境音識別子や特徴量を記載したりしても良い。【０１１０】
また、図１１では表音文字であるカナ発音のための音節表記用のタグや音素用のタグを示しているが、これらのタグは音素片、入力映像による画像識別子などであってもよく、例えば、利用者の音声や表情から怒っていることが認識された場合や画像内から特定の識別子が検出された場合に処理されるスクリプトや内容の提示、リンク先への移動といった処理を実施してもよい。【０１１１】
そして、これらのタグや属性、要素は一般的に解釈する装置において文字列の一致により評価され、それらの文字列にあわせて情報処理装置内に収録された処理を実施する関数やプロセスやプログラムやサービスにそのタグや属性に基づく情報を提供する。【０１１２】
なお、音素や音素片の認識関数に対しては音素列や音素片列を提供して認識対象辞書に登録したり、他の識別子や特徴量であれば、検出結果としての評価係数を変更したり、周辺機器への指示情報の出力を行ったり、異音同義語を辞書構成により用意したり、異音同義語を辞書登録するために表音記号列を記載する属性に複数の表音記号列を境界記号で弁別できるようにして記載したり、認識によって得られた結果を補正する処理を実施したりしてもよい。【０１１３】
また、単純に表示する文字列を発音タグで挟んで発音対象として指定して漢字かな混じり文や英文、中文といった他言語の文字列を発音のための表音記号を用いて音素や音素片による記号列に変換して認識や命令制御、検出、検索に利用してもよいし、表音記号をアルファベットにより表記するばかりではなく、アスキーコードやエビセディックコードのような数値に置き換えてマークアップ言語内に記載しても良い。【０１１４】
また、このような方法で単語に関連付けられた特徴量や識別子に関連する映像や台詞、画面特徴や表示物体を制御することでＣＧなどにより映画や番組の生成や製作を行うツールに利用しても良いし、コンテンツ閲覧中の発話状況を認識したり、利用者の音声操作による投票や閲覧回数などによる内容評価を用いたりすることで映画や番組とそれらのシーンなどから得られた特徴量や識別子との相関性に基づいて映画や番組を評価しても良い。【０１１５】
＜サーバ・クライアントモデル＞
なお、上述した仕組みは、マークアップ言語を用いた検索手順をサーバ・クライアントモデルにより実装しても良い。具体的に図１５にサーバ・クライアントモデルにおける処理における状態遷移を示す。【０１１６】
まず、クライアントとなる端末装置はクエリを生成する。クエリの生成方法は、一般的な文字列入力による方法であったり、音声入力による方法であったり、画像を示してその特徴量をクエリとする方法であってもよい。【０１１７】
そして、生成されたクエリに基づいてサーバとなる配信装置は適切なものを検索し、検索結果にしたがって配信基地局は端末装置に本発明を用いた検索結果一覧の情報を配信する。そして、端末装置は取得した情報のマークアップ言語を解釈し特定のタグに挟まれている範囲の文字列を音素や音素片などの前述の識別子に変換し、利用者が発話する音声入力情報にしたがって音素や音素片を獲得して音素列や音素片列といった表音記号列を構成し音素列や音素片列に基づくマッチング処理を実施する。【０１１８】
そして、一致度の高い操作やキーワード、識別子列にしたがってそれぞれの処理を行ったのちに、指定された識別子列によるクエリを構成するとともに、それらのクエリを配信基地局に送信し検索を実施することで、マークアップ言語を用いた音声制御を伴う検索を実施する。この際、構成されたクエリは装置単体での検索に利用しても良い。【０１１９】
なお、図１６では端末側でのマークアップ言語解釈により音声処理のための音素や音素片などの識別子記号列の挿入や設定を実施しているが、配信側サーバで識別子記号列を挿入したり、事前に手入力により挿入したり、配信基地局側装置やそれらと連携する装置上で識別子を構成し挿入したり、単体の情報処理装置を用いたりすることで本発明を用いた操作や処理を実現するための変数や属性の追加やタグの追加、マークアップ言語情報の内容の変更を行ったり、識別子や特徴量に関連した辞書の変更や追加、削除を行っても良い。【０１２０】
また、本発明により生成された新しい識別子の組合せに関し、任意の名称に基づく単語を与えて検索を実施たり、任意の名称に音素や音素片による記号列を与えて音声制御に対応したり、操作のためのキーワードとして音素や音素片による記号列を与え操作できるようにしたりしても良いし、このような発音記号列を広告に関連付けたり、アドバタイズ属性を追加して関連する広告のＵＲＬを発話記号属性と同一タグ内に表記することで広告と発話記号列とを関連付けたりしても良い。【０１２１】
また、ブラウザ内で表示された画像に関する識別子や制御対象となるキーワードの音素や音素片に関して、識別子列や識別子列を圧縮した記号列やＩＤを用いることで端末に利用しやすく変換して必要な情報を送り、マークアップ言語を解釈せずに装置での音声利用を行うことも容易に考えられ、それらの辞書情報をリモコンや携帯電話において通信回線経由で取り込んだり、メールで獲得したり、他の装置からダウンロードすることで利便性の高い操作環境を構成しても良い。【０１２２】
また、ファイル名を音素列で記載することでファイル名に基づいた認識辞書を構成しても良いし、音素列・音素片列によりファイル名を設定して音素・音素片認識でマークアップ言語内の情報を選択できるようにしてもよいし、認識に伴い證券番号や企業名による株価検索やＪＡＮコードによる商品検索ばかりではなく商品名や出演者名や会社名や地域名による検索を行い、多様なサービスを実施しても良いし、位置や装置に応じて音素辞書を変更したりページに応じて音素辞書を変更したりコンテンツの画像やページ単位の文章や文章構成におけるフレームや動画像の1コマとしてのフレームや動画像の複数フレームにまたがるシーン単位に応じて音素辞書を変更したりしても良い。【０１２３】
また、図１７のようにＲＩＦＦ形式のようなチャンクヘッダを持つ情報形式に対して本発明による索引付けを行うのであれば、チャンクヘッダとして「ＰＲＯＮ」といったタグを任意に設けて音素列や音素片列を表記しても良く、その内容は通常ファイルであればファイル名や製作日時、製作者といった一般的なメタデータを記載したり、２Ｄ・３Ｄの画像であれば表示物体や人物の呼称や部品の呼称に伴う音素・音素片を記載したり、音声ファイルであれば出現音声の音素・音素片を記載したり、音楽ファイルの歌詞やタイトルを音素・音素片で記載しても良いし、自由記載エリアに音素・音素片を記載しても良いし、検索に利用したりしても良い。【０１２４】
＜変形例＞
なお、本実施例では表音記号として音素を中心に例を記載しているが、音素部分を音素片に変更したり、音素の種類を国際音素記号や英語、中国語といった異なる言語の音素列に変更したり、認識された画像に基づいた識別子によって丸い画像をコンピュータに提示したのか三角の画像を提示したのかによってマークアップ言語の処理における選択範囲や分岐内容を構成したりしても良いし、提示された写真に基づいて検索を実施したり、写真の特徴量に関連付けられた呼称を音素列や音素片列に展開しマークアップ言語や専用記号列で送受信することで音声による操作を行っても良いし、アスキーコード以外の文字記号化方法であるユニコードやＪＩＳコード、ＩＳＯコードを用いても良いし、音素や音素片に基づいた任意の数値ＩＤを与えた独自文字コード体系を用いても良い。【０１２５】
また、本発明に用いられる識別子列や識別子は音階種別、楽器種別、機械音種別、環境音種別、画像種別、顔種別、表情種別、人物種別、動作種別、風景種別、表示位置種別、文字記号種別、標識種別、形状種別、図形記号種別、放送番組種別といった識別子を一つあるいは複数の組合せによりそれら識別に用いる呼称に基づいて属性や変数名、識別子を指定してもよいし、識別子列は識別子が時系列遷移に応じて連続的に記載されたものとして捕らえても良いし、それらの呼称に基づいて音素や音素片列に変換して利用しても良いし、ＣＧＩにおけるＧＥＴメソッドやＰＯＳＴメソッドを用いてそれらの識別子や識別子列を送信して検索結果を得ても良い。【０１２６】
このように、音声に関する特徴量の呼称とそれらの識別子と識別関数、静止画像や動画像に関する特徴の呼称と識別子と識別関数によってマークアップ言語に属性と変数を与えることで音声により操作可能なマークアップ言語を構成できるとともに、このようなマークアップ言語を処理する情報処理装置が提供する表音記号列によって利用者が音声による装置制御を実現できるためコンテンツの検索ばかりではなく公共情報、地図情報、商品販売、予約状況、視聴状況、アンケート、監視カメラ映像、衛星写真、ブログ、ロボットや機器の制御などに応用することが出来る。なお、これらの要求に対して任意のマークアップ言語を用いて検索や処理結果をサーバからクライアントに返信してもよい。【０１２７】
＜端末及び基地局に用いる情報処理装置の手順例＞
また、本発明は基地局と端末に関わるサーバ・クライアントによる処理システムについても適用可能である。本装置と端末は図１８のように構成され、通信回線を経由して接続し、他の装置から情報を取得したり、他の装置に情報を配信したりすることで、音声操作に関する情報を交換可能とし、利用者の利便性を改善する。なお、ここで用いる共有回線はインターネットばかりではなくＬＡＮや電話回線などの広域通信網や屋内通信網であれば有線無線を問わずに用いても良く、対象となる装置は家電やリモコン、ロボット、携帯電話、通信基地局であっても良く、ウェブサービス、電話サービス、ＥＰＧ配信などのサービスであっても良く、任意の装置やサービスに対して実施できる。【０１２８】
また、利用者端末と配信基地局と端末や基地局に制御されるロボットなどの装置や制御するリモコンにより構成され、リモコンやロボットは端末の一形態や基地局の一形態として利用されても良く、利用者は端末に対して音声を発話し、端末若しくは基地局で認識処理のために以下にあるような任意の処理手順を実施する。【０１２９】
第１の方法では、発話により得られた音声や撮像された映像から特徴量抽出を実施し、特徴量を対象となる中継個所や基地局装置に送信し、特徴量を受信した基地局装置はその特徴量に応じて音素記号列・音素片記号列やその他画像識別子を生成する。そして、生成された記号列に基づいて、一致する制御手段を選択し実施する。【０１３０】
第２の方法は、発話により得られた音声や撮像された映像から特徴量抽出を実施し、端末内で音素記号列・音素片記号列、その他画像識別子といった認識に伴う識別子を生成し、生成された記号列を対象となる中継個所や基地局装置に送信する。そして、制御される基地局装置は受信した記号列に基づき一致する制御手段を選択し実施する。【０１３１】
第３の方法は、発話により得られた音声や撮像された映像から特徴量抽出を実施し、端末内で生成された特徴量に基づき音素列・音素片記号列、その他画像識別子を認識し、認識された記号列に基づき制御内容を選択し、制御方法を制御する基地局装置や情報配信を中継する装置に対し送信する。【０１３２】
そして、第４の方法は端末を用いて発話により得られた音声や撮像された映像の音声波形や画像をそのまま制御する基地局装置に送信し、制御する装置内で音素記号列・音素片記号列、その他画像識別子を認識し、認識された記号列に基づいて制御手段を選択し、選択された制御を制御される中継個所や基地局装置が実施するというものである。同様に環境音など音や映像の特徴や識別子についても同様である。【０１３３】
この際、端末から単純に波形のみを送信したり、特徴量を送信したり、認識された識別子列を送信したり、識別子列に関連付けられた命令やメッセージなどの処理手順を送信しても良く、それらの送信情報にあわせて配信基地局の構成を変更してクライアントサーバモデルを実施しても良く、送信側と受信側が相互に送受信することも可能であり、前述される識別子に関連する画像や音声や動作などの特徴量をマークアップ言語の属性に与えて、利用者側から提供される情報から抽出される特徴量と配信情報から抽出される特徴量との一致度を評価し、検索や認識を行うことで任意の制御や利用者への応対を伴う情報処理を実現しても良いし、顔や指紋などの画像認識辞書と音素や音素片による表音記号列を用いた固有名詞を伴う認識辞書と話者ごとの音素や音素片に基づく音響モデルとを関連付けることで合言葉による個人認証を行っても良い。【０１３４】
また、入力された音素列や音素片列に基づいて関連付けられた処理手順へ変換する命令辞書は、端末側にあっても配信基地局側にあってもよく、新しい制御命令やメディア種別、フォーマット種別、装置名に関する音素記号列や画像識別子といった記号列を、ＸＭＬやＨＴＭＬのような後述されるマークアップ言語やＲＳＳ、ＣＧＩを用いて情報の送受信や配信や交換を行っても良い。【０１３５】
より具体的な辞書情報の配信や交換の手順について説明する。まず、特徴量や識別子を抽出したり、評価関数を構成したりすることで、任意の赤外線や無線ＬＡＮ、電話回線や有線ＬＡＮ等を問わず通信回線に接続された環境で他の端末や装置類との情報交換を行う。【０１３６】
次に、端末側の処理として音素片を用いた場合を例に説明すると、利用者は発話を伴って音声波形を端末と装置に与える。端末側装置は与えられた音声を分析し特徴量に変換する。次に変換された特徴量をＨＭＭやベイズといった各種認識技術により認識し識別子に変換する。【０１３７】
この際、変換された識別子は音素や音素片、各種画像識別子を示す情報となるが、他にも別記されるように音声であれば音素や環境音や音階であったり、画像であれば画像や動作に基づいた識別子であったりしてもよい。そして、得られた識別子に基づいて音素、音素片記号列による辞書をＤＰマッチングにより参照して任意の処理手順を選択し、選択された処理手順を対象となる装置に送信し制御を実施することで、本発明を利用して携帯端末をリモコンとして用いたり、ロボットによる家電制御を実施したりすることが可能であり、通信先にいる相手との円滑なコミュニケーションを実施するための発話音表記の表示や点字出力部を設けて障害者との対話装置なども構成しても良い。【０１３８】
このような手順で処理された情報は端末側のＣＰＵ性能によって、動画や音声といった自然情報から特徴量への変換をせずに元の情報のまま送信したり、特徴量への変換で留めて送信したり、識別子への変換で留めて送信したり、制御情報の選択まで行ってから送信したり、任意の変換水準を選択することができ、受信側は任意の状態から情報に基づいて処理可能な受信側装置として構成され、獲得した情報に基づき配信局や制御装置に送信したり、獲得した情報に基づいて検索や記録、メール配信、機械制御、装置制御といった任意の処理を実施しても良い。【０１３９】
そして、検索処理に用いるために、適宜クエリとなる識別子列や文字列、特徴量を認識により獲得し、配信側基地局に送信し、そのクエリに従った情報を入手する。この際、通信の待ち時間や検索の待ち時間に宣伝や広告を表示しても良く、音声による制御を行う際は通信により制御項目の選択が出来るようにするために制御辞書を構成し相互に辞書情報の交換・獲得を行い、その手順はＰ２Ｐ技術を利用して行っても良いし、それらの情報を販売、配布しても良い。【０１４０】
また、この制御命令辞書は音素や音素片といった前述されるような任意の識別子や特徴量と装置制御情報で構成することにより自由に内容を更新して再利用できるようにすることが可能であり、任意の識別子と特徴量を関連付けた検索のための辞書情報を入れ替えたり再構成したりすることで、流行の検索キーワードを更新出来るようにしてもよいし、これらのコンテンツ情報の位置や構成に応じて変更される認識辞書情報は顔認識するための辞書や指紋認識するための辞書や文字認識するための辞書や図形認識するための辞書であってもよい。【０１４１】
なお、制御命令辞書は従来の赤外線リモコンで制御できる製品に送信するための赤外線制御情報が装置制御情報として選択されたり、それらの制御情報の組合せにより一連の作業をバッチ処理のように連続的に実施したり、装置のＣＰＵ性能に応じて識別子を認識せずに特徴量情報のみを音声対制御応情報処理装置に送信するようにしてもよい。【０１４２】
このような方法で音声制御が出来ない従来装置に対しても赤外線リモコンによる制御を組合せることで音声情報から変換辞書経由で赤外線リモコンの信号を提供したり、音声制御の可能な装置であれば、特徴量や音声波形に基づいて命令を認識し制御したりすることが出来るとともに、性能改善に伴う制御用辞書の変更を実施することや、制御用辞書のバージョン情報と確認するといったことや、装置の状態がどのようになっているかを確認することができる。【０１４３】
また、このような方法でサーバ・クライアントモデルを導入し、任意の処理ステップでサーバとクライアントに分割して通信で結びサーバ・クライアント間で任意の情報を交換することにより同等のサービスやインフラ、検索、索引付けを実現することができる。【０１４４】
また、顔や指紋や音声特徴の認識による個人認証を併せて行うために、音素認識辞書情報に個人の音声特性に合わせた音響モデルや標準パラメータや標準テンプレートを用いた音素認識辞書を利用することで、画像や音声を伴う認識辞書を利用者に応じて変更可能し、汎用性の高い個人認証を実現すること可能となる。したがって、課金を行ったり、鍵の施錠や開錠を行ったり、サービスを選択したり、利用の許諾を行ったり、著作物の利用を行ったりといった各種操作や操作を用いるサービスが本発明を用いて認識を行う情報端末を利用して実現できる。【０１４５】
また、本発明を用いて認識を行う端末を利用して、通信先にある基幹サーバからＤＶＤレコーダやネットワークＴＶ、ＳＴＢ、ＨＤＤレコーダ、音楽録再装置、映像録再装置といったクライアント端末によって獲得された情報を赤外線通信やＦＭやＶＨＦ周波数帯域通信、８０２．１１ｂ、ブルートゥース（登録商標）、ＺｉｇＢｅｅ、ＷｉＦｉ、ＷｉＭＡＸ、ＵＷＢ、ＷＵＳＢ（Ultra Wide Band）などの無線通信を経由して携帯端末や携帯電話に情報を提供することでＥＰＧやＢＭＬ、ＲＳＳ、文字放送によるデータ放送やテレビ映像、文字放送を携帯端末や携帯電話で利用できるようにしたり、音声入力や文字列入力、携帯端末や携帯電話を振り動かす操作により情報端末や家電や情報機器やロボットの操作や制御手順の指示を行ったり、携帯端末や携帯電話を一般的なリモコンとしてクライアント端末から家電や情報機器やロボットの操作や制御手順の指示を行ったりといった遠隔操作を行っても良い。【０１４６】
また、マークアップ言語により構成された情報におけるＨＴＭＬのＦＯＲＭタグといった入力項目に関連付けられて抽出された属性に基づいた音素辞書が認識辞書情報２０６に事前に登録されている場合、認識の優先順位を事前に登録された音素辞書に変更しても良いし事前に登録された辞書を用いて認識対象を限定しても良い。【０１４７】
また、マークアップ言語により構成された情報の属性変数に基づいた音素列や音素片列といった表音記号列に関し、同時に認識される可能性のある音素列や音素片列表音記号列を複数併記することで認識辞書情報２０６を複数で構成し、同一の属性変数を持つ入力項目に関して同一の認識辞書情報２０６を利用するように構成しても良い。【０１４８】
また、属性変数に音素列や音素片列や表音記号列を複数用いて認識される可能性のある単語を複数表記しても良く例えば任意の単位といった助数詞が音素列や音素片列や表音記号列として表記されている場合、認識辞書情報２０６を数詞専用に切替えたり、メニュー項目に応じた専用辞書に切替えたり、地名や駅名といった限定的固有名詞辞書に切替えたりするといった方法を用いても良い。【０１４９】
また、マークアップ言語に基づく表示に用いるべく選択された文字コードに応じて、音声波形から音素や音素片といった表音記号による識別子へ変換を行うステップ（Ｓ５０６）に用いられるベイズ識別関数やＨＭＭに用いる標準パターンや標準テンプレートといった学習結果として得られる値や固有値・固有ベクトルによる値や共分散行列による値を言語ごとに複数用意し、表示がロシア語ならロシア語標準テンプレート、表示が中国語なら中国語語標準テンプレート、と切替えることにより多言語に対応しても良いし、利用者の情報処理装置もしくはオペレーティングシステムもしくはブラウザ固有の言語環境に関する情報を取得することにより認識に用いる標準テンプレートを多言語から選択しても良い。【０１５０】
また、利用者の指定により、例えばロシア語話者が中国語を発話した場合の標準テンプレートといった利用者の母国語・母語と利用する装置環境で認識される言語との違いで生じる訛りや方言に対応するように標準テンプレートを選択出来るようにシステムを構成しても良く、利用者の発話から訛りや方言などを学習しテンプレートを構成できるようにしてもよい。【０１５１】
また、属性変数に応じてクッキーやセッションの内容を音素や音素片による表音記号列に変換して認識辞書情報２０６を切替えるといった方法を用いても良いし、音声から認識された音素列や音素片列といった表音記号列や音声から抽出された特徴量をＡＪＡＸといったスクリプトを用いる手法やＣＧＩ（Common Gateway Interface）のパラメータとしてステータスや環境変数を伝達する手法やプログラムによるソケット通信といった任意の変数伝達手段によって基地局に送信し、基地局側で受信した音素や音素片からなる表音記号列や基地局側で受信した音声特徴量に基づき認識された音素列や音素片列といった表音記号列を用いて利用者の発話を弁別し任意の処理を行ったり、検索条件を構成してコンテンツ情報や広告情報や地域情報の検索処理を行ったりしてもよい。【０１５２】
そして、それらの表音記号列の認識処理に伴って変化する端末装置の絵、文字、アイコン、ＣＧ（Computer Graphics）をはじめとした表示情報もしくは音楽、警告音をはじめとした出力音情報もしくはロボット、機械装置、通信装置、電子機器、電子楽器をはじめとした装置類の動作制御情報もしくは音声や静止画像や動画像などを認識するための認識辞書情報２０６もしくは映像や音声や画像から特徴抽出するためのプログラム、スクリプト、関数式などの処理手順情報といった任意の情報を組合せてそれらを更新するための情報送信を基地局から行ったり、端末装置内で自律的に任意の処理を実施したりしてもよい。【０１５３】
また、認識結果として取得された音素や音素片と言った表音記号に関して複数のフレームに分割され時系列的に連続した認識結果を得る場合において、複数フレームにまたがる複数の音素や音素片に対する認識結果として獲得された入力音声と音素や音素片といった表音記号との距離情報などを特徴量として利用しベイズ識別関数のパラメータを構成したり、時系列的に縮退させるために複数のフレームにまたがる複数の音素や音素片に対する認識結果として獲得された距離情報を用いてＨＭＭのパラメータを構成したり、複数フレームにおける認識結果によって第一位と評価された識別子をＤＰ等で評価したりすることで従来の音声認識に用いられた技術と組合せて動的な音声認識を構成したりしても良い。【０１５４】
より具体的には、まず、コンテンツ情報を取得するステップ（Ｓ４０１、Ｓ５０１）によってマークアップ言語情報を獲得し、マークアップ言語情報からタグを検出しタグからタグ属性を検出するタグ属性検出手段とあわせて検出された属性に関連付けられる表音記号列を抽出する表音記号列抽出ステップ（Ｓ４０２、Ｓ５０２）を実施し認識に用いる表音記号列として認識辞書情報２０６へ登録するステップ（Ｓ４０３、Ｓ５０３）を実施する。これらのステップ（Ｓ４０１からＳ４０３、Ｓ５０１からＳ５０３）は文字列の評価処理や検出処理により製作できるが従来の音声認識システムや音素認識による検索や音素列認識によるＷＥＢブラウザやインターネット環境で行われる操作や検索やコンテンツ情報の閲覧において用いられてはいない。【０１５５】
次に、話者の音声入力を待つステップ（Ｓ５０４）を実施し、音声入力の開始に従って演算部で実施される特徴量の抽出を行うステップ（Ｓ５０５）を実施し、音素認識及び／又は音素片認識をはじめとする表音記号認識プログラムに基づいて表音記号の認識による特徴量から識別子への変換を行うステップ（Ｓ５０６）が実施される。このステップ（Ｓ５０６）は距離評価関数や統計的検定手法を用いたり、多変量解析を利用した学習結果を用いたり、ＨＭＭのようなアルゴリズムを用いたりすることが一般的に知られている。そして、認識された表音記号に基づいた時系列的な連続により表音記号列が構成される。【０１５６】
次に、構成された前記表音記号列とマークアップ言語のタグに付随した属性から抽出された表音記号列による認識辞書情報２０６とを比較し認識辞書情報２０６内を検索することにより、表音記号列同士の一致度合を評価するステップ（Ｓ５０７）を実施し、認識対象として妥当であるか否かを評価する。この認識対象であるか否かを判断するための比較はＤＰやＨＭＭやオートマトンといった記号列比較評価に利用可能なアルゴリズムを任意に用いてもよいし、それらを多重化して階層化処理による認識を実現してもよく従来から多様な方法が発明・考案されている。【０１５７】
この結果として認識辞書情報２０６から特定された表音記号列に関連付けられる文字列やＩＤといった識別情報に基づいて、文字列を表示したり、任意の処理を実行に移したり、情報を交換したり、イベントを発生させたり、ステータスを変化させたり、任意の動作を機械装置に行わせたりすることで、表音記号を用いた認識処理が実現され任意の処理を実行するステップ（Ｓ５０８）が実施されることにより、従来の文法依存や静的な登録単語依存とは異なる音声を用いた情報処理が実現可能となる。【０１５８】
この際、前記表音記号列による認識辞書情報２０６を複数持つとともに前記タグ属性検出手段により検出された入力項目を弁別するための種類情報に基づいて表音記号列との一致を評価するステップ（Ｓ５０７）で用いる認識辞書情報２０６を切替ながら認識対象となる入力項目の属性に応じて選択される認識辞書情報２０６に登録された表音記号列と音声波形から獲得された表音記号認識結果との記号列比較評価によって一致度評価を行うときの認識対象となる認識辞書情報２０６に含まれる表音記号列を限定し認識効率を改善することができる。【０１５９】
そして、情報処理装置が入力すべき項目に応じて音声入力を評価する認識辞書情報（２０６）を切替える場合、属性の名称や属性に関連付けられた単語の認識辞書情報（２０６）を適切に選択するために、属性から獲得された情報が「書籍」であれば単位の「冊（s/a/ts/u｜v/o/ly/u/m）」といった助数詞を用いるとともに助数詞に応じた「数詞（number）」に関連付けられる表音記号列を用いた認識辞書を認識された表音記号列の検索対象に選択するようにしたり、属性から獲得された情報が「駅名」であれば接尾語としての「駅（e/k/i｜s/u/t/e/i/sh/o/N）」と「駅名として使用される名詞群」に関連付けられた表音記号列を用いた認識辞書を認識された表音記号列の検索対象に選択されるようにしたり、属性から獲得された情報が郵便番号や電話番号であれば単純に数詞の表音記号列を用いた認識辞書を認識された表音記号列の検索対象に選択されるようにしたりすることで、特定の枠組みに含まれる名詞群を用いて認識対象を制限することにより利用者に対して入力対象となる項目に関連付けられた属性に従った複数の認識辞書情報２０６の切替を実施し、認識された表音記号列の検索対象になる認識辞書情報２０６を属性に基づいて分類することにより認識性能の改善を図ることも出来る。【０１６０】
また、情報処理装置が入力すべき項目を音声入力の行われる順序や未入力の項目選別に従って属性の名称や属性に関連付けられた単語の音声出力をすることで、利用者に対して入力対象となる項目を促しながら複数の認識辞書情報２０６に対して切替を実施し、分類する属性に基づいて認識性能の改善を行っても良い。【０１６１】
そして、継続する音声があれば従来の処理を繰返すステップ（Ｓ５０９）や年季認識に伴う処理ステップ（Ｓ５０８）や他の外部操作に伴う装置内のステータスの変化に応じて次のコンテンツやマークアップ言語を取得するか否かを評価するステップ（Ｓ５１０）が実施され、状況に応じて本処理は終了する。【０１６２】
なお、装置内のステータスの変化はマルチスレッドプログラムや、他のプログラムの一部として機能する際に他のプログラムやプロセスによって値が変化し、マルチスレッド型のプログラムやイベントドリブン型のプログラム等に用いると仮定すればわかりやすく、同様に本発明の任意処理で他のプロセスや他のプログラムのためにステータスを書き換えたり、イベントを発生させたりすることも考えられる。【０１６３】
また、本発明の方法を利用してマークアップ言語の指定によって表示される文字列もしくは表示される画像や画像の特徴に関連付けられた文字列もしくは出力される音声・音楽等や音声・音楽等の音響特徴に関連付けられた文字列といった各種文字列を表音記号列に変換し辞書登録することで表示される任意の情報を利用者の入力音声や文字列によって表音記号列の検索により検出し、検出された情報に関連付けられたコンテンツ関連情報や広告や映像やリンクのような任意情報所在個所に関する情報や音楽や音声に基づいて利用者の操作などにより情報の提供を実施できるとともに、これらの入力は音声やテキスト入力ばかりではなくメニューなどのリストから文字列を選択したり、ボタン操作におけるボタンのラベルによる文字列を用いたりして行なわれても良い。【０１６４】
また、下記例のように
（例）
< img href=”./flower_lily1.jpg”
recog_dic_type=”flower_name” recog_dic_url=”./flower.prono”
name=”lily” prono=”l/i/l/i/y”>
タグに含まれる表音記号辞書に関わる属性に応じて表音記号を読込む際に表音記号辞書の所在を示すＵＲＬやＵＲＩ、ＩＰアドレス、ディレクトリパスなどの情報によって表音記号認識辞書や表音記号列辞書といった情報の位置や場所を示す ”recog_dic_uri” といった属性による情報を用いたり、”recog_dic_type”のように辞書で認識する対象の種類を示す情報を用いたりすることによって再利用頻度の高い表音記号辞書などを区別することで表音記号列による辞書情報や認識用音響特性テンプレート辞書情報をマークアップ言語から獲得される属性に関連付けて提供してもよい。【０１６５】
また、過去に読込んだ辞書情報を一般的にキャッシュと呼ばれる方法である程度保存しておき、前述の属性が特定の単語範囲を示す場合に辞書の優先順位を上げて再度読み込む手間を省いてもよいし、スタイルシートのように別ファイルとしてページごとに読込んでＩＤなどにより関連付けた表音記号辞書を組込んでもよいし、ヘッダーブロックに記載してＩＤで関連付けた表音記号辞書を組込んでも良いし、タグごとに属性として与えた表音記号辞書を組込んでも良いし、ファイルや通信回線経由の読込み時におけるヘッダ情報に表音記号辞書を含ませても良く、表音記号列テンプレート辞書として利用することも出来る。【０１６６】
また、音声にテキストデータを埋め込める「音響ＯＦＤＭ」を用いて音声波形情報に表音記号列を埋め込んでも良いし、埋め込まれた表音記号列や関連するマークアップ言語情報を復元して音声データ内の表音記号検索や関連する情報を字幕などにより表示したりするために利用してもよいため、ラジオやテレビなどの極めて一般的な音声データから復調された表音記号列を検索に利用することも出来る。【０１６７】
また、表音記号認識によって獲得された表音記号列を用いて、検索対象として検索される表音記号列によって索引付されたデータベースは、複数のキーワードに基づく表音記号列の論理的な間に基づく組合せであってもよく、ブーリアンモデルにより論理性を表記できる構成であっても良く、それらの組合せによってクエリを構成しデータベースに提供し検索結果を獲得することが可能である。【０１６８】
このようにして、従来の単語と音声特徴群をＨＭＭなどにより確率的に結びつける方法とはことなり、本発明は表音記号と音声特徴をベイズ識別関数などによる確率に基づく距離によって関連付けることにより表音記号列を獲得し、獲得された表音記号列と単語文字列とをマークアップ言語を介して直接関連付ける方法によって、従来の一般的な認識に比べ認識対象となる単語に制約を加えて効率的な認識を実現することを可能とするための辞書情報の動的な提供をマークアップ言語で実現することが可能となるとともに、クエリに直接単語を利用せずに表音記号列を用いたり音素や音素片記号列を用いたりすることでＨＭＭやＤＰのマッチングを用いるデータベースを構成し検索を行っても良い。【０１６９】
また、発話音素や発話音素変といった表音記号による属性ばかりではなく画像識別子や画像認識後の識別子や画像関連特徴量や動作特徴量や動作識別子などを属性として用いても良い。
【図１】
2007069512.tif 000003
【図２】
2007069512.tif 000004
【図３】
2007069512.tif 000005
【図４】
2007069512.tif 000006
【図５】
2007069512.tif 000007
【図６】
2007069512.tif 000008
【図７】
2007069512.tif 000009
【図８】
2007069512.tif 000010
【図９】
2007069512.tif 000011
【図１０】
2007069512.tif 000012
【図１１】
2007069512.tif 000013
【図１２】
2007069512.tif 000014
【図１３】
2007069512.tif 000015
【図１４】
2007069512.tif 000016
【図１５】
2007069512.tif 000017
【図１６】
2007069512.tif 000018
【図１７】
2007069512.tif 000019
【図１８】
2007069512.tif 000020
【手続補正書】
【提出日】平成20年6月5日(2008.6.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
文字情報又はメタ情報を含むコンテンツ情報を取得するコンテンツ情報取得手段と、
前記コンテンツ情報取得手段により取得されたコンテンツ情報から、音素列からなる認識音素列又は音素片列からなる認識音素片列を認識表音記号列として検出する認識表音記号列検出手段と、
前記認識表音記号列検出手段により検出された認識音素列又は認識音素片列を用いて認識辞書情報を生成する認識辞書情報生成手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
文字情報又はメタ情報を含むコンテンツ情報を取得するコンテンツ情報取得手段と、
前記コンテンツ情報取得手段により取得されたコンテンツ情報に記述される文字情報又はメタ情報の中から音素列又は音素片列へ展開する対象となる展開対象文字列を検出する展開対象文字列検出手段と、
前記展開対象文字列検出手段によって検出された前記展開対象文字列を音素列又は音素片列に変換する展開対象文字列変換手段と、
前記展開対象文字列検出手段によって検出された前記展開対象文字列と、前記展開対象文字列変換手段によって変換された音素列からなる認識音素列又は音素片列からなる認識音素片列と、を対応づけて記憶することで認識辞書情報を生成する認識辞書情報生成手段と、
を備えることを特徴とする情報処理装置。
【請求項３】
前記展開対象文字列変換手段により変換された認識音素列又は認識音素片列を、前記コンテンツ情報に付加することにより当該コンテンツ情報を更新し保存するコンテンツ情報更新保存手段を更に備えることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記コンテンツ情報取得手段により取得されたコンテンツ情報と、当該コンテンツ情報に基づいて生成された認識辞書情報とを他の情報処理装置に送信する送信手段を更に備えることを特徴とする請求項１から３のいずれか一項に記載の情報処理装置。
【請求項５】
音声を入力する音声入力手段と、
前記音声入力手段により入力された音声の特徴量を抽出する音声特徴量抽出手段と、
前記音声特徴量抽出手段により抽出された特徴量から、音素列又は音素片列を認識する音声特徴量認識手段と、
前記音声特徴量認識手段により認識された音素列又は音素片列と、前記認識辞書情報に含まれる認識音素列又は認識音素片列とを評価し、もっとも類似する認識音素列又は認識音素片列に対応して任意の処理を実行する処理実行手段と、
を更に備えることを特徴とする請求項１から４のいずれか一項に記載の情報処理装置。
【請求項６】
前記処理実行手段により実行される処理は、音素認識又は音素片認識に伴う認証処理であることを特徴とする請求項５に記載の情報処理装置。
【請求項７】
コンピュータに、
マークアップ言語を用いて記述された情報を解釈するマークアップ言語解釈ステップと、
前記解釈によって指定された属性を獲得する属性獲得ステップと、
属性獲得ステップによって獲得された属性に関連付けられた音素列を抽出する音素記号抽出ステップと、
前記音素記号抽出ステップによって抽出された音素列に基づいて、音素認識部で用いる音素列辞書を変更する辞書変更ステップと、
を実現させることを特徴とするプログラム。
【請求項８】
コンピュータに、
マークアップ言語を用いて記述された情報を解釈するマークアップ言語解釈ステップと、
前記解釈によって指定された属性を獲得する属性獲得ステップと、
属性獲得ステップによって獲得された属性に関連付けられた音素片列を抽出する音素片記号抽出ステップと、
前記音素片記号抽出ステップによって抽出された音素片列に基づいて、音素片認識部で用いる音素片列辞書を変更する辞書変更ステップと、
を実現させることを特徴とするプログラム。
【請求項９】
コンピュータに、
マークアップ言語を用いて記述された情報を解釈するマークアップ言語解釈ステップと、
前記解釈によって指定された属性を獲得する属性獲得ステップと、
前記属性獲得ステップによって獲得された属性に関連付けられた音素列を抽出する音素記号抽出ステップと、
前記属性獲得ステップによって獲得された属性に基づき利用者が入力する情報の種別を評価する情報種別評価ステップと、
前記抽出された音素列と、前記情報種別評価ステップによって評価された情報の種別とに基づいて、音素認識部で用いる音素列辞書を変更する辞書変更ステップと、
を実現させることを特徴とするプログラム。
【請求項１０】
コンピュータに、
マークアップ言語を用いて記述された情報を解釈するマークアップ言語解釈ステップと前記解釈によって指定された属性を獲得する属性獲得ステップと、
前記属性獲得ステップによって獲得された属性に関連付けられた音素片列を抽出する音素片記号抽出ステップと、
前記属性獲得ステップによって獲得された属性に基づき利用者が入力する情報の種別を評価する情報種別評価ステップと、
前記抽出された音素片列と、前記情報種別評価ステップによって評価された情報の種別とに基づいて、音素片認識部で用いる音素片列辞書を変更する辞書変更ステップと、
を実現させることを特徴とするプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声認識において音素認識又は音素片認識を用いる情報処理装置等に関する。
【背景技術】
【０００２】
従来から一般的に音声を用いる情報処理装置や、音声認識に関する技術が知られている。音声認識を行う方法としては、一般的に利用者発話に伴う音声から統計的に作られた音素や音素片による音響モデルや標準パラメータやテンプレートを用いた音素認識や音素片認識により音素や音素片を時系列的に抽出し音素列や音素片列を獲得する方法が知られている。
【０００３】
そして、音素列や音素片列からなる単語が記録された音声認識辞書を用いて、認識された音素列や音素片列と、音声認識辞書に登録された音素列や音素片列との一致を評価し、評価の結果一致度の高い音素列や音素片列に関連付けられた単語を取得したり、装置制御の命令を実行したりすることで音声認識や認識に伴う処理を実現する。
【０００４】
ここで、装置を制御するユーザインタフェースとしては、非特許文献１のように音素の認識辞書により特定される単語と、単語に関連付けて辞書登録された装置制御方法とを音素の認識処理により選択し実施する方法があり、音素や音素片の認識技術としては特許文献１に示されるように古くからの公知技術として用いられている。
【０００５】
また、音声の認識において、人の対話における発話単語は省略形や「おー」や「うーん」といった感嘆語や造語などの変化が多く、特にコンテンツ情報では商品名や役者名などは辞書登録が困難な固有名詞が多く必ずしも全ての単語を辞書登録できなかった。そこで、音素認識を用いてコンテンツを検索する技術が特許文献２や非特許文献２や非特許文献３等において提案されている。
【０００６】
ここで、特許文献３には、マークアップ言語の１つであるＨＴＭＬにおける音声認識への利用において、認識可能な単語の表示表現を変えることで、利用者による音声操作がやりやすくなるような提案がなされている。
【０００７】
また、特許文献４には、最低限必要な語彙に伴う音響モデルによる認識辞書データを動的に獲得する方法が提案されている。
【０００８】
また、特許文献５によれば、マークアップ言語の１つであるＨＴＭＬにおける音声認識への利用において、認識可能な単語を特定するために特定の記号で範囲を指定し、音声による認識が行えることを利用者に明示する方法が提案され、発音が難解な単語には認識可能な読み方を記載することで利便性を図っている。
【特許文献１】特開昭６２−２２０９９８号公報
【特許文献２】特開２００５−７０３１２号公報
【特許文献３】特開平１１−２５０９８号公報
【特許文献４】特開２００２−９１８５８号公報
【特許文献５】特開２００５−１８２４１号公報
【非特許文献１】「高齢化社会対応型生活支援インターフェースに関する研究開発」、青森県工業総合研究センターによるキープロジェクト研究報告書  Vol.5、Apr.1998〜Mar.2001 ０３１
【非特許文献２】中沢正幸, 遠藤隆, 古川清, 豊浦潤, 岡隆一(新情報処理開発機構), 「音声波形からの音素片記号系列を用いた音声要約と話題要約の検討」,信学技報, SP９６-２８, pp.６１--６８, June １９９６.
【非特許文献３】岡 隆一, 高橋裕信, 西村拓一, 関本信博, 森靖英, 伊原正典, 矢部博明, 橋口博樹, 松村博. パターン検索のアルゴリズム・マップ -"CrossMediator" を支えるもの -. Someone Unknown, editor, 人工知能学会研究会, volume １, pages １-６. 人工知能学会, ２００１.
【０００９】
また、音素記号列のマークアップ言語における利用方法はＭＰＥＧ２などの動画ストリーム内で用いられるＭＰＥＧ７における記述としてSegment及びMedia Locatorという構成を使用して、<Media Locator>でビデオコンテンツ内のSegment又はFrameを直接指定したり、<Media Locator>でコンテンツを指し、<Media Time>でそのコンテンツ内部の時間位置を指定すると共に適当な固有名詞を指定するタグと組合せたりという使い方や、前述のSegmentでコンテンツを割当てたりする際にVisual、Audioのローレベルなメタデータとして、固定の間隔で同種のメタデータを付けるための<Series>という記述方法を用いたりする方法がある。この際、オーディオだと<Scalable Series>として指定する方法がありＭＰＥＧ７オーディオには、自動音声認識結果である単語(word)ラティスと音素(phone)ラティスとを記述する<Spoken Content DS>というものがある。
【００１０】
また、ＶｏｉｃｅＸＭＬという音声認識における標準化方式では文脈にあわせて文法に依存した認識を実施するために、これまで製品間でバラバラだったユーザインタフェースの記述を統一的な手法を表記する方法が提案されているが、文脈や文法に依存せず音素や音素片といった表音記号識別子を使って任意のタグの対象範囲に属性を与え、辞書情報を動的に構成する方法は提案されていない。
【００１１】
なお、従来の出願や文献によると、音素と音節を混同しているものが多く見受けられるが、本発明における音素とは日本語で「あかさたな」という発音を例にする場合、音節表記した場合であれば「あ/か/さ/た/な」もしくは「a/ ka/ sa/ ta/ na」と単音声で表記され、音素表記した場合は「a/ k/ a/ s/ a/ t/ a/ n/ a」もしくは「a/ cl/ k/ a/ s/ a/ cl/ t/ a/ n/ a」と表記され、音素片表記であれば「a/ a-k/ k/ k-a/ a/ a-s/ s/ s-a/ a/ a-t/ t/ t-a/ a/ a-n/ n/ n-a/ a」もしくは「a/ a-cl/ cl/ cl-k/ k/  k-a/ a/ a-s/ s/ s-a/ a/ a-cl/ cl/ cl-t/ t/ t-a/ a/ a-n/ n/ n-a/ a」といった例がバイグラムであれば考えられ、「a-a-a/ a-cl-cl/ cl-cl-cl/ cl-cl-k/ cl-k-k/ k-k-a/ a-a-a/ a-a-s/ s-s-s/ s-a-a/ … t-a-a/ a-a-n/ n-n-n/ n-a-a/ a-a-a」と言った例がトライグラムの例となり、音素を時系列的に前半部、中盤部、後半部といった任意の位置に基づいて分解した音素片であっても良く、/cl/ は発音前の無音部もしくは無声部を指しており、これらの音素や音素片はともに任意の改善により任意の音を示す音素や表記記号や表音記号や発音記号及びそれらを時系列的に分解した音素片のような表記記号片や表音記号片や発音記号片に変更しても良い。
【００１２】
また、音素及び音素片を用いる表音記号認識と通常の音声認識の違いを説明すると、音素認識や音素片認識は一般的な音声認識と違い意味や内容を解釈する語彙認識を行わないという特徴と音響モデルを単語や文法や品詞などの言語モデルの変化に応じて動的に構成しないという特徴があり、より詳しくは音素認識や音素片認識は文法に関わる言語モデルを用いないため認識結果として意味を捉えていないこと、若しくは漢字のような意味を含む記号に変換していないこと、若しくは同音異義語や同音異表記語を弁別しないこと、文脈に応じて名詞や動詞といった品詞の弁別を行わないこと、若しくは形態素解析や構文解析を行わないことなどといった特徴があり、本件では音素認識や音素片認識をはじめとして、音素や音素片や発音記号や（時系列的に分割された発音記号としての）発音記号片とそれらの記号列に基づく表音記号を用いた認識を併せて表音記号認識として表記している。
【００１３】
このように、音素及び音素片による認識は表音記号別の静的な音響モデルを用いて発話者の発話音を分析し発話にともなう表音記号列と認識辞書内の表音記号列の一致のみを評価するという特徴から認識処理や認識辞書の構成が単純になり音の一致のみを評価するため辞書未登録語や感嘆詞であっても音素や音素片といった表音記号や発音記号からなる識別子列の認識が可能となる。
【００１４】
この際、従来からあるように話者の発話特性に合わせて学習し性能を改善する動的な音響モデルを用いても良いが、一般的な音声認識のような単語や文法に依存して音響モデルを動的に切替えるといった処理を音素認識や音素片認識では行わないという特徴がある。
【００１５】
このため、音素列や音素片列を登録済み辞書内容と比較することで未登録音素列や音素片列の検出が容易に可能となり、音素や音素片を用いた表音記号認識による認識結果に基づいて単語を限定し再度一般的な文法を加味した音声認識を実施することで効率的な音声認識を実現するといった方法も考えられる。
【００１６】
そして、音素や音素片による認識方法は辞書に登録されていない単語がある場合であっても、認識対象文中の未登録単語をひらがな文字表記に変換し、変換されたひらがな文字列の遷移状態に合わせて、既知の情報から得られる韻律に基づき音素列や音素片列に変換した記号列を認識辞書に一時的に登録し、利用者の発話を音素列や音素片列として認識した後に獲得された音素列や音素片列と認識辞書の音素列や音素片列とを比較することで記号列同士の一致度を測り認識結果を獲得し、認識結果として利用頻度が下がれば削除するといった方法により、従来の音声認識よりも自由度の高い動的な音素や音素片による辞書構成を持つ音声認識が可能となる。
【００１７】
また、このとき、音素や音素片単位の音響モデルを利用者の発話に合わせて再学習するといった方法により、文法や単語に依存しない動的な音響モデル辞書により認識精度を改善するように利用者の発話から得られる音響情報を教師情報として再利用して、認識のための再学習を実施してもよい。
【発明の開示】
【発明が解決しようとする課題】
【００１８】
従来の音声認識技術において、人の対話における発話単語の省略形や「おー」や「うーん」といった感嘆語（感嘆詞）や造語などは時代や環境に伴う違いも多く語、特にコンテンツ情報では商品名や役者名などの流行に依存する動的な固有名詞は認識辞書への登録は非効率的であったため、膨大で変化に富む音声認識を実用化する場合の課題として古くから存在するものの音響モデルや文法モデルを含む認識辞書を繰返し配布することはその情報量の大きさから比較的困難であるため認識辞書に登録されていない語彙に依存した認識は事実上不可能であった。
【００１９】
また、従来の音声認識では一般的に韻律モデルや文法モデルの学習が不可欠であり、そういった処理手順が前述の造語や流行語や固有名詞などに基づく辞書未登録語の認識の課題となっており、そういった未登録単語に関連する韻律や単語間の共起関係による文法モデルの学習が困難であるという課題があった。
【００２０】
また、従来マークアップ言語による音声情報はコンテツ情報としての映像や音声に同期した音声情報以外は検索や操作の対象にできなかった。そして、音素記号列を含む情報を利用者に提供するためには事前に音声情報を認識し音素と単語ＩＤ（単語識別子）を関連付けて保存する必要があったため、不特定単語に対する容易な音素列・音素片の提供方法や操作方法が無いという課題があった。
【００２１】
また、上述した特許文献３に開示された技術では、辞書に登録されていない単語を認識するための方法は提示されていない。さらに、特許文献４に開示された技術では、語彙に依存しない音声認識を行うことができず、未知の単語に対してその都度韻律モデルを学習する等の手段をとる必要があり、自由度の高い音声認識を実現することができなかった。さらに、特許文献５に開示された技術では、音声認識方法が従来の音声認識方法と差異が無く、音素や音素片を用いた認識が出来ないと言った問題点があった。
【００２２】
このような課題を踏まえ、本発明が目的とするところは、コンテンツ情報に含まれる単語や文字列に対して音声認識を行う際に、音声認識辞書に単語モデルや音響モデルや文法モデルや品詞情報が登録されていなくても、音素や音素片からなる表音記号認識を用いた表音記号に基づく認識辞書情報を利用することでより適切な音声認識を実現することが出来る情報処理装置等を提供することを目的とする。
【課題を解決するための手段】
【００２３】
上記の課題を解決するために、第１の発明の情報処理装置は、文字情報及び／又はメタ情報を含むコンテンツ情報を取得するコンテンツ情報取得手段と、前記コンテンツ情報取得手段により取得されたコンテンツ情報から、表音記号からなる認識表音記号列を検出する認識表音記号列検出手段と、前記認識表音記号列を用いて認識辞書情報を生成する認識辞書情報生成手段と、を備えることを特徴とする。
【００２４】
第２の発明の情報処理装置は、文字情報及び／又はメタ情報を含むコンテンツ情報を取得するコンテンツ情報取得手段と、前記コンテンツ情報取得手段により取得されたコンテンツ情報から、文字情報及び／又はメタ情報に基づいて展開対象文字列を検出する展開対象文字列検出手段と、文字列と表音記号とを対応づけて記憶する表音記号記憶手段と、前記表音記号記憶手段を参照することにより、前記展開対象文字列を認識表音記号列に変換する表音記号変換手段と、前記認識表音記号列を用いて認識辞書情報を生成する認識辞書情報生成手段と、を備えることを特徴とする。
【００２５】
また、第３の発明は、第２の発明の情報処理装置において、前記表音記号変換手段により変換された表音記号を、前記コンテンツ情報に付加することにより当該コンテンツ情報を保存するコンテンツ情報保存手段を更に備えることを特徴とする。
【００２６】
また、第４の発明は、第１から第３の発明のいずれかに記載の情報処理装置において、前記コンテンツ情報保存手段により保存されたコンテンツ情報と、当該コンテンツ情報に基づいて生成された認識辞書情報とを他の情報処理端末に送信する送信手段を更に備えることを特徴とする。
【００２７】
また、第５の発明は、第１から第４の発明のいずれかに記載の情報処理装置において、音声を入力する音声入力手段と、前記音声入力手段により入力された音声の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出された特徴量から、表音記号に変換する特徴量表音記号変換手段と、前記特徴量表音記号変換手段により変換された表音記号と、前記認識辞書情報に含まれる認識表音記号列を構成する表音記号とを評価し、もっとも類似する表音記号に対応して所定の処理を実行する処理実行手段と、を更に備えることを特徴とする。
【００２８】
また、第６の発明は、第５の発明の情報処理装置において、前記コンテンツ情報には、音素情報及び／又は音素片情報が含まれており、前記処理実行手段は、前記特徴量表音記号変換手段により変換された表音記号と、前記認識辞書情報に含まれる認識表音記号列を構成する表音記号とを評価し、もっとも類似する表音記号に対応して利用者に対し、音声発話による情報の提示を行うことを特徴とする。
【００２９】
また、第７の発明は、第１から第６の発明のいずれかの情報処理装置において、前記表音記号は、音素又は音素片であることを特徴とする。
【００３０】
また、第８の発明は、第１から第６の発明のいずれかの情報処理装置において、前記実行される処理は、音素認識に伴う認証処理であることを特徴とする。
【００３１】
また、第９の発明のプログラムは、コンピュータに、マークアップ言語を用いて記述された情報を解釈するマークアップ言語解釈ステップと前記解釈によって指定された属性を獲得する属性獲得ステップと、属性獲得ステップによって獲得された属性に関連付けられた表音記号列及び／又は音素列及び／又は音素片列を抽出する表音記号抽出ステップと、前記表音記号抽出ステップによって、音素認識部で用いる音素列辞書を変更する辞書変更ステップと、を実現させることを特徴とする。
【００３２】
また、第１０の発明のプログラムは、コンピュータに、マークアップ言語を用いて記述された情報を解釈するマークアップ言語解釈ステップと前記解釈によって指定された属性を獲得する属性獲得ステップと、属性獲得ステップによって獲得された属性に関連付けられた表音記号列及び／又は音素列及び／又は音素片列を抽出する表音記号抽出ステップと、前記属性獲得ステップによって獲得された属性に基づき利用者が入力する情報の種別を評価する情報種別評価ステップと、前記情報評価ステップによって、音素認識部で用いる音素列辞書を変更する辞書変更ステップと、を実現させることを特徴とする。
【発明の効果】
【００３３】
本発明によれば、音素認識を用いた情報処理装置を利用するために、提供されるコンテンツ情報の認識に必要な音素辞書をコンテンツ情報に関連付けられた若しくはコンテンツ情報に含まれるマークアップ言語から獲得することで表示内容に関する不特定単語に対応することができる。したがって、商品販売のような不特定単語が頻発する可能性の高い処理を単体の装置やサーバ・クライアント環境で行うために、音素列や音素片列や各種識別子の呼称をマークアップ言語のタグ属性として記載し、コンテンツの画像やページ単位の文章や文章構成におけるフレームや動画像の１コマとしてのフレームや動画像の複数フレームにまたがるシーン単位に発話音素辞書を指定が出来るようにすることで課題の解決を図ろうとするものである。
【００３４】
また、これらの操作に用いるキーワードを音素展開することで、利用者に送信するＨＴＭＬやＸＭＬ、ＲＳＳ、ＥＰＧ、ＢＭＬ、ＭＰＥＧ７、ＣＳＶといった配布用ファイル形式やマークアップ言語によって変数や属性、特定タグとして音声操作に関する音素列や音素片列を用いた識別子を任意のマークアップ言語やスクリプトと関連付けて組込む方法により容易に音声を利用した索引付けや利用者が音声を用いて情報を獲得、閲覧、操作したりするための音声制御情報を配布共有したり、端末側で音声制御情報の獲得を行うことを可能とし課題の解決を図ろうとするものである。
【００３５】
そして、本発明は音素や音素片を用いて不特定単語を認識するという従来の技術を実施するにあたり、インターネット環境で変化する多様なコンテンツに対してコンテンツ情報の一場面中に出現する単語に制約があることを利用し、音素列や音素片列による動的な辞書構成方法を提供することで、韻律モデルや文法モデルを利用しない不特定単語に対応した音声認識処理の実現を図り利便性の向上を実現しようとしている。
【００３６】
また、ＭＰＥＧ７であれば映像情報のシーンを表すタグの中でそのシーン名称や、役者名、配役名を音素記号列や音素片記号列を用いて属性や変数、タグによる範囲指定により音声ストリームの認識個所以外をマークアップ言語で記載した情報を用いて、音素検索技術による任意の役者名や配役名での検索を実施することでマークアップ言語情報により場面に応じた音素列が獲得できるため任意の指示や検索を行える装置が実現でき課題の解決が図られる。
【００３７】
また、ＨＴＭＬであれば、対象とするリンクやＣＧＩ表記に音素記号列を含む変数、属性を設けたり、特定のタグで囲まれた範囲を音素列に変換し、タグの変数、属性として埋め込んだり、選択したい商品を囲むテーブルタグのテーブル要素ごとに変数、属性を設け各要素タグに名称を音素列記号で変数、属性として与えたり、フォームタグやインプットタグの変数、属性として音素列を与え、与えられた音素列に基づいて、情報を送信したり次のページへ遷移するといった方法により課題の解決が図られる。
【００３８】
また、ＲＳＳによる音素列や音素片列の配信を行っても良いし、タグを用いてキーワードにＩＤを関連付け、ＩＤと音素列・音素片列を関連付けた認識辞書情報としてＣＳＶファイルを提供することで認識の対象となるキーワードを特定するといった方法を用いても良いし、顔や指紋などの画像認識辞書と音素や音素片による表音記号列を用いた固有名詞を伴う認識辞書と話者ごとの音素や音素片に基づく音響モデルとを関連付けることで合言葉による個人認証を行っても良い。
【００３９】
このようにして、音素や音素片による認識辞書の内容をマークアップ言語の属性や任意のタグや辞書ファイルとして外部から獲得することにより、情報処理装置の操作を可能とし、課題の解決を図ることができる。
【００４０】
すなわち、コンテンツ情報に明確に含まれない単語が指定の無い限り認識辞書に含まれないため、誤認識の生じる確率が低減されると共に、音声操作をしたり、音素列や音素片列による装置制御に利用したり、情報に種類によって画像や音声を伴う認証条件を変えられるため汎用性の高い個人認証をしたり、情報処理装置間の情報交換に利用したりするために既存のマークアップ言語を拡張し音素や音素片による表記を追加したり、マークアップ言語やコンテンツに付随もしくは関連付けられた音素や音素片による辞書情報を用いたりすることによって利便性の高いユーザインタフェースを実現することができる。
【発明を実施するための最良の形態】
【００４１】
本発明はコンテンツ情報に利用されるマークアップ言語の表記に対して、変更を加えて保存したり、保存して利用したり、変更を加えた情報をそのまま利用したりする装置や変更を加えた情報を配信する配信装置と受信し認識や認識に伴う操作や応答に利用する受信端末とに用いる情報処理装置を構成することができる。より具体的にはＸＭＬやＨＴＭＬによる例にあるように、すでにあるマークアップ言語で記載された情報を変更しタグを追加したり、変数や属性を追加したりして保存・変更・配信する方法とそれらの情報を受信して情報処理装置を操作する方法である。
【００４２】
＜コンテンツ情報の例＞
まず、本発明を用いて実施される検索や索引付けの対象となるコンテンツとコンテンツ情報について説明すると、もっぱらコンテンツとは、映画、ドラマ、写真、報道、アニメ、イラスト、絵画、音楽、プロモーションビデオ、小説、雑誌、ゲーム、論文、教科書、辞書、書籍、コミック、カタログ、ポスター、放送番組情報などを示していることが一般的によく知られているが、本発明では公共情報、地図情報、商品情報、販売情報、広告情報や予約状況、視聴状況、道路状況といった情報やアンケート、監視カメラ映像、衛星写真、ブログ、模型、人形、ロボットであっても良いし、それらの装置に具備されたカメラ・マイク・センサ入力などで得られる情報やそれらの情報や状態や状況の呼称やそれらの抽象概念や上位概念や下位概念に関する呼称を音素や音素片による記号列に展開した情報を含んでも良い。
【００４３】
また、映像の時系列的変化、音声の時系列変化、読み手の音読位置の時系列的変化を期待する文章、ＨＴＭＬにおけるマークアップ言語表記による電子情報、それらにより生成された検索指標情報などであっても良く、音読位置を時間軸として解釈して句点や文や章や文章をフレームとして捕らえても良い。
【００４４】
また、コンテンツに付属するメタ情報、文字情報による文書や番組情報としてのＥＰＧやＢＭＬ、譜面情報としての音階、一般的な静止画や動画像、３次元情報としてのポリゴンデータやベクトルデータやテクスチャデータやモーションデータ（動作データ）、可視化数値データによる静止画像や動画像、宣伝や広告を目的としたコンテンツ情報等を含んでいても良く、視覚情報や聴覚情報や文字情報やセンサ情報を含む自然情報により構成されている。
【００４５】
そして、従来から用いられるＭＰＥＧ７などの音素(phone)ラティスを記述する <Spoken Content DS>タグを用いてコンテンツの音声内容を認識して音素列を付与するという方法が提案されているが、この方法はコンテンツ内で生じている音声情報の認識に基づいた記号列により索引付されているため、利用者がコンテンツのタイトルや出演者を音声操作によって検索できるようにするために音素表記や音素片表記といった発音記号や表音記号を用いた表記による情報の提供を行っているわけではない。
【００４６】
このため、コンテンツタイトルや出演者などの名称や表現に関わる不特定単語や固有名詞を必ずしも音声認識に利用できないため、本発明のようなシーンの説明文やタイトルや出演者名称といったコンテンツ情報にかかわる文字情報を音素展開することで併記し、タグの変数や属性としてＭＰＥＧ情報内に音素記号列や音素片記号列や音節記号列をはじめ任意の発音記号や表音記号に基づく識別子を埋め込むことで音声認識への音素認識技術の利用を図ることができる。
【００４７】
つまり、マークアップ言語の音声処理の対象となるタグで囲まれた部分が任意の文字列であれば、その文字列を音素記号列や音素片記号列に展開し音素記号や音素片記号を用いて認識に利用できるようにすると共に、利用者の発話から認識された音素記号列や音素片記号列との一致を評価したり、発話した音素を任意の表音文字に変換したりして表音文字同士の一致を図っても良いし、利用者の発話認識結果にもとづいた音素記号列との一致を評価して、利用者の操作対象や検索対象であるとしてもよい。また、表意記号で記載されているアットマークや鍵括弧といった文字や記号であれば適切な表音記号列による音素記号や音素片記号に変換してもよいし、複数の発話が推測できる文字列であれば、従来の音声認識のように複数の音素列や音素片列や音節記号列を与えていても良い。
【００４８】
そして、認識された音素列や音素片列をクエリとしてデータベースに与えＤＰやＨＭＭ等の記号列マッチング方法により検索し、検索結果に音素列や音素片列を加えて利用者から閲覧できるように一覧として検索結果を提示し、検索結果に含まれる音素列に基づいて商品を選択し、獲得した制御方法から課金や購入手続きを行うための音素列や音素片列を認識に伴い認識辞書から検出することで販売に伴う一連の処理を実施したり、パスワードを利用者発話音声特徴などにより構成された音素認識辞書や画像特徴により構成された指紋や虹彩や顔や掌紋などの認識辞書と組合せることで認証を行い課金したりすることで、物品や権利といった商品やコンテンツ情報の検索・閲覧・販売・認証・課金手続きを実現することが出来る。
【００４９】
このように、コンテンツの再生個所やページや表示個所といった情報内の位置に応じて認識結果として獲得されるべき任意の単語を評価するために必要な表音記号に基づく識別子や識別子列の認識辞書を切替えることで多彩な利用環境における不特定単語に対する汎用性の高い辞書構成を可能とし、動的に構成される音素や音素片を用いた表音記号による認識辞書に基づいて認識された単語を提示したり、任意の処理を実施したり、広告のＵＲＬを獲得したり、広告を提示したり、装置を操作したりすることで、利用者にコンテンツや広告の配信において利便性の高い情報の提示の実現やＷｅｂなどのインターネット環境においてＣＧＩ処理のポストやゲットに用いる変数に音素列や音素片列を利用することにより検索条件の指定をして送信したり、Ｗｅｂページ切替えや操作を行ったりすることができる。
【００５０】
なお、日本語を音素に展開する手順はよく知られており、表意文字で得る漢字かな混じり表記を表音文字に変換する「分ち書き」プログラムを用いて「カナ表記」にした後に「カナ表記」にともなう「ローマ字」などの発音記号を用いて音素記号変換や音素片記号変換を実施し認識に用いる記号列を構成する方法があり、同様の手順で音節記号による記載を行う方法もある。
【００５１】
そして、英語であれば英語音素記号や発音記号を用いて音素記号列に変換したり、国際音素記号を用いて音素記号列に変換したりすることが可能であり、任意の言語やその言語に適した音素記号や音素片記号を用いても良く、各種言語において発音辞典もあることから、言語に応じた発音記号に基づいて表音記号による識別子としての音素や表音記号を時系列的に分解した識別子としての音素片、そして、それらの表音記号を数字と対応付けて適当な文字コードにして表記したりすることにより任意の表音記号に基づくマークアップ言語を用いた情報の配信が可能となる。
【００５２】
この際、必要であれば音素記号列を音素片記号列に変換することで、検索における利便性の向上を図っても良いし、環境音識別子や音階識別子、画像識別子、動作識別子をそれぞれの環境音ラティスや音階ラティスとしたり、ＭＰＥＧストリーム中に画像識別子や動作識別子のセクションを設けたり、それらの識別子の呼称に関する発音に基づいて音素列や音素片列を与えても良い。
【００５３】
次に、より具体的な手順について図を用いて説明する。
〔装置構成〕
まず、本発明を適用した場合の情報処理装置１の装置構成について図１を用いて説明する。ここで、情報処理装置１は、通常汎用的なコンピュータや、専用端末、携帯移動端末等の各情報処理機器で実現される装置である。
【００５４】
図１に示すように、情報処理装置１は、制御部１０と、記憶部２０と、通信部３０と、入出力部４０と、操作部５０と、表示部６０とを備えて構成されている。ここで、各機能部は、バスを介してそれぞれ制御部１０に接続されている。なお、操作部５０や表示部６０は任意に取外し可能な装置であってもよい。
【００５５】
まず、通信部３０は、他の装置とＬＡＮ（Local Area Network）や、インターネット等の通信網を介して情報交換を行うための機能部である。ここで、通信部３０は、一般的にイーサネット（登録商標）や、モデム、無線ＬＡＮ、ケーブルテレビ装置といったコンテンツ情報を送信及び／又は受信できる装置により構成されている。
【００５６】
つぎに、入出力部４０は、他の装置や外部から情報を入出力するための機能部であり、例えばマイクやスキャナ、キャプチャボード、カメラ、センサ類等の入力装置や、スピーカやプリンタ、造形装置、表示装置等の出力装置から構成されている。
【００５７】
記憶部２０は、情報処理装置１内における情報を取得して記憶したり、制御部１０により実行されるプログラムが記憶されたりする機能部である。記憶部２０は、半導体記憶素子としてのＲＯＭやＲＡＭ、磁気記憶媒体としてのハードディスクや磁気テープ、光記憶媒体としてのＣＤ（Compact Disk)やＤＶＤ（Digital Versatile Disk）等から構成されている。
【００５８】
具体的には、記憶部２０には、コンテンツ情報２０２と、表音記号変換テーブル２０４と、認識辞書情報２０６とを記憶しており、表音記号付加プログラム２０８と、認識辞書情報更新プログラム２１０と、音声操作プログラム２１２とを格納している。
【００５９】
コンテンツ情報２０２には、外部から通信部３０を介して取得されたコンテンツや、入出力部４０を介して入力されたコンテンツが保存されている。また、表音記号変換テーブル２０４は、コンテンツ情報の中から表音記号に変換される際に参照されるテーブルであり、例えば文字列と音素等の表音記号とが対応づけられて記憶されているテーブルである。
【００６０】
認識辞書情報２０６は、単語と音素列や音素片列等（以下、これら音素列等を表音記号として示す）との関係を記憶している情報である。例えば、図２に示すように、項目「Title」と、対象単語として「お得キャンペーン」と、音素列（表音記号）として対象単語から展開された「o/t/o/k/u/ky/a…」とが対応づけて記憶されている。認識辞書情報２０６は、項目等の他にも例えば「商品名」、「商品の愛称」及び「商品の愛称に基づく音素列」といった固有名詞を登録しても良く、一般的な言語辞書に登録されないような感嘆語や罵倒語を含む単語を音素列や音素片列によって動的に入替えることで多様な認識を実現する認識辞書を構成している。
【００６１】
操作部５０は、ユーザからの操作入力を受信する機能部であり、キーボードやマウスやカメラやリモコン（ワイヤレス含む）といった操作に伴う情報を入力する入力装置等で構成されている。また、表示部６０は、情報処理装置１が出力する情報を利用者ユーザに視認させるために出力する機能部であり、ディスプレイやプロジェクタ等を含む操作に関わる表示をおこなう表示装置を用いて構成されている。
【００６２】
制御部１０は、記憶部２０に記憶されている各種プログラムを呼び出すことにより、プログラムに対応する機能を実現するための処理を実行したり、情報処理装置１の各機能部を制御したりすることを行っている。
【００６３】
制御部１０は、記憶部２０から表音記号付加プログラム２０８を読み出して実行することにより、後述する表音記号付加処理を実現する。また、記憶部２０から認識辞書情報更新プログラム２１０を読み出して実行することにより、後述する認識辞書情報更新処理を実現する。また、音声操作プログラム２１２を読み出して実行することにより、音声操作処理を実現する。
【００６４】
また、制御部１０は、プログラムを実行することにより、音素・音素片認識処理やタグ情報の獲得やタグ識別子の獲得や音素列・音素片列の獲得や利用者発話音声の音素・音素片認識による音素列・音素片列と辞書登録情報に関連付けられた音素列・音素片列の類似度評価により単語の選択を行うことができるとともに、入出力部からマイクを利用して音声波形を獲得し、音声認識に用いたり、スピーカを利用して本発明により獲得した音素列や音素片列を用いて音声合成により利用者に情報を提供したりしても良い。
【００６５】
なお、制御部１０は、通常ＣＰＵ（Central Processor Unit）やＤＳＰ、ＡＳＩＣ等を用いて構成されており、また、これらを任意に組合せて実現することも可能である。
【００６６】
＜動作＞
続いて、情報処理装置１が実行する各動作処理について説明する。
【００６７】
＜表音記号付加処理＞
まず、表音記号付加処理について図３を用いて説明する。図３は、表音記号付加処理を説明するための動作フローであり、制御部１０が、記憶部２０の表音記号付加プログラム２０８を読み出して実行することにより実現される処理である。
【００６８】
まず、制御部１０は、通信部３０により受信されるか、入出力部４０により入力されることにより保存されているコンテンツ情報２０２を取得する（ステップＳ３０１）。
【００６９】
次に、読み込まれたコンテンツ情報２０２から展開対象文字列を検出する（ステップＳ３０２）。ここで、展開対象文字列とは、表示制御方法の変化を識別するための文字列（情報）であり、例えばマークアップ言語の場合を一例に取ると、リンクを示すタグ<A>や、タイトルを示すタグ<TITLE>といったものである。このタグに挟まれた範囲を対象として音素や音素片等の表音記号に展開される展開対象文字列が検出される。
【００７０】
次に、展開対象文字列を発話に伴う発音記号からなる音素列や音素片列（表音記号）に展開する（ステップＳ３０３）。これにより、例えばタイトルやリンク先の呼称が表音記号に変換される。この展開文字列を表音記号に変換する際には、タグに含まれる情報であるALT属性やID属性といった他の属性を参照することで文字列を獲得し、音素列や音素片列へ変換することで辞書登録するための表音記号列を用いて認識辞書情報を構成したり、画像ファイル名や音楽ファイル名や映像ファイル名や文書ファイル名から音素や音素片列を構成したり、画像ファイルや音楽ファイルや映像ファイルや文書ファイル内に記載されたタグの属性やタグに挟まれた文字列を利用して音素や音素片列を構成したり、タグに挟まれた文字列から音素列や音素片列を構成したり、タグに属性として関連付けられたリンク情報を用いてリンク先にあるファイルの名称やファイルに含まれている文字情報に基づいてタグやタグの属性やタグに挟まれた文字列を利用して音素列や音素片列を構成したり、といった任意の方法を用いることで辞書に登録する表音記号列を構成する方法が考えられる。
【００７１】
具体的には、表音記号変換テーブル２０４を用いて表音記号に変換される。例えば、タイトルタグに囲まれた文字列「メイン」に対して、表音記号変換テーブル２０４を参照し表音記号として「m/e/i/n/」と変換される。
【００７２】
また、このような表音記号への展開を行わなくても既にコンテンツ情報自体のタグとして表音記号展開された属性を与えている場合もあり、認識に用いるための表音記号列による認識表音記号列が構成されていてもよく、例えばコンテンツ情報を獲得するステップS401を実施した後に図４から図７に示されるようなマークアップ言語情報から付随するメタ情報から「pronounce属性」を検出するステップＳ４０２を実施し、検出された「pronounce属性」の変数として記述されている音素や音素片からなる表音記号列を抽出し、抽出された表音記号列と「pronounce属性」が検出されたメタ情報とを関連付けて辞書情報として登録するステップＳ４０３を実施することにより、音声操作プログラムを用いたり、情報処理装置が認識可能な発話音を表記する表音記号列に関連付けられたメタ情報としてのタグやＣＧＩなどを用いる処理内容や遷移先ページを特定したり、することで任意の処理や手順や操作を指定して、動的な表音記号列を用いた認識を実現する。
【００７３】
この結果、表音記号保存処理が実行され表音記号認識に用いる認識表音記号列が保存される（ステップＳ３０４）。表音記号保存処理とは、ステップＳ３０３において変換された認識に用いる表音記号を保存する処理であり、例えば、それぞれのタグに既に属性として記録されている表音記号を抽出したり、タグに挟まれた文字列から展開して新しく属性として表音記号（音素列や音素片列）を追加する処理（ステップＳ３０４ａ）や、それぞれのタグに音声の認識対象であることを示すタグや属性をコンテンツ情報に追加したりする処理（ステップＳ３０４ｂ）や、認識させたい固有名詞を分離し表音記号に変換し認識表音記号列を構成することで認識辞書情報２０６を構成して更新する処理（ステップＳ３０４ｃ）が実行される。これにより、コンテンツ情報と認識に利用したい単語の音素列や音素片列からなる表音記号列としての認識表音記号列とを明確にする処理が実施されることとなる。
【００７４】
そして、制御部１０は、変更されたコンテンツ情報２０２を更新保存したり、関連付けられた認識表音記号列からなる音素や音素片を用いた表音記号認識のための認識辞書情報を更新保存したりする（ステップＳ３０５）。これにより、利用者の発話の認識や通信部経由での配信に変更されたコンテンツ情報を利用できるようにする。
【００７５】
なお、上述した処理は、情報処理装置１が実行することとして説明したが、コンテンツ情報を配信する配信装置（サーバ）側が実行することで受信側の音素列への変換にともなう情報の処理負担を減らすようにしても良い。配信装置側が実行することにより、利用者からのコンテンツ情報の呼び出しに応じて配信装置は音声による制御情報の付随したコンテンツ情報を配信する。したがって、情報処理装置１（端末装置）はコンテンツのページやフレーム応じて分類された音素情報が情報処理装置で獲得可能となり制約の少ない任意単語を音声利用することができるようになる。
【００７６】
ここで、表音記号付加処理を実行した場合の動作例について、図を用いて説明する。まず図４は、情報処理装置１が取得したコンテンツ情報２０２の様子を示した図である。ステップＳ３０１が実行されることにより、通信部３０又は入出力部４０からコンテンツ情報２０２を取得し、記憶部２０に保存する。
【００７７】
そして、表音記号（音素列・音素片列）による評価対象として目的となるタグに関連する情報を検出する（ステップＳ３０２）。なお、図４の情報はステップＳ３０２で抽出処理を実行する場合に、ＲＳＳのアイテムセクションを用いたコンテンツ情報例であり、アイテムセクションから対象文字列を抽出して変換処理を施したものが図５又は図６として記載されている。
【００７８】
そして、取得したコンテンツ情報に含まれるタグの中から、展開対象文字列の対象となるタグが検出されたら、そのタグで指定されている範囲の文字列を検出する。例えば図４ではタイトルを意味するタグ「<title>」から「</title>」までの間に挟まれた「お得キャンペーン」を表音記号列への展開対象文字列として検出する。この際、不要な括弧記号を削除してもよく、この文字列の抽出によって配信側の指定した任意のタイトル文字列を取得できる。
【００７９】
そして、取得できた文字列を確認し、表音記号変換テーブル２０４を用いて文字列の発音に従った表音記号列に変換する。そして、図５に示すように、もともとのコンテンツ情報２０２に記載されたタグに属性や変数として例えば新規にpronounce属性を追加して表音記号列を追記する処理や（ステップＳ３０４ａ）、図６に示すように、<pronounce>〜</pronounce>タグを新たに設定する処理や、表音記号と認識する単語や命令を関連付けて認識辞書情報２０６として保存すると共に、認識辞書情報２０６をコンテンツ情報２０２に認識辞書情報２０６の獲得先としてＵＲＬを<META>タグなどにより記載し関連付ける処理（ステップＳ３０４ｃ）等が実行されコンテンツ情報に表音記号認識に用いる表音記号列情報を追記したり関連付けたりすることが可能となる。
【００８０】
そして、前述の変更を行ったコンテンツ情報２０２を他の端末に直接配信したり、装置内で利用したりすることで表音記号（音素や音素片や発音記号や発音記号片）に基づいた操作を行えることとなる。
【００８１】
また、例えばＭＰＥＧ７では図７のように、「<Pronounse DS>」タグを追加して、コンテンツ種別の音素列を記載したり、背後にある環境音として「Rainsound」が生じていると併記したり、フレーズタグに置ける出演者に関する表記に対して属性として配役名の音素記号列「pronounce=”t/o/m/u”」を加えている。また、ＨＴＭＬではボタンやリンクに関連付けた構成の実施例を提示しており、任意のタグで挟まれた範囲をキーワードとして検索し、コンテンツの閲覧検索に役立てたり、操作のための発音を音素記号列として提供したりしてもよいし、獲得された音素や音素片といった表音記号列を情報処理装置１における音声合成発話のための発話音素や発話音素片の単語辞書に用いてもよい。
【００８２】
このように、表音記号付加処理によれば、取得されたコンテンツ情報に基づいて音声操作を行うための表音記号を付加することで表音記号認識に用いる表音記号辞書に組込むための表音記号列情報を含むコンテンツ情報を構成することができる。
【００８３】
＜認識辞書情報更新処理＞
次に、コンテンツ情報２０２に、すでに表音記号が付加されている場合における認識辞書情報更新処理について図８を用いて説明する。図８は、認識辞書情報更新処理に係る動作フローを示した図であり、制御部１１０が、記憶部１２０の認識辞書情報更新プログラム２１０を実行することにより実現される処理である。
【００８４】
まず、制御部１０は、コンテンツ情報２０２を取得する（ステップＳ４０１）。次に、制御部１０は、読み出されたコンテンツ情報２０２から表音記号列を抽出する（ステップＳ４０２）。本実施形態においては、コンテンツ情報２０２に含まれるタグ（「＜」と「＞」に挟まれた部分）を抽出することにより、表音記号列が含まれているタグを特定し抽出することとなる。
【００８５】
例えば、制御部１０がタイトルタグ「<TITLE>」の「pronounce属性」を抽出することにより、その引数である表音記号として、音素記号列「o/t/o/k/u…」を抽出する。そして、抽出された音素列をページタイトルとして保存するとともに認識辞書情報２０６に登録する（ステップＳ４０３）。
【００８６】
なお、これらの辞書をページの切替えに応じて変化する表示内容にしたがって切替えることで表示内容に無い単語による誤認識を避けることが可能となり音声認識率の改善を図り操作性を向上させても良いし、コンテンツ情報に任意のタグや文字列を用いて関連付けられた辞書情報のＵＲＬなどから必要な音素列を獲得し認識単語や制御方法への関連付けを行う辞書情報を更新しても良い。
【００８７】
また、配信されるコンテンツ情報に音素列や音素片列が記載されていなかったり、関連する音素辞書が関連付けられていなかったりした場合、前述の音素列・音素片列を埋め込む手順に従って音素や音素片の記号列をコンテンツ中から構成し、辞書情報を構築しても良く、構成された辞書情報は同一の単語が用いられているか否かを検出することで利用可能であれば再利用しても良い。
【００８８】
また、制御用認識辞書を構成する場合に音素記号列が変化しない制御命令であれば図９の様に制御命令に関連したＩＤと命令単語と音素列を関連付けた辞書を用いて制御用の命令単語を特定するＩＤを命令弁別用ＩＤとして記載したコンテンツ情報の配信や記憶媒体への記録を実施したのち、通信部から受信したコンテンツ情報や記憶媒体から獲得したコンテンツ情報に関連付けられた情報において音素情報や音素片情報を記載する個所に記載された命令弁別用ＩＤから命令用単語を特定し、特定された命令単語から音素や音素片への変換機能を行うことで音素列や音素片列を構成し認識に用いたり、前記制御命令に関連付けられた音素列や音素片列に基づくハッシュ値を命令弁別用ＩＤに用いたりすることで、冗長になりやすい送信時の音素列表現を短縮し通信効率の改善を図っても良い。
【００８９】
また、記憶媒体や通信手段を経由して獲得され記憶部に保存されたコンテンツ情報２０２に関し、表音記号への変換や追加がなされて無い場合は前述の方法で内容の解釈を行い当該情報処理装置１に応じた識別子列による表音記号へ変換し、既にコンテンツ情報２０２の内容に対して表音記号の記載や変換や更新が既になされている場合はコンテンツ情報２０２の内容に対する変換や更新をしなくてもよい。
【００９０】
また、これらの変換はコンテンツ情報配給者や利用者の状況によりサーバ側で変換して配信しても、クライアントで受信したものを適宜変換しても、装置単体で外部の記憶媒体から獲得した情報を自装置で利用可能なように変換しても、ゲートウエイやルータなどの中継手段を用いて変換しても良い。
【００９１】
＜音声操作処理＞
次に、音声操作処理について、図１０を用いて説明する。まず、制御部１０は、通信部３０又は入出力部４０に取得されたコンテンツ情報や、記憶部２０に保存されているコンテンツ情報２０２を取得する（ステップＳ５０１）。
【００９２】
次に、取得されたコンテンツ情報から、音素や音素片などにより構成された表音記号を抽出する（ステップＳ５０２）。そして、抽出された表音記号に基づいて認識辞書情報２０６を更新登録する（ステップＳ５０３）。
【００９３】
次に、利用者からの発話に基づく音声入力が入出力部４０からあるまで待機する（ステップＳ５０４；Ｎｏ）。ここで、利用者から音声入力がなされると（ステップＳ５０４；Ｙｅｓ）、制御部１０は入力された利用者の音声の特徴量を抽出する（ステップＳ５０５）。そして、抽出された特徴量から音素や音素片といった表音記号を認識し、表音記号に変換する（ステップＳ５０６）。
【００９４】
そして、ステップＳ５０６において変換された表音記号と、先に認識辞書に登録された表音記号とがどの程度一致しているかを判定する一致評価を実行する（ステップＳ５０７）。この一致評価は本装置の記憶部に記憶されている音響や音声の標準モデルや標準パラメータや標準テンプレートとの一致度を評価関数によって評価し評価結果としての表音記号を特定する。そして、一致評価に基づいて特定された表音記号を時系列的に複数得ることで表音記号列を特定する。そして、特定された表音記号列に一番類似度の高い表音記号列を表音記号の認識結果とし、認識結果に関連付けられた情報に伴い、装置操作や検索処理を実行する（ステップＳ５０８）。
【００９５】
ここで、認識結果に伴う処理とは、例えば本発明を用いた表音記号列の認識によって実現される固有名詞を伴う文字列の生成や各動作命令や情報もしくは商品に関する検索の実行や表音記号列の認識に伴い特定された一連の利用者への情報提示や利用者の指示ずる操作等である。具体的には、ウェブブラウザのページ切替えやテレビやビデオの操作、ロボットやナビゲーション装置やコンピュータや映像音響機器もしくは調理器もしくは洗濯機もしくはエアコンといった家電の音声や文字や画像や映像による応答、検索条件の指示、情報処理装置が提示する情報の保存や変更や登録や削除、認識結果に伴う広告や番組内容の指定や閲覧、キーワードや発話特徴による個人認証といった一連の処理や操作である。また、顔や指紋などの画像認識辞書と音素や音素片による表音記号列を用いた固有名詞を伴う認識辞書と話者ごとの音素や音素片に基づく音響モデルとを関連付けることで合言葉による個人認証を行っても良く、認証に伴い課金やサービスの選別を行うことが出来る。
【００９６】
具体的には、利用者からの質問に答えるための音声合成に先ほどの認識辞書で登録されている音素列や音素片列による単語を発話させることで、認識可能な単語を明示したり、認識結果に応じて任意の操作を実施したり、認識結果に応じて認識された文字列や単語列を提示したり、音素列や音素片列に関連付けられた広告を行ったりすることが、従来の音声認識技術との組合せにより出来るようになる。
【００９７】
そして、次の音声入力を実施するか否かを判断する（ステップＳ５０９）。ここで、再度音声入力がされる場合は（ステップＳ５０９；Ｙｅｓ）、音声が入力されることを待機する処理としてステップＳ５０４に処理が戻る。また、音声の入力がされない場合（ステップＳ５０９；Ｎｏ）、次のコンテンツ情報を獲得するか否かを判断する（ステップＳ５１０）。ここで、次のコンテンツ情報を獲得する場合は（ステップＳ５１０；Ｙｅｓ）、新たにコンテンツを獲得するためにステップＳ５０１から処理を繰り返し実行する。また、新たにコンテンツ情報を獲得しない場合には（ステップＳ５１０；Ｎｏ）、処理を終了し利用者の発話を待つといった一連の処理を行う。
【００９８】
すなわち、本発明を利用する装置は獲得されたマークアップ言語による情報から音素や音素片といった表音記号による識別子や識別子を特定するための特徴量を用いて利用者が音声操作を行える箇所をマークアップ言語情報から獲得するとともに、必要であれば指紋や表情や掌紋などの画像や動作に関連する任意の識別子を獲得し組合せることで個人認証などに利用したり、認識によるエージェントやロボットの対応動作に利用したりすることもできる。
【００９９】
そして、利用者の発話や入力により得られた識別子や特徴量によって従来マウス操作で行われる選択処理を実施し、テーブルタグの任意の行や列、リンクや操作ボタンにフォーカスを与えたり、カーソルをオーバラップさせたり、これらの操作に伴うイベントをオペレーティングシステムからブラウザへ発行したり、赤外線やＬＡＮや電話回線等といった通信手段を用いて他の装置を制御したり、認識された単語に応じてエージェントやロボット対応動作を変化させたりすることで、音素や音素片と言った表音記号列の認識に伴う一連の処理を実施することができる。
【０１００】
そして、ステップＳ５０１により獲得されたコンテンツ情報は、タグ内の「pronounce」属性情報を検出（ステップＳ５０２）し、認識辞書情報２０６に登録（ステップＳ５０３）する。このとき、認識用の表音記号列がどのようなタグと関連付けられているかを同時に登録することで、画面構成情報の表示位置や表示項目を前後のタグとの組合せによってブラウザにおける各タグを処理する際の表示位置を特定したり、ＭＰＥＧ７などにおけるコンテンツ情報中のシーンやタイトルや時系列位置を示すタグとの関連付けによってシーン位置を特定したり、地図情報を表記するＸＭＬなどによって緯度経度による空間位置情報や地名や地域の情報や店舗の情報と関連付けたりすることで物理的な位置を特定したりできるようになる。
【０１０１】
続けて、図１１から図１４を用いて音声操作処理の動作例について説明する。利用者が「一行目、起案者」と発音した場合テーブルタグのカラム選択において最上位の行に記載されたテーブルタグのpronounce属性を用いてi/ch/i/gy/o/u/m/eとk/i/a/n/sh/aといった音素列と利用者の発話音素との一致を認識辞書から確定する。この結果、発話の音素列にあった「起案者」列を選択し、行を指定するタグにある「一行目」を選択することで「一行目」の「起案者」が選択される（ステップＳ５０６）。
【０１０２】
また、図１１にあるＨＴＭＬのそれぞれの送信ボタンに属性として設けられた音素列が検出された場合はフォームタグの指定に従っての送信を行ったり、利用者発話の音素列を認識し「ts/u/g/i/e」との一致度が高ければリンク先へ移動したりすることでウエッブブラウジング処理を行うことが出来る。そして、ページ間の移動の際に「移動しますか？」といった質問を利用者に音声や文字列や画像や映像によって提供する（ステップＳ５０６）といった利用者への応対を伴うエージェントやロボットなどの対話処理を行っても良いし、顔や指紋などの画像認識辞書と音素や音素片による表音記号列を用いた固有名詞を伴う認識辞書と話者ごとの音素や音素片に基づく音響モデルとを関連付けることで合言葉による個人認証を行っても良い。
【０１０３】
次に、利用者から見た場合のブラウザ画像を提示して説明すると図１１をＨＴＭＬブラウザで表示した場合、図１２のようになる、ここで「イチギョウメ」という発話をすると属性の「i/ch/i/g/y/o/u/m/e」というpronounce属性の音素列にしたがって、図１３のように一行目にフォーカスＢ３００が設定され、「ショウサイ」という発音にしたがってpronounce属性の音素列が「sh/o/u/s/a/i」と記載されているボタンＢ３０２に対し図１４のように選択された後にクリック処理が実施されフォームが送信される（ステップＳ５０６）。
【０１０４】
この際、詳細ボタンがたくさん表示されると、どのボタンかわからなくなるので「装置側から何行目ですか？」とアナウンスしたり「起案番号は幾つですか？」と利用者に提示した内容から容易に類推できる対象の音素列や音素片列を取得できるように質問したりすることで音声や表示によるインタラクティブな処理を実施しても良いし、それらの発話内容を単語や発話記号列やボイスＸＭＬで提供してもよい。
【０１０５】
このようなイベントを受け取ったブラウザはそれらのイベントに従って事前に設定されている処理を実施し、例えばＨＴＭＬにおける<a>タグであれば、指定のリンク先へアクセスし任意のウエッブページや画像や映像や音楽や商品情報を獲得したり、「<INPUT TYPE="button">」や「<INPUT TYPE="submit">」、「<INPUT TYPE="image">」、「<BUTTON TYPE="〜">」といった操作入力タグであれば該当のボタンや画像が押下された状態へＨＴＭＬ処理を遷移させたり、「<FRAME>」タグであれば、フレームの名称に従ってフレームの選択を行ったり、「<SELECT>」タグであれば、利用者の発話した音素、音素片による発音記号列のあるセレクトタグにフォーカスを移し、オプションタグの中から選択候補を構成し、任意の項目を選択したり、「<HR>」や「<A NAME="">」タグであれば、そのタグに変数や属性として関連付けられた音素や音素片による発音記号列を用いて関連するタグのある目的の行までスクロールしたり、「<TITLE>」タグであればタグで挟まれた範囲を発音記号列に展開するとともに自身のＵＲＬと関連付けてブックマークに記憶するといった処理が実施できる（ステップＳ５０６）。
【０１０６】
もちろん、これらの表音記号による認識はスクリプトなどと連携してこれらの処理を実施してもよいし、「<EMBED SRC="">」や「<OBJECT>」、「<APPLET CODE="">」などのタグによって任意の拡張機能を追加し、それらのプログラムへの変数や属性として与えたり、それらを外部から操作するための命令や表音記号である音素や音素片や発音記号による識別子列や特徴量に用いたり、スクリプトと連携して利用するための情報に用いたり、スクリプトの制御条件に用いたりしても良い。
【０１０７】
また、例えばＸＭＬやＲＤＦを用いたＲＳＳやＭＰＥＧ７であれば、図４のようなアイテムセクションを選択対象とするために図５のような変数や属性の追加や図６のようなタグの追加による変更を加える方法をとっても良く、ＲＤＦの「Dublin Core」に基づく要素タイプに「pronounce」要素を追加して、音素や音素片によるシーン名や役者、配役名の呼称表記を行ったり、「img-type」や「img-position」要素を追加して画像の表示位置や特徴量を記載したり、「motion」要素を追加して画面内の動作を表記したり、「env- sound」要素を追加して環境音識別子や特徴量を記載したりしても良い。
【０１０８】
また、図１１では表音文字であるカナ発音のための音節表記用のタグや音素用のタグを示しているが、これらのタグは音素片、入力映像による画像識別子などであってもよく、例えば、利用者の音声や表情から怒っていることが認識された場合や画像内から特定の識別子が検出された場合に処理されるスクリプトや内容の提示、リンク先への移動といった処理を実施してもよい。
【０１０９】
そして、これらのタグや属性、要素は一般的に解釈する装置において文字列の一致により評価され、それらの文字列にあわせて情報処理装置内に収録された処理を実施する関数やプロセスやプログラムやサービスにそのタグや属性に基づく情報を提供する。
【０１１０】
なお、音素や音素片の認識関数に対しては音素列や音素片列を提供して認識対象辞書に登録したり、他の識別子や特徴量であれば、検出結果としての評価係数を変更したり、周辺機器への指示情報の出力を行ったり、異音同義語を辞書構成により用意したり、異音同義語を辞書登録するために表音記号列を記載する属性に複数の表音記号列を境界記号で弁別できるようにして記載したり、認識によって得られた結果を補正する処理を実施したりしてもよい。
【０１１１】
また、単純に表示する文字列を発音タグで挟んで発音対象として指定して漢字かな混じり文や英文、中文といった他言語の文字列を発音のための表音記号を用いて音素や音素片による記号列に変換して認識や命令制御、検出、検索に利用してもよいし、表音記号をアルファベットにより表記するばかりではなく、アスキーコードやエビセディックコードのような数値に置き換えてマークアップ言語内に記載しても良い。
【０１１２】
また、このような方法で単語に関連付けられた特徴量や識別子に関連する映像や台詞、画面特徴や表示物体を制御することでＣＧなどにより映画や番組の生成や製作を行うツールに利用しても良いし、コンテンツ閲覧中の発話状況を認識したり、利用者の音声操作による投票や閲覧回数などによる内容評価を用いたりすることで映画や番組とそれらのシーンなどから得られた特徴量や識別子との相関性に基づいて映画や番組を評価しても良い。
【０１１３】
＜サーバ・クライアントモデル＞
なお、上述した仕組みは、マークアップ言語を用いた検索手順をサーバ・クライアントモデルにより実装しても良い。具体的に図１５にサーバ・クライアントモデルにおける処理における状態遷移を示す。
【０１１４】
まず、クライアントとなる端末装置はクエリを生成する。クエリの生成方法は、一般的な文字列入力による方法であったり、音声入力による方法であったり、画像を示してその特徴量をクエリとする方法であってもよい。
【０１１５】
そして、生成されたクエリに基づいてサーバとなる配信装置は適切なものを検索し、検索結果にしたがって配信基地局は端末装置に本発明を用いた検索結果一覧の情報を配信する。そして、端末装置は取得した情報のマークアップ言語を解釈し特定のタグに挟まれている範囲の文字列を音素や音素片などの前述の識別子に変換し、利用者が発話する音声入力情報にしたがって音素や音素片を獲得して音素列や音素片列といった表音記号列を構成し音素列や音素片列に基づくマッチング処理を実施する。
【０１１６】
そして、一致度の高い操作やキーワード、識別子列にしたがってそれぞれの処理を行ったのちに、指定された識別子列によるクエリを構成するとともに、それらのクエリを配信基地局に送信し検索を実施することで、マークアップ言語を用いた音声制御を伴う検索を実施する。この際、構成されたクエリは装置単体での検索に利用しても良い。
【０１１７】
なお、図１６では端末側でのマークアップ言語解釈により音声処理のための音素や音素片などの識別子記号列の挿入や設定を実施しているが、配信側サーバで識別子記号列を挿入したり、事前に手入力により挿入したり、配信基地局側装置やそれらと連携する装置上で識別子を構成し挿入したり、単体の情報処理装置を用いたりすることで本発明を用いた操作や処理を実現するための変数や属性の追加やタグの追加、マークアップ言語情報の内容の変更を行ったり、識別子や特徴量に関連した辞書の変更や追加、削除を行っても良い。
【０１１８】
また、本発明により生成された新しい識別子の組合せに関し、任意の名称に基づく単語を与えて検索を実施したり、任意の名称に音素や音素片による記号列を与えて音声制御に対応したり、操作のためのキーワードとして音素や音素片による記号列を与え操作できるようにしたりしても良いし、このような発音記号列を広告に関連付けたり、アドバタイズ属性を追加して関連する広告のＵＲＬを発話記号属性と同一タグ内に表記することで広告と発話記号列とを関連付けたりしても良い。
【０１１９】
また、ブラウザ内で表示された画像に関する識別子や制御対象となるキーワードの音素や音素片に関して、識別子列や識別子列を圧縮した記号列やＩＤを用いることで端末に利用しやすく変換して必要な情報を送り、マークアップ言語を解釈せずに装置での音声利用を行うことも容易に考えられ、それらの辞書情報をリモコンや携帯電話において通信回線経由で取り込んだり、メールで獲得したり、他の装置からダウンロードすることで利便性の高い操作環境を構成しても良い。
【０１２０】
また、ファイル名を音素列で記載することでファイル名に基づいた認識辞書を構成しても良いし、音素列・音素片列によりファイル名を設定して音素・音素片認識でマークアップ言語内の情報を選択できるようにしてもよいし、認識に伴い證券番号や企業名による株価検索やＪＡＮコードによる商品検索ばかりではなく商品名や出演者名や会社名や地域名による検索を行い、多様なサービスを実施しても良いし、位置や装置に応じて音素辞書を変更したりページに応じて音素辞書を変更したりコンテンツの画像やページ単位の文章や文章構成におけるフレームや動画像の1コマとしてのフレームや動画像の複数フレームにまたがるシーン単位に応じて音素辞書を変更したりしても良い。
【０１２１】
また、図１７のようにＲＩＦＦ形式のようなチャンクヘッダを持つ情報形式に対して本発明による索引付けを行うのであれば、チャンクヘッダとして「ＰＲＯＮ」といったタグを任意に設けて音素列や音素片列を表記しても良く、その内容は通常ファイルであればファイル名や製作日時、製作者といった一般的なメタデータを記載したり、２Ｄ・３Ｄの画像であれば表示物体や人物の呼称や部品の呼称に伴う音素・音素片を記載したり、音声ファイルであれば出現音声の音素・音素片を記載したり、音楽ファイルの歌詞やタイトルを音素・音素片で記載しても良いし、自由記載エリアに音素・音素片を記載しても良いし、検索に利用したりしても良い。
【０１２２】
＜変形例＞
なお、本実施例では表音記号として音素を中心に例を記載しているが、音素部分を音素片に変更したり、音素の種類を国際音素記号や英語、中国語といった異なる言語の音素列に変更したり、認識された画像に基づいた識別子によって丸い画像をコンピュータに提示したのか三角の画像を提示したのかによってマークアップ言語の処理における選択範囲や分岐内容を構成したりしても良いし、提示された写真に基づいて検索を実施したり、写真の特徴量に関連付けられた呼称を音素列や音素片列に展開しマークアップ言語や専用記号列で送受信することで音声による操作を行っても良いし、アスキーコード以外の文字記号化方法であるユニコードやＪＩＳコード、ＩＳＯコードを用いても良いし、音素や音素片に基づいた任意の数値ＩＤを与えた独自文字コード体系を用いても良い。
【０１２３】
また、本発明に用いられる識別子列や識別子は音階種別、楽器種別、機械音種別、環境音種別、画像種別、顔種別、表情種別、人物種別、動作種別、風景種別、表示位置種別、文字記号種別、標識種別、形状種別、図形記号種別、放送番組種別といった識別子を一つあるいは複数の組合せによりそれら識別に用いる呼称に基づいて属性や変数名、識別子を指定してもよいし、識別子列は識別子が時系列遷移に応じて連続的に記載されたものとして捕らえても良いし、それらの呼称に基づいて音素や音素片列に変換して利用しても良いし、ＣＧＩにおけるＧＥＴメソッドやＰＯＳＴメソッドを用いてそれらの識別子や識別子列を送信して検索結果を得ても良い。
【０１２４】
このように、音声に関する特徴量の呼称とそれらの識別子と識別関数、静止画像や動画像に関する特徴の呼称と識別子と識別関数によってマークアップ言語に属性と変数を与えることで音声により操作可能なマークアップ言語を構成できるとともに、このようなマークアップ言語を処理する情報処理装置が提供する表音記号列によって利用者が音声による装置制御を実現できるためコンテンツの検索ばかりではなく公共情報、地図情報、商品販売、予約状況、視聴状況、アンケート、監視カメラ映像、衛星写真、ブログ、ロボットや機器の制御などに応用することが出来る。なお、これらの要求に対して任意のマークアップ言語を用いて検索や処理結果をサーバからクライアントに返信してもよい。
【０１２５】
＜端末及び基地局に用いる情報処理装置の手順例＞
また、本発明は基地局と端末に関わるサーバ・クライアントによる処理システムについても適用可能である。本装置と端末は図１８のように構成され、通信回線を経由して接続し、他の装置から情報を取得したり、他の装置に情報を配信したりすることで、音声操作に関する情報を交換可能とし、利用者の利便性を改善する。なお、ここで用いる共有回線はインターネットばかりではなくＬＡＮや電話回線などの広域通信網や屋内通信網であれば有線無線を問わずに用いても良く、対象となる装置は家電やリモコン、ロボット、携帯電話、通信基地局であっても良く、ウェブサービス、電話サービス、ＥＰＧ配信などのサービスであっても良く、任意の装置やサービスに対して実施できる。
【０１２６】
また、利用者端末と配信基地局と端末や基地局に制御されるロボットなどの装置や制御するリモコンにより構成され、リモコンやロボットは端末の一形態や基地局の一形態として利用されても良く、利用者は端末に対して音声を発話し、端末若しくは基地局で認識処理のために以下にあるような任意の処理手順を実施する。
【０１２７】
第１の方法では、発話により得られた音声や撮像された映像から特徴量抽出を実施し、特徴量を対象となる中継個所や基地局装置に送信し、特徴量を受信した基地局装置はその特徴量に応じて音素記号列・音素片記号列やその他画像識別子を生成する。そして、生成された記号列に基づいて、一致する制御手段を選択し実施する。
【０１２８】
第２の方法は、発話により得られた音声や撮像された映像から特徴量抽出を実施し、端末内で音素記号列・音素片記号列、その他画像識別子といった認識に伴う識別子を生成し、生成された記号列を対象となる中継個所や基地局装置に送信する。そして、制御される基地局装置は受信した記号列に基づき一致する制御手段を選択し実施する。
【０１２９】
第３の方法は、発話により得られた音声や撮像された映像から特徴量抽出を実施し、端末内で生成された特徴量に基づき音素列・音素片記号列、その他画像識別子を認識し、認識された記号列に基づき制御内容を選択し、制御方法を制御する基地局装置や情報配信を中継する装置に対し送信する。
【０１３０】
そして、第４の方法は端末を用いて発話により得られた音声や撮像された映像の音声波形や画像をそのまま制御する基地局装置に送信し、制御する装置内で音素記号列・音素片記号列、その他画像識別子を認識し、認識された記号列に基づいて制御手段を選択し、選択された制御を制御される中継個所や基地局装置が実施するというものである。同様に環境音など音や映像の特徴や識別子についても同様である。
【０１３１】
この際、端末から単純に波形のみを送信したり、特徴量を送信したり、認識された識別子列を送信したり、識別子列に関連付けられた命令やメッセージなどの処理手順を送信しても良く、それらの送信情報にあわせて配信基地局の構成を変更してクライアントサーバモデルを実施しても良く、送信側と受信側が相互に送受信することも可能であり、前述される識別子に関連する画像や音声や動作などの特徴量をマークアップ言語の属性に与えて、利用者側から提供される情報から抽出される特徴量と配信情報から抽出される特徴量との一致度を評価し、検索や認識を行うことで任意の制御や利用者への応対を伴う情報処理を実現しても良いし、顔や指紋などの画像認識辞書と音素や音素片による表音記号列を用いた固有名詞を伴う認識辞書と話者ごとの音素や音素片に基づく音響モデルとを関連付けることで合言葉による個人認証を行っても良い。
【０１３２】
また、入力された音素列や音素片列に基づいて関連付けられた処理手順へ変換する命令辞書は、端末側にあっても配信基地局側にあってもよく、新しい制御命令やメディア種別、フォーマット種別、装置名に関する音素記号列や画像識別子といった記号列を、ＸＭＬやＨＴＭＬのような後述されるマークアップ言語やＲＳＳ、ＣＧＩを用いて情報の送受信や配信や交換を行っても良い。
【０１３３】
より具体的な辞書情報の配信や交換の手順について説明する。まず、特徴量や識別子を抽出したり、評価関数を構成したりすることで、任意の赤外線や無線ＬＡＮ、電話回線や有線ＬＡＮ等を問わず通信回線に接続された環境で他の端末や装置類との情報交換を行う。
【０１３４】
次に、端末側の処理として音素片を用いた場合を例に説明すると、利用者は発話を伴って音声波形を端末と装置に与える。端末側装置は与えられた音声を分析し特徴量に変換する。次に変換された特徴量をＨＭＭやベイズといった各種認識技術により認識し識別子に変換する。
【０１３５】
この際、変換された識別子は音素や音素片、各種画像識別子を示す情報となるが、他にも別記されるように音声であれば音素や環境音や音階であったり、画像であれば画像や動作に基づいた識別子であったりしてもよい。そして、得られた識別子に基づいて音素、音素片記号列による辞書をＤＰマッチングにより参照して任意の処理手順を選択し、選択された処理手順を対象となる装置に送信し制御を実施することで、本発明を利用して携帯端末をリモコンとして用いたり、ロボットによる家電制御を実施したりすることが可能であり、通信先にいる相手との円滑なコミュニケーションを実施するための発話音表記の表示や点字出力部を設けて障害者との対話装置なども構成しても良い。
【０１３６】
このような手順で処理された情報は端末側のＣＰＵ性能によって、動画や音声といった自然情報から特徴量への変換をせずに元の情報のまま送信したり、特徴量への変換で留めて送信したり、識別子への変換で留めて送信したり、制御情報の選択まで行ってから送信したり、任意の変換水準を選択することができ、受信側は任意の状態から情報に基づいて処理可能な受信側装置として構成され、獲得した情報に基づき配信局や制御装置に送信したり、獲得した情報に基づいて検索や記録、メール配信、機械制御、装置制御といった任意の処理を実施しても良い。
【０１３７】
そして、検索処理に用いるために、適宜クエリとなる識別子列や文字列、特徴量を認識により獲得し、配信側基地局に送信し、そのクエリに従った情報を入手する。この際、通信の待ち時間や検索の待ち時間に宣伝や広告を表示しても良く、音声による制御を行う際は通信により制御項目の選択が出来るようにするために制御辞書を構成し相互に辞書情報の交換・獲得を行い、その手順はＰ２Ｐ技術を利用して行っても良いし、それらの情報を販売、配布しても良い。
【０１３８】
また、この制御命令辞書は音素や音素片といった前述されるような任意の識別子や特徴量と装置制御情報で構成することにより自由に内容を更新して再利用できるようにすることが可能であり、任意の識別子と特徴量を関連付けた検索のための辞書情報を入れ替えたり再構成したりすることで、流行の検索キーワードを更新出来るようにしてもよいし、これらのコンテンツ情報の位置や構成に応じて変更される認識辞書情報は顔認識するための辞書や指紋認識するための辞書や文字認識するための辞書や図形認識するための辞書であってもよい。
【０１３９】
なお、制御命令辞書は従来の赤外線リモコンで制御できる製品に送信するための赤外線制御情報が装置制御情報として選択されたり、それらの制御情報の組合せにより一連の作業をバッチ処理のように連続的に実施したり、装置のＣＰＵ性能に応じて識別子を認識せずに特徴量情報のみを音声対制御応情報処理装置に送信するようにしてもよい。
【０１４０】
このような方法で音声制御が出来ない従来装置に対しても赤外線リモコンによる制御を組合せることで音声情報から変換辞書経由で赤外線リモコンの信号を提供したり、音声制御の可能な装置であれば、特徴量や音声波形に基づいて命令を認識し制御したりすることが出来るとともに、性能改善に伴う制御用辞書の変更を実施することや、制御用辞書のバージョン情報と確認するといったことや、装置の状態がどのようになっているかを確認することができる。
【０１４１】
また、このような方法でサーバ・クライアントモデルを導入し、任意の処理ステップでサーバとクライアントに分割して通信で結びサーバ・クライアント間で任意の情報を交換することにより同等のサービスやインフラ、検索、索引付けを実現することができる。
【０１４２】
また、顔や指紋や音声特徴の認識による個人認証を併せて行うために、音素認識辞書情報に個人の音声特性に合わせた音響モデルや標準パラメータや標準テンプレートを用いた音素認識辞書を利用することで、画像や音声を伴う認識辞書を利用者に応じて変更可能し、汎用性の高い個人認証を実現すること可能となる。したがって、課金を行ったり、鍵の施錠や開錠を行ったり、サービスを選択したり、利用の許諾を行ったり、著作物の利用を行ったりといった各種操作や操作を用いるサービスが本発明を用いて認識を行う情報端末を利用して実現できる。
【０１４３】
また、本発明を用いて認識を行う端末を利用して、通信先にある基幹サーバからＤＶＤレコーダやネットワークＴＶ、ＳＴＢ、ＨＤＤレコーダ、音楽録再装置、映像録再装置といったクライアント端末によって獲得された情報を赤外線通信やＦＭやＶＨＦ周波数帯域通信、８０２．１１ｂ、ブルートゥース（登録商標）、ＺｉｇＢｅｅ、ＷｉＦｉ、ＷｉＭＡＸ、ＵＷＢ、ＷＵＳＢ（Ultra Wide Band）などの無線通信を経由して携帯端末や携帯電話に情報を提供することでＥＰＧやＢＭＬ、ＲＳＳ、文字放送によるデータ放送やテレビ映像、文字放送を携帯端末や携帯電話で利用できるようにしたり、音声入力や文字列入力、携帯端末や携帯電話を振り動かす操作により情報端末や家電や情報機器やロボットの操作や制御手順の指示を行ったり、携帯端末や携帯電話を一般的なリモコンとしてクライアント端末から家電や情報機器やロボットの操作や制御手順の指示を行ったりといった遠隔操作を行っても良い。
【０１４４】
また、マークアップ言語により構成された情報におけるＨＴＭＬのＦＯＲＭタグといった入力項目に関連付けられて抽出された属性に基づいた音素辞書が認識辞書情報２０６に事前に登録されている場合、認識の優先順位を事前に登録された音素辞書に変更しても良いし事前に登録された辞書を用いて認識対象を限定しても良い。
【０１４５】
また、マークアップ言語により構成された情報の属性変数に基づいた音素列や音素片列といった表音記号列に関し、同時に認識される可能性のある音素列や音素片列表音記号列を複数併記することで認識辞書情報２０６を複数で構成し、同一の属性変数を持つ入力項目に関して同一の認識辞書情報２０６を利用するように構成しても良い。
【０１４６】
また、属性変数に音素列や音素片列や表音記号列を複数用いて認識される可能性のある単語を複数表記しても良く例えば任意の単位といった助数詞が音素列や音素片列や表音記号列として表記されている場合、認識辞書情報２０６を数詞専用に切替えたり、メニュー項目に応じた専用辞書に切替えたり、地名や駅名といった限定的固有名詞辞書に切替えたりするといった方法を用いても良い。
【０１４７】
また、マークアップ言語に基づく表示に用いるべく選択された文字コードに応じて、音声波形から音素や音素片といった表音記号による識別子へ変換を行うステップ（Ｓ５０６）に用いられるベイズ識別関数やＨＭＭに用いる標準パターンや標準テンプレートといった学習結果として得られる値や固有値・固有ベクトルによる値や共分散行列による値を言語ごとに複数用意し、表示がロシア語ならロシア語標準テンプレート、表示が中国語なら中国語語標準テンプレート、と切替えることにより多言語に対応しても良いし、利用者の情報処理装置もしくはオペレーティングシステムもしくはブラウザ固有の言語環境に関する情報を取得することにより認識に用いる標準テンプレートを多言語から選択しても良い。
【０１４８】
また、利用者の指定により、例えばロシア語話者が中国語を発話した場合の標準テンプレートといった利用者の母国語・母語と利用する装置環境で認識される言語との違いで生じる訛りや方言に対応するように標準テンプレートを選択出来るようにシステムを構成しても良く、利用者の発話から訛りや方言などを学習しテンプレートを構成できるようにしてもよい。
【０１４９】
また、属性変数に応じてクッキーやセッションの内容を音素や音素片による表音記号列に変換して認識辞書情報２０６を切替えるといった方法を用いても良いし、音声から認識された音素列や音素片列といった表音記号列や音声から抽出された特徴量をＡＪＡＸといったスクリプトを用いる手法やＣＧＩ（Common Gateway Interface）のパラメータとしてステータスや環境変数を伝達する手法やプログラムによるソケット通信といった任意の変数伝達手段によって基地局に送信し、基地局側で受信した音素や音素片からなる表音記号列や基地局側で受信した音声特徴量に基づき認識された音素列や音素片列といった表音記号列を用いて利用者の発話を弁別し任意の処理を行ったり、検索条件を構成してコンテンツ情報や広告情報や地域情報の検索処理を行ったりしてもよい。
【０１５０】
そして、それらの表音記号列の認識処理に伴って変化する端末装置の絵、文字、アイコン、ＣＧ（Computer Graphics）をはじめとした表示情報もしくは音楽、警告音をはじめとした出力音情報もしくはロボット、機械装置、通信装置、電子機器、電子楽器をはじめとした装置類の動作制御情報もしくは音声や静止画像や動画像などを認識するための認識辞書情報２０６もしくは映像や音声や画像から特徴抽出するためのプログラム、スクリプト、関数式などの処理手順情報といった任意の情報を組合せてそれらを更新するための情報送信を基地局から行ったり、端末装置内で自律的に任意の処理を実施したりしてもよい。
【０１５１】
また、認識結果として取得された音素や音素片と言った表音記号に関して複数のフレームに分割され時系列的に連続した認識結果を得る場合において、複数フレームにまたがる複数の音素や音素片に対する認識結果として獲得された入力音声と音素や音素片といった表音記号との距離情報などを特徴量として利用しベイズ識別関数のパラメータを構成したり、時系列的に縮退させるために複数のフレームにまたがる複数の音素や音素片に対する認識結果として獲得された距離情報を用いてＨＭＭのパラメータを構成したり、複数フレームにおける認識結果によって第一位と評価された識別子をＤＰ等で評価したりすることで従来の音声認識に用いられた技術と組合せて動的な音声認識を構成したりしても良い。
【０１５２】
より具体的には、まず、コンテンツ情報を取得するステップ（Ｓ４０１、Ｓ５０１）によってマークアップ言語情報を獲得し、マークアップ言語情報からタグを検出しタグからタグ属性を検出するタグ属性検出手段とあわせて検出された属性に関連付けられる表音記号列を抽出する表音記号列抽出ステップ（Ｓ４０２、Ｓ５０２）を実施し認識に用いる表音記号列として認識辞書情報２０６へ登録するステップ（Ｓ４０３、Ｓ５０３）を実施する。これらのステップ（Ｓ４０１からＳ４０３、Ｓ５０１からＳ５０３）は文字列の評価処理や検出処理により製作できるが従来の音声認識システムや音素認識による検索や音素列認識によるＷＥＢブラウザやインターネット環境で行われる操作や検索やコンテンツ情報の閲覧において用いられてはいない。
【０１５３】
次に、話者の音声入力を待つステップ（Ｓ５０４）を実施し、音声入力の開始に従って演算部で実施される特徴量の抽出を行うステップ（Ｓ５０５）を実施し、音素認識及び／又は音素片認識をはじめとする表音記号認識プログラムに基づいて表音記号の認識による特徴量から識別子への変換を行うステップ（Ｓ５０６）が実施される。このステップ（Ｓ５０６）は距離評価関数や統計的検定手法を用いたり、多変量解析を利用した学習結果を用いたり、ＨＭＭのようなアルゴリズムを用いたりすることが一般的に知られている。そして、認識された表音記号に基づいた時系列的な連続により表音記号列が構成される。
【０１５４】
次に、構成された前記表音記号列とマークアップ言語のタグに付随した属性から抽出された表音記号列による認識辞書情報２０６とを比較し認識辞書情報２０６内を検索することにより、表音記号列同士の一致度合を評価するステップ（Ｓ５０７）を実施し、認識対象として妥当であるか否かを評価する。この認識対象であるか否かを判断するための比較はＤＰやＨＭＭやオートマトンといった記号列比較評価に利用可能なアルゴリズムを任意に用いてもよいし、それらを多重化して階層化処理による認識を実現してもよく従来から多様な方法が発明・考案されている。
【０１５５】
この結果として認識辞書情報２０６から特定された表音記号列に関連付けられる文字列やＩＤといった識別情報に基づいて、文字列を表示したり、任意の処理を実行に移したり、情報を交換したり、イベントを発生させたり、ステータスを変化させたり、任意の動作を機械装置に行わせたりすることで、表音記号を用いた認識処理が実現され任意の処理を実行するステップ（Ｓ５０８）が実施されることにより、従来の文法依存や静的な登録単語依存とは異なる音声を用いた情報処理が実現可能となる。
【０１５６】
この際、前記表音記号列による認識辞書情報２０６を複数持つとともに前記タグ属性検出手段により検出された入力項目を弁別するための種類情報に基づいて表音記号列との一致を評価するステップ（Ｓ５０７）で用いる認識辞書情報２０６を切替ながら認識対象となる入力項目の属性に応じて選択される認識辞書情報２０６に登録された表音記号列と音声波形から獲得された表音記号認識結果との記号列比較評価によって一致度評価を行うときの認識対象となる認識辞書情報２０６に含まれる表音記号列を限定し認識効率を改善することができる。
【０１５７】
そして、情報処理装置が入力すべき項目に応じて音声入力を評価する認識辞書情報（２０６）を切替える場合、属性の名称や属性に関連付けられた単語の認識辞書情報（２０６）を適切に選択するために、属性から獲得された情報が「書籍」であれば単位の「冊（s/a/ts/u｜v/o/ly/u/m）」といった助数詞を用いるとともに助数詞に応じた「数詞（number）」に関連付けられる表音記号列を用いた認識辞書を認識された表音記号列の検索対象に選択するようにしたり、属性から獲得された情報が「駅名」であれば接尾語としての「駅（e/k/i｜s/u/t/e/i/sh/o/n）」と「駅名として使用される名詞群」に関連付けられた表音記号列を用いた認識辞書を認識された表音記号列の検索対象に選択されるようにしたり、属性から獲得された情報が郵便番号や電話番号であれば単純に数詞の表音記号列を用いた認識辞書を認識された表音記号列の検索対象に選択されるようにしたりすることで、特定の枠組みに含まれる名詞群を用いて認識対象を制限することにより利用者に対して入力対象となる項目に関連付けられた属性に従った複数の認識辞書情報２０６の切替を実施し、認識された表音記号列の検索対象になる認識辞書情報２０６を属性に基づいて分類することにより認識性能の改善を図ることも出来る。
【０１５８】
また、情報処理装置が入力すべき項目を音声入力の行われる順序や未入力の項目選別に従って属性の名称や属性に関連付けられた単語の音声出力をすることで、利用者に対して入力対象となる項目を促しながら複数の認識辞書情報２０６に対して切替を実施し、分類する属性に基づいて認識性能の改善を行っても良い。
【０１５９】
そして、継続する音声があれば従来の処理を繰返すステップ（Ｓ５０９）や年季認識に伴う処理ステップ（Ｓ５０８）や他の外部操作に伴う装置内のステータスの変化に応じて次のコンテンツやマークアップ言語を取得するか否かを評価するステップ（Ｓ５１０）が実施され、状況に応じて本処理は終了する。
【０１６０】
なお、装置内のステータスの変化はマルチスレッドプログラムや、他のプログラムの一部として機能する際に他のプログラムやプロセスによって値が変化し、マルチスレッド型のプログラムやイベントドリブン型のプログラム等に用いると仮定すればわかりやすく、同様に本発明の任意処理で他のプロセスや他のプログラムのためにステータスを書き換えたり、イベントを発生させたりすることも考えられる。
【０１６１】
また、本発明の方法を利用してマークアップ言語の指定によって表示される文字列もしくは表示される画像や画像の特徴に関連付けられた文字列もしくは出力される音声・音楽等や音声・音楽等の音響特徴に関連付けられた文字列といった各種文字列を表音記号列に変換し辞書登録することで表示される任意の情報を利用者の入力音声や文字列によって表音記号列の検索により検出し、検出された情報に関連付けられたコンテンツ関連情報や広告や映像やリンクのような任意情報所在個所に関する情報や音楽や音声に基づいて利用者の操作などにより情報の提供を実施できるとともに、これらの入力は音声やテキスト入力ばかりではなくメニューなどのリストから文字列を選択したり、ボタン操作におけるボタンのラベルによる文字列を用いたりして行なわれても良い。
【０１６２】
また、下記例のように
（例）
< img href=”./flower_lily1.jpg”
recog_dic_type=”flower_name” recog_dic_url=”./flower.prono”
name=”lily” prono=”l/i/l/i/y”>
タグに含まれる表音記号辞書に関わる属性に応じて表音記号を読込む際に表音記号辞書の所在を示すＵＲＬやＵＲＩ、ＩＰアドレス、ディレクトリパスなどの情報によって表音記号認識辞書や表音記号列辞書といった情報の位置や場所を示す ”recog_dic_uri” といった属性による情報を用いたり、”recog_dic_type”のように辞書で認識する対象の種類を示す情報を用いたりすることによって再利用頻度の高い表音記号辞書などを区別することで表音記号列による辞書情報や認識用音響特性テンプレート辞書情報をマークアップ言語から獲得される属性に関連付けて提供してもよい。
【０１６３】
また、過去に読込んだ辞書情報を一般的にキャッシュと呼ばれる方法である程度保存しておき、前述の属性が特定の単語範囲を示す場合に辞書の優先順位を上げて再度読み込む手間を省いてもよいし、スタイルシートのように別ファイルとしてページごとに読込んでＩＤなどにより関連付けた表音記号辞書を組込んでもよいし、ヘッダーブロックに記載してＩＤで関連付けた表音記号辞書を組込んでも良いし、タグごとに属性として与えた表音記号辞書を組込んでも良いし、ファイルや通信回線経由の読込み時におけるヘッダ情報に表音記号辞書を含ませても良く、表音記号列テンプレート辞書として利用することも出来る。
【０１６４】
また、音声にテキストデータを埋め込める「音響ＯＦＤＭ」を用いて音声波形情報に表音記号列を埋め込んでも良いし、埋め込まれた表音記号列や関連するマークアップ言語情報を復元して音声データ内の表音記号検索や関連する情報を字幕などにより表示したりするために利用してもよいため、ラジオやテレビなどの極めて一般的な音声データから復調された表音記号列を検索に利用することも出来る。
【０１６５】
また、表音記号認識によって獲得された表音記号列を用いて、検索対象として検索される表音記号列によって索引付されたデータベースは、複数のキーワードに基づく表音記号列の論理的な間に基づく組合せであってもよく、ブーリアンモデルにより論理性を表記できる構成であっても良く、それらの組合せによってクエリを構成しデータベースに提供し検索結果を獲得することが可能である。
【０１６６】
このようにして、従来の単語と音声特徴群をＨＭＭなどにより確率的に結びつける方法とはことなり、本発明は表音記号と音声特徴をベイズ識別関数などによる確率に基づく距離によって関連付けることにより表音記号列を獲得し、獲得された表音記号列と単語文字列とをマークアップ言語を介して直接関連付ける方法によって、従来の一般的な認識に比べ認識対象となる単語に制約を加えて効率的な認識を実現することを可能とするための辞書情報の動的な提供をマークアップ言語で実現することが可能となるとともに、クエリに直接単語を利用せずに表音記号列を用いたり音素や音素片記号列を用いたりすることでＨＭＭやＤＰのマッチングを用いるデータベースを構成し検索を行っても良い。
【０１６７】
また、発話音素や発話音素変といった表音記号による属性ばかりではなく画像識別子や画像認識後の識別子や画像関連特徴量や動作特徴量や動作識別子などを属性として用いても良い。
【図面の簡単な説明】
【０１６８】
【図１】本発明を利用した情報処理装置のブロック図。
【図２】認識辞書情報のデータ構造の一例を示した図。
【図３】表音記号付与処理の動作フローを示した図。
【図４】表音記号付与処理の動作を説明するための図。
【図５】表音記号付与処理の動作を説明するための図。
【図６】表音記号付与処理の動作を説明するための図。
【図７】表音記号付与処理の動作を説明するための図。
【図８】認識辞書更新処理の動作フローを示した図。
【図９】認識辞書情報の異なるデータ構造を示した図。
【図１０】認識辞書情報更新処理の動作フローを示した図。
【図１１】認識辞書情報更新処理の動作を説明するための図。
【図１２】認識辞書情報更新処理の動作を説明するための図。
【図１３】認識辞書情報更新処理の動作を説明するための図。
【図１４】認識辞書情報更新処理の動作を説明するための図。
【図１５】サーバ・クライアントモデルに適用した場合における動作フローを示した図。
【図１６】サーバ・クライアントモデルに適用した場合における動作フローを示した図。
【図１７】本実施形態における変形例を説明するための図。
【図１８】本実施形態における変形例を説明するための図。
【符号の説明】
【０１６９】
１  情報処理装置
１０  制御部
２０  記憶部
２０２  コンテンツ情報
２０４  表音記号変換テーブル
２０６  認識辞書情報
２０８  表音記号付与プログラム
２１０  認識辞書情報更新プログラム
２１２  音声操作プログラム
３０  通信部
４０  入出力部
５０  操作部
６０  表示部
【国際調査報告】
2007069512.tif 000021
2007069512.tif 000022
2007069512.tif 000023
2007069512.tif 000024