(57)【要約】【課題】制御命令に基づく処理を、制御対象に対して任意の適切なタイミングで実施可能にする。【解決手段】制御命令情報１０１は時系列情報受信部１０３において受信されて、演算部１０５によって制御命令及び特徴量が抽出される。演算部１０５は、特徴量によって制御命令が発生した時間を求める。また、演算部１０５は、制御命令情報と被制御時系列情報との時間的な関連を求めて、制御命令を実施する系列上の位置を決定し、抽出した制御命令の内容を被制御時系列情報処理部１０６に実施させる。これにより、制御対象に対して任意の適切なタイミングで制御が可能となる。【選択図】図１
2007079607.tif 000002
【特許請求の範囲】
【請求項１】
制御命令を含む時系列情報である制御命令情報を取り込む入力手段と、
前記入力手段が取込んだ前記制御命令情報から前記制御命令を抽出する制御命令抽出手段と、
前記入力手段が取込んだ前記制御命令情報から時系列特徴量を抽出する特徴量抽出手段と、
前記入力手段が取込んだ前記制御命令情報に含まれる前記制御命令の発生時間と前記制御命令の対象となる被制御時系列情報に対する前記制御命令に応じた処理を施す系列上の位置との間の時間的な関連を、前記制御命令情報の時系列特徴量と前記被制御時系列情報に含まれる時間情報との比較によって取得する関連付け手段と、
前記制御命令情報から抽出された制御命令及び時系列特徴量と前記関連付け手段が取得した時間的な関連とに基づいて、前記制御命令の発生時間と前記処理を施す系列上の位置との差を無くすように、前記被制御時系列情報に対する処理が可能な処理手段を制御して前記処理手段による前記被制御時系列情報に対する処理の処理内容及び処理を施す系列上の位置を決定する演算手段とを具備し、
前記制御命令情報及び被制御時系列情報の少なくとも一方は、画像情報を含んだ動画情報であることを特徴とする時系列情報制御システム。
【請求項２】
前記制御命令情報から抽出される時系列特徴量は、前記情報のレベル変化に基づく特徴量であることを特徴とする請求項１に記載の時系列情報制御システム。
【請求項３】
前記制御命令情報から抽出される時系列特徴量は、前記情報の周波数分析に基づく特徴量であることを特徴とする請求項１に記載の時系列情報制御システム。
【請求項４】
前記被制御時系列情報を記憶可能な記憶手段を更に具備し、
前記演算手段は、前記処理手段を制御して、前記記憶手段に記憶された前記被制御時系列情報に対して処理を実施させることを特徴とする請求項１に記載の時系列情報制御システム。
【請求項５】
前記処理手段が前記被制御時系列情報に対する処理を行う際に必要とするパラメータを記憶するパラメータ記憶手段を更に具備し、
前記演算手段は、前記処理手段を制御して、前記パラメータ記憶手段に記憶された前記パラメータを用いて前記被制御時系列情報に対する処理を実施させることを特徴とする請求項１に記載の時系列情報制御システム。
【請求項６】
前記制御命令情報は、複数のカテゴリに分類可能で、
前記入力手段が取込んだ前記制御命令情報が属するカテゴリを識別する識別手段を更に具備し、
前記演算手段は、前記処理手段を制御して、識別されたカテゴリに応じて前記被制御時系列情報の処理を実施させることを特徴とする請求項１に記載の時系列情報制御システム。
【請求項７】
時間を計測する時計手段を更に具備し、
前記演算手段は、前記処理手段を制御して、前記時計手段によって計測された時間の情報を用いて前記被制御時系列情報の処理を実施させることを特徴とする請求項１に記載の時系列情報制御システム。
【請求項８】
前記演算手段は、前記入力手段が前記制御命令情報を取込んだ時点に対応する被制御時系列情報の時間軸上の位置を、前記被制御時系列情報に対して施す処理の系列上の位置の起点とすることを特徴とする請求項１に記載の時系列情報制御システム。
【請求項９】
前記入力手段は、複数の情報源から前記制御命令情報を取込み、
前記制御命令抽出手段は、前記入力手段が取込んだ複数の制御命令情報から夫々前記制御命令を抽出し、
前記特徴量抽出手段は、前記入力手段が取込んだ複数の制御命令情報から夫々前記時系列特徴量を抽出し、
前記関連付け手段は、前記制御命令情報の時系列特徴量と前記被制御時系列情報に含まれる時間情報との比較によって、前記入力手段が取込んだ複数の制御命令情報の少なくとも１つに含まれる前記制御命令の発生時間と前記被制御時系列情報に対する前記制御命令に応じた処理を施す系列上の位置との間の時間的な関連を取得し、
前記演算手段は、前記制御命令情報から抽出された複数の制御命令及び複数の時系列特徴量と前記関連付け手段が取得した１つ以上の時間的な関連とに基づいて、前記制御命令の発生時間と前記処理を施す系列上の位置との差を無くすように、前記処理手段による前記被制御時系列情報に対する処理の処理内容及び処理を施す系列上の位置を決定することを特徴とする請求項１に記載の時系列情報制御システム。
【請求項１０】
前記特徴量抽出手段が前記時系列特徴量の抽出に用いるパラメータを記憶する抽出パラメータ記憶手段を更に具備し、
前記特徴量抽出手段は、前記抽出パラメータ記憶手段が記憶したパラメータを用いて、前記時系列特徴量を抽出することを特徴とする請求項１に記載の時系列情報制御システム。
【請求項１１】
前記被制御時系列情報の時系列の特徴量を抽出する手段を更に具備し、
前記演算手段は、前記処理手段を制御して、前記被制御時系列情報の時系列の特徴量を利用して、前記被制御時系列情報の処理を実施させることを特徴とする請求項１に記載の時系列情報制御システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御命令及び制御対象の双方が時系列情報である制御系に好適な時系列情報制御システムに関する。
【背景技術】
【０００２】
近年、制御システムにおいては、制御対象に対する制御命令を音声によって行うものが開発されている。
【０００３】
例えば、特許文献１においては、音声付き動画データ中の音声のレベルや動画データの解析結果に基づいて、動画情報において必要なフレーム区間を割当てる例が開示されている。例えば、撮影対象人物が正面を向いているかを判定することで、撮影対象者がカメラの方を向いて発声しているフレーム区間を検出するのである。
【０００４】
また、特許文献２においては、動画の編集点を動画情報に含まれる音声で制御する発明が開示されている。即ち、この発明では、指定した動画編集点に対して、動画内の音声又は画像の変化点（シーンの変化点、又は無音部との境界）で編集を行うように、編集点を自動補正するものである。
【特許文献１】特開２００２−１７６６１９号公報
【特許文献２】特開平１１−２３９３２０号公報
【特許文献３】特開２００２−２７８７４７号公報
【特許文献４】特開平１１−１０９４９８号公報
【特許文献５】特開２００２−３４２０６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
このように、従来、時系列情報を扱う種々の制御システムが開示されている。上記特許文献１，２においては、音声という時系列情報で、映像や音声等の時系列情報を制御している。しかし、文献１，２は、音声等の時系列情報に含まれる内容が制御命令として用いられるのではなく、制御対象の時系列的な特徴を利用して制御を行うものである。制御する側の時系列情報に含まれる内容に応じた高度な制御を行うことは不可能である。
【０００６】
これに対し、音声等の時系列情報に含まれる内容に応じた制御を行うものとして、特許文献３〜５に開示されたものがある。即ち、特許文献３においては、ゲームの操作を音声で行う技術が開示されており、特許文献４には、カメラの制御を音声で行う技術が開示されている。また、特許文献５においては、対話形式で制御を行う発明が開示されている。特許文献５の発明では、予め決められた各制御段階が発声によって順番に実行される。
【０００７】
これらの特許文献３〜５は、制御側と制御対象とはいずれも時系列情報である。つまり、時系列情報である音声による命令の内容を音声認識技術によって認識し、認識結果に基づいて、時系列情報である音声及び映像等の制御を行うものである。
【０００８】
ところで、制御対象が時系列情報、即ち、時間と共に変化する情報（以下、被制御時系列情報ともいう）である場合には、制御時間を適切に制御できないときには制御の有効性が低下することもある。しかしながら、制御側も音声等の時系列情報である場合には、制御対象に対する処理期間を適切に制御することができない。
【０００９】
例えば、声によって制御対象に命令を伝達する場合には、先ず、音声が自然言語処理され、コンピュータによって処理可能な情報となって音声の意味が制御命令として解釈され、更に、制御対象において処理可能な信号に変換された後、制御対象に供給される。従って、人間が実際に命令を実行しようとした時点と、時系列情報に基づく制御命令が制御対象に伝達されて実行される時点とは異なり、従来のままでは適切なタイミングでは制御することはできない。
【００１０】
本発明は、制御命令とその制御対象とがいずれも時系列情報である場合において、両者の時間的な関連付けを可能にすることによって、制御対象に対する処理を施す系列上の位置を制御可能にして制御の有効性を向上させることができる時系列情報制御システムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る時系列情報制御システムは、
制御命令を含む時系列情報である制御命令情報を取り込む入力手段と、前記入力手段が取込んだ前記制御命令情報から前記制御命令を抽出する制御命令抽出手段と、前記入力手段が取込んだ前記制御命令情報から時系列特徴量を抽出する特徴量抽出手段と、前記入力手段が取込んだ前記制御命令情報に含まれる前記制御命令の発生時間と前記制御命令の対象となる被制御時系列情報に対する前記制御命令に応じた処理を施す系列上の位置との間の時間的な関連を、前記制御命令情報の時系列特徴量と前記被制御時系列情報に含まれる時間情報との比較によって取得する関連付け手段と、前記制御命令情報から抽出された制御命令及び時系列特徴量と前記関連付け手段が取得した時間的な関連とに基づいて、前記制御命令の発生時間と前記処理を施す系列上の位置との差を無くすように、前記被制御時系列情報に対する処理が可能な処理手段を制御して前記処理手段による前記被制御時系列情報に対する処理の処理内容及び処理を施す系列上の位置を決定する演算手段とを具備し、前記制御命令情報及び被制御時系列情報の少なくとも一方は、画像情報を含んだ動画情報であることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、制御命令とその制御対象とがいずれも時系列情報である場合において、両者の時間的な関連付けを可能にすることによって、制御対象に対する処理を施す系列上の位置を制御可能にして制御の有効性を向上させることができるという効果を有する。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は本発明の第１の実施の形態に係る時系列情報制御システムを示すブロック図である。
【００１４】
図１において、制御命令情報１０１は、ユーザが制御対象の機器に与える制御命令の情報で時系列的な特徴を有する。例えば、制御命令情報１０１としては、音声による命令や、身振りによる命令等の他に、ボタン操作のような単独の発現自体は瞬時でも、押下時間長や複数のボタンがある場合に押される順番に意味があるような命令も含まれる。
【００１５】
被制御時系列情報１０２は、制御対象の時系列情報である。ユーザは図示しない所定の機器に対する制御命令情報１０１を発することで、被制御時系列情報１０２に対する制御を行うことができるようになっている。被制御時系列情報１０２には、大別して、その情報の起源が機器外にある情報、例えば機器がビデオ編集装置である場合の編集対象の動画情報や、機器がラジオの場合の電波情報等の情報と、機器から発生される情報、例えば機器がコンピュータの場合の時系列をともなったシミュレーション結果情報や、対話機器である場合のシステムで生成された応答情報等の情報が考えられる。いずれにしても、被制御時系列情報１０２は、ユーザが制御対象とする情報であって、機器で制御可能な時系列情報を指す。
【００１６】
時系列情報受信部１０３は、制御命令情報１０１や、必要な場合には被制御時系列情報１０２を受信し、後段の処理に用いるための適当な信号処理を行う。例えば、時系列情報受信部１０３は、制御命令情報１０１がユーザの発声した音声の場合には、図示しないマイクロフォンで当該音声を受信して周波数分析等の信号処理を行って音声認識で用いられる形式に変換する。また例えば被制御時系列情報１０２が動画情報である場合は、ビデオテープやＤＶＤビデオ等のメディアから当該情報を取り出して後段の処理で用いられる形式に変換する。
【００１７】
記憶部１０４は、時系列情報受信部１０３で得られた時系列情報や、後述する演算部１０５や被制御時系列情報処理部１０６の一時作業領域や演算手続き内容を保存しておくための記憶領域である。
【００１８】
演算部１０５は、図１の各部の制御や必要となる処理計算を行う。また演算部１０５は、時系列情報受信部１０３で得られた制御命令情報１０１から制御命令を抽出することができる。例えば制御命令がユーザからの命令音声である場合には、音声認識を行って制御命令を抽出する。また演算部１０５は制御命令情報１０１から時系列の特徴量を抽出することもできる。
【００１９】
本実施の形態においては、演算部１０５は、制御命令情報１０１の時間軸と被制御時系列情報１０２との時間的な関連を求めるようになっている。例えば、演算部１０５は、制御命令情報１０１の時系列の特徴量を時間的な関連を得るための時間情報として用いる。なお時間情報の抽出については時系列情報受信部１０３で行ってもよい。また例えば、制御命令情報１０１及び被制御時系列情報１０２にタイムスタンプを付けておいたり、記憶部１０４には一定量の時系列情報がリング・バッファに保存することができて、その記憶位置から時間的な対応付けしたりすることもできる。
【００２０】
また、演算部１０５は、被制御時系列情報１０２の起源が機器から発生される時系列情報である場合にはその生成を行う。
【００２１】
また演算部１０５は被制御時系列情報１０２から時系列の特徴量を得るための制御を行うことができる。例えば、被制御時系列情報１０２は動画像情報である場合には当該動画のシーンの切れ目を判断したり、被制御時系列情報１０２が音声の場合には音量の情報を得ることよって、被制御時系列情報１０２の時間情報を得る。
【００２２】
被制御時系列情報処理部１０６は、制御命令とその制御命令の時間的な特徴量、場合によっては被制御時系列情報１０２の時系列特徴を上記の演算部１０５が考慮及び被制御時系列情報１０２の処理内容を判断した結果を踏まえ、被制御時系列情報１０２に対する処理を行う。
【００２３】
次に、このように構成された実施の形態の動作について説明する。
【００２４】
いま、例えば、所定の時間範囲における制御命令情報１０１が人間の音声による編集開始命令で、被制御時系列情報１０２がビデオ編集における編集対象の動画情報であるものとする。これらの情報１０１，１０２は時系列情報受信部１０３によって受信される。演算部１０５は、例えば、制御命令情報１０１を取込む図示しないマイクロフォンに設定されているタイマの値、及び被制御時系列情報１０２を処理する図示しないビデオ編集装置に設定されているタイマの値によって、制御処理の基準時間を得る。
【００２５】
ここで、オペレータが図示しないビデオ編集装置のモニタ画面によって再生映出中の動画の編集ポイントに到達したと判断したものとする。オペレータはマイクロフォンを介して音声により「編集点」と発声する。この制御命令情報１０１は時系列情報受信部１０３によって受信される。
【００２６】
演算部１０５は、制御命令情報１０１の時系列の特徴量を抽出しており、「編集点」を示す制御命令情報１０１の発声の開始タイミングを時系列の特徴量の変化から検出し、「編集点」を示す制御命令情報１０１の発声の終了タイミングを時系列の特徴量の変化から検出する。演算部１０５は、「編集点」の受信期間におけるマイクロフォン及びビデオ編集装置のタイマ値、制御命令情報１０１及び被制御時系列情報１０２の時間情報を取得して、「編集点」の受信期間の各時間と、被制御時系列情報１０２の時間情報との対応、即ち、制御命令情報１０１と被制御時系列情報１０２との時間的な関連を求める。
【００２７】
演算部１０５は「編集点」の発声から音声認識によってその制御命令の内容を判断し、この判断結果に基づいて被制御時系列情報処理部１０６を制御して、被制御時系列情報１０２に対する処理を行わせる。演算部１０５が制御命令の内容を判断する処理の時間等によって、被制御時系列情報処理部１０６がビデオ編集装置によって被制御時系列情報１０２の制御を開始する時点は、「編集点」が発せられた期間の終了後である。
【００２８】
しかし、演算部１０５が被制御時系列情報１０２に対して制御命令に基づく作用を及ぼす時点は、制御命令の内容によっては過去に及んでも構わない。そこで、本実施の形態においては、演算部１０５は、例えば、「編集点」の受信開始タイミングにおける被制御時系列情報１０２の時間情報のタイミング（系列上の位置）を、被制御時系列情報１０２である動画情報の編集点に設定し、このタイミングの前後で動画情報を編集させるようにする。
【００２９】
なお、演算部１０５は、検出した「編集点」中のいずれの時間タイミングに相当する被制御時系列情報１０２の時間情報のタイミングで編集を実施させるように制御してもよく、更に、「編集点」の受信期間と所定の関係を有するいずれの時間タイミングに相当する被制御時系列情報１０２の時間情報のタイミングで編集を実施させるように制御してもよい。
【００３０】
このように本実施の形態においては、制御命令の時系列情報と被制御時系列情報との時間的な関連を求め、求めた時間的な関連を用いて、制御命令の時系列情報の発生期間又はタイミングと所定の関係を有する被制御時系列情報の期間又はタイミングにおいて、被制御時系列情報に対して、制御命令の時系列情報の内容に基づく処理を実行させている。これにより、制御命令の内容に基づく効果的な処理を可能にして制御の有効性を向上させている。
【００３１】
なお、上記実施の形態は、コンピュータ上のプログラムモジュールによって各部の機能を実現することも可能である。
【００３２】
図２は本発明の第２の実施の形態を示すブロック図である。また、図３は第２の実施の形態の全体構成を示す説明図である。
【００３３】
本実施の形態は第１の実施の形態を具体的な制御系である映像記録再生装置に適用した例を示すものであり、図１中の制御命令情報１０１は図２のマイク入力３０２に相当し、被制御時系列情報１０２は、ビデオテープ３０８に記憶された情報に相当し、時系列情報受信部１０３は信号処理部３０３及びビデオテープ制御装置３０７に相当し、記憶部１０４はメモリ３０５に相当し、演算部１０５は中央演算部３０４に相当し、被制御時系列情報処理部１０６は映像信号処理部３０９に相当する。
【００３４】
先ず、図３を参照して制御系の全体構成について説明する。
【００３５】
ユーザ２０１はヘッドセットマイク２０２を装着する。ヘッドセットマイク２０２は、ユーザ２０１が発声した音声を音声信号に変換してビデオデッキ２０３に供給する。ビデオデッキ２０３は、音声認識機能を有しており、音声信号入力によって各部の操作が可能である。また、ビデオデッキ２０３は、所定の記録メディアに記録された映像情報を再生してディスプレイ２０４に映出することができるようになっている。
【００３６】
なお、図３では音声入力のためにヘッドセットマイク２０２を用いたが、ハンズフリーフォンのようにユーザから距離が離れる形態でもよいし、音声入力のための装置としては一般にユーザの発声を集音する技術を採用することができる。また、ビデオデッキ２０３の音声認識機能については、隠れマルコフモデル(HMM)を用いた単語音声認識のような既存の技術を用いてもよいし、ユーザの発声から決められた語彙に判別できるパターン認識技術で採用してもよい。
【００３７】
このような構成において、ユーザ２０１は、ビデオデッキ２０３を音声入力によって操作する。例えば、「記録」、「再生」、「特殊再生」、「停止」等の各種処理を音声によって発音することで、ビデオデッキ２０３を制御するのである。
【００３８】
図３はこのようなビデオデッキの一例を示すものである。
【００３９】
ビデオデッキ２０３は、ユーザ２０１が発声した音声をヘッドセットマイク２０２を介してマイク入力３０２として受け取る。マイク入力３０２はビデオデッキ２０３の信号処理部３０３に入力される。信号処理部３０３は、入力されたマイク入力３０２に基づく時系列信号に対して、中央演算部３０４の命令を受けて後段の処理に必要な形式への変換処理を施したり、特徴量を抽出したりするようになっている。信号処理部３０３は、例えば、ＤＳＰ(Digital  Signal  Processor)のような信号処理チップや、プログラム上の信号処理モジュールによって実現することができる。なお、信号処理部３０３は、時系列特徴量等に依存して構成することもできる。
【００４０】
中央演算部３０４はビデオデッキ２０３全体の制御を司る。信号処理部３０３からの信号を記憶領域たるメモリ３０５に保存したり、ビデオデッキのキー入力３０６を受け付けて該当する操作を行ったり、後述するビデオ関係の操作の制御を行ったりする。中央演算部３０４は、既存の制御チップと制御プログラムによる構成等が考えられる。メモリ３０５は、中央演算部３０４の処理やプログラムを保存し、マイク入力３０２から信号処理部３０３を介して得られた時系列信号を保存し、ビデオテープ３０８から得た情報を記憶する記憶装置の総称を指すものとする。メモリ３０５は、メモリチップ等によって構成することができる。
【００４１】
ビデオテープ制御装置３０７は、中央演算部３０４の制御を受けて、ビデオテープ３０８の読み出し位置を変えたり、ビデオテープ３０８を再生して動画情報を読み込むことができる。ビデオテープ制御装置３０７は、再生した動画情報を必要によって信号処理部３０３に出力すると共に、被制御時系列情報としての動画情報を映像信号処理部３０９に出力する。映像信号処理部３０９はビデオテープ制御装置３０７からの動画情報を受けて、ディスプレイ２０４において映出可能な形式の情報に変換し、映像出力３１０として出力する。これらのビデオテープ制御装置３０７、映像信号処理部３０９は、一般に商品化されているビデオデッキの該当部分によって実現可能である。
【００４２】
次に、このように構成された実施の形態の動作について図４及び図５を参照して説明する。図４は音声認識結果と制御内容との対応関係を示す概念図であり、図５は処理の流れを説明するためのフローチャートである。
【００４３】
ビデオデッキ２０３は制御命令として音声を取り込み、音声認識によってその制御内容を抽出することができる。抽出された命令語である音声認識結果と、それに対応する制御内容は、この実施例では図４の概念図に示す対応関係を有する。図４に示すように、例えばユーザの「再生」という命令発声に対して、ビデオデッキ２０３は、ビデオテープ３０８の停止位置から再生を開始する処理を実行する。
【００４４】
いま、ビデオデッキ２０３は既に再生状態であるものとする。ここで、図５のステップ５０１において、ユーザ２０１が制御命令を発声するものとする。そして、この発声内容が「スロー再生」であったものとする。時系列信号であるユーザ２０１の発声は、マイク入力３０２としてビデオデッキ２０３の信号処理部３０３に入力される。信号処理部３０３は、マイク入力３０２の時系列信号から発声が始まった時間を検出すると共に、音声認識に必要な特徴量への変換を行う（ステップ５０２）。この特徴量は例えばメル周波数ケプストラム係数（以下ＭＦＣＣ  ：  Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒｕｍ  Ｃｏｅｆｆｉｃｉｅｎｔ）や知覚線形予測分析（以下ＰＬＰ  ：  Ｐｅｒｃｅｐｔｕａｌ  Ｌｉｎｅａｒ  Ｐｒｅｄｉｃｔｉｖｅ  Ａｎａｌｙｓｉｓ）で得られるような音声認識特徴量でも実現可能なものとする。
【００４５】
またユーザの発声を検出する手段としては、入力音声の音量、入力音声波形の零交差、線形予測分析の係数やその残差など特徴量から判断するような、世の中で用いられている手法で実現可能なものとする。これらのような制御命令情報の時系列的特徴量はこれまで述べてきたように、被制御時系列情報との時間的な対応づけに用いることができる。ここでの実施例では発声の有無という２値を検出するという例で説明するが、用途によっては発声の判断に対する確からしさという形で連続値を音声検出の情報にしてもかまわない。
【００４６】
信号処理部３０３で得られた音声検出の情報や、認識に要する特徴量等の時系列的特徴量は、中央演算部３０４の制御のもと、必要な場合はメモリ３０５に記憶される。そして、中央演算部３０４によって、音声検出の時間に関する情報は被制御時系列情報であるビデオテープ３０８に記憶された動画再生情報の時間に対応付けられる一方、音声認識処理によって発声情報から制御命令が抽出される（ステップ５０３）。これにより、ユーザの制御命令が「スロー再生」であったことが分かる。
【００４７】
中央演算部３０４は、図４のような制御命令とそれに対する命令処理との対応関係に基づいて、制御命令の時系列情報から得られた音声検出の時間情報を用いて、"再生中のビデオ映像を制御命令が発声された時刻まで戻し、その時点からスロー再生を行う"という処理を行うことを決定する（ステップ５０４）。中央演算部３０４は決定した処理に必要な手続きを生成して各処理部を制御する。その結果、ビデオテープ制御装置３０７はユーザ２０１の発声が開始された時点の再生位置までビデオテープ３０８を巻戻し、スロー再生の読み取りを開始する。ビデオテープ制御装置３０７によって再生された映像信号は映像信号処理部３０９を介してディスプレイ２０４に供給されて、画面上に映出される（ステップ５０５）。
【００４８】
こうして、本実施の形態においては、ユーザが特殊な操作をすることなく、スロー再生を希望した再生位置から再生画像の再生を実行させることができる。
【００４９】
なお、誤認識が生じた場合に備えて、「キャンセル」と発声されたら前の命令の発声時点を参照して処理を決定する方法も考えられる。このような処理はアプリケーションに依存したものであり、この場合でも、制御命令の時系列的特徴量によって被制御時系列情報に対する処理期間（タイミング）を決定すると共に、制御命令の内容から被制御時系列情報に対する処理内容を決定する点は同様である。
【００５０】
図６は本発明の第３の実施の形態を示す説明図である。本実施の形態の構成は図２及び図３と同様であり、制御方法のみが異なる。本実施の形態は音声によってビデオデッキを操作する例に適用したものである。
【００５１】
本実施の形態は、ビデオテープ制御装置３０７（図３参照）から得た動画情報に対して動画のシーン検出を行う例についてのものである。図６はこの場合の制御命令と命令処理との対応関係を示している。図６に示すように、各制御命令に対してカテゴリが割り当てられている。図６の例では、各制御命令は「則実行」、「映像調整」及び「時点実行」の３カテゴリのいずれかに属する。
【００５２】
ユーザ２０１（図２参照）から「一時停止」という発声があるものとする。なお、ユーザ２０１が例えば「一時停止して下さい」のように、制御命令語として登録されている発声の前後に、不要な語が付加されている場合でも、既存のキーワードスポッティング技術によって、必要な部分の音声認識が可能である。
【００５３】
本実施の形態においても、基本的には図５のフローチャートに従って処理を実行する。本実施の形態においては、中央演算部３０４は、音声認識によって制御命令を取り出すと、図６に示す概念図から、制御命令のカテゴリを抽出する。なお、中央演算部３０４がカテゴリを判断する方法としては、例えばプログラム上で配列のテーブルを用意すること等によって実現することができ。
【００５４】
本実施の形態においては、制御命令の実行に際して、制御命令自体と抽出したカテゴリとが考慮される。ユーザ２０１による制御命令語「一時停止」に対するカテゴリは図６より「映像調整」である。制御命令を実行する場合にはこのカテゴリ用の処理を加味する。具体的には、先ず「一時停止」を発声したときの制御命令と被制御時系列情報との対応付けを参考にして、被制御時系列情報の中で「一時停止」と発声が開始された時点を注目する。「映像調整」というカテゴリの場合には、制御命令が発せられた時点の再生位置近傍に記録されている被制御時系列情報について、探索及びシーン検出を行う。そして、ユーザが「一時停止」と発声した時点に対応した再生位置周辺において、シーンの切り替わり位置を指定して、被制御時系列情報の再生を一時停止させる。これにより、ユーザ２０１は、注目したい場面を声によって直感的に指定することができ、また、映像が切り替わった後のような、ユーザが注目したかったであろう時点に自動的に制御を移行させることができる。またこのとき、制御命令の時点に注目したときに、そこに最も近いシーン変化位置という扱いや、その時点の周辺で最も大きくシーンが変っている位置という扱いや、その時点からの時間的な距離とシーン変化量からなる関数から最も適切な位置を決めるという扱いでも構わない。同様のことは、ここでの実施例に限らず、本発明の実施形態において制御命令情報と被制御時系列情報との時系列的な特徴と、制御命令内容から処理を判断する際にあてはまることである。
【００５５】
なお、以上説明したような制御命令のカテゴリについては最初から固定でもいいし、上位のアプリケーションによってそのカテゴリと処理との関連付けや内容の変更を行ってもよい。
【００５６】
また、シーン検出については、既存の変化点検出で動画像の中から取り出された特徴量情報から判断する仕組みがあれば実現可能である。また制御命令を発した時間近傍で被制御時系列情報の特徴量を探索する場合（図６の例では「一時停止」の発声タイミングで動画のシーン検出をする場合）には、制御命令の音声を検出した時点を基にある時間枠内において探索してもよいし、制御命令によってその時間範囲を変更してもよい。また、シーン検出に関しては画像認識の技術も利用して動画上の画像の変化を利用して、カテゴリごとの操作を行ってもよい。またシーン検出については動画の二次元情報だけでなく、動画に付随した情報、例えば音声情報を利用してもよい。
【００５７】
また、被制御時系列情報の任意の量または任意の時間、もしくは全体をメモリ等の記憶領域に保存しておき、その記憶領域上の情報を元にしてシーン検出を行うことも可能である。また、制御命令情報から抽出された制御命令と時系列特徴量に基づいて決められた処理期間及び処理内容で、前記記憶領域上の被制御時系列情報に対して処理を施して、その結果を出力することもできる。例えば、本実施の形態の例では、被制御時系列情報を逐次記憶領域に保存し、「スロー再生」の制御命令に対して、記憶領域上の被制御時系列情報で制御命令の開始時点に対応する時点（アドレス）から情報を読み出すことで、所望の位置からのスロー再生を行うことができる。
【００５８】
また、制御命令情報や被制御時系列情報から特徴量を抽出する場合にパラメータが介在してもよい。例えば、本実施の形態における制御命令情報である音声や、被制御時系列情報に付随する音声情報に対して雑音推定を行い、その推定された雑音情報をパラメータとして記憶しておき、音声情報から特徴量を得る際に雑音の影響を除去した後所定の特徴量を得るようにしてもよい。こうすることで、より精度の高い時系列情報の特徴量を得ることができ、これにより、制御命令に基づく処理期間を高精度に制御することができ、一層効果的な制御が可能となる。このようなパラメータの具体例としては、マイクロホンアレーで目的音と妨害音方向を推定するためのフィルタパラメータである、例えば文献（永田仁史ら,「話者追尾２チャネルマイクロホンアレーに関する検討」, 電子情報通信学会論文誌A, Vol. J８２-A No. ６ pp. ８６０-８６６, １９９９年６月）等に記載されたものや、スペクトル・サブトラクション法における推定雑音等（例えば、文献（サイード・ブイ・ヴァセッジ(Saeed V. Vaseghi) 著, 「アドバンスド ディジタル シグナル プロセッシング アンド ノイズ リダクション(Advanced Digital Signal Processing and Noise Reduction)」, (英国), 第二版, ワイリー(WILEY), ２０００年９月)）に記載されたものが挙げられる。また、この場合のパラメータである推定雑音の強さから、被制御時系列情報の処理に影響を与えてもよい。例えば本実施の形態の例において、推定雑音の量が小さい場合には動画に付随した音声情報に基づくシーン検出結果を重視するようにする一方、推定雑音の量が大きい場合は動画の画像情報に基づくシーン検出結果を重視して、制御命令の処理期間（又はタイミング）を決定するようにしてもよい。
【００５９】
図７は本発明の第４の実施の形態を示す説明図である。図７において図２と同一の構成要素には同一符号を付して説明を省略する。
【００６０】
本実施の形態はビデオデッキ２０３に代えてビデオデッキ２０８を採用すると共に、ビデオカメラ２０５を付加した点が第２の実施の形態と異なる。ビデオカメラ２０５は、ユーザ２０１を撮像することができるようになっている。なお、ビデオカメラ２０５はユーザを自動で追尾する機能を有していてもよい。
【００６１】
ビデオデッキ２０８は、図３のビデオデッキ２０３と同一の構成を備えると共に、ビデオカメラ２０５からの映像信号を信号処理部３０３（図３参照）を介して取込んで、中央演算部３０４等によって所定の信号処理を実施することができようになっている。例えば、中央演算部３０４は、ビデオカメラ２０５が撮像したユーザ２０１の画像情報から、ユーザ２０１がビデオデッキ２０８の方向を向いているか否か等を判断することができるようになっている。例えば、中央演算部３０４は、入力画像中のユーザの眼球の白目の部分の割合等によって、ユーザの顔の向き等を推定する手法を採用する。
【００６２】
このように構成された実施の形態においては、ビデオデッキ２０８は、マイク入力３０２による制御命令の受信の他に、ビデオカメラ２０５からの画像情報による制御命令も受信することができる。上述した第２の実施の形態においては、ユーザ２０１からの制御命令の発声に対し、命令を音声認識してその制御命令の内容によって音響的な特徴量の１つである発声の開始時点まで被制御時系列情報の再生位置を戻した。これに対し、本実施の形態の場合には、ユーザ２０１の顔の向き情報も処理内容決定に反映させる。
【００６３】
即ち、中央演算部３０４は、ヘッドセットマイク２０２からの音声入力については、第２の実施の形態と同様に制御命令の抽出と時系列特徴量に基づく制御命令の発声区間の検出に用いる。一方、中央演算部３０４は、ビデオカメラ２０５からの情報については、ユーザ２０１がビデオカメラ２０５（又はビデオデッキ２０８）の方を向いていれば処理の実行、向いていなければ処理を行わないという２値の制御命令として用いる。
【００６４】
この場合には、ビデオカメラ２０５からの情報の時系列特徴量は、ユーザ２０１の顔の向きに対応する。中央演算部３０４は、ビデオカメラ２０５の出力に基づく時系列特徴量に対して、ユーザ２０１の顔の向きがある範囲内の角度であるか否かによってビデオカメラ２０５に向いているか否かを判断する２値判断を行ってもよく、向きを角度としたときの連続量を求めてもよい。
【００６５】
こうすることで、マイク入力３０２からの音声情報と、ビデオカメラ２０５からの画像情報との夫々に対して制御命令と時系列特徴量とを定めることができる。これにより、例えば、ヘッドセットマイク２０２からの入力による制御命令があって、且つビデオカメラ２０５からの入力による制御命令が処理の実行を意味する場合に、初めて実際の処理を行うように制御することができる。
【００６６】
このように本実施の形態においては、制御命令情報が複数の情報源からの時系列情報であった場合には、それぞれの制御命令情報の内容を総合して被制御時系列情報に対する処理を決定することによって、一層高精度で効果的な制御が可能となる。例えば、ユーザが特に意識せずともビデオの方を向いて制御命令情報を与えたときだけ、ビデオデッキでの処理を可能にすることもできる。
【００６７】
また、複数の制御命令の時系列情報が相反する内容で時間的に重なりがある場合には、所定のルールを決めておけばよい。例えば、図７の例において、ユーザが発声の途中からビデオカメラの方を向いた場合等については、時間的な重なりが長い方の処理内容を重視する方法を採用してもよく、例えばまた、時間的に一番最後の処理内容に基づいて制御を実施するという方法を採用してもよい。
【００６８】
図８は本発明の第５の実施の形態を示す説明図である。本実施の形態は音声記録装置に適用したものである。図１中の制御命令情報１０１は図８のユーザ７０１の音声に相当し、被制御時系列情報１０２はユーザ７０１の音声及び外界の音声７０２に相当し、時系列情報受信部１０３は信号処理部７０５に相当し、記憶部１０４はメモリ７０７に相当し、演算部１０５は中央演算部７０６に相当し、被制御時系列情報処理部１０６は外部記憶装置７０８に相当する。
【００６９】
本実施の形態の音声記録装置は、ユーザ７０１や装置の外界の音声７０２を記録するものであり、商品化されているカセットレコーダやデジタルメモリレコーダ等を利用可能である。例えば、デジタルメモリレコーダを採用して、ユーザの音声で操作を行う場合について説明する。
【００７０】
音声記録装置７０３は、ユーザ７０１や外界の音声７０２をマイク７０４で収音する。信号処理部７０５は収音された音声を取込んで、後段の処理に必要な情報、例えば、音量や雑音の強さ等のパラメータを含む情報を得る。中央演算部７０６は、入力された音声及び後段の処理に必要な情報を、時間の対応が取れるようにメモリ７０７に記録する。
【００７１】
本実施の形態は、制御命令情報と被制御時系列情報とがマイク７０４を介して入力された時点では区別なく扱われる点である。ユーザ７０１の発声のうち、所定の制御命令を内容とするものについては制御命令情報であり、マイク７０４からのその他の音が被制御時系列情報である。
【００７２】
メモリ７０７は、書き込まれた音声信号をある任意の時間、例えば２０秒間等の所定の一定時間分だけ一時記憶することができるようになっている。即ち、中央演算部７０６は、現在から２０秒前までの音声をメモリ７０７からいつでも呼び出せるようになっている。例えば、リング・バッファ等の技術を採用することで、このような呼び出しが実現可能である。また、この２０秒間のような任意の時間は電池の量や周囲の雑音等の各種状況に応じて変更することができる。
【００７３】
中央処理部７０６は、メモリ７０７上の音声情報を外部記憶装置７０８に記録させることができる。外部記憶装置７０８としては、例えば半導体を利用した記憶装置等を利用することができる。
【００７４】
次に、このように構成された実施の形態の作用について説明する。
【００７５】
本実施の形態における基本的な処理の流れは図５のフローチャートと同様である。
【００７６】
ユーザが音声記録装置７０３に対する命令として「録音」と発声することによって、この命令内容に応じて音声記録装置７０３がマイク７０４からの入力情報を適切に処理する場合の例について説明する。
【００７７】
マイク７０４からの入力情報は、制御命令情報であるか又は被制御時系列情報であり、音声信号として信号処理部７０５に供給される。信号処理部７０５は、入力された信号を音声情報として符号化し時間的な呼び出しができるように、メモリ７０７に記録する。即ち、メモリ７０７には制御命令情報と被制御時系列情報の両方が記憶される。
【００７８】
信号処理部７０５は、中央演算部７０６の制御の下、音声検出や音声認識に必要な特徴量を得る。中央演算部７０６は、抽出された特徴量から、マイク７０４を介して入力された音声情報のうち、ユーザ７０１の発声に基づく音声区間を検出する。そして、中央演算部７０６は、検出された音声区間に対して音声認識を実施する。この音声検出については、ユーザの個人認証も含めて登録されたユーザの音声を検出するようなものでも構わない。検出方法としては前述のように公知の種々の方法を採用することができる。
【００７９】
また、マイク７０４はマイクアレイのように複数のマイクから構成され、信号処理部７０５において遅延和による処理や独立成分分析の処理のような実現可能な音源分離を用いて、ユーザ７０１の音声とそれ以外の音声７０２を分離してから、これまで実施例を述べてきたような手段を用いても構わない。
【００８０】
また、中央演算部７０６は、音声検出と音声認識とについて、例えば音声検出が終ってからその区間内の情報で音声認識を行ってもよいし、音声区間を検出しだした時点から音声認識の処理も逐次的に行いつつ、音声区間の検出が終了した時点の分までの情報を下に音声認識を行ってもよい。また、中央演算部７０６は、音声認識において、制御命令語に不要語が付加された制御命令語を認識できるように、キーワードスポッティングによる音声認識処理を実施するようにしてもよい。この場合には「え〜と、録音」のように「え〜と」のような不要語が付加されていても、「録音」という制御命令語を認識することができる。
【００８１】
このようにして、マイク７０４の入力音声の中から制御命令情報を抽出することができ、更にメモリ７０７に記録された被制御時系列情報との時間的な対応、即ち制御命令情報の音声区間位置を得ることができる。そして制御命令情報の内容に従って、メモリ７０７に記憶された音声情報の処理を決定して処理を行うことができる。例えば「録音」というユーザの発声が開始された時点から、その発声も含めて音声を記録することができる。
【００８２】
このように本実施の形態においては、制御命令情報と被制御時系列情報とを同一の信号処理系によって処理する場合でも、制御命令に基づく制御期間（タイミング）及び制御内容で、被制御時系列情報に対する処理を行うことができる。
【００８３】
図９は本発明の第６の実施の形態を示す説明図である。図９は音声認識結果である制御命令語と制御内容との対応関係を示す概念図である。
【００８４】
本実施の形態は図８の装置を用いた音声記録の方法に適用したものである。本実施の形態においては、図９に示す４つの命令に注目して説明する。
【００８５】
中央演算部７０６（図８参照）は、「３秒前から録音」のように「○秒前から録音」という制御命令が音声認識結果から得られた場合には、メモリ７０７に記録された音声情報のうち、音声区間検出時点から○秒前のタイミングに対応するアドレスから音声情報を読み出して外部記憶装置７０８に出力して記録させる。制御命令情報と被制御時系列情報との時間的な関連付けが行われていることから、メモリ７０７に記憶されている音声情報であれば、このように任意の時間帯の音声情報を記録させることができる。
【００８６】
これにより、ユーザ７０１は周りの音声で記録しておきたいと思える音声があった場合には、そのことを思ったときに発声すればいいという自然なインタフェースで、少し前の音声から収音対象の音声として記録させることができる。
【００８７】
また、単に「録音」と発声した場合には、中央演算部７０６は、音声検出の開始時点からの音声録音を開始させる。また、「録音スタート」と発声した場合には、中央演算部７０６は、発声を終了したと検出された時点からのメモリ７０７に記録された音声情報を、外部記憶装置７０８に転送させて記録させる。これにより、ユーザ７０１からの制御命令語を含まずに録音したい場合と、制御命令語を含んでも直ちに録音したい場合の両方に対応することができる。
【００８８】
また、「録音スタンバイ」と発声した場合には、中央演算部７０６は、次に音声を検出した時点からメモリ７０７に記録された音声を外部記憶装置７０８で記録することにする。具体的には、「録音スタンバイ」と認識したその音声区間以降について、音声の特徴量に注目して新たに音声が入力されたか否かを検出する。そして、新たな音声入力が検出されると、その検出時点からメモリ７０７上の音声情報を外部記憶装置７０８に与えて記録させる。これにより、記録したい音声の前に無音がなく、記録したかった時点からの音声を記録しておくことができる。
【００８９】
このように本実施の形態においては、記録するための制御命令語を発する前の時間も含めて、任意の時間帯の被制御時系列情報である音声を記録することができる。
【００９０】
なお、本実施の形態においては、音声を録音する例について説明したが、録音終了時やその他の機能についても同様に、任意の時間帯又はタイミングで制御可能であることは明らかである。
【００９１】
なお、本発明は上記各実施の形態に限定されるものではなく、種々の変形が考えられる。
【図面の簡単な説明】
【００９２】
【図１】本発明の第１の実施の形態に係る時系列情報制御システムを示すブロック図。
【図２】本発明の第２の実施の形態を示すブロック図。
【図３】第２の実施の形態の全体構成を示す説明図。
【図４】音声認識結果と制御内容との対応関係を示す概念図。
【図５】処理の流れを説明するためのフローチャート。
【図６】本発明の第３の実施の形態を示す説明図。
【図７】本発明の第４の実施の形態を示す説明図。
【図８】本発明の第５の実施の形態を示す説明図。
【図９】本発明の第６の実施の形態を示す説明図。
【符号の説明】
【００９３】
１０１…制御命令情報、１０２…被制御時系列情報、１０３…時系列情報受信部、１０４…記憶部、１０５…演算部、１０６…被制御時系列情報処理部。
【図１】
2007079607.tif 000003
【図２】
2007079607.tif 000004
【図３】
2007079607.tif 000005
【図４】
2007079607.tif 000006
【図５】
2007079607.tif 000007
【図６】
2007079607.tif 000008
【図７】
2007079607.tif 000009
【図８】
2007079607.tif 000010
【図９】
2007079607.tif 000011