(57)【特許請求の範囲】
【請求項１】
複数のトピックから構成され、そのトピックを表す識別記号であるトピック識別記号が埋め込まれた映像信号を受信する受信手段と、
前記映像信号に埋め込まれる前記トピックス識別記号にそれぞれが対応するテンプレート画像を記憶したテンプレートテーブルと、
前記テンプレートテーブルに記憶した前記テンプレート画像を用いたパターン認証による照合により、前記受信手段で受信された前記映像信号に含まれた前記トピックス識別記号を検出し、検出したトピック識別記号に係る情報を出力する照合手段とから構成され、
前記テンプレートテーブルは、
前記テンプレート画像を記憶するトピックテンプレートテーブルと、
各々のトピック毎に、前記トピック識別記号に係る情報の検出に供する認識用画像を記憶した認識テンプレートテーブルにより構成され、
前記照合手段は、
前記トピックテンプレートテーブルに記憶した前記テンプレート画像を用いたパターン認証による照合により、前記受信手段で受信された前記映像信号に含まれる前記トピックス識別記号を検出し、検出したトピック識別記号に対応する、前記認識テンプレートテーブルに記憶した前記認識用画像を用いたパターン認証による照合により、前記トピック識別記号に係る情報を検出して出力する
映像情報蓄積装置。
【請求項２】
請求項１記載の映像情報蓄積装置に対して、
検出した前記トピック識別記号に係る情報を、そのトピック識別記号が埋め込まれた受信映像信号と対応づけて記憶するデータベースをさらに備え、
トピック識別記号により対応する映像信号を検索可能とする
映像情報蓄積装置。
【請求項３】
前記テンプレートテーブルは、
画面内における前記トピック識別記号の出現箇所が対応づけて記憶される
請求項１に記載の映像情報蓄積装置。
【請求項４】
複数のトピックから構成され、そのトピックを表す識別記号であるトピック識別記号が埋め込まれた映像信号を受信する受信のステップと、
前記映像信号に埋め込まれる前記トピックス識別記号にそれぞれが対応するテンプレート画像を記憶したテンプレートテーブルを用いたパターン認証による照合により、前記受信のステップで受信された前記映像信号に含まれた前記トピックス識別記号を検出し、検出したトピック識別記号に係る情報を出力する照合のステップとを有し、
前記テンプレートテーブルは、
前記テンプレート画像を記憶するトピックテンプレートテーブルと、
各々のトピック毎に、前記トピック識別記号に係る情報の検出に供する認識用画像を記憶した認識テンプレートテーブルにより構成され、
前記照合のステップは、
前記トピックテンプレートテーブルに記憶した前記テンプレート画像を用いたパターン認証による照合により、前記受信手段で受信された前記映像信号に含まれる前記トピックス識別記号を検出し、検出したトピック識別記号に対応する、前記認識テンプレートテーブルに記憶した前記認識用画像を用いたパターン認証による照合により、前記トピック識別記号に係る情報を検出して出力する
映像トピック検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のトピックから構成される映像信号の各々に埋め込まれたテロップ文字等のトピック識別記号を高速・高精度に識別することにより映像情報を検出し、その映像情報をトピック識別記号と関連付けて保存することにより映像情報を構造化し、映像情報の内容に基づいた検索を可能とする映像情報蓄積装置と、それに用いる映像トピック検出方法に関する。
【背景技術】
【０００２】
ニュース、情報番組、スポーツ番組などの多くの映像は複数のトピックから構成される。例えば、ニュースの場合はニューストピック、野球中継の場合はイニング、テレビショッピングの場合は商品紹介コーナーといったトピックから構成される。この映像信号に埋め込まれたトピック識別記号、例えばテロップ文字を認識することにより映像情報をトピックの単位に構造化し、テロップ文字等を用いてその映像情報を検索可能とする映像検索表示システムが検討されている。
【０００３】
図９はテレビ番組等の映像を検索する機能と映像中に表示されるテロップ文字を認識する機能を有する映像検索表示装置の従来例である（特許文献１）。これは、受信した映像信号の各フレームに対し、テロップ文字が表示されているか否かを判定し、テロップ文字が表示されている映像フレームに対して、テロップ文字が表示されている領域を抽出し、抽出された各テロップ文字領域を辞書データを用いて文字認識して文字コード化処理を行い、その文字コードを映像フレームと対応付けて蓄積することにより文字コードにより映像データを検索可能とするものである。
【特許文献１】特開平１１−１６７５８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記従来例では、テロップ文字を文字認識して文字コード化する必要があるため認識精度が悪く、高精度な映像情報を作成できないという欠点があった。また画面内でのテロップ文字が出現する位置が不明なため画面全体をスキャンしてテロップ文字が出現した位置を検出し、その部分のテロップ文字を認識する必要があるため、検出処理には時間がかかり、リアルタイムでの処理が困難であるという欠点もあった。本発明は、高精度なトピック検出とリアルタイム処理が可能であり、番組終了とほぼ同時に構造化された映像情報の生成が可能となる映像情報蓄積装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の映像情報蓄積装置は、複数のトピックから構成されトピック識別記号が埋め込まれた映像信号を受信する受信手段と、トピック識別記号に対応するテンプレート画像を記憶するテンプレートテーブルと、前記トピック識別記号と前記テンプレート画像とをパターン認識により照合して受信映像信号に含まれるトピック識別記号を検出し、それに対応する情報を出力する照合手段により構成され、トピック識別記号により対応する映像信号を出力可能とすることを特徴とするものである。
【０００６】
また本発明の映像トピック検出方法は、複数のトピックから構成されそのトピックを表す識別記号であるトピック識別記号が埋め込まれた映像信号を受信し、トピック識別記号に対応するテンプレート画像と、受信した映像信号に埋め込まれた前記トピック識別記号とをパターン認識により照合することにより映像信号中のトピック識別記号を検出し、検出したトピック識別記号に対応する情報を出力することを特徴とするものである。
【発明の効果】
【０００７】
以上記載したように、本発明の映像情報蓄積装置あるいは映像トピック検出方法によれば、テンプレートテーブルに含まれるテンプレート画像と映像信号に埋め込まれたトピック識別記号とをパターン認識によって照合することによりトピックの識別を高精度に行うことができる。また、テンプレートテーブルをテンプレート画像とその出現箇所とを対応付けて記憶するように構成することにより、トピック識別記号の照合処理の際、各画像フレーム内の特定箇所のみ照合すればよく、画像フレーム内の全ての箇所を照合することを不要としたので、照合処理を高速化することができ、リアルタイムに処理することができる。また、ある画面におけるトピックのマッチング結果を利用して次の画面のトピック検出におけるスキャン範囲を適応制御するので処理を高速化することができるとともに、照合すべきテンプレート画像も前回のマッチング結果を利用して最適に選択するので高精度化を実現することができる。
【発明を実施するための最良の形態】
【０００８】
第１の実施例
図１は本発明の映像情報蓄積装置の構成図である。１は、例えばテレビ信号のような、テロップ文字に代表されるトピック識別記号が埋め込まれた映像信号を受信する受信部、２は受信部１が受信・検波した映像信号を蓄積するバッファ、３はトピック識別記号に対応するテンプレート画像を記憶するトピックテンプレートテーブル、４は各々のトピックに含まれる情報をトピック毎に記憶する認識テンプレートテーブル、５は受信映像信号に含まれるトピック識別記号をトピックテンプレートテーブル３に記憶されるテンプレート画像とパターン認識により照合して映像信号に埋め込まれたトピック識別記号を検出して出力するマッチング部、６はマッチング部５によって検出されたトピック識別記号とその映像情報とを対応付けて記憶し、トピック識別記号を用いて映像情報の検索を可能とするデータベースである。なお、本発明では、このデータベース６は必ずしも必須ではないが、以下においては、このデータベース６を設けたシステム構成で説明する。
【０００９】
本発明では、トピック識別記号が埋め込まれた映像信号であれば信号の種類は問わない。例えば、テレビ放送はもちろんのこと、インターネット経由で映像配信サーバからストリーム配信される映像やＭＰＥＧ方式で符号化された映像ファイル、ＣＡＴＶで配信される映像等の全ての映像に適用可能であるが、ここでは最も一般的なテレビで放送される株式番組を例にとって本発明の映像情報蓄積装置の動作を説明する。例えば図２に示すように、この番組には、「本日の相場概況」、「個別銘柄動向」、「前場  後場」というトピックと、トピック「前場  後場」に対して、銘柄コード、銘柄名、株価により構成される情報が含まれる。この情報には、複数の銘柄の情報が含まれる。１１がトピック識別記号、１２ー１、１２ー２等がトピックに含まれる情報である。
【００１０】
図３はトピックテンプレートテーブル３の構成例である。３１はトピック識別記号に対応するトピックテンプレート画像であり、例えば「個別銘柄動向」、「本日の相場概況」、「今後の見通し」等のようなテレビ画面に表示されるテロップ文字が典型例である。３２はテレビ画面内でトピック識別記号が出現するエリアである出現箇所を示し、例えばエリアの左上と右下の座標値で表現される。３３はトピックテンプレート画像３１に対応するトピックの内容であり、上記のトピックテンプレート画像の例では、それぞれ「個別銘柄動向」、「本日の相場概況」、「今後の見通し」等のテキスト文字が該当する。
【００１１】
図４は認識テンプレートテーブル４の構成例である。認識テンプレートテーブル４はトピックに対応して設定される。４１はトピック、４２は認識テンプレート画像である。例えば、株価の画面では、銘柄コードや株価を構成する各々の数字の画像や、「今週の主な予定」のようなテロップ文字の画像がこれに含まれる。４３は認識テンプレートの内容であり、「１」や「２」等の認識テンプレート画像４２に対して「１」や「２」等のテキスト文字が該当する。なお、認識テンプレート画像４２は、１つの文字に対してパターンがわずかに異なる複数の画像を用意しておくこともできる。一つの文字でも受信信号状態によって受信文字が微妙に変形する場合があるので、複数のテンプレート画像４２と照合して最も適合性の高いテンプレート画像４２を用いることにより、認識精度を向上させることができる。
【００１２】
図２のような複数の映像フレームにより構成されるテレビの映像信号が送信された場合、受信部１でこの映像信号を受信・検波し、受信したフレームの順に映像フレームがバッファ２に格納される。マッチング部５では最初の映像フレームを取り出して、この映像フレームに含まれるトピック識別記号の検出を行う。具体的には、トピックテンプレートテーブル３に含まれる各トピックのトピックテンプレート画像３１とその出現箇所３２を読み込んで、受信映像フレーム中の出現箇所に対応するエリアの情報とトピックテンプレート画像３１とをパターン照合し、マッチングがとれるか否かを検査する。例えば、図２に示した映像の場合、最初に「個別銘柄動向」というテンプレート画像３１を読み出して照合しても一致せず、次の「本日の相場概況」というテンプレート画像３１を読み出して照合すると一致するので、この映像フレームは「本日の相場概況」というトピック識別記号を持つことがわかる。なお、もし「本日の相場概況」でも一致しないときは、次のテンプレート画像３１を読み出して照合する。このように、トピックテンプレートテーブル３のテンプレート画像３１に基づいて、受信映像フレームのトピック識別記号と一致するまで照合が繰り返され、一致するトピックテンプレート画像３１がない場合はその映像フレームにはトピック識別記号が含まれないと判断して次の映像フレームの照合処理に移行する。
【００１３】
なお、パターン照合処理においては、出現箇所３２の幅と高さがトピックテンプレート３１の幅、高さよりも大きい場合は、出現箇所３２のエリアの範囲内でトピックテンプレート３１をずらしながらパターン照合を行うようにすることが好適である。映像信号の受信状態によってはトピック識別記号の位置ずれが発生する場合があるが、トピックテンプレート３１をずらしながらパターン照合を行うことで、上記のような位置ずれの影響を低減することができるからである。また、パターンを少しずつ拡大又は縮小した複数のトピックテンプレート３１を用意しておき、それらのテンプレートによってパターン照合を行い、最も適合度の良いテンプレートを用いる方法によっても上記位置ずれの影響を除くこともできる。また、パターンをわずかに拡大・縮小した複数のトピックテンプレートを用いる方法とずらしながらの照合を行う方法とを適宜組み合わせることによって、位置ずれの影響をさらに小さくすることができる。
【００１４】
受信映像フレームに含まれるトピック識別記号が検出できた場合には、次に認識テンプレートテーブル４との照合を行う。上記の例では、「本日の相場概況」というトピック識別記号に対応する認識テンプレート画像４２を読み込もうとするが、「本日の相場概況」というトピック識別記号に対応する認識テンプレート画像４２は認識テンプレート内には存在しないので、トピックテンプレートテーブル３の照合によって検出したトピック識別記号の内容３３とその映像フレームをデータベース６に保存する。この際、蓄積時刻などのタイムスタンプを付加してから蓄積することが望ましい。以上の動作により最初の受信映像フレームの処理が終了するので、次の映像フレームの処理に移行する。このトピック識別記号が「個別銘柄動向」の場合は、やはり同一の処理内容となる。さらに次の映像フレームでは、「前場  後場」というトピック識別記号が検出される。この場合には、認識テンプレートテーブル４に、このトピックに対応する認識テンプレート画像４２があるので、マッチング部５では認識テンプレート画像４２との照合処理を行う。例えば図２（ｃ）に示す映像の場合、左上の銘柄コードの部分から認識テンプレート画像４２と照合しながら１文字ずつ検出を行い、それに対応する銘柄コードの文字情報を出力する。また必要ならば、株価の情報も認識テンプレート画像４２と照合することにより検出し、それらのデータと映像フレームとをデータベース６に保存する。
【００１５】
上記の株式番組以外にも、例えばテレビショッピングの場合には、商品紹介コーナーの画面の特定の位置に商品コードが表示されるので、この商品コードを認識テンプレートとして用意しておくことができる。また、ニュースの場合、天気予報のコーナーでは、「晴れ」、「曇」、「雨」、「雪」、「晴れ時々曇」等の記号の内容とその画面レイアウトが決まっているので、各々の記号に対応した認識テンプレートを用意することができる。地震速報も場合には、「地震速報」というトピックテンプレートに対して、その後に放映される震度の情報を認識テンプレートとして用意することができる。ニュース速報の場合には、画面中の特定の位置に特定の記号列を表示するので、速報に応じたテンプレートを用意することができる。
【００１６】
図５は本発明の映像トピック検出方法の動作手順である。トピック識別記号が埋め込まれた映像信号を入力し（工程Ｓ０１）、その映像信号の中のトピック出現箇所の部分のトピック識別記号とトピックテンプレートテーブル３から読み出したトピックテンプレート画像３１とをパターン認識により照合する（工程Ｓ０２）。この照合により、トピックテンプレートテーブル３に記憶されたトピックテンプレート画像３１のうち、Ｎ行目のトピックテンプレート画像３１とマッチした場合には（工程Ｓ０３）、そのＮ行目のトピックに対応する認識テンプレート画像４２と照合し（工程Ｓ０４）、マッチしたらその認識テンプレートのデータ４３とトピックのデータ３３を出力する（工程Ｓ０５）。もし認識テンプレート画像４２とマッチしない場合にはトピックのデータ３３を出力する。もし、工程Ｓ０３でトピックテンプレート画像３１とマッチしない場合には、入力した映像が映像フレームの終端か否かを調べ（工程Ｓ０６）、終端でなければ新たな映像フレームを入力し（工程Ｓ０１にリターン）、終端であれば検出動作を終了する。
【００１７】
以上のように、本発明によれば、テンプレートテーブルをトピックテンプレートテーブル３と認識テンプレートテーブル４の２つのテーブルに階層化することにより、まずトピックテンプレートテーブル３とのパターンマッチングによってトピック識別記号を検出し、その後で、検出したトピックに関連する認識テンプレート画像のみをマッチングに用いればいいので、全ての認識テンプレートをマッチングする場合に比べてマッチング回数を低減することができ、照合処理を高速化することができる。また認識テンプレートを詳細に作成しておけば照合を高精度に行うことができる。さらにトピックテンプレートテーブル３にはトピックの出現箇所３２を記憶しておくことにより、そのエリアに限定したマッチング処理を行えば済むため、高速化することもできる。なお、ここではテーブルを２つに階層化する例を示したが、複雑な番組の場合にはテンプレートテーブルを３つ以上に階層化することもできる。
【００１８】
第２の実施例
図６は本発明の受信機の別の構成例である。図１に示した受信機と同一の部分には同一の符号を付して説明を省略する。この例では認識テンプレートテーブル４を省略して１つのテンプレートテーブルにした点が特徴である。そのテンプレートテーブルがメタ辞書７である。８はマッチング部である。これは基本的な動作は第１の実施例のマッチング部５と同一であるが、テンプレートテーブルであるメタ辞書７の構成が第１実施例におけるトピックテンプレートテーブル３および認識テンプレートテーブル４の構成とは異なることに伴って、その構成が異なるため、別の符号を付した。９は受信機の動作を制御するための制御部、１０は入出力インタフェース部、１１はこれらの部分を接続するための伝送ラインである。
【００１９】
図７はメタ辞書７の構成である。７１はトピック識別記号に対応するテンプレート画像であり、例えばテレビ画面に表示されるテロップ文字のイメージデータが該当する。類似する複数の画像を１グループとして登録することもできる。類似画像をグループ化することで映像の乱れに対応することができる。７２はテレビ画面内でトピック識別記号が出現するエリアである出現箇所を示し、例えばエリアの左上と右下の座標値で表現される。７３はトピックテンプレート画像７１に対応するトピックの内容であり、例えば「本日の相場概況」、「個別銘柄動向」、「今後の見通し」等のテキスト文字が該当する。７４はトピックの状態である。これは、あるテンプレート画像がマッチした時に、次に適用するテンプレート画像を指定する情報である。例えば、株価情報等のテレビで放送される情報は、異なるトピックを持つ複数の映像フレームが一定の順序で構成されることがほとんどであることを利用したものである。７５は当該トピックの次のトピックを示す状態データである。
【００２０】
ここでも図２に示した映像を受信するものとして受信動作を説明する。受信機ではメタ辞書７のトピックの状態７４を「初期状態」にしてから、受信部１で映像信号を受信し、各映像フレーム単位でバッファ２に保存する。メタ辞書７の初期状態では、テンプレート画像７１は「本日の相場概況」、その出現箇所７２は（１００，１００）−（２００、５４０）、次の状態は「１」である。最初の映像フレームに含まれるトピック識別記号、ここでは「本日の相場概況」という映像フレームであるが、そこに含まれるトピック識別記号がバッファ２からマッチング部８に送られると、マッチング部８ではメタ辞書７にアクセスしてトピックの生起状態７４と現在の状態とを照合する。例えば、最初は現在の状態が「初期」で、メタ辞書７の第１の行のトピックの生起状態７４も「初期」なので双方は一致するが、このように一致した場合には、その行の出現箇所７２によって示される受信映像フレーム中の部分画像（ここでは「本日の相場概況」というトピック識別記号であるイメージ画像）とテンプレート画像７１とのパターン認識により照合する。具体的には、この例の場合は「本日の相場概況」というテンプレート画像７１とイメージ照合する。なお、その行にテンプレート画像７１が複数含まれる場合には、全てのテンプレート画像と照合する。マッチした場合には、そのテンプレート画像７１に対応するトピックの内容７３と受信映像フレームを出力してデータベース６に記憶するとともにメタ辞書７の状態を次の状態に更新する。つまり、この場合は「本日の相場概況」というテキストデータと受信映像フレームを出力するとともに、状態を初期状態から状態１に遷移させる。次に、マッチング部８はバッファ２から次の映像フレーム、例えば「個別銘柄動向」という画像を読み込んで、やはりメタ辞書７にアクセスして最初の行のデータを読み出してその状態を照合する。この場合は、メタ辞書の状態は「１」であるのに対して、最初の行の状態は「初期」であるのでマッチしない。従って、次の行のデータを読み込み、状態７４を照合する。２行目の状態は「１」であるのでメタ辞書７の状態と一致するので、テンプレート画像７１（この場合は「個別銘柄動向」のテロップ）を照合する。以上のプロセスをメタ辞書７の「次の状態」７５が「終了」になるまで繰り返す。
【００２１】
図８は第２の実施例における映像トピック検出方法の動作手順である。まずメタ辞書７のデータを読み込み（工程Ｓ１１）、動作状態を「初期」状態に設定する（工程Ｓ１２）。次に、受信した映像信号のうちの１つの映像フレームを入力し（工程Ｓ１３）、メタ辞書７にアクセスして最初の行のデータを取り出す（工程Ｓ１４）。取り出したデータが示す「生起状態」７４と現在の状態を比較し（工程Ｓ１５）、両者が一致しない場合にはメタ辞書７の次の行のデータを取り出して同じ処理を繰り返す（工程Ｓ１９）。もし、メタ辞書７の全ての行について状態が一致しない場合には（Ｓ１８）、その映像フレームの処理を終了し、次の映像フレームについて処理を進めるために最後の映像フレームかどうかをチェックする（工程Ｓ２０）。最後でなければ次の映像フレームを入力して（工程Ｓ１３）、同一の処理を繰り返す。工程Ｓ１５で状態が一致した場合には、その行のテンプレート画像７１と映像フレーム中のトピック識別記号（テロップ文字）とをパターン照合する（Ｓ１６）。ここで照合できなければメタ辞書７の次の行について同様の処理を繰り返す（Ｓ１９）。もし受信映像フレームのトピック識別記号に対応する部分画像とテンプレート画像７１が一致した場合には（Ｓ１７）、動作状態を更新する（工程Ｓ２１）とともにテンプレート画像７１に対応するデータであるトピックの内容７３を出力する（工程Ｓ２２）。メタ辞書７の中の次の状態が終了状態かどうかを判定し（工程Ｓ２３）、もし終了状態でなければ次の映像フレームがあるかどうかを調べ（工程Ｓ２０）、あれば次の映像フレームの入力工程（工程Ｓ１３）に戻って同一の処理を繰り返し、なければ、この映像情報についての処理を終了する。また工程Ｓ２３で、メタ辞書７の状態が「終了」状態であれば、やはりこの映像情報についての処理を終了する。
【００２２】
以上のように、この実施例では、トピックの状態情報を利用することによって、認識テンプレートテーブルを省略して１つのテンプレートテーブルにまとめることで装置や検出処理を簡単化することができる。また、この例では、各状態に対してトピックの出現箇所、トピックの内容、テンプレート画像、次の状態をセットにして管理しているので、ある画面（状態）におけるトピックのマッチングの結果によって、次の画面（状態）におけるトピック検出の際に、トピックのスキャン範囲や照合すべきテンプレート画像を適切に選定することができるので、高速かつ高精度な検出処理が可能になるという利点もある。
【００２３】
以上述べたように、本発明の映像情報蓄積装置を用いることによって、トピックの単位で構造化した映像情報データベースを作成することができる。例えば、証券情報番組の場合には銘柄コードによる検索が可能な映像情報を作成できる。また、本発明の映像トピック検出方法は高速処理が可能であるため、リアルタイムの処理が可能なので、番組終了とほぼ同時に構造化した映像を提供することができる。さらに、特定の記号の出現とほぼ同時にアラートを発生させることもできる。
【図面の簡単な説明】
【００２４】
【図１】本発明の映像情報蓄積装置の構成図である。
【図２】テレビで放送される映像情報の例である。
【図３】トピックテンプレートテーブルの構成図である。
【図４】認識テンプレートテーブルの構成図である。
【図５】本発明の映像トピック検出方法の手順である。
【図６】本発明の映像情報蓄積装置の第２の実施例の構成図である。
【図７】メタ辞書の構成図である。
【図８】本発明の映像トピック検出方法の第２の実施例の手順である。
【図９】映像情報蓄積装置の従来例である。
【符号の説明】
【００２５】
１  受信部
２  バッファ
３  トピックテンプレートテーブル
４  認識テンプレートテーブル
５  マッチング部
６  データベース
７  メタ辞書
８  マッチング部
９  制御部
１０  入出力インタフェース
３１  テンプレート画像
３２  出現箇所
３３  トピックの内容
７１  テンプレート画像
７２  出現箇所
７３  トピックの内容
７４  生起状態
【図１】
0004703483.tif 000002
【図２】
0004703483.tif 000003
【図３】
0004703483.tif 000004
【図４】
0004703483.tif 000005
【図５】
0004703483.tif 000006
【図６】
0004703483.tif 000007
【図７】
0004703483.tif 000008
【図８】
0004703483.tif 000009
【図９】
0004703483.tif 000010