(57)【要約】  【課題】  番組などの表示画面から葉書の宛先など必要な情報を抽出する場合、その画面上にはあまり必要のない看板や出演者の衣服上のロゴ情報なども含まれているため、その画像から特定の必要な情報を抽出することが困難である、という課題がある。また携帯機器などでは情報の抽出範囲などを指定する操作が困難である、という課題もある。  【解決手段】  この課題を解決するために、本発明は、動画の複数のフレーム内で動きの少ない領域を検出し、その動きの少ない領域（不動領域）内にある文字情報などのパターン情報を抽出する動画フレーム情報解析装置を提供する。これは、視聴者に必要な上記情報はテロップなどの形態で表示されることが多く、したがって、カメラの移動などで動く看板の文字や服装の文字などの動き量とは違い、その動き量も少ないと考えられるからである。  【選択図】  図２
2006154976.tif 000002
【特許請求の範囲】
【請求項１】
動画フレーム情報を複数取得する動画フレーム情報取得部と、
前記複数の動画フレーム情報のなかで動きの少ない領域である不動領域を検出する不動領域検出部と、
前記不動領域検出部により検出された不動領域に示される映像情報からパターン情報を抽出するパターン情報抽出部と、
を有する動画フレーム情報解析装置。
【請求項２】
所定のパターン情報と、実行処理識別子とを関連付けて保持するパターン別実行処理識別子保持部と、
前記パターン情報抽出部で抽出されたパターン情報に関連付けられている実行処理識別子を前記パターン別実行処理識別子保持部から取得する実行処理識別子取得部と、
を有する請求項１に記載の動画フレーム情報解析装置。
【請求項３】
前記パターン情報抽出部は、前記不動領域検出部にて検出された不動領域が複数である場合には、それぞれの不動領域からパターン情報を抽出して、それらの一以上の組み合わせによるパターン情報を取得する複数領域パターン情報取得手段を有する請求項１又は２に記載の動画フレーム情報解析装置。
【請求項４】
前記動画フレーム情報は、放送により得られる情報であり、さらにこの放送に付属するデジタルデータ情報が含まれている場合に、前記デジタルデータを取得するデジタルデータ取得部を有し、
前記デジタルデータ取得部が取得したデジタルデータと、前記実行処理識別子取得部が取得した実行処理識別子とを、関連付けて実行すべき処理を識別する第二実行処理識別子を保持する第二実行処理識別子保持部を有する請求項２に記載の動画フレーム情報解析装置。
【請求項５】
前記パターン情報は、テキスト情報であることを特徴とする請求項１から４のいずれか一に記載の動画フレーム情報解析装置。
【請求項６】
前記パターン情報は、バーコード情報であることを特徴とする請求項１から４のいずれか一に記載の動画フレーム情報解析装置。
【請求項７】
前記パターン情報は、画像情報であることを特徴とする請求項１から４のいずれか一に記載の動画フレーム情報解析装置。
【請求項８】
動画フレーム情報を複数取得する動画フレーム情報取得ステップと、
前記動画フレーム情報取得ステップにて取得した複数の動画フレーム情報のなかで動きの少ない領域である不動領域を検出する不動領域検出ステップと、
前記不動領域検出ステップにより検出された不動領域に示される映像情報からパターン情報を抽出するパターン情報抽出ステップと、
を有する動画フレーム情報解析方法。
【請求項９】
動画フレーム情報を複数取得する動画フレーム情報取得ステップと、
前記動画フレーム情報取得ステップにて取得した複数の動画フレーム情報のなかで動きの少ない領域である不動領域を検出する不動領域検出ステップと、
前記不動領域検出ステップにより検出された不動領域に示される映像情報からパターン情報を抽出するパターン情報抽出ステップと、
予め所定のパターン情報と関連付けて保持されている実行処理識別子から、前記パターン情報抽出ステップで抽出されたパターン情報に関連付けられている実行処理識別子を取得する実行処理識別子取得ステップと、
を有する動画フレーム情報解析方法。
【発明の詳細な説明】
【技術分野】
【０００１】
動画内に表示される電子メールアドレスなどの情報を取得する技術に関する。
【背景技術】
【０００２】
現在、テレビ番組やビデオソフトの映像中に、例えば苦情や意見の連絡先、あるいはプレゼント応募用の住所や電子メールアドレスなどが表示されることが良くある。視聴者は、これら映像中に表示される情報を書き留めるなどし、書き留めた連絡先や宛先に対して電話をしたり葉書や電子メールを送信したりする。また、特許文献１では、情報を書き留める手間を省くために、表示画面から電子メールアドレスなどの文字情報を含む画像を取得し、画像からそのアドレス情報などを抽出し、例えば電子メールソフトでそのアドレスに対し電子メールを送信する、という技術が開示されている。
【特許文献１】特開２００１−１６７０２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、上記従来技術では画像内で電子メールアドレスなど文字情報が含まれる領域をユーザーなどが指定する必要があり、視聴者の手を煩わせる、あるいは携帯機器などでは指定する操作が困難である、という課題がある。また指定無しに文字情報などを抽出する場合、番組などの表示画面上には、例えば看板や出演者の衣服上の文字情報など通常は視聴者にあまり関係のない文字情報も含まれており、表示画面の画像から特定の文字情報などを抽出することが困難である、という課題もある。
【課題を解決するための手段】
【０００４】
以上の課題を解決するために、本発明は、動画の複数のフレーム内で動きの少ない領域を判定し、その動きの少ない領域（不動領域）内にある文字情報などのパターン情報を抽出する動画フレーム情報解析装置を提供する。これは、視聴者に必要な、例えば住所や電子メールアドレスなどの情報はテロップなどの形態で表示されることが多く、したがって、カメラの移動などで動く看板の文字や服装の文字などの動き量とは違い、その動き量も少ないと考えられるからである。
【０００５】
具体的には、動画フレーム情報を複数取得する動画フレーム情報取得部と、前記複数の動画フレーム情報のなかで不動領域を検出する不動領域検出部と、前記不動領域検出部により検出された不動領域に示される映像情報からパターン情報を抽出するパターン情報抽出部と、を有する動画フレーム情報解析装置を提供する。
【発明の効果】
【０００６】
以上のような構成をとる本発明によって、視聴者は画像領域の指定などの特段の操作をすること無しに、電子メールアドレスなどの各種情報を簡単に取得することができる。これは、領域指定の困難な、例えば携帯電話などの小型機器における動画内の情報抽出において特に効果を奏する。
【発明を実施するための最良の形態】
【０００７】
以下に、図を用いて本発明の実施の形態を説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。なお、実施例１は主に請求項１，５，６，７，８について説明する。また、実施例２は主に請求項２，９について説明する。また、実施例３は主に請求項３について説明する。また、実施例４は主に請求項４について説明する。
【０００８】
≪実施例1≫    <実施例１の概念>  図１に示すのは、本実施例における動画フレーム解析装置の概念の一例を説明するための図である。この図にあるように、まず、ある音楽番組のあるシーンにおいて司会者によるトークの模様とともに「リクエストのあて先」が表示される。本実施例の動画フレーム解析装置は、この音楽番組の動画フレームを解析することにより「リクエストのあて先」の情報のみを抽出することができる。したがって、本実施例の動画フレーム情報解析装置にて簡単に情報を抽出することができるので、「リクエストのあて先」などの情報をいちいち紙に書き留めるなどの手間を省くことなどが可能になる。
【０００９】
<実施例１の構成>  図２に示すのは、本実施例の動画フレーム解析装置における機能ブロックの一例を表す図である。この図にあるように、本実施例の「動画フレーム解析装置」（０２００）は、「動画フレーム情報取得部」（０２０１）と、「不動領域検出部」（０２０２）と、「パターン情報抽出部」（０２０３）と、を有する。なお、以下に記載する本システムの機能ブロックは、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの両方として実現され得る。具体的には、コンピュータを利用するものであれば、ＣＰＵやメモリ、バス、ハードディスクドライブ、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの読取ドライブ、各種通信用の送受信ポート、インターフェース、その他の周辺装置などのハードウェア構成部や、それらハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラムなどが挙げられる。具体的には、メモリ上に展開されたプログラムを順次実行することで、メモリ上のデータや、インターフェースを介して入力されるデータの加工、蓄積、出力などにより各部の機能が実現される。また、この発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、このような発明の一部をソフトウェアとして構成することができることもできる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品、及び同製品を記録媒体に固定した記録媒体も、当然にこの発明の技術的な範囲に含まれる（本明細書の全体を通じて同様である）。
【００１０】
「動画フレーム情報取得部」（０２０１）は、動画フレーム情報を複数取得する機能を有する。「動画フレーム情報」とは、動画を構成する１フレーム（１コマ）を表示するための情報をいい、この動画フレーム情報によるフレームが複数連続で出力されることで一連の動画として再生することができる。図３に示すのは、動画フレーム情報によって表示されるフレームの一例を説明するための図である。この図にあるように、３つの動画フレーム情報によって表示される３つのフレームがある。そして、この３つのフレームを、例えば０．１秒の間に第１、第２、第３の順に表示することで、人の目に動画として認識させることができる。この動画フレーム情報によって構成される動画は、「リクエストのあて先」が画面右下に表示されながら、「ｍｕｓｉｃ  ｓｏｕｌ」というロゴの入った衣装を着た番組の司会者が左から右に移動した後、真中に戻ってくる、という動画である。
【００１１】
なお、このそれぞれの動画フレーム情報は、独立して１フレームを表示可能な情報であってもいいし、圧縮形式の動画であれば前後の動画フレーム情報を参照して１フレームを表示可能な情報であっても良い。また、「複数取得する」とは、フレームの表示順が連続している動画フレーム情報を複数取得する形態でも良いし、それぞれの動画フレーム情報が独立の情報であるならば（非圧縮形式の動画であるならば）、非連続の動画フレーム情報を複数取得する形態でも良い。また、この動画フレーム情報はインターレース、あるいはノンインターレースの動画方式のいずれの動画フレーム情報も含む概念である。その場合、インターレース動画における奇数行のフレームと偶数行のフレームをそれぞれ異なった動画フレーム情報として処理してもよいし、両者を合わせて（ノンインターレース処理を施して）１つの動画フレーム情報として処理しても良い。
【００１２】
また、この動画フレーム情報取得部で取得される動画フレーム情報は、例えばDVDやビデオなどの記録媒体から再生される動画の動画フレーム情報であっても良いし、テレビ放送受信やケーブル受信のようにチューナーを介して取得した動画の動画フレーム情報であっても良いし、あるいはインターネット上のストリーミングまたはダウンロードによって配信されている動画の動画フレーム情報であっても良い。なお、この動画フレーム情報はアナログデータである場合、後述する不動領域の検出やパターン情報の抽出のためにＡ／Ｄ（アナログ・デジタル）変換器によってデジタルデータに変換される必要がある。
【００１３】
「不動領域検出部」（０２０２）は、不動領域を検出する機能を有する。「不動領域」とは、前記複数の動画フレーム情報のなかで動きの少ない領域をいう。例えば、図３に示す３つの動画フレーム情報においては、「リクエストあて先」が表示されている領域が画面右下の位置からほとんど動いておらず、不動領域と言える。一方、同様に図３のその他の部分は、画面内で司会者が動き回っており不動領域では無いと言える。
【００１４】
図４に示すのは、この不動領域検出部における不動領域の検出の一例を説明するための図である。この図にあるように、第一と第二の動画フレーム情報で示される２つのフレーム（ａ）とフレーム（ｂ）を４×４など所定の領域で区分する。そしてそれぞれの領域において、例えば構成する色情報（ＲＧＢ、ＹＵＶなど）の割合や領域内における輝度の積分値などが同じ、または近似しているかの判断を行う。あるいは、圧縮動画であればそれぞれの領域における動きの差分情報からその領域の動き量を判断しても良い。例えば、図４のフレーム（ａ）内の領域４０３Ａ、及びその後のフレーム（ｂ）内の対応する領域４０３Ｂでは、前者には人の顔の一部を表示するための情報が含まれている。しかし後者にはそれが含まれておらず、代わりにその人物の背景に隠れていた番組マスコットなどを表示するための情報が含まれる。したがって４０３Ａと４０３Ｂを示す情報は大きく異なっているので、この領域４０３は不動領域ではないと判断する。一方、４０１Ａと４０１Ｂにおいては、両者とも「リクエストのあて先」や「〒１１０−××××」を表示するための情報が含まれている。したがって、４０１Ａと４０１Ｂを示す情報は近似しており、この領域は不動領域であると判断できる。そしてこの判断を領域ごとに行い、不動領域であると判断された領域の検出を行う。
【００１５】
また、不動領域から抽出したいパターン情報（詳細は後述）が、電子メールアドレスや郵便の宛先住所など文字からなる情報であるならば、その文字を含む領域の映像情報の特徴としてエッジ成分が強いことが挙げられる。したがって、オートフォーカスの山登り制御などの技術を利用して領域内のエッジ成分量を算出し閾値以上の領域には文字が含まれていると判断して不動領域として検出しても良い。
【００１６】
このように不動領域の検出を行うことで、画面内で例えばテロップなどの文字情報などが表示されている領域を特定することができる。そして不動領域として検出されない司会者のいる領域にある「ｍｕｓｉｃ  ｓｏｕｌ」というシャツのロゴは後述するパターン情報として抽出されずにすむ。
【００１７】
「パターン情報抽出部」（０２０３）は、不動領域検出部（０２０２）により検出された不動領域に示される映像情報からパターン情報を抽出する機能を有する。「パターン情報」とは、所定のパターンによって抽出可能な情報をいい、例えば、テロップなどとして不動領域に含まれるプレゼントや意見などの連絡先やホームページ、電子メールアドレス、時報、ニュース速報、クイズ問題、またはパスワードなどのテキスト情報が挙げられる。その他にもバーコード情報、所定の画像情報なども挙げられる。なお、「所定のパターン」とは、例えば５０音や漢字、アルファベット、数字、絵文字、顔文字、所定の画像などからなり、後述するようにこの所定のパターンと比較、参照して抽出された例えば「今」「日」「は」という画像中の文字がテキスト情報に変換され「今日は」と組み合わされることでパターン情報が生成される。
【００１８】
このパターン情報の抽出には、テキスト情報であるならば例えば光学式文字読取装置（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅａｄｅｒ）などのアルゴリズムを利用する方法が挙げられる。図５に示すのは、光学式文字読取装置のアルゴリズムを利用したパターン情報の抽出の一例を説明するための図である。この図にあるように、動画フレーム情報から抽出された不動領域は基本的に映像情報である。したがって、この映像情報に含まれる画像である例えば文字をテキスト情報として抽出する場合、予め保持している５０音や漢字、カタカナ、アルファベット、数字などの文字抽出用の各パターンと比較、照合する。そして両者の画像のドットの分布状態の重なりなどからどの抽出用のパターンと近似しているか否か判断する。この文字抽出用のパターンには、それぞれ対応するテキスト情報が関連付けて蓄積されており、それによりテキストデータに変換する。このようにして映像情報に含まれる画像である複数の文字などをテキスト情報として抽出することができる。そして、抽出されたそれら各文字を組み合わせてパターン情報として抽出する。もちろん、上記文字抽出用のパターンを顔文字や絵文字、バーコードや所定の画像のパターンを示す情報とすることで、それらをパターン情報として抽出しても良い。また、バーコード情報や画像情報が二次元バーコードや電子メールアドレスなどの情報が埋め込まれたものであるならば、これらバーコード情報や画像情報から電子メールアドレスなどの情報に変換したものをパターン情報として抽出する処理を行っても良い。
【００１９】
また、このように抽出したテキスト情報を、アットマーク（＠）を含むテキストであるかを判断することでパターン情報が電子メールアドレスであることを判断したり、抽出したテキスト情報の中からさらに電子メールアドレスのみなど特定のパターン情報のみ抽出する機能を備えていても良い。図６に示すのは、パターン情報として電子メールアドレスのみを抽出する際の一例を説明するための図である。この図にあるように、照合用パターンとしてさらに「×××＠××．××」（×の個数は不特定）という情報が保持されており、この照合用パターンを上記と同様の方法により不動領域から抽出したテキスト情報と比較、照合する。それにより電子メールアドレス以外の必要が無いメッセージなどを除いたパターン情報を抽出することができる。もちろん、照合用のパターンとして、その他に「ｈｔｔｐ」でホームページアドレスを抽出したり、郵便番号（〒）で住所などを抽出したりしても良い。
【００２０】
このように、ユーザーが特別の指定などすること無しに、簡単に動画の動きの少ない部分に含まれる郵便のあて先などのパターン情報を抽出することができる。
【００２１】
<実施例１の処理の流れ>  図７の（ａ）と（ｂ）に示すのは、本実施例の動画フレーム解析装置における処理の流れの一例を表すフローチャートである。この図の（ａ）にあるように、まず、処理の開始命令があったか否かの判定を行う（ステップＳ０７０１ａ）。開始命令があった場合、動画フレーム情報を取得し、所定数動画フレーム情報をしたか判断する（ステップＳ０７０２ａ）。ここで所定数取得していなかった場合、再び動画フレーム情報の取得処理を行う。一方、所定数の動画フレーム情報を取得したと判断された場合、取得した複数の動画フレーム情報のなかで不動領域を検出する（ステップＳ０７０３ａ）。最後に、検出された不動領域に示される映像情報からパターン情報を抽出する（ステップＳ０７０４ａ）。
【００２２】
あるいはその他の処理の流れの一例として、図７の（ｂ）に示すように、まず、処理の開始命令があったか否かの判定を行う（ステップＳ０７０１ｂ）。開始命令があった場合、動画フレーム情報を複数取得する（ステップＳ０７０２ｂ）。つづいて、取得した複数の動画フレーム情報のなかで不動領域が検出されたか否か判断する（ステップＳ０７０３ｂ）。ここで、前記ステップＳ０７０３ｂにて不動領域が検出されたと判断された場合、検出された不動領域に示される映像情報からパターン情報を抽出する（ステップＳ０７０４ｂ）。一方、前記ステップＳ０７０３ｂにて不動領域が検出されなかったと判断された場合、再びステップＳ０７０２ｂの動画フレーム情報の複数取得を開始する。
【００２３】
<実施例１の効果の簡単な説明>  以上のように、本実施例の動画フレーム解析装置により、ユーザーによる特別な操作など無くとも、不動領域に含まれテロップなどで表示されるテキスト情報などを簡単に抽出することができる。
【００２４】
≪実施例２≫    <実施例２の概念>  図８に示すのは、本実施例における動画フレーム解析装置の概念の一例を説明するための図である。この図にあるように、まず、本実施例の動画フレーム解析装置は、実施例１の動画フレーム解析装置を基本として、動画の映像の中から、例えばリクエストのあて先などのパターン情報を抽出する。そして、そのパターン情報が電子メールアドレスを示す情報であるならば、メーラーを起動する処理を行う。また、さらに、前記リクエストのあて先の電子メールアドレスが入力された状態の電子メール入力フォームを起動させる、という具合である。このように、この動画フレーム情報解析装置によって、パターン情報に合わせてアプリケーションなどを起動させることができる。
【００２５】
<実施例２の構成>  図９に示すのは、本実施例の動画フレーム解析装置における機能ブロックの一例を表す図である。この図にあるように、本実施例の「動画フレーム解析装置」（０９００）は、実施例１を基本として、「動画フレーム情報取得部」（０９０１）と、「不動領域検出部」（０９０２）と、「パターン情報抽出部」（０９０３）と、を有する。そして本実施例の動画フレーム解析装置は、特徴点として、「パターン別実行処理識別子保持部」（０９０４）と、「実行処理識別子取得部」（０９０５）と、をさらに有する。なお、「動画フレーム情報取得部」と「不動領域検出部」と「パターン情報抽出部」は、実施例１での説明においてすでに説明済みであるので、ここでの説明は省略する。
【００２６】
「パターン別実行処理識別子保持部」（０９０４）は、所定のパターン情報と、実行処理識別子とを関連付けて保持する機能を有する。図１０に示すのは、パターン情報と、実行処理識別子との関連付けを説明するための図である。この図にあるように、例えばパターン情報である「＊＠＊．＊」（＊は不特定）という文字列を含むテキスト情報と、実行処理識別子である「電子メーラー」を識別する情報とが関連付けられている。あるいは、「ｈｔｔｐ：／／＊」というパターン情報と「Ｗｅｂブラウザ」の実行処理識別子、「郵便番号（〒）」というパターン情報と「はがき（宛名）作成ソフト」の実行処理識別子、または「０５０−＊−＊」というパターン情報と「ＩＰフォンアプリケーション」、という具合にそれぞれ関連付けられている。また、パターン情報に対して、複数の実行処理識別子を関連付けてもよい。例えば、「郵便番号（〒）」というパターン情報に「はがき（宛名）作成ソフト」のほか、「電子地図」の実行処理識別子を関連付け、実行するときにいずれかを選択するようにしてもよい。あるいは図示以外の関連付けとして、「地震」という文字列のパターン情報と「地震速報サイトへのアクセス」という実行処理識別子なども挙げられる。
【００２７】
「実行処理識別子取得部」（０９０５）は、パターン情報抽出部（０９０３）で抽出されたパターン情報に関連付けられている実行処理識別子をパターン別実行処理識別子保持部（０９０４）から取得する機能を有する。このようにして、例えばパターン情報として「＊＠＊．＊」（＊は不特定）という文字列を含むテキスト情報が抽出されると、「電子メーラー」を識別する識別子が取得される。そしてそれに応じて電子メーラーの起動や、あるいは予め抽出されたパターン情報である電子メールアドレスが入力された電子メール入力フォームを起動することができる。
【００２８】
したがって、いちいちメモなどを取ったりせずとも、例えば番組へのリクエストやプレゼントの応募、公式ホームページへのアクセスなどを行うための実行処理が自動で行われるので便利である。
【００２９】
<実施例２の処理の流れ>  図１１の（ａ）と（ｂ）に示すのは、本実施例の動画フレーム解析装置における処理の流れの一例を表すフローチャートである。この図の（ａ）にあるように、まず、処理の開始命令があったか否かの判定を行う（ステップＳ１１０１ａ）。開始命令があった場合、動画フレーム情報を取得し、所定数動画フレーム情報をしたか判断する（ステップＳ１１０２ａ）。ここで所定数取得していなかった場合、再び動画フレーム情報の取得処理を行う。一方、所定数の動画フレーム情報を取得したと判断された場合、取得した複数の動画フレーム情報のなかで不動領域を検出する（ステップＳ１１０３ａ）。次に、検出された不動領域に示される映像情報からパターン情報を抽出する（ステップＳ１１０４ａ）。そして最後に、予め所定のパターン情報と関連付けて保持されている実行処理識別子から、前記ステップＳ１１０４ａで抽出されたパターン情報に関連付けられている実行処理識別子を取得する（ステップＳ１１０５ａ）。
【００３０】
あるいはその他の処理の流れの一例として、図１１の（ｂ）に示すように、まず、処理の開始命令があったか否かの判定を行う（ステップＳ１１０１ｂ）。開始命令があった場合、動画フレーム情報を複数取得する（ステップＳ１１０２ｂ）。つづいて、取得した複数の動画フレーム情報のなかで不動領域が検出されたか否か判断する（ステップＳ１１０３ｂ）。ここで、前記ステップＳ１１０３ｂにて不動領域が検出されたと判断された場合、検出された不動領域に示される映像情報からパターン情報を抽出する（ステップＳ１１０４ｂ）。そして最後に、予め所定のパターン情報と関連付けて保持されている実行処理識別子から、前記ステップＳ１１０４ｂで抽出されたパターン情報に関連付けられている実行処理識別子を取得する（ステップＳ１１０５ｂ）。一方、前記ステップＳ１１０３ｂにて不動領域が検出されなかったと判断された場合、再びステップＳ１１０２ｂの動画フレーム情報の複数取得を開始する。
【００３１】
<実施例２の効果の簡単な説明>  以上のように、本実施例の動画フレーム解析装置により、不動領域に含まれテロップなどで表示されるテキスト情報などに基づいて、例えば電子メールアドレスならば電子メーラーの起動、ホームページアドレスならばＷｅｂブラウザの起動、あるいは住所ならば宛名作成ソフトや印刷装置の起動を、ユーザーの手を煩わせることなく自動的に処理することが可能になる。
【００３２】
≪実施例３≫    <実施例３の概念>  図１２に示すのは、本実施例における動画フレーム解析装置の概念の一例を説明するための図である。この図にあるように、まず、本実施例の動画フレーム解析装置は、実施例１や実施例２の動画フレーム解析装置を基本として、動画の映像の中から、例えば番組ホームページのアドレスやパスワードなどのパターン情報を抽出する。その際に本実施例の動画フレーム解析装置は、特徴点としてパターン情報を抽出する際の動画フレーム情報に、図にあるように番組ホームページのアドレスとパスワードとが例えば時間的にずれて表示される場合でも一つのパターン情報として抽出することができる。
【００３３】
<実施例３の構成>  図１３に示すのは、本実施例の動画フレーム解析装置における機能ブロックの一例を表す図である。この図にあるように、本実施例の「動画フレーム解析装置」（１３００）は、実施例１を基本として、「動画フレーム情報取得部」（１３０１）と、「不動領域検出部」（１３０２）と、「パターン情報抽出部」（１３０３）と、を有する。もちろん、実施例２を基本として「パターン別実行処理識別子保持部」と「実行処理識別子取得部」（図示せず）と、をさらに有していても良い。そして本実施例の動画フレーム解析装置は、特徴点として、「パターン情報抽出部」（１３０３）が、「複数領域パターン情報取得手段」（１３０４）と、をさらに有する。なお、「動画フレーム情報取得部」と「不動領域検出部」と「パターン情報抽出部」は、実施例１での説明においてすでに説明済みであるので、ここでの説明は省略する。
【００３４】
「複数領域パターン情報取得手段」（１３０４）は、不動領域検出部（１３０２）で検出した不動領域が複数である場合には、それぞれの不動領域からパターン情報を抽出して、それらの一以上の組み合わせによるパターン情報を取得する機能を有する。「不動領域が複数」とは、時間的あるいは空間的に複数であることを意味する。図１４に示すのは、時間的に不動領域が複数ある場合のパターン情報の取得の一例を説明するための図である。この図にあるように、時間ｍから時間ｎまでのある不動領域Ａ１の映像情報から、パターン情報として「ｈｔｔｐ：／／×××．ｃｏｍ」が抽出された。そして時間ｎよりも後の時間ｏから時間ｐまでの同じ不動領域Ａ２の映像情報から、今度は「パスワード：１２３××４５６」という、前記ホームページアドレスのホームページにログインするためのパスワードを示す情報がパターン情報として抽出された。このような場合、この両者を組み合わせて「ｈｔｔｐ：／／×××．ｃｏｍ  パスワード：１２３××４５６」というパターン情報を取得する、という具合である。
【００３５】
なお、この複数の不動領域から抽出された複数のパターン情報を組み合わせる際には、組み合わせの組を予め定めて保持しているデータベースなどを利用すると良い。図２１に示すのは複数のパターン情報の一以上の組み合わせの判断の一例を説明するための図である。この図にあるように、不動領域Ａ１と不動領域Ａ２からそれぞれ「ｈｔｔｐ：／／×××．ｃｏｍ」、「パスワード：１２３××４５６」というパターン情報を抽出した。ここで、上記データベースを参照することで「ｈｔｔｐ」の文字列と「パスワード」という文字列は組み合わせの対象となるパターン情報だと判断される、と言う具合である。一方、不動領域Ａ１と不動領域Ａ２からそれぞれ「ホームページアドレス」と「郵便番号」という文字列が抽出された場合、これらは上記データベースから組み合わせの対象ではないと判断されるので組み合わされることはない。
【００３６】
図１５に示すのは、空間的に不動領域が複数ある場合のパターン情報の取得の一例を説明するための図である。この図にあるように、ある動画フレーム情報で抽出された不動領域Ａと不動領域Ｂとでそれぞれパターン情報として「〒１１１−××××」と「住所：東京都○×区××４−５」というテキスト情報が抽出された。ここで、図２１のデータベースからその両者のパターン情報を組み合わせる、と判断できる。したがって、両者を組み合わせ「〒１１１−××××  住所：東京都○×区××４−５」というパターン情報を取得することができる、という具合である。もちろん、時間的と空間的の両者の異なる不動領域から抽出されたパターン情報の組み合わせを行っても構わない。
【００３７】
<実施例３の処理の流れ>  図１６の（ａ）と（ｂ）に示すのは、本実施例の動画フレーム解析装置における処理の流れの一例を表すフローチャートである。この図の（ａ）にあるように、まず、処理の開始命令があったか否かの判定を行う（ステップＳ１６０１ａ）。開始命令があった場合、動画フレーム情報を取得し、所定数動画フレーム情報をしたか判断する（ステップＳ１６０２ａ）。ここで所定数取得していなかった場合、再び動画フレーム情報の取得処理を行う。一方、所定数の動画フレーム情報を取得したと判断された場合、取得した複数の動画フレーム情報のなかで複数の不動領域を検出する（ステップＳ１６０３ａ）。つづいて、検出されたそれぞれの不動領域に示される映像情報からパターン情報を複数抽出する（ステップＳ１６０４ａ）。そして最後に、複数のパターン情報の一以上の組み合わせによるパターン情報を取得する（ステップＳ１６０５ａ）。
【００３８】
あるいはその他の処理の流れの一例として、図１６の（ｂ）に示すように、まず、処理の開始命令があったか否かの判定を行う（ステップＳ１６０１ｂ）。開始命令があった場合、動画フレーム情報を複数取得する（ステップＳ１６０２ｂ）。つづいて、取得した複数の動画フレーム情報のなかで複数の不動領域が検出されたか否か判断する（ステップＳ１６０３ｂ）。ここで、前記ステップＳ１６０３ｂにて不動領域が複数検出されたと判断された場合、検出されたそれぞれの不動領域に示される映像情報からパターン情報を複数抽出する（ステップＳ１６０４ｂ）。そして最後に、複数のパターン情報の一以上の組み合わせによるパターン情報を取得する（ステップＳ１６０５ｂ）。一方、前記ステップＳ１６０３ｂにて不動領域が検出されなかったと判断された場合、再びステップＳ１６０２ｂの動画フレーム情報の複数取得を開始する。
【００３９】
<実施例３の効果の簡単な説明>  以上のように、本実施例の動画フレーム解析装置により、時間的または／及び空間的に複数の不動領域に含まれるパターン情報を組み合わせて抽出することが可能になる。
【００４０】
≪実施例４≫    <実施例４の概念>  図１７に示すのは、本実施例における動画フレーム解析装置の概念の一例を説明するための図である。この図にあるように、まず、本実施例の動画フレーム解析装置は、実施例２の動画フレーム解析装置を基本として、動画の映像の中からパターン情報である地震速報の情報を抽出する。その際に本実施例の動画フレーム解析装置は、特徴点としてデジタル放送波である動画フレーム情報に含まれる例えば時刻の情報を取得し、番組表情報などを参照しその時刻にニュースを放送している放送局の電波受信にチューナーを合わせる制御を行うことができる。このように本実施例の動画フレーム情報解析装置は、動画フレーム情報に含まれる例えば時刻情報などのデジタルデータも加味して実行処理を行うことが可能である。
【００４１】
<実施例４の構成>  図１８に示すのは、本実施例の動画フレーム解析装置における機能ブロックの一例を表す図である。この図にあるように、本実施例の「動画フレーム解析装置」（１８００）は、実施例２を基本として、「動画フレーム情報取得部」（１８０１）と、「不動領域検出部」（１８０２）と、「パターン情報抽出部」（１８０３）と、「パターン別実行処理識別子保持部」（１８０４）と「実行処理識別子取得部」（１８０５）と、を有する。そして本実施例の動画フレーム解析装置は、特徴点として、「デジタルデータ取得部」（１８０６）と、「第二実行処理識別子保持部」（１８０７）と、をさらに有する。なお、「動画フレーム情報取得部」と「不動領域検出部」と「パターン情報抽出部」と「パターン別実行処理識別子保持部」と「実行処理識別子取得部」は、実施例１および２での説明においてすでに説明済みであるので、ここでの説明は省略する。
【００４２】
「デジタルデータ取得部」（１８０６）は、デジタルデータを取得する機能を有する。「デジタルデータ」とは、動画フレーム情報が放送により得られる情報である場合にこの放送に含まれる情報であり、例えば時刻を示す情報や、データ放送として含まれている動画の説明情報などが挙げられる。
【００４３】
「第二実行処理識別子保持部」（１８０７）は、デジタルデータ取得部（１８０６）が取得したデジタルデータと、実行処理識別子取得部（１８０５）が取得した実行処理識別子とを関連付けて実行すべき第二実行処理識別子を保持する機能を有する。図２０に示すのは、デジタルデータ及び実行処理識別子と、第二実行処理識別子との関連付けの一例を説明するための図である。この図にあるように、例えば、デジタルデータである時刻情報と実行処理識別子であるＴＶ受信ソフトの起動の識別子と、それに応じて実行するための処理としてニュース番組へのチャンネル合わせを示す第二実行処理識別子が関連付けられている。これにより、例えばパターン情報として地震速報などを抽出しテレビが自動起動した場合に、そのチャンネルも自動的にニュース番組に合わせることが可能になる。あるいは、第二実行処理識別子での実行処理がチャンネル合わせではなく、該当チャンネルにチューニングされたサブ画面の立ち上げなどであっても良い。
【００４４】
あるいは、放送されている番組が温泉宿情報であり、その動画フレーム情報からパターン情報としてその温泉宿の宿泊予約用のホームページのアドレスが抽出された。すると、デジタルデータである温泉宿情報とその宿泊予約ページをＷｅｂブラウザで表示するという実行処理識別子と関連付けて、第二実行処理識別子として路線検索を行う処理識別子が保持されている。これによって自動で路線検索を行うことも可能になる。
【００４５】
<実施例４の処理の流れ>図１９の（ａ）と（ｂ）に示すのは、本実施例の動画フレーム解析装置における処理の流れの一例を表すフローチャートである。この図の（ａ）にあるように、まず、処理の開始命令があったか否かの判定を行う（ステップＳ１９０１ａ）。開始命令があった場合、動画フレーム情報を取得し、所定数動画フレーム情報をしたか判断する（ステップＳ１９０２ａ）。ここで所定数取得していなかった場合、再び動画フレーム情報の取得処理を行う。一方、所定数の動画フレーム情報を取得したと判断された場合、取得した複数の動画フレーム情報のなかで不動領域を検出する（ステップＳ１９０３ａ）次に、検出された不動領域に示される映像情報からパターン情報を抽出する（ステップＳ１９０４ａ）。つづいて、予め所定のパターン情報と関連付けて保持されている実行処理識別子から、前記ステップＳ１９０４ａで抽出されたパターン情報に関連付けられている実行処理識別子を取得する（ステップＳ１９０５ａ）。また、デジタルデータを取得する（ステップＳ１９０６ａ）。そして最後に、予めデジタルデータ及び実行処理識別子と関連付けて保持されている第二実行処理識別子から、前記ステップＳ１９０５ａで取得された実行処理識別子及び前記ステップＳ１９０６ａで取得されたデジタルデータに関連付けられている第二実行処理識別子を取得する（ステップＳ１９０７ａ）。
【００４６】
あるいはその他の処理の流れの一例として、図１９の（ｂ）に示すように、まず、処理の開始命令があったか否かの判定を行う（ステップＳ１９０１ｂ）。開始命令があった場合、動画フレーム情報を複数取得する（ステップＳ１９０２ｂ）。つづいて、取得した複数の動画フレーム情報のなかで不動領域が検出されたか否か判断する（ステップＳ１９０３ｂ）。ここで、前記ステップＳ１９０３ｂにて不動領域が検出されたと判断された場合、検出された不動領域に示される映像情報からパターン情報を抽出する（ステップＳ１９０４ｂ）。次に、予め所定のパターン情報と関連付けて保持されている実行処理識別子から、前記ステップＳ１９０４ｂで抽出されたパターン情報に関連付けられている実行処理識別子を取得する（ステップＳ１９０５ｂ）。一方、前記ステップＳ１１０３ｂにて不動領域が検出されなかったと判断された場合、再びステップＳ１１０２ｂの動画フレーム情報の複数取得を開始する。また、デジタルデータを取得する（ステップＳ１９０６ｂ）。そして最後に、予めデジタルデータ及び実行処理識別子と関連付けて保持されている第二実行処理識別子から、前記ステップＳ１９０５ｂで取得された実行処理識別子及び前記ステップＳ１９０６ｂで取得されたデジタルデータに関連付けられている第二実行処理識別子を取得する（ステップＳ１９０７ｂ）。
【００４７】
<実施例４の効果の簡単な説明>  以上のように、本実施例の動画フレーム解析装置により、デジタル放送波に含まれるデジタルデータも加味してアプリケーションの起動などの処理を自動的に行うことが可能になる。
【図面の簡単な説明】
【００４８】
【図１】実施例１における動画フレーム解析装置の概念の一例を説明するための図
【図２】実施例１の動画フレーム情報解析装置における機能ブロックの一例を表す図
【図３】実施例１の動画フレーム情報解析装置の動画フレーム情報取得部で取得される動画フレーム情報によって表示されるフレームの一例を説明するための図
【図４】実施例１の動画フレーム情報解析装置の不動領域検出部における不動領域の検出の一例を説明するための図
【図５】実施例１の動画フレーム情報解析装置のパターン情報抽出部において光学式文字読取装置のアルゴリズムを利用したパターン情報の抽出の一例を説明するための図
【図６】実施例１の動画フレーム情報解析装置のパターン情報抽出部でのパターン情報の抽出の別の一例を説明するための図
【図７】実施例１の動画フレーム情報解析装置における処理の流れの一例を表すフローチャート
【図８】実施例２における動画フレーム解析装置の概念の一例を説明するための図
【図９】実施例２の動画フレーム情報解析装置における機能ブロックの一例を表す図
【図１０】実施例２の動画フレーム情報解析装置のパターン別実行処理識別子保持部でのパターン情報と、実行処理識別子との関連付けを説明するための図
【図１１】実施例２の動画フレーム情報解析装置における処理の流れの一例を表すフローチャート
【図１２】実施例３における動画フレーム解析装置の概念の一例を説明するための図
【図１３】実施例３の動画フレーム情報解析装置における機能ブロックの一例を表す図
【図１４】実施例３の動画フレーム情報解析装置の複数領域パターン情報取得手段での時間的に不動領域が複数ある場合のパターン情報の取得の一例を説明するための図
【図１５】実施例３の動画フレーム情報解析装置の複数領域パターン情報取得手段での空間的に不動領域が複数ある場合のパターン情報の取得の一例を説明するための図
【図１６】実施例３の動画フレーム情報解析装置における処理の流れの一例を表すフローチャート
【図１７】実施例４における動画フレーム解析装置の概念の一例を説明するための図
【図１８】実施例４の動画フレーム情報解析装置における機能ブロックの一例を表す図
【図１９】実施例４の動画フレーム情報解析装置における処理の流れの一例を表すフローチャート
【図２０】実施例４の動画フレーム情報解析装置の第二実行処理識別子保持部でのデジタルデータ及び実行処理識別子と、第二実行処理識別子との関連付けの一例を説明するための図
【図２１】実施例３の動画フレーム情報解析装置の複数領域パターン情報取得手段における組み合わせの判断の一例を説明するための図
【符号の説明】
【００４９】
０２００  動画フレーム情報解析装置
０２０１  動画フレーム情報取得部
０２０２  不動領域検出部
０２０３  パターン情報抽出部
０９０４  パターン別実行処理識別子保持部
０９０５  実行処理識別子取得部
１８０６  デジタルデータ取得部
１８０７  第二実行処理識別子保持部
【図１】
2006154976.tif 000003
【図２】
2006154976.tif 000004
【図３】
2006154976.tif 000005
【図４】
2006154976.tif 000006
【図５】
2006154976.tif 000007
【図６】
2006154976.tif 000008
【図７】
2006154976.tif 000009
【図８】
2006154976.tif 000010
【図９】
2006154976.tif 000011
【図１０】
2006154976.tif 000012
【図１１】
2006154976.tif 000013
【図１２】
2006154976.tif 000014
【図１３】
2006154976.tif 000015
【図１４】
2006154976.tif 000016
【図１５】
2006154976.tif 000017
【図１６】
2006154976.tif 000018
【図１７】
2006154976.tif 000019
【図１８】
2006154976.tif 000020
【図１９】
2006154976.tif 000021
【図２０】
2006154976.tif 000022
【図２１】
2006154976.tif 000023