(57)【要約】【課題】  この発明は、主画像内で動いている画像をユーザに指定可能に表示し、指定された画像を、第２の画像として表示する映像表示装置を提供することを目的としている。また、例えばユーザが注目したい対象を指定し、その対象を安定的に視聴できるようにし、ユーザの利便性を向上させることを目的としている。【解決手段】  この発明に係る映像信号処理装置は、映像信号を受信して映像を出力する手段（１０３）と、動きのある物体を動き画像として抽出する手段（１０５、１０８）と、抽出された動き画像を指定可能に出力する手段（１１０）と、動き画像が、指定されたか否かを判別する手段（１０１）と、指定されたと判別された場合に、動き画像を映像と合成し、動き画像が表示される領域とは重ならない領域に第２の画像として表示されるように出力する手段（１１０）を備えるように構成している。【選択図】      図１
2008203756.tif 000002
【特許請求の範囲】
【請求項１】
映像信号を受信し、映像処理して映像を出力する映像信号出力手段と、
前記映像に含まれる動きのある物体に係る画像を検出し、動き画像として抽出する動き画像抽出手段と、
前記抽出された動き画像を、前記出力された映像と合成し、指定可能に出力する指定動き画像合成手段と、
前記映像と合成して出力された動き画像が、指定されたか否かを判別する動き画像指定判別手段と、
動き画像が指定されたと判別された場合に、この指定された動き画像を、前記指定可能に出力された動き画像を含む映像と合成し、第２の画像として重畳表示されるように出力する第２の画像合成手段を備えることを特徴とする映像信号処理装置。
【請求項２】
映像信号を受信し、映像処理して映像を出力する映像信号出力手段と、
前記出力された映像を表示する映像表示手段と、
前記映像に含まれる動きのある物体に係る画像を検出し、動き画像として抽出する動き画像抽出手段と、
前記抽出された動き画像を、前記出力された映像と合成し、前記映像表示手段に指定可能に表示出力する指定動き画像合成手段と、
前記映像と合成して表示出力された動き画像が、指定されたか否かを判別する動き画像指定判別手段と、
動き画像が指定されたと判別された場合に、この指定された動き画像を、前記指定可能に出力された動き画像を含む映像と合成し、第２の画像として前記映像表示手段に重畳表示されるように出力する第２の画像合成手段を備えることを特徴とする映像表示装置。
【請求項３】
前記動きのある物体に係る画像の検出は動きベクトルを用いることを特徴とする請求項１乃至２に記載の映像信号処理装置または映像表示装置。
【請求項４】
前記第２の画像は前記抽出された動き画像とは異なるサイズで表示されることを特徴とする請求項１乃至３に記載の映像信号処理装置または映像表示装置。
【請求項５】
前記第２の画像の表示は、前記動き画像が抽出された領域を避けることにより、前記動き画像が表示される領域とは重ならないようにすることを特徴とする請求項１乃至４に記載の映像信号処理装置または映像表示装置。
【請求項６】
映像信号を受信し、映像処理して映像を出力するステップと、
前記映像に含まれる動きのある物体に係る画像を検出し、動き画像として抽出するステップと、
前記抽出された動き画像を、前記出力された映像と合成し、指定可能に出力するステップと、
前記映像と合成して出力された動き画像が、指定されたか否かを判別するステップと、
動き画像が指定されたと判別された場合に、この指定された動き画像を、前記指定可能に出力された動き画像を含む映像と合成し、第２の画像として重畳表示されるように出力するステップを備えることを特徴とする映像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ユーザが、映像に含まれる動きのある物体に係る画像に注目した際に、この注目画像を視聴しやすいように表示する映像表示装置に関する。またこの発明は、動きのある注目画像を追尾して表示する映像表示装置に関する。
【背景技術】
【０００２】
現在、動画像を表示するさまざまな映像表示装置が製品化されている。これらに関し、ユーザの好みに応じて動画像を表示する技術が開示されている。例えば、動画像中の特定の物体を検出し、追跡表示するものがある。
【０００３】
特許文献１には、動画像復号化装置や動画像符号化装置において、動画像内の物体を識別する装置及び方法及びこれを用いた監視システムに関する技術が開示されている。すなわち、動画像復号化手段で符号化データを復号化して得られる再生画像信号及び符号化情報をもとにして、物体識別部で背景と非背景かを判断して物体を検出し、検出した物体と過去に識別された物体とを比較して、過去に識別された物体かあるいは新規に出現した物体かを判別して個別の物体を識別させる。識別された個別の物体の存在位置は、再生動画像信号上に合成して表示するものである。
【０００４】
また特許文献２には、広域動画像内を移動する選手等を高精度に抽出・追跡する技術が開示されている。すなわち、過去の複数フレームにおける前記追跡物体の位置情報を記憶しておき、記憶した該過去の複数フレームの該追跡物体の位置情報に基づき今回のフレームにおける該追跡物体の予測位置を求める。今回のフレームにおける画像データから前記追跡物体に特有の前記所定の特徴を持つ候補物体を抽出する。前記予測位置により近い前記抽出された候補物体を前記追跡物体として割り当てる。このようにすると、スポーツ動画像などの屋外環境を想定した広い範囲における選手の抽出・追跡を高精度に行うことができるようになるという技術が開示されている。
【０００５】
この特許文献１または特許文献２では、動画像内の物体を高精度に認識する技術が提案されている。
しかしながら、動画像（映像）内の動いている画像（動き画像）をユーザに対して指定可能に表示し、ユーザに指定された動き画像を、第２の画像として動画像に合成して表示する映像表示装置に関する技術は開示されていなかった。このため、製品への応用という観点で、まだまだ開示が十分ではないという問題があった。
【特許文献１】特開２００３−１５７４４０
【特許文献２】特開２００４−４６６４７
【発明の開示】
【発明が解決しようとする課題】
【０００６】
そこで、この発明は、上記事情を考慮してなされたもので、動画像（映像）内の動いている画像（動き画像）をユーザに対して指定可能に表示し、ユーザに指定された動き画像を、第２の画像として動画像に合成して表示する映像表示装置を提供することを目的としている。また、例えばユーザが、動画像内の注目したい対象（動き画像）を指定し、その対象を安定的に視聴できるようにすることで、ユーザの利便性を向上させることを目的としている。
【課題を解決するための手段】
【０００７】
この発明に係る映像信号処理装置は、映像信号を受信し、映像処理して映像を出力する映像信号出力手段と、前記映像に含まれる動きのある物体に係る画像を検出し、動き画像として抽出する動き画像抽出手段と、前記抽出された動き画像を、前記出力された映像と合成し、指定可能に出力する指定動き画像合成手段と、前記映像と合成して出力された動き画像が、指定されたか否かを判別する動き画像指定判別手段と、動き画像が指定されたと判別された場合に、この指定された動き画像を前記指定可能に出力された動き画像を含む映像と合成し、第２の画像として重畳表示されるように出力する第２の画像合成手段を備えるように構成している。
【０００８】
この発明に係る映像表示装置は、映像信号を受信し、映像処理して映像を出力する映像信号出力手段と、前記出力された映像を表示する映像表示手段と、前記映像に含まれる動きのある物体に係る画像を検出し、動き画像として抽出する動き画像抽出手段と、前記抽出された動き画像を、前記出力された映像と合成し、前記映像表示手段に指定可能に表示出力する指定動き画像合成手段と、前記映像と合成して表示出力された動き画像が、指定されたか否かを判別する動き画像指定判別手段と、動き画像が指定されたと判別された場合に、この指定された動き画像を前記指定可能に出力された動き画像を含む映像と合成し、第２の画像として前記映像表示手段に重畳表示されるように出力する第２の画像合成手段を備えるように構成している。
【０００９】
この発明に係る映像信号処理方法は、映像信号を受信し、映像処理して映像を出力するステップと、前記映像に含まれる動きのある物体に係る画像を検出し、動き画像として抽出するステップと、前記抽出された動き画像を、前記出力された映像と合成し、指定可能に出力するステップと、前記映像と合成して出力された動き画像が、指定されたか否かを判別するステップと、動き画像が指定されたと判別された場合に、この指定された動き画像を、前記指定可能に出力された動き画像を含む映像と合成し、第２の画像として重畳表示されるように出力するステップを備えるように構成している。
【発明の効果】
【００１０】
上記した構成によれば、動画像（映像）内の動いている画像（動き画像）をユーザに対して指定可能に表示し、ユーザに指定された動き画像を、第２の画像として動画像に合成して表示する映像表示装置を提供することが可能となる。また、例えばユーザが、動画像内の注目したい対象（動き画像）を指定し、その対象を安定的に視聴できるようにすることで、ユーザの利便性を向上させることが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照してこの発明の実施の形態を説明する。
図１はこの発明の実施の形態に係る映像信号処理装置の構成を示すブロック図である。
符号１０は映像信号処理装置、符号１１はリモコン、符号１２は表示装置、符号１０１はシステム制御用ＣＰＵ、符号１０２はリモコン制御部、符号１０３は動画処理部、符号１０４はフレームメモリ、符号１０５は物体検出部、符号１０６は注目対象候補の領域情報生成部、符号１０７は注目画像情報記憶部、符号１０８は注目画像生成部、符号１０９はセレクタ部、符号１００は映像信号記録部、符号１１０は合成表示部である。
【００１２】
システム制御用ＣＰＵ１０１は映像信号処理装置１０の、リモコン制御部１０２、動画処理部１０３、フレームメモリ１０４、物体検出部１０５、注目対象候補の領域情報生成部１０６、注目画像情報記憶部１０７、注目画像生成部１０８、セレクタ部１０９、映像信号記録部１００、合成表示部１１０と接続し、映像信号処理装置１０を制御する。すなわち、各処理部の動作を統括的に制御するための処理部である。
【００１３】
リモコン制御部102は、ユーザ操作によってリモコン１１から送信される制御コマンドを受信する。ここでの制御コマンドとは、例えば、動画像の表示開始や表示終了等を指示するコマンドである。
【００１４】
動画像の表示開始指示が発行された場合は、動画処理部103において表示対象動画像のデコード処理を行う。そして、その結果をフレームメモリ104に出力する。次に、物体検出部105において、上記デコード結果を利用して動画像中の物体検出を行う。ここで検出された物体、もしくはその中から既定の基準に照らして選択された物体（動き画像）を、注目対象候補として、各領域情報を、注目対象候補の領域情報生成部106で生成する。この注目対象候補はユーザが指定しやすいように表示する（後述）。領域情報とは、例えば、注目対象を矩形領域で抽出した際の座標情報である。
【００１５】
合成表示部110は、注目対象の領域情報とフレームメモリ104に格納されている主映像（第１の画像）の合成処理を行う。注目対象が決定されていない場合には、セレクタ部109にて注目対象候補の領域情報生成部106で生成された画像を選択する。そして、合成表示部110においてフレームメモリ104に格納されている主映像と合成処理を行う。
【００１６】
すなわち、リモコン制御部１０２は、リモコン１１から送信されたリモコン信号を受信し、システム制御用ＣＰＵ１０１に送信する。また、映像信号記録部１００には映像信号（動きのある物体に係る画像を含む）が記録されている。そして、動画処理部１０３に対して映像信号を送信する。動画処理部１０３は映像信号を受信し、動画に係る映像処理を行う。フレームメモリ１０４は受信した映像信号を一時的に記憶し出力する。
【００１７】
物体検出部１０５は、映像に含まれる動きのある物体に係る画像を検出する。注目画像生成部１０８は、ユーザに提示するための動きのある物体に係る画像を注目画像として生成する。注目画像情報記憶部１０７はシステム制御用ＣＰＵ１０１に制御され、動きのある物体に係る画像情報を記憶する。注目対象候補の領域情報生成部１０６は、注目対象候補の領域情報を生成する。
【００１８】
システム制御用ＣＰＵ１０１は映像と合成して出力された動き画像が、指定されたか否かを判別する。そして、動き画像が指定されたと判別した場合は、セレクタ部１０９、フレームメモリ１０４、合成表示部１１０を制御し、指定された動き画像を、指定可能に出力された動き画像を含む映像と合成する。このとき、動き画像を、第２の画像として重畳表示されるように出力する。
【００１９】
図２はこの発明の実施の形態に係り、映像信号処理装置が抽出した動き画像を、ユーザに対して指定可能に表示する表示画面の一例を示す図である。
図に示すように、例えば、全ての注目対象候補を点線の矩形領域で表示する。また、現在指定（選択）されている対象（注目対象候補）は、実線２０の矩形領域で表示する。また、指定されていない対象（注目対象候補２１、２２、２３）は点線の矩形領域で表示する。
【００２０】
この発明の実施の形態では、複数の注目対象候補から特定の注目対象を選択（指定）/決定する操作も、ユーザがリモコン１１を操作し、リモコン１１信号を受信するリモコン制御部102において行う。具体的には、例えばリモコン１１上の十字キーや決定ボタン（図示せず）をユーザが操作することによって、選択（指定）/決定操作を可能とする。
【００２１】
このユーザによる注目対象の指定操作が実施された場合に、注目対象に関する情報として、例えば、選択された矩形領域の座標情報が注目画像情報として注目画像情報記憶部107に記憶される。物体検出部105では注目画像情報記憶部１０７に記憶された情報に基づく注目対象の追跡解析を行う。
【００２２】
そして、注目画像生成部108において、必要に応じて拡大/縮小処理を実施し、注目画像のサブ画面（第２の画像）を生成する。尚、サブ画面の配置位置を可変にする場合には、配置位置の決定もここで行う。
【００２３】
図３はこの発明の実施の形態に係り、ユーザに指定された動き画像を第２の画像として、映像と合成して表示する表示画面の一例を示す図である。
上記のようにユーザによって注目対象が決定（指定）された場合には、システム制御用ＣＰＵ１０１は注目対象が決定（指定）されたと判別する。そして、セレクタ部109を制御し、注目画像生成部１０８で生成される画像を選択し、合成表示部110を制御して、フレームメモリ104に記憶されている主映像との合成を行う。尚、ここでは、注目対象の追跡手段の一例として、フレーム間の動きベクトル予測を利用している。
【００２４】
図４はこの発明の実施の形態に係る映像信号処理装置の動作を説明するフローチャートである。
上記のように、システム制御用ＣＰＵ１０１は映像信号処理装置１０の、リモコン制御部１０２、動画処理部１０３、フレームメモリ１０４、物体検出部１０５、注目対象候補の領域情報生成部１０６、注目画像情報記憶部１０７、注目画像生成部１０８、セレクタ部１０９、映像信号記録部１００、合成表示部１１０と接続し、映像信号処理装置１０を制御する。
【００２５】
符号S200を付したステップは、ここでの開始ステップである。続いて符合S201を付したステップへ進む。
符号S201を付したステップは、表示対象動画像のデコード処理を行うステップである。続いて符合S202を付したステップへ進む。
符号S202を付したステップは、ステップS201で処理されたデコード結果を利用して、物体検出を行うステップである。物体検出手段としては、例えば、フレーム間の動きベクトルを算出し、そのベクトル値の大きなブロックを検出する。続いて符合S203を付したステップへ進む。
【００２６】
符号203を付したステップは、ステップ202で検出された物体、もしくはその中から既定の基準に照らして選択された物体を注目対象候補とし、当該領域情報を生成するステップである。例えば、注目対象候補を主画像上に矩形領域で表示する場合には、各注目対象を中心とした矩形領域を抽出し、その開始座標および終了座標を算出して記憶する。続いて符合S204を付したステップへ進む。
【００２７】
符号S204を付したステップは、利用者によって注目画像が、決定（指定）されたか否かを判別するステップである。注目画像が、決定（指定）されたと判別された場合は符合S206を付したステップへ進む（Ｙｅｓ）。注目画像が、決定（指定）されたと判別されない場合は符合S205を付したステップへ進む（Ｎｏ）。
【００２８】
符号S205を付したステップは、ステップS203で生成した領域情報を用いて主画像上に注目対象候補を示す表示を行うステップである。表示方法の一例として、上記図２に示すように、全ての注目対象候補を点線の矩形領域で表示し、現在選択（指定）されている候補を実線の矩形領域で表示する。また、他の表示方法として、矢印でマーキングしたり、色を付ける等を行っても良い。続いて符合S209を付したステップへ進む。
【００２９】
符号S206を付したステップは、上記図３に示すような注目画像の追跡表示用サブ画面の生成を行うステップである。サブ画面表示対象の領域は、例えば、動きベクトルから予測を行い、常に移動させる。例えば、前フレームで(X1,Y1)〜(X2,Y2)の矩形領域を表示対象としており、動きベクトルが(Xmv,Ymv)であった場合は、現フレームの表示では、(X1+Xmv,Y1+Ymv)〜(X2+Xmv,Y2+Ymv)の矩形領域をサブ画面表示対象とする。尚、拡大率が予め設定されている場合には、その設定値に応じて、拡大または縮小処理を施す。もしくは、注目対象のオリジナルの画像領域サイズに応じて、適切な拡大率を自動的に決定しても良い。続いて符合S207を付したステップへ進む。
【００３０】
符号S207を付したステップは、主画像上におけるサブ画面の配置位置を必要に応じて算出するステップである。尚、デフォルトの配置位置が決められている場合には本処理は行わなくとも良い。また、例えば、視聴効率を向上させるために、前記注目画像に係るサブ画面（第２の画像）を、主画像上の注目対象と重ならない位置に配置位置を変更する、といった処理を追加しても良い。続いて符合S208を付したステップへ進む。
【００３１】
符号S208を付したステップは、ステップS206で生成されたサブ画面を、ステップS207で決定した主画像上の配置位置に合成するステップである。尚、上記図３では、主画像上にサブ画面を1つ表示させているが、このサブ画面の個数は複数でも良いし（この例では４つ指定し、４つ表示する）、また全画面表示でも良い。続いて符合S209を付したステップへ進む。
【００３２】
符号S209を付したステップは終了ステップであり、ここでの処理は終了する。
尚、物体検出、追跡手段は、上記に示した特許文献に係る技術を使用することも可能であるし、他の公知技術を使用することも可能である。ここでは、一例として、フレーム間の動きベクトル予測を利用している。
【００３３】
図５はこの発明の、他の実施の形態に係る映像信号処理装置の構成を示すブロック図である。
図１と同じ構成については同一の符号を付して説明を省略する。上記説明した発明の実施の形態において用いられる映像信号は、映像信号記録部１００に録画されたものを用いたが、この説明においては、アンテナで受信した映像信号が用いられる。
【００３４】
符号３０はアンテナであり、放送局から送信された映像信号を受信し、映像信号記録部１００および動画処理部１０３へ送信する。放送局から送信された映像信号を映像信号記録部１００に送信する場合は、図１と同じ構成であり、説明を省略する。
【００３５】
放送局から送信された映像信号を直接、動画処理部１０３へ送信することも可能である。すなわち、放送局から送信された映像信号が直接、動画処理部１０３へ送信されると、動画処理部103は表示対象動画像のデコード処理を行う。以下、図１で説明した上記と同様の処理を行う。
【００３６】
図６はこの発明の、他の実施の形態に係る映像表示装置の構成を示すブロック図である。
図１および図５と同じ構成については同一の符号を付して説明を省略する。符号１０は映像表示装置である。ここでは、映像表示装置１０は表示装置１２も含んだ構成になっている。
【００３７】
また、この発明においては、注目対象を複数選択可能としても良い。例えば、動画像内に兄弟姉妹が含まれていた場合に、両者を同時に表示することや、サッカーの試合の視聴時に、ボールとお気に入り選手とを同時に追跡すること等が可能となる。また、これに伴い、サブ画面の個数も増減可能としても良い。
【００３８】
また、サブ画面表示は、ユーザが拡大率を指定可能にしても良い。あるいは、注目画像サイズに応じて、適切な拡大率が自動的に決定される構成としても良い。このように、注目対象画像を拡大/縮小表示できることにより、ユーザの視聴効率をより向上できる効果がある。
【００３９】
また、サブ画面のみを表示すること、すなわち全画面表示への切り替えも可能としても良い。
また、注目対象の設定情報、例えば、サブ画面表示の対象とした矩形領域の開始座標、および終了座標等、を記憶しておき、2回目以降の表示時にこの記憶された設定を読み込むような仕組みを追加しても良い。これにより、視聴の度に注目対象を設定し直す必要がなくなり、視聴効率をより向上できる効果がある。
【００４０】
上記のように構成することによって、この発明の実施の形態においては、動画像（映像）内の動いている画像（動き画像）をユーザに対して指定可能に表示し、ユーザに指定された動き画像を、第２の画像として動画像に合成して表示する映像表示装置を提供することが可能となるという効果がある。また、例えばユーザが、動画像内の注目したい対象（動き画像）を指定し、その対象を安定的に視聴できるようにすることで、ユーザの利便性を向上させることが可能となるという効果がある。
【００４１】
例えば、子供の運動会を撮影したホームビデオや、TVのスポーツ番組等の視聴において、ユーザが動画像内の注目したい対象を指定し、その対象を安定的に視聴もしくは観察可能とすることで、ユーザの利便性を大幅に向上することが可能となるという効果がある。
【００４２】
上記説明したように、この発明の実施の形態においては、映像処理を行う映像信号は、記録媒体に記録（録画）される場合に限定されず、放送等で送信された映像信号を受信する場合においても適用可能である。例えば、デジタルビデオカメラやHDD/DVDレコーダ、デジタルTV等の映像信号処理装置に適用可能である。
【００４３】
尚、この発明は上記した実施の形態そのままに限定されるものではなく、実施段階ではその趣旨を逸脱しない範囲で構成要素を種々変形して具体化することが可能である。
【図面の簡単な説明】
【００４４】
【図１】この発明の実施の形態に係る映像信号処理装置の構成を示すブロック図。
【図２】この発明の実施の形態に係り、映像信号処理装置が抽出した動き画像を、ユーザに対して指定可能に表示する表示画面の一例を示す図。
【図３】この発明の実施の形態に係り、ユーザに指定された動き画像を第２の画像として、映像と合成して表示する表示画面の一例を示す図。
【図４】この発明の実施の形態に係る映像信号処理装置の動作を説明するフローチャート。
【図５】この発明の、他の実施の形態に係る映像信号処理装置の構成を示すブロック図。
【図６】この発明の、他の実施の形態に係る映像表示装置の構成を示すブロック図。
【符号の説明】
【００４５】
１０…映像信号処理装置、１１…リモコン、１２…表示装置（映像表示手段）、１０１…システム制御用ＣＰＵ（動き画像指定判別手段）、１０２…リモコン制御部、１０３…動画処理部（映像信号処理手段）、１０４…フレームメモリ、１０５…物体検出部（物体検出手段）、１０６…注目対象候補（動き画像）の領域情報生成部、１０７…注目画像（動き画像）情報記憶部、１０８…注目画像生成部（動き画像抽出手段）、１０９…セレクタ部、１１０…合成表示部（画像合成手段、第２の画像合成手段）。
【図１】
2008203756.tif 000003
【図２】
2008203756.tif 000004
【図３】
2008203756.tif 000005
【図４】
2008203756.tif 000006
【図５】
2008203756.tif 000007
【図６】
2008203756.tif 000008