(57)【要約】【課題】この発明は、画面に表示されている映像の中からユーザの指定した対象物を含む所定の領域を自動的に切り出して表示させることを可能とし、ユーザに対してより一層見易い新規な映像表示形態を与えることができるようにした映像処理装置及び映像処理方法を提供することを目的としている。【解決手段】表示映像の中から特定の対象物を指定させる指定手段（７２ｂ，７２ｇ，７２ｈ）と、指定された対象物が表示映像の中に存在するか否かを判別する判別手段（７２ｃ）と、存在すると判断された場合、当該対象物を含む所定の領域を表示映像から切り出して表示させる制御手段（７２ｄ，７２ｅ）とを備える。【選択図】図４
2009069185.tif 000002
【特許請求の範囲】
【請求項１】
放送信号を受信する受信手段と、
前記受信手段で受信した放送信号から所定のチャンネルの映像信号を生成する信号処理手段と、
前記信号処理手段で生成された映像信号に基づく表示映像の中から特定の対象物を指定させる指定手段と、
前記信号処理手段で生成された映像信号から前記指定手段で指定された対象物を映像認識し、その認識結果に基づいた対象物映像信号を抽出する抽出手段と、
前記抽出手段で抽出された対象物映像信号を用いて、前記信号処理手段で生成された映像信号から前記対象物の映像認識を行ない、前記対象物が存在するか否かを判別する判別手段と、
前記判別手段で存在すると判断された場合、当該対象物を含む所定の領域に対応する映像信号を前記信号処理手段で生成された映像信号から切り出して出力する制御手段とを具備することを特徴とする映像処理装置。
【請求項２】
前記指定手段は、前記信号処理手段で生成された映像信号に基づく表示映像の中から特定の対象物を指定する要求を受けたとき、当該表示映像を静止させることを特徴とする請求項１記載の映像処理装置。
【請求項３】
前記制御手段は、前記信号処理手段で生成された映像信号から切り出した所定の領域内に表示される対象物のサイズまたは位置を指定可能であることを特徴とする請求項１記載の映像処理装置。
【請求項４】
前記制御手段は、前記信号処理手段で生成された映像信号に基づく表示映像の中の対象物のサイズが変わった場合、前記切り出した所定の領域内に表示される対象物のサイズを指定されたサイズに保持するように調整することを特徴とする請求項３記載の映像処理装置。
【請求項５】
前記信号処理手段で生成された映像信号と、前記制御手段で切り出された所定の領域に対応する映像信号とは、同一画面上に、いずれか一方が主画面で他方が子画面となるように表示されることを特徴とする請求項１記載の映像処理装置。
【請求項６】
前記信号処理手段で生成された映像信号に基づく映像が画面上で子画面に表示され、前記制御手段で切り出された所定の領域に対応する映像信号に基づく映像が画面上で主画面として表示される場合、前記子画面内に、前記主画面に表示されている部分を示す表示を行なうことを特徴とする請求項５記載の映像処理装置。
【請求項７】
前記制御手段で切り出された所定の領域内に表示される映像については、前記信号処理手段で生成された映像信号を、そのフレームを間引いて映像表示に供させることを特徴とする請求項１記載の映像処理装置。
【請求項８】
前記制御手段で切り出された所定の領域内に表示される映像については、前記信号処理手段で生成された映像信号に超解像度技術を用いた信号処理を施すことを特徴とする請求項１記載の映像処理装置。
【請求項９】
表示映像の中から特定の対象物を指定させる指定手段と、
前記指定手段で指定された対象物が前記表示映像の中に存在するか否かを判別する判別手段と、
前記判別手段で存在すると判断された場合、当該対象物を含む所定の領域を前記表示映像から切り出して表示させる制御手段とを具備することを特徴とする映像処理装置。
【請求項１０】
放送信号を受信する受信工程と、
前記受信工程で受信した放送信号から所定のチャンネルの映像信号を生成する信号処理工程と、
前記信号処理工程で生成された映像信号に基づく表示映像の中から特定の対象物を指定させる指定工程と、
前記信号処理工程で生成された映像信号から前記指定工程で指定された対象物を映像認識し、その認識結果に基づいた対象物映像信号を抽出する抽出工程と、
前記抽出工程で抽出された対象物映像信号を用いて、前記信号処理工程で生成された映像信号から前記対象物の映像認識を行ない、前記対象物が存在するか否かを判別する判別工程と、
前記判別工程で存在すると判断された場合、当該対象物を含む所定の領域に対応する映像信号を前記信号処理工程で生成された映像信号から切り出して出力する制御工程とを具備することを特徴とする映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えばデジタルテレビジョン放送受信装置等に使用して好適する映像処理装置及び映像処理方法に関する。
【背景技術】
【０００２】
周知のように、近年では、テレビジョン放送のデジタル化が推進されてきている。例えば、日本国内においては、ＢＳ（broadcasting satellite）デジタル放送及び１１０度ＣＳ（communication satellite）デジタル放送等の衛星デジタル放送だけでなく、地上デジタル放送も開始されている。
【０００３】
そして、このようなデジタルテレビジョン放送を受信するデジタル放送受信装置にあっては、現在の高度化されたデジタル映像処理技術を用いることにより、受信した映像データに多種多様な編集加工処理を施すことが可能になっていることから、ユーザにとってより一層見易い形態での映像表示を行なえるようにするための開発が要求されている。
【０００４】
特許文献１には、大画面映像表示装置に表示されている映像を小型端末の画面に表示させる際、ユーザの眼球を撮影するカメラによって大画面上におけるユーザの注視点を認識し、その注視点を中心に大画面から切り出した映像を小型端末の画面に表示させるようにすることが開示されている。
【特許文献１】特開２００４−１７３１０４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
そこで、この発明は上記事情を考慮してなされたもので、画面に表示されている映像の中からユーザの指定した対象物を含む所定の領域を自動的に切り出して表示させることを可能とし、ユーザに対してより一層見易い新規な映像表示形態を与えることができるようにした映像処理装置及び映像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る映像処理装置は、放送信号を受信する受信手段と、受信手段で受信した放送信号から所定のチャンネルの映像信号を生成する信号処理手段と、信号処理手段で生成された映像信号に基づく表示映像の中から特定の対象物を指定させる指定手段と、信号処理手段で生成された映像信号から指定手段で指定された対象物を映像認識し、その認識結果に基づいた対象物映像信号を抽出する抽出手段と、抽出手段で抽出された対象物映像信号を用いて、信号処理手段で生成された映像信号から対象物の映像認識を行ない、対象物が存在するか否かを判別する判別手段と、判別手段で存在すると判断された場合、当該対象物を含む所定の領域に対応する映像信号を信号処理手段で生成された映像信号から切り出して出力する制御手段とを備えるようにしたものである。
【０００７】
また、この発明に係る映像処理方法は、放送信号を受信する受信工程と、受信工程で受信した放送信号から所定のチャンネルの映像信号を生成する信号処理工程と、信号処理工程で生成された映像信号に基づく表示映像の中から特定の対象物を指定させる指定工程と、信号処理工程で生成された映像信号から指定工程で指定された対象物を映像認識し、その認識結果に基づいた対象物映像信号を抽出する抽出工程と、抽出工程で抽出された対象物映像信号を用いて、信号処理工程で生成された映像信号から対象物の映像認識を行ない、対象物が存在するか否かを判別する判別工程と、判別工程で存在すると判断された場合、当該対象物を含む所定の領域に対応する映像信号を信号処理工程で生成された映像信号から切り出して出力する制御工程とを備えるようにしたものである。
【発明の効果】
【０００８】
上記した発明によれば、表示映像の中から特定の対象物を指定し、指定された対象物が表示映像の中に存在する場合、当該対象物を含む所定の領域の映像を表示映像から切り出して出力させるようにしたので、画面に表示されている映像の中からユーザの指定した対象物を含む所定の領域を自動的に切り出して表示させることを可能とし、ユーザに対してより一層見易い新規な映像表示形態を与えることができる。
【発明を実施するための最良の形態】
【０００９】
以下、この発明の実施の形態について図面を参照して詳細に説明する。図１は、この実施の形態で説明するデジタルテレビジョン放送受信装置１１の外観と、このデジタルテレビジョン放送受信装置１１を中心として構成されるネットワークシステムの一例を概略的に示している。
【００１０】
すなわち、デジタルテレビジョン放送受信装置１１は、主として、薄型のキャビネット１２と、このキャビネット１２を起立させて支持する支持台１３とから構成されている。そして、キャビネット１２には、例えば液晶表示パネル等を備えた平面パネル型ディスプレイである映像表示器１４、スピーカ１５、操作部１６、リモートコントローラ１７から送信される操作情報を受ける受光部１８等が設置されている。
【００１１】
また、このデジタルテレビジョン放送受信装置１１には、例えばＳＤ（secure digital）メモリカード、ＭＭＣ（multimedia card）及びメモリスティック等の第１のメモリカード１９が着脱可能となっており、この第１のメモリカード１９に対して番組や写真等の情報の記録再生が行なわれるようになっている。
【００１２】
さらに、このデジタルテレビジョン放送受信装置１１には、例えば契約情報等の記録された第２のメモリカード［ＩＣ（integrated circuit）カード］２０が着脱可能となっている。そして、この第２のメモリカード２０に対して契約情報の再生が行なわれるようになっている。
【００１３】
また、このデジタルテレビジョン放送受信装置１１は、第１のＬＡＮ（local area network）端子２１、第２のＬＡＮ端子２２、ＵＳＢ（universal serial bus）端子２３及びＩＥＥＥ（institute of electrical and electronics engineers）１３９４端子２４を備えている。
【００１４】
このうち、第１のＬＡＮ端子２１は、ＬＡＮ対応ＨＤＤ専用ポートとして使用されるもので、接続されたＮＡＳ（network attached storage）であるＬＡＮ対応のＨＤＤ（hard disk drive）２５に対して、イーサネット（登録商標）により情報の記録再生を行なうために使用される。
【００１５】
このように、ＬＡＮ対応ＨＤＤ専用ポートとしての第１のＬＡＮ端子２１を設けることにより、他のネットワーク環境やネットワーク使用状況等に影響されることなく、ＨＤＤ２５に対してハイビジョン画質による番組の情報記録を安定して行なうことができるようになる。
【００１６】
また、第２のＬＡＮ端子２２は、イーサネット（登録商標）を用いた一般的なＬＡＮ対応ポートとして使用されるもので、例えばハブ２６を介して、ＬＡＮ対応のＨＤＤ２７、ＰＣ（personal computer）２８、デジタル放送受信機能を有するＨＤＤ内蔵のＤＶＤ（digital versatile disk）レコーダ２９等の機器を接続し、これらの機器と情報伝送を行なうために使用される。
【００１７】
なお、ＤＶＤレコーダ２９については、第２のＬＡＮ端子２２を介して通信されるデジタル情報が制御系のみの情報であるため、デジタルテレビジョン放送受信装置１１との間でアナログの映像及び音声情報を伝送するために、専用のアナログ伝送路３０を設ける必要がある。
【００１８】
さらに、この第２のＬＡＮ端子２２は、ハブ２６に接続されたブロードバンドルータ３１を介して、例えばインターネット等のネットワーク３２に接続可能であり、そのネットワーク３２を介してＰＣ３３や携帯電話３４等の各種情報端末と情報伝送を行なうために使用される。
【００１９】
また、上記ＵＳＢ端子２３は、一般的なＵＳＢ対応ポートとして使用されるもので、例えばハブ３５を介して、携帯電話３６、デジタルカメラ３７、メモリカードに対するカードリーダ／ライタ３８、ＨＤＤ３９、キーボード４０等のＵＳＢ機器を接続し、これらのＵＳＢ機器と情報伝送を行なうために使用される。
【００２０】
さらに、上記ＩＥＥＥ１３９４端子２４は、例えば、それぞれがデジタル放送受信機能を有するＡＶ（audio video）−ＨＤＤ４１やＤ（digital）−ＶＨＳ（video home system）４２等のデジタル記録再生機器をシリアル接続し、これらの機器と情報伝送を行なうために使用される。
【００２１】
図２は、上記したデジタルテレビジョン放送受信装置１１の主要な信号処理系を示している。すなわち、ＢＳ／ＣＳデジタル放送受信用のアンテナ４３で受信した衛星デジタル放送信号は、入力端子４４を介して衛星デジタル放送用のチューナ４５に供給されることにより、所望のチャンネルの放送信号が選局される。
【００２２】
そして、このチューナ４５で選局された放送信号は、ＰＳＫ（phase shift keying）復調器４６に供給されてＴＳ（transport stream）が復調される。このＴＳは、ＴＳ復号器４７に供給されてデジタルの映像信号及び音声信号等に復号化された後、信号処理部４８に出力される。
【００２３】
また、地上波放送受信用のアンテナ４９で受信した地上デジタルテレビジョン放送信号は、入力端子５０を介して地上デジタル放送用のチューナ５１に供給されることにより、所望のチャンネルの放送信号が選局される。
【００２４】
そして、このチューナ５１で選局された放送信号は、ＯＦＤＭ（orthogonal frequency division multiplexing）復調器５２に供給されてＴＳが復調される。このＴＳは、ＴＳ復号器５３に供給されてデジタルの映像信号及び音声信号に復号化された後、上記信号処理部４８に出力される。
【００２５】
また、上記地上波放送受信用のアンテナ４９で受信した地上アナログテレビジョン放送信号は、入力端子５０を介して地上アナログ放送用のチューナ５４に供給されることにより、所望のチャンネルの放送信号が選局される。そして、このチューナ５４で選局された放送信号は、アナログ復調器５５に供給されてアナログの映像信号及び音声信号に復調された後、上記信号処理部４８に出力される。
【００２６】
ここで、上記信号処理部４８は、ＴＳ復号器４７，５３からそれぞれ供給されたデジタルの映像信号及び音声信号に対して、選択的に所定のデジタル信号処理を施し、グラフィック処理部５６及び音声処理部５７に出力している。
【００２７】
また、上記信号処理部４８には、複数（図示の場合は４つ）の入力端子５８ａ，５８ｂ，５８ｃ，５８ｄが接続されている。これら入力端子５８ａ〜５８ｄは、それぞれ、アナログの映像信号及び音声信号を、デジタルテレビジョン放送受信装置１１の外部から入力可能とするものである。
【００２８】
そして、この信号処理部４８は、上記アナログ復調器５５及び各入力端子５８ａ〜５８ｄからそれぞれ供給されたアナログの映像信号及び音声信号を選択的にデジタル化し、そのデジタル化された映像信号及び音声信号に対して所定のデジタル信号処理を施した後、グラフィック処理部５６及び音声処理部５７に出力している。
【００２９】
このうち、グラフィック処理部５６は、信号処理部４８から供給されるデジタルの映像信号に、ＯＳＤ（on screen display）信号生成部５９で生成されるＯＳＤ信号を重畳して出力する機能を有する。また、このグラフィック処理部５６は、信号処理部４８の出力映像信号と、ＯＳＤ信号生成部５９の出力ＯＳＤ信号とを選択的に出力することや、両出力をそれぞれ画面の半分を構成するように組み合わせて出力することができる。
【００３０】
そして、グラフィック処理部５６から出力されたデジタルの映像信号は、映像処理部６０に供給される。この映像処理部６０は、入力されたデジタルの映像信号を、前記映像表示器１４で表示可能なフォーマットのアナログ映像信号に変換した後、映像表示器１４に出力して映像表示させるとともに、出力端子６１を介して外部に導出させる。
【００３１】
また、上記音声処理部５７は、入力されたデジタルの音声信号を、前記スピーカ１５で再生可能なフォーマットのアナログ音声信号に変換した後、スピーカ１５に出力して音声再生させるとともに、出力端子６２を介して外部に導出させる。
【００３２】
ここで、このデジタルテレビジョン放送受信装置１１は、上記した各種の受信動作を含むその全ての動作を制御部６３によって統括的に制御されている。この制御部６３は、ＣＰＵ（central processing unit）６３ａを内蔵しており、前記操作部１６からの操作情報を受け、または、リモートコントローラ１７から送出され前記受光部１８で受信した操作情報を受けて、その操作内容が反映されるように各部をそれぞれ制御している。
【００３３】
この場合、制御部６３は、主として、そのＣＰＵ６３ａが実行する制御プログラムを格納したＲＯＭ（read only memory）６３ｂと、該ＣＰＵ６３ａに作業エリアを提供するＲＡＭ（random access memory）６３ｃと、各種の設定情報及び制御情報等が格納される不揮発性メモリ６３ｄとを利用している。
【００３４】
また、この制御部６３は、カードＩ／Ｆ（interface）６４を介して、前記第１のメモリカード１９が装着可能なカードホルダ６５に接続されている。これによって、制御部６３は、カードホルダ６５に装着された第１のメモリカード１９と、カードＩ／Ｆ６４を介して情報伝送を行なうことができる。
【００３５】
さらに、上記制御部６３は、カードＩ／Ｆ６６を介して、前記第２のメモリカード２０が装着可能なカードホルダ６７に接続されている。これにより、制御部６３は、カードホルダ６７に装着された第２のメモリカード２０と、カードＩ／Ｆ６６を介して情報伝送を行なうことができる。
【００３６】
また、上記制御部６３は、通信Ｉ／Ｆ６８を介して第１のＬＡＮ端子２１に接続されている。これにより、制御部６３は、第１のＬＡＮ端子２１に接続されたＬＡＮ対応のＨＤＤ２５と、通信Ｉ／Ｆ６８を介して情報伝送を行なうことができる。この場合、制御部６３は、ＤＨＣＰ（dynamic host configuration protocol）サーバ機能を有し、第１のＬＡＮ端子２１に接続されたＬＡＮ対応のＨＤＤ２５にＩＰ（internet protocol）アドレスを割り当てて制御している。
【００３７】
さらに、上記制御部６３は、通信Ｉ／Ｆ６９を介して第２のＬＡＮ端子２２に接続されている。これにより、制御部６３は、第２のＬＡＮ端子２２に接続された各機器（図１参照）と、通信Ｉ／Ｆ６９を介して情報伝送を行なうことができる。
【００３８】
また、上記制御部６３は、ＵＳＢ Ｉ／Ｆ７０を介して前記ＵＳＢ端子２３に接続されている。これにより、制御部６３は、ＵＳＢ端子２３に接続された各機器（図１参照）と、ＵＳＢ Ｉ／Ｆ７０を介して情報伝送を行なうことができる。
【００３９】
さらに、上記制御部６３は、ＩＥＥＥ１３９４ Ｉ／Ｆ７１を介してＩＥＥＥ１３９４端子２４に接続されている。これにより、制御部６３は、ＩＥＥＥ１３９４端子２４に接続された各機器（図１参照）と、ＩＥＥＥ１３９４ Ｉ／Ｆ７１を介して情報伝送を行なうことができる。
【００４０】
また、上記制御部６３は、対象映像制御部７２を備えている。この対象映像制御部７２は、詳細は後述するが、映像表示器１４に表示されている映像の中から特定の対象物をユーザに指定させる機能、映像表示器１４に表示されている映像の中から指定された対象物を含む所定の領域を切り出す機能、切り出した領域内に占める対象物の相対的なサイズや位置をユーザに指定させる機能等を司るとともに、映像表示器１４に表示されている映像の中に指定された対象物が存在するか否かを判別する機能、存在する場合にその対象物を含む切り出し領域を映像表示器１４に例えば子画面として表示させる機能等を司るものである。
【００４１】
これにより、映像表示器１４に表示されている映像の中に、ユーザの指定した対象物が存在している場合には、その対象物が画面内のどの位置にあっても、画面内の所定位置に表示されている子画面内に、ユーザが予め指定したサイズや位置で対象物が表示されるようになる。すなわち、ユーザの指定した対象物について、その周囲の映像が、全体の映像とは別に子画面として表示されるため、ユーザに対してより一層見易い新規な映像表示形態を与えることができるようになる。
【００４２】
図３は、上記リモートコントローラ１７の外観を示している。このリモートコントローラ１７には、主として、電源キー１７ａ、入力切換キー１７ｂ、衛星デジタル放送チャンネルのダイレクト選局キー１７ｃ、地上波放送チャンネルのダイレクト選局キー１７ｄ、ポインタキー１７ｅ、カーソルキー１７ｆ、決定キー１７ｇ、番組表キー１７ｈ、ページ切換キー１７ｉ、ローリングキー１７ｊ、戻るキー１７ｋ、終了キー１７ｌ、青，赤，緑，黄のカラーキー１７ｍ、チャンネルアップダウンキー１７ｎ、音量調整キー１７ｏ、メニューキー１７ｐ等が設けられている。
【００４３】
図４は、上記対象映像制御部７２の一例を示している。すなわち、この対象映像制御部７２は、入力端子７２ａを備えている。この入力端子７２ａには、上記アンテナ４３，４９及び各端子２１〜２４等を介して受信され、所定の復調処理や復号化処理等の施されたデジタルの映像信号が供給されている。
【００４４】
この入力端子７２ａに供給されたデジタルの映像信号は、映像キャプチャ部７２ｂ、指定映像認識部７２ｃ、指定映像抽出部７２ｄ及び出力映像生成部７２ｅにそれぞれ供給される。
【００４５】
このうち、映像キャプチャ部７２ｂは、制御端子７２ｆを介して対象物指定要求信号が供給されることにより、入力端子７２ａに供給されたデジタルの映像信号をフレーム単位で取り込み、その取り込んだ映像信号を、対象物情報抽出部７２ｇ及び出力映像生成部７２ｅにそれぞれ出力している。なお、上記制御端子７２ｆに供給された対象物指定要求信号は、出力映像生成部７２ｅにも供給されている。
【００４６】
そして、上記対象物情報抽出部７２ｇは、映像キャプチャ部７２ｂより供給された映像信号から、対象物指定ＵＩ（user interface）部７２ｈより供給される対象物指定信号で指定された対象物を映像認識し、その映像認識結果に基づいた対象物映像信号を抽出して上記指定映像認識部７２ｃに出力している。
【００４７】
また、この対象物情報抽出部７２ｇでは、対象物指定ＵＩ部７２ｈより供給される対象物指定信号に基づいて、表示映像から対象物を含む所定の領域を切り出すことや、その切り出した領域内に占める対象物の相対的なサイズや位置を設定することも行なっている。
【００４８】
なお、上記対象物指定ＵＩ部７２ｈは、制御端子７２ｉを介して供給されるユーザ操作情報に基づいて対象物指定信号を生成し、上記対象物情報抽出部７２ｇに出力している。
【００４９】
このユーザ操作情報は、上記操作部１６またはリモートコントローラ１７をユーザが操作することにより得られるもので、上記出力映像生成部７２ｅにも供給されている。
【００５０】
そして、上記指定映像認識部７２ｃは、対象物情報抽出部７２ｇより供給された対象物映像信号を用いて、入力された映像信号から対象物の映像認識を行ない、その認識結果を上記指定映像抽出部７２ｄに出力している。この場合、指定映像認識部７２ｃでは、先に設定された切り出し領域内に占める対象物の相対的なサイズや位置に基づいて、表示映像からの切り出し領域の位置を示す情報も上記指定映像抽出部７２ｄに出力している。
【００５１】
この指定映像抽出部７２ｄは、指定映像認識部７２ｃの認識結果に基づいて、入力された映像信号から対象物を含む切り出し領域を抽出し、その抽出映像信号を上記出力映像生成部７２ｅに出力している。そして、この出力映像生成部７２ｅは、対象物指定要求信号及びユーザ操作情報に基づいて、入力端子７２ａに供給された映像信号、映像キャプチャ部７２ｂが取り込んだ映像信号、指定映像抽出部７２ｄから出力された抽出映像信号を、選択的または重畳させて出力端子７２ｊから出力させるものである。
【００５２】
なお、この出力端子７２ｊから出力されたデジタルの映像信号は、上記信号処理部４８に供給されて所定のデジタル信号処理が施された後、前述したように、グラフィック処理部５６及び映像処理部６０による処理を経由して、映像表示器１４による映像表示に供されることになる。
【００５３】
次に、上記のような構成となされたデジタルテレビジョン放送受信装置１１の対象映像制御部７２を用いた主要な処理動作について、図５及び図６に示すフローチャートを参照して具体的に説明する。すなわち、処理が開始（ステップＳ１）されると、ユーザは、ステップＳ２で、対象物指定要求を発生させる。
【００５４】
この対象物指定要求は、例えば、ユーザが、リモートコントローラ１７のメニューキー１７ｐを操作して、階層構造となされたメニュー画面に分け入ることにより対象物指定要求画面に到達し、その対象物指定要求画面上で「対象物指定要求」を選択設定することにより発生される。
【００５５】
ユーザによる対象物指定要求が行なわれると、映像キャプチャ部７２ｂに対象物指定要求信号が供給される。このため、映像キャプチャ部７２ｂは、ステップＳ３で、対象物指定要求信号が入力されたときに、入力端子７２ａに供給されたデジタルの映像信号をフレーム単位で取り込む。
【００５６】
この映像キャプチャ部７２ｂに取り込まれたデジタルの映像信号は、上記対象物情報抽出部７２ｇに供給される他、出力映像生成部７２ｅに供給されて映像表示器１４による映像表示に供される。これにより、映像表示器１４には、図７に示すような静止映像が表示される。
【００５７】
次に、ユーザは、ステップＳ４で、映像表示器１４に表示された静止映像上に、図８に示すように、対象物を指定するためのポインタＰを表示させる。このポインタＰを表示させることは、対象物指定要求による静止映像の表示状態で、ユーザが、リモートコントローラ１７のポインタキー１７ｅを操作することにより可能となる。
【００５８】
その後、ユーザは、ステップＳ５で、映像表示器１４に表示された静止映像上でポインタＰを移動させることにより、対象物（例えば図８におけるボールＢ）を指定する。このポインタＰは、ユーザが、リモートコントローラ１７のローリングキー１７ｊを回転操作することにより、静止映像上で所望の方向に移動させることが可能となる。
【００５９】
この場合、出力映像生成部７２ｅが、リモートコントローラ１７のポインタキー１７ｅやローリングキー１７ｊの操作情報を受けることにより、映像キャプチャ部７２ｂで取り込み映像表示器１４に表示されている静止映像上に、ポインタＰを重畳して表示させることや、重畳表示されているポインタＰを移動させること等を行なっている。
【００６０】
また、リモートコントローラ１７のポインタキー１７ｅやローリングキー１７ｊの操作情報は、対象物指定ＵＩ部７２ｈにより解析され、ポインタＰの位置が対象物指定信号として対象物情報抽出部７２ｇに供給される。これにより、対象物情報抽出部７２ｇでは、映像キャプチャ部７２ｂで取り込んだ映像信号上において、ポインタＰの指定する対象物を特定することができる。
【００６１】
そして、映像表示器１４に表示されている静止映像上でポインタＰにより特定の対象物が指定され、ユーザが、リモートコントローラ１７の決定キー１７ｇを操作すると、出力映像生成部７２ｅは、ステップＳ６で、指定された対象物を、例えば、他の部分よりも明るく表示させる等のように、静止映像上で強調表示させる。
【００６２】
この場合も、出力映像生成部７２ｅが、リモートコントローラ１７の決定キー１７ｇの操作情報を受けることにより、ポインタＰで指定されている対象物を強調表示させるように制御している。また、リモートコントローラ１７の決定キー１７ｇの操作情報は、対象物指定ＵＩ部７２ｈにより解析され対象物情報抽出部７２ｇに供給される。これにより、対象物情報抽出部７２ｇでは、映像キャプチャ部７２ｂで取り込んだ映像信号上において決定された対象物を映像認識し、その映像認識結果に基づいた対象物映像信号を生成して出力することができる。
【００６３】
そして、ユーザは、ステップＳ７で、静止映像上で強調表示されている対象物が正しいか否かを判別し、正しくないと判断された場合（ＮＯ）、リモートコントローラ１７の戻るキー１７ｋを操作する。これにより、出力映像生成部７２ｅが対象物の強調表示を停止するとともに、対象物情報抽出部７２ｇが対象物映像信号の生成を停止する。さらに、処理がステップＳ５に戻され、ポインタＰによる対象物の指定が再開される。
【００６４】
また、上記ステップＳ７で、静止映像上で強調表示されている対象物が正しいと判断された場合（ＹＥＳ）、ユーザは、ステップＳ８で、リモートコントローラ１７の決定キー１７ｇを操作する。これにより、対象物情報抽出部７２ｇは、対象物の指定処理が完了したと判断し、現在映像認識している対象物の映像認識結果である対象物映像信号を指定映像認識部７２ｃに出力する。
【００６５】
さらに、対象物情報抽出部７２ｇは、ステップＳ９で、静止映像上から、指定された対象物を含む所定の領域を自動的に切り出し、その切り出した領域の映像を子画面として表示させるように制御する。これにより、映像表示器１４には、図９に示すように、全体映像［主（親）画面７３］の中の所定位置（図９では右下隅）に、対象物（ボールＢ）を中心においた子画面７４が表示される。
【００６６】
その後、対象物情報抽出部７２ｇは、ステップＳ１０で、ユーザの操作に基づいて、子画面７４内に占める対象物の相対的なサイズや位置を指定する。この場合、子画面７４内における対象物のサイズ指定は、ユーザがリモートコントローラ１７のチャンネルアップダウンキー１７ｎを操作することにより行なわれる。
【００６７】
例えば、チャンネルアップダウンキー１７ｎをアップ方向に操作すると対象物が順次拡大され、チャンネルアップダウンキー１７ｎをダウン方向に操作すると対象物が順次縮小されるようになる。また、子画面７４内における対象物の位置指定は、ユーザがリモートコントローラ１７のカーソルキー１７ｆを操作して、子画面７４内の表示映像を上下左右方向に移動させることにより行なわれる。
【００６８】
これにより、図１０に示すように、子画面７４内に占める対象物の相対的なサイズや位置が指定される。図１０では、子画面７４内において、対象物（ボールＢ）が、主（親）画面７３の映像よりも拡大され、かつ、中央下部に位置された状態を示している。このようにして設定された、子画面７４内に占める対象物の相対的なサイズや位置を示す設定情報は、対象物情報抽出部７２ｇから指定映像認識部７２ｃに供給される。
【００６９】
上記したように、映像キャプチャ部７２ｂで取り込んだ静止映像上から対象物が特定され、その特定された対象物を含む切り出し領域（子画面７４）上で対象物のサイズ及び位置が設定されると、対象物情報抽出部７２ｇは、ステップＳ１１で、ユーザによる設定操作が全て完了したと判断する。
【００７０】
すると、上記指定映像認識部７２ｃは、ステップＳ１２で、入力端子７２ａに供給された映像信号から、フレーム単位で、対象物情報抽出部７２ｇより供給された対象物映像信号に対応する映像（対象物）を映像パターン認識により検索し、ステップＳ１３で、映像フレーム内に対象物が存在するか否かを判別する。
【００７１】
そして、存在すると判断された場合（ＹＥＳ）、指定映像認識部７２ｃは、対象物情報抽出部７２ｇより供給された設定情報に基づいて、対象物の拡大率や表示位置等に対応するように、入力映像信号から切り出す領域を示す切り出し情報を指定映像抽出部７２ｄに出力する。
【００７２】
すると、上記指定映像抽出部７２ｄは、ステップＳ１４で、指定映像認識部７２ｃより供給された切り出し情報に基づいて、入力映像信号から画面の切り出しを行ない、その切り出した抽出映像信号を出力映像生成部７２ｅに出力する。そして、出力映像生成部７２ｅでは、入力映像信号に抽出映像信号を子画面として表示されるように組み合わせて出力する。
【００７３】
これにより、映像表示器１４には、図１１に示すように、主（親）画面７３上に対象物（ボールＢ）が存在する場合において、その対象物が子画面７４上に予め設定されたサイズ及び位置で表示されることになる。このため、ユーザは、主（親）画面７３で全体を見ながら、子画面７４で自分の指定した対象物の周囲の映像を拡大して見ることができ、ユーザに対してより一層見易い新規な映像表示形態を与えることが可能となる。
【００７４】
その後、対象映像制御部７２は、ステップＳ１５で、対象物指定ＵＩ部７２ｈを介してユーザから子画面表示の終了要求が発生されたか否かを判別する。この子画面表示の終了要求は、子画面７４の表示状態で、ユーザがリモートコントローラ１７の終了キー１７ｌを操作することにより発生される。
【００７５】
そして、子画面表示の終了要求が発生されていないと判断された場合（ＮＯ）、対象映像制御部７２は、ステップＳ１２の処理に戻され、入力されたデジタルの映像信号からフレーム毎に対象物を検索する処理が継続して行なわれる。
【００７６】
また、子画面表示の終了要求が発生されていると判断された場合（ＹＥＳ）、対象映像制御部７２は、ステップＳ１６で、ユーザに対して子画面表示処理を終了することの確認をとる。この確認は、映像表示器１４に「子画面表示処理を終了しても良いですか」のメッセージとともに「終了する」、「終了しない」の２つの項目を表示させる。そして、リモートコントローラ１７のカーソルキー１７ｆを操作していずれかの項目を選択させ、決定キー１７ｇを操作することにより実行される。
【００７７】
このステップＳ１６で子画面表示終了の確認がとれないと判断された場合（ＮＯ）、対象映像制御部７２は、ステップＳ１２の処理に戻され、入力されたデジタルの映像信号からフレーム毎に対象物を検索する処理が継続して行なわれる。また、上記ステップＳ１６で子画面表示終了の確認がとれたと判断された場合（ＹＥＳ）、対象映像制御部７２はそのまま処理を終了（ステップＳ１８）する。
【００７８】
一方、上記ステップＳ１３で、入力された映像フレーム内に対象物が存在しないと判断された場合（ＮＯ）、対象映像制御部７２は、ステップＳ１７で、入力映像フレーム内に対象物が存在しない状態が、予め設定された所定時間継続されたか否かを判別し、継続されていないと判断された場合（ＮＯ）、ステップＳ１２の処理に移行し、継続されたと判断された場合（ＹＥＳ）、ステップＳ１６の処理に移行する。
【００７９】
上記した実施の形態によれば、ユーザが表示映像の中から自分の注目したい対象物を指定しておくことにより、入力映像の中にユーザの指定した対象物が存在している場合は、ユーザが予め指定したサイズや位置に対応させて、その対象物を含む所定の領域を切り出して子画面表示させるようにしている。すなわち、ユーザの指定した対象物の周囲の映像が、全体の映像とは別に子画面として表示されるため、ユーザに対してより一層見易い新規な映像表示形態を与えることができるようになる。
【００８０】
また、映像キャプチャ部７２ｂで取り込まれた静止映像上で対象物が決定されると、その対象物を含む切り出し領域内には、一定の拡大率で、対象物が中央に表示される。そして、この切り出し領域内に占める対象物の相対的なサイズ及び位置の設定は、リモートコントローラ１７によって、あたかもビデオカメラ等を操作する感覚、つまり、上下左右（チルト、パン）に画面を振ることや、ズームイン、ズームアウトでできるようにすることが、ユーザにとって便利である。例えば、画面を右に振ると、対象物は、相対的に画面の左側に動き、上に振ると、画面の下側に移動する。これは、例えば、Gセンサ等を使用してその動作を感知することで実現される。
【００８１】
さらに、対象物として、例えば人の顔等のように形状が複雑なものは、１枚の静止映像から取得した対象物映像信号のみでは、入力映像から個人を特定するのが困難になる。そこで、注目すべき人物の顔を複数の異なる角度から取り込み、それらを同一対象物としてリンクすることで、対象物の認識精度を向上させることができる。さらに、過去の視聴時に登録した、対象物映像信号を呼び出すことで、毎回の視聴時に沢山の設定を行なわなくても精度の高い認識が可能になる。
【００８２】
また、同じ対象を複数のアングルから撮影した映像を同時に入力し、設定されている対象物に基づいて、ユーザの好む映像を自動的に選択させることも可能である。例えば、サッカーの場合、フィールド全景の映像、味方チームのゴール前、相手チームのゴール前の３映像を同時に入力し、その中から対象物として設定した人物がよく映っているアングルの映像を自動的に選択することができる。
【００８３】
さらに、切り出し領域（子画面部分）だけを記録しておき、この子画面部分だけを再生して視聴することができるようにすれば、ユーザにとって効果的である。
【００８４】
また、図１２に示すように、ユーザの設定した対象物を含む切り出し領域を主（親）画面７３として表示し、全体映像を子画面７４に表示する。この場合、全体映像の中のどの部分が主（親）画面７３に表示されているかがユーザにわかるように、子画面７４内に主（親）画面７３の表示部分を示す枠７５を表示する。
【００８５】
さらに、２つ以上の対象物を指定して、同時に認識させるようにすることもできる。この場合、認識した対象物間の相対位置を検出する。例えば、ボールとゴールポストとを対象物として指定しておき、画面上のそれぞれの対象物の大きさと距離とから相対距離を計算し、両対象物が一定の距離以上に近づいたら、両対象物を含む切り出し領域を子画面７４として表示する。
【００８６】
また、図１３に示すように、映像パターン認識により認識した対象物に目印としてタグ７６を付けたり、補色で反転（点滅）表示させたりして、全体映像中のどの部分に対象物が存在しているかを表示させることもできる。この場合、２つ以上の対象物を指定して、それぞれが全体画面上のどこにあるかを表示することもできる。
【００８７】
さらに、映像パターン認識により認識した対象物以外をフォーカスアウトして、認識した対象物が浮かび上がるように強調表示させることも可能である。
【００８８】
また、対象物の存在するフレームが複数続いた場合、各フレームで対象物を検出し切り出し領域を設定して拡大表示を行なうと、切り出し画面に対象物のフレーム単位での微細な揺れがそのまま表示されてしまい（特に拡大しているので揺れも目立つ）、ユーザにとって見難いものとなる。
【００８９】
このため、対象物の存在するフレームが複数続く場合には、映像フレームを適宜間引いて表示させることで揺れを目立たなくすることができる。具体的には、切り出し画面内での対象物の揺れを測定し、一定以上の距離ずれているフレームを間引く手法や、切り出し画面内での対象物の微妙な揺れの周期を計測し、その周期でフレームを間引く手法等が考えられる。
【００９０】
また、対象物の指定後に、画面内での対象物の大きさが変わった場合に、自動的に切り出し画面内における拡大率を調整して、切り出し画面に表示される対象物の大きさが常に一定になるように制御する。具体的には、対象物の拡大率を一定にして、切り出し画面の大きさを変える手法や、切り出し画面の大きさを一定にして、対象物の拡大率を変える手法等が考えられる。
【００９１】
さらに、切り出し画面内で対象物を予め設定された位置に表示するには、対象物の平面映像の中心位置や重心位置を求め、その求めた位置を切り出し画面内の指定位置に合わせる手法が考えられる。
【００９２】
また、上記したように、指定した対象物を全体の表示映像から映像パターン認識によって検出する技術は、ビデオカメラに適用することができる。例えば、ズームインして注目被写体（対象物）を指定した後、ズームアウトして全景を表示したときに、先に述べた対象物にタグ７６を付ける等の手法を利用して、注目被写体が画面内のどこにあるかを見失わないようにする。
【００９３】
さらに、対象物を切り出し画面内で拡大表示する場合に、元映像の解像度以上に拡大すると映像が汚くなる。この場合には、例えば超解像度技術等を用いて、高品位な拡大映像を提供できるようにすることが考えられる。この超解像度技術は、フレーム内劣化逆変換と称され、特長としては、拡大する際に、特にエッジを鮮鋭にして、くっきり感のある映像を生成する点、また、複数のフレームを用いず、１枚のフレームから拡大映像を生成する点にある。
【００９４】
処理手順としては、まず、元映像から通常のフィルタを用いて仮の拡大映像を生成し、その仮の拡大映像の画素値（輝度）を補正していくことにより、真の拡大映像を生成している。補正の際には、凸射影と呼ばれる手法が用いられる。これは、仮の拡大映像の画素値から計算モデルに基づいて画素値を求め、元映像との差分を拡大映像にフィードバックするという方法である。エッジ部については、自己合同対応点についても凸射影による補正を行なっている。
【００９５】
具体的に言えば、この高解像度化は、被写体の一部を取り出して、その輝度値の変化パターンを見ると、その近くに同じパターンが存在するという点に新たに着目したもので、同じ輝度値変化パターンに対する標本値が１つのフレームに複数あり、それらの位置を検出するものである。すなわち、入力した低解像度映像から、例えばSobelフィルタ等を用いてエッジを取得し、エッジについての情報（例えば２値画像）を取得する。
【００９６】
そして、エッジとして判断されている領域について、１つの低解像度画素とその周辺の輝度パターンが近いパターンを持つ対応点とを複数個探索する。輝度パターンの相関検出には、例えば、差分絶対値和や差分２乗和を用いることができる。また、複数の対応点を得る探索手法として、Ｘ軸またはＹ軸方向に１画素単位で探索範囲を設定し、他方の軸成分を変化させて対応点を探索する方法も用いることができる。この場合、例えば他方の軸成分を変化させて得たいくつかの点を、相関の高い点の候補として選び、その候補の中からパラボラフィッティング等の手法により、サブピクセル単位で対応点の座標を推定することができる。
【００９７】
そして、低解像度画素値と複数の対応点の情報とを用いることにより、高解像度画素値を算出する。高解像度画素値の具体的な算出方法としては、例えばＰＯＣＳ法（S.Park, et.al.“Super-Resolution Image Reconstruction: A Technical Overview”のP.29参照）を用いることができる。このＰＯＣＳ法では、双一次内挿法や３次畳込み内挿法等で、仮の高解像度映像の画素値を予め求めておく。低解像度映像のある注目画素について、その点の対応点による標本値（サブピクセル単位）が、高解像度映像の１画素単位で並ぶ画素の画素値の集合で再現される必要があるが、仮の画素値は一般にはそれを満たしていない。この標本値により、高解像度映像への画素の写像を行なって求めた標本値を仮の標本値とした際に、仮に求めた画素値と仮の標本値とが一致していないので、この誤差を求め、差分を無くすように仮の画素値を加減算することで更新する。この更新は、近傍の注目画素においても行われるため、その影響を受け仮の画素値は正しい値から変化する。そこで、この更新処理は、標本点全部に対して数回繰り返される。この反復により、次第に、仮の画素値が正確なものに近づくので、設定した回数反復して得られた画像を高解像度映像として出力する。
【００９８】
なお、この発明は上記した実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を種々変形して具体化することができる。また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。
【図面の簡単な説明】
【００９９】
【図１】この発明の実施の形態を示すもので、デジタルテレビジョン放送受信装置とそれを中心として構成されるネットワークシステムの一例を概略的に説明するために示す図。
【図２】同実施の形態におけるデジタルテレビジョン放送受信装置の主要な信号処理系を説明するために示すブロック構成図。
【図３】同実施の形態におけるデジタルテレビジョン放送受信装置のリモートコントローラを説明するために示す外観図。
【図４】同実施の形態におけるデジタルテレビジョン放送受信装置が備える対象映像制御部の一例を説明するために示すブロック構成図。
【図５】同実施の形態におけるデジタルテレビジョン放送受信装置で実行される主要な処理動作の一部を説明するために示すフローチャート。
【図６】同実施の形態におけるデジタルテレビジョン放送受信装置で実行される主要な処理動作の残部を説明するために示すフローチャート。
【図７】同実施の形態におけるデジタルテレビジョン放送受信装置で表示される映像の一例を説明するために示す図。
【図８】同実施の形態におけるデジタルテレビジョン放送受信装置で表示される映像の他の例を説明するために示す図。
【図９】同実施の形態におけるデジタルテレビジョン放送受信装置で表示される映像のさらに他の例を説明するために示す図。
【図１０】同実施の形態におけるデジタルテレビジョン放送受信装置で表示される映像のさらに他の例を説明するために示す図。
【図１１】同実施の形態におけるデジタルテレビジョン放送受信装置で表示される映像のさらに他の例を説明するために示す図。
【図１２】同実施の形態におけるデジタルテレビジョン放送受信装置で表示される映像のさらに他の例を説明するために示す図。
【図１３】同実施の形態におけるデジタルテレビジョン放送受信装置で表示される映像のさらに他の例を説明するために示す図。
【符号の説明】
【０１００】
１１…デジタルテレビジョン放送受信装置、１２…キャビネット、１３…支持台、１４…映像表示器、１５…スピーカ、１６…操作部、１７…リモートコントローラ、１８…受光部、１９…第１のメモリカード、２０…第２のメモリカード、２１…第１のＬＡＮ端子、２２…第２のＬＡＮ端子、２３…ＵＳＢ端子、２４…ＩＥＥＥ１３９４端子、２５…ＨＤＤ、２６…ハブ、２７…ＨＤＤ、２８…ＰＣ、２９…ＤＶＤレコーダ、３０…アナログ伝送路、３１…ブロードバンドルータ、３２…ネットワーク、３３…ＰＣ、３４…携帯電話、３５…ハブ、３６…携帯電話、３７…デジタルカメラ、３８…カードリーダ／ライタ、３９…ＨＤＤ、４０…キーボード、４１…ＡＶ−ＨＤＤ、４２…Ｄ−ＶＨＳ、４３…アンテナ、４４…入力端子、４５…チューナ、４６…ＰＳＫ復調器、４７…ＴＳ復号器、４８…信号処理部、４９…アンテナ、５０…入力端子、５１…チューナ、５２…ＯＦＤＭ復調器、５３…ＴＳ復号器、５４…チューナ、５５…アナログ復調器、５６…グラフィック処理部、５７…音声処理部、５８ａ〜５８ｄ…入力端子、５９…ＯＳＤ信号生成部、６０…映像処理部、６１…出力端子、６２…出力端子、６３…制御部、６３ａ…ＣＰＵ、６３ｂ…ＲＯＭ、６３ｃ…ＲＡＭ、６３ｄ…不揮発性メモリ、６４…カードＩ／Ｆ、６５…カードホルダ、６６…カードＩ／Ｆ、６７…カードホルダ、６８…通信Ｉ／Ｆ、６９…通信Ｉ／Ｆ、７０…ＵＳＢ Ｉ／Ｆ、７１…ＩＥＥＥ１３９４ Ｉ／Ｆ、７２…対象映像制御部、７２ａ…入力端子、７２ｂ…映像キャプチャ部、７２ｃ…指定映像認識部、７２ｄ…指定映像抽出部、７２ｅ…出力映像生成部、７２ｆ…制御端子、７２ｇ…対象物情報抽出部、７２ｈ…対象物指定ＵＩ部、７２ｉ…制御端子、７２ｊ…出力端子、７３…主（親）画面、７４…子画面、７５…枠、７６…タグ。
【図１】
2009069185.tif 000003
【図２】
2009069185.tif 000004
【図３】
2009069185.tif 000005
【図４】
2009069185.tif 000006
【図５】
2009069185.tif 000007
【図６】
2009069185.tif 000008
【図７】
2009069185.tif 000009
【図８】
2009069185.tif 000010
【図９】
2009069185.tif 000011
【図１０】
2009069185.tif 000012
【図１１】
2009069185.tif 000013
【図１２】
2009069185.tif 000014
【図１３】
2009069185.tif 000015