(57)【要約】【課題】  放送局から放送される映像を視聴者が自己の好みに合う構図となるように編集して、表示したり、録画したりできるようにする。【解決手段】  表示装置５６に表示されるフレーム画像内の所望の部位をロック画像として指定する機能を備えた入力装置５３と、アンテナ５９や録画装置５４から入力されるフレーム画像内からロック画像メモリ５２１のロック画像と特徴が合致する画像領域を探し出す機能を持つ制御装置１０と、指定されたロック画像をロック画像メモリ５２１に記憶し、探し出された特徴合致領域の画像でロック画像メモリ５２１のロック画像を更新する機能を持つ制御装置１０と、探し出された特徴合致領域が希望画像内の所定部位で所定面積比を占めるように希望画像を画定して当該フレーム画像から切り出す機能を備えた制御装置１０と、切り出された希望画像を切出元のフレーム画像に対応するコマの画像として表示装置５６に表示したり録画メモリ５４１に録画する機能を備えた映像編集装置。【選択図】      図１
2006054512.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイに表示されるフレーム画像内の所望の部位をロック画像として指定するための指定入力手段と、
外部入力されるフレーム画像内からロック画像メモリのロック画像と特徴が合致する画像領域を探し出す領域探索手段と、
前記指定入力手段により指定されたロック画像を前記ロック画像メモリに記憶し、前記領域探索手段により探し出された特徴合致領域の画像で前記ロック画像メモリのロック画像を更新する記憶制御手段と、
前記領域探索手段により探し出された特徴合致領域が希望画像内の所定部位で所定面積比を占めるように希望画像を画定して当該フレーム画像から切り出す画像切出手段と、
前記画像切出手段により切り出された希望画像を切出元のフレーム画像に対応するコマの画像として処理する画像処理手段と、
を有することを特徴とする映像編集装置。
【請求項２】
請求項１に於いて、
前記画像処理手段は、前記画像切出手段により切り出された希望画像を切出元のフレーム画像に対応するコマの画像として表示設定する表示制御手段である、
ことを特徴とする映像編集装置。
【請求項３】
請求項２に於いて、
前記表示制御手段は、前記画像切出手段により切り出された希望画像を切出元のフレーム画像に代えて表示設定する、
ことを特徴とする映像編集装置。
【請求項４】
請求項２に於いて、
前記表示制御手段は、前記画像切出手段により切り出された希望画像と、切出元のフレーム画像とを、それぞれ表示設定する、
ことを特徴とする映像編集装置。
【請求項５】
請求項１に於いて、
前記画像処理手段は、前記画像切出手段により切り出された希望画像を切出元のフレーム画像に対応するコマの画像として録画メモリに記録する録画制御手段である、
ことを特徴とする映像編集装置。
【請求項６】
請求項５に於いて、
前記録画制御手段は、前記画像切出手段により切り出された希望画像を切出元のフレーム画像に代えて録画メモリに記録する、
ことを特徴とする映像編集装置。
【請求項７】
請求項５に於いて、
前記録画制御手段は、前記画像切出手段により切り出された希望画像と、切出元のフレーム画像とを、それぞれ録画メモリに記録する、
ことを特徴とする映像編集装置。
【請求項８】
請求項１に於いて、
操作入力で指定された番組を受信したテレビ信号から取り出すチューナーと、
前記チューナーにより取り出される番組のフレーム画像を前記領域探索手段に外部入力させるフレーム画像出力手段と、
を更に有することを特徴とする映像編集装置。
【請求項９】
請求項１に於いて、
操作入力で指定された番組の録画データを再生する再生手段と、
前記再生手段により再生される番組のフレーム画像を前記領域探索手段に外部入力させるフレーム画像出力手段と、
を更に有することを特徴とする映像編集装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像編集装置に関する。例えば、受信したテレビ信号のフレーム画像内の所望の被写体をロックして所望の構図で表示／録画したり、再生した録画信号のフレーム画像内の所望の被写体をロックして所望の構図で表示する装置に関する。
【背景技術】
【０００２】
（１）位置を特定できる被写体が映っている部分を高速に検索できる映像検索システムが提案されている（特許文献１，参照）。
特許文献１のシステムでは、映像フレームの時系列集合である映像生データと、各映像フレームの撮像範囲を示す撮像範囲データを含む映像属性データとにより映像データが構成されて、映像蓄積部に蓄積される。映像検索部は、入力手段と、検索処理手段と、出力手段を有する。映像検索部の入力手段は、被写体の位置データと、被写体と撮像範囲の位置関係を含む検索要求を受け付ける。映像検索部の検索処理手段は、位置データと、映像蓄積部内の撮像範囲データとから、互いの位置関係を計算して、受け付けた検索要求を満足する映像フレームを求める。映像検索部の出力手段は、その検索結果を検索アプリケーションに出力する。
【０００３】
（２）ユーザが希望する方向から撮影した映像を提供できる番組提供システムが提案されている（特許文献２，参照）。
特許文献２のシステムは、番組制作装置と、通信回線事業者装置と、通信回線網を介して通信回線事業者装置に接続される複数のユーザ端末装置と、から構成される。或る被写体を複数の異なった方向から撮影した映像が番組制作装置で制作されて、それぞれ異なるチャンネルとして、通信回線事業者装置から通信回線網を介して各ユーザ端末装置へ配信される。これにより、ユーザは、所望の方向から撮影した映像チャンネルを選択して表示することができる。
【０００４】
【特許文献１】特開平１１−２８２８５１号公報。
【特許文献２】特開２００１−３０９３４２号公報。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
放送局から放送される各瞬間瞬間のテレビ映像は、複数のカメラで撮影された中から選択されたものであり、その構図には、当該カメラの操作者や当該映像を選択した番組ディレクターの好みが反映されている。結果、放送局からは、「大多数の好みに合うと推定される構図の映像」が放映されることになる。しかしながら、そのような構図は、必ずしも個々の視聴者の好みに合致するものではない。例えば、トーク番組では、司会者のパフォーマンスに興味を持つ視聴者もいれば、別の出演者に興味を持つ視聴者もいる。また、全景を見たい視聴者もいれば、或る部分の拡大映像を見たい視聴者もいる。
【０００６】
本発明は、放送局から放送される映像の構図を視聴者が自己の好みに合うように編集して、表示したり、録画したりできるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、下記［１］〜［９］のように構成される。
［１］構成１：
ディスプレイに表示されるフレーム画像内の所望の部位をロック画像として指定するための指定入力手段と、
外部入力されるフレーム画像内からロック画像メモリのロック画像と特徴が合致する画像領域を探し出す領域探索手段と、
前記指定入力手段により指定されたロック画像を前記ロック画像メモリに記憶し、前記領域探索手段により探し出された特徴合致領域の画像で前記ロック画像メモリのロック画像を更新する記憶制御手段と、
前記領域探索手段により探し出された特徴合致領域が希望画像内の所定部位で所定面積比を占めるように希望画像を画定して当該フレーム画像から切り出す画像切出手段と、
前記画像切出手段により切り出された希望画像を切出元のフレーム画像に対応するコマの画像として処理する画像処理手段と、
を有することを特徴とする映像編集装置。
例えば、表示装置５６に表示されるフレーム画像内の所望の部位をロック画像として指定する機能を備えた入力装置５３と、アンテナ５９や録画装置５４から入力されるフレーム画像内からロック画像メモリ５２１のロック画像と特徴が合致する画像領域を探し出す機能を持つ制御装置１０と、指定されたロック画像をロック画像メモリ５２１に記憶し、探し出された特徴合致領域の画像でロック画像メモリ５２１のロック画像を更新する機能を持つ制御装置１０と、探し出された特徴合致領域が希望画像内の所定部位で所定面積比を占めるように希望画像を画定して当該フレーム画像から切り出す機能を備えた制御装置１０と、切り出された希望画像を切出元のフレーム画像に対応するコマの画像として表示装置５６に表示したり録画メモリ５４１に録画する機能を備えた映像編集装置である。
【０００８】
構成１の映像編集装置は、放送局から放送されるテレビ映像を所望の構図に編集する装置としても、録画映像を所望の構図に編集する装置としても、適用可能である。また、放送局から放送されるテレビ映像を編集してリアルタイムで表示する装置としても、編集した映像を録画する装置としても、適用可能である。
（ａ）指定入力手段：
例えば、ディスプレイに表示されているフレーム画像内に枠を表示し、該枠内に所望の被写体が入っている状態で所定のロック動作（例：ロックキーの押下等）を行うことにより、該枠内の画像をロック画像として指定する手段である。パターンマッチング時の処理負荷を軽減するために、枠内の画像に代えて、枠内を含む最小の方形領域内の画像をロック画像として指定するようにしてもよい。
（ｂ）探索手法：
ロック画像と特徴が合致する画像領域を処理対象のフレーム画像内から探索する手法としては、形状パターン、色情報の比較、ニューラルネットワーク、ウェーブレットの使用等、公知のパターンマッチングの手法を適宜に採用することができる。前コマのロック画像の重心位置に基づいてその周辺から探索を開始することにより、処理の負荷を軽減するようにしてもよい。また、前コマと現コマとの差分画像情報を利用してロック画像を抽出するようにしてもよい。
（ｃ）ロック画像メモリ：
ロック画像は、ロック画像メモリに格納される。
ロック画像メモリを構成するハードウエアとしては、フラッシュメモリ、ハードディスク、ＤＲＡＭ等、公知のハードウエアを適宜に用いることができる。また、ロック画像のデータ形式や符号化方式としても、公知のデータ形式や符号化方式を適宜に用いることができる。例えば、ＭＰＥＧ（Moving Picture Experts Group）を用いることができる。
ロック画像メモリに格納されたロック画像は、領域探索手段により探し出された特徴画像領域の画像により更新されて、次コマでの特徴画像領域の探索に用いられる。
（ｄ）希望画像の画定：
希望画像とは、処理対象として外部入力されるフレーム画像から切り出されて、その画像データが表示設定されたり記録されたりする領域である。この希望画像は、特徴合致領域が当該希望画像内に於いて所定部位に位置し、且つ、当該希望画像に対して所定面積比を占めるように、画定される。換言すれば、希望画像は、特徴合致領域が所定の構図となるように画定される。例えば、特徴合致領域が希望画像の中央位置にて１／４の面積を占めるように画定される。或いは、特徴合致領域が希望画像の左寄り１／３の位置にて２／５の面積を占めるように画定される。特徴合致領域の希望画像内での重心位置と、特徴合致領域が希望画像内で占める面積比とは、初期設定或いはユーザ設定で適宜に設定されているものとする。
【０００９】
［２］構成２：
構成１に於いて、
前記画像処理手段は、前記画像切出手段により切り出された希望画像を切出元のフレーム画像に対応するコマの画像として表示設定する表示制御手段である、
ことを特徴とする映像編集装置。
構成３のように外部入力される画像に代えて希望画像を表示設定してもよく、構成４のように外部入力される画像とともに希望画像を表示設定してもよい。
［３］構成３：
構成２に於いて、
前記表示制御手段は、前記画像切出手段により切り出された希望画像を切出元のフレーム画像に代えて表示設定する、
ことを特徴とする映像編集装置。
［４］構成４：
構成２に於いて、
前記表示制御手段は、前記画像切出手段により切り出された希望画像と、切出元のフレーム画像とを、それぞれ表示設定する、
ことを特徴とする映像編集装置。
希望画像と切出元の画像とを別々のディスプレイに表示してもよく、同一のディスプレイの画面を分割してそれぞれ表示してもよい。
【００１０】
［５］構成５：
構成１に於いて、
前記画像処理手段は、前記画像切出手段により切り出された希望画像を切出元のフレーム画像に対応するコマの画像として録画メモリに記録する録画制御手段である、
ことを特徴とする映像編集装置。
構成６のように外部入力される画像に代えて希望画像を録画してもよく、構成７のように外部入力される画像と希望画像とをそれぞれ録画してもよい。
［６］構成６：
構成５に於いて、
前記録画制御手段は、前記画像切出手段により切り出された希望画像を切出元のフレーム画像に代えて録画メモリに記録する、
ことを特徴とする映像編集装置。
［７］構成７：
構成５に於いて、
前記録画制御手段は、前記画像切出手段により切り出された希望画像と、切出元のフレーム画像とを、それぞれ録画メモリに記録する、
ことを特徴とする映像編集装置。
【００１１】
［８］構成８：
構成１に於いて、
操作入力で指定された番組を受信したテレビ信号から取り出すチューナーと、
前記チューナーにより取り出される番組のフレーム画像を前記領域探索手段に外部入力させるフレーム画像出力手段と、
を更に有することを特徴とする映像編集装置。
即ち、放送局から放送されるテレビ映像を編集する装置である。
【００１２】
［９］構成９：
構成１に於いて、
操作入力で指定された番組の録画データを再生する再生手段と、
前記再生手段により再生される番組のフレーム画像を前記領域探索手段に外部入力させるフレーム画像出力手段と、
を更に有することを特徴とする映像編集装置。
即ち、再生した録画映像を編集する装置である。
【発明の効果】
【００１３】
構成１の映像編集装置は、ディスプレイに表示されるフレーム画像内の所望の部位をロック画像として指定するための指定入力手段と、外部入力されるフレーム画像内からロック画像メモリのロック画像と特徴が合致する画像領域を探し出す領域探索手段と、前記指定入力手段により指定されたロック画像を前記ロック画像メモリに記憶し、前記領域探索手段により探し出された特徴合致領域の画像で前記ロック画像メモリのロック画像を更新する記憶制御手段と、前記領域探索手段により探し出された特徴合致領域が希望画像内の所定部位で所定面積比を占めるように希望画像を画定して当該フレーム画像から切り出す画像切出手段と、前記画像切出手段により切り出された希望画像を切出元のフレーム画像に対応するコマの画像として処理する画像処理手段とを有するため、外部入力される映像の構図を視聴者が自己の好みに合うように編集して処理できる。例えば、放送局から放送される映像や録画映像の構図を自己の好みに合うように編集して、表示したり、録画したりすることができる。
【００１４】
構成２の映像編集装置は、構成１の画像処理手段が、画像切出手段により切り出された希望画像を切出元のフレーム画像に対応するコマの画像として表示設定する表示制御手段であるため、放送局から放送される映像や録画映像の構図を自己の好みに合うように編集して、表示することができる。
構成３の映像編集装置は、構成２の表示制御手段が、画像切出手段により切り出された希望画像を切出元のフレーム画像に代えて表示設定するため、放送局から放送される映像や録画映像の構図を自己の好みに合うように編集して、編集前の映像に代えて表示することができる。
構成４の映像編集装置は、構成２の表示制御手段が、画像切出手段により切り出された希望画像と切出元のフレーム画像とをそれぞれ表示設定するため、放送局から放送される映像や録画映像の構図を自己の好みに合うように編集して、編集前の映像とともにそれぞれ表示することができる。
【００１５】
構成５の映像編集装置は、構成１の画像処理手段が、画像切出手段により切り出された希望画像を切出元のフレーム画像に対応するコマの画像として録画メモリに記録する録画制御手段であるため、放送局から放送される映像や録画映像の構図を自己の好みに合うように編集して、録画することができる。
構成６の映像編集装置は、構成５の録画制御手段が、画像切出手段により切り出された希望画像を切出元のフレーム画像に代えて録画メモリに記録するため、放送局から放送される映像や録画映像の構図を自己の好みに合うように編集して、編集前の映像に代えて録画することができる。
構成７の映像編集装置は、構成５の録画制御手段が、画像切出手段により切り出された希望画像と、切出元のフレーム画像とを、それぞれ録画メモリに記録するため、放送局から放送される映像や録画映像の構図を自己の好みに合うように編集して、編集前の映像とともにそれぞれ録画することができる。
【００１６】
構成８の映像編集装置は、構成１の映像編集装置が、操作入力で指定された番組を受信したテレビ信号から取り出すチューナーと、前記チューナーにより取り出される番組のフレーム画像を前記領域探索手段に外部入力させるフレーム画像出力手段とを更に有するため、放送局から放送される映像の構図を視聴者が自己の好みに合うように編集して処理できる。例えば、表示したり、録画したりできる。
【００１７】
構成９の映像編集装置は、構成１の映像編集装置が、操作入力で指定された番組の録画データを再生する再生手段と、前記再生手段により再生される番組のフレーム画像を前記領域探索手段に外部入力させるフレーム画像出力手段とを更に有するため、録画映像の構図を視聴者が自己の好みに合うように編集して処理できる。例えば、表示したり、録画したりできる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照して本発明の具体的構成例を説明する。
図１は本発明の映像編集装置としての機能と録画機能とを備えたテレビ視聴装置の構成を示し、図２は該テレビ視聴装置での映像編集手順を示す。また、図３〜図６は、図２内に示す映像編集手順の詳細を示す。
【００１９】
テレビ視聴装置：
テレビ視聴装置の構成要素は、アンテナ５９、テレビ信号の受信回路３１、デスクランブラ３２、デマルチプレクサ３３、デコーダ（例：ＭＰＥＧデコーダ）３４、音声処理回路３５、スピーカ５５、映像処理回路３６、表示装置５６、入力装置５３、及び制御装置１０である。
【００２０】
入力装置５３は、映像編集モードの設定／解除を行うためのキーや、オリジナルのフレーム画像（コマ画像）から切り出す希望画像の処理モード（希望画像を録画する希望画像録画モード／希望画像を表示する希望画像表示モード）を選択するためのキーの他、例えば、後述のロック枠を所望の方向へ所望の量だけ移動させるためのキーや、ロック枠で指定される画像をロック画像として確定するためのキー等を有する。
【００２１】
アンテナ５９で受信されたテレビ電波は、テレビ用受信回路３１にて選局・復調・誤り訂正される。次に、デスクランブラ３２にてスクランブルを解除されてトランスポートストリーム（ＴＳ）が取り出される。このトランスポートストリーム（ＴＳ）からデマルチプレクサ３３にて必要な番組のパケットが取り出され、さらにサービスインフォメーション（ＳＩ）が取得され、クロックが再生される。取り出されたパケットは、デコーダ３４にて音声データと映像データに復号され、それぞれ、音声処理回路３５によりアナログの音声信号に変換されてスピーカ５５から音声として出力され、映像処理回路３６により表示装置５６に適合する走査フォーマットのアナログのビデオ信号に変換されて表示装置５６から映像として出力される。
【００２２】
映像編集モードで且つ希望画像表示モードが選択されている場合には、デコーダ３４にて順に復号される各フレーム画像から希望画像の領域が制御装置１０により順に切り出され、該切り出された各希望画像の画像データが映像処理回路３６へ順に送られる。これにより、表示装置５６には、受信したテレビ信号の各フレーム画像から順に切り出した各コマの希望画像が順に表示される。この時、音声としては、切り出し元の映像データが持つ音声が同期して出力されるものとする。
【００２３】
録画装置：
録画装置５４は、オリジナルの映像データを録画する通常の録画モードでは、トランスポートストリーム（ＴＳ）からデマルチプレクサ３３により取り出された所望の番組のパケットを、内蔵の録画メモリ（例：ハードディスク等）５４１に記録する。また、希望画像録画モードでは、制御装置１０により順に切り出された各希望画像の集合から成る希望画像の映像データを録画メモリ５４１に記録する。この時、音声データとしては、切り出し元の映像データが持つ音声データを同期して記録するものとする。
なお、通常の録画モードと、希望画像録画モードとを、同時並行的に実行することも可能である。
【００２４】
また、録画装置５４は、オリジナルの映像データを再生する通常の再生モードでは、録画メモリに記録したパケットを順に取り出してデコーダ３４へ送って復号し、映像及び音声として出力する。また、希望画像を再生する希望画像再生モードでは、希望画像の映像データを録画メモリ５４１から読み出して再生する。
なお、圧縮状態のパケットではなく、デコーダ３４にて復号した後のデータを記録するように構成してもよい。復号後のデータを録画した場合には、再生時には、デコードすることなく、音声処理回路３５や映像処理回路３６へ出力することとなる。
【００２５】
映像編集手順：
図２に即して、且つ、図３〜図６を参照して、制御装置１０により実行される映像編集手順（１）〜（９）を説明する。
（１）注目部分画像の選択とロック：
例えば、トーク番組や音楽番組のように、撮影対象がステージ等の或る限定された範囲に在る場合、テレビ局は、その全景を固定カメラで撮影した映像（全景映像）を放送するものとする。この全景映像の解像度は、後述の切り出し処理を考慮すると、高解像度であることが望ましい。例えば、２０００×２０００画素程度である。現行例では、１９２０×１１５２画素，２５フレームがある。
全景映像は、テレビ局から放送される映像であってもよいが、既記録の録画映像を録画装置５４が録画メモリ５４１から読み出して再生したものでもよい。
【００２６】
ユーザは、全景映像が表示されているテレビ画面を見ながら、入力装置５３の所定のキー（例：上下左右移動キー，不図示）を操作して、所望の部分画像（例：所望の人物等の画像）にロック枠（図３左図内の点線円）を合わせる。
所望の部分画像がロック枠内に入ると、ユーザは入力装置５３の所定のロックキー（不図示）を操作する。これにより、当該部分画像がロックされる。言い換えれば、制御装置１０は、ロック枠を含む最小の方形領域（図３右図内の方形領域）内の画像をロック画像として切り出して、記憶装置５２内の所定の記憶エリアであるロック画像メモリ５２１に格納する。この時、当該フレーム画像（全景映像で部分画像がロックされたコマ）内に於けるロック画像の重心位置を併せて記憶しておき、パターンマッチング（後述）での探索領域の開始位置制御に利用するようにしてもよい。記憶装置５２としては、フラッシュメモリ、ＤＲＡＭ、ハードディスク等の公知のハードウエアを用いることができる。
【００２７】
（２）（３）オリジナルデータ受信・オリジナルフレーム取得：
ロック画像が切り出されたフレームの次コマ画像データが、引き続き受信される全景映像（オリジナルデータ）から取得される。データ形式や符号化方式等は、適宜に選択できるものとする。例えば、ＭＰＥＧを用いてもよい。この画像データは、記憶装置５２の所定のエリアに一時的に記憶される。
【００２８】
（４）探索処理用の低解像度画像生成：
パターンマッチングの処理負荷軽減のために、制御装置１０は、上記（３）で取得した画像データに基づいて、低解像度の画像データを領域探索用に生成する。この手法としては、例えば、単純サンプリング法や、平均化処理等、公知の解像度変換処理を用いることができる。他に、例えば、「Motion−ＪＰＥＧ  2000」のウェーブレットという多重解像度技術を用いることもできる。なお、制御装置１０の処理能力が十分に高い場合には、領域探索用の低解像度の画像データを生成せず、上記で取得したオリジナルデータ（高解像度の全景映像の画像データ）をそのまま用いてもよい。
【００２９】
（５）特徴合致領域の抽出・ロック画像の更新：
次に、制御装置１０は、ロック画像メモリ５２１に格納されているロック画像データと特徴が合致する領域（正確には、「最も一致度が大きい領域」）を、上記（４）で生成した低解像度画像データから、パターンマッチングで抽出する。ここで、パターンマッチングの手法としては、形状パターンの比較や、色情報の比較、或いは、ニューラルネットワークの使用、ウェーブレットの使用等、公知のパターンマッチング手法を適宜に用いることができる。
【００３０】
また、パターンマッチング時の処理負荷を軽減するために、オリジナルの全景画像内に於けるロック画像の位置の近傍から探索を開始するようにしてもよい。そのためには、ロック画像の画像データとともに、その重心位置（全景画像内での重心位置）を、ロック画像メモリ５２１に記憶しておく必要がある。
また、パターンマッチングによるロック画像の抽出に代えて、直前のフレーム画像との差分画像の情報からロック画像を抽出してもよい。例えば、ＭＰＥＧの動き補償と動き予測ベクトルを利用して被写体を抽出する手法が、「情報処理学会誌・２００２年３月・早稲田大学理工学部・電子情報通信学科・「動き補償と色情報を組み合わせたＭＰＥＧ映像からの人物領域抽出」」に記載されており、このような手法を用いてもよい。
【００３１】
特徴合致領域が抽出されると、制御装置１０は、当該特徴合致領域の画像データで、ロック画像メモリ５２１のロック画像データを更新する。この時、重心位置も更新するものとする。こうして更新されたロック画像は、次のフレーム画像での特徴合致領域の探索に用いられる。このようにロック画像を更新するため、所望の部分画像（例：：所望の人物等の画像）の時間軸上での微小変化（図３に例示する部分画像であれば、手足の動きに伴う変動等）を取り入れたロック画像を用いて探索を行うことができ、探索の精度を上げることができる。
【００３２】
（６）希望画像の画定（構図の検討）：
特徴合致領域が抽出されると、制御装置１０は、当該特徴合致領域が希望画像内の所定部位に位置し、且つ、当該特徴合致領域が希望画像内で所定の面積比を占めるように、希望画像をオリジナル全景映像の当該フレーム画像内に画定する。換言すれば、当該特徴合致領域が希望画像内に所定の構図で配置されるように希望画像を画定する。ここで、特徴合致領域が置かれるべき希望画像内の位置と、特徴合致領域が希望画像内で占有すべき面積比とは、初期設定又はユーザ設定により予め決められているものとする。また、希望画像のサイズも、初期設定又はユーザ設定により予め決められているものとする。
【００３３】
図４を参照して説明する。図４の上欄左右の各図に於いて、最外枠はオリジナル全景映像の当該フレーム画像を示し、最内枠は特徴合致領域を示す。また、中間枠は希望画像のサイズを示す。
図４の上左欄に示すように、特徴合致領域が、オリジナル全景映像の当該フレーム画像内の右寄り略中央高さの位置にて抽出されたものとして説明する。
特開２００３−１５８６８４号公報に記載されている従来の動画フレームの作成手法では、オリジナルのフレーム画像内中央から所定サイズの領域（図３の上左欄の中間枠の領域）を切り出して記録している。この場合、当該動画フレームの構図は、図３の下左欄に示すように、特徴合致領域が希望画像内の右端位置に配置される構図となる。
これに対して、本装置では、希望画像のオリジナルのフレーム画像内の位置を該フレーム画像に対して決めるのではなく、特徴合致領域の希望画像内での位置と、特徴合致領域が希望画像内で占める面積比とに基づいて決めている。例えば、図４の上右欄の例では、特徴合致領域の重心を、左右方向では希望画像左辺を起点として５／８の位置、上下方向では上辺を起点として１／２の位置として決めるとともに、特徴合致領域の面積を、サイズが所定値である希望画像の０．２８として決めている。したがって、切り出される希望画像のフレームは、図４の下右欄に示すように、特徴合致領域の重心が希望画像左辺を起点として右へ５／８で希望画像上辺を起点として下へ１／２の位置にあり、且つ、希望画像の０．２８の面積を占める構図となる。
【００３４】
なお、図４や図５に示す例では、上記のように画定した希望画像が、全景映像のオリジナルフレーム画像内からはみ出ていない。しかし、図６に示すように、特徴合致領域がオリジナルフレーム画像の端部で抽出された場合には、希望画像を画定しようとしてもオリジナルフレーム画像からはみ出てしまうために画定できない場合が生ずる。
このような場合は、図６に示すようにして補正することができる。
図６は、希望画像を本来の位置（図６の中央図の破線枠の位置）からシフトさせてオリジナルフレーム画像内に入れて、画定する手法である。なお、この場合、構図（希望画像内に於ける特徴合致領域の位置）は若干犠牲になる。
【００３５】
（７）デジタル処理（１．希望画像の切り出し，２．コマ画像の生成）：
制御装置１０は、上記（６）のように希望画像を画定して切り出して（図５参照）、当該切り出し元のフレームに対応するコマのフレーム画像として生成する。
（８）このフレーム画像を表示用に設定して、
（９）表示装置５６表示し、及び／又は、録画メモリ５４１に録画する。
以上の処理を、アンテナ５９又は録画装置５４から次々に外部入力される全景映像の各フレーム画像に対して実行する。
【図面の簡単な説明】
【００３６】
【図１】本発明の映像編集装置としての機能と録画機能を備えたテレビ視聴装置の構成を示すブロック図。
【図２】図１のテレビ視聴装置での映像編集手順を示すフローチャート。
【図３】図２内に示す手順「（１）注目部分画像の選択とロック」の解説に用いる説明図。
【図４】図２内に示す手順「（６）希望画像の画定（構図の検討）」の解説に用いる説明図。
【図５】図２内に示す手順「（７）デジタル処理（１．希望画像の切り出し）」の解説に用いる説明図。シフト無しの場合を示す。
【図６】図２内に示す手順「（７）デジタル処理（１．希望画像の切り出し）」の解説に用いる説明図。シフト有りの場合を示す。
【符号の説明】
【００３７】
３６  映像処理回路
５６  表示装置
５２  記憶装置
５２１  ロック画像メモリ
５４  録画装置
５４１  録画メモリ
５３  入力装置
【図１】
2006054512.tif 000003
【図２】
2006054512.tif 000004
【図３】
2006054512.tif 000005
【図４】
2006054512.tif 000006
【図５】
2006054512.tif 000007
【図６】
2006054512.tif 000008