(57)【要約】 【課題】  撮影された画像の確認作業を効率的に行うことができる画像記録再生装置を提供する。【解決手段】  画像の記録時に、画像制御部２０１は、入力された入力画像情報をＨＤＤ２０２に記録する。入力指示部２０４は、注目点の位置座標を示す注目情報を出力する。注目点情報制御部２０５は、注目情報に基づいて、注目点の位置および注目点を含む領域の大きさを示す注目点情報を生成し、ＨＤＤ２０２に記録する。画像の再生時に、画像再生処理部２０６は、画像データに基づいて画像を縮小した縮小画像データを生成すると共に、注目点情報に基づいて、注目点を含む一部の領域を画像データから切り出し、トリミング画像データを生成する。画像再生処理部２０６は、生成した縮小画像データおよびトリミング画像データを外部のモニターへ出力する。【選択図】    図１
2005341241.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像し、画像データを生成する撮像手段から連続的に入力された前記画像データを記録すると共に、前記画像データを再生して外部装置へ出力する画像記録再生装置において、
前記画像データを記憶する記憶手段と、
前記撮像手段から入力された前記画像データを前記記憶手段に格納する画像データ制御手段と、
前記画像データに関連付けられており、前記画像データ中の注目点を示す注目点情報を前記記憶手段に格納する注目点情報制御手段と、
前記画像データの再生時に、前記注目点情報に基づいて前記画像データを処理する画像処理手段と、
を具備することを特徴とする画像記録再生装置。
【請求項２】
前記画像処理手段は、
前記画像データに基づいて、該画像データの画素数を縮小した縮小画像データを生成する縮小画像生成手段と、
前記注目点情報に基づいて、前記画像データから、前記注目点を含む一部を切り出し、トリミング画像データを生成するトリミング画像生成手段と、
を具備することを特徴とする請求項１に記載の画像記録再生装置。
【請求項３】
前記トリミング画像生成手段はさらに、前記注目点情報に基づいて、前記画像データから、前記注目点を含む一部の画像データを切り出し、切り出した画像データと等倍の画素数の画像データ、または画素数を変換して拡大した画像データをトリミング画像データとして生成することを特徴とする請求項２に記載の画像記録再生装置。
【請求項４】
前記撮像手段から入力される前記画像データは、１つの画像が複数の領域に分割され、各領域の画像を示す複数の画像データであり、
前記複数の画像データを合成し、１つの合成画像データを生成する画像合成手段をさらに具備し、
前記縮小画像生成手段は、前記合成画像データに基づいて、該合成画像データの画素数を縮小した縮小画像データを生成し、
前記トリミング画像生成手段は、前記注目点情報に基づいて、前記合成画像データから、前記注目点を含む一部を切り出し、トリミング画像データを生成する
ことを特徴とする請求項２または請求項３に記載の画像記録再生装置。
【請求項５】
前記注目点情報は、前記注目点の位置と、前記トリミング画像生成手段によって切り出される領域の大きさとを示す情報であることを特徴とする請求項２〜請求項４のいずれかの項に記載の画像記録再生装置。
【請求項６】
前記縮小画像生成手段はさらに、前記注目点情報に基づいて、前記注目点を表示するための注目点画像データを生成し、前記縮小画像データに対して前記注目点画像データを合成することを特徴とする請求項２〜請求項５のいずれかの項に記載の画像記録再生装置。
【請求項７】
ユーザによって前記注目点が入力される注目点入力手段と、
前記注目点入力手段に入力された前記注目点に基づいて、前記注目点情報を生成する注目点情報生成手段と、
をさらに具備することを特徴とする請求項１〜請求項６のいずれかの項に記載の画像記録再生装置。
【請求項８】
前記注目点入力手段は、前記画像データ中の前記注目点の位置座標を指定する情報が入力されるポインティング装置であることを特徴とする請求項７に記載の画像記録再生装置。
【請求項９】
前記注目点入力手段は、前記注目点を含む画像を表示する表示手段と、ユーザによって前記注目点の位置が入力されるタッチパネルとを具備することを特徴とする請求項８に記載の画像記録再生装置。
【請求項１０】
異なる複数の前記画像データ中の注目点の位置を追跡し、該注目点の位置が変位した場合に、該注目点の位置の変位に応じて前記注目点情報を更新する注目点追跡手段をさらに具備することを特徴とする請求項１〜請求項９のいずれかの項に記載の画像記録再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は  動画像カメラによって連続的に生成された超高精細のデジタル静止画像を記録すると共に、記録された画像の確認を行うために画像の再生を行う画像記録再生装置に関し、特に、記録された画像の再生時における確認作業の改善を図った画像記録再生装置に関する。
【背景技術】
【０００２】
デジタル放送やデジタルシネマなど、デジタル映像の高精細化が進んできており、放送業界においても、ＳＤＴＶ（Ｓｔａｎｄａｒｄ  Ｄｅｆｉｎｉｔｉｏｎ  Ｔｅｌｅｖｉｓｉｏｎ）からＨＤＴＶ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｔｅｌｅｖｉｓｉｏｎ：ハイビジョンＴＶ）画像（１９２０×１０８０）へ、また、デジタルシネマ業界においては２Ｋ(水平画素：２０４８)から４Ｋ(水平画素：４０９６)へと超高精細化への取り組みが行なわれている。このような高精細カメラによって撮影されたデジタル画像データを保存する記録装置では記録容量が膨大となり、記録装置自体も大型になる。例えば、ハイビジョン（ＨＤ）映像よりも長さ比が倍である超高精細画像（ＳＨＤ：Ｓｕｐｅｒ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）では、画素数が面積と同様にＨＤの４倍の量になる。したがって、記録装置からの画像の読出し、編集、その結果の保存などの作業において、膨大な処理時間がかかってしまう。
【０００３】
図８は従来の超高精細画像用デジタル動画カメラ（以下ＳＨＤ動画カメラ）を用いたシステムの構成を示すブロック図である。図において、ＳＨＤ動画カメラ１００は、毎秒２４フレームのレートで３８４０×２１６０画素のデジタル画像データをＨＤ−ＳＤＩ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｓｅｒｉａｌ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）デジタル信号で出力する。通常、ＨＤ−ＳＤＩ信号規格では、ＨＤ画像１画面分の転送能力しかないため、ＳＨＤ動画カメラ１００では画像が４つに分割され、それぞれの画像をちょうどＨＤ画像と同じサイズとし、４本のＨＤ−ＳＤＩ信号で各画像が並列に出力される。また、ＳＨＤ動画カメラ１００は、ＨＤ画像サイズになるようにＳＨＤ画像の画素を間引きすることにより、画素数を縮小した縮小画像データを生成する。
【０００４】
画像記録再生装置２００は、ＳＨＤ動画カメラ１００に接続され、ＳＨＤ動画カメラ１００から出力されたＳＨＤ画像データ（撮影データ）をＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）２０２に記録すると共に、編集のために画像の再生を行う場合に、ＳＨＤ画像の再生データを編集装置３００へ出力する。再生データは、４本のＨＤ−ＳＤＩ信号により出力される。編集装置３００は、編集時に画像記録再生装置２００に接続され、画像記録再生装置２００から出力された再生データの編集を行う。撮影時に、画像記録再生装置２００のＨＤＤ２０２の記憶容量を超える容量の撮影データが生成された場合には、後述するように、テープ等のメディアに対してバックアップが行われる。この場合には、テープ等のメディアに記録された撮影データを編集装置３００に転送し、編集装置３００で編集を行う。
【０００５】
ＨＤモニター５００は、ＳＨＤ動画カメラ１００に接続され、ＳＨＤ動画カメラ１００から出力された撮影データに基づいて画像を表示する。撮影データのＨＤ−ＳＤＩ出力信号にＨＤモニター５００を４台並列に接続することにより、４分の１ずつの等倍画像を同時に確認することができるようになっている。ＨＤモニター６００は、ＳＨＤ動画カメラ１００に接続され、ＳＨＤ動画カメラ１００から出力された縮小画像データに基づいて、縮小画像を表示する。縮小画像を出力する信号にＨＤモニター６００を接続することにより、全体の画像を確認することができる。
【０００６】
画像記録再生装置２００において、画像制御部２０１は画像データの記録および再生の制御を行う。画像制御部２０１は、画像の記録時には、インタフェース（図示せず）を介してＳＨＤ動画カメラ１００から連続的に入力された撮影データを、記録媒体であるＨＤＤ２０２に記録する。画像制御部２０１は、画像の再生時には、ＨＤＤ２０２から撮影データを読み出して、画像再生処理部２０３へ出力する。また、画像制御部２０１は、ＳＨＤ動画カメラ１００から入力された撮影データをＨＤＤ２０２に記録すると同時に、再生用の画像として、撮影データを画像再生処理部２０３へ出力する機能も有している。画像再生処理部２０３は、撮影データを再生データとして編集装置３００へ出力する。
【０００７】
次に、実際の撮影現場における撮影および編集の手順を説明する。撮影のため、ＳＨＤ動画カメラ１００と画像記録再生装置２００とを現場へ持ち込むが、編集は後で行うため、現場に編集装置３００を持って行くことはない。そのため、撮影された画像は全てＨＤＤ２０２に保存されることになる。ＳＨＤ動画カメラ１００から画像記録再生装置２００へ順に転送された画像データはＨＤＤ２０２に保存される。
【０００８】
動画像を構成する画像データは複数のカットと複数のシーンの集まりとして定義することができる。「カット」は、カメラでの１回の撮影動作開始から終了までの間で撮影されたフレーム画像の集合として定義される。「シーン」は、ある決まった撮影対象を撮影した複数のカットの集合で構成される。複数のシーンはさらに特定の撮影テーマで取りまとめることができる。このような動画像のデータ構造はカットとシーンとの組み合わせによる階層構造として表される。
【０００９】
図９は、撮影の手順を示すフローチャートである。現場撮影を開始し、「シーン」撮影を開始する（ステップＳ９０１）。「シーン」撮影においては、「カット」撮影を行い（ステップＳ９０２）、撮影した画像を画像記録再生装置２００のＨＤＤ２０２に記録する（ステップＳ９０３）。続いて、画像記録再生装置２００によって画像を再生し、再生した画像をモニターへ出力することにより、モニターに画像を表示し、画像の確認を行う（ステップＳ９０４）。この確認を行った後、撮影した「カット」の内容の良否を判定する（ステップＳ９０５）。
【００１０】
「カット」の内容がＮＧであると判定した場合、ＮＧカットを削除し（ステップＳ９０６）、再びステップＳ９０２へ戻り、「カット」撮影を行う。一方、「カット」の内容がＯＫであると判定した場合、「シーン」撮影を終了するかどうか判定する（ステップＳ９０７）。他の「カット」撮影等の理由により「シーン」撮影を終了せず、「シーン」撮影を続行する場合には、ステップＳ９０１へ戻り、「シーン」撮影を続行する。一方、「シーン」撮影を終了する場合には、ＨＤＤ２０２に記録した撮影データをテープに記録（バックアップ）する（ステップＳ９０８）。
【００１１】
続いて、全撮影を終了するかどうか判定する（ステップＳ９０９）。撮影を終了しない場合、ステップＳ９０１へ戻り、「シーン」撮影を続行する。一方、撮影を終了する場合、撮影が完了となる。
【００１２】
図１０は、スタジオにおける編集の手順を示すフローチャートである。編集時には、撮影データが記録されたテープをスタジオに持ち込み、テープに記録された撮影データを編集装置３００に転送し、編集装置３００によって編集作業を行う。まず、テープに記録された撮影データを画像記録再生装置２００にリストアする（ステップＳ１００１）。続いて、画像を再生し（ステップＳ１００２）、モニターに表示して画像を確認し（ステップＳ１００３）、編集に必要な画像を編集装置３００へ転送する（ステップＳ１００４）。続いて、他のシーンあるいは他のテープ中の画像の編集を行うかどうか判定する（ステップＳ１００５）。他の画像の編集も行う場合には、ステップＳ１００１へ戻り、処理を繰り返す。リストアした画像を編集する場合には、ノンリニア編集を行い（ステップＳ１００６）、編集作業が終了する。
【００１３】
超高精細画像データは、デジタル画像編集による編集作業を行うため、なるべく劣化のない状態で記録されることが望ましい。よって、非圧縮のデータか、ロスレス圧縮データをリアルタイムに書き込むことが可能な記録装置が必要となる。現状では、ＨＤ−ＳＤＩ２ｃｈ入力によるリアルタイムのキャプチャが可能で、ＲＡＩＤ方式ＨＤＤを記録媒体とした非圧縮記録装置を利用することができる（以下、ＨＤＤレコーダと称す）。ＳＨＤ動画像カメラ１００はＨＤ−ＳＤＩ４ｃｈでデジタル画像を出力するので、このＨＤＤレコーダ方式の画像記録再生装置２００を２台並列運転することで、リアルタイムに画像を記録することができる。
【００１４】
画像をＲＧＢ：４：４：４（ＹＰｂＰｒ）１０ｂｉｔで構成すると、１画素が約４バイトとなり、このデータを保存するのに、３８４０×２１６０×２４×４＝７５９．４×１０６バイト／秒（≒７５９．４ＭＢ／ｓ＝６Ｇｂｐｓ）の処理速度が必要になる。ここで、ＨＤＤレコーダのＨＤＤ容量を１．７ＴＢ（ＴＢ，テラバイト＝１０２４ＭＢ）としても、４０分ほどの時間しか記録することができない。また、一般的に、このようなＨＤＤレコーダにおいては、高速な書き込み速度を常に維持するため、記録媒体であるＨＤＤを、記録時間に相当する容量が連続した領域（セクター）となるように構築する必要がある。したがって、撮影前に、撮影時間に相当する容量を画像記録領域として確保しておく必要がある。
【００１５】
４０分の画像データのみで全ての撮影シーンの画像を撮り終えることが可能であるならば、撮影後、このＨＤＤレコーダを編集作業のために編集スタジオ等に持っていき、そこで直接画像データを編集装置３００や大型表示装置に出力すればよい。しかし、通常はもっと多くの「カット」や「シーン」を撮影し、それらの中から、「撮影テーマ」あるいは「ストーリー」に必要となる画像を選別・抜き出し、そして編集を行う。
【００１６】
したがって、もっと多くの画像を撮影するためには、ＨＤＤレコーダの記録可能時間まで撮影したならば、図９のステップＳ９０８のように、テープなどの別のメディアに画像をバックアップしなければならない。テープドライブも高速大容量のメディアとして３０ＭＢ／ｓ、５００ＧＢ／巻（非圧縮）の性能を持ったＳ−ＡＩＴテープドライブなどを利用することが可能である。しかし、記録時間の１０倍以上のバックアップ時間が必要となる。
【００１７】
このような記録装置２００を使って、撮影を効率よく行うためには、撮影時間が多少長くかかっても、不用な画像を減らす作業（図９のステップＳ９０６参照）が重要となる。画像データの容量が増えれば、それだけその後に行う転送時間や、バックアップ（図９のステップＳ９０８参照）／リストア（図１０のステップＳ１００１参照）時間などの処理時間の増大に大きく影響する。したがって、撮影された画像に関しては、なるべくＮＧの少ない「カット」や「シーン」を、記録媒体に保存することが大事となる。
【００１８】
よって、図９のステップＳ９０５のように、現場での「カット」や「シーン」ごとの画像判定が、画像記録再生装置２００のリソースや処理時間の効率化を図る上で重要となる。例えば、映画のロケにおいては、撮影された「カット」が問題なく撮影されているか、監督やカメラマン、その他の関係者により、その場で確認されること（図９のステップＳ９０４参照）が重要である。ハイビジョン（ＨＤ）映像による撮影を行った場合には、現場でＨＤモニターを使い、そのカット画像の全画面を等倍に表示し、確認することができる。しかし、超高精細画像による撮影の場合には、現場でこの動画像の全画面を等倍に表示することができる表示装置がないため、確認が困難である。
【００１９】
高精細化された画像の中の１画素ごとの情報を確認するためには、人間の目の分解能（最小識別能力）と距離および表示装置の画角との関係が重要となる。人間の裸眼視力を１．０とすると、最小分解能は６０秒位とされている。これより、表示装置の水平画素数を４０００画素とすると、１．５ｍから確認することが可能なモニターの水平サイズは最低でも約１７５ｃｍ（対角８０インチ）となり、現場で準備するには大きな機材となってしまう。現状ではこのような仕様でデジタル動画像を表示することができる表示装置はない。
【００２０】
各「カット」の画像の良否を判定する上で重要な点として、撮影者側である監督やカメラマンによる、その「カット」における撮影の意図・目的、およびその「カット」が画像のどの点（主体）に注目して撮影されたものであるかということを知ることが重要となる。撮影のストーリーの中では、その主体が常に画面の中央にあるとは限らず、画面の端から現れ、そして消えていくような「カット」もある。また、その主体に対して常にフォーカスが合っているとは限らず、デフォーカス状態からフォーカス状態へと変化する「カット」や、カメラのフォーカスが固定で主体が前後に移動する「カット」もある。
【００２１】
このように、撮影意図によって、画像のチェックポイントの評価内容が異なり、また、静止画で「カット」を評価することができることもあれば、動画で「カット」を観察して評価しなければならないこともある。現場での画像のチェックポイントに関しては、ピント状態やコントラスト、色飛び（白飛び、黒潰れ）等が重要であり、デジタル編集による後処理行程での修正が難しい画像に対しては、撮り直しが必要になる。
【００２２】
したがって、現状では、ＳＨＤ画像がＨＤ画像サイズとなるように画素を間引きした縮小画像により、画像全体の映像を確認する（ＨＤモニター６００による）か、またはＳＨＤ４分割画像を切り換えて、４分の１の等倍画像として１部分ごとに確認（ＨＤモニター５００による）している。しかし、縮小画像を用いた画像の確認においては、全体のフォーカスの変化を見ることはできるが、フォーカス距離位置にある物体の合焦状態を見るのは困難であり、４分の１等倍画像を用いた画像の確認においては、注目点がその画面内にあるとは限らず、評価を迅速に行うには表示が不十分である。
【００２３】
また、ＨＤモニター５００を４面マルチ表示装置として構成し、そのマルチ表示装置を車等の移動体の中に設置するなどして、撮影現場から送られる撮影画像を移動体の中でモニターすることも行われている。しかし、装置構成がより大型となり、撮影場所から遠く離れたところにしか停車することができないこともある。よって、撮影者とは別の人間がその画像を評価しなければならず、撮影者側の撮影意図（注目点）がわからず、その画像の合否判定を行うことができないことがある。
【特許文献１】特開２０００−１５２１４５号公報
【特許文献２】特開２００２−３７４４４３号公報
【特許文献３】特開平６−３８１０２号公報
【発明の開示】
【発明が解決しようとする課題】
【００２４】
上述したように、従来の画像記録再生装置に記録された画像を再生および表示して、撮影画像の確認を行う場合に、画像中の注目点の場所を評価者が分からず、画像の確認作業を効率的に行うことができないという問題があった。
【００２５】
本発明は、上述した問題点に鑑みてなされたものであって、撮影された画像の確認作業を効率的に行うことができる画像記録再生装置を提供することを目的とする。
【課題を解決するための手段】
【００２６】
本発明は上記の課題を解決するためになされたもので、請求項１に記載の発明は、被写体を撮像し、画像データを生成する撮像手段から連続的に入力された前記画像データを記録すると共に、前記画像データを再生して外部装置へ出力する画像記録再生装置において、前記画像データを記憶する記憶手段と、前記撮像手段から入力された前記画像データを前記記憶手段に格納する画像データ制御手段と、前記画像データに関連付けられており、前記画像データ中の注目点を示す注目点情報を前記記憶手段に格納する注目点情報制御手段と、前記画像データの再生時に、前記注目点情報に基づいて前記画像データを処理する画像処理手段とを具備することを特徴とする画像記録再生装置である。
【００２７】
注目点は、画像データ中の注目すべき点を示している。注目点は厳密な点に限定されず、その点を含んだ領域であってもよい。注目点情報は、例えば注目点の位置を示す情報と、注目点を含むある領域の大きさを示す情報とを含む情報である。
【００２８】
請求項２に記載の発明は、請求項１に記載の画像記録再生装置において、前記画像処理手段は、前記画像データに基づいて、該画像データの画素数を縮小した縮小画像データを生成する縮小画像生成手段と、前記注目点情報に基づいて、前記画像データから、前記注目点を含む一部を切り出し、トリミング画像データを生成するトリミング画像生成手段とを具備することを特徴とする。
【００２９】
請求項３に記載の発明は、請求項２に記載の画像記録再生装置において、前記トリミング画像生成手段はさらに、前記注目点情報に基づいて、前記画像データから、前記注目点を含む一部の画像データを切り出し、切り出した画像データと等倍の画素数の画像データ、または画素数を変換して拡大した画像データをトリミング画像データとして生成することを特徴とする。
【００３０】
トリミング画像生成手段によって生成されたトリミング画像データに基づいた画像をモニター等の表示手段によって表示する場合に、切り出した画像データの画素数が表示手段の画素数と等しい場合には、切り出した画像データの画素数を変換せず等倍のトリミング画像データとする。また、切り出した画像データの画素数が表示手段の画素数よりも少ない場合には、切り出した画像データの画素数を変換して画像を拡大することにより、表示手段の画素数と等しい画素数の画像データをトリミング画像データとする。
【００３１】
請求項４に記載の発明は、請求項２または請求項３に記載の画像記録再生装置において、前記撮像手段から入力される前記画像データは、１つの画像が複数の領域に分割され、各領域の画像を示す複数の画像データであり、前記複数の画像データを合成し、１つの合成画像データを生成する画像合成手段をさらに具備し、前記縮小画像生成手段は、前記合成画像データに基づいて、該合成画像データの画素数を縮小した縮小画像データを生成し、前記トリミング画像生成手段は、前記注目点情報に基づいて、前記合成画像データから、前記注目点を含む一部を切り出し、トリミング画像データを生成することを特徴とする。
【００３２】
画像データを生成する撮像手段が、例えば超高精細画像用動画カメラ（ＳＨＤカメラ）である場合には、撮像手段は、ＳＨＤ画像を４分割し、例えばＨＤ−ＳＤＩ規格に基づいて画像記録再生装置へ出力する。この場合、画像合成手段は、４分割されたＳＨＤ画像の各画像に対応した４つのＨＤ画像データを合成してＳＨＤ画像データを生成する。縮小画像生成手段はこのＳＨＤ画像データの画素を間引く、あるいは画素補間を行うことにより縮小画像データを生成する。トリミング画像生成手段は、注目点情報に基づいてＳＨＤ画像データからトリミング画像データを生成する。
【００３３】
請求項５に記載の発明は、請求項２〜請求項４のいずれかの項に記載の画像記録再生装置において、前記注目点情報は、前記注目点の位置と、前記トリミング画像生成手段によって切り出される領域の大きさとを示す情報であることを特徴とする。
【００３４】
請求項６に記載の発明は、請求項２〜請求項５のいずれかの項に記載の画像記録再生装置において、前記縮小画像生成手段はさらに、前記注目点情報に基づいて、前記注目点を表示するための注目点画像データを生成し、前記縮小画像データに対して前記注目点画像データを合成することを特徴とする。
【００３５】
注目点画像データに基づいた画像は、注目点の位置または注目点が含まれる領域を示す画像であればよい。例えば、注目点を含む領域の大きさを示す画像枠や、注目点の位置を示す矢印マーク、注目点を通る垂直線および水平線、注目点を中心とする十字マーク、あるいはこれらの組み合わせ等を画像として表示することができればよい。
【００３６】
請求項７に記載の発明は、請求項１〜請求項６のいずれかの項に記載の画像記録再生装置において、ユーザによって前記注目点が入力される注目点入力手段と、前記注目点入力手段に入力された前記注目点に基づいて、前記注目点情報を生成する注目点情報生成手段とをさらに具備することを特徴とする。
【００３７】
請求項８に記載の発明は、請求項７に記載の画像記録再生装置において、前記注目点入力手段は、前記画像データ中の前記注目点の位置座標を指定する情報が入力されるポインティング装置であることを特徴とする。このポインティング装置は、例えばマウスや、トラックパッド（トラックボード）、トラックボール等である。
【００３８】
請求項９に記載の発明は、請求項８に記載の画像記録再生装置において、前記注目点入力手段は、前記注目点を含む画像を表示する表示手段と、ユーザによって前記注目点の位置が入力されるタッチパネルとを具備することを特徴とする。
【００３９】
請求項１０に記載の発明は、請求項１〜請求項９のいずれかの項に記載の画像記録再生装置において、異なる複数の前記画像データ中の注目点の位置を追跡し、該注目点の位置が変位した場合に、該注目点の位置の変位に応じて前記注目点情報を更新する注目点追跡手段をさらに具備することを特徴とする。
【発明の効果】
【００４０】
本発明によれば、撮影された画像データ中の注目点を示す注目点情報を画像データと共に記録し、画像の再生時に、注目点情報に基づいて画像データを処理するようにしたので、撮影された画像の確認作業を効率的に行うことができるという効果が得られる。
【発明を実施するための最良の形態】
【００４１】
以下、図面を参照し、本発明を実施するための最良の形態について説明する。図１は、本発明の第１の実施形態による画像記録再生装置２００の構成を示すブロック図である。以下、図中の各構成について説明する。画像制御部２０１は画像データの記録および再生の制御を行う。画像制御部２０１は、画像の記録時には、インタフェース（図示せず）を介して外部装置から入力された、映像データを構成する複数のフレームごとの画像データを示す入力画像情報を、ＨＤＤ２０２に記録（格納）する。入力画像情報は、通常、動画用デジタルカメラから出力され、画像記録再生装置２００に入力される。画像制御部２０１は、画像の再生時には、ＨＤＤ２０２から画像データを１フレームずつ読み出して、画像再生処理部２０６へ出力する。
【００４２】
また、画像制御部２０１は、外部装置から入力された画像データをＨＤＤ２０２に記録すると同時に、再生用の画像として、画像データを画像再生処理部２０６へ出力する機能も有している。さらに、画像制御部２０１は、各フレームの画像データを識別するための画像識別情報（画像データのシーケンス番号や、撮影時刻を示すタイムコード等）を注目点情報制御部２０５へ出力する。
【００４３】
ＨＤＤ２０２は、画像データおよび注目点情報等を記憶する。注目点情報は画像データに関連付けられており、画像データ中の注目点の位置を示す注目点位置情報と、注目点を含む領域の大きさを示す領域サイズ情報とを含んでいる。注目点は、撮影された画像において、撮影側の撮影意図および目的が込められた注目すべき点であるが、必ずしも厳密な点を意味するのではなく、その点を含む画像上の広がりを持った領域も含んでいる。注目点情報の詳細については、後述する。
【００４４】
入力指示部２０４は、ユーザによって操作される例えばタッチパネル等の機器であり、注目点の位置を指定する情報が非同期に入力される。入力指示部２０４は、この情報を注目情報として、インタフェースを介して注目点情報制御部２０５へ出力する。注目情報は、入力指示部２０４においての、注目点の位置と、注目点を含む領域の大きさを示す物理的な座標情報である。この入力指示部２０４は画像記録再生装置２００の外部に設けられている。
【００４５】
注目点情報制御部２０５は、入力指示部２０４から出力された注目情報に基づいて注目点情報を生成し、この注目点情報の記録および再生の制御を行う。注目点情報制御部２０５は、注目点情報の記録時には注目点情報に対して、画像制御部２０１から出力された画像識別情報を付与し、注目点情報をＨＤＤ２０２に記録する。これにより、各フレームの画像データに関連付けられた注目点情報がＨＤＤ２０２に記録されることになる。なお、注目点情報を生成する場合に、注目点情報制御部２０５は、注目情報によって示される物理的な座標情報を、画像データ上の位置情報に変換するが、このとき注目点情報制御部２０５が用いる変換式は、図示せぬＲＡＭ等に予め記憶されている。
【００４６】
注目点情報制御部２０５は、注目点情報の再生時には、ＨＤＤ２０２から注目点情報を読み出して画像再生処理部２０６へ出力する。また、注目点情報制御部２０５は、注目点情報をＨＤＤ２０２に記録すると同時に、画像再生処理部２０６へ出力する機能も有している。画像再生処理部２０６は、画像制御部２０１から出力された画像データを再生画像情報として外部装置（編集装置等）へ出力すると共に、注目点情報に基づいて、画像データに対する処理（縮小画像データおよびトリミング画像データの生成）を行い、生成した縮小画像データおよびトリミング画像データを外部の表示装置へ出力する。
【００４７】
画像記録再生装置２００に対する入力画像情報および注目情報の入力手段は、動画用デジタルカメラおよび入力指示部２０４から画像記録再生装置２００に各情報を転送できる機能があれば、手段を問わない。例えば、ＨＤ−ＳＤＩ、ＬＡＮなど一般的な規格を使っても構わないし、注目情報に限れば、ＲＳ２３２Ｃ、ＵＳＢ、ＩＥＥＥ-１３９４など低速のインタフェースでもよく、画像記録再生装置２００と入力指示部２０４との通信を達成することができれば、独自のインタフェースでも構わない。また、本実施形態のように、入力画像情報と注目情報とを、物理的に異なるインタフェースより入力することも可能であるが、注目情報が入力画像情報に追加された情報としてひとつのインタフェースで入力されても構わない。
【００４８】
画像再生処理部２０６は、画像データを基本的に入力画像情報と同じインタフェースとフォーマット仕様で再生画像情報として出力する。画像再生処理部２０６は、ＨＤＤ２０２から読み出された画像データを出力するが、入力画像情報をそのまま切り換え、モニター出力することも可能である。また、ＨＤＤ２０２に記録される画像データは、画像制御部２０１により、非圧縮で記録されるが、ロスレスデータ圧縮による記録を行うこともできる。圧縮データが記録されている場合には、画像再生処理部２０６において伸張処理が行われる。
【００４９】
次に、注目点情報について説明する。図２は、入力画像情報と注目点情報との時間的な関連を示している。図において、入力画像情報を構成する各フレームの画像データに対して、注目点情報が関連付けられていることが示されている。画像データと注目点情報との対応関係を示す画像識別情報は付帯的な情報であり、ここでは図示を省略している。図中のＰ１，Ｐ２，・・・，Ｐｘは注目点位置情報を示しており、Ｓ１，Ｓ２，・・・，Ｓｘは領域サイズ情報を示している。
【００５０】
注目点情報制御部２０５は、入力指示部２０４におけるユーザによる入力が確定し、注目情報が入力される時点までは、注目点情報として既定値情報（Ｐｘ，Ｓｘ）を使用する。入力指示部２０４において、注目点および注目点を含む領域の大きさがユーザによって指定された場合、入力指示部２０４は注目情報を生成し、インタフェースを介して注目点情報制御部２０５へ出力する。注目点情報制御部２０５は、注目情報を注目点情報に変換し、注目情報が入力された時点以後の最も近いフレームに対応した注目点情報とする。
【００５１】
例えば、図示されているように、入力指示部２０４から注目情報（Ｐ１’，Ｓ１’）が入力された場合、この時点の次の画像フレームに対応した注目点情報が示す情報は（Ｐ１，Ｓ１）となる。また、注目点位置情報のみや、領域サイズ情報のみを変更する情報が入力された場合にも、その指定に応じて、次の画像フレームに対応した注目点情報が変更される。なお、注目情報を不連続に生成するのではなく、入力指示部２０４が注目情報を連続的に生成するようにし、ユーザによる入力が行われなかった場合には同じ注目情報を連続的に生成し、ユーザによる入力が行われた場合に注目情報を更新してもよい。
【００５２】
入力指示部２０４から入力される物理的な座標情報は、注目点情報制御部２０５によって、入力画像上の座標点へ変換するための変換式を用いて、入力画像上の座標点に変換される。この入力指示部２０４からの注目情報は、動画用デジタルカメラの内部機能からの一つの情報としても構わないし、別の装置からの出力でも構わない。なお、注目点情報は、入力画像情報を構成する一つ一つの画像データと論理的にリンクしてＨＤＤ２０２に記録されていればよく、入力画像情報と注目点情報とが、データとして別々のファイルに記録されても、また、異なった記録媒体に記録されても構わない。
【００５３】
次に、本実施形態による画像録画装置２００の動作について説明する。以下では、入力された入力画像情報および注目点情報を一旦記録してから画像を再生する場合の動作について説明する。入力画像情報を構成する各フレームの画像データが、図示せぬインタフェースを介して画像制御部２０１に入力される。画像制御部２０１は、画像データを識別するための画像識別情報を注目点情報制御部２０５へ出力すると共に、画像データをＨＤＤ２０２に記録する。
【００５４】
注目点情報制御部２０５には、インタフェースを介して、注目情報が不連続（非同期的）に入力される。注目点情報制御部２０５は、最初のフレームの画像データに対しては、予め設定されている規定の初期値を用いて注目点情報を生成する。注目点情報制御部２０５は、画像制御部２０１から出力された画像識別情報を注目点情報に付与し、注目点情報をＨＤＤ２０２に記録する。注目点情報制御部２０５は、生成した注目点情報を図示せぬＲＡＭに保持し、入力指示部２０４からの注目情報の入力を監視する。
【００５５】
注目情報が入力されなかった場合には、注目点情報制御部２０５は、画像制御部２０１から出力された画像識別情報を、保持している注目点情報に付与し、注目点情報をＨＤＤ２０２に記録する。また、注目情報が入力され、注目点位置を示す情報が注目情報に含まれていた場合には、注目情報制御部２０５は、図示せぬＲＡＭから座標の変換式を読み出して参照し、注目情報中の、注目点位置に関する情報に基づいて、保持している注目点情報中の注目点位置情報を更新する。
【００５６】
また、注目情報が入力され、注目点を含む領域の大きさを示す情報が注目情報に含まれていた場合には、注目情報制御部２０５は、注目点を含む領域の大きさを示す情報に基づいて、保持している注目点情報中の領域サイズ情報を更新する。注目情報制御部２０５は、以上のように更新した注目点情報に対して画像識別情報を付与し、注目点情報をＨＤＤ２０２に記録する。
【００５７】
画像の再生を行う場合には、画像制御部２０１はＨＤＤ２０２から画像データを読み出し、画像再生処理部２０６へ出力する。また、注目点情報制御部２０５は、その画像データに関連付けられた注目点情報をＨＤＤ２０２から読み出し、画像再生処理部２０６へ出力する。
【００５８】
画像再生処理部２０６は、画像データを２種類の画像フォーマットに変換し、同時に出力する。ひとつは縮小画像出力であり、画像再生処理部２０６は、画像データの画素を間引きするか、あるいは画素補間することにより解像度（画素数）を縮小した縮小画像データを生成し、その縮小画像データを出力する。もうひとつがトリミング画像出力であり、画像再生処理部２０６は、注目点情報によって示される注目点位置情報と領域サイズ情報とに基づいて、画像データから、注目点を含むと共に、領域サイズ情報に基づいた大きさの画像データを切り出し、切り出した画像データ（トリミング画像データ）を出力する。
【００５９】
トリミング画像データを切り出す場合の切り出し領域の大きさは、通常、注目点情報に含まれる領域サイズ情報に基づいて決定されるが、外部の表示装置の画素サイズを最大サイズの制限値として設けることも可能である。つまり、切り出し領域の大きさが最大のときに、表示装置における表示画像が等倍サイズとなる。また、切り出し領域の大きさが表示装置の画素サイズよりも小さい場合には、画素補間等を用いてトリミング画像データの画素数を変換して画像を拡大し、表示装置における表示画像と等倍のサイズとする。
【００６０】
なお、切り出し領域の最小サイズも制限値として設定しておくことにより、無意味な領域までの拡大を制限することができる。外部のＨＤモニター等において、縮小画像およびトリミング画像が表示され、画像の良否に関する判定が評価者によって行われる。また、編集時には、画像制御部２０１はＨＤＤ２０２から編集用の画像データを読み出し、画像再生処理部２０６へ出力する。画像再生処理部２０６は、画像データを再生画像情報として外部の編集装置等へ出力する。
【００６１】
注目点情報は、連続する画像データ一つ一つにリンクされた情報であるため、その情報に従って、トリミング画像の表示内容が変化する。つまり、カメラを静止した状態で撮影を行って撮影画像データを生成しても、注目点情報を変化させるだけで、トリミング画像の再生表示では、あたかもカメラをパンしたり、ズーミングしたかのような表示になる。
【００６２】
なお、ＨＤＤ２０２に記録された注目点情報を注目点情報制御部２０５が読み出して、インタフェースを介して他の外部装置へ注目点情報を出力し、他の外部装置がこの注目点情報を使用してもよい。
【００６３】
上述したように、本実施形態においては、画像の記録時に、注目点情報制御部２０５が注目点情報を生成し、入力画像情報に関連付けてＨＤＤ２０２に格納する。また、画像の再生時に、画像再生処理部２０６が、画像データの画素数を縮小した縮小画像データを生成すると共に、注目点情報に基づいて、画像データから、注目点を含む一部の画像データを切り出し、表示装置の画素数と同じ画素数の画像データ、または画素数を変換して拡大した画像データをトリミング画像データとして生成する。
【００６４】
再生時に注目して欲しい注目点とその注目点を含む領域とを画像の記録時に注目点情報として同時に記録することにより、いつでも、誰でも、その再生画像を見るだけで、撮影側の意図する注目点位置の画像を知ることができる。また、縮小画像を表示すれば、全体の構図や全体の画像バランスなどの判定が行うことができ、トリミング画像を表示すれば、注目点付近の詳細な画像を観察することができ、画像の評価を効率的に行うことができる。
【００６５】
また、注目点情報が注目点の位置を示す注目点位置情報と、注目点を含む領域の大きさを示す領域サイズ情報とを含み、画像再生処理部２０６が、注目点位置情報と領域サイズ情報とに基づいてトリミング画像を生成することにより、撮影者の意図する注目点の位置とその大きさとを任意に変更することができる。
【００６６】
次に、本発明の第２の実施形態について説明する。図３は、第２の実施形態による画像記録再生装置２００を備えた画像記録再生システムの構成を示すブロック図である。以下、図中の各構成について説明する。図１と同一の構成については説明を省略する。ＳＨＤ動画カメラ１００はＳＨＤ画像を撮影し、その出力をＳＨＤ撮像画像データとして出力する。ＳＨＤ動画カメラ１００は、５チャンネルのＨＤ−ＳＤＩデジタル信号のインタフェースを持つ。
【００６７】
画像記録再生装置２００は、ＳＨＤ動画カメラ１００に接続され、ＳＨＤ動画カメラ１００から出力されたＳＨＤ画像を記録すると共に、編集のために画像の再生を行う場合に、ＳＨＤ画像の再生データを、４本のＨＤ−ＳＤＩ信号により編集装置３００へ出力する。また、画像記録再生装置２００は、第１の実施形態と同様に、縮小画像およびトリミング画像を生成し、各画像をＨＤモニター７００およびＨＤモニター８００のそれぞれへ出力する。
【００６８】
編集装置３００は、編集時に画像記録再生装置２００に接続され、画像記録再生装置２００から出力された再生データの編集を行う。撮影時に、画像記録再生装置２００のＨＤＤ２０２の記憶容量を超える撮影が必要になった場合には、ファイバーチャネル等の図示せぬデジタルインタフェースを用いてテープ装置に撮影データを転送し、テープに対してのバックアップを行う。この場合の編集時には、テープに記録された撮影データを編集装置３００に直接転送し、編集装置３００で編集を行うこともできる。
【００６９】
ＨＤモニター５００は、ＳＨＤ動画カメラ１００に接続され、ＳＨＤ動画カメラ１００から出力された撮影データに基づいて画像を表示する。ＨＤ−ＳＤＩの撮像データ出力信号にＨＤモニター５００を４台並列に接続することにより、４分の１ずつの等倍画像を同時に確認することができるようになっている。ＨＤモニター６００は、ＳＨＤ動画カメラ１００に接続され、ＳＨＤ動画カメラ１００から出力された縮小画像データに基づいて、縮小画像を表示する。
【００７０】
ＨＤモニター７００は、画像記録再生装置２００に接続され、画像記録再生装置２００から出力された縮小画像データに基づいて、縮小画像を表示する。ＨＤモニター８００は、画像記録再生装置２００に接続され、画像記録再生装置２００から出力されたトリミング画像データに基づいて、トリミング画像を表示する。
【００７１】
ＳＨＤ動画カメラ１００が有する５チャンネルのうち４チャンネルは、ＳＨＤ画像データを田の字型に４分割し、ＨＤ画像サイズに変換したＨＤ分割画像出力用のチャンネルである。図３においては、４台のＨＤモニター５００に、それぞれの分割画像に対応した撮影データが入力され、その分割画像が表示されている様子が示されている。同じ４チャンネルの画像データは、画像記録再生装置２００のインタフェースを介して画像制御部２０１に入力される。
【００７２】
そして、もう１チャンネルは、ＳＨＤ画像データの画素を間引いて、ＨＤ画像サイズの縮小画像に変換した縮小画像出力用のチャンネルである。図３においては、そのチャンネルがＨＤモニター６００に接続され、その縮小画像が表示されている様子が示されている。タッチパネル４００は透過型のタッチパネルであり、ＨＤモニター６００の、縮小画像が表示される表示面に載置されている。このタッチパネル４００は、ユーザによる注目点を指定する操作に基づいて、第1の実施形態における注目情報に相当する注目データを生成し、画像記録再生装置２００のインタフェースを介して注目点情報制御部２０５へ出力する。注目点情報制御部２０５は、第1の実施形態と同様に、注目点情報に相当する注目点データに関する処理を行う。
【００７３】
次に、画像記録再生装置２００の詳細な機能および動作について説明する。画像記録再生装置２００には、記録媒体であるＨＤＤ２０２が取り付けられており、ＳＨＤ画像データを連続して記録することができる。画像記録再生装置２００には、「記録動作モード」、「再生動作モード」、および「記録・モニター動作モード」の３つの動作モードが用意されている。
【００７４】
通常、「記録動作モード」においては、ＳＨＤ動画カメラ１００から４チャンネルのＨＤ−ＳＤＩデジタル信号で出力された４分割画像データが、入力画像情報として画像制御部２０１に入力される。画像制御部２０１はこの４分割された画像データをＨＤＤ２０２に記録（保存）する。この場合、画像制御部２０１は、４種類の各画像データに対応した領域をＨＤＤ２０２に設け、各領域に各分割の画像データを記録する。各領域内には、その領域に対応した画像データの各フレームが連続的に記録される。
【００７５】
「再生動作モード」においては、画像制御部２０１はＨＤＤ２０２から、４分割に対応した画像データを読み出して画像再生処理部２０６へ出力し、画像再生処理部２０６は、４分割画像データを再生画像情報として、入力画像情報と同じ４チャンネルのＨＤ−ＳＤＩデジタル信号インタフェースで出力する。「記録・モニター動作モード」においては、画像制御部２０１は、入力された４分割の画像データをＨＤＤ２０２に記録すると共に、画像データを画像再生処理部２０６へ出力する。
【００７６】
ＨＤＤ２０２に記録される画像データは、非圧縮で記録することもできるが、画像制御部２０１により、ロスレスのデータ圧縮処理が行われて記録される。記録されている画像データが圧縮データの場合には、画像再生処理部２０６によって自動的に画像データの伸張処理が行われ、伸張された画像データが出力される。
【００７７】
「記録・モニター動作モード」または「再生動作モード」で画像が再生される場合、画像再生処理部２０６はさらに、画像データを２種類の画像フォーマットに変換する処理を行う。ひとつは「縮小画像出力」であり、もうひとつが「トリミング画像出力」である。「縮小画像出力」においては、ＨＤＤ２０２から読み出された４分割の画像データを合成して１つの合成画像データ（ＳＨＤ画像データ）を生成し、この合成画像データの画素を間引くか、あるいは画素補間を行うことにより、ＨＤサイズの縮小画像データを生成し、ＨＤ−ＳＤＩを介して出力する。ＨＤ−ＳＤＩに接続されたＨＤモニター７００によって、この縮小画像が表示されている様子が図３に示されている。
【００７８】
ＨＤモニター７００によって表示される画像には、注目点の位置と、注目点を含む領域の大きさとを示す枠の画像（画像枠）も表示されている。画像再生処理部２０６は、注目点データ中の注目点位置情報および領域サイズ情報に基づいて、枠の画像データを生成し、縮小画像と合成してＨＤモニター７００へ出力する。なお、画像枠と共に、注目点の位置を示す矢印マーク（図３参照）を表示したり、画像枠の中心（通常は注目点の位置と一致する）を通る垂直線と水平線とを表示したり、注目点を中心とする十字マークを表示したりしてもよい。また、画像枠を表示せず、これらのマーク等のみを表示してもよい。
【００７９】
「トリミング画像出力」においては、画像再生処理部２０６は、注目点データ中の注目点位置情報に基づいた注目点を含み、領域サイズ情報に基づいた大きさの領域の画像を示す画像データをＳＨＤ画像データの中から切り出し、画像データをＨＤサイズに変換して、トリミング画像データとして出力する。ＨＤ−ＳＤＩに接続されたＨＤモニター８００によって、このトリミング画像が表示されている様子が図３に示されている。この切り出し領域の大きさは、注目点データ中の領域サイズ情報から通常は決定されるが、ＨＤモニター８００の画素サイズを最大サイズの制限値として設けることも可能である。つまり、切り出し領域の大きさが最大のときに、モニター８００における表示画像が等倍サイズとなる。
【００８０】
切り出し領域の大きさがモニター８００の画素サイズよりも小さい場合には、画素補間等を用いてトリミング画像データの画素数を変換して拡大し、表示装置８００における表示画像と等倍のサイズとする。また、切り出し領域の最小サイズも制限値として設定しておくことにより、無意味な領域までの拡大を制限することができる。
【００８１】
次に、注目点を指示する方法について説明する。注目点の注目点位置や領域サイズは、透過型のタッチパネル４００を介して、ユーザによって指示される。タッチパネル４００に対しては、手による直接のポインティング操作を行うこともできるが、１ボタン付のペン入力装置により操作を行うことができる。通常、タッチパネル４００は「位置情報指示モード」で動作しており、ユーザが指先やペン先をタッチパネル４００上で移動させて注目点を指定すると、指定された位置に相当するタッチパネル４００上の位置座標が注目データとして転送される。また、ユーザが何も操作していないとき（タッチパネル上にペンや指先がないとき）には、最後に操作した時の位置座標が転送される。
【００８２】
また、注目点を含む領域の大きさの指示は以下のようになる。ユーザがペン入力のボタンを押しながらタッチパネル上を走査する場合には、タッチパネル４００は「領域サイズ指定モード」として動作する。この操作においては、「位置情報指示モード」で最後に操作した時の位置を中心とし、「領域サイズ指定モード」の現在のポインティング座標位置を、長方形の対角線距離の半分とする座標が指定される。つまり、「位置情報指示モード」で最後に操作した時の位置を座標中心とし、「領域サイズ指定モード」の現在のポインティング座標位置を半径とする円が定義され、この円に内接し正立する長方形で、現在のポインティング座標位置を頂点とする長方形の領域が、注目点を含む注目点領域となる。
【００８３】
タッチパネル４００を用いて注目点の位置を入力するためには、ＨＤモニター６００の画面に表示される画像中の画素の位置と、タッチパネル４００の画素の位置との対応関係を予め定めておく必要がある。この対応関係を示す情報は、例えばテスト画像を用いたキャリブレーションを行うことにより生成することができる。これにより、ユーザがタッチパネル４００を介して指定したＨＤモニター６００上の画像中の注目点の位置と、ＨＤＤ２０２に記録される画像データ中の注目点の位置とを一致させることができる。なお、タッチパネル４００の解像度はＨＤモニター６００の解像度に比べて低いが、ユーザは正確な画素位置まで注目点の位置を指定するわけではないので、上記の対応関係は必ずしも正確なものである必要はない。
【００８４】
以上の動作により、撮影時に監督やカメラマンが撮影している画像は、ＳＨＤ動画カメラ１００からの縮小画像として、モニター６００で観察することができる。そのモニター画面上のタッチパネル４００によって、注目する位置を指定しながら、撮影・記録が行われる。したがって、画像記録再生装置２００の「記録動作モード」においては、ＳＨＤ動画カメラ１００からの縮小画像をＨＤモニター６００で観察し、このモニター画面上に置かれているタッチパネル４００が利用される。
【００８５】
「記録・モニター動作モード」においても、画像記録再生装置２００からの縮小画像をＨＤモニター７００上で観察することができる。したがって、ＨＤモニター７００上にタッチパネル４００を置き、注目点の入力を行うこともできる。図４にこの場合の表示の様子を示す。ＨＤモニター７００上には、注目点データに基づいた枠が重畳表示されているため、ポインティング操作入力と、入力座標位置とがリアルタイムで観察できるので、より直感的な操作が可能となる。なお、この注目点位置の座標を入力するのに、タッチパネル以外のポインティング入力装置を用いてもよい。例えば、マウス、トラックパッド（トラックボード）、トラックボール等と表示装置とを組み合わせて、画面上の座標値を指定することもできる。
【００８６】
上述したように、本実施形態によれば、画像再生処理部２０６が、ＳＨＤ画像データ（合成画像データ）に基づいて縮小画像データを生成し、ＨＤモニター７００が縮小画像を表示することにより、大きな表示装置を必要とせずに画面全体を見渡すことができる。また、画像再生処理部２０６がＳＨＤ画像データに基づいてトリミング画像データを生成し、ＨＤモニター８００がトリミング画像を表示することにより、ＨＤモニター７００で画面全体を見渡しながら、ＨＤモニター８００で撮影者の注目ポイントの画像を拡大して見ることができる。
【００８７】
また、画像再生処理部２０６が、注目点データ中の注目点位置情報と領域サイズ情報とに基づいて、注目点を示す画像枠等を表示するための画像データを生成して、縮小画像データと合成し、ＨＤモニター７００が縮小画像と共に画像枠等を表示することにより、注目点の位置が全体画像の中のどこであるのか簡単に確認することができる。
【００８８】
また、注目点を入力する手段として、ＨＤモニター６００（またはＨＤモニター７００）とタッチパネル４００とを設け、タッチパネル４００を指先またはペン先等によりタッチして注目点を指定することにより、画面上の対象物を見ながら注目点を指定することができ、より直接的かつ直感的に注目点を指定することができる。さらに、注目点を入力する手段としてポインティング入力装置を使用することにより、より簡単なポインティング操作を行うことができる。
【００８９】
次に、本発明の第３の実施形態について説明する。図５は、本実施形態による画像記録再生装置２００の構成を示すブロック図である。この画像記録再生装置２００には注目点追跡部２０７が設けられている。画像データが再生される場合に、注目点情報制御部２０５はＨＤＤ２０２から注目点データを読み出して注目点追跡部２０７へ出力する。注目点追跡部２０７は注目点データと、画像再生処理部２０６によって生成された縮小画像データとに基づいて注目点を監視し、追跡する。
【００９０】
注目点追跡部２０７は、現在の画像フレームに対応した注目点データ（ＴＧ_ｃｕｒｒ）、ひとつ前の画像フレームに対応した注目点データ（ＴＧ_ｐｒｅｖ）、現在の画像フレームに対応した注目点追跡データ（ＴＲ_ｃｕｒｒ）、およびひとつ前の画像フレームに対応した注目点追跡データ（ＴＲ_ｐｒｅｖ）とを内部で記憶および管理している。なお、画像記録再生装置２００が「記録動作モード」で動作している場合には、画像再生処理部２０６は動作せず、注目点データと画像情報とが同期してＨＤＤ２０２に記録される。
【００９１】
次に、「記録・モニター動作モード」での、注目点追跡部２０７による注目点追跡処理について、図６を用いて説明する。図６は、注目点追跡部２０７の動作を示すフローチャートである。この動作は各フレームにおいて実行される。４分割の画像データを示す撮影データは画像記録再生装置２００に入力され、画像制御部２０１によってＨＤＤ２０２に記録されると共に、画像再生処理部２０６へ出力される。画像再生処理部２０６は、４分割の画像データを合成して合成画像データを生成し、この合成画像データに基づいて、縮小画像データおよびトリミング画像データを生成する。画像再生処理部２０６がトリミング画像データを生成する際に使用する注目点データ（ＴＲ_ｃｕｒｒ）は、以下の説明のように、注目点追跡部２０７によって処理されたものである。また、画像再生処理部２０６は、生成した縮小画像データを注目点追跡部２０７へ転送する。
【００９２】
注目点情報制御部２０５は、入力された注目データに基づいて注目点データＴＧ（Ｐｎ，Ｓｎ）を生成し、ＨＤＤ２０２に記録すると共に、注目点追跡部２０７へ出力する。注目点追跡部２０７には注目点データＴＧ（Ｐｎ，Ｓｎ）が入力される（ステップＳ６０１）。注目点追跡部２０７はこの注目点データＴＧ（Ｐｎ，Ｓｎ）を現在の注目点データ（ＴＧ_ｃｕｒｒ）として記録する（ステップＳ６０２）。続いて、注目点追跡部２０７は、初期化動作を終了したかどうか判定する（ステップＳ６０３）。「記録・モニター動作モード」の開始直後においては、初期化動作中であるので、ステップＳ６０４へ進む。
【００９３】
ステップＳ６０４において注目点追跡部２０７は現在の注目点データ（ＴＧ_ｃｕｒｒ）を現在の注目点追跡データ（ＴＲ_ｃｕｒｒ）として保持する。続いて、注目点追跡部２０７は現在の注目点追跡データ（ＴＲ_ｃｕｒｒ）を、トリミング画像生成用のデータとして画像再生処理部２０６へ転送する（ステップＳ６１０）。画像再生処理部２０６は、現在の注目点追跡データ（ＴＲ_ｃｕｒｒ）に基づいてトリミング画像データを生成する。注目点追跡部２０７は現在の注目点データ（ＴＧ_ｃｕｒｒ）をひとつ前の注目点データ（ＴＧ_ｐｒｅｖ）として保持すると共に、現在の注目点追跡データ（ＴＲ_ｃｕｒｒ）をひとつ前の注目点追跡データ（ＴＲ_ｐｒｅｖ）として保持する（ステップＳ６１１）。
【００９４】
注目点追跡部２０７は、ひとつ前の注目点追跡データ（ＴＲ_ｐｒｅｖ）に基づいて、注目点を含むある一定の大きさの領域の画像データを縮小画像データから切り出し、ＴＲ_ｐｒｅｖ領域画像として保持する（ステップＳ６１２）。切り出される領域の大きさは、注目点追跡データ中の領域サイズ情報に基づいた大きさであってもよいし、予め設定された大きさであってもよい。続く処理は、次のフレームにおけるステップＳ６０１の処理となる。
【００９５】
初期化が終了した場合には、ステップＳ６０３からステップＳ６０５へ進む。注目点追跡部２０７は、現在の注目点データ（ＴＧ_ｃｕｒｒ）とひとつ前の注目点データ（ＴＧ_ｐｒｅｖ）が等しいかどうか判定する（ステップＳ６０５）。等しくなかった（ユーザによって注目点が変更された）場合には、処理はステップＳ６０４へ進む。一方、等しかった（ユーザによって注目点は変更されなかった）場合には、注目点追跡部２０７は注目点画像比較処理を行う（ステップＳ６０６）。
【００９６】
注目点画像比較処理の詳細は図７のフローチャートに示されている。注目点追跡部２０７は、画像再生処理部２０６によって生成された縮小画像データを取得する（ステップＳ６０６１）。続いて、注目点追跡部２０７は、注目点追跡処理の最後（ステップＳ６１２）で常に保管しているＴＲ_ｐｒｅｖ領域画像をテンプレート画像データとした画像マッチング処理を行う。
【００９７】
この処理において、注目点追跡部２０７は、縮小画像データに対して、テンプレート画像データを２次元方向にずらしながら走査させ、各走査位置ごとにテンプレート画像データと縮小画像データとの各画素間の差分値の合計値（相互相関）を求める。そして、注目点追跡部２０７は、２次元走査を行った範囲内で差分値が最も小さい走査位置を求める（ステップＳ６０６２）。続いて、注目点追跡部２０７はこの走査位置から、前後のフレーム間での注目点の動きベクトルｖを求める（ステップＳ６０６３）。続く処理は図６に戻る。
【００９８】
注目点追跡部２０７はこの動きベクトル量｜ｖ｜があるしきい値以上であるかどうか判定する（ステップＳ６０７）。注目点追跡部２０７は、｜ｖ｜がしきい値以上であった場合に、注目点が変位したと判定し、｜ｖ｜がしきい値未満であった場合に、注目点は変位していないと判定する。注目点が変位していない場合、注目点追跡部２０７はひとつ前の注目点追跡データ（ＴＲ_ｐｒｅｖ）を現在の注目点追跡データ（ＴＲ_ｃｕｒｒ）とする（ステップＳ６０８）。また、注目点が変位した場合、注目点追跡部２０７は変位量ｖをひとつ前の注目点追跡データ（ＴＲ_ｐｒｅｖ）に加え、その値を現在の注目点追跡データ（ＴＲ_ｃｕｒｒ）として保持する（ステップＳ６０９）。
【００９９】
「再生動作モード」においては、注目点情報制御部２０５はＨＤＤ２０２から注目点データを読み出し、注目点追跡部２０７へ出力する。画像再生処理部２０６および注目点追跡部２０７の動作は「記録・モニター動作モード」における動作と同様である。
【０１００】
以上の処理により、通常、ユーザが最初に注目点位置と注目点領域サイズとを指定すると、その後は注目点追跡部２０７が注目点の動きを監視し（図６のステップＳ６０６〜ステップＳ６０７）、注目点が変位した場合に、その変位に応じて注目点追跡データを更新する（図６のステップＳ６０９）ので、注目点領域の対象物を自動で追跡することができる。また、ユーザが注目点位置および注目点領域サイズを再度指定することにより、注目点の追跡を解除することができる。
【０１０１】
このように、撮影者が撮影画像の注目点を常に指示し続けなくても、注目点追跡部２０７は注目点を追跡し、画像再生処理部２０６は、追跡された注目点の位置に基づいてトリミング画像を生成する。また、縮小画像データが出力されるＨＤ−ＳＤＩにＨＤモニターを接続すれば、自動追跡が行われている注目点領域を示す画像枠が縮小画像上に重畳して表示されるので、ユーザは注目点追跡部２０７による注目点の追跡処理を確認することができる。
【０１０２】
なお、図６の注目点画像比較処理（ステップＳ６０６）においては、縮小画像を取得し、テンプレートマッチングを行っているが、縮小画像ではなく、オリジナル画像（４分割画像の合成画像）を用いて行ってもよい。この場合、注目点の追跡精度をより上げることができるが、システムの計算処理コストが増えることが予想される。また、テンプレートマッチングの際の走査範囲については、縮小画面全体を走査すると処理時間が多くかかるため、注目点追跡データ（ＴＲ_ｐｒｅｖ）によって示される画像領域を含むある一定の大きさの範囲に絞ることにより、処理時間を減らすことができる。
【０１０３】
特徴点を追跡する方法は、オプティカルフローによる動きベクトルを求める方法や特徴領域の重心位置の動きに注目する方法等の様々な方法を利用することができ、本実施形態に限定されるわけではない。また、注目点をマニュアルにより指示する動作が必要な場合もあるので、「注目点追跡動作モード」などを設定し、動きを切り替えるようにしてもよい。
【０１０４】
上述したように、本実施形態によれば、注目点追跡部２０７が画像データ中の注目点の位置を追跡し、注目点の位置が変位した場合に、注目点の位置の変位に応じて注目点データを更新するので、ユーザが常に注目点を指示し続けなくても、自動的に注目点の動きを追跡することができる。したがって、より簡単に注目点を指定することができ、注目点を指定するユーザの負担を軽減することができる。
【０１０５】
なお、撮影者が注目する注目点が撮影画像上に複数存在する場合、それらの情報を注目点情報に追加記録してもよく、注目点情報は１点の注目点に関する情報に限定されるわけではない。また、注目点情報にカメラ撮影条件等の情報を含めるようにしてもよい。また、上述した全ての実施形態において、撮影用のＳＨＤ動画カメラ１００等のカメラと画像記録再生装置２００とが別個の装置となっているが、画像記録再生装置２００をカメラに内蔵し、カメラ一体型記録装置として構成してもよい。
【０１０６】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこれらの実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【図面の簡単な説明】
【０１０７】
【図１】本発明の第１の実施形態による画像記録再生装置の構成を示すブロック図である。
【図２】同実施形態における入力画像情報と注目点情報との時間的な関連を示す参考図である。
【図３】本発明の第２の実施形態による画像記録再生装置を用いたシステムの構成を示すブロック図である。
【図４】同実施形態による画像記録再生装置を用いたシステムの他の構成を示すブロック図である。
【図５】本発明の第３の実施形態による画像記録再生装置の構成を示すブロック図である。
【図６】同実施形態による注目点追跡部２０７の動作を示すフローチャートである。
【図７】同実施形態による注目点追跡部２０７の動作を示すフローチャートである。
【図８】従来の画像記録再生装置を用いたシステムの構成を示すブロック図である。
【図９】従来の撮影の手順を示すフローチャートである。
【図１０】従来の編集の手順を示すフローチャートである。
【符号の説明】
【０１０８】
１００・・・ＳＨＤ動画カメラ、２００・・・画像記録再生装置、２０１・・・画像制御部、２０２・・・ＨＤＤ、２０３，２０６・・・画像再生処理部、２０４・・・入力指示部２０４、２０５・・・注目点情報制御部、２０７・・・注目点追跡部、３００・・・編集装置、４００，５００，６００，７００，８００・・・ＨＤモニター。
【図１】
2005341241.tif 000003
【図２】
2005341241.tif 000004
【図３】
2005341241.tif 000005
【図４】
2005341241.tif 000006
【図５】
2005341241.tif 000007
【図６】
2005341241.tif 000008
【図７】
2005341241.tif 000009
【図８】
2005341241.tif 000010
【図９】
2005341241.tif 000011
【図１０】
2005341241.tif 000012