(57)【要約】【課題】カメラパラメータが良好な領域の画像を切り抜き、拡大表示可能とする。【解決手段】画像処理装置であって、被写体光を撮像して撮像画像と、該撮像画像における領域情報とを作成する撮像手段と、前記領域情報に基づいて、前記撮像画像における拡大領域を決定する拡大領域決定手段と、前記拡大領域の情報に基づき、前記撮像画像から切り抜き画像を作成する切り抜き画像作成手段と、前記切り抜き画像を拡大して前記撮像画像の解像度と一致させ、拡大画像を作成する拡大画像作成手段と、前記撮像画像と前記拡大画像とのいずれかを選択する選択手段と、前記選択手段が選択した画像を表示する表示手段とを備え、前記領域情報は、前記撮像手段による撮像時に前記撮像画像において焦点が合わされた合焦領域の情報と露出が合わされた露出領域の情報との少なくともいずれかを含む。【選択図】図１
2009218830.tif 000002
【特許請求の範囲】
【請求項１】
動画像の記録及び再生を行う画像処理装置であって、
被写体光を撮像して撮像画像と、該撮像画像における領域情報とを作成する撮像手段と、
前記領域情報に基づいて、前記撮像画像における拡大領域を決定する拡大領域決定手段と、
前記拡大領域の情報に基づき、前記撮像画像から切り抜き画像を作成する切り抜き画像作成手段と、
前記切り抜き画像を拡大して前記撮像画像の解像度と一致させ、拡大画像を作成する拡大画像作成手段と、
前記撮像画像と前記拡大画像とのいずれかを選択する選択手段と、
前記選択手段が選択した画像を表示する表示手段と
を備え、
前記領域情報は、前記撮像手段による撮像時に前記撮像画像において焦点が合わされた合焦領域の情報と露出が合わされた露出領域の情報との少なくともいずれかを含むことを特徴とする画像処理装置。
【請求項２】
前記拡大領域決定手段は、
前記合焦領域の情報と前記露出領域の情報とのうち、前記領域情報に含まれる情報、予め定められた優先順位に従った情報、及び、選択された情報のいずれか、或いは、
前記合焦領域と前記露出領域とを合わせて得られる領域の情報、
に基づいて前記拡大領域を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記拡大領域決定手段は、前記領域情報により特定される領域が、第１の期間において連続する撮像画像において同一である場合に、該特定される領域を前記拡大領域として決定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記拡大領域決定手段は、前記拡大領域を決定した後は、第２の期間において連続する撮像画像について決定する拡大領域を、既に決定した拡大領域と同一とすることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記選択手段は、前記拡大画像作成手段により前記拡大画像が作成された場合に、前記拡大画像を選択することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
決定された前記拡大領域の情報を記録する拡大領域情報記録手段をさらに備えることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記領域情報を記録する領域情報記録手段をさらに備えることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項８】
動画像の記録及び再生を行う画像処理装置の制御方法であって、
撮像手段が、被写体光を撮像して撮像画像と、該撮像画像における領域情報とを作成する撮像工程と、
拡大領域決定手段が、前記領域情報に基づいて、前記撮像画像における拡大領域を決定する拡大領域決定工程と
切り抜き画像作成手段が、前記拡大領域の情報に基づき、前記撮像画像から切り抜き画像を作成する切り抜き画像作成工程と、
拡大画像作成手段が、前記切り抜き画像を拡大して前記撮像画像の解像度と一致させ、拡大画像を作成する拡大画像作成工程と、
選択手段が、前記撮像画像と前記拡大画像とのいずれかを選択する選択工程と、
表示手段が、前記選択工程において選択された画像を表示する表示工程と
を備え、
前記領域情報は、前記撮像工程における撮像時に前記撮像画像において焦点が合わされた合焦領域の情報と露出が合わされた露出領域の情報との少なくともいずれかを含むことを特徴とする画像処理装置の制御方法。
【請求項９】
コンピュータを請求項１乃至７のいずれか１項に記載の画像処理装置として動作させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びその制御方法、コンピュータプログラムに関し、特に画像の一部の領域を切り抜き、拡大表示をする為の技術に関する。
【背景技術】
【０００２】
現在、静止画像において、全体の画像である全体画像から一部の領域の画像を切り抜き、拡大表示する技術が確立されている。例えば、静止画像再生時に顔認識技術によって全体画像から人間の顔を検出し、その顔の領域を切り抜き、ディスプレイに拡大表示するといったディジタルカメラが製品化されている。
【０００３】
一方、動画像においても、動画像のあるフレームの全体画像から一部の領域を切り抜き、拡大表示する技術が開示されている（特許文献１）。特許文献１では、撮影時において、撮影者の注視位置を記録し、再生時において、その注視位置が欠落することのないよう拡大表示を行う技術が記載されている。
【特許文献１】特開平８-３０７７３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１のような従来の動画像拡大表示方法は、撮影者の注視位置と撮像装置が撮影する画像の品質とが関連付けられていないため、画像の質が悪い領域を拡大表示してしまうことがある。例えば、撮影者の注視位置の領域が合焦しておらず、その領域の画像がボケている場合において、ボケている画像が拡大表示されてしまうといった問題があった。
【０００５】
本発明は上記の問題点に鑑みてなされたものであり、カメラパラメータが良好な領域の画像を切り抜き、拡大表示することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するための本発明は、
動画像の記録及び再生を行う画像処理装置であって、
被写体光を撮像して撮像画像と、該撮像画像における領域情報とを作成する撮像手段と、
前記領域情報に基づいて、前記撮像画像における拡大領域を決定する拡大領域決定手段と、
前記拡大領域の情報に基づき、前記撮像画像から切り抜き画像を作成する切り抜き画像作成手段と、
前記切り抜き画像を拡大して前記撮像画像の解像度と一致させ、拡大画像を作成する拡大画像作成手段と、
前記撮像画像と前記拡大画像とのいずれかを選択する選択手段と、
前記選択手段が選択した画像を表示する表示手段と
を備え、
前記領域情報は、前記撮像手段による撮像時に前記撮像画像において焦点が合わされた合焦領域の情報と露出が合わされた露出領域の情報との少なくともいずれかを含むことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、カメラパラメータによって切り抜く領域を変更することにより、常にカメラパラメータが良好な画像領域を切り抜き、拡大表示することができる。よって、より品質の高い画像を拡大表示することができる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照しながら本発明の好適な実施の形態について説明する。
【０００９】
［第１の実施形態］
図１は、発明の第１の実施形態に対応する画像処理装置の構成の一例を示す図である。本実施形態に対応する画像処理装置は、例えば、動画の撮影も可能なデジタルカメラ、デジタルビデオカメラ、カメラ付きの携帯端末（携帯電話、ＰＤＡ等）、カメラ付きのパーソナルコンピュータとして実現することができる。なお、本発明の画像処理装置は、列挙した実現形態に限定されるものではなく、以下に説明する構成及び機能を達成するものであれば、全て含まれる。
【００１０】
本実施形態では、動画像撮影時において、カメラパラメータ適正領域情報に応じて拡大領域を決定し、動画像再生時において、全体画像から拡大領域の画像を切り抜いた切り抜き画像を作成し、その切り抜き画像の拡大表示を行う。以下、本発明の構成例について図１を参照して説明する。
【００１１】
図１において、カメラ部１０１は、被写体光を撮像し、撮像画像の映像信号とカメラパラメータ適正領域情報を出力する。カメラパラメータ適正領域情報については後述する。映像記録部１０２は、カメラ部１０１から出力された映像信号の記録を行う。この映像記録部１０２には、全体画像が記録されている。拡大領域決定部１０３は、カメラ部１０１から出力されたカメラパラメータ適正領域情報に応じて、拡大する領域を決定する。拡大領域情報記録部１０４は、拡大領域情報の記録を行う。
【００１２】
切り抜き画像作成部１０５は、拡大領域情報記録部１０４に記録されている拡大領域情報に従って、映像記録部１０２に記録されている全体画像から拡大領域の画像を切り抜き、切り抜き画像を作成する。拡大画像作成部１０６は、切り抜き画像の解像度を変換することにより、切り抜き画像を拡大する。
【００１３】
スイッチ１０７は、映像記録部１０２に記録されている全体画像と、拡大画像作成部１０６で作成された拡大画像とのどちらを出力するかフレーム毎に選択可能に切り換える。スイッチ１０７は、あるフレームにおいて、拡大画像作成部１０６により拡大画像が作成された場合は拡大画像を選択し、拡大画像作成部１０６により拡大画像が作成されない場合は全体画像を選択する。表示部１０８は、スイッチ１０７から出力された画像を表示する。
【００１４】
次に、カメラ部１０１、拡大領域決定部１０３、切り抜き画像作成部１０５、拡大画像作成部１０６について詳しく説明する。
【００１５】
まず、図２を参照してカメラ部１０１の構成例について説明する。カメラ部１０１は、レンズ２０１、撮像部２０２、Ａ／Ｄ変換部２０３、カメラ信号処理部２０４、カメラ制御部２０５から構成され、被写体光を撮像し、映像信号と、カメラパラメータ適正領域情報を出力する。
【００１６】
続いて、カメラ部１０１の動作について説明する。まず始めに、レンズ２０１は、被写体光を撮像部２０２に導く。レンズ２０１は、カメラ制御部２０５から出力される制御信号に対応してズーム動作や被写体に対して焦点整合動作などを行う。撮像部２０２は、ＣＣＤやＣＭＯＳ等を使って被写体を撮像し、得られた被写体光を電気信号に変換する。Ａ／Ｄ変換部２０３は、アナログ信号をディジタル信号に変換する。カメラ信号処理部２０４は、Ａ／Ｄ変換部２０３より出力されたディジタル信号に対して、γ補正、露出調整やホワイトバランス等の処理を行い、映像信号を出力する。
【００１７】
カメラ制御部２０５は、カメラ部１０１を制御しカメラパラメータ適正領域情報を出力する。このカメラパラメータ適正領域情報とは、カメラ部１０１を構成する各モジュールの制御データを解析し、画像のどの領域を良好な品質の画像にしているかを示す情報である。例えば、レンズ２０１の制御データからは、撮像画像のどの領域に焦点を合わせたかという合焦領域情報が得られ、カメラ信号処理部２０４の制御データからは、撮像画像のどの領域に露出を合わせたかという適正露出領域情報が挙げられる。
【００１８】
これらのカメラパラメータ適正領域情報は、例えば図３のように、撮像画像の固有番号（IMG ID）、フレーム番号（Frame No.）及び空間的な座標(Position 1〜4)を示す領域情報から構成される。なお、カメラパラメータ適正領域は、Position1からPosition4までの４点の座標により特定される。図３の例では、１フレームに１つの領域情報が記載されているが、１フレームに複数の領域情報が記載されていてもよい。このカメラパラメータ適正領域情報は、フレーム単位にカメラ制御部２０５から拡大領域決定部１０３に出力される。
【００１９】
また、カメラパラメータ適正領域情報は、ユーザーが手動でカメラパラメータを適正にしたい被写体を指定しても良い。例えば、焦点であれば、手動でレンズ位置を変更し、合焦位置を変更することにより、合焦領域を設定する。また、例えば、露出であれば、図示していない全体画像を表示するタッチパネル式液晶ビューファインダーにおいて、適正露出にしたい領域を指で設定する。
【００２０】
以上がカメラ部１０１に関する説明である。
【００２１】
次に、図４及び図５を参照して、拡大領域決定部１０３について説明する。図４において、拡大領域候補決定部４０１は、合焦領域や適正露出領域といったカメラパラメータ適正領域情報から、フレーム毎に拡大表示を行う領域の候補を決定し、拡大領域候補情報を出力する。拡大領域確定部４０２は、拡大領域候補決定部４０１で決定された拡大領域候補情報に応じて、実際に拡大表示を行う拡大領域を確定し、拡大領域情報を出力する。尚、拡大領域候補情報及び拡大領域情報のデータ形式は、図３と同等であり説明を省略する。
【００２２】
まず、拡大領域候補決定部４０１について詳しく説明する。合焦領域や適正露出領域といったカメラパラメータ適正領域情報から、フレーム毎に拡大表示を行う領域の候補を決定する。
【００２３】
拡大領域候補決定部４０１は、カメラパラメータ適正領域が１つの場合は、その領域を拡大領域候補情報として、拡大領域確定部４０２に出力する。なお、カメラパラメータ適正領域が１つの場合とは、例えば、１フレーム内において、合焦領域と適正露出領域がそれぞれ１つであり、且つ、それらが同一の場合である。
【００２４】
また、拡大領域候補決定部４０１は、カメラパラメータ適正領域が複数ある場合は、ユーザーが行った優先順位付けに従い、優先順位の高い領域を拡大領域候補情報として、拡大領域確定部４０２に出力する。なお、カメラパラメータ適正領域が複数ある場合とは、例えば、１フレーム内において、合焦領域と適正露出領域が異なる場合である。この場合、優先順位付けは、ユーザーが合焦領域もしくは露出適正領域のどちらの領域を優先するかにより行われる。例えば、合焦領域の方が露出適正領域よりも優先順位が高いとすると、合焦領域を拡大領域候補情報として、拡大領域確定部４０２に出力する。
【００２５】
また、複数のカメラパラメータ適正領域を合体させた大きな領域を、拡大領域候補情報として、拡大領域確定部４０２に出力しても良い。拡大領域候補決定部４０１は更に、カメラパラメータ適正領域が複数あり、それらの領域の一部が重なる場合は、重なる一部の領域を拡大領域候補情報として、拡大領域確定部４０２に出力してもよい。このような場合は、例えば、１フレーム内において、合焦領域と適正露出領域が異なり、それらの領域の一部が重なる場合に相当する。
【００２６】
尚、複数の領域を拡大領域候補情報として、拡大領域確定部４０２に出力しても良いし、複数の拡大領域候補のうち、全体画像の中央部に最も近い領域を拡大領域候補情報として、拡大領域確定部４０２に出力しても良い。
【００２７】
次に、図５を参照して、拡大領域確定部４０２の動作について詳しく説明する。図５は、拡大領域確定部４０２の動作の一例を示した図である。まず、図５（ａ）は、拡大領域候補決定部４０１から出力されたフレーム毎の拡大領域候補情報を示している。また、図５（ｂ）は、拡大領域候補情報に応じてフレーム毎に確定する拡大領域情報を示している。
【００２８】
図５（ａ）では拡大領域確定部４０２は、フレーム番号０からフレーム番号２９９まで拡大領域候補Ａという拡大領域候補情報を入力する。続くフレーム番号３００からフレーム番号４９９まで拡大領域候補Ｂという拡大領域候補情報を入力する。更にフレーム番号５００からフレーム番号９００まで拡大領域候補Ｃという拡大領域候補情報を入力する。
【００２９】
ここで、図１のスイッチ１０７によって、全体表示と拡大表示が頻繁に切り替わると、表示部１０８に表示される画像が頻繁に切り替わり、視聴者は視聴し難くなる。そこで、拡大領域確定部４０２は、あまり頻繁に切り替わらないように拡大領域を確定する。
【００３０】
つまり、拡大領域確定部４０２は、図５のフレーム番号０から第１の期間（例えば、フレーム番号０からフレーム番号１９９までの連続する２００フレーム期間）は、拡大領域候補Ａを入力したとしても、拡大領域候補Ａを拡大領域として確定しない。この期間の拡大領域情報は、「拡大領域なし」と出力する。この場合、スイッチ１０７によって、全体画像が選択される。そして、第１の期間後のフレーム番号２００において、拡大領域候補Ａを拡大領域として確定し、拡大領域候補Ａの領域を拡大領域情報として出力する。
【００３１】
一旦拡大領域を確定すると、その後に続く第２の期間はその拡大領域を維持する。図５では、一例としてフレーム番号２００からフレーム番号５９９までの連続する４００フレーム期間において維持される場合を示している。これにより、フレーム番号３００からフレーム番号４９９までの期間に拡大領域候補Ｂが入力されたとしても、拡大領域候補Ｂが拡大領域として確定することはなく、拡大領域Ａが維持される。
【００３２】
なお、上記において「第１の期間」と「第２の期間」との語は両者を区別するために便宜的にしようしたものであって、両者が一致していても良いし、また両者の大小関係が上記と異なっていても良い。
【００３３】
また、図５ではフレーム番号５９９において、拡大領域Ａを維持する期間が終了する。しかし、続くフレーム番号６００においては、所定期間（例えば、フレーム番号６００からフレーム番号７９９までの２００フレーム期間）は、拡大領域候補Ｃを拡大領域として確定しない。そして、フレーム番号６００から所定期間後のフレーム番号８００において、拡大領域候補Ｃを拡大領域として確定し、拡大領域候補Ｃの領域を拡大領域情報として出力する。
【００３４】
以上のような処理によって拡大領域を確定することにより、図１のスイッチ１０７によって、全体表示と拡大表示が頻繁に切り替わることが減少し、視聴者は視聴し易くなる。
【００３５】
尚、以上のような処理を行わずに、拡大領域候補を直ちに拡大領域として確定しても良い。以上が、拡大領域決定部１０３の説明である。
【００３６】
次に、図６及び図７を参照して、切り抜き画像作成部１０５及び拡大画像作成部１０６について説明する。
【００３７】
切り抜き画像作成部１０５は、拡大領域情報記録部１０４に記録されている拡大領域情報に従って、映像記録部１０２に記録されている全体画像から拡大領域の画像を切り抜き、切り抜き画像を作成する切り抜き画像作成部である。そして、拡大画像作成部１０６は、例えば、画素補間技術によって、切り抜き画像の解像度を変換することにより、切り抜き画像を拡大する拡大画像作成部である。画素補間技術については、説明を省略する。
【００３８】
ここで、図３のような拡大領域情報が拡大領域情報記録部１０４に記録されている場合において、切り抜き画像作成部１０５及び拡大画像作成部１０６の動作について説明する。尚、図３におけるフレーム番号０の場合の例を図６に、フレーム番号１の場合の例を図７に示す。
【００３９】
まず、図３におけるフレーム番号０の場合について、図３及び図６を参照して説明する。尚、フレーム番号０の全体画像として、図６（ａ）のような画像６００が映像記録部１０２に記録されているものとする。
【００４０】
切り抜き画像作成部１０５は、図３のフレーム番号０のような拡大領域情報に含まれる拡大領域座標の値に応じて、図６（ａ）の全体画像６００からの切り抜き作業を行う。全体画像６００から切り抜く領域は、この例だと、破線枠６０１内である。その切り抜きによって、切り抜かれた画像６０２は、図６（ｂ）のようになる。この例だと、切り抜かれた画像６０２の解像度は、水平が１９２０画素であり、垂直が１０８０画素である。拡大画像作成部１０６は、図６（ｂ）のような切り抜き画像６０２において、画素補間を行うことにより、切り抜き画像の解像度を変換し、例えば、図６（ｃ）のように、図６（ａ）の全体画像６００と同じ解像度の拡大画像６０３を作成する。
【００４１】
次に、図３におけるフレーム番号１の場合について、図３及び図７を参照して説明する。尚、フレーム番号１の全体画像として、図７（ａ）のような画像７００が映像記録部１０２に記録されているものとする。
【００４２】
切り抜き画像作成部１０５は、図３のフレーム番号１のような拡大領域情報に含まれる拡大領域座標の値に応じて、図７（ａ）の全体画像７００からの切り抜き作業を行う。全体画像７００から切り抜く領域は、この例だと、破線枠７０１内である。その切り抜きによって、切り抜かれた画像７０２は、図７（ｂ）のようになる。この例だと、切り抜かれた画像７０２の解像度は、水平が１２８０画素であり、垂直が７２０画素である。拡大画像作成部１０６は、図７（ｂ）のような切り抜き画像７０２において、隣接画素値に応じて画素補間を行うことにより、切り抜き画像７０２の解像度を変換する。例えば、図７（ｃ）のように、図７（ａ）の全体画像７００と同じ解像度の拡大画像７０３を作成する。
【００４３】
尚、１フレーム内において、拡大領域情報により拡大領域が複数箇所存在する場合は、複数の拡大画像を作成する。複数の拡大画像は、ユーザーが複数の拡大画像の中から１枚の拡大画像を選択し、１枚の拡大画像が表示部１０８に表示される。また、複数の拡大画像を１フレーム内に配置した複数画面表示として表示部１０８に表示してもよい。
【００４４】
以上が、切り抜き画像作成部１０５及び拡大画像作成部１０６の説明である。
【００４５】
次に、図８を参照して、撮像時において、拡大領域情報を記録する処理について説明する。
【００４６】
ステップＳ８０１において、動画撮影が開始され、映像信号とカメラパラメータ適正領域情報がそれぞれ出力される。ステップＳ８０２において、カメラ部１０１から出力された映像信号が映像記録部１０２に記録される。ステップＳ８０３において、拡大領域決定部１０３は、カメラ部１０１から出力されたカメラパラメータ適正領域情報に応じて拡大領域を決定する。続くステップＳ８０４において、拡大領域情報が拡大領域情報記録部１０４に記録される。ステップＳ８０２、ステップＳ８０３、ステップＳ８０４の処理が、ステップＳ８０５において、フレーム毎に撮影終了まで行われる。
【００４７】
次に、図９を参照して、再生時において、拡大表示を行う処理について説明する。ステップＳ９０１において、動画再生が開始される。続くステップＳ９０２において、拡大領域情報記録部１０４に記録されている拡大領域情報に応じて拡大表示を行うか否かを判定する。もし、拡大表示を行う場合は（ステップＳ９０２において「ＹＥＳ」）、ステップＳ９０３に移行する。拡大表示を行わない場合は（ステップＳ９０２において「ＮＯ」）、ステップＳ９０６に移行する。
【００４８】
ステップＳ９０３では、切り抜き画像作成部１０５が、拡大領域情報記録部１０４に記録されている拡大領域情報に従って、映像記録部１０２に記録されている全体画像から切り抜き画像を作成する。続くステップＳ９０４において、拡大画像作成部１０６は、ステップＳ９０３において作成された切り抜き画像から画素補間によって拡大画像を作成する。そして、ステップＳ９０５において、拡大画像が表示部１０８に表示される。また、ステップＳ９０６では、映像記録部１０２に記録されている全体画像が表示部１０８に表示される。
【００４９】
ステップＳ９０２、ステップＳ９０３、ステップＳ９０４、ステップＳ９０５、ステップＳ９０６の処理が、ステップＳ９０７において、フレーム毎に再生終了まで行われる。
【００５０】
以上の本実施形態に対応する発明によれば、カメラ部における撮像時のカメラパラメータに基づいて得られるカメラパラメータ適正領域情報を用いて、撮像画像内で画質の良い領域を切り抜き領域として決定し、切り抜き画像を作成することができる。これにより、切り抜き画像を表示のために拡大した場合であっても、合焦している領域を切り抜いているので、より品質の高い拡大画像を提供することが可能となる。
【００５１】
［第２の実施形態］
次に、発明の第２の実施形態を説明する。図１０は、発明の第２の実施形態に対応する画像処理装置の構成の一例を示す図である。
【００５２】
第１の実施形態では、カメラパラメータ適正領域情報から拡大領域を決定する処理を、動画像の撮像時に行っていた。これに対して本実施形態では動画像撮像時にはカメラパラメータ適正領域情報を記録するだけとし、拡大領域の決定は動画像再生時に行うこととする。
【００５３】
以下、本発明の構成例について図１０を参照して説明する。尚、第１の実施形態における構成要素と同様の動作、処理を行うものについては同一の符号を付し、本実施形態での説明は省略するものである。
【００５４】
カメラパラメータ適正領域情報記録部１００１は、カメラ部１０１から出力されたカメラパラメータ適正領域を記録する。拡大領域決定部１００２は、再生時において、カメラパラメータ適正領域情報記録部１００１に記録されているカメラパラメータ適正領域情報に従って、フレーム毎に拡大領域を決定する。拡大領域決定部１００２の内部動作は、第１の実施形態の拡大領域決定部１０３と同様のため説明を省略する。
【００５５】
次に、図１１を参照して、撮像時において、カメラ適正領域情報を記録する処理について説明する。
【００５６】
ステップＳ８０１において、動画撮影が開始される。ステップＳ１１０１において、カメラ部１０１から出力されたカメラパラメータ適正領域情報がカメラパラメータ適正領域情報記録部１００１に記録される。ステップＳ８０２及びステップＳ１１０１の処理が、ステップＳ８０５において、撮影終了まで行われる。
【００５７】
次に、図１２を参照して、再生時において、拡大表示を行う処理について説明する。ステップＳ９０１において、動画再生が開始される。ステップＳ１２０１において、拡大領域決定部１００２は、カメラパラメータ適正領域情報記録部１００１に記録されているカメラパラメータ適正領域情報に応じて拡大領域を決定する。ステップＳ９０２、ステップＳ１２０１、ステップＳ９０３、ステップＳ９０４、ステップＳ９０５、ステップＳ９０６の処理が、ステップＳ９０７において、フレーム毎に再生終了まで行われる。
【００５８】
本発明の画像処理装置によれば、カメラパラメータによって切り抜く領域を変更することにより、常にカメラパラメータが良好な画像領域を切り抜き、拡大表示することが可能となり、従来に比べ、品質の高い画像を拡大表示することができる効果がある。
【００５９】
［その他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、カメラ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルカメラ、デジタルビデオカメラなど）に適用してもよい。
【００６０】
また、本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。
【００６１】
さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。
【００６２】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。
【図面の簡単な説明】
【００６３】
【図１】発明の第１の実施形態に対応する画像処理装置の構成の一例を示す図である。
【図２】発明の実施形態に対応するカメラ部１０１の構成の一例を示す図である。
【図３】発明の実施形態に対応する領域情報の一例を示す図である。
【図４】発明の実施形態に対応する拡大領域決定部１０３の構成例を示す図である。
【図５】発明の実施形態に対応する拡大領域決定部１０３の動作を示す図である。
【図６】発明の実施形態に対応するフレーム番号０における切り抜き画像作成部１０５及び拡大画像作成部１０６の動作を示す図である。
【図７】発明の実施形態に対応するフレーム番号１における切り抜き画像作成部１０５及び拡大画像作成部１０６の動作を示す図である。
【図８】発明の第１の実施形態に対応する撮像時の動作の一例を示すフローチャートである。
【図９】発明の第１の実施形態に対応する再生時の動作の一例を示すフローチャートである。
【図１０】発明の第２の実施形態に対応する画像処理装置の構成の一例を示す図である。
【図１１】発明の第２の実施形態に対応する撮像時の動作を示すフローチャートである。
【図１２】発明の第２の実施形態に対応する再生時の動作を示すフローチャートである。
【符号の説明】
【００６４】
１０１  カメラ部
１０２  映像記録部
１０３  拡大領域確定部
１０４  拡大領域情報記録部
１０５  切り抜き画像作成部
１０６  拡大画像作成部
１０７  スイッチ
１０６  表示部
２０１  レンズ
２０２  撮像部
２０３  Ａ／Ｄ変換部
２０４  カメラ信号処理部
２０５  カメラ制御部
４０１  拡大領域候補決定部
４０２  拡大領域確定部
１００１  カメラパラメータ適正領域情報記録部
１００２  拡大領域確定部
【図１】
2009218830.tif 000003
【図２】
2009218830.tif 000004
【図３】
2009218830.tif 000005
【図４】
2009218830.tif 000006
【図５】
2009218830.tif 000007
【図６】
2009218830.tif 000008
【図７】
2009218830.tif 000009
【図８】
2009218830.tif 000010
【図９】
2009218830.tif 000011
【図１０】
2009218830.tif 000012
【図１１】
2009218830.tif 000013
【図１２】
2009218830.tif 000014