(57)【要約】 【課題】  撮影時間を短縮すると共に、違和感の無い合成用画像を低コストで撮影することができる撮像装置を提供する。【解決手段】  レンズ１は被写体からの光を集光し、結像する。撮像素子２は、レンズ１によって結像された被写体像を光電変換し、画像信号を生成する。記録媒体７は、撮影条件情報が関連付けられた画像データを予め記憶する。合成部１０は、記録媒体７に予め記録された第１の画像データと、撮像素子２から出力された画像信号に基づいた第２の画像データとを合成し、合成画像データを生成する。表示装置１４は、合成部１０によって生成された合成画像データに基づいた画像を表示する。ＣＰＵ８は、第２の画像データを生成する撮影の際に、第１の画像データに関連付けられた撮影条件情報に基づいて、撮影条件を設定する。【選択図】    図１
2006319524.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの光を集光し、結像する結像光学系と、
前記結像光学系によって結像された被写体像を光電変換し、画像信号を生成する撮像素子と、
撮影条件情報が関連付けられた画像データを予め記憶する記憶手段と、
前記記憶手段によって予め記憶された第１の画像データと、前記撮像素子から出力された前記画像信号に基づいた第２の画像データとを合成し、合成画像データを生成する合成手段と、
前記合成手段によって生成された前記合成画像データに基づいた画像を表示する表示手段と、
前記第２の画像データを生成する撮影の際に、前記第１の画像データに関連付けられた前記撮影条件情報に基づいて、撮影条件を設定する撮影条件設定手段と、
を有する撮像装置。
【請求項２】
前記撮影条件情報は、前記結像光学系の情報や前記撮像素子の駆動情報であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮影条件情報は、階調特性や色再現性を補正するための画像処理に用いられる情報であることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記合成手段はさらに、前記記憶手段によって予め記憶された２つの前記画像データを合成し、前記合成画像データを生成することを特徴とする請求項１〜請求項３のいずれかの項に記載の撮像装置。
【請求項５】
前記記憶手段はさらに、外部装置から入力された画像データを記憶することを特徴とする請求項１〜請求項４のいずれかの項に記載の撮像装置。
【請求項６】
前記表示手段はさらに、前記合成画像データに基づいた静止画像を表示するフリーズ機能を有することを特徴とする請求項１〜請求項５のいずれかの項に記載の撮像装置。
【請求項７】
前記合成手段が前記第１の画像データと前記第２の画像データを合成する際の合成条件が複数の条件の中から選択可能であることを特徴とする請求項１〜請求項６のいずれかの項に記載の撮像装置。
【請求項８】
前記記憶手段によって予め記憶された第１の画像データのフレームレートと、前記撮像素子から出力された前記画像信号に基づいた第２の画像データのフレームレートが異なる場合に、２つの画像データのフレーム間隔が時間軸上で等間隔となるようにフレームレートを変換するフレームレート変換手段をさらに有することを特徴とする請求項１〜請求項７のいずれかの項に記載の撮像装置。
【請求項９】
前記表示手段はさらに、前記合成画像データに基づいた画像と共に前記撮影条件情報を表示することを特徴とする請求項１〜請求項８のいずれかの項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、合成用画像を撮影する際の撮影条件の設定の容易化を図った撮像装置に関する。
【背景技術】
【０００２】
複数の被写体を１つの撮影現場に揃えられなかったり、撮影が困難な被写体があったりした場合に、複数回に分けて撮影された映像を合成したり、実際に撮影された映像とＣＧ（Computer Graphic）映像を合成したりして映像が作られることがある。このような合成用の被写体を撮影する際には、クロマキー撮影という技法がよく用いられている。例えば、以前に撮影された風景映像を背景として、別撮りした人物の映像を風景映像に合成する場合について説明する。
【０００３】
人物の撮影では、人物の背景にブルーまたはグリーンのスクリーンを配置して撮影が行われる。撮影された映像は後に編集機等でデジタル処理され、スクリーンの部分が切り抜かれ、人物のみの映像となる。そして、人物のみの映像と背景映像とが合成される。この人物の撮影を行う際、撮影者はカメラのファインダーを覗きながら、上記のスクリーンの部分が別の映像と合成されることを想像して撮影を行っており、このとき、画角合わせをはじめとする沢山のカメラの撮影条件の設定には個々の微妙な調整が必要であり、多くの時間がかかっていた。
【０００４】
従来、撮影条件の設定時間を短縮するための方法として、被写体全体の構成を事前に確認してから、合成した画像に違和感の無いように、カメラの設定を効率良く行うことが可能なシステムが用いられている。被写体全体の構成を事前に確認するため、撮影する人物の後ろのスクリーンに、合成する予定の背景映像を映写したり、カメラで人物を撮影した際のリアルタイム映像と、カメラとは別の機器で再生した背景映像とを映像合成装置等で合成表示したりすることが行われている。
【０００５】
また、カメラの多くの設定条件を容易に設定することが可能な方法として、特許文献１に示されているように、撮影したときの設定条件を記録することができ、また以前に記録された設定条件を容易に再設定することができるカメラが提案されている。
【特許文献１】特開平８−８８７９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の従来技術のように、背景映像をスクリーンに映写したり、複数の機器を接続したりして合成結果を事前に確認できるようにするためには、映像再生用の再生装置と映像合成用の映像合成装置とを用意する等、大掛かりなシステムを用意しなければならなかった。このため、従来技術においては、コストがかかっていた。
【０００７】
また、合成用の背景と人物とを別々に撮影する場合に、それらの撮影条件を等しくしたいとしても、個々の撮影条件を記憶したり、設定したり、確認したりする手間や時間がかかっていた。それらの撮影条件は、特に人物や背景が動く場合やカメラの位置が変化する場合等には、リアルタイムに変化するものである。この場合の撮影条件はさらに複雑になり、以前撮影が行われた際の撮影条件を記憶しておいても、その撮影条件をリアルタイムに設定することは困難である。
【０００８】
また、特許文献１に記載の技術においては、以前に撮影が行われたときの撮影条件を容易に再設定することは可能であるが、特許文献１では動画や合成画像の撮影に関しては言及されていない。さらに、再設定した撮影条件が最適であるか否かを、リアルタイムに合成した画像で確認することはできない。
【０００９】
本発明は、上述した問題点に鑑みてなされたものであって、撮影時間を短縮すると共に、違和感の無い合成用画像を低コストで撮影することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、上記の課題を解決するためになされたもので、請求項１に記載の発明は、被写体からの光を集光し、結像する結像光学系と、前記結像光学系によって結像された被写体像を光電変換し、画像信号を生成する撮像素子と、撮影条件情報が関連付けられた画像データを予め記憶する記憶手段と、前記記憶手段によって予め記憶された第１の画像データと、前記撮像素子から出力された前記画像信号に基づいた第２の画像データとを合成し、合成画像データを生成する合成手段と、前記合成手段によって生成された前記合成画像データに基づいた画像を表示する表示手段と、前記第２の画像データを生成する撮影の際に、前記第１の画像データに関連付けられた前記撮影条件情報に基づいて、撮影条件を設定する撮影条件設定手段とを有する撮像装置である。
【００１１】
請求項２に記載の発明は、請求項１に記載の撮像装置において、前記撮影条件情報は、前記結像光学系の情報や前記撮像素子の駆動情報であることを特徴とする。
【００１２】
請求項３に記載の発明は、請求項１に記載の撮像装置において、前記撮影条件情報は、階調特性や色再現性を補正するための画像処理に用いられる情報であることを特徴とする。
【００１３】
請求項４に記載の発明は、請求項１〜請求項３のいずれかの項に記載の撮像装置において、前記合成手段はさらに、前記記憶手段によって予め記憶された２つの前記画像データを合成し、前記合成画像データを生成することを特徴とする。
【００１４】
請求項５に記載の発明は、請求項１〜請求項４のいずれかの項に記載の撮像装置において、前記記憶手段はさらに、外部装置から入力された画像データを記憶することを特徴とする。
【００１５】
請求項６に記載の発明は、請求項１〜請求項５のいずれかの項に記載の撮像装置において、前記表示手段はさらに、前記合成画像データに基づいた静止画像を表示するフリーズ機能を有することを特徴とする。
【００１６】
請求項７に記載の発明は、請求項１〜請求項６のいずれかの項に記載の撮像装置において、前記合成手段が前記第１の画像データと前記第２の画像データを合成する際の合成条件が複数の条件の中から選択可能であることを特徴とする。
【００１７】
請求項８に記載の発明は、請求項１〜請求項７のいずれかの項に記載の撮像装置において、前記記憶手段によって予め記憶された第１の画像データのフレームレートと、前記撮像素子から出力された前記画像信号に基づいた第２の画像データのフレームレートが異なる場合に、２つの画像データのフレーム間隔が時間軸上で等間隔となるようにフレームレートを変換するフレームレート変換手段をさらに有することを特徴とする。
【００１８】
請求項９に記載の発明は、請求項１〜請求項８のいずれかの項に記載の撮像装置において、前記表示手段はさらに、前記合成画像データに基づいた画像と共に前記撮影条件情報を表示することを特徴とする。
【発明の効果】
【００１９】
本発明によれば、撮影時間を短縮すると共に、違和感の無い合成用画像を低コストで撮影することができるという効果が得られる。
【発明を実施するための最良の形態】
【００２０】
以下、図面を参照し、本発明を実施するための最良の形態について説明する。図１は、本発明の一実施形態による撮像装置の構成を示している。被写体からの光はレンズ１（結像光学系）によって集光され、撮像素子２に入射する。この際、レンズ１によって撮像素子２の撮像面に被写体像が結像される。撮像素子２は、１つの撮像素子の各画素に、例えば図２に示される一般的なベイヤ配列になるように原色の色フィルターが配列された構成を有する。撮像素子２は、入射した撮像光を光電変換し、被写体像に基づいた画像信号を生成する。この画像信号は撮像素子２の画素の読み出しの順番で出力される。駆動回路３は、撮像素子２の駆動タイミングや電子シャッタースピード（電荷蓄積時間）の制御を行う。
【００２１】
アナログ処理部４は、撮像素子２によって生成された画像信号に対して、撮像素子２で発生したノイズを除去するための処理や、信号を適正レベルに増幅するための増幅処理等のアナログ処理を行う。Ａ／Ｄ変換部５は、アナログ処理部４によって処理されたアナログ信号をデジタル信号（画像データ）に変換する。画像処理部６は、Ａ／Ｄ変換部５によって処理されたデジタル信号に対して、黒レベルを揃える処理や、撮像素子２の出力特性が線形になるように補正する処理、レンズ１の集光ムラまたは撮像素子２の画面内の出力ムラを補正する処理等を行う。
【００２２】
記録媒体７（記憶手段）は、画像データを記録するための、撮像装置から取り外し可能な、例えばカード型の記録メディアである。画像処理部６から出力された画像データは所定の画像フォーマットに変換され、ＣＰＵ８からの指示に従って、図示せぬ書き込み回路によって記録媒体７に書き込まれる（格納される）。また、記録媒体７に記録された画像データは、ＣＰＵ８からの指示に従って、図示せぬ読み出し回路によって読み出され、画像変換部９へ出力される。
【００２３】
記録媒体７には外部の画像データを入力してもよい。例えば、記録媒体７に対して、図１に示される撮像装置以外の編集装置等の外部装置を接続し、編集装置等によって作成された画像データを記録媒体７に記録してもよい。また、記録媒体７を取り外し可能な形態とせずに固定型とし、図示せぬインタフェース等を介して編集装置等の外部装置から入力された画像データを記録媒体７に記録してもよい。後述するように、記録媒体７には、撮影時の各種の撮影条件を示す映像情報（撮影条件情報）も記録される。
【００２４】
ＣＰＵ８（撮影条件設定手段）は、図１に示される各構成を制御することによって、撮像装置の基本動作等の制御および管理を行う。撮像装置の基本動作とは、記録媒体７への画像データの記録や、記録媒体７からの画像データの再生等の動作を含む。画像処理部６によって処理された画像データは記録媒体７に格納されると共に、画像変換部９へ出力される。画像変換部９は、入力された画像データに対して、画像のフレームレートを、表示装置１４（表示手段）に適応したフレームレートに揃えるための画像変換処理を行う。所望の撮影効果を得るため、フレームレートを変えて撮影を行ったり、他の撮像装置によって撮影された画像を本撮像装置で用いたりする場合等に、画像変換処理が行われる。
【００２５】
記録媒体７に予め記録された画像データ（例えば背景の画像データ等）と、撮像によってリアルタイムに生成される画像データ（例えば人物の画像データ等）とを合成する合成処理を撮像装置が行う場合には、以下のように画像変換処理が行われる。画像処理部６によって処理された画像データと、記録媒体７から読み出されて再生された画像データとが画像変換部９に入力される。画像変換部９は、記録媒体７から読み出されて再生された画像データのフレームレートと、画像処理部６によって処理された画像データのフレームレートが異なる場合に、２つの画像データのフレーム間隔が時間軸上で等間隔となるようにフレームレートを変換する。例えば、表示装置１４の表示フレームレートが毎秒３０フレームであり、画像処理部６で処理された画像データのフレームレートが毎秒１２０フレームであり、記録媒体７から再生された画像データのフレームレートが毎秒５フレームであった場合には、画像処理部６で処理された画像データの４フレーム毎に３フレームを間引き、記録媒体７から再生された画像データの１フレームをコピーして６フレーム分繰り返すことによって、両画像データのフレームレートを毎秒３０フレームに揃える処理が行われる。
【００２６】
画像変換部９によって処理された２つの画像データは合成部１０（合成手段）に入力される。合成部１０は、それらの画像データをリアルタイムに合成し、合成画像データを生成する処理を行う。この合成処理では、上記の２つの画像データのうち、ブルー（またはグリーン）のスクリーンを被写体の一部として構成した被写体の撮影（クロマキー撮影）によって生成された画像データにおいて、画像データ中のブルーの部分を切り抜く処理が行われ、ブルーの部分が切り抜かれた画像と、別のもう一方の画像とが重ね合わせられて、合成画像が生成される。ブルーまたはグリーンのスクリーンの画像の輝度レベルがしきい値として予め記録され、切り抜き処理を対象とする画像中のある連続領域において、輝度レベルが上記のしきい値を超えた場合に、その領域を切り抜く処理が行われる。上記の合成処理を行わない設定が撮像装置になされている場合には、合成部１０は、入力された画像データをそのまま補間部１１へ出力する。
【００２７】
合成部１０によって合成され、補間部１１に入力される合成画像は、例えばベイヤ配列の画像である。補間部１１は、その画像のうち色情報の欠落した画素に対して色情報の補間を行う。補間部１１は、補間したい色情報を持った周辺の画素の信号を用いて、例えば加算平均処理を行うことによって、欠落した色情報を補間し、図３（ａ）〜（ｃ）に示されるようなカラー画像を生成する。補間部１１によってカラー化された合成画像データは画像処理部１２に入力される。画像処理部１２は、階調補正、色再現性の補正、輪郭の強調等の、画像の見えを良好にする処理を行う。
【００２８】
リサイズ部１３は、画像処理部１２によって処理された画像のサイズを、表示装置１４に適した画像サイズになるように変更する。表示装置１４は、リサイズ部１３によって処理された画像データに基づいた画像を表示する、例えば撮像装置のファインダーやモニター等である。操作部１５は、ユーザ（撮影者）によって操作される入力装置を備えており、ユーザによる操作に基づいた信号をＣＰＵ８へ出力する。ＣＰＵ８は、操作部１５から出力された信号に基づいて、ユーザからの指示を判断する。
【００２９】
次に、記録媒体７に格納される情報を詳細に説明する。図４に示されるように、記録媒体７には複数のデータＡ１，Ａ２，・・・，Ａｎが格納されている。各データにおいて、画像データと映像情報とが関連付けられて、対となって記録されている。データＡ１は映像情報Ａ１ａと画像データＡ１ｂとを含んでおり、データＡ２は映像情報Ａ２ａと画像データＡ２ｂとを含んでおり、データＡｎは映像情報Ａｎａと画像データＡｎｂとを含んでいる。上記の各画像データは、動画像を構成する映像データである。一連の映像データを含む１つの画像データに対して１つの映像情報が付加されているが、１つの画像データの各フレームにフレームのヘッダ情報として映像情報が付加されていてもよい。
【００３０】
記録媒体７に記録される画像データは、撮像素子２で得られた電気信号に対して、ホワイトバランス、階調補正、輪郭強調、色補正等の画像処理が行われていない画像データ（ＲＡＷデータ）である。ＲＡＷデータを記録媒体７に記録しておくことによって、その再生時に種々の画像処理パラメータに変更を加えたとしても、変更前の影響を受けずに適切な処理を行うことが可能である。
【００３１】
画像データと共に記録される映像情報は、結像光学系の情報や撮像素子２の駆動情報、および階調特性や色再現性を補正するための画像処理に用いられる情報である。結像光学系の情報とは、レンズ１に関する情報であり、レンズの種類、絞り値、ズーム位置、フォーカス位置等の情報を含んでいる。撮像素子２の駆動情報とは、駆動回路３によって制御される撮像素子２の駆動タイミング（フレームレート）や電子シャッタースピード等の情報を含んでいる。
【００３２】
階調特性や色再現性を補正するための画像処理に用いられる情報とは、アナログ処理部４、画像処理部６、および画像処理部１２が画像データを処理する際に用いる画像処理パラメータである。アナログ処理部４の画像処理パラメータは、例えばノイズ除去のレベルや、増幅処理におけるゲインである。画像処理部６の画像処理パラメータは、例えば黒レベルのばらつきを抑えるためのパラメータや、撮像素子２の出力特性の線形補正のためのテーブル、レンズ１の集光ムラや感度ムラを補正するためのテーブルである。画像処理部１２の画像処理パラメータは、例えばホワイトバランスの値や、ガンマテーブルの種類、色の強調の度合である。
【００３３】
撮影時にＣＰＵ８はレンズ１、駆動回路３、アナログ処理部４、画像処理部６、および画像処理部１２の設定値を読み取り、上記の映像情報を生成する。ＣＰＵ８は、生成した映像情報を、撮像によって生成された画像データと関連付けて記録媒体７に記録する。
【００３４】
次に、撮影条件の設定について説明する。ユーザは、操作部１５を操作する、あるいは各部を直接操作することによって、撮影条件を設定することができる。撮影前の準備等の際に撮影条件を設定する場合、図５に示されるような画像が表示装置１４の画面１４ａに表示される。画面１４ａには、レンズ１および撮像素子２の情報を含む撮像条件Ｍ１、階調特性や色再現性を補正するための画像処理に用いられる画像処理パラメータＭ２、および合成モードＭ３が表示されている。
【００３５】
合成モードＭ３（合成条件）は画像合成の条件を示している。画像合成の条件を指定する場合に、例えば２つの画像データを重ね合わせる際にどちらを上にするのか、および２つの画像データのうちのどちらを切り抜き処理の対象とするのか等が、ユーザによって指定される。また、画像の再生開始の指示、再生停止の指示、静止画像を表示するフリーズ、同じ画像データからなる映像を繰り返し再生する繰り返し再生等も、合成条件としてユーザによって指定される。撮像条件Ｍ１、画像処理パラメータＭ２、および合成モードＭ３は、複数の中からいずれかを選択することが可能となっている。
【００３６】
操作部１５を介した撮像条件Ｍ１、画像処理パラメータＭ２、および合成モードＭ３の選択は以下のように行われる。ＣＰＵ８は、操作部１５から出力された信号に基づいて、選択された条件の設定を行う。例えば、撮像条件Ｍ１が入力された場合には、ＣＰＵ８はレンズ１あるいは駆動回路３に撮像条件を設定する。また、画像処理パラメータＭ２が入力された場合には、ＣＰＵ８はアナログ処理部４、画像処理部６、あるいは画像処理部１２の画像処理パラメータを設定する。また、合成モードＭ３が入力された場合には、ＣＰＵ８は、画像合成の際に画像変換部９、合成部１０、あるいは表示装置１４が用いる制御パラメータを設定する。
【００３７】
次に、図６を参照して、本実施形態による撮像装置を用いた撮影の方法を説明する。まず、合成用の画像を撮影するための準備が開始され、撮影者によって撮像モードが選択される。本実施形態においては、撮像モードとして合成表示モードおよび非合成表示モードが用意されているものとする。合成表示モードは、２つの画像を合成して合成画像を表示するモードであり、非合成表示モードは、画像の合成を行わず、撮影された画像をそのまま表示するモードである。撮影者によって、画像を合成表示するか否かの判断がなされ、操作部１５に判断結果が入力される（ステップＳ６０１）。操作部１５は、判断結果を示す信号をＣＰＵ８へ出力する。ＣＰＵ８は、入力された信号に基づいて、撮像モードを決定する（ステップＳ６０２）。撮像モードが合成表示モードの場合には、処理はステップＳ６０５へ進み、非合成表示モードの場合には、処理はステップＳ６０３へ進む。
【００３８】
以下、非合成表示モードが選択された場合の撮影の方法を説明する。撮像装置が非合成表示モードで動作する場合には、撮影された画像のスルー画像が表示装置１４に表示され、撮影者はそのスルー画像を確認しながら通常の撮影操作を行うことが可能である。画像処理部６によって処理された画像データは画像変換部９に入力される。画像変換部９はフレームレートの変換を行わずに（スルー）、画像データを合成部１０へ出力する。合成部１０も、入力された画像データをそのまま補間部１１へ出力する。補間部１１は画像データの色成分の補間処理を行い、カラー画像に対応した画像データを生成する。画像処理部１２は、補間部１１によってカラー化処理が施された画像データに対して各種の処理を行う。リサイズ部１３は、画像処理部１２によって処理された画像データに対して、表示装置１４に適した画像サイズとなるように画像のサイズを変更する処理を施す。撮像装置のファインダーやモニター等の表示装置１４は、リサイズ部１３によって処理された画像データに基づいた画像を表示する（ステップＳ６０３）。撮影者は、表示装置１４に表示された画像を確認しながら撮影を行うことが可能である。
【００３９】
続いて、表示された画像に基づいて、撮影者によって、撮像条件や各種の画像処理パラメータが入力され、設定される（ステップＳ６０４）。以後の処理はステップＳ６１４に進む。ステップＳ６１４において、操作部１５を介して撮影開始の指示が入力され、撮像装置は撮影動作を開始する。撮影の開始後、被写体を撮像して得られた画像データが記録媒体７に記録される。この際、ステップＳ６０４において設定された撮像条件や各種画像処理パラメータの情報が映像情報として画像データに付加されて記録媒体７に記録される（ステップＳ６１５）。非合成表示モードでの撮影によって、例えば合成表示モードで使用される合成用の画像データが生成される。
【００４０】
以下、合成表示モードが選択された場合の撮影の方法を説明する。表示装置１４は、ＣＰＵ８による指示に従って、記録媒体７に記録されている画像データのファイル情報およびサムネイル画像の一覧を表示する（ステップＳ６０５）。図７はこの際の表示の例を示している。図７に示されるように、表示装置１４の表示画面１４ａには、画像データのファイル名Ｆ１ａ，Ｆ２ａ，・・・，Ｆｎａと共に、サムネイル画像Ｆ１ｂ，Ｆ２ｂ，・・・，Ｆｎｂが表示される。各画像データには、撮像条件および画像処理パラメータを含む撮影条件が関連付けられている。この撮影条件を画面１４ａに表示可能としてもよい。
【００４１】
続いて、表示された画像データの一覧の中から、合成に使用したい画像データが撮影者によって選択される。画像データの選択は操作部１５を介して行われ、ＣＰＵ８は、操作部１５から出力された信号に基づいて、どの画像データが選択されたのかを判断する（ステップＳ６０６）。画像データの選択後、例えば選択された画像データに基づいた画像が表示装置１４に表示され、その表示に基づいて、選択した画像が所望の画像であるか否かが、操作者によって判断される。ＣＰＵ８は、画像データの選択を終了する指示、あるいは画像データの選択を続行する指示を示す信号が操作部１５から出力されるか否か監視する。ＣＰＵ８は、操作部１５から出力される上記の信号に基づいて、画像データの選択を完了するか否かを判断する（ステップＳ６０７）。
【００４２】
画像データの選択を続行する指示を示す信号が操作部１５から出力された場合、処理はステップＳ６０１に戻る。また、画像データの選択を終了する指示を示す信号が操作部１５から出力された場合には、以後の撮影によって生成される画像データとリアルタイムに合成される画像データが選択されたことになる。この場合には、合成される２つの画像について、どちらの画像に対してブルースクリーン等の切り抜き処理を行うのか、および画像の重ね合わせの順番等が入力される。そして、画像処理部６によって処理された画像データと、記録媒体７から読み出された画像データとが合成された合成画像データに基づいた画像が表示装置１４に表示される（ステップＳ６０８）。
【００４３】
続いて、ブルースクリーン等の切り抜き処理や合成時の画像の重ね合わせの順番、再生開始・再生停止・フリーズ・繰り返し再生等の再生機能の条件を示す合成モード（合成条件）の選択が、操作部１５を介して行われる（ステップＳ６０９）。合成モードの選択後、記録媒体７から再生された画像データに付加された映像情報を利用するか否かの選択が、操作部１５を介して行われる（ステップＳ６１０）。映像情報を利用するか否かの選択は、撮像モードの選択前等に行ってもよい。
【００４４】
映像情報を利用することが選択された場合、ＣＰＵ８は、現在撮影中の画像と合成されている画像データに関連付けられた映像情報を記録媒体７から読み出し、その映像情報に基づいて、撮影条件を撮像装置の各部に設定する。例えば、ＣＰＵ８は、映像情報に含まれるレンズ１および撮像素子２の駆動情報を参照し、レンズ１の状態を制御すると共に、撮像素子２の駆動に必要な駆動回路３のパラメータを設定する。また、ＣＰＵ８は、映像情報に含まれる画像処理パラメータを参照し、アナログ処理部４、画像処理部６、および画像処理部１２の必要なパラメータを設定する（ステップＳ６１１）。
【００４５】
続いて、合成画像が表示されると共に、ステップＳ６１１において設定された撮影条件を基準として、必要に応じて、撮影者によって各種の撮影条件の微調整が行われ、最終的な撮影条件の設定が行われる（ステップＳ６１２）。合成条件としてフリーズが選択された場合には、静止画像が表示されるので、撮影条件の微調整をより容易に行うことができる。以後の処理はステップＳ６１４へ進む。一方、ステップＳ６１０において、映像情報を利用しないことが選択された場合、撮影者によって、各種の撮影条件が最適となるように設定される（ステップＳ６１３）。以後の処理はステップＳ６１４へ進む。
【００４６】
撮影条件の自動設定あるいはマニュアル設定の後、操作部１５を介して撮影開始の指示が入力され、撮像装置は撮影動作を開始する（ステップＳ６１４）。撮影の開始後、被写体を撮像して得られた画像データが記録媒体７に記録される。この際、撮像条件や各種画像処理パラメータの情報が映像情報として画像データに付加されて記録媒体７に記録される。また、被写体を撮像して得られた画像データは、記録媒体７に予め記録された画像データと合成されて合成画像データが生成され、表示装置１４には合成画像が表示される（ステップＳ６１５）。撮影者によって、操作部１５を介して撮影終了の指示が入力されると撮影および画像データの記録が終了する。
【００４７】
図８は、ステップＳ６１２およびＳ６１５等において、表示装置１４の画面１４ａに表示される合成画像の例である。この合成画像は、予め記録媒体７に記録された屋外の風景画像の画像データと、合成用にクロマキー撮影を行っている人物画像の画像データとが合成された画像データに基づいて表示された画像である。撮影者は、撮像装置のファインダー等である表示装置１４に表示された合成画像を確認しながら、実際の撮影をリアルタイムに行うことができる。また、表示装置１４には、現在設定されている撮像条件Ｍ１および画像処理パラメータＭ２が合成画像と共に表示される。
【００４８】
上記の説明においては、撮像によってリアルタイムに生成され、画像処理部６によって処理された画像データと、記録媒体７に予め記録された画像データとが合成されるとしているが、記録媒体７に予め記録された２つの画像データが合成されるとしてもよい。例えば前述したように、記録媒体７に格納されている画像データの一覧が表示装置１４に表示され、操作者によって２つの画像データが選択されたとする。ＣＰＵ８は、選択された２つの画像データを記録媒体７から読み出し、画像変換部９へ出力する。
【００４９】
２つの画像データは、画像変換部９によってフレームレートが揃えられて合成部１０へ出力される。合成部１０は、前述した処理と同様の処理を行って２つの画像データを合成し、補間部１１へ出力する。合成の際には、画像データの重ね合わせの順番や切り抜き処理の対象の指定等が、操作部１５を介して入力され、合成部１０は、入力された情報に従って動作する。合成部１０によって生成された合成画像データは、補間部１１〜リサイズ部１３によって処理され、表示装置１４へ出力される。表示装置１４は合成画像を表示する。
【００５０】
上述したように、本実施形態による撮像装置は、予め記録された第１の画像データと、撮像素子から出力された画像信号に基づいた第２の画像データとを合成して合成画像データを生成し、合成画像データに基づいた画像を表示する。また、本実施形態による撮像装置は、第１の画像データに関連付けられた映像情報（撮影条件情報）に基づいて、撮影条件を設定する。これによって、合成用の画像を予め撮影したときの撮影条件と同じ撮影条件が撮像装置に自動的に設定されて撮影が行われるので、撮影時間を大幅に短縮することができる。さらに、従来のように映像再生用の再生装置と映像合成用の映像合成装置とを用意する必要が無く、本実施形態による撮像装置１台を用いて低コストで合成画像を生成することができる。
【００５１】
また、例えば予め記録された背景用の画像データを合成に用いて、人物を撮影するというような場合に、本実施形態による撮像装置は合成画像をファインダー等に表示する。これによって、合成される被写体のうち片方の被写体のみを撮影していても、合成結果をリアルタイムに確認しながら撮影することができるので、合成された際に違和感の無い合成用画像を撮影することができる。さらに、撮影者は、合成画像を確認することによって、自動で設定された撮影条件が最適であるか否かを判断することができる。
【００５２】
また、本実施形態による撮像装置は撮影条件を合成画像と共に表示する。これによって、操作者は撮影条件を確認することができ、その撮影条件を基準として撮影条件の微調整を行うことができる。
【００５３】
また、本実施形態による撮像装置は、記録媒体７に記録された２つの画像データを合成し、合成画像を表示する機能も有している。これによって、撮影後に合成結果を再度確認することができる。
【００５４】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本発明は、ベイヤ方式に配列された原色系の色フィルターを備えた撮像素子を有する単板式の撮像方式を用いた撮像装置の他、それ以外の色フィルターの配列の撮像素子を有する撮像装置や、撮像素子を複数使用した撮像装置にも適用可能である。また、画像データが記録される記録媒体としては、カード型の導体メモリやハードディスク等のディスク状媒体といったランダムアクセス可能な様々な媒体を適用することができる。
【図面の簡単な説明】
【００５５】
【図１】本発明の一実施形態による撮像装置の構成を示すブロック図である。
【図２】本発明の一実施形態による撮像装置が備える撮像素子の画素の配列を説明するための参考図である。
【図３】本発明の一実施形態による撮像装置が備える補間部が行う補間処理を説明するための参考図である。
【図４】本発明の一実施形態による撮像装置が備える記録媒体に記録されるデータを示す参考図である。
【図５】本発明の一実施形態における撮影条件の設定方法を説明するための参考図である。
【図６】本発明の一実施形態による撮像装置を用いた撮影の手順を示すフローチャートである。
【図７】本発明の一実施形態における画像データの一覧表示の例を示す参考図である。
【図８】本発明の一実施形態による撮像装置が備える表示装置に表示される合成画像の例を示す参考図である。
【符号の説明】
【００５６】
１・・・レンズ、２・・・撮像素子、３・・・駆動回路、４・・・アナログ処理部、５・・・Ａ／Ｄ変換部、６，１２・・・画像処理部、７・・・記録媒体、８・・・ＣＰＵ、９・・・画像変換部、１０・・・合成部、１１・・・補間部、１３・・・リサイズ部、１４・・・表示装置、１５・・・操作部
【図１】
2006319524.tif 000003
【図２】
2006319524.tif 000004
【図３】
2006319524.tif 000005
【図４】
2006319524.tif 000006
【図５】
2006319524.tif 000007
【図６】
2006319524.tif 000008
【図７】
2006319524.tif 000009
【図８】
2006319524.tif 000010