(57)【要約】【課題】  予め撮影した被写体画像を表示した状態で、背景を撮像装置のディスプレイに写しながら撮影のタイミングを計って撮影し、被写体画像と背景画像を合成することで、最適な構図の撮影画像の生成が可能な仕組みを提供すること【解決手段】  撮像光学系を介して入力される主要被写体を背景画像とともに撮影し、撮影された撮影画像を表示する表示部を有する撮像装置であって、撮影されることにより得られる撮影画像の主要被写体を特定し、特定された主要被写体を抽出する。主要被写体を次に撮影された撮影画像の上に表示し、表示された撮影画像と主要被写体とを合成して、合成された撮影画像と主要被写体との画像を記憶することを特徴とする。【選択図】図１
2015109606.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系を介して入力される主要被写体を背景画像とともに撮影する撮像手段と、
前記撮像手段により撮影された撮影画像を表示する表示手段とを有する撮像装置であって、
前記撮像手段で撮影されることにより得られる撮影画像の主要被写体を特定する被写体特定手段と、
前記被写体特定手段により特定された主要被写体を抽出する被写体抽出手段と、
前記表示手段は、前記被写体抽出手段により抽出された主要被写体を前記撮像手段により撮影された撮影画像の上に表示し、
前記表示手段により表示された撮影画像と主要被写体とを合成する画像合成手段と、
前記画像合成手段により合成された撮影画像と主要被写体との画像を記憶する記憶手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記表示手段は、前記被写体抽出手段により抽出された主要被写体の位置および／もしくはサイズを変更して表示し、
前記画像合成手段は、前記表示手段により位置および／もしくはサイズが変更された主要被写体を前記撮影画像に合成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記表示手段は、前記主要被写体を前記撮影画像の上に表示する際に、効果をつけて表示する被写体効果付け表示手段を有することを特徴とする請求項１乃至２に記載の撮像装置。
【請求項４】
前記被写体効果付け表示手段は、前記主要被写体を前記撮影画像の上に表示する際に、該主要被写体の輪郭を表示することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記被写体効果付け表示手段は、前記主要被写体を前記撮影画像の上に表示する際に、該主要被写体を半透明化して表示することを特徴とする請求項３に記載の撮像装置。
【請求項６】
撮像光学系を介して入力される主要被写体を背景画像とともに撮影する撮像工程と、
前記撮像工程により撮影された撮影画像を表示する表示工程とを有する撮像装置における撮像制御方法であって、
前記撮像工程で撮影されることにより得られる撮影画像の主要被写体を特定する被写体特定工程と、
前記被写体特定工程により特定された主要被写体を抽出する被写体抽出工程と、
前記表示工程は、前記被写体抽出工程により抽出された主要被写体を前記撮像工程により撮影された撮影画像の上に表示し、
前記表示工程により表示された撮影画像と主要被写体とを合成する画像合成工程と、
を有することを特徴とする撮像装置。
【請求項７】
請求項６に記載された撮像制御方法を実行するためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置を用いた画像の撮影方法に関連し、特に、被写体と背景を合成させる撮影方法に関する。
【背景技術】
【０００２】
撮影された２枚以上の画像を合成して、新たな画像を生成する技術が公開されている。特許文献１では、撮影した動画から被写体を切り出し部分画像として保存し、背景画像として撮影した画像にその部分画像を合成する方法が挙げられている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−７７７３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１のシステムでは、撮影した動画から被写体を切り出し部分画像として保存し、背景画像として撮影した画像にその部分画像を合成することが可能である。
【０００５】
しかしながら、予め撮影した背景と被写体の部分画像を合成する場合、背景として撮影した建物などの大きさは決まってしまい、合成をする場合は、その背景に合わせて被写体の部分画像の大きさを変更するのみになってしまう。そのため、撮影した被写体の部分画像に対して、背景をバランスよく合成させることは難しい場合がある。
【０００６】
本発明の目的は、予め撮影した被写体画像を表示した状態で、背景を撮像装置のディスプレイに写しながら撮影のタイミングを計って撮影し、被写体画像と背景画像を合成することで、最適な構図の撮影画像の生成が可能な仕組みを提供することである。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、撮像光学系を介して入力される主要被写体を背景画像とともに撮影する撮像手段と、前記撮像手段により撮影された撮影画像を表示する表示手段とを有する撮像装置であって、前記撮像手段で撮影されることにより得られる撮影画像の主要被写体を特定する被写体特定手段と、前記被写体特定手段により特定された主要被写体を抽出する被写体抽出手段と、前記表示手段は、前記被写体抽出手段により抽出された主要被写体を前記撮像手段により撮影された撮影画像の上に表示し、前記表示手段により表示された撮影画像と主要被写体とを合成する画像合成手段と、前記画像合成手段により合成された撮影画像と主要被写体との画像を記憶する記憶手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、予め撮影した被写体画像を表示した状態で、背景を撮像装置のディスプレイに写しながら撮影のタイミングを計って撮影し、被写体画像と背景画像を合成することで、最適な構図の撮影画像の生成が可能な仕組みを提供するという効果を有する。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る撮像装置のソフトウェア構成を示すブロック図である。
【図２】本発明の実施形態に係る撮像装置のハードウェア構成を示すブロック図である。
【図３】本発明の撮像装置１００における、撮影処理の流れを説明するフローチャートである。
【図４】本発明の撮像装置１００における、被写体撮影モードの処理の流れを説明するフローチャートである。
【図５】本発明の撮像装置１００における、背景撮影モードの処理の流れを説明するフローチャートである。
【図６】本発明の撮像装置１００の外観を示した模式図である。
【図７】本発明の被写体撮影モード時の撮像装置１００のディスプレイ２１７に表示される画面の一例を示す模式図である。
【図８】本発明の背景撮影モード時の撮像装置１００のディスプレイ２１７に表示される画面の一例を示す模式図である。
【図９】本発明の撮像装置１００における、撮影機能の選択の際のカメラ背面のイメージの一例を示す模式図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
【００１１】
まず、図１を参照して、本発明を実施する撮像装置１００のソフトウェア構成について説明する。なお、撮像装置１００は必ずしも撮像専用ではなくてもよく、携帯端末や携帯電話が以下の機能を有していてもよい。
【００１２】
図１の撮像装置１００は、撮影を行う撮像部１０１と、撮影した画像を表示する表示部１０２とを有し、また、撮影した撮影画像から主要被写体を特定するための被写体特定部１０３を有する。被写体特定部１０３の主要被写体の特定方法としては、主要被写体を任意の背景で撮影しておき、次に主要被写体がない状態で同じ背景のみを撮影して特定すればよい。また、被写体特定部１０３はこの方法のみに限らず、たとえば、特許文献１のような、ピントの合った画像領域の閉領域を特定しても良いし、その他の主要被写体を特定できる技術であれば、どのような処理でもかまわない。
【００１３】
また、撮像装置１００は、被写体特定部１０３で特定された主要被写体を抽出する被写体抽出部１０４を有する。また、表示部１０２は、抽出された主要被写体を、次の撮影で撮影画面の前面に表示し、さらに、主要被写体を効果をつけて表示する被写体効果付け表示部１０６を有する。また、撮像装置１００は、画像合成部１０５を有しており、抽出された主要被写体と撮影画像とを主要被写体を前面において合成することにより、ユーザが望む最適な構図の撮像画像の生成が可能となる。
【００１４】
図２は、図１に示した撮像装置１００のハードウェア構成を示すブロック図である。
【００１５】
撮像装置１００は、いわゆるデジタルカメラから成り、撮影用のレンズ２０１、撮像素子（以下、「ＣＣＤ」と称する）２０２、カメラ信号処理部（以下、「ＡＤＣ」と称する）２０３、画像処理部２０４、システムコントローラ２１０、バッファメモリ２１１、フラッシュＲＯＭ２１２、インターフェース回路（以下、「Ｉ／Ｆ回路」と称する）２１３、カードホルダ２１４、メモリカード２１５、ディスプレイドライバ２１６、および操作部２２０を備える。
【００１６】
レンズ２０１は、レンズ等であり、対物レンズ、ズームレンズ、およびフォーカスレンズなどで構成される。ズームレンズおよびフォーカスレンズについては、不図示の駆動機構により光軸方向へ駆動される。撮像素子２０２は、レンズ２０１から入射した撮像光を結像し、電気信号（アナログ信号）に変換して出力するＣＣＤイメージセンサで構成される。
【００１７】
カメラ信号処理部（ＡＤＣ）２０３は、撮像素子２０２から受けた電気信号にデジタル変換やホワイトバランス調整などの信号処理を行なって、デジタル信号に変換する機能を有する。システムコントローラ２１０は、画像処理部２０４、バッファメモリ２１１、フラッシュＲＯＭ２１２、Ｉ／Ｆ回路２１３、ディスプレイドライバ２１６、サウンドドライバ２１８、ＬＥＤドライバ２２８、および操作部２２０に接続されている
【００１８】
画像処理部２０４は、前処理部２０５、ＹＣ処理部２０６、電子ズーム処理部２０７、圧縮部２０８、および伸長部２０９を備え、カメラ信号処理部２０３から出力されるデジタル信号から画像データを生成し、各種画像処理を行う機能を有する。
【００１９】
前処理部２０５は、入力される画像データに基づく画像のホワイトバランスを調整するホワイトバランス処理や画像のガンマ補正処理を行う機能を有する。ホワイトバランス処理は、画像の色合いを、実物の色合いに近くなるように調整したり、光源（蛍光灯や太陽光など）に合った適正な色に調整したりする処理である。ガンマ補正処理は、画像のコントラストを調整する処理である。なお、前処理部２０５は、ホワイトバランス処理およびガンマ補正処理以外の画像処理を実行することも可能である。
【００２０】
ＹＣ処理部２０６は、入力される画像データに基づく画像を、輝度情報「Ｙ」と、輝度信号と青色の色差情報「Ｃｂ」と、輝度信号と赤色の色差情報「Ｃｒ」とに分離する機能を有する。電子ズーム処理部２０７は、画像の一部（例えば中央部）を所定の大きさでトリミングし、トリミングした画像を信号処理で元画像の大きさに拡大する機能を有する。
【００２１】
電子ズーム処理部２０７は、例えば、撮影された１６００×１２００ドットの画像から中央の１０２４×７６８ドットの画像を切り出し、データ補間を行いながら１６００×１２００ドットのサイズに拡大することができる。
【００２２】
圧縮部２０８は、画像データをＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）方式などの圧縮形式によって圧縮する機能を有する。伸長部２０９は、圧縮されている画像データを伸長する機能を有する。例えば、画像データをＪＰＥＧ方式で圧縮する場合、まず、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理が行われる（ＤＣＴ処理）。次に、画像の階調やグラデーションを表現する段階を数値（量子化ビット数）で表現する量子化処理が行われる。最後に、ハフマン符号化処理で画像データが圧縮される。
【００２３】
具体的には、画像データの信号文字列が一定のビット毎に区切られ、出現頻度が高い文字列に対してより短い符号が与えてられてゆく。なお、圧縮処理を行わないで画像データを記録する方式の場合は、圧縮部２０８および伸長部２０９を省略することができる。また、画像データの圧縮形式は、ＪＰＥＧ方式に限らず、ＧＩＦ（Ｇｒａｐｈｉｃａｌ  Ｉｎｔｅｒｃｈａｎｇｅ  Ｆｏｒｍａｔ）形式などであっても、同様に処理を行うことができる。
【００２４】
バッファメモリ２１１には、画像処理部２０４で画像処理が行われる際に、一時的に画像データが保存される。フラッシュＲＯＭ２１２には、撮像装置１００の各種設定情報や、後述するユーザ認証情報が保存される。Ｉ／Ｆ回路２１３は、システムコントローラ２１０から出力される画像データを、メモリカード２１５に記録可能なデータ形式に変換する。また、Ｉ／Ｆ回路２１３は、メモリカード２１５から読み出された画像データ等を、システムコントローラ２１０で処理可能なデータ形式に変換する。
【００２５】
カードホルダ２１４は、記録媒体であるメモリカード２１５を撮像装置１００に着脱可能にする機構を備えると共に、メモリカード２１５との間でデータ通信が可能な電気接点を備える。また、カードホルダ２１４は、撮像装置１００で利用される記録媒体の種類に応じた構造を有する。メモリカード２１５は、フラッシュメモリなどの半導体記憶素子を内蔵し、カードホルダ２１４に着脱可能なカード型の記録媒体である。メモリカード２１５には、撮像装置１００で撮影された画像データを記録することができる。
【００２６】
ディスプレイドライバ２１６は、システムコントローラ２１０から出力される画像データを液晶ディスプレイ２１７で表示可能な信号に変換する。具体的には、ディスプレイドライバ２１６は、システムコントローラ２１０から出力されるデジタルの画像データをアナログ画像信号に変換する処理を行い、次に画像サイズを液晶ディスプレイ２１７の表示可能エリアのサイズに適したサイズに変換する処理を行う。
【００２７】
サウンドドライバ２１８は、システムコントローラ２１０から出力される音声データをスピーカ２１９で鳴動可能な信号に変換する処理を行う。ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）ドライバ２２８は、システムコントローラ２１０から出力される命令に従いランプ２２９の制御を行う。
【００２８】
操作部２２０は、電源スイッチ２２１、モードダイヤル２２２、撮影ボタン２２３、カーソルキー２２４、ズームボタン２２５、および閲覧（再生）ボタン２２６を備え、ユーザからの操作入力を受け付けて、操作内容に応じた信号をシステムコントローラ２１０に出力する。なお、操作部２２０には、図示の操作ボタン以外の操作ボタン類も含まれるが、それらの説明は省略する。
【００２９】
モードダイヤル（選択ボタン）２２２は、撮影動作のモードを切り替えるための回転可能なダイヤルである。ユーザはモードダイヤル２２２を操作することで、複数の撮影動作モードを選択することが可能である。なお、本発明の実施形態で、モードダイヤルは、ダイヤル式機構として記載をするが、例えば、ダイヤルではなくスライド式のボタンであってもよい。つまり、モードダイヤル２２２について、その機構はダイヤルに限定されず、カメラのモードを切り替えられるための機構を備えていることが本質である。
【００３０】
閲覧ボタン２２６は、撮影した画像データを閲覧する閲覧モード（再生モード）に切り替えるためのボタンである。閲覧ボタン２２６が押下されると、撮影モードから閲覧モードに移行する。なお、閲覧モードへの切替方法については、閲覧ボタン２２６の押下に限定されず、液晶ディスプレイ２１７上のタッチパネル（不図示）などによる移行方法であってもよい。
【００３１】
閲覧モードでは、システムコントローラ２１０が、Ｉ／Ｆ回路２１３を介して、カードホルダ２１４に装着されているメモリカード２１５から設定情報と画像データを読み出す。設定情報は、現在装着されているメモリカード２１５に記録されている画像の枚数および記録されている画像データの容量などである。読み出される画像データは、例えば、画像１枚分の画像データまたはサムネイルデータである。なお、メモリカード２１５から読み出される画像データは、上述したように所定の圧縮形式で圧縮されている。
【００３２】
メモリカード２１５から読み出された画像データは、Ｉ／Ｆ回路２１３およびシステムコントローラ２１０を介して、ディスプレイドライバ２１６へ入力される。ディスプレイドライバ２１６は、入力された画像データを液晶ディスプレイ２１７に表示させる。
【００３３】
カーソルキー２２４は、ユーザが撮像装置１００に対する所定の指示や機能選択を行うためのキーである。ユーザは、カーソルキー２２４により、撮像装置１００に対する各種設定情報やユーザ認証情報などの操作入力を行うことができる。
【００３４】
また、カーソルキー２２４により、液晶ディスプレイ２１７にメニュ画面や撮像装置１００に対して各種設定情報を設定するための画面を表示したり、撮像装置１００が有する所定の機能を選択することができる。
【００３５】
さらに、カーソルキー２２４により、撮像装置１００で撮影された画像データを液晶ディスプレイ２１７上にプレビュー表示させることができる。プレビュー表示とは、撮像装置１００で撮影した画像を、その直後に液晶ディスプレイ２１７に表示させる機能である。
【００３６】
なお、プレビュー表示については、液晶ディスプレイ２１７上に撮影した画像を１枚のみ表示する構成に限定されず、サムネイル画像を含む複数の画像を表示するように構成してもよい。また、プレビュー表示の切り替えについては、カーソルキー２２４の押下に限らず、他のボタンの押下などの一般的な方法を利用して切り替えられる構成にしてもよい。また、プレビュー表示画面で、プレビュー表示画像の削除や編集などが行えるように構成してもよい。
【００３７】
レンズ制御部２２７は、レンズ２０１のレンズに対して、ズーム、フォーカス、絞り等の制御を行う。また、撮像装置１００は、被写体を撮像して画像データを得る撮影モードと当該撮影モードで得た画像データを表示する閲覧（再生）モードとを備える。
【００３８】
なお、音声についてはマイクやスピーカを用いることで、撮像装置１００と同様に記録、及び再生が可能である。また、映像（動画）記録時には、通常音声記録も同時に行われ、圧縮部２０８および伸長部２０９で、映像と音声が多重化される。
【００３９】
また、撮像装置１００における撮影動作について図２を用いて説明する。まず、ユーザが電源スイッチ２２１を操作し、撮像装置１００の電源をＯＮにする。すると、撮像装置１００に内蔵されているバッテリー（不図示）から各回路へ電源供給されて、撮像装置１００の起動処理（レンズバリアを開く動作制御およびマイクロコンピューターのリセット処理など）が行われる。
【００４０】
撮像装置１００は、電源ＯＦＦ時に電源スイッチ２２１が押下されると電源ＯＮとなり、自動的に撮影モードとなるように構成されている。また、電源ＯＦＦ時に閲覧ボタンが押下されると電源ＯＮとなり、自動的に閲覧モードとなるように構成されている。
【００４１】
撮像装置１００が撮影モードに移行すると、光学画像がレンズ２０１を介して撮像装置１００内へ入射し、撮像素子（ＣＣＤ）２０２に結像される。ＣＣＤ２０２は、入射される光学画像を電気信号に変換して、カメラ信号処理部（ＡＤＣ）２０３へ出力する。ＡＤＣ２０３は、入力される電気信号（アナログ信号）をデジタル信号に変換する。ＡＤＣ２０３から出力されるデジタル信号は画像処理部２０４に入力される。
【００４２】
画像処理部２０４内の前処理部２０５では、入力されるデジタル信号に基づき画像データを生成し、ホワイトバランス処理およびガンマ補正処理などが行われる。画像処理部２０４内のＹＣ処理部２０６では、画像データが輝度信号Ｙと色差信号ＣｒおよびＣｂとに分離され、色差信号ＣｒおよびＣｂの情報量を減らす処理が行われる。
【００４３】
色差信号ＣｒおよびＣｂの情報量の削減処理は、例えば、画像の主走査方向の色情報を間引く「４：２：２ダウンサンプリング処理」や、画像の縦横方向の色情報を間引く「４：１：１ダウンサンプリング処理」などがある。なお、前処理部２０５およびＹＣ処理部２０６で画像処理を行う際は、画像データを一時的にバッファメモリ２１１に保存し、随時バッファメモリ２１１に保存されている画像データを読み出しながら画像処理が行われる。
【００４４】
画像処理部２０４から出力される画像データ（非圧縮）はシステムコントローラ２１０に入力される。システムコントローラ２１０は、画像処理部２０４から出力される画像データを、ディスプレイドライバ２１６へ出力する。
【００４５】
ディスプレイドライバ２１６は、入力される画像データ（デジタル信号）をアナログ画像信号に変換すると共に、アナログ画像信号に基づく画像のサイズを液晶ディスプレイ２１７で表示可能なサイズに調整する。
【００４６】
また、ディスプレイドライバ２１６は、液晶ディスプレイ２１７に画像を表示させるよう制御する。このとき、液晶ディスプレイ２１７に表示される画像は、ＣＣＤ２０２、ＡＤＣ２０３、および画像処理部２０４で、連続的に信号処理されて生成される画像（スルー画像）である。
【００４７】
液晶ディスプレイ２１７にスルー画像が表示されている状態で、ユーザが希望のタイミングで撮影ボタン２２３を操作すると、システムコントローラ２１０は画像処理部２０４に制御信号を出力する。画像処理部２０４に制御信号が入力されると、圧縮部２０８は、前処理部２０５およびＹＣ処理部２０６で画像処理された画像データをバッファメモリ２１１へ保存し、圧縮処理を行う。
【００４８】
具体的には、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理（ＤＣＴ処理）や、画像の階調やグラデーションを表現する段階を量子化ビット数で表現する量子化処理や、画像データの信号文字列を一定のビット毎に区切り、出現頻度が高い文字列に対して、より短い符号を与えてゆくハフマン符号化処理などが実行される。圧縮された画像データは、システムコントローラ２１０およびディスプレイドライバ２１６を介して液晶ディスプレイ２１７に表示される。また、圧縮された画像データは、カードホルダ２１４を介してメモリカード２１５に記録される。
【００４９】
撮影ボタン２２３が操作される前にズームボタン２２５が操作されると、システムコントローラ２１０は光学ズーム処理や電子ズーム処理を実行し、画像の大きさを拡大または縮小させることができる。そして、ズームボタン２２５の操作後、撮影ボタン２２３が操作されると、拡大または縮小された画像の画像データがメモリカード２１５へ記録される。
【００５０】
書込み部２３０は、カーソルキー２２４により指示入力された設定情報を用いて、画像データに対して、書込みを行う。例えば、デジタルカメラの機種名や、撮影年月日、露出情報、撮影位置等が入力されたＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）に対して、書込み編集を行う。
【００５１】
次に、図６を参照して、本発明の撮像装置の外観を説明する。
【００５２】
図６は、本発明の撮像装置１００の外観を示した模式図である。図６（ａ）は、本発明の実施の形態を示すデジタルカメラの正面図である。また、図６（ｂ）は、本発明の実施の形態を示すデジタルカメラの背面図である。６０１は撮影ボタン（図２の２２３）である。撮影者が６０１の撮影ボタンを押下したことを受け取ると、背景撮影時に選択した被写体の部分画像と撮影した背景画像との合成を行う。合成完了後、合成した画像を液晶画面である６０２（図２のディスプレイ２１７）に表示する。
【００５３】
次に、図３のフローチャートを参照して、本発明の撮像装置が撮影する処理手順について説明する。
【００５４】
図３は、本発明の撮像装置１００における、撮影処理の流れを説明するフローチャートであり、撮像装置１００のシステムコントローラ（図２の２１０）の制御の下、処理が実行される。なお、Ｓ３０１〜Ｓ３０７は各処理ステップを示す。
【００５５】
図３のフローチャートは、ユーザにより撮像装置が起動されると開始される。
【００５６】
まず、ステップＳ３０１において、撮像装置１００のシステムコントローラ２１０は、本発明の合成撮影を実施するか否かを受け付けるメニュ画面を表示する。図８（ａ）を参照して、合成撮影へ移行する際の画面イメージを説明する。
【００５７】
図９は、本発明の撮像装置１００における、撮影機能の選択の際のカメラ背面のイメージの一例を示す模式図である。
【００５８】
図９（ａ）は、起動時にディスプレイ２１７に表示されるメニュ画面一例であり、画面には起動時のメニュ画面９００が表示されている。このメニュ画面９００でのユーザの選択により、次のステップＳ３０２からの遷移先が決まる。図３のフローチャートの説明に戻る。
【００５９】
図３のステップＳ３０１において、メニュ画面９００を表示すると、撮像装置１００のシステムコントローラ２１０は、ステップＳ３０２において、ユーザからのメニュ画面９００の項目の選択を受け付ける。システムコントローラ２１０は受け付けたメニュ画面９００の項目により、ステップＳ３０３へと進むかステップＳ３０７へと進むかを判断する。
【００６０】
図８（ａ）において、「合成撮影」ボタン９０１が押下されると、本発明の処理であるステップＳ３０３へと処理を進め、それ以外のボタンが押下された場合は、ステップＳ３０７の通常モードへと処理を移行する。ステップＳ３０７の通常モードの処理は、通常の撮影機能や画像再生機能などの処理を行う処理であるので、説明を省略する。
【００６１】
ステップＳ３０３へと処理を移行すると、撮像装置１００のシステムコントローラ２１０は、合成撮影時のモード選択画面を表示する。図８（ｂ）を参照して、ディスプレイ２１７に表示されるモード選択画面の画面イメージを説明する。
【００６２】
図８（ｂ）は、合成撮影をする段階でディスプレイ２１７に表示されるモード選択画面の一例であり、画面にはモード選択画面９１０が表示される。このモード選択画面９１０でのユーザの選択により、次のステップＳ３０４からの遷移先が決まる。図３のフローチャートの説明に戻る。
【００６３】
図３のステップＳ３０３において、モード選択画面９１０を表示すると、撮像装置１００のシステムコントローラ２１０は、ステップＳ３０４において、ユーザからのモード選択画面９１０の項目の選択を受け付ける。システムコントローラ２１０は受け付けたモード選択画面９１０の項目により、ステップＳ３０５へと進むかステップＳ３０６へと進むかを判断する。
【００６４】
モード選択画面９１０において、「被写体撮影モード」９１１ボタンが押下されると、ステップＳ３０５へと処理を進め、被写体画像を撮影する処理へと移行する。一方、モード選択画面９１０において、「背景撮影モード」９１２ボタンが押下されると、ステップＳ３０６へと処理を進め、ステップＳ３０５で抜き出した被写体と背景とを一度に撮影する処理を行う。以上の一連の処理を終えると、本発明の処理を終える。
【００６５】
次に、ステップＳ３０５における被写体撮影モードの処理の流れを図４を参照して説明する。
【００６６】
図４は、本発明の撮像装置１００における、被写体撮影モードの処理の流れを説明するフローチャートであり、撮像装置１００のシステムコントローラ（図２の２１０）の制御の下、処理が実行される。なお、Ｓ４０１〜Ｓ４０７は各処理ステップを示す。
【００６７】
図４のフローチャートは、図３のステップＳ３０５へと処理が遷移した際に開始される処理の流れである。
【００６８】
まず、ステップＳ４０１において、撮像装置１００のシステムコントローラ２１０は、被写体を抽出するための画像の撮影を行う。この撮影はユーザが抽出したい画像を撮影する操作によって実現される。
【００６９】
次に、ステップＳ４０２において、撮像装置１００のシステムコントローラ２１０は、ステップＳ４０１で撮影した被写体（主要被写体）を抽出するための処理を行う。具体的には、ユーザによりステップＳ４０１で撮影した同じ場所で、被写体を排除して撮影することにより、ステップＳ４０１の撮影画像とステップＳ４０２での撮影画像の差分を特定し、ステップＳ４０１の撮影画像とステップＳ４０２の撮影画像の差分を抽出することによって実現する。なお、ステップＳ４０２の処理は、上記方法以外の方法でも良く、たとえば特許文献１のように、ピントの合う画像領域の閉領域を特定して被写体を特定しても良い。
【００７０】
次に、ステップＳ４０３において、抽出した被写体をディスプレイ２１７に表示する。
【００７１】
ステップＳ４０１からＳ４０３の処理における撮像装置１００のディスプレイ２１７に表示される具体的な例を図７を参照して説明する。
【００７２】
図７は、本発明の被写体撮影モード時の撮像装置１００のディスプレイ２１７に表示される画面の一例を示す模式図である。
【００７３】
図７は、撮像装置１００の背面の図であり、ディスプレイ２１７には撮像装置で撮影された画像７００が表示されている。
【００７４】
図７（ａ）は、ステップＳ４０１において撮影された画像を表示したイメージである。撮影画像の中には被写体である７０１（２人の人物）が撮影されている。次の図７（ｂ）は、ステップＳ４０２において撮影された画像であり、被写体７０１が存在しない状況（７０２）で撮影された画像が表示されている。図７（ｃ）は、ステップＳ４０３において表示される画面イメージであり、図７（ａ）の７００の画像から図７（ｂ）の７００の画像を差し引いた画像７０３のみが表示されている。図４のフローチャートの説明に戻る。
【００７５】
次に、図４のステップＳ４０４において、撮像装置１００のシステムコントローラ２１０は、ステップＳ４０３で表示した画面上の被写体の位置を移動するかもしくはサイズを変更するかを受け付ける。被写体の移動かサイズ変更を受け付けるかどうかは、たとえば図７（ｃ）の「移動／サイズ変更」ボタン７０４が押下されるかどうかによって判断する。「移動／サイズ変更」ボタン７０４が押下されると、撮像装置１００のディスプレイ２１７はユーザにより被写体画像７０３を自由に移動・拡縮が可能となり、ユーザのドラッグ・ピンチアウト・ピンチイン操作により被写体画像７０３の位置やサイズを変更可能となる。一方、「移動／サイズ変更」ボタン７０４が押されず、たとえば撮影ボタン６０１などが押下された場合は、被写体のサイズは変えず、抽出した画像の位置、サイズでメモリカード２１５に保存する（ステップＳ４０７）。
【００７６】
ステップＳ４０４において、「移動／サイズ変更」ボタン７０４が押下された後、被写体画像の位置や大きさが変更されると、ステップＳ４０５において、撮像装置１００のシステムコントローラ２１０は、変更された被写体画像をディスプレイ２１７に表示する。その後、ステップＳ４０６において、撮像装置１００のシステムコントローラ２１０は、決定ボタンとしての撮影ボタン６０１などの押下により、変更した被写体画像の位置やサイズで保存するかどうかを受け付ける。決定ボタンとしての撮影ボタン６０１が押下されると、ディスプレイ２１７上に表示した位置とサイズで被写体画像をメモリカード２１５に保存する（ステップＳ４０７）。一方、被写体画像の位置や大きさの変更をキャンセルするボタンとしてのキャンセルボタン７０５が押下されると、被写体画像７０３をデフォルトの位置に戻し、ステップＳ４０４の処理から繰り返す。
【００７７】
以上の処理を行うことにより、被写体画像（たとえば７０３のようなデータ）をメモリカード２１５に保存し、以降であわせる背景画像に対する被写体画像の候補を蓄積する。
【００７８】
次に、図３のステップＳ３０６における背景撮影モードの処理の流れを図５を参照して説明する。
【００７９】
図５は、本発明の撮像装置１００における、背景撮影モードの処理の流れを説明するフローチャートであり、撮像装置１００のシステムコントローラ（図２の２１０）の制御の下、処理が実行される。なお、Ｓ５０１〜Ｓ５１３は各処理ステップを示す。
【００８０】
図５のフローチャートは、図３のステップＳ３０６へと処理が遷移した際に開始される処理の流れである。
【００８１】
まず、ステップＳ５０１において、撮像装置１００のシステムコントローラ２１０は、撮像装置１００のメモリカード２１５に被写体のデータがあるかどうかを確認する。
【００８２】
次のステップＳ５０２において、メモリカード２１５に被写体のデータがあるかないかで処理を分ける。被写体データがある場合は、ステップＳ５０５へと処理を移行し、背景撮影の処理を行う。一方、メモリカード２１５に被写体データがない場合は、ステップＳ５０３へと処理を移行し、被写体撮影を行うかどうかの判断を受け付ける。ステップＳ５０３へと処理を進めると、撮像装置１００のシステムコントローラ２１０は、被写体撮影を行うかどうかの判断を受け付ける。ステップＳ５０３において、被写体撮影を行うという判断を受け付けた場合は、ステップＳ５０４へと遷移し、被写体撮影モードの処理、すなわち、図４の処理を実施する。また、被写体撮影を行わないという判断を受け付けた場合は、図５のフローチャートの処理を終える。
【００８３】
ステップＳ５０２において、被写体画像があると判断された場合、ステップＳ５０５へと処理を移行し、以降の背景撮影の処理を行う。
【００８４】
ステップＳ５０５において、撮像装置１００のシステムコントローラ２１０は、メモリカード２１５から被写体画像データを取得する。取得したそれらの被写体画像を次のステップＳ５０６において、ディスプレイ２１７へ一覧画面として表示する。撮像装置１００のディスプレイ２１７へ被写体画像の候補を表示した例を図８を参照して説明する。
【００８５】
図８は、本発明の背景撮影モード時の撮像装置１００のディスプレイ２１７に表示される画面の一例を示す模式図である。
【００８６】
図８は、撮像装置１００の背面の図であり、ディスプレイ２１７には撮像装置で使用される画像８００が表示されている。
【００８７】
図８（ａ）は、ステップＳ５０５において撮像装置１００がメモリカード２１５から取得した被写体画像をステップＳ５０６において表示させている例である。図８（ａ）の８０１から８０４が具体的な被写体画像の例であり、８０１から８０４のそれぞれの黒地の部分は何も撮影されていないことを示す。これらの被写体画像から、ユーザが重ねたい被写体画像を選択し、背景撮影と重ねることにより、合成画像を生成する。図５のフローチャートの説明に戻る。
【００８８】
図５のステップＳ５０６において、被写体画像の一覧を表示すると、次に、ステップＳ５０７において、撮像装置１００のシステムコントローラ２１０は、ユーザからステップＳ５０６で表示した被写体画像のうちの一枚の選択を受け付ける。
【００８９】
次に、ステップＳ５０８において、撮像装置１００のシステムコントローラ２１０は、選択された被写体画像をディスプレイ２１７に表示する。撮像装置１００のディスプレイ２１７へ選ばれた被写体画像を表示した例を図８（ｂ）を参照して説明する。
【００９０】
図８（ｂ）は、ステップＳ５０７において撮像装置１００がユーザから選択を受け付けた被写体画像をステップＳ５０８において表示させている例である。図８（ｂ）の８０５が具体的な被写体画像の例であり、黒地の部分には何も撮影されていないことを示す。この表示によってユーザは重ねたい被写体画像が適切かどうかを確認することができる。なお、図８（ｂ）において、この被写体画像をユーザが望んでいなかった場合には、被写体画像の選択をキャンセルするボタンとしてのキャンセルボタン８０７が押下され、キャンセルボタン８０７が押下されると、図５のステップＳ５０６へ戻る公正としても良い。図５のフローチャートの説明に戻る。
【００９１】
次に、図５のステップＳ５０９において、撮像装置１００のシステムコントローラ２１０は、被写体画像への画像効果を受け付ける処理を行う。具体的には、被写体画像を背景撮影画像と重ねた際の被写体の奥の画像を確認できるようにするため、被写体画像を半透明で表示させたり、輪郭だけを表示させたりする処理を行う。処理された画像効果を次のステップＳ５１０で表示している。ステップＳ５０９のユーザの操作例を図８（ｂ）を参照して説明する。
【００９２】
図８（ｂ）において、ユーザからレベルバー８０６の操作を受け付けることにより、被写体画像８０５の透明度や輪郭線の太さなどの表示項目を調整する。具体的に説明すると、たとえばレベルバー８０６が一番左に移動されると、透明度が０、すなわち被写体画像そのものを表示するイメージとなり、レベルバー８０６が一番右に移動されると透明度が最大となるイメージである。図５のフローチャートの説明に戻る。
【００９３】
ステップＳ５１０において、被写体画像８０５に画像効果をつけてディスプレイ２１７に表示すると、次にステップＳ５１１において、ユーザが背景画像を撮影するために撮像装置１００を撮影したい方向に向けるので、撮像装置１００のシステムコントローラ２１０は、背景画像の撮影しながら、ディスプレイ２１７に背景画像を写す。その後、撮影ボタンが押下されると、被写体画像と背景画像を合成した画像をメモリカード２１５などに記憶し、一連の処理を終える。背景画像を撮影する際のディスプレイ２１７の画面イメージと背景画像と被写体画像８０５を合成した画像を表示したディスプレイ２１７の画面イメージを図８（ｃ）、（ｄ）を参照して説明する。
【００９４】
図８（ｃ）は、ステップＳ５１１において撮像装置１００が背景画像を撮影する際にディスプレイ２１７に表示されるイメージ図である。
【００９５】
図８（ｃ）にあるように、撮像装置１００は、ディスプレイ２１７に被写体画像８０５を効果をつけて表示させたまま、背景画像８０８をディスプレイに表示させる。このことにより、ユーザは、固定された被写体画像８０９と、カメラの向きやズーム率などを考慮した流動的な背景画像８０８とを一緒に確認することができ、これによりさまざまな構図による撮影が可能となる。撮影後に背景画像８０８と被写体画像８０５が合成されたイメージを図８（ｄ）を参照して説明する。
【００９６】
図８（ｄ）は、ステップＳ５１１において撮像装置１００が背景画像８０８と被写体画像８０５を合成した画像を表示したイメージ図である。
【００９７】
以上の処理により、ユーザが事前に被写体画像を作成しておくことで、任意の背景画像との撮影が可能となり、また背景画像の撮影の際に被写体画像を固定して、背景画像を自由なアングルや構図で撮影することができるという効果を有する。
【００９８】
上記実施形態では、撮像装置に適用する場合を説明したが、撮像部を有する装置であれば、携帯端末でも実施することも可能である。
【００９９】
なお、特に図示しないが、記録媒体に記憶されるプログラム群を管理する情報、例えばバ−ジョン情報，作成者等も記憶され、かつ、プログラム読み出し側のＯＳ等に依存する情報、例えばプログラムを識別表示するアイコン等も記憶される場合もある。
【０１００】
さらに、各種プログラムに従属するデータも同じディレクトリに管理されている。また、インスト−ルするプログラムやデータが圧縮されている場合に、解凍するプログラム等も記憶される場合もある。
【０１０１】
本実施形態における図３、図４、図５に示す機能が外部からインスト−ルされるプログラムによって、撮像機能を有する情報処理装置により遂行されていてもよい。そして、その場合、ＣＤ−ＲＯＭやフラッシュメモリやＦＤ等の記録媒体により、あるいはネットワークを介して外部の記録媒体から、プログラムを含む情報群を出力装置に供給される場合でも本発明は適用されるものである。
【０１０２】
以上のように、前述した実施形態の機能を実現するソフトウェアのプログラムコ−ドを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュ−タ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコ−ドを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【０１０３】
この場合、記録媒体から読み出されたプログラムコ−ド自体が本発明の新規な機能を実現することになり、そのプログラムコ−ドを記憶した記録媒体は本発明を構成することになる。
【０１０４】
プログラムコ−ドを供給するための記録媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ−ＲＯＭ，磁気テ−プ，不揮発性のメモリカ−ド，ＲＯＭ，ＥＥＰＲＯＭ，シリコンディスク等を用いることができる。
【０１０５】
また、コンピュ−タが読み出したプログラムコ−ドを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコ−ドの指示に基づき、コンピュ−タ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０６】
さらに、記録媒体から読み出されたプログラムコ−ドが、コンピュ−タに挿入された機能拡張ボ−ドやコンピュ−タに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコ−ドの指示に基づき、その機能拡張ボ−ドや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０７】
また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【０１０８】
さらに、本発明を達成するためのソフトウェアによって表されるプログラムをネットワーク上のサーバ，データベ−ス等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【０１０９】
なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【０１１０】
１００  撮像装置
１０１  撮像部
１０２  表示部
１０３  被写体特定部
１０４  被写体抽出部
１０５  画像合成部
１０６  被写体効果付け表示部
【図１】
2015109606.tif 000003
【図２】
2015109606.tif 000004
【図３】
2015109606.tif 000005
【図４】
2015109606.tif 000006
【図５】
2015109606.tif 000007
【図６】
2015109606.tif 000008
【図７】
2015109606.tif 000009
【図８】
2015109606.tif 000010
【図９】
2015109606.tif 000011