(57)【要約】【課題】撮影時に構図を容易に決定できるだけでなく、撮像状態を確認できるようにする。【解決手段】制御部３５は、主撮像部２１で生成された主撮像画像と、副撮像部２２で生成された副撮像画像の画角を比較する。画像合成部２４は、制御部３５の画角比較結果によって主撮像画像の画角が副撮像画像の画角よりも狭いことが示された場合、副撮像画像に主撮像画像を重畳してあるいは主撮像画像に縮小した前記副撮像画像を重畳して表示画像を生成する。主撮像画像の画角が副撮像画像の画角よりも狭い場合、主撮像画像を表示画像とする。副撮像画像を利用して撮影時に構図を容易に決定できる。また、主撮像画像によって撮像状態を確認できる。【選択図】        図５
2020167518.tif 000002
【特許請求の範囲】
【請求項１】
主撮像部で生成された主撮像画像と副撮像部で生成された副撮像画像との画角比較結果に応じて、前記主撮像画像と前記副撮像画像を用いて画像合成処理を行い表示画像を生成する画像合成部と、
前記画像合成部で生成される表示画像の画像視認動作を検出したことに応じて、前記画像合成部で画像合成処理を行わせる制御部と
を備える画像処理装置。
【請求項２】
前記主撮像部または前記副撮像部は画角が変更可能とされている
請求項１に記載の画像処理装置。
【請求項３】
前記主撮像画像と前記副撮像画像の画角を示す画角情報に基づき、前記主撮像画像と前記副撮像画像との画角比較を行い比較結果を前記画像合成部へ出力する制御部をさらに備える
請求項１に記載の画像処理装置。
【請求項４】
前記制御部は、前記主撮像部または前記副撮像部でズーム動作が行われた場合、前記主撮像画像と前記副撮像画像との画角比較結果を前記画像合成部へ出力する
請求項３に記載の画像処理装置。
【請求項５】
前記画像合成部は、前記主撮像画像の画角が前記副撮像画像の画角よりも狭い場合、前記主撮像画像と前記副撮像画像を用いて画像合成処理を行い前記表示画像を生成する
請求項１に記載の画像処理装置。
【請求項６】
前記画像合成部は、前記副撮像画像に前記主撮像画像を重畳して前記表示画像を生成する
請求項５に記載の画像処理装置。
【請求項７】
前記画像合成部は、前記主撮像画像に縮小した前記副撮像画像を重畳して前記表示画像を生成する
請求項５に記載の画像処理装置。
【請求項８】
ユーザ操作を受け付けるユーザインタフェース部をさらに備え、
前記画像合成部は、前記ユーザインタフェース部で受け付けた前記ユーザ操作に応じて重畳サイズまたは重畳位置を変更する
請求項５に記載の画像処理装置。
【請求項９】
前記画像合成部は、前記主撮像画像の画角が前記副撮像画像の画角以上に広い場合、前記主撮像画像を前記表示画像とする
請求項１に記載の画像処理装置。
【請求項１０】
前記副撮像画像は、前記主撮像部の撮像方向に対応する撮像方向である前記副撮像部で生成された画像である
請求項１に記載の画像処理装置。
【請求項１１】
主撮像部で生成された主撮像画像と副撮像部で生成された副撮像画像との画角比較結果に応じて、前記主撮像画像と前記副撮像画像を用いて画像合成処理を行い表示画像を画像合成部で生成することと、
前記画像合成部で生成される表示画像の画像視認動作を検出したことに応じて、制御部で前記画像合成処理を前記画像合成部で行わせること
を含む画像処理方法。
【請求項１２】
表示画像の生成をコンピュータで実行させるプログラムであって、
主撮像部で生成された主撮像画像と副撮像部で生成された副撮像画像との画角比較結果に応じて、前記主撮像画像と前記副撮像画像を用いて画像合成処理を行い表示画像を生成する手順と、
前記表示画像の画像視認動作を検出したことに応じて、前記画像合成処理を行わせる手順と
を前記コンピュータで実行させるプログラム。
【請求項１３】
主撮像画像を生成する主撮像部と、
前記主撮像部の撮像方向に対応する撮像方向の副撮像画像を生成する副撮像部と、
前記主撮像画像と前記副撮像画像の画角比較を行う制御部と、
前記制御部で行われた前記画角比較の比較結果に応じて、前記主撮像画像と前記副撮像画像を用いて画像合成処理を行い表示画像を生成する画像合成部と、
前記画像合成部で生成された表示画像を表示する表示部と
画像視認動作を検出する検出部を備え、
前記制御部は、前記画像合成部で生成される表示画像の画像視認動作を前記検出部で検出したことに応じて、前記画像合成部で画像合成処理を行わせる撮像装置。
【請求項１４】
前記表示部は複数設けられており、前記制御部は、前記検出部の検出結果に応じて、前記表示画像を表示する表示部を切り替える
請求項１３に記載の撮像装置。
【請求項１５】
前記複数の表示部の１つはビューファインダであり、ユーザによるビューファインダ画像の画像視認動作が行われたとき、前記表示画像を前記ビューファインダに表示する
請求項１４に記載の撮像装置。
【請求項１６】
ユーザ操作を受け付けるユーザインタフェース部をさらに備え、
前記画像合成部は、前記主撮像画像と前記副撮像画像の一方に他方を重畳する画像合成処理を行い、
前記制御部は、前記ユーザインタフェース部で受け付けた前記ユーザ操作に応じて前記画像合成部を制御して、前記画像合成処理における重畳サイズまたは重畳位置を変更する
請求項１３に記載の撮像装置。
【請求項１７】
前記ユーザインタフェース部は、前記複数の表示部のいずれかの表示画面上に設けられたタッチパネルである
請求項１６に記載の撮像装置。
【請求項１８】
前記副撮像部は、前記主撮像部が設けられた本体部に固定して設けられている
請求項１３に記載の撮像装置。
【請求項１９】
前記副撮像部は、前記主撮像部が設けられた本体部に対して着脱可能に設けられている
請求項１３に記載の撮像装置。
【請求項２０】
前記副撮像部は、接続端子あるいは接続ケーブルまたは無線通信で前記本体部と電気的に接続される
請求項１３に記載の撮像装置。
【請求項２１】
前記副撮像部は複数設けられており、複数の前記副撮像部の撮像方向は、前記主撮像部の撮像方向に対して外向きである
請求項１３に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、画像処理装置と画像処理方法およびプログラムと撮像装置に関し、構図の設定や撮像状態の確認を容易に行えるようにする。
【背景技術】
【０００２】
従来、撮像装置で望遠撮影を行う際には、撮影時の画角が狭くなるため、構図確認中に一度被写体を見逃すと、被写体を探し難いことがある。これを解消するため、例えば特許文献１では、本体レンズを用いてカメラ本体で生成された第１の画像と、本体レンズとは異なる画角のアタッチメントレンズを用いてカメラ本体に装着されたアタチメントで生成された第２の画像を用いて、撮影範囲が広い側の画像に撮影範囲が狭い側の画像の撮影範囲枠を重畳させることが行われている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−２３５１９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１では、カメラ本体の撮像範囲が明らかとなるが、カメラ本体で生成された画像を確認することができない。
【０００５】
そこで、この技術では、撮影時に構図を容易に決定できるだけでなく、撮像状態を容易に確認できる画像処理装置と画像処理方法およびプログラムと撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この技術の第１の側面は、
主撮像部で生成された主撮像画像と副撮像部で生成された副撮像画像との画角比較結果に応じて、前記主撮像画像と前記副撮像画像を用いて画像合成処理を行い表示画像を生成する画像合成部と、
前記画像合成部で生成される表示画像の画像視認動作を検出したことに応じて、前記画像合成部で画像合成処理を行わせる制御部と
を備える画像処理装置にある。
【０００７】
この技術においては、主撮像部で生成された主撮像画像と撮像方向が主撮像部の撮像方向とされている副撮像部で生成された副撮像画像の画角を示す画角情報に基づき、主撮像画像と副撮像画像との画角比較が制御部で行われる。画像合成部では、画角比較結果に応じて主撮像画像と副撮像画像を用いて画像合成処理を行い表示画像が生成される。例えば、主撮像画像の画角が副撮像画像の画角よりも狭い場合、副撮像画像に主撮像画像を重畳してあるいは主撮像画像に縮小した副撮像画像を重畳して表示画像が生成される。また、主撮像画像の画角が副撮像画像の画角よりも狭い場合、主撮像画像が表示画像として用いられる。また、制御部では、画像合成部で生成される表示画像の画像視認動作を検出したことに応じて画像合成部を制御して画像合成処理を行わせる。
【０００８】
主撮像画像を生成する主撮像部または副撮像画像を生成する副撮像部は画角が変更可能とされており、主撮像部または副撮像部でズーム動作が行われた場合、主撮像画像と副撮像画像との画角比較結果を画像合成部へ出力する。
【０００９】
また、ユーザ操作を受け付けるユーザインタフェース部が設けられて、副撮像画像に主撮像画像を重畳して表示画像が生成される場合、ユーザインタフェース部で受け付けたユーザ操作に応じて主撮像画像の重畳サイズまたは重畳位置が変更される。
【００１０】
この技術の第２の側面は、
主撮像部で生成された主撮像画像と副撮像部で生成された副撮像画像との画角比較結果に応じて、前記主撮像画像と前記副撮像画像を用いて画像合成処理を行い表示画像を画像合成部で生成することと、
前記画像合成部で生成される表示画像の画像視認動作を検出したことに応じて、制御部で前記画像合成処理を前記画像合成部で行わせること
を含む画像処理方法にある。
【００１１】
この技術の第３の側面は、
表示画像の生成をコンピュータで実行させるプログラムであって、
主撮像部で生成された主撮像画像と副撮像部で生成された副撮像画像との画角比較結果に応じて、前記主撮像画像と前記副撮像画像を用いて画像合成処理を行い表示画像を生成する手順と、
前記表示画像の画像視認動作を検出したことに応じて、前記画像合成処理を行わせる手順と
を前記コンピュータで実行させるプログラムにある。
【００１２】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
【００１３】
この技術の第４の側面は、
主撮像画像を生成する主撮像部と、
前記主撮像部の撮像方向に対応する撮像方向の副撮像画像を生成する副撮像部と、
前記主撮像画像と前記副撮像画像の画角比較を行う制御部と、
前記制御部で行われた前記画角比較の比較結果に応じて、前記主撮像画像と前記副撮像画像を用いて画像合成処理を行い表示画像を生成する画像合成部と、
前記画像合成部で生成された表示画像を表示する表示部と、
画像視認動作を検出する検出部を備え、
前記制御部は、前記画像合成部で生成される表示画像の画像視認動作を前記検出部で検出したことに応じて、前記画像合成部で画像合成処理を行わせる撮像装置。
【００１４】
この技術においては、主撮像部で主撮像画像が生成されて、副撮像部では主撮像部の撮像方向に対応する撮像方向の副撮像画像が生成される。また、制御部によって主撮像画像と副撮像画像の画角比較が行われて、画像合成部では、制御部で行われた画角比較の比較結果に応じて、主撮像画像と副撮像画像を用いた画像合成処理、例えば主撮像画像と副撮像画像の一方に他方を重畳する画像合成処理が行われて表示画像が生成される。表示部で表示される。また、制御部は、画像合成部で生成される表示画像の画像視認動作を検出部で検出したことに応じて、画像合成部で画像合成処理を行わせる。表示部は複数設けられており、ユーザの画像確認動作に応じて、表示画像を表示する表示部の切り替えが行われる。例えば、１つの表示部はビューファインダであり、ユーザによるビューファインダ画像の視認動作が行われたとき、表示画像がビューファインダに表示される。また、ユーザ操作を受け付けるユーザインタフェース部として表示部の画面上に設けられたタッチパネルが用いられて、制御部は、ユーザインタフェース部で受け付けたユーザ操作に応じて画像合成部を制御して、画像合成処理における重畳サイズまたは重畳位置を変更する。
【００１５】
副撮像部は、主撮像部が設けられた本体部に固定して設けられてもよく、主撮像部が設けられた本体部に対して着脱可能に設けられてもよい。また、副撮像部は、接続端子あるいは接続ケーブルまたは無線通信で本体部と電気的に接続される。また、副撮像部を複数設けて、複数の副撮像部の撮像方向は、主撮像部の撮像方向に対して外向きとしてもよい。
【図面の簡単な説明】
【００１６】
【図１】撮像装置の第１の構造例を示した図である。
【図２】撮像装置の第２の構造例を示した図である。
【図３】撮像装置の第３の構造例を示した図である。
【図４】撮像装置の第４の構造例を示した図である。
【図５】撮像装置の機能構成を例示した図である。
【図６】撮像画像表示動作を例示したフローチャートである。
【図７】撮像装置の他の機能構成を例示した図である。
【図８】他の撮像画像表示動作を例示したフローチャートである。
【図９】スワイプ操作に応じて副撮像画像Ｐｓの重畳位置を変更する場合を例示した図である。
【図１０】ピンチアウト操作に応じて主撮像画像Ｐｍを拡大する場合を例示した図である。
【発明を実施するための形態】
【００１７】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像装置について
２．撮像装置の構造例
３．撮像装置の機能構成と動作
４．撮像装置の他の機能構成と動作
５．撮像装置の他の表示画像生成動作
【００１８】
＜１．撮像装置について＞
本技術の画像処理装置を用いた撮像装置は、主撮像部と副撮像部と画像合成部と表示部および制御部を有している。主撮像部は主撮像画像の生成を行い、副撮像部は副撮像画像の生成を行う。画像合成部では、制御部における主撮像画像と副撮像画像の画角比較結果に応じて、主撮像画像と副撮像画像の画像合成処理を行い、表示画像を生成する。表示部は、画像合成部で生成された表示画像を表示する。
【００１９】
＜２．撮像装置の構造例＞
図１は撮像装置の第１の構造例を示している。図１の（ａ）は正面図、図１の（ｂ）は上面図を示している。撮像装置１０-1は、本体部１１に主撮像部２１が設けられており、本体部１１の例えば上部中央に、構図設定等のための副撮像部２２が設けられている。主撮像部２１と副撮像部２２の光軸方向（撮像方向）は平行となるように設定されている。副撮像部２２の画角βは、主撮像部２１の画角αよりも広い画角とされている。また、主撮像部２１でズームレンズが用いられる場合、画角調整範囲に副撮像部２２よりも狭画角の範囲を含むように、副撮像部２２の画角βが設定されている。なお、本体部１１の上面にはシャッターボタン２７１が設けられている。
【００２０】
図２は撮像装置の第２の構造例を示している。図２の（ａ）は正面図、図２の（ｂ）は上面図を示している。撮像装置１０-2は、本体部１１に主撮像部２１が設けられており、本体部１１の例えば上面中央にアタッチメント１３が設けられている。アタッチメント１２には副撮像部２２が装着可能とされており、アタッチメント１２に副撮像部２２が装着されると、副撮像部２２は本体部１１と電気的に接続されて、本体部１１から副撮像部２２への電力の供給や副撮像部２２から本体部１１への画像信号の供給が行われる。主撮像部２１とアタッチメント１２に装着された副撮像部２２の光軸方向（撮像方向）は平行となるように設定されている。副撮像部２２の画角βは、主撮像部２１の画角αよりも広い画角とされている。また、主撮像部２１でズームレンズが用いられる場合、画角調整範囲に副撮像部２２よりも狭画角の範囲を含むように、副撮像部２２の画角βが設定されている。なお、本体部１１の上面にはシャッターボタン２７１が設けられている。
【００２１】
図３は撮像装置の第３の構造例を示している。図３の（ａ）は正面図、図３の（ｂ）は上面図を示している。撮像装置１０-3は、本体部１１に主撮像部２１が設けられており、本体部１１の例えば前面上部には副撮像部２２の取り付けスペースＳＰが設けられている。副撮像部２２は、取り付けスペースＳＰに着脱可能とされており、副撮像部２２は有線ケーブル１４を用いて本体部１１と接続されてもよく、無線伝送路を介して本体部１１と接続されてもよい。主撮像部２１および取り付けスペースＳＰに設けられた副撮像部２２の光軸方向（撮像方向）は平行となるように設定されている。副撮像部２２の画角βは、主撮像部２１の画角αよりも広い画角とされている。また、主撮像部２１でズームレンズが用いられる場合、画角調整範囲に副撮像部２２よりも狭画角の範囲を含むように、副撮像部２２の画角βが設定されている。なお、本体部１１の上面にはシャッターボタン２７１が設けられている。
【００２２】
図４は撮像装置の第４の構造例を示している。図４の（ａ）は正面図、図４の（ｂ）は上面図を示している。撮像装置１０-4は、本体部１１に主撮像部２１が設けられており、本体部１１の例えば前面には副撮像部２２と副撮像部２３が設けられている。主撮像部２１に対して副撮像部２２，２３の光軸方向（撮像方向）は平行となるように設定されてもよく、図４の（ｂ）に示すように主撮像部２１の光軸方向に対して副撮像部２２，２３の光軸方向がそれぞれ外側を向いて設けられてもよい。このように、外側を向いて副撮像部２２，２３を設ければ、副撮像部２２，２３で生成される撮像画像に主撮像部２１のレンズ等によってケラレが生じてしまうことを防止できる。また、副撮像部２２と副撮像部２３で取得された撮像画像を合成して副撮像画像Ｐｓを生成すれば、副撮像画像Ｐｓは副撮像部２２の画角β１および副撮像部２３の画角β２よりも広い画角βとなる。画角βは、主撮像部２１の画角αよりも広い画角とされている。また、主撮像部２１でズームレンズが用いられる場合、画角調整範囲に画角βよりも狭画角の範囲を含むように、副撮像部２２，２３の画角β1，β２や撮像方向が設定されている。なお、本体部１１の上面にはシャッターボタン２７１が設けられている。
【００２３】
＜３．撮像装置の機能構成と動作＞
図５は、本技術の画像処理装置を用いた撮像装置の機能構成を例示している。なお、以下の説明では、画角の異なる複数の撮像部として、例えば図１乃至図３に示す主撮像部２１と副撮像部２２が撮像装置に設けられている場合について説明する。
【００２４】
撮像装置１０は、主撮像部２１、副撮像部２２と、画像合成部２４、表示部２５、ビューファインダ２６、ユーザインタフェース部２７、制御部３５を有している。また、撮像装置１０は記録部２８や出力部２９を有してもよい。
【００２５】
主撮像部２１は、例えば撮像光学系ブロック、イメージセンサ、カメラ信号処理部等を有している。撮像光学系ブロックは、フォーカスレンズやズームレンズ、アイリス機構等を用いて構成されており、被写体光学像をイメージセンサの撮像面に所望のサイズで結像させる。イメージセンサとしては、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等が用いられており、光電変換を行うことで被写体光学像に応じた画像信号を生成する。カメラ信号処理部は、イメージセンサで生成された画素信号に対してノイズ除去処理や利得調整処理、アナログ／デジタル変換処理、欠陥画素補正、現像処理等を行い主撮像画像Ｐｍを生成して画像合成部２４と記録部２８や出力部２９へ出力する。
【００２６】
副撮像部２２は、主撮像部２１と同様に、撮像光学系ブロックとイメージセンサとカメラ信号処理部等を有している。また、副撮像部２２の撮像光学系ブロックは、例えば主撮像部２１の撮像光学系ブロックよりも広い画角とされている。副撮像部２２は副撮像画像Ｐｓを生成して画像合成部２４へ出力する。また、主撮像部２１の撮像光学系ブロックとしてズームレンズが用いられる場合、画角調整範囲に副撮像部２２よりも狭画角の範囲を含むように、副撮像部２２の撮像光学系ブロックの画角が設定されている。
【００２７】
画像合成部２４は、制御部３５からの制御信号に基づいて、主撮像部２１で生成された主撮像画像Ｐｍと副撮像部２２で生成された副撮像画像Ｐｓの画像合成処理を行い、表示画像Ｐｄを生成する。また、画像合成部２４は、生成した表示画像Ｐｄの画像信号を表示部２５またはビューファインダ２６、あるいは表示部２５とビューファインダ２６７へ出力する。さらに、画像合成部２４は、制御部３５からの制御信号に基づいて、表示画像Ｐｄの画像信号を表示部２５またはビューファインダ２６のいずれかへ出力してもよい。
【００２８】
表示部２５は、液晶表示素子や有機ＥＬ表示素子等を用いて構成されている。表示部２５は画像合成部２４から供給された表示画像Ｐｄを表示する。また、表示部２５は、制御部３５からの制御信号に基づき撮像装置１０のメニュー表示やユーザ（撮影者等）の操作に関したＧＵＩ表示等を行う。
【００２９】
ビューファインダ２６は、液晶表示素子や有機ＥＬ表示素子等を用いて構成されている。ビューファインダ２６は画像合成部２４から供給された表示画像信号に基づいて撮像画を表示する。
【００３０】
ユーザインタフェース部２７は、シャッターボタン２７１や操作スイッチや操作ボタン等で構成されている。ユーザインタフェース部２７は、ユーザ操作に応じた操作信号を生成して制御部３５へ出力する。また、ユーザインタフェース部２７は、ビューファインダ部２７の表示の視認を検出する検出部、例えばユーザがビューファインダ部２７を覗いているかを検出する接眼検出部を有しており、検出結果を示す信号を操作信号として制御部３５へ出力してもよい。
【００３１】
記録部２８は、撮像装置１０に固定されている記録媒体、あるいは着脱可能の記録媒体を用いて構成されている。記録媒体２９は、制御部３５からの制御信号に基づき、主撮像部２１で生成された撮像画像信号を記録媒体に記録する。
【００３２】
制御部３５は、ＣＰＵ(Central Processing Unit)やＲＯＭ(Read Only Memory)，ＲＡＭ(Random Access Memory)等を有している。ＲＯＭ（Read  Only  Memory）は、ＣＰＵ(Central Processing Unit)により実行される各種プログラムを記憶する。ＲＡＭ（Random  Access  Memory）は、各種パラメータ等の情報を記憶する。ＣＰＵは、ＲＯＭに記憶されている各種プログラムを実行して、ユーザインタフェース部２７からの操作信号に基づき、ユーザ操作に応じた動作が撮像装置１０で行われるように各部を制御する。また、制御部３５は、主撮像部２１（主撮像画像Ｐｍ）の画角と副撮像部２２（副撮像画像Ｐｓ）の画角との画角比較を行い比較結果を示す制御信号を画像合成部へ出力して、画像合成部２４の画像合成処理を制御する。さらに、制御部３５は、主撮像部２１または副撮像部２２でズーム動作が行われた場合、撮像画像の画角が変化することから、新たな画角比較結果を示す制御信号を画像合成部２４へ出力する。また、制御部３５は、ユーザインタフェース部２７からの操作信号に基づき、ビューファインダ部２７の表示の視認を検出した場合に、画像合成部２４で画像合成処理を行うように制御してもよい。
【００３３】
図６は撮像装置の撮像画像表示動作を例示したフローチャートである。ステップＳＴ１で制御部は撮像部の画角を取得する。制御部３５は、主撮像部２１（主撮像画像Ｐｍ）の画角αと副撮像部２２（副撮像画像Ｐｓ）の画角βを取得する。例えば主撮像部２１と副撮像部２２で用いられている撮像レンズが固定焦点であって交換ができない場合、主撮像部２１の画角αと副撮像部２２の画角βを示す画角情報を予め撮像装置の製造工程等で制御部３５に記憶しておく。また、例えば主撮像部２１の撮像レンズがズームレンズや交換レンズである場合、撮像レンズから画角αを取得してもよく、ズーム操作に応じた画角αを制御部３５で算出してもよい。制御部３５は、画角α，βを取得してステップＳＴ２に進む。
【００３４】
ステップＳＴ２で制御部は画角αが画角βよりも狭いか判別する。制御部３５は、画角αが画角βよりも狭い場合にステップＳＴ３に進み、画角αが画角β以上である場合にステップＳＴ４に進む。
【００３５】
ステップＳＴ３で制御部は重畳処理後の画像を表示画像に設定する。制御部３５は画像合成部２４を制御して、副撮像部２２で生成された副撮像画像Ｐｓに主撮像部２１で生成された主撮像画像Ｐｍを重畳して、あるいは、主撮像部２１で生成された主撮像画像Ｐｍに副撮像部２２で生成された副撮像画像Ｐｓを縮小して重畳して、重畳処理後の画像を表示画像Ｐｄに設定してステップＳＴ５に進む。
【００３６】
ステップＳＴ４で制御部は主撮像画像Ｐｍを表示画像に設定する。制御部３５は画像合成部２４を制御して、主撮像部２１で生成された主撮像画像Ｐｍを表示画像Ｐｄに設定してステップＳＴ５に進む。
【００３７】
ステップＳＴ５で制御部は表示処理を行う。制御部３５は、ステップＳＴ３またはステップＳＴ４で設定された表示画像Ｐｄを例えばビューファインダ２６で表示させてステップＳＴ１に戻る。
【００３８】
このように、本技術によれば、主撮像部よりも副撮像部の画角が広い場合、主撮像画像Ｐｍと副撮像画像Ｐｓを用いて表示画像が生成されるので、ユーザは、主撮像画像Ｐｍを確認しながら副撮像画像Ｐｓを利用することで、最適な構図で撮影を容易に行うことができるようになる。
【００３９】
＜４．撮像装置の他の機能構成と動作＞
ところで、上述の表示画像生成動作は、必要に応じて行うようにしてもよく、ユーザの希望する表示画像を得られるように画像合成処理を行うようにしてもよい。
【００４０】
図７は、本技術を用いた撮像装置の他の機能構成を例示している。なお、以下の説明では、画角の異なる複数の撮像部として、例えば図１乃至図３に示す主撮像部２１と副撮像部２２が撮像装置に設けられている場合について説明する
撮像装置１０は、主撮像部２１、副撮像部２２と、画像合成部２４、表示部２５、ビューファインダ２６、ユーザインタフェース部２７、および接眼検出部３０と制御部３５を有している。また、撮像装置１０は記録部２８や出力部２９等を有してもよい。
【００４１】
主撮像部２１は、撮像レンズやイメージセンサ、カメラ信号処理部等を用いて構成されており、主撮像画像Ｐｍを生成して画像合成部２４と記録部２９へ出力する。また、主撮像部２１は、生成した主撮像画像Ｐｍを外部に出力してもよい。
【００４２】
副撮像部２２は、主撮像部２１よりも広い画角の撮像レンズやイメージセンサ、カメラ信号処理部等を用いて構成されており、副撮像画像Ｐｓを生成して画像合成部２４へ出力する。また、主撮像部２１の撮像レンズとしてズームレンズが用いられる場合、画角調整範囲に副撮像部２２よりも狭画角の範囲を含むように、副撮像部２２の撮像レンズの画角が設定されている。
【００４３】
画像合成部２４は、制御部３５からの制御信号に基づいて、主撮像部２１で生成された主撮像画像Ｐｍと副撮像部２２で生成された副撮像画像Ｐｓの画像合成処理を行い、表示画像Ｐｄを生成する。また、画像合成部２４は、生成した表示画像Ｐｄの画像信号を表示部２５またはビューファインダ２６、あるいは表示部２５とビューファインダ２６へ出力する。さらに、画像合成部２４は、制御部３５からの制御信号に基づいて、表示画像Ｐｄの画像信号を表示部２５またはビューファインダ２６のいずれかへ出力してもよい。
【００４４】
表示部２５は、液晶表示素子や有機ＥＬ表示素子等を用いて構成されている。表示部２５は画像合成部２４から供給された表示画像Ｐｄを表示する。また、表示部２５は、制御部３５からの制御信号に基づき撮像装置１０のメニュー表示やユーザの操作に関したＧＵＩ表示等を行う。
【００４５】
ビューファインダ２６は、液晶表示素子や有機ＥＬ表示素子等を用いて構成されている。ビューファインダ２６は画像合成部２４から供給された表示画像信号に基づいて撮像画を表示する。
【００４６】
ユーザインタフェース部２７では、シャッターボタン２７１や操作スイッチや操作ボタン、表示部２５の画面上にタッチパネルを設けて構成されたＧＵＩ等が用いられている。ユーザインタフェース部２７は、ユーザ操作に応じた操作信号を生成して制御部３５へ出力する。
【００４７】
接眼検出部３０は、ユーザの画像視認動作の検出を行い、例えばユーザがビューファインダ２６を覗いているか検出して、接眼検出結果を制御部３５へ出力する。
【００４８】
記録部２９は、撮像装置１０に固定されている記録媒体、あるいは着脱可能の記録媒体を用いて構成されている。記録媒体２９は、制御部３５からの制御信号に基づき、主撮像部２１で生成された撮像画像信号を記録媒体に記録する。
【００４９】
制御部３５は、ＣＰＵ(Central Processing Unit)やＲＯＭ(Read Only Memory)，ＲＡＭ(Random Access Memory)等を有している。ＲＯＭ（Read  Only  Memory）は、ＣＰＵ(Central Processing Unit)により実行される各種プログラムを記憶する。ＲＡＭ（Random  Access  Memory）は、各種パラメータ等の情報を記憶する。ＣＰＵは、ＲＯＭに記憶されている各種プログラムを実行して、ユーザインタフェース部２７からの操作信号に基づき、ユーザ操作に応じた動作が撮像装置１０で行われるように各部を制御する。また、制御部３５は、主撮像部２１（主撮像画像Ｐｍ）の画角と副撮像部２２（副撮像画像Ｐｓ）の画角との画角比較を行い比較結果を示す制御信号を画像合成部へ出力して、画像合成部２４の画像合成処理を制御する。また、制御部３５は、主撮像部２１または副撮像部２２でズーム動作が行われた場合、撮像画像の画角が変化することから、新たな画角比較結果を示す制御信号を画像合成部２４へ出力する。また、制御部３５は、接眼検出部３０の検出結果に基づき、画像合成部２４で生成される表示画像の画像視認動作を検出したことに応じて、画像合成部で画像合成処理を行わせる。さらに、制御部３５は、接眼検出部３０の検出結果に基づき、表示画像Ｐｄの表示動作を制御する。
【００５０】
図８は撮像装置の他の撮像画像表示動作を例示したフローチャートである。ステップＳＴ１１で制御部３５は接眼検出結果を取得する。制御部３５は。接眼検出部３０から接眼検出結果を取得してステップＳＴ１２に進む。
【００５１】
ステップＳＴ１２で制御部３５は表示媒体を選択する。制御部３５は、ステップＳＴ１１で取得した検出結果に基づき、ユーザがビューファインダ２６を覗いていると判別した場合は、表示媒体としてビューファインダ２６を選択して、ビューファインダ２６を覗いないと判別した場合は、表示部２５を表示媒体として選択してステップＳＴ１３に進む。
【００５２】
ステップＳＴ１３で制御部は画角を取得する。制御部３５は、主撮像部２１（主撮像画像Ｐｍ）の画角αと副撮像部２２（副撮像画像Ｐｓ）の画角βを取得する。例えば主撮像部２１と副撮像部２２で用いられている撮像レンズが固定焦点であって交換ができない場合、主撮像部２１の画角αと副撮像部２２の画角βを示す画角情報を予め撮像装置の製造工程等で制御部３５に記憶しておく。また、例えば主撮像部２１の撮像レンズがズームレンズや交換レンズである場合、撮像レンズから画角αを取得してもよく、ズーム操作に応じた画角αを制御部３５で算出してもよい。制御部３５は、画角α，βを取得してステップＳＴ１４に進む。
【００５３】
ステップＳＴ１４で制御部は画角αが画角βよりも狭いか判別する。制御部３５は、画角αが画角βよりも狭いと判別した場合にステップＳＴ１５に進み、画角αが画角β以上広いと判別した場合にステップＳＴ１８に進む。
【００５４】
ステップＳＴ１５で制御部は重畳処理後の画像を表示画像に設定する。制御部３５は画像合成部２４を制御して、副撮像部２２で生成された副撮像画像Ｐｓに主撮像部２１で生成された主撮像画像Ｐｍを重畳して、あるいは、主撮像部２１で生成された主撮像画像Ｐｍに副撮像部２２で生成された副撮像画像Ｐｓを縮小して重畳して、重畳処理後の画像を表示画像Ｐｄに設定してステップＳＴ１６に進む。
【００５５】
ステップＳＴ１６で制御部は更新操作が行われたか判別する。制御部３５は、ユーザインタフェース部２７で画像合成処理の更新操作が行われたと判別した場合はステップＳＴ１７に進み、更新操作が行われたと判別されていない場合はステップＳＴ１９に進む。
【００５６】
ステップＳＴ１７で制御部は画像合成処理の更新処理を行う。制御部３５は、ユーザインタフェース部２７からの操作信号に基づき、副撮像画像Ｐｓに重畳する主撮像画像Ｐｍ、あるいは主撮像画像Ｐｍに重畳する副撮像画像Ｐｓの重畳サイズや重畳位置の変更を行って表示画像Ｐｄを生成してステップＳＴ１９に進む。
【００５７】
図９は、スワイプ操作に応じて副撮像画像Ｐｓの重畳位置を変更する場合を例示している。図９の（ａ）はビューファインダ２６で表示される表示画像を示している。また、図９の（ｂ）は、表示部２５の画面上に設けられたユーザインタフェース部２７のタッチパネルを使用して行われたスワイプ操作を示している。ユーザがタッチパネルに触れて、その指先を上方向スライドさせた場合、主撮像画像Ｐｍの重畳位置は上方向に移動して破線で示す位置Ｑｖとなる。
【００５８】
図１０は、ピンチアウト操作に応じて主撮像画像Ｐｍを拡大する場合を例示している。図１０の（ａ）はビューファインダ２６で表示される表示画像Ｐｄを示している。また、図１０の（ｂ）は、表示部２５の画面上に設けられたユーザインタフェース部２７のタッチパネルを使用して行われたピンチアウト操作を示している。ユーザがタッチパネルに触れた２本の指の間隔を画面の対角線方向に広くした場合、主撮像画像Ｐｍを縦方向と横方向に拡大する。
【００５９】
図８に戻り、ステップＳＴ１８で制御部は主撮像画像Ｐｍを表示画像に設定する。制御部３５は画像合成部２４を制御して、主撮像部２１で生成された主撮像画像Ｐｍを表示画像Ｐｄに設定してステップＳＴ１９に進む。
【００６０】
ステップＳＴ１９で制御部は表示処理を行う。制御部３５は、ステップＳＴ１２で選択された表示媒体を用いて表示画像Ｐｄの表示を行わせてステップＳＴ１１に戻る。
【００６１】
このように、主撮像部よりも副撮像部の画角が広い場合、副撮像部で生成された副撮像画像Ｐｓに主撮像部で生成された主撮像画像Ｐｍが重畳されるので、主撮像画像Ｐｍを確認しながら副撮像画像Ｐｓを利用して最適な構図で撮影を行うことができるようになる。また、ユーザが使用する表示媒体で表示画像を表示させることができる。さらに、副撮像画像Ｐｓに主撮像画像Ｐｍが重畳される場合、主撮像画像Ｐｍの表示サイズや重畳位置を変更できるので、表示画像を利用した操作を行いやすくなる。
【００６２】
＜５．撮像装置の他の表示画像生成動作＞
上述の撮像装置では、副撮像画像Ｐｓに対して主撮像画像Ｐｍを重畳させて表示画像を生成したが、主撮像部２１で撮像されている領域を示す撮像画枠を副撮像画像Ｐｓに重畳してもよい。この場合、ユーザインタフェース部２７で撮像画枠のサイズ変更操作が行われた場合、変更後の撮像画枠の撮像画像が主撮像部２１で生成されるようにズームレンズを駆動してもよい。
【００６３】
また、図４に示すように、複数の副撮像部が設けられている場合、画像合成部２４では、複数の副撮像部で生成さえた撮像画像を合成して、広画角の副撮像画像Ｐｓを生成する。このように、複数の副撮像部を設ければ、１つの副撮像部で副撮像画像Ｐｓを生成する場合に比べて、画角を広くできる。さらに、複数の副撮像部の光軸を外側方向に傾けるようにすれば、撮像画像を合成して生成される副撮像画像Ｐｓの画角をさらに広くできる。また、いずれかの副撮像部で生成された撮像画像に主撮像部によるケラレが生じても、このケラレを生じた被写体領域は、他の副撮像部で撮像できるので、主撮像部によるケラレを生じていない副撮像画像Ｐｓを生成できる。
【００６４】
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【００６５】
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【００６６】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００６７】
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【００６８】
また、本技術の画像処理装置は以下のような構成も取ることができる。
（１）  主撮像部で生成された主撮像画像と副撮像部で生成された副撮像画像との画角比較結果に応じて、前記主撮像画像と前記副撮像画像の少なくともいずれかを用いて画像合成処理を行い表示画像を生成する画像合成部と、
前記画像合成部で生成される表示画像の画像視認動作を検出したことに応じて、前記画像合成部で画像合成処理を行わせる制御部と
を備える画像処理装置。
（２）  前記主撮像部または前記副撮像部は画角が変更可能とされている（１）に記載の画像処理装置。
（３）  前記主撮像画像と前記副撮像画像の画角を示す画角情報に基づき、前記主撮像画像と前記副撮像画像との画角比較を行い比較結果を前記画像合成部へ出力する制御部をさらに備える（１）または（２）に記載の画像処理装置。
（４）  前記制御部は、前記主撮像部または前記副撮像部でズーム動作が行われた場合、前記主撮像画像と前記副撮像画像との画角比較結果を前記画像合成部へ出力する（３）に記載の画像処理装置。
（５）  前記画像合成部は、前記主撮像画像の画角が前記副撮像画像の画角よりも狭い場合、前記主撮像画像と前記副撮像画像を用いて画像合成処理を行い前記表示画像を生成する（１）乃至（４）のいずれかに記載の画像処理装置。
（６）  前記画像合成部は、前記副撮像画像に前記主撮像画像を重畳して前記表示画像を生成する（５）に記載の画像処理装置。
（７）  前記画像合成部は、前記主撮像画像に縮小した前記副撮像画像を重畳して前記表示画像を生成する（５）に記載の画像処理装置。
（８）  ユーザ操作を受け付けるユーザインタフェース部をさらに備え、
前記画像合成部は、前記ユーザインタフェース部で受け付けた前記ユーザ操作に応じて重畳サイズまたは重畳位置を変更する（５）に記載の画像処理装置。
（９）  前記画像合成部は、前記主撮像画像の画角が前記副撮像画像の画角以上に広い場合、前記主撮像画像を前記表示画像とする（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）  前記副撮像画像は、前記主撮像部の撮像方向に対応する撮像方向である前記副撮像部で生成された画像である（１）乃至（９）のいずれかに記載の画像処理装置。
【符号の説明】
【００６９】
１０，１０-1，１０-2，１０-3，１０-4・・・撮像装置
１１・・・本体部
１２・・・アタッチメント
２１・・・主撮像部
２２，２３・・・副撮像部
２４・・・画像合成部
２５・・・表示部
２６・・・ビューファインダ
２７・・・ユーザインタフェース部
２８・・・記録部
２９・・・出力部
３０・・・接眼検出部
３５・・・制御部
【図１】
2020167518.tif 000003
【図２】
2020167518.tif 000004
【図３】
2020167518.tif 000005
【図４】
2020167518.tif 000006
【図５】
2020167518.tif 000007
【図６】
2020167518.tif 000008
【図７】
2020167518.tif 000009
【図８】
2020167518.tif 000010
【図９】
2020167518.tif 000011
【図１０】
2020167518.tif 000012