(57)【要約】【課題】望遠側の映像を見易く観察可能としつつ、その映像よりも広い画角で得られる広角側の映像をも見易く観察可能とする。【解決手段】画像生成装置１１０は、第１の画角を有する第１のカメラ１０１，１０２を用いて第１の画像を取得する第１の取得手段１４４と、第１の画角より広い第２の画角を有する第２のカメラ１０３を用いて第２の画像を取得する第２の取得手段１４１，１４２と、第１の画像と第２の画像とを用いて観察用画像を生成する生成手段１４４とを有する。観察用画像は、第１の画像の中心を含む領域において第１の画像と第２の画像の双方が重なり合った二重画像として観察可能な画像である。【選択図】図６
2017192086.tif 000002
【特許請求の範囲】
【請求項１】
第１の画角を有する第１のカメラを用いて第１の画像を取得する第１の取得手段と、
前記第１の画角より広い第２の画角を有する第２のカメラを用いて第２の画像を取得する第２の取得手段と、
前記第１の画像と前記第２の画像とを用いて観察用画像を生成する生成手段とを有し、
前記観察用画像は、前記第１の画像の中心を含む領域において前記第１の画像と前記第２の画像の双方が重なり合った二重画像として観察可能な画像であることを特徴とする画像生成装置。
【請求項２】
前記第２の画像は、前記第２の画角の中心が前記第１の画角の中心に一致した状態に対応する画像であることを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記第２の画像は、前記第２の画角の前記第１の画角に対する傾きがない状態に対応する画像であることを特徴とする請求項１または２に記載の画像生成装置。
【請求項４】
前記第１の画像が前記第１のカメラの光学系を通して取得された光学像であり、前記第２の画像が前記第２のカメラでの撮像により生成されて表示手段に表示された電子画像であり、
前記生成手段は、前記光学像と前記電子画像とを光学的に重ね合わせて前記観察用画像を生成することを特徴とする請求項１から３のいずれか一項に記載の画像生成装置。
【請求項５】
前記第１および第２の画像がともに前記第１および第２のカメラでの撮像を通して取得された電子画像であり、
前記生成手段は、前記第１および第２の画像を重ね合わせる画像処理を行って前記観察用画像を生成することを特徴とする請求項１から３のいずれか一項に記載の画像生成装置。
【請求項６】
前記第２の画像が、前記第２のカメラでの撮像を通して取得された電子画像であって、半透過画像または被写体の輪郭線を抽出した画像であることを特徴とする請求項１から５のいずれか一項に記載の画像生成装置。
【請求項７】
前記生成手段は、前記第１および第２の画像を交互に観察可能とすることで前記観察用画像を生成することを特徴とする請求項１から６のいずれか一項に記載の画像生成装置。
【請求項８】
前記生成手段は、前記第２のカメラから取得された前記第２の画像を切り出すための電子画像から、前記第２の画角の中心が前記第１の画角の中心に一致した状態で得られる前記第２の画像を切り出す補正処理を行い、
前記補正処理が行われたときの前記第２の画像の切り出し位置に関する補正情報を記憶する記憶手段を有することを特徴とする請求項２に記載の画像生成装置。
【請求項９】
前記生成手段は、前記第２の画像を、前記第１の画角に対する前記第２の画角の傾きを減少させるように回転させる補正処理を行い、
前記補正処理が行われたときの前記第２の画像の回転角度に関する補正情報を記憶する記憶手段を有することを特徴とする請求項３に記載の画像生成装置。
【請求項１０】
前記観察用画像は、前記第２の画像上において前記第１の画角に対応する範囲を示す指標を含むことを特徴とする請求項１から９のいずれか一項に記載の画像生成装置。
【請求項１１】
前記観察用画像は、前記第１の画角の中心を示す指標を含むことを特徴とする請求項１から１０のいずれか一項に記載の画像生成装置。
【請求項１２】
前記観察用画像における前記第１および第２の画像のうち一方の画像は、前記生成手段によって他方の画像との識別を容易とするための画像処理が行われた画像であることを特徴とする請求項１から１１のいずれか一項に記載の画像生成装置。
【請求項１３】
前記画像処理は、コントラストの変更、彩度の変更、色調の変更、解像度の変更、透過度の変更および輪郭の強調のうちを少なくとも１つを行う画像処理であることを特徴とする請求項１２に記載の画像生成装置。
【請求項１４】
請求項１から１３のいずれか一項に記載の画像生成装置と、
前記観察用画像を観察するための観察手段とを有することを特徴とする画像観察装置。
【請求項１５】
請求項１から１３のいずれか一項に記載の画像生成装置と、
前記観察用画像を観察するための観察手段とを有し、
前記第２のカメラが固定または着脱可能に装着されることを特徴とする前記第１のカメラとしての撮像装置。
【請求項１６】
前記第１のカメラは、前記第２のカメラよりも大きいサイズの撮像素子を有することを特徴とする請求項１５に記載の撮像装置。
【請求項１７】
前記第２の画角の中心を前記第１の画角の中心に合わせるように前記第２のカメラの向きの調整を可能とする調整部材を有することを特徴とする請求項１５または１６に記載の撮像装置。
【請求項１８】
前記第２の画角の前記第１の画角に対する傾きを減少させるように前記第２のカメラの傾きの調整を可能とする調整部材を有することを特徴とする請求項１５から１７のいずれか一項に記載の撮像装置。
【請求項１９】
コンピュータに、
第１のカメラを用いて第１の画像を取得させ、
前記第１のカメラの画角より広い画角を有する第２のカメラを用いて第２の画像を取得させ、
前記第１の画像と前記第２の画像とを用いて観察用画像を生成させるコンピュータプログラムであって、
前記観察用画像は、前記第１の画像の中心を含む領域において前記第１の画像と前記第２の画像の双方が重なり合った二重画像として観察可能な画像であることを特徴とする画像生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、互いに広さが異なる画角にて取得された複数の画像を合成して表示する画像生成装置に関する。
【背景技術】
【０００２】
望遠レンズを用いることで遠くの被写体を拡大して撮像することが可能であるが、撮像範囲つまりは画角が狭くなる。このため、飛行中の鳥や飛行機、サッカー等のスポーツ競技にて走る選手や蹴られたボールなどの動く被写体を追いながらの撮像では被写体が撮像範囲から外れやすく、ファインダを観察中のユーザも被写体を見失いやすい。ユーザがファインダを観察したままで撮像範囲外の周囲の状況を把握することは困難であるため、一旦見失った被写体を再度見つけてその撮像を再開するまでに長時間を要することが多い。
【０００３】
特許文献１には、撮像用カメラにより取得された望遠側の映像をファインダの１/２以下の範囲に縮小表示し、その外側により広い画角を有するカメラにより取得された広角側の映像を表示するファインダ表示方法が開示されている。特許文献１には、ファインダ内の限られた範囲により広い画角の広角側の映像を表示するために、広角側の映像を圧縮して表示することも開示されている。また、特許文献２には、いわゆるピクチャ・イン・ピクチャ形式で望遠側の映像上の一部（周辺部）に広角側の映像を縮小表示する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−４２８０５号公報
【特許文献２】特開２０１３−９８９０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１にて開示されたファインダ表示方法では、望遠側の映像が小さく表示されるために見辛い。また、広角側の映像が圧縮表示されるためにカメラの動きに対する広角側の映像の動きが非線形となり、ファインダを見ながらカメラを操作するユーザによるカメラの直感的な操作の妨げになるおそれがある。特許文献２に開示されたファインダ表示方法では、広角側の映像が小さくて見辛く、しかも望遠側の映像の中心付近を見るときと周辺部に位置する広角側の映像を見るときとでユーザに大きな視線移動を強いる。このため、ユーザによる正確で素早いフレーミングを行い難くするおそれがある。
【０００６】
本発明は、望遠側の映像を見易く観察可能としつつ、その映像よりも広い画角で得られる広角側の映像をも見易く観察可能とすることができる画像生成装置およびこれを備えた画像観察装置、撮像装置等を提供する。
【課題を解決するための手段】
【０００７】
本発明の一側面としての画像生成装置は、第１の画角を有する第１のカメラを用いて第１の画像を取得する第１の取得手段と、第１の画角より広い第２の画角を有する第２のカメラを用いて第２の画像を取得する第２の取得手段と、第１の画像と第２の画像とを用いて観察用画像を生成する生成手段とを有する。観察用画像は、第１の画像の中心を含む領域において第１の画像と第２の画像の双方が重なり合った二重画像として観察可能な画像であることを特徴とする。
【０００８】
なお、上記画像生成装置を含む画像観察装置や撮像装置も本発明の他の一側面を構成する。また、コンピュータを上記画像生成装置として動作させるコンピュータプログラムとしての画像生成プログラムも本発明の他の一側面を構成する。
【発明の効果】
【０００９】
本発明によれば、第１の画像を見易く観察させることができるとともに、該第１の画像とこれよりも広角の画像である第２の画像との二重画像を観察可能とすることで、第１の画像から外れた被写体を第２の画像内で容易に発見することができる。これにより、望遠側での撮像時における速写性や撮像装置の操作性を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例１である撮像システムの構成を示す断面図。
【図２】実施例１の撮像システムの構成を示すブロック図。
【図３】実施例１の撮像システムで得られる合成画像の挙動を説明する図。
【図４】実施例１において画像合成手順を示す図。
【図５】本発明の実施例２である撮像システムの構成を示す断面図。
【図６】実施例２の撮像システムの構成を示すブロック図。
【図７】本発明の実施例３である撮像システムの構成を示す断面図。
【図８】実施例３の撮像システムの構成を示すブロック図。
【図９】実施例３におけるスマートフォンに表示された合成画像を示す図。
【図１０】本発明の実施例４における二重画像の例を示す図。
【図１１】実施例４の二重画像の表示例を示す。
【図１２】実施例５における二重画像の別の表示例を示す図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００１２】
図１には、本発明の実施例１である撮像装置としてのデジタル一眼レフカメラ（以下、単にカメラという）１と、該カメラ１に対して取り外し可能に装着された交換レンズ２とを含む撮像システムの構成を示している。図２には、この撮像システムの構成をブロック化して示している。撮像システムは、画像生成装置および画像観察装置を含む。
【００１３】
カメラ１と交換レンズ２は、それぞれに設けられたカメラマウント部１ａとレンズマウント部２ａとがバヨネット結合することで機械的に結合され、さらにこれらマウント部１ａ，２ａに設けられた電気接点を介して通信を行う。カメラ１と交換レンズ２によって第１のカメラが構成され、以下の説明ではこれらをまとめて第１のカメラ１，２という。
【００１４】
カメラ１は、メインミラー４、ピント板５およびペンタプリズム６からなるファインダ光学系と、光路合成プリズム（光学素子）７と、第２のカメラ３により生成された広角映像（電子画像としての第２の画像）を表示する液晶モニタ８と、接眼レンズ９とを有する。ファインダ光学系、光路合成プリズム７、液晶モニタ８および接眼レンズ９により、図２に示す光学ファインダ３２が構成される。
【００１５】
交換レンズ２において、光軸１６上に撮像光学系１７を構成するレンズ１７ａ，１７ｂ，１７ｃおよび絞りユニット１８が配置されている。撮像光学系１７は、その画角１９に対応する撮像範囲内に存在する被写体の光学像（被写体像）を形成する。
【００１６】
交換レンズ２の先端部には、第２のカメラ３が仲介部材（調整部材）２５を介して固定（装着）されている。仲介部材２５は、第２のカメラ３の光軸２０が交換レンズ２の光軸１６と同一方向を向くように第２のカメラ３の向き（光軸２０の方向）と傾きを調整する機能を有する。このように交換レンズ２の先端部に固定された第２のカメラ３は、第１のカメラ１，２と同一方向の撮像を行う。第２のカメラ３は、望遠側の焦点距離に設定された交換レンズ２（つまりは第１のカメラ１，２）の画角（第１の画角）１９よりも広い画角（第２の画角）２４での撮像が可能な撮像装置である。これにより、第１のカメラ１，２によって撮像される撮像範囲（後述する光学ファインダにより観察可能な被写体範囲）は、第２のカメラ３によって撮像される撮像範囲の一部に含まれる。
【００１７】
交換レンズ２内の撮像光学系１７を通過した被写体からの光は、その光路内に配置されたメインミラー４により反射されてピント板５上に結像する。ピント板５上に形成された光学像としての被写体像はペンタプリズム６で正立像に変換され、該正立像を形成した光は光路合成プリズム７に入射する。光路合成プリズム７は２個の三角形プリズムを貼り合わせて構成され、一方の三角形プリズムの接合反射面には多層膜からなるダイクロイックミラー７ａが形成されている。このため、被写体像（正立像）を形成して光路合成プリズム７に入射した光は、ダイクロイックミラー７ａを透過し、接眼レンズ９を介して撮影者（ユーザ）の眼に到達する。これにより、ユーザは接眼レンズ９を通して被写体像を観察することができる。
【００１８】
一方、液晶モニタ８には、第２のカメラ３が撮像により生成して第１のカメラ１，２に入力された広角映像が表示される。液晶モニタ８からの光は、光路合成プリズム７のダイクロイックミラー７ａで反射されて接眼レンズ９を介してユーザの眼に到達する。これにより、液晶モニタ８に表示された広角映像とピント板５からの被写体像とが光学的に重ね合わされて、これら広角映像と被写体像とを二重画像として同時に観察することが可能となる。
【００１９】
モニタレンズ１０は、液晶モニタ８に表示された広角映像の拡大倍率や液晶モニタ８から光路合成プリズム７までの光路長を調整するために設けられている。なお、光路合成プリズム７を、ハーフミラーにより構成してもよい。
【００２０】
このように本実施例では、第１の画像としての被写体像（光学像：図２にｂで示す）を、第１のカメラ１，２における撮像光学系１７、メインミラー４、ピント板５およびペンタプリズム６を通して取得する。撮像光学系１７、メインミラー４、ピント板５およびペンタプリズム６が第１の取得手段に相当する。また、本実施例では、第２の取得手段としての液晶モニタ８が、第２のカメラ３を用いて生成された第２の画像としての広角映像（図２にａで示す）を取得してこれを表示する。そして、生成手段としての光路合成プリズム７によって被写体像と広角映像の双方が重なり合った二重画像として観察可能な観察用画像を生成し、これをユーザに観察可能に提示する。撮像光学系１７、メインミラー４、ピント板５、ペンタプリズム６、液晶モニタ８および光路合成プリズム７により画像生成装置が構成され、さらにこれに接眼レンズ９が加わって画像観察装置が構成される。
【００２１】
カメラ１は、さらにサブミラー１１、焦点検出ユニット１２、フォーカルプレーンシャッタ１３、撮像素子１４および背面ディスプレイパネル１５を備えている。交換レンズ２を通過して被写体像を形成する光の一部はメインミラー４を透過してサブミラー１１で反射されて焦点検出ユニット１２に導かれる。焦点検出ユニット１２は、フィールドレンズ、二次結像レンズおよびＡＦセンサ（受光センサ）により構成され、位相差検出方式によって撮像光学系１７の焦点状態を検出する。撮像素子１４は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子であり、被写体像を光電変換（撮像）して撮像信号を出力する。背面ディスプレイパネル１５は、撮像素子１４からの撮像信号から生成される映像や撮像に関する各種情報を表示する。
【００２２】
また、第２のカメラ３は、撮像光学系２１と、該撮像光学系２１により形成された被写体像を光電変換する撮像素子２２と、撮像素子２２から出力された撮像信号を用いて広角映像（第２の画像）を生成する撮像信号処理部２３を有する。撮像光学系２１は、１または複数のレンズにより構成されている。
【００２３】
本実施例では、第２のカメラ３の画角２４は、交換レンズ２の画角１９の４倍広く設定されている。カメラ１に設けられた撮像素子１４は３５ｍｍフルサイズ（３６ｍｍ×２４ｍｍ）の大きさを有し、第２のカメラ３に設けられた撮像素子２２は１／２．３型（６．２ｍｍ×４．ｍｍ）の大きさを有し、これらの対角長は５．７：１の比を有する。一般に、同一画角を大きさが異なる撮像素子で撮像する場合には、開放Ｆ値を同じにすると、撮像光学系の大きさ（撮像光学系の長さ×直径）が撮像素子の対角長の比に近い値となる。また、同じ大きさの撮像素子に対してはより広角の撮像光学系を用いた方がその全長を短くすることができる。さらに、同一画角では撮像光学系の実焦点距離が短いほど（撮像素子が小さいほど）被写界深度が深くなり、画角がより広角になるほど被写界深度が深くなる。つまり、本実施例の第２のカメラ３は小型で被写界深度の深いカメラであり、至近から無限の被写体に対してぼけの小さい画像が得られる。その効果については後述する。
【００２４】
静止画撮像は以下の手順で行なわれる。カメラ１に設けられた不図示の制御ユニット（カメラマイクロコンピュータ）は、撮像光学系１７の焦点状態を焦点検出ユニット１２から取得し、被写体の明るさ情報を不図示の測光ユニットから取得する。そして、交換レンズ２に対して、フォーカス機能を有するレンズ１７ｃの駆動量と絞りユニット１８の絞り値とを送信する。交換レンズ２に設けられた不図示の制御ユニット（レンズマイクロコンピュータ）は、受信した駆動量に応じてレンズ１７ｃを駆動し、また受信した絞り値に応じて絞りユニット１８を絞り込む。
【００２５】
その後、カメラマイクロコンピュータは、メインミラー４およびサブミラー１１を光路外に退避させ、フォーカルプレーンシャッタ１３を所定のシャッタスピードで駆動することで撮像素子１４を露光する。カメラ１に設けられた撮像信号処理部３５は、撮像素子１４から出力された撮像信号に対して各種処理を行って電子画像としての静止画像を生成する。
【００２６】
一方、動画撮像においては、メインミラー４およびサブミラー１１が光路外に退避され、フォーカルプレーンシャッタ１３も開いた状態で撮像素子１４が連続的に露光される。撮像信号処理部３５は、撮像素子１４からフレームごとに出力される撮像信号に対して各種処理を行って動画を構成する電子画像としての複数のフレーム画像を順次生成する。動画撮像での焦点状態および明るさ情報は撮像素子１４からの画像信号を処理することで検出され、該検出結果に応じてレンズマイクロコンピュータによりレンズ１７ｃおよび絞りユニット１８が駆動される。取得された動画は背面ディスプレイパネル１５により観察が可能である。動画の明るさは、絞り値と撮像素子１４の感度と撮像素子１４の電荷蓄積時間を制御する電子シャッタとにより決定される。
【００２７】
本実施例では、メインミラー４が光路外に退避された状態では、光学ファインダを通じて前述した二重画像を観察することはできない。すなわち、二重画像の観察は、静止画撮像前に被写体像を観察しているエイミング時のみである。
【００２８】
次に、二重画像の見え方について図３（ａ）〜（ｃ）を用いて説明する。図３（ａ）〜（ｃ）には、第１のカメラ１，２と第２のカメラ３がこれらの画角の中心（光軸上の位置）が互いに一致し、かつ画角間に相対傾きがない（以下、画角の傾きが互いに一致するという）状態で得られる二重画像を示している。第１のカメラ１，２において得られる被写体像（光学像）は交換レンズ２を望遠側に設定した状態で得られる望遠被写体像である。なお、画角の中心が互いに一致するとは、必ずしも完全に一致する必要はなく、一致しているとみなせる程度に（例えば、画像の長辺または短辺の長さの１０％以内のずれしか有さないように）一致していればよい。また、画角の傾きが互いに一致するとは、必ずしも完全に一致する必要はなく、一致しているとみなせる程度に（例えば、傾きのずれが１０％以内となるように）一致していればよい。
【００２９】
本実施例では、互いに同じサイズの第１および第２の画像が重ね合わされており、二重画像の全体が第１および第２の画像が重ね合わされた二重領域となっている。この二重領域は、当然ながら第１の画像の中心を含む領域である。
【００３０】
５０は二重画像の外縁（以下、外枠という）を示し、５１は第１のカメラ１，２の画角の中心を通る（つまりは該中心を示す）指標としての十字線である。５２は第２の画像上における第１のカメラ１，２の画角の範囲を示す指標としての補助表示枠である。前述したように第２のカメラ３は第１の１，２に対して４倍の画角を有するので、補助表示枠５２は外枠５０の１／４の大きさ（面積）を有する。
【００３１】
図３（ａ）において、Ａは第１のカメラ１，２で取得された望遠被写体像内の主被写体（飛んでいる鳥）であり、Ａ′は第２のカメラ３で取得された広角映像内の同じ主被写体である。主被写体ＡおよびＡ′はそれぞれ第１および第２の画像の中央に捉えられているので互いに重なった状態で観察される。主被写体ＡとＡ′は互いに相似の関係を有する。
【００３２】
図３（ｂ），（ｃ）は、主被写体Ａが第１のカメラ１，２の画角から外れていく様子を示している。これと同時に主被写体Ａ′が第２のカメラ３の画角の中心（光軸上）から移動していく。外枠５０内で主被写体ＡはＡ′に対して十字線５１の中心から４倍のずれ量で移動していく。図３（ｃ）では、第１のカメラ１，２では主被写体Ａを見失っているが、第２のカメラ３ではまだ外枠５０の隅に主被写体Ａ′が捉えられている。したがって、ユーザは、主被写体Ａ′を十字線５１の中心に戻すように直感的に矢印Ｂで示す方向に第１のカメラ１，２を動かすことで、図３（ｂ）の状態を経て図３（ａ）の状態に容易に戻すことができる。
【００３３】
なお、第１のカメラ１，２が主被写体Ａに対するピントを合わせ続けるフォーカス制御（サーボＡＦ）を行う場合には、主被写体Ａが第１のカメラ１，２の画角から外れてユーザが該主被写体Ａを見失った時点では大きくピントがぼけることもあり得る。しかし、このような場合でも、前述したように第２のカメラ３の被写界深度は第１のカメラ１，２よりも深いので、ユーザは第２の画像において主被写体Ａ′を明確に視認することができ第１のカメラ１，２を動かすべき方向を容易に知ることができる。
【００３４】
次に、第１のカメラ１，２と第２のカメラ３の画角の中心および傾きのそれぞれを互いに一致させる作業手順について、図４（ａ）〜（ｃ）を用いて説明する。図４（ａ）〜（ｃ）にも、図３（ａ）〜（ｃ）と同様に、外枠５０、十字線５１および補助表示枠５２を示している。図４（ａ）は画角の中心と傾きを一致させる前の状態を表している。本実施例では、前述したように第２のカメラ３の向きと傾きの調整機能を有する仲介部材２５を介して固定する。本作業は第２のカメラ３を備えた第１のカメラ１，２の製造工程において行われることが多いと考えられるが、ここでは後述する実施例２，３での説明との重複を避けるために一般化して説明する。
【００３５】
図４（ａ）には、撮影距離が必要十分に長く、主被写体である高い木（二重線で示し、先端をＣで示す）を捉えた第１のカメラ１，２からの第１の画像と、該高い木を１本だけ含む林を捉えた第２のカメラ３からの第２の画像とを重ね合わせた二重画像を示す。まず、第１の画像中の主被写体の木の先端Ｃが十字線５１の中心に位置するように第１のカメラ１，２の画角の中心を先端Ｃに合わせる。図４（ａ）では、第２の画像内の主被写体の木の先端Ｃ′は先端Ｃに一致しておらず、また第２のカメラ３の画角は第１のカメラ１，２の画角に対して傾き（図４（ｂ）に示すθ）を有する。
【００３６】
次に、図４（ｂ）に示すように、仲介部材２５の向き調整機能を用いて、第２のカメラ３の画角の中心が主被写体の木の先端Ｃ′に合うように該第２のカメラ３の向きを調整する。図４（ｂ）では、まだ第２のカメラ３の画角は第１のカメラ１，２の画角に対して傾きθを有する。
【００３７】
最後に、図４（ｃ）に示すように、仲介部材２５の傾き調整機能を用いて、傾きθを減少させる（望ましくは０にする）ように第２のカメラ３の傾きを調整する。これにより、第１のカメラ１，２と第２のカメラ３の画角の中心および傾きのそれぞれが互いに一致した状態で取得された二重画像を観察することができる。
【実施例２】
【００３８】
図５には、本発明の実施例２である画像生成装置および画像観察装置を含む撮像システムの構成を示している。撮像システムは、デジタル一眼レフカメラ（以下、単にカメラという）１０１と、該カメラ１０１に対して取り外し可能に装着された交換レンズ１０２と、画像観察装置としての電子ビューファインダ１０４とを含む。図６には、この撮像システムの構成をブロック化して示している。
【００３９】
カメラ１０１と交換レンズ１０２は、それぞれに設けられたカメラマウント部１０１ａとレンズマウント部１０２ａとがバヨネット結合することで機械的に結合され、さらにこれらマウント部１０１ａ，１０２ａに設けられた電気接点を介して通信を行う。カメラ１０１と交換レンズ１０２によって第１のカメラが構成され、以下の説明ではこれらをまとめて第１のカメラ１０１，１０２という。
【００４０】
カメラ１０１は、フォーカルプレーンシャッタ１１３、撮像素子１１４および背面ディスプレイパネル１１５を有する。フォーカルプレーンシャッタ１１３、撮像素子１１４および背面ディスプレイパネル１１５の機能は、実施例１にて説明したフォーカルプレーンシャッタ１３、撮像素子１４および背面ディスプレイパネル１５と同様である。
【００４１】
交換レンズ１０２において、光軸１１６上に撮像光学系１１７を構成するレンズ１１７ａ，１１７ｂ，１１７ｃおよび絞りユニット１１８が配置されている。撮像光学系１１７は、その画角１１９に対応する撮像範囲内に存在する被写体の光学像（被写体像）を形成する。
【００４２】
交換レンズ１０２の先端部には、第２のカメラ１０３が仲介部材（調整部材）１２５を介して固定（装着）されている。仲介部材１２５は、第２のカメラ１０３の光軸１２０が交換レンズ１０２の光軸１１６と同一方向を向くように第２のカメラ１０３の向き（光軸１２０の方向）と傾きを調整する機能を有する。このように交換レンズ１０２の先端部に固定された第２のカメラ１０３は、第１のカメラ１０１，１０２と同一方向の撮像を行う。第２のカメラ１０３は、望遠側の焦点距離に設定された交換レンズ１０２（つまりは第１のカメラ１０１，１０２）の画角（第１の画角）１１９よりも広い画角（第２の画角）１２４での撮像が可能な撮像装置である。これにより、第１のカメラ１０１，１０２によって撮像される撮像範囲は、第２のカメラ１０３によって撮像される撮像範囲の一部に含まれる。なお、本実施例では、仲介部材１２５に対して、第２のカメラ１０３は着脱可能に装着される。
【００４３】
また、カメラ１０１のアクセサリシューには、電子ビューファインダ１０４が機械的および電気的に接続されている。電子ビューファインダ１０４は、液晶モニタ１０８、接眼レンズ１０９および電気回路ユニット１１０を備えている。電気回路ユニット１１０は、図６に示すように、入力された映像を液晶モニタ１０８に表示させる信号処理部１４２と、Ｗｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等を用いた無線通信での受信機能を備えた通信部１４１とを有する。さらに、電気回路ユニット１１０は、後述する画像合成部１４４および補正・記憶部１４３も有する。
【００４４】
また、第２のカメラ１０３は、撮像光学系１２１、撮像素子１２２および撮像信号処理部１２３を有する。撮像信号処理部１２３は、被写体像を光電変換した撮像素子１２２から出力された撮像信号を用いて複数のフレーム画像からなる広角映像（第２の画像）を生成する撮像信号処理部１３９と、上記無線通信での送信機能を備えた通信部１４０とを有する。
【００４５】
本実施例でも、第２のカメラ１０３の画角１２４を、交換レンズ１０２の画角１１９に対して４倍広く設定している。撮像素子１１４および撮像素子１２２の大きさはそれぞれ、実施例１にて説明した撮像素子１４および撮像素子２２と同じである。また、第２のカメラ１０３も小型で被写界深度の深いカメラであり、至近から無限の被写体に対してぼけの小さい画像が得られる。その効果は実施例１にて説明した通りである。
【００４６】
本実施例では、静止画撮像におけるエイミング時と動画撮像時においてフォーカルプレーンシャッタ１１３が開いた状態となり、撮像素子１１４が連続的に露光される。カメラ１０１に設けられた撮像信号処理部１３５は、撮像素子１１４からフレームごとに出力される撮像信号に対して各種処理を行って動画を構成する電子画像としての複数のフレーム画像を順次生成する。さらに、カメラ１０１に設けられたモニタ用画像生成部１３６は、各フレーム画像に対して所定の処理を行って、背面ディスプレイパネル１１５および電子ビューファインダ１０４に表示するのに適した複数のフレーム画像からなる望遠映像（第１の画像）を生成する。エイミング時と動画撮像時において、焦点状態および明るさ情報は撮像素子１１４からの画像信号を処理することで検出され、該検出結果に応じてレンズ１１７ｃおよび絞りユニット１１８が駆動される。
【００４７】
電子ビューファインダ１０４の電気回路ユニット１１０は、マイクロコンピュータとして構成されており、コンピュータプログラムとしての画像生成プログラムに従って以下の動作を行う。
【００４８】
通信部１４１および信号処理部１４２は、第２のカメラ１０３の撮像信号処理部１３９および通信部１４０から広角映像ａを取得する。これら通信部１４１および信号処理部１４２が第２の取得手段に相当する。一方、画像合成部１４４は、信号処理部１４２からの広角映像とカメラ１０１のモニタ用画像生成部１３６からの望遠映像ｂとを重ね合わせる画像処理（合成処理）を行って観察用画像としての二重画像を生成する。画像合成部１４４は、第１の取得手段および生成手段に相当する。電気回路ユニット１１０、すなわち通信部１４１、信号処理部１４２、画像合成部１４４および補正・記憶部１４３により画像生成装置が構成される。
【００４９】
第２のカメラ１０３を仲介部材１２５に装着した状態では、図４（ａ）に示したように、第２のカメラ１０３の画角の中心および傾きが、第１のカメラ１０１，１０２の画角の中心および傾きに一致しない場合がある。このため、補正手段としての補正・記憶部１４３は、カメラ１０１に設けられた十字キーや回転ダイヤル等の操作部材がユーザにより操作されることに応じて、図４（ｂ）に示したように画角の中心を一致させる補正処理を行う。また、図４（ｃ）に示したように画角の傾きを一致させる補正処理を広角映像に対して行う。具体的には、補正・記憶部１４３は、第２のカメラ１０３において生成される切り出し前の広角映像から、第２のカメラ１０３の画角の中心が第１のカメラ１０１，１０２の画角の中心に一致した状態で得られる広角映像を切り出す補正処理を行う。
【００５０】
また、第２のカメラ１０３において生成された広角映像を、第１のカメラ１０１，１０２の画角に対する第２のカメラ１０３の画角の傾きを減少させる（望ましくは０とする）ように回転させる補正処理を行う。これにより、図４（ｃ）に示したように第１のカメラ１０１，１０２と第２のカメラ１０３の画角の中心および傾きのそれぞれが互いに一致した状態で取得された二重画像に相当する電子画像としての二重画像を生成することができる。
【００５１】
なお、補正処理が行われたときの広角映像の切り出し位置や回転角度等の補正情報は記憶手段としての補正・記憶部１４３に記憶される。これにより、この後に補正・記憶部１４３は、該記憶された補正情報を参照して自動的に補正処理を行うことが可能となる。
【００５２】
そして、画像合成部１４４は、二重画像を、液晶モニタ１０８に出力して表示させる。これにより、ユーザは電子ビューファインダ（画像観察装置）１０４において接眼レンズ１０９通して二重画像を観察しながら撮像を行うことが可能となる。
【００５３】
また、画像合成部１４４は、生成した二重画像を、観察手段としての背面ディスプレイパネル１１５に出力して表示させることもできる。この場合、背面ディスプレイパネル１１５は、電気回路ユニット１１０とともに画像観察装置を構成する。ユーザは、二重画像を電子ビューファインダ１０４を通して観察するか背面ディスプレイパネル１１５を通して観察するかを選択することができる。
【００５４】
なお、主として観察される望遠画像に重ねられる広角画像は、望遠画像が透けて見える半透過画像や被写体の輪郭線を抽出した（輪郭線のみからなる）輪郭線画像であってもよい。この場合、画像合成部１４４は、望遠画像との重ね合わせ前の広角映像の透過率を５０％等の適切な値に設定した上で望遠画像と重ね合わせる。また、画像合成部１４４は、望遠画像との重ね合わせ前の広角映像に対してエッジ抽出フィルタを適用することで生成した輪郭線画像を望遠画像と重ね合わせる。
【実施例３】
【００５５】
図７には、本発明の実施例３である画像生成装置および画像観察装置を含む撮像システムの構成を示している。撮像システムは、デジタル一眼レフカメラ（以下、単にカメラという）２０１と、該カメラ２０１に対して取り外し可能に装着された交換レンズ２０２とを含む。さらに、カメラ２０１に装着された第２のカメラとしての撮像機能付き携帯電話（以下、スマートフォンという）２０３を含む。図８には、この撮像システムの構成をブロック化して示している。
【００５６】
カメラ２０１と交換レンズ２０２は、それぞれに設けられたカメラマウント部２０１ａとレンズマウント部２０２ａとがバヨネット結合することで機械的に結合され、さらにこれらマウント部２０１ａ，２０２ａに設けられた電気接点を介して通信を行う。カメラ２０１と交換レンズ２０２によって第１のカメラが構成され、以下の説明ではこれらをまとめて第１のカメラ２０１，２０２という。
【００５７】
カメラ２０１は、フォーカルプレーンシャッタ２１３、撮像素子２１４および背面ディスプレイパネル２１５を有する。フォーカルプレーンシャッタ２１３、撮像素子２１４および背面ディスプレイパネル２１５の機能は、実施例１にて説明したフォーカルプレーンシャッタ１３、撮像素子１４および背面ディスプレイパネル１５と同様である。
【００５８】
交換レンズ２０２において、光軸２１６上に撮像光学系２１７を構成するレンズ２１７ａ，２１７ｂ，２１７ｃおよび絞りユニット２１８が配置されている。撮像光学系２１７は、その画角２１９に対応する撮像範囲内に存在する被写体の光学像（被写体像）を形成する。
【００５９】
スマートフォン２０３は、カメラ２０１の上面に設けられたアクセサリシューに装着された仲介部材（調整部材）２２５に装着されている。仲介部材２２５は、スマートフォン２０３の光軸２２０が交換レンズ２０２の光軸２１６と同一方向を向くようにスマートフォン２０３の向き（光軸２２０の方向）と傾きを調整する機能を有する。このようにカメラ２０１に装着されたスマートフォン２０３は、第１のカメラ２０１，２０２と同一方向の撮像を行う。スマートフォン２０３は、望遠側の焦点距離に設定された交換レンズ２０２（つまりは第１のカメラ２０１，２０２）の画角（第１の画角）２１９よりも広い画角（第２の画角）２２４での撮像が可能である。これにより、第１のカメラ２０１，２０２によって撮像される撮像範囲は、スマートフォン２０３によって撮像される撮像範囲の一部に含まれる。
【００６０】
スマートフォン２０３は、仲介部材２２５に対して着脱可能である。また、仲介部材２２５も、アクセサリシューに対して着脱可能である。
【００６１】
スマートフォン２０３において、光軸２２０上には撮像光学系２２１が配置されている。撮像光学系２２１は、１または複数のレンズにより構成されている。スマートフォン２０３は、撮像光学系２２１により形成された被写体像を光電変換（撮像）する撮像素子２２２と、撮像素子２２２から出力された撮像信号を用いて複数のフレーム画像からなる広角映像（第２の画像）を生成する撮像信号処理部２４０とを有する。撮像素子２１４と撮像素子２２２の大きさは、実施例１にて説明した撮像素子１４および撮像素子２２と同じである。さらにスマートフォン２０３は、画像生成装置としての電気回路ユニット２２３と、表示パネル２２６とを有する。表示パネル２２６は、タッチ操作機能を有する。詳しくは後述するが、電気回路ユニット２２３と表示パネル２２６とにより画像観察装置２３２が構成される。
【００６２】
本実施例でも、実施例２と同様に、静止画撮像におけるエイミング時と動画撮像時においてフォーカルプレーンシャッタ２１３が開いた状態となり、撮像素子２１４が連続的に露光される。カメラ２０１に設けられた撮像信号処理部２３５は、撮像素子２１４からフレームごとに出力される撮像信号に対して各種処理を行って動画を構成する電子画像としての複数のフレーム画像を順次生成する。さらに、カメラ２０１に設けられたモニタ用画像生成部２３６は、各フレーム画像に対して所定の処理を行って、スマートフォン２０３（および背面ディスプレイパネル２１５）での表示に適した複数のフレーム画像からなる望遠映像（第１の画像）を生成する。エイミング時と動画撮像時において、焦点状態および明るさ情報は撮像素子２１４からの画像信号を処理することで検出され、該検出結果に応じてレンズ２１７ｃおよび絞りユニット２１８が駆動される。撮像信号処理部２３５により生成された望遠映像は、Ｗｉ−ＦｉやＢｌｕｅｔｏｏｔｈ等を用いた無線通信での送信機能を備えた通信部２３７からスマートフォン２０３に送信される。
【００６３】
図８において、スマートフォン２０３の電気回路ユニット２２３は、カメラ２０１の通信部２３７から上記無線通信により望遠映像ｂを受信する通信部２４１を有する。また、電気回路ユニット２２３は、通信部２４１が受信した望遠映像ｂを表示パネル２２６に表示するための処理を行う信号処理部２４４と、撮像信号処理部２４０にて生成された広角映像ａを表示パネル２２６に表示するための処理を行う信号処理部２４２を有する。通信部２４１および信号処理部２４４が第１の取得手段に相当し、信号処理部２４２が第２の取得手段に相当する。
【００６４】
さらに、電気回路ユニット２２３は、時分割表示部２４５を有する。時分割表示部２４５は、信号処理部２４２からの広角映像ａのフレーム画像と信号処理部２４４からの望遠映像ｂのフレーム画像とを表示パネル２２６に時分割方式で交互に表示する。交互に表示する速度を十分に速くすることで、広角映像ａと望遠映像ｂとが重なり合った二重画像として観察可能な観察用画像を生成し、表示パネル２２６に表示することができる。時分割表示部２４５が生成手段に相当する。電気回路ユニット２２３、すなわち通信部２４１、信号処理部２４４、時分割表示部２４５および後述する補正・記憶部２４３により画像生成装置が構成され、さらにこれら表示パネル２２６が加わることで画像観察装置２３２が構成される。
【００６５】
電気回路ユニット２２３は、マイクロコンピュータとして構成されており、コンピュータプログラムとしての画像生成プログラムに上記動作および後述する補正処理を行う。
【００６６】
図９には、本実施例におけるスマートフォン２０３の表示パネル２２６に表示された二重画像（時分割交互表示画像）を示す。２５１は表示パネル２２６の中心（第１のカメラ２０１，２０２の画角の中心）を通る指標としての十字線である。２５２はスマートフォン２０３で取得された広角映像上（第２の画像上）での第１のカメラ２０１，２０２の画角の範囲を示す指標としての補助表示枠である。２５３は第１の画像の表示範囲を示す。図３（ａ）と同様に、Ａは第１のカメラ２０１，２０２で取得された望遠映像内の主被写体（鳥）であり、Ａ′はスマートフォン２０３で取得された広角映像内での鳥である。この図に示すように、スマートフォン２０３の画角および表示パネル２２６のサイズが第１のカメラ２０１，２０２の画角に対して横長である場合には、長手方向の広角映像をより広く確認することができるので、さらなる操作性の向上が期待できる。
【００６７】
図８において、スマートフォン２０３の電気回路ユニット２２３はさらに補正手段としての補正・記憶部２４３を有する。本実施例でも、スマートフォン２０３を仲介部材２２５に装着した状態では、スマートフォン２０３の画角の中心および傾きが、第１のカメラ２０１，２０２の画角の中心および傾きに一致しない場合がある。このため、補正・記憶部２４３は、スマートフォン２０３の表示パネル２２６が有するタッチ操作機能を用いて指等で画角の中心を一致させる補正処理や画角の傾きを一致させる補正処理を広角映像に対して行う。具体的には、補正・記憶部２４３は、スマートフォン２０３において生成される切り出し前の広角映像から、スマートフォン２０３の画角の中心が第１のカメラ２０１，２０２の画角の中心に一致した状態で得られる広角映像を切り出す補正処理を行う。また、スマートフォン２０３において生成された広角映像を、第１のカメラ２０１，２０２の画角に対するスマートフォン２０３の画角の傾きを減少させる（望ましくは０とする）ように回転させる補正処理を行う。これにより、第１のカメラ２０１，２０２とスマートフォン２０３の画角の中心および傾きのそれぞれが互いに一致した状態で取得された二重画像に相当する二重画像を生成することができる。
【００６８】
なお、本実施例でも、実施例２と同様に、補正処理が行われたときの広角映像の切り出し位置や回転角度等の補正情報は記憶手段としての補正・記憶部２４３に記憶される。
【００６９】
以上説明した実施例１〜３によれば、望遠映像を大きく見易く表示することができる。また、広角映像を小さく圧縮することなく、望遠映像と広角画像とが二重画像として観察されるようにユーザに提示できるので、望遠映像において見失った主被写体を追うユーザによる第１のカメラの直感的な操作が容易となる。さらに、広角映像を望遠映像の中心を含む領域に重ねて観察可能とするため、望遠映像を見る際と広角映像を見る際とでユーザは大きく視線を移動する必要がない。このため、ユーザは正確で素早いフレーミングを行うことができる。
【００７０】
なお、実施例１〜３では、互いに同じサイズの第１および第２の画像が重ね合わせて全体が二重領域となっている二重画像を生成する場合について説明したが、二重領域は第１の画像の一部であってもよい。ただし、この場合でも、二重領域は第１の画像の中心を含む領域とする必要があり、また二重領域（つまりは広角映像）が小さくなり過ぎないようにすることが望ましい。
【実施例４】
【００７１】
実施例１〜３においては、互いに画角が異なる第１および第２の画像を重ね合わせた二重画像としての観察用画像をユーザに提示する場合について説明した。しかし、このように第１および第２の画像を重ね合わせた二重画像では第１および第２の画像に含まれる被写体の色や形が重なるとそれらの被写体を観察しながら識別することが難くなる。
【００７２】
図１０（ｂ）には第１のカメラにより取得された木に留まっている鳥を主被写体とする第１の画像（望遠映像）を示す。また、図１０（ｃ）には第１のカメラよりも画角が広い第２のカメラにより取得された上記鳥とこの鳥が留まっている木を含む林を被写体とする第２の画像（広角映像）を示す。図１０（ａ）には、図１０（ｂ）に示した第１の画像と図１０（ｃ）に示した第２の画像とを重ね合わせて実施例１の接眼レンズ９を通じて観察可能であったり実施例２，３で液晶モニタ１０８や表示パネル２２６に表示されたりする二重画像を示している。この二重画像では、第１の画像内の鳥と第２の画像内の鳥の色が重なるとともに外形（輪郭）の一部も重なっており、両者を見分難い。また、第２の画像内の林が第１の画像内のものなのか第２の画像内のものなのかも一見して識別し難い。
【００７３】
このため、本実施例では、第１の画像および第２の画像のうちいずれか一方の画像にこれらの画像の識別を容易とするための画像処理を行う。
【００７４】
図１１（ａ）には、図１０（ｂ）に示した第１の画像のコントラスト（濃淡）を変更する（弱める）画像処理を行って図１０（ｃ）に示した第２の画像に重ねた二重画像を示す。図１１（ｂ）には、図１０（ｃ）に示した第２の画像にコントラストを弱める画像処理を行って図１０（ｂ）に示した第１の画像と重ねた二重画像を示す。いずれの二重画像でも、ハッチングして示すように第１および第２の画像のうち一方の画像のコントラストを他方の画像に対して異ならせることで、両画像が識別し易くなっている。
【００７５】
図１２（ａ）には、図１０（ａ）に示した第１の画像に輪郭を強調する画像処理を行って図１０（ｃ）に示した第２の画像に重ねた二重画像を示す。図１２（ｂ）には、図１０（ｃ）に示した第２の画像に輪郭を強調する画像処理を行って図１０（ｂ）に示した第１の画像と重ねた二重画像を示す。いずれの二重画像でも、第１および第２の画像のうち一方の画像の輪郭を強調することで、両画像が識別し易くなっている。
【００７６】
二重画像中の第１および第２の画像を識別し易くするために、コントラストの変更や輪郭の強調に限らず、一方の画像の彩度を変更して白黒画像や単色画像とする画像処理や一方の画像の色調や解像度を変更する画像処理を行ってもよい。また、実施例２で説明したように一方の画像を半透過画像や輪郭線画像とすることで第１および第２の画像を見分け易くすることが可能であるが、さらに半透過画像の透過度や輪郭線画像の輪郭線の太さを調節できるようにしてもよい。また、一方の画像に対して複数種類の画像処理を組み合わせて行ってもよい。例えば、輪郭が強調された部分以外の部分のコントラストや透明度を変更したり、単色で表示したり、色調や解像度を変更したりしてもよい。
【００７７】
このような画像処理を行う画像の選択、画像処理の種類の選択および透明度や輪郭線の太さの調節等は、カメラやスマートフォンの操作を通じてユーザが任意に行うことができるようにすればよい。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００７８】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【符号の説明】
【００７９】
１、１０１，２０１  デジタル一眼レフカメラ（第１のカメラ）
２、１０２，２０２  交換レンズ
３、１０３  第２のカメラ
２０３  スマートフォン
【図１】
2017192086.tif 000003
【図２】
2017192086.tif 000004
【図３】
2017192086.tif 000005
【図４】
2017192086.tif 000006
【図５】
2017192086.tif 000007
【図６】
2017192086.tif 000008
【図７】
2017192086.tif 000009
【図８】
2017192086.tif 000010
【図９】
2017192086.tif 000011
【図１０】
2017192086.tif 000012
【図１１】
2017192086.tif 000013
【図１２】
2017192086.tif 000014