(57)【特許請求の範囲】
【請求項１】
互いに直交する二つの方向の画角がそれぞれ１８０度より小さい第１視野領域を撮像して該第１視野領域の画像を第１画像データとして生成する第１撮像部を備えた撮像装置であって、
前記第１撮像部の光軸と直交する軸の周りの全周にわたる第２視野領域を撮像して該第２視野領域の画像を第２画像データとして生成する第２撮像部と、
前記第２撮像部が生成した第２画像データの少なくとも一部を、矩形状の表示領域を有する画像データに変換することによって変換画像データを生成する画像変換部と、
前記画像変換部が生成した変換画像データと前記第１画像データとを合成することによって合成画像データを生成する画像合成部と、
前記画像合成部が生成した合成画像データを表示する表示部と、
当該撮像装置の加速度を検出する加速度検出部と、
前記加速度検出部の検出結果に基づいて、前記第１撮像部の光軸が水平であるか否かを判定する水平判定部と、
を備え、
前記画像変換部は、
前記水平判定部の判定結果に応じて前記第２画像データを変換することを特徴とする撮像装置。
【請求項２】
前記第２画像データは円環状をなすことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像変換部は、
前記第２視野領域のうち前記第１視野領域と重複する領域を変換対象から除外することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記画像合成部は、
前記水平判定部によって前記第１撮像部の光軸が水平であると判定された場合、前記第１画像データと前記第２画像データを上下に並べて配置することを特徴とする請求項１〜３のいずれか一つに記載の撮像装置。
【請求項５】
人物の顔の画像に関する顔画像情報を記憶する顔画像情報記憶部と、
前記顔画像情報記憶部が記憶する顔画像情報を参照して前記第２画像データに含まれる人物の顔を検出する顔検出部と、
を備え、
前記画像変換部は、
前記水平判定部によって前記第１撮像部の光軸が水平でないと判定された場合、前記顔画像情報記憶部が記憶する顔画像情報を参照して、前記顔検出部が検出した顔の顔画像データに対して縦横比および傾きの少なくともいずれか一方を補正することを特徴とする請求項１〜４のいずれか一つに記載の撮像装置。
【請求項６】
前記画像合成部は、
前記画像変換部が変換した変換画像データを前記第１画像データの外縁領域に重畳して配置することを特徴とする請求項５に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像してこの被写体の画像データを生成する撮像装置に関する。
【背景技術】
【０００２】
近年、デジタルカメラやデジタルビデオカメラなどの撮像装置においては、被写体を撮像した画像データに画像処理を施すことによって、消費者の様々な要望に応える技術が開示されている。たとえば、撮像装置の前方方向における被写体を含む視野領域だけでなく、この撮像装置を中心軸に複数の視野領域を撮像した画像データをそれぞれ組み合わせることによって全方位撮影（水平画角３６０度）を可能にする技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１８００２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術は、撮像装置の周囲の状況をパノラマ式に撮像するのに好適であるものの、その一方で、通常の撮像装置のように縦横双方向で限られた視野領域を撮像することができなかった。
【０００５】
本発明は、上記に鑑みてなされたものであって、縦横双方向で限られた視野領域の撮像に加えてその視野領域の周辺領域を広く撮像することができ、これらの撮像結果を一括して表示することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、互いに直交する二つの方向の画角がそれぞれ１８０度より小さい第１視野領域を撮像して該第１視野領域の画像を第１画像データとして生成する第１撮像部と、前記第１撮像部の光軸と直交する軸の周りの全周にわたる第２視野領域を撮像して該第２視野領域の画像を第２画像データとして生成する第２撮像部と、前記第２撮像部が生成した第２画像データの少なくとも一部を、矩形状の表示領域を有する画像データに変換することによって変換画像データを生成する画像変換部と、前記画像変換部が生成した変換画像データと前記第１画像データとを合成することによって合成画像データを生成する画像合成部と、前記画像合成部が生成した合成画像データを表示する表示部と、を備えたことを特徴とする。
【０００７】
また、本発明に係る撮像装置は、上記発明において、前記第２画像データは円環状をなすことを特徴とする。
【０００８】
また、本発明に係る撮像装置は、上記発明において、前記画像変換部は、前記画像変換部は、前記第２視野領域のうち前記第１視野領域と重複する領域を変換対象から除外することを特徴とする。
【０００９】
また、本発明に係る撮像装置は、上記発明において、当該撮像装置の加速度を検出する加速度検出部と、前記加速度検出部の検出結果に基づいて、前記第１撮像部の光軸が水平であるか否かを判定する水平判定部と、を備え、前記画像変換部は、前記水平判定部の判定結果に応じて前記第２画像データを変換することを特徴とする。
【００１０】
また、本発明に係る撮像装置は、上記発明において、前記画像合成部は、前記水平判定部によって前記第１撮像部の光軸が水平であると判定された場合、前記第１画像データと前記第２画像データを上下に並べて配置することを特徴とする。
【００１１】
また、本発明に係る撮像装置は、上記発明において、人物の顔の画像に関する顔画像情報を記憶する顔画像情報記憶部と、前記顔画像情報記憶部が記憶する顔画像情報を参照して前記第２画像データに含まれる人物の顔を検出する顔検出部と、を備え、前記画像変換部は、前記水平判定部によって前記第１撮像部の光軸が水平でないと判定された場合、前記顔画像情報記憶部が記憶する顔画像情報を参照して、前記顔検出部が検出した顔の顔画像データに対して縦横比および傾きの少なくともいずれか一方を補正することを特徴とする。
【００１２】
また、本発明に係る撮像装置は、上記発明において、前記画像合成部は、前記画像変換部が変換した変換画像データを前記第１画像データの外縁領域に重畳して配置することを特徴とする。
【発明の効果】
【００１３】
本発明に係る撮像装置は、通常の撮像装置が備える撮像部に相当する第１撮像部と、第１撮像部の光軸と直交する軸の周りの全周にわたる領域を撮像する第２撮像部と、第２撮像部が生成した第２画像データの少なくとも一部を、矩形状の表示領域を有する画像データに変換する画像変換部と、画像変換部が生成した変換画像データと第１撮像部が生成した第１画像データとを合成する画像合成部と、画像合成部が合成した合成画像データを表示する表示部とを備えているため、通常の撮像装置のような縦横双方向で限られた視野領域の撮像に加えてその視野領域の周辺領域を広く撮像することができ、これらの撮像結果を一括して表示することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の一実施の形態に係る撮像装置の前面側の構成を示す斜視図である。
【図２】図２は、本発明の一実施の形態に係る撮像装置の背面側の構成を示す斜視図である。
【図３】図３は、本発明の一実施の形態に係る撮像装置の機能構成を示すブロック図である。
【図４】図４は、本発明の一実施の形態に係る撮像装置が備える第２撮像部の構成を示す模式図である。
【図５】図５は、本発明の一実施の形態に係る撮像装置が備える加速度検出部の構成を模式的に示す図である。
【図６】図６は、本発明の一実施の形態に係る撮像装置が備える加速度検出部の一部をなす加速度センサの構成を示す図である。
【図７】図７は、加速度検出部が検出する加速度を模試的に示す図である。
【図８】図８は、本発明の一実施の形態に係る撮像装置の姿勢が変化する状況を示す図である。
【図９】図９は、本発明の一実施の形態に係る撮像装置を用いて撮影を行う際の周囲の状況を示す図である。
【図１０】図１０は、図９に示す状況を水平方向から見た図である。
【図１１】図１１は、図９に示す状況下で第２撮像部が生成する第２画像データを示す図である。
【図１２】図１２は、図９に示す状況下で画像変換部が行う処理の概要を示す図である。
【図１３】図１３は、図９に示す状況下で画像合成部が行う処理の概要を示す図である。
【図１４】図１４は、本発明の一実施の形態に係る撮像装置を用いて撮影を行う際の周囲の状況（第２例）を示す図である。
【図１５】図１５は、図１４に示す状況を水平方向から見た図である。
【図１６】図１６は、図１４に示す状況下で第２撮像部が生成する第２画像データを示す図である。
【図１７】図１７は、図１４に示す状況下で画像変換部が行う処理の概要を示す図である。
【図１８】図１８は、図１４に示す状況下で画像合成部が行う処理の概要を示す図である。
【図１９】図１９は、本発明の一実施の形態に係る撮像装置が行う処理の概要を示すフローチャートである。
【図２０】図２０は、本発明の一実施の形態の変形例に係る撮像装置が備える画像変換部の処理の概要を示す図である。
【図２１】図２１は、本発明の一実施の形態の変形例に係る撮像装置が備える画像合成部の処理の概要を示す図である。
【図２２】図２２は、本発明の別な実施の形態に係る撮像装置の前面側の構成を示す斜視図である。
【図２３】図２３は、本発明の別な実施の形態に係る撮像装置が備える第２撮像部の構成を示す模式図である。
【発明を実施するための形態】
【００１５】
以下に、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一の部分には同一の符号を付している。
【００１６】
図１は、本発明の一実施の形態に係る撮像装置の前面側の構成を示す斜視図である。図２は、本実施の形態に係る撮像装置の背面側の構成を示す斜視図である。図３は、本実施の形態に係る撮像装置の機能構成を示すブロック図である。
【００１７】
図１〜図３に示す撮像装置１は、互いに直交する二つの方向の画角がそれぞれ１８０度より小さい第１視野領域を撮像して該第１視野領域の画像を第１画像データとして生成する第１撮像部２と、第１撮像部２の光軸Ｐと直交する軸（光軸）Ｏの周りの全周にわたる第２視野領域を撮像して該第２視野領域の画像を第２画像データとして生成する第２撮像部３と、第１撮像部２および第２撮像部３がそれぞれ生成した第１および第２画像データに対してエッジ強調、色補正、画像圧縮等の画像処理を施す画像処理部４と、撮像装置１の各種操作信号の入力を受け付ける操作入力部５と、撮影日時の判定機能やタイマー機能を有する時計６と、撮像装置１の加速度を検出する加速度検出部７と、加速度検出部７の検出結果に応じて、第１撮像部２の光軸Ｐが水平であるか否かを判定する水平判定部８と、画像処理部４によって処理が施された第１画像データおよび第２画像データを含む各種情報を記憶する記憶部９と、画像処理部４で処理が施された画像データに対応する画像を含む情報を表示する表示部１０と、操作入力部５によって入力される操作信号等に応じて撮像装置１の動作を制御する制御部１１と、を備える。
【００１８】
第１撮像部２は、一または複数のレンズによって構成され、第１視野領域からの光を集光する光学系と、光学系が集光した光の入射量を調整する絞りと、レリーズ信号の入力に応じて動作するシャッタと、絞りおよびシャッタを透過した光を受光して電気信号に変換するＣＣＤ（Charge Coupled Device）等の撮像素子と、撮像素子から出力されるアナログ信号に増幅やホワイトバランス等の信号処理を施した後、Ａ／Ｄ変換を行うことによってデジタルの第１画像データを生成する信号処理回路と、を有する。
【００１９】
第２撮像部３は、第１撮像部２と同様に、光学系と、絞りと、シャッタと、ＣＣＤと、信号処理回路とを有する。図４は、第２撮像部３の光学系の構成を示す模式図である。図４に示す光学系３０は、光軸Ｏを中心軸として回転対称な形状をなしており、光軸Ｏの周りの全方位（水平画角３６０度）を視野領域として光を集光する軸対称自由曲面レンズ３１と、軸対称自由曲面レンズ３１に凹面を向けた正メニスカスレンズ３２と、両凸正レンズ３３および軸対称自由曲面レンズ３１に凹面を向けた負メニスカスレンズ３４からなる接合レンズ３５と、両凸正レンズ３６および両凹負レンズ３７からなる接合レンズ３８と、を有する。軸対称自由曲面レンズ３１は、屈折率が１より大きい樹脂等の透明媒体によって形成され、遠方からの光束が入射する第１透過面３１ａと、第１透過面３１ａから入射した光束が入射して反射する第１反射面３１ｂと、第１反射面３１ｂで反射された光束が入射する第２反射面３１ｃと、第２反射面３１ｃで反射された光束が入射する第２透過面３１ｄとを有する。
【００２０】
以上の構成を有する第２撮像部３は、光軸Ｏの周りの全周にわたる第２視野領域から光を集光し、この集光した光を光電変換した後、所定の信号処理を施してＡ／Ｄ変換することにより、円環状をなす画像を第２画像データとして生成する。なお、第２撮像部３の構成は、たとえば特開２００６−２４３６８９号公報に開示されている。
【００２１】
画像処理部４は、第２撮像部３が生成した第２画像データの少なくとも一部を、矩形状の表示領域を有する画像データに変換することによって変換画像データを生成する画像変換部４ａと、画像変換部４ａが生成した変換画像データと第１撮像部２が生成した第１画像データとを合成することによって合成画像データを生成する画像合成部４ｂと、第２撮像部３が生成した第２画像データに含まれる人物の顔をパターンマッチング等の手法によって検出する顔検出部４ｃと、を有する。
【００２２】
操作入力部５は、レリーズ信号を入力するレリーズスイッチ５ａと、撮像装置１の電源オンや電源オフの指示信号を入力する電源スイッチ５ｂと、表示部１０で表示する各種表示モードや各種動作モードの切替を行う切替スイッチ５ｃと、を有する。なお、操作入力部５の一部として表示部１０にタッチパネルを設けることによって、撮影者が表示部１０の画面上で操作信号の入力を行うことができるようにしてもよい。
【００２３】
図５は、加速度検出部７の構成を模式的に示す図である。図５に示すように、加速度検出部７は、検出方向が互いに直交する三つの加速度センサ７１を有する。図６は、加速度センサ７１の構成を示す図である。図６に示す加速度センサ７１は、ＭＥＭＳ（Micro Electro Mechanical Systems）プロセスによって形成された静電容量型の加速度センサである。加速度センサ７１は、直方体状のチップ７２の主面の四隅付近に端部が固定された状態で架橋された梁構造を有する金属製の可動部７３と、チップ７２の主面であって可動部７３の端部が固定された主面上に設けられた金属製の二つの平板部７４と、を有する。可動部７３は、チップ７２の主面の同じ方向に沿ってそれぞれ帯状に延在し、両端部が固定された二つの延在部７３ａと、二つの延在部７３ａの中央部同士を延在部７３ａが延びる方向と直交する方向に沿って連結する帯状の連結部７３ｂと、連結部７３ｂの中央部から延在部７３ａが延びる方向と平行に帯状に突出する突出部７３ｃと、を有する。
【００２４】
以上の構成を有する加速度センサ７１は、図６の左右方向（矢印方向）の加速度が加わると、可動部７３が延在部７３ａの端部を除いて左右方向に撓んで変形するため、突出部７３ｃと平板部７４との位置関係が変化して静電容量が変化する。加速度センサ７１は、この静電容量の変化に基づく信号の変化を出力する。なお、加速度検出部７は、手ブレの判定やこの判定に基づく補正を行う際に用いることもできる。
【００２５】
記憶部９は、第１撮像部２および第２撮像部３が撮影し、画像処理部４によって処理が施された第１画像データおよび第２画像データを記憶する画像データ記憶部９ａと、顔検出部４ｃによる顔画像の検出および画像変換部４ａにおける顔画像の変換を行う際に参照する顔画像情報を記憶する顔画像情報記憶部９ｂと、撮像装置１が実行する各種プログラムを記憶するプログラム記憶部９ｃと、を有する。記憶部９は、撮像装置１の内部に固定的に設けられるフラッシュメモリやＲＡＭ（Random Access Memory）等の半導体メモリを用いて実現される。なお、記憶部９に対し、外部から装着されるメモリカード等の記憶媒体に対して情報を記憶する一方、記憶媒体が記憶する情報を読み出す記録媒体インターフェースとしての機能を具備させてもよい。
【００２６】
表示部１０は、第１撮像部２の光学系が表出する前面の裏側に位置する背面に設けられ、液晶、プラズマまたは有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて実現される。表示部１０は、第１画像データ、第２画像データおよび合成画像データのほか、撮像装置１の操作情報や操作に関する情報を表示することが可能である。
【００２７】
制御部１１は、操作入力部５によって入力された操作信号、加速度検出部７の検出結果および水平判定部８の判定結果に応じて撮像装置１の動作を制御する。制御部１１は、ＣＰＵ（Central Processing Unit）等を用いて実現され、撮像装置１の各構成部位とバスラインを介して接続されている。
【００２８】
ここで、加速度検出部７による撮像装置１の傾きの検出を説明する。図７は、撮像装置１の姿勢が変化する状況を示す図である。具体的には、撮影者が第１撮像部２の光軸Ｐを水平方向（ｚ軸方向）に対して斜め下向きに傾斜させた状況を示している。
【００２９】
図８は、図７に示すように撮像装置１の姿勢が変化した場合に加速度検出部７が検出する重力加速度の大きさの時間変化を示す図である。図８において、曲線Ｌｙは、撮像装置１のｙ軸方向（鉛直方向）の重力加速度の大きさの時間変化を示す。また、曲線Ｌｚは、撮像装置１のｚ軸方向（水平方向）の重力加速度の大きさの時間変化を示す。図８では、横軸が時間であり、縦軸が重力加速度の大きさである。図７に示すような撮像装置１の姿勢に伴って、撮像装置１に加わる重力加速度は、ｚ軸方向の成分が増加するとともに、ｙ軸方向の成分が減少する。なお、この場合に重力加速度のｘ軸方向の成分は、ほぼゼロのまま変化しない。加速度検出部７が、図８に示すような重力加速度の時間変化を検出した場合、水平判定部８は、光軸Ｐが水平でないと判定する。
【００３０】
次に、撮像装置１が行う撮影処理について説明する。図９は、撮像装置１を用いて撮影処理を行う際の周囲の状況を示す図である。図１０は、図９に示す状況を水平方向から見た図である。これらの図に示す場合、第１撮像部２の光軸Ｐは水平方向と平行である。
【００３１】
図９および図１０に示す場合、撮像装置１の周囲には、被写体Ａ１（赤ちゃん）、Ａ２（お母さん）、Ａ３（お父さん）の３人の被写体が存在している。３人の被写体Ａ１〜Ａ３は、ほぼ同じ高さに顔が位置している。撮影者は被写体Ａ３であり、第１撮像部２の被写体は被写体Ａ１である。この状況下で被写体Ａ３が第１撮像部２および第２撮像部３による同時撮影を行うと、第１撮像部２が被写体Ａ１を撮影するとともに、第２撮像部３が被写体Ａ１〜Ａ３を含む撮像装置１の周囲を全周（全方位）にわたって撮影する。
【００３２】
図１１は、第２撮像部３が生成した第２画像データを示す図である。図１１に示す第２画像データＷ１は、円環状をなす表示領域に被写体Ａ１〜Ａ３が撮影されている。３人の被写体Ａ１〜Ａ３の顔の中心軸は円環の中心を通過しており、その中心に近い方が鉛直上方に対応している。撮像装置１の正面側に位置する被写体Ａ１は、円環の中心の下方に位置している。撮像装置１の背面側に位置する被写体Ａ３は、円環の中心の上方に位置している。被写体Ａ２は被写体Ａ１の斜め右上方に位置している。
【００３３】
図１２は、図９に示す状況下で画像変換部４ａが行う処理の概要を示す図である。より具体的には、図１２は、画像変換部４ａが、図９に示す状況下で、第２撮像部３によって生成された第２画像データを変換して変換画像データを生成する処理の概要を示す図である。画像変換部４ａは、第２画像データＷ１の表示領域を変換して矩形状の表示領域を有する変換画像データＷ２を生成する。画像変換部４ａは、第２画像データＷ１の所定位置に切り込みＣを入れた後（図１２（ａ））、表示領域を矩形状に変換することによって変換画像データＷ２を生成する（図１２（ｂ））。図１２（ａ）に示す場合、切り込みＣは被写体Ａ３の近傍に入れられている。なお、第２画像データＷ１に切り込みを入れる位置はこれに限られるわけではない。また、画像変換部４ａに対し、隣接する被写体間の距離を変更してバランスよく被写体を配置させる機能を具備させることも可能である。
【００３４】
図１３は、画像合成部４ｂが、図９に示す状況下で撮影された画像データに基づいて行う処理の概要を示す図である。より具体的には、図１３は、画像合成部４ｂが、図９に示す状況下で、画像変換部４ａによって生成された変換画像データＷ２と第１撮像部２によって生成された第１画像データＷ３とを合成して合成画像データを生成する処理の概要を示す図である。画像合成部４ｂは、図１３（ａ）に示す第１画像データＷ３および変換画像データＷ２を、縦横比を保持しながらそれぞれ縮小し、縮小後の第１画像データＷ３の上部に縮小後の変換画像データＷ２を配置することによって合成画像データＷ４を生成する（図１３（ｂ））。なお、第１画像データＷ３の表示領域の縦の長さと変換画像データＷ２の表示領域の縦の長さとの比は、切替スイッチ５ｃからの入力によって適宜設定することができるようにしてもよい。この場合には、変換画像データＷ２で横方向に画面からはみ出す部分が生じることもあるので、例えば変換画像データＷ２における表示領域を操作入力部５によって選択できるようにすればより好ましい。また、画像合成部４ｂが、変換画像データＷ２を第１画像データＷ３の下部に配置するようにしてもよい。
【００３５】
図１４は、撮像装置１を用いて撮影を行う際の周囲の状況（第２例）を示す図である。図１５は、図１４に示す状況を水平方向から見た図である。図１４および図１５に示す場合、３人の被写体Ａ１〜Ａ３のうち、被写体Ａ１だけ鉛直方向の顔の位置が異なっており、視線も斜め上方を向いている。このため、撮影者である被写体Ａ３は、撮像装置１を被写体Ａ１の体勢に合わせて斜め下方へ傾斜させている。このため、第１撮像部２の光軸Ｐは、水平面Ｈと交わっている。
【００３６】
図１６は、図１４に示す状況下で被写体Ａ３が第１撮像部２および第２撮像部３による同時撮影を行った場合に第２撮像部３が生成した第２画像データを示す図である。図１６に示す第２画像データＷ５は、図１１に示す第２画像データＷ１と同様、円環状をなす表示領域に被写体Ａ１〜Ａ３が撮影されている。ただし、図１４に示す状況下では、第２撮像部３の光軸Ｏが、鉛直方向を向いている被写体Ａ２の顔の中心軸とねじれの位置にあるため、第２画像データＷ５では、被写体Ａ２の顔が湾曲している。また、図１４に示す状況下では、第２撮像部３と被写体Ａ２との距離が近づいているため、被写体Ａ３の顔の長さが長くなっている。加えて、図１４に示す状況下では、被写体Ａ３の顔の中心軸が第２撮像部３の光軸Ｏと交わっており、かつ被写体Ａ３の顔の位置が第２撮像部３から遠ざかっているため、被写体Ａ３の顔は円環の径方向に沿って縮んでいる。
【００３７】
図１７は、図１４に示す状況下で撮影された第２画像データに対して行う処理の概要を示す図である。撮像装置１は、水平判定部８による判定の結果、第１撮像部２の光軸Ｐが水平でないと判定した場合、顔検出部４ｃが、第２撮像部３が撮影した第２画像データＷ５に含まれる人物の顔を検出する（図１７（ａ））。
【００３８】
その後、画像変換部４ａは、顔検出部４ｃが検出した顔のうち、第１撮像部２が撮影した被写体Ａ１の顔以外の顔（図１７に示す場合には、被写体Ａ２，Ａ３の顔）を抽出する（図１７（ｂ））。
【００３９】
続いて、画像変換部４ａは、この抽出した顔の顔画像データを変換することによって変換画像データを生成する。具体的には、画像変換部４ａは、抽出した顔画像データＷ６，Ｗ７における画像中の顔の大きさおよび傾きの少なくともいずれか一方を補正することによって矩形状の表示領域を有する変換画像データＷ８，Ｗ９をそれぞれ生成する（図１７（ｃ））。より具体的には、画像変換部４ａは、たとえば顔画像情報記憶部９ｂに記憶されている正面を向いた人物の顔画像データの中から類似度が最も高い顔画像データを抽出し、この抽出した顔画像データを用いて変換画像データを生成する。このため、顔画像情報記憶部９ｂには、被写体Ａ１〜Ａ３を含む特定の人物の顔画像データを予め記憶させておくことができるようにしてもよい。なお、ここでは被写体Ａ１の顔画像データを画像変換部４ａによる変換対象から除外しているが、被写体Ａ１の顔画像データを変換対象とすることも可能である。
【００４０】
図１８は、図１４に示す状況下で画像合成部４ｂが行う処理の概要を示す図である。より具体的には、図１８は、画像合成部４ｂが、図１４に示す状況下で、画像変換部４ａによって生成された変換画像データＷ８，Ｗ９と第１撮像部２によって生成された第１画像データＷ３とを合成して合成画像データを生成する処理の概要を示す図である。画像合成部４ｂは、第１画像データＷ３の表示領域の外縁領域であってその表示領域の左右上方領域に、縦横比を保持して所定の面積へ縮小または拡大した変換画像データＷ８，Ｗ９をそれぞれ重畳して配置することにより、合成画像データＷ１０を生成する（図１８（ｂ））。このような画像合成を行うことにより、撮像装置１の姿勢変化に起因して第２撮像部３が撮像する被写体の画像が変形した場合であっても、その画像を正常な状態に変換して表示することができる。なお、合成後の変換画像データの表示領域の面積は、予め定めておいてもよいし、操作入力部５の入力によって変更できるようにしてもよい。
【００４１】
図１９は、撮像装置１が行う処理の概要を示すフローチャートである。図１９において、制御部１１は、電源スイッチ５ｂが操作されて撮像装置１が電源オンの状態であるか否かを判断する（ステップＳ１０１）。撮像装置１が電源オンの状態でない場合（ステップＳ１０１：Ｎｏ）、撮像装置１は処理を終了する。一方、撮像装置１が電源オンの状態である場合（ステップＳ１０１：Ｙｅｓ）、撮像装置１はステップＳ１０２へ移行する。
【００４２】
その後、制御部１１は、撮影モードまたは再生モードが設定されているか否かを判断する（ステップＳ１０２）。撮影モードが設定されている場合（ステップＳ１０２：撮影モード）、撮像装置１はステップＳ１０３へ移行する。一方、再生モードが設定されている場合（ステップＳ１０２：再生モード）、撮像装置１はステップＳ１２６へ移行する。
【００４３】
ステップＳ１０３において、制御部１１は、撮影モードのうち単独表示モードまたは合成表示モードが設定されているか否かを判断する。単独表示モードが設定されている場合（ステップＳ１０３：単独表示モード）、撮像装置１はステップＳ１０４へ移行する。一方、合成表示モードが設定されている場合（ステップＳ１０３：合成表示モード）、撮像装置１はステップＳ１０９へ移行する。
【００４４】
まず、撮像装置１が単独表示モードが設定されている場合（ステップＳ１０３：単独表示モード）を説明する。この場合、表示が選択されている画像データを生成する撮像部のみが起動して画像データを生成する（ステップＳ１０４）。すなわち、第１撮像部２が撮像する第１画像データの表示が選択されている場合には、第１撮像部２が第１画像データを生成する。これに対し、第２撮像部３が撮像する第２画像データの表示が選択されている場合には、第２撮像部３が第２画像データを生成する。
【００４５】
その後、表示部１０は、ステップＳ１０４で生成された画像データのスルー画を表示する（ステップＳ１０５）。ここで表示するスルー画は、第１撮像部２が生成した画像データである場合には、たとえば図１３に示す第１画像データＷ３である。また、第２撮像部３が生成した画像データである場合には、たとえば図１１に示す第２画像データＷ１を矩形状をなす表示部１０に埋め込んで表示したものである。
【００４６】
続いて、制御部１１は、レリーズスイッチ５ａの操作によってレリーズ信号が入力されたか否かを判断する（ステップＳ１０６）。レリーズ信号が入力されていない場合（ステップＳ１０６：Ｎｏ）、ステップＳ１０５へ移行する。一方、レリーズ信号が入力された場合（ステップＳ１０６：Ｙｅｓ）、撮像装置１はスルー画表示されている画像の撮影を行う（ステップＳ１０７）。
【００４７】
その後、撮像装置１は、第１撮像部２または第２撮像部３が撮影し、画像処理部４が画像処理を施した画像の画像データを画像データ記憶部９ａに記憶させ（ステップＳ１０８）、ステップＳ１０１へ移行する。
【００４８】
次に、ステップＳ１０３で合成表示モードが設定されている場合（ステップＳ１０３：合成表示モード）を説明する。この場合、第１撮像部２が第１画像データを生成し（ステップＳ１０９）、第２撮像部３が第２画像データを生成する（ステップＳ１１０）。
【００４９】
その後、水平判定部８は、加速度検出部７によって周期的に検出される撮像装置１の重力加速度の大きさの時間変化に基いて、第１撮像部２の光軸Ｐが水平であるか否かを判定する（ステップＳ１１１）。水平判定部８が判定した結果、撮像装置１が水平である場合（ステップＳ１１２：Ｙｅｓ）、撮像装置１はステップＳ１１３へ移行する。一方、水平判定部８が判定した結果、撮像装置１が水平でない場合（ステップＳ１１２：Ｎｏ）、撮像装置１はステップＳ１１９へ移行する。なお、水平判定部８は、第１撮像部２の光軸Ｐが水平方向を含む所定の範囲に含まれていれば、水平であると判定する。
【００５０】
ステップＳ１１３において、画像変換部４ａは、第２撮像部３が撮像した第２画像データの視野領域の全部を、矩形状をなす画像に変換して変換画像データを生成する（ステップＳ１１３）。ステップＳ１１３の処理は、たとえば図１２を参照して説明した処理に対応している。
【００５１】
続いて、画像合成部４ｂは、第１画像データと画像変換部４ａが生成した変換画像データとを合成することによって合成画像データを生成する（ステップＳ１１４）。ステップＳ１１４の処理は、たとえば図１３を参照して説明した処理に対応している。
【００５２】
その後、表示部１０は、画像合成部４ｂが生成した合成画像データのスルー画を表示する（ステップＳ１１５）。ここで表示されるスルー画は、たとえば図１３の合成画像データＷ４である。
【００５３】
制御部１１は、レリーズスイッチ５ａの操作によってレリーズ信号が入力されたか否かを判断する（ステップＳ１１６）。ここで、レリーズ信号が入力されていない場合（ステップＳ１１６：Ｎｏ）、撮像装置１はステップＳ１１５へ戻る。一方、レリーズ信号が入力された場合（ステップＳ１１６：Ｙｅｓ）、撮像装置１は、第１撮像部２および第２撮像部３による撮影を行う（ステップＳ１１７）。
【００５４】
その後、撮像装置１は、第１撮像部２および第２撮像部３がそれぞれ生成した第１および第２画像データを画像データ記憶部９ａに記憶させ（ステップＳ１１８）、ステップＳ１０１へ移行する。
【００５５】
ステップＳ１１９において、顔検出部４ｃは、第２撮像部３が生成した第２画像データから人物の顔画像データを検出する（ステップＳ１１９）。その後、画像変換部４ａは、顔検出部４ｃが検出した変換対象の顔画像データに対し、縦横比および傾きに関する補正を行うことによって変換画像データを生成する（ステップＳ１２０）。ステップＳ１１９〜Ｓ１２０の処理は、たとえば図１７を参照して説明した処理に対応している。
【００５６】
ステップＳ１２０の後、撮像装置１はステップＳ１１４へ移行し、第１画像データと画像変換部４ａが生成した変換画像データとを合成することによって合成画像データを生成する。この場合に生成される合成画像データは、たとえば図１８に示す合成画像データＷ１０である。その後、撮像装置１は、上述したステップＳ１１５〜Ｓ１１８の処理を行う。
【００５７】
次に、ステップＳ１０２において、撮像装置１が再生モードに設定されている場合（ステップＳ１０２：再生モード）を説明する。この場合、制御部１１は、操作入力部５から再生指示信号が入力されたか否かを判断する（ステップＳ１２６）。再生指示信号が入力されていない場合（ステップＳ１２６：Ｎｏ）、撮像装置１はステップＳ１０１へ移行する。一方、再生指示信号が入力された場合（ステップＳ１２６：Ｙｅｓ）、表示部１０は、画像データ記憶部９ａが記憶する画像データから指定された画像データを再生表示する（ステップＳ１２７）。
【００５８】
その後、制御部１１は、切替スイッチ５ｃの操作によって表示部１０が表示する画像データを切り替えさせる切替信号が入力されたか否かを判断する（ステップＳ１２８）。切替信号が入力されてない場合（ステップＳ１２８：Ｎｏ）、撮像装置１はステップＳ１０１へ移行する。一方、切替信号が入力された場合（ステップＳ１２８：Ｙｅｓ）、表示部１０は、表示する画像データの切り替えを行い（ステップＳ１２９）、ステップ１２８へ戻る。
【００５９】
以上説明した本発明の一実施の形態によれば、通常の撮像装置が備える撮像部に相当する第１撮像部２と、第１撮像部２の光軸Ｐと直交する軸Ｏの周りの全周にわたる領域を撮像する第２撮像部３と、第２撮像部３が生成した第２画像データの少なくとも一部を、矩形状の表示領域を有する画像データに変換する画像変換部４ａと、画像変換部４ａが生成した変換画像データと第１撮像部２が生成した第１画像データとを合成する画像合成部４ｂと、画像合成部４ｂが合成した合成画像データを表示する表示部１０とを備えているため、通常の撮像装置のような縦横双方向で限られた視野領域の撮像に加えてその視野領域の周辺領域を広く撮像することができ、これらの撮像結果を一括して表示することが可能となる。
【００６０】
また、本実施の形態によれば、撮像装置１の姿勢が変化して第２撮像部３で撮像する人物の顔が変形している場合であっても、その顔の大きさや傾きを変換することにより、撮像装置１の周囲にいる全ての人物を適切な状態で表示することができる。
【００６１】
図２０は、本実施の形態の変形例として、図９に示す状況下で、第２撮像部３によって生成された第２画像データを変換して変換画像データを生成する別な例を示す図である。図２０に示す場合、画像変換部４ａは、第２画像データＷ１における第２視野領域から第１画像データにおける第１視野領域と重複する部分、すなわち被写体Ａ１を含む領域を変換対象から除外し（図２０（ａ））、残りの領域を変換することによって矩形状をなす変換画像データＷ１１を生成する（図２０（ｂ））。
【００６２】
図２１は、画像合成部４ｂが、画像変換部４ａによって生成された変換画像データＷ１１と第１画像データＷ３とを合成して合成画像データを生成する状況を示す図である。画像合成部４ｂは、第１画像データＷ３および変換画像データＷ１１をそれぞれ縮小し、縮小後の第１画像データＷ３の上部に縮小後の変換画像データＷ１１を配置することによって合成画像データＷ１２を生成する（図２１（ｂ））。
【００６３】
このように、本変形例によれば、同一の被写体が重複して表示されることがない合成画像データを生成することができる。
【００６４】
なお、画像変換部４ａが第２画像データから第１画像データとの重複部分を除外して画像変換を行うか否かについて、操作入力部５の操作によって設定することができる構成としてもよい。
【００６５】
図２２は、本発明の別な実施の形態に係る撮像装置の前面側の構成を示す斜視図である。なお、図２２において、撮像装置１と同じ構成を有する部分については、同一の符号を付している。図２２に示す撮像装置１００は、第１撮像部２とともに第２撮像部５０を備える。
【００６６】
図２３は、第２撮像部５０の構成を示す模式図である。同図に示す第２撮像部５０は、視野領域が少なくとも略９０度を超える４つの撮像ユニット５１を有する。撮像ユニット５１は、第１撮像部２と同様の構成を有しており、光学系５１ａと、撮像素子５１ｂと、絞りと、シャッタとを有する。なお、図２３では、光学系５１ａを簡略化して記載している。また、絞りおよびシャッタについては、記載を省略している。
【００６７】
以上説明した構成を有する撮像装置１００によれば、第１撮像部２の光軸Ｐと直交する軸Ｏの周りの全周にわたる第２視野領域を同時に撮影することができるので、上述した撮像装置１と同様の効果を得ることができる。
【符号の説明】
【００６８】
１，１００        撮像装置
２                第１撮像部
３，５０          第２撮像部
４                画像処理部
４ａ              画像変換部
４ｂ              画像合成部
４ｃ              顔検出部
５                操作入力部
５ａ              レリーズスイッチ
５ｂ              電源スイッチ
５ｃ              切替スイッチ
６                時計
７                加速度検出部
８                水平判定部
９                記憶部
９ａ              画像データ記憶部
９ｂ              顔画像情報記憶部
９ｃ              プログラム記憶部
１０              表示部
１１              制御部
３０，５１ａ      光学系
３１              軸対称自由曲面レンズ
３２              正メニスカスレンズ
３３，３６        両凸正レンズ
３４              負メニスカスレンズ
３５，３８        接合レンズ
３７              両凹負レンズ
５１              撮像ユニット
５１ｂ            撮像素子
７１              加速度センサ
７２              チップ
７３              可動部
７４              平板部
Ａ１，Ａ２，Ａ３  被写体
Ｗ１，Ｗ５        第２画像データ
Ｗ２，Ｗ８，Ｗ９，Ｗ１１  変換画像データ
Ｗ３              第１画像データ
Ｗ４，Ｗ１０，Ｗ１２  合成画像データ
Ｗ６，Ｗ７        顔画像データ
【図１】
0005452183.tif 000002
【図２】
0005452183.tif 000003
【図３】
0005452183.tif 000004
【図４】
0005452183.tif 000005
【図５】
0005452183.tif 000006
【図６】
0005452183.tif 000007
【図７】
0005452183.tif 000008
【図８】
0005452183.tif 000009
【図９】
0005452183.tif 000010
【図１０】
0005452183.tif 000011
【図１１】
0005452183.tif 000012
【図１２】
0005452183.tif 000013
【図１３】
0005452183.tif 000014
【図１４】
0005452183.tif 000015
【図１５】
0005452183.tif 000016
【図１６】
0005452183.tif 000017
【図１７】
0005452183.tif 000018
【図１８】
0005452183.tif 000019
【図１９】
0005452183.tif 000020
【図２０】
0005452183.tif 000021
【図２１】
0005452183.tif 000022
【図２２】
0005452183.tif 000023
【図２３】
0005452183.tif 000024