(57)【要約】【課題】画像再生時の再生方法に応じた最適な歪補正を行うことで、大量のデータ容量やシステムリソースを消費することない撮像装置を提供すること。【解決手段】画像取得するための撮影手段と、撮影手段から取得された第1画像から平面歪補正を行う第１の歪補正手段により第2の画像を生成し、前記第2の画像の保存する記憶装置を有し、前記第2の平面歪補正画像から立体歪変換を行い第3の画像を生成する第２の歪補正手段を有し、前記第2または第3の歪補正画像を選択し、選択された画像を表示する表示手段を有することを特徴とする。【選択図】図１
2016122943.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像取得するための撮影手段と、前記第１の画像から歪補正を行い第２の画像を生成する第１の歪補正手段と、前記第２の画像を保存する記憶装置と、前記第２の画像を歪補正して第３の画像を生成する第２の歪補正手段を有し、前記第２または第３の画像を表示する表示手段を有することを特徴とする撮像装置。
【請求項２】
前記第２の画像から被写体検出を行うとともに、被写体検出がなされていた場合に、前記被写体が適正な形状に見えるように前記第２の歪補正を実施することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像装置において、被写体検出がなされていた場合に前記被写体領域のトリミングを行うことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記撮像装置と、前記撮像装置とは別の第2の撮像装置を有し、前記第2の撮像装置によって取得された第４の画像に対して、前記第２または第３の画像を合成して表示する表示手段を有することを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。
【請求項５】
前記第２の画像を表示するか前記第３の画像を表示するかはユーザーの設定によって選択されることを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置を有した画像処理装置に関し、特に光学ひずみの補正と画像の保存方法に関する。
【背景技術】
【０００２】
従来、カメラの前方である被写体側を撮影するアウトカメラと、カメラの後方である撮影者側を撮影するインカメラを有し、その両方の撮像装置にてカメラで動画や静止画を記録し、アウトカメラの画像に対してインカメラの画像を張り付けて表示させるシステムが提案されている。
【０００３】
特許文献１には、インカメラ画像とアウトカメラ画像の合成に関しての記載があり、撮影者または被写体の状態に応じてインカメラの画像をアウトカメラの画像に合成する方法について開示されている。特許文献２には、第１と第２の撮像部があり、第１の撮像部による画像データはそのまま、第２の撮像部による画像データは顔画像部分をトリミングして記録し、第１の画像が規則正しい動画の場合と不規則な場合で第２のトリミング有無を制御する方法について開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−３２０１号公報
【特許文献２】特開２００９−１１１８７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、インカメラ画像をアウトカメラ画像に合成する場合に、例えば顔領域をトリミングして表示させる場合と画像全体を表示させる場合とにおいて、最適な光学歪補正が異なる。画像全体が平面的に歪なく見える平面補正方法と画像周辺部においても立体物が歪んで見えないように歪補正を行う立体歪補正の二通りが存在する。例えば顔領域をトリミングして保存する場合立体歪補正を適応することが望ましい。
【０００６】
一方、インカメラの画像合成の有無や顔トリミングの実施の有無を、画像閲覧時にユーザーが設定可能であることが望ましく、その場合、インカメラ側の画像をトリミングせずに全体画像を保存しておく必要がある。また顔トリミングの有無によって平面歪と立体歪の両方の光学ひずみ補正を行った画像を保存しておく必要があるが、そうするとアウトカメラ画像とインカメラの平面歪補正画像とインカメラの立体歪画像の３種類の保存が必要になるため、大量のデータ容量とシステムリソースを大量に消費してしまうという問題点があった。
【０００７】
そこで、本発明の目的は、画像再生時の再生方法に応じた最適な歪補正を行うことで、大量のデータ容量やシステムリソースを消費することない撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明の撮像装置は、画像取得するための撮影手段と、撮影手段の画像から平面歪補正を行う第１の歪補正手段により第２の画像を生成し、前記第２の画像の保存する記憶装置を有し、前記第２の平面歪補正画像から立体歪変換を行い第３の画像を生成する第２の歪補正手段を有し、前記第２または第３の歪補正画像を選択し、選択された画像を表示する表示手段を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画像再生時の再生方法に応じた最適な歪補正を行うことで、大量のデータ容量やシステムリソースを消費することない撮像装置の提供を実現できる。
【図面の簡単な説明】
【００１０】
【図１】第１実施例における画像撮影時における処理フローを示すブロック図
【図２】第１実施例における画像再生時における処理フローを示すブロック図
【図３】第２実施例における画像撮影時における処理フローを示すブロック図
【図４】第２実施例における画像再生時における処理フローを示すブロック図
【図５】第１実施例および第２実施例における立体歪補正と平面歪補正を示した図
【発明を実施するための形態】
【００１１】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１２】
［実施例１］
以下、図1を参照して、本発明の第1の実施例による、処理フローについて説明する。図１は本発明の実施形態にかかわる処理フローを示したブロック図である。撮像装置１０１から取得されたセンサー出力画像データは、信号処理装置１０２によって画像が生成される。前記信号処理装置１０４で生成した画像データは、歪補正手段１０３によって歪補正がされる。ここでの歪補正は、平面被写体が最適にみえる歪補正パラメータにて行われる。歪補正された画像は記憶装置１０７によって保存される。信号処理装置によって生成された画像は顔認識手段１０４によって、顔検出および領域の特定が行われる。
【００１３】
顔検出されていた場合には、歪補正手段103によって歪補正がされた画像に対してトリミング手段１０５により前記顔認識手段１０４にて認識された領域にトリミングが行われる。顔領域がトリミングされた画像は、再度歪補正手段１０３によって歪補正がなされる。ここでの歪補正は、立体物に最適な歪補正パラメータにて行われ、選択手段１０８によりその画像が選択されて表示装置１０９に表示される。一方、顔認識手段１０４によって顔検出がなされなかった場合には、歪補正手段１０３によって平面歪補正がなされた画像を選択手段１０８によって選択され、表示装置１０９に表示される。
【００１４】
図２は画像記憶装置１０７に保存された画像を再生表示する際の処理フローを示したブロック図である。記憶装置１０７にて保存されている画像が読みだされる。その際記憶装置に保存されている画像は、前述の通り、平面歪補正の画像となる。図１と同様に、顔認識手段１０４によって顔が認識されている場合にはその領域をトリミング手段１０５によってトリミングされ、歪補正手段１０３によって  平面歪補正画像を立体歪補正画像に再度変換されて選択手段１０８を介して表示装置１０９に表示される。一方、顔認識手段１０４にて顔認識がなされていない場合、記憶装置１０７によって保存された画像を選択手段１０８によって選択され、表示装置１０９に画像全体が表示されることになる。
【００１５】
次に立体物用歪補正と平面用歪補正の差分について述べる。図５は立体歪と平面歪の例を示した図である。図５のＡ）は対角方向に像高５割から１０割までのポイントで１割毎に並行線が引いてあり、それぞれの像高に対して対角方向の頂点に球体の物体を置いている例を示している。この被写体を遠い距離から長い焦点距離のレンズで撮影した場合においては、図５のＡ）のように撮影することが可能であり、一般的には焦点距離が３５ミリ換算で５０ｍｍ以上の場合には、概ね被写体の通りに撮影することが可能である。
【００１６】
一方、非常に近距離の場所から観察した場合には図５のＣ）のように見える。それと同様に焦点距離の短いレンズで撮影した場合には同様に樽型歪が発生した状態で撮影されてしまうことになるが、最近のデジタルカメズには、この樽型歪を発生させないように、より具体的には平面に書かれた線や被写体において歪が発生しないように補正を行うことが一般的である。広角のレンズにおいては、その画角の広さから風景写真や室内での撮影において使われることが多く、平面の被写体が歪んで撮影されることはその撮影頻度としても好ましくない。図５のＢ）は平面の上の線が歪まないように平面歪補正がなされた例である。
【００１７】
しかしながら、このように平面被写体においてひずみが発生しないようにしてしまうと、図５のＢ）に示したように、立体物においては楕円上に歪むことが知られている。焦点距離が短いほど、また像高が高い方向に行くほど立体物の歪は大きくなり、例えばそれらの領域に人物の顔があると顔が大きく歪みかつ大きく撮影され、一般的に好ましくない画像となる。つまり被写体として人物が写っている場合と風景が写っている場合とで、撮影者が好ましいと感じる歪補正方法やその補正率が異なる。
【００１８】
図１に示したように人物の顔領域を認識させてその領域を切り出して表示させる場合においては、立体物が適正に見える歪補正であることが好ましく、画面全体を表示させる場合においては平面が歪なく補正がなされていることが好ましい。また撮影画像全体を保存する場合においても同様に平面被写体の歪がないように補正された画像が記録させることが望ましい。
【００１９】
本実施例では、図５のＢ）の状態を平面歪補正とよび、図５のＣ）を立体歪補正と呼ぶこととする。本実施例においては、被写体検出されていた場合に、被写体領域をトリミングしてから歪補正を行うように記載した。歪補正は一般的に画像中の多くメモリを消費するため、歪補正を行う領域が少ないほどシステムにかかる負荷が低減可能であるためトリミングを先に実施する方法で記載をしたが、しかしながらトリミングを行った方形状が歪補正後に変形してしまうため、表示する際に再度方形状にトリミングを行う必要がある。歪補正を行うためのメモリが十分にある場合においては、歪補正を行ってからトリミングを行う方が容易であることはいうまでもない。
【００２０】
［実施例２］
以下、図３を参照して、本発明の第２の実施例による撮像装置について説明する。第２実施例における撮像装置は、被写体側を向いた撮像装置（以下アウトカメラ）と撮影者側にむけた撮像装置（以下インカメラ）の２種類の撮像装置を有するカメラについて説明を行う。インカメラで撮影される撮影者は、手に持っているカメラから撮影者の顔が撮影されることが想定されており、その場合の焦点距離は２４mm（３５ミリ換算）程度の短い焦点距離でなければ撮影者の顔全体を適正に撮影することは難しい。つまりアウトカメラに比較してインカメラのレンズは広角であることが想定される。
【００２１】
図３は第２実施例における処理のフローを示したブロック図である。第１実施例の図１と異なる部分のみ説明を行う。撮像装置１０１はインカメラであって、第２撮像装置１１０はアウトカメラである。第２撮像装置１１０で撮影された画像は信号処理１０２によって画像生成され記憶装置１０７によって保存される。記憶装置１０７は、撮像装置１０１で撮影された画像と第２の撮像装置１１０で撮影された画像の両方を保存してもよいし、どちらか一方を時間的に分割しながら合成してもよい。また保存される画像は、静止画でも良いし動画であってもよい。アウトカメラが静止画であってインカメラが動画などでもよい。
【００２２】
第２の撮像装置で撮影された画像は第１の撮像装置１０１で撮影された画像とが合成手段１１１によって合成されて表示装置１０９に表示される。その場合、画像選択手段１０８での画像選択方法は、第１実施例で述べたものと同様に人物が認識されている場合とされていない場合とで、顔領域をトリミングした画像と画像全体の画像を選択される。それ以外の方法としては顔領域の認識の有無以外にもUI装置112によって選択結果を切りかえられてもよい。
【００２３】
図４は第２の実施例の図３によって保存されたインカメラの画像とアウトカメラの画像を再生現像する場合の処理のフローを示したブロック図である。図４においても第１実施例の図２と異なる部分のみ説明を行う。保存された画像は記憶装置１０７によって読みだされる。アウトカメラの画像は合成手段１１１によって、インカメラの画像と合成されて表示手段１０９に表示される。その場合のインカメラの画像は、顔領域がトリミングされたものであってもよいしされていないものであってもよい。もちろんＵＩ装置によって画像合成せずにアウトカメラ画像のみ表示されてもよい。
【００２４】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００２５】
１０１  撮像装置、１０２  信号処理装置、１０３  歪補正手段１、
１０４  顔認識手段、１０５  トリミング手段、１０６  歪補正手段２、
１０７  選択手段、１０８  記憶装置、１０９  表示手段、１１０  第２撮像装置、
１１１  合成手段、１１２  ＵＩ手段
【図１】
2016122943.tif 000003
【図２】
2016122943.tif 000004
【図３】
2016122943.tif 000005
【図４】
2016122943.tif 000006
【図５】
2016122943.tif 000007