(57)【要約】【課題】高画素の撮像手段を２つ使用することなく、高画素のステレオ画像を撮像することができるステレオ画像生成装置およびステレオ画像生成方法を提供する。【解決手段】第１の撮像部１０−１は、光学ズーム機能を有し、高画素の第１の撮像画像を出力し、第２の撮像部１０−２は、電子ズーム機能を有し、第１の撮像部１０−１よりも低画素の第２の撮像画像を出力し、画像リサイズ部２４は、ズーム倍率が所定の倍率以下の時には第１、第２の撮像画像を第３の画素数に変換し、所定の倍率を超えた場合は第１、第２の撮像画像を第４の画素数に変換し、画像エンコード部２７は、画像リサイズ部２４で変換された第１、第２の撮像画像の夫々をエンコードし、ステレオ画像フォーマット変換部２８は、画像エンコード部２７でエンコードされた第１、第２の撮像画像の夫々をステレオ画像フォーマットに変換してステレオ画像を生成する。【選択図】図１
2014132700.tif 000002
【特許請求の範囲】
【請求項１】
第１の画素数を備え、光学ズーム機能を有する、第１の撮像画像を撮像する第１の撮像部と、前記第１の画素数よりも小さい第２の画素数を備え、電子ズーム機能を有する、第２の撮像画像を撮像する第２の撮像部とを備え、ステレオ画像撮影において指定されるズーム倍率に基づき、前記第１の撮像部は光学ズーム動作を行い、前記第２の撮像部は電子ズーム動作を行うステレオ画像生成装置において、
前記ズーム倍率が、所定の倍率以下の時には、前記第１の撮像画像および前記第２の撮像画像を第３の画素数に変換し、前記所定の倍率を超えた場合は、前記第１の撮像画像および前記第２の撮像画像を前記第３の画素数より小さい第４の画素数に変換する画像リサイズ部と、
前記画像リサイズ部で変換された前記第１の撮像画像および前記第２の撮像画像をエンコードする画像エンコード部と、
前記画像エンコード部でエンコードされた前記第１の撮像画像および前記第２の撮像画像をステレオ画像フォーマットに変換してステレオ画像を生成するステレオ画像フォーマット変換部と、
を備えたステレオ画像生成装置。
【請求項２】
請求項１に記載のステレオ画像生成装置であって、
前記画像リサイズ部が行う、前記第１の撮像画像の変換、および前記第２の撮像画像の変換は、拡大、縮小、または等倍の変換であるステレオ画像生成装置。
【請求項３】
請求項１または請求項２に記載のステレオ画像生成装置であって、
前記光学ズーム倍率の前記所定の倍率をズーム倍率閾値として保持するズーム倍率閾値保存部を備え、
前記画像リサイズ部は、前記ズーム倍率閾値に基づき、前記第１の撮像画像と、前記第２の撮像画像のリサイズを行うステレオ画像生成装置。
【請求項４】
請求項１乃至請求項３のいずれか一項に記載のステレオ画像生成装置であって、
前記第３の画素数は、前記第１の画素数であるステレオ画像生成装置。
【請求項５】
請求項１に記載のステレオ画像生成装置であって、
前記第１の撮像部は、第１の画角を備え、
前記第２の撮像部は、前記第１の画角よりも狭い第２の画角を備え、
前記第１の撮像部の光学ズーム倍率に応じて、前記第１、もしくは前記第２の撮像画像をトリミングする画角補正部を備え、
前記画像エンコード部は、前記画角補正部でトリミングされ、前記画像リサイズ部で画素数が変換された前記第１の撮像画像と前記画像リサイズ部で画素数が変換された前記第２の撮像画像と、をエンコードするステレオ画像生成装置。
【請求項６】
請求項５に記載のステレオ画像生成装置であって、
前記第１の撮像部の光学ズーム倍率毎の画角補正情報を保持する画角情報保持部を備え、
前記画角補正部は、前記画角補正情報に基づきトリミングするステレオ画像生成装置。
【請求項７】
請求項１に記載のステレオ画像生成装置であって、
前記第１の撮像画像、もしくは前記第２の撮像画像のいずれかに対して、上下ずれ、水平ずれ、回転ずれ、または大きさずれの中で少なくとも１つを補正する位置補正部を備え、
前記画像エンコード部は、前記位置補正部で補正され、前記画像リサイズ部で所定の画素数に変換された前記第１の撮像画像と、前記位置補正部で補正され、前記画像リサイズ部で前記所定の画素数に変換された前記第２の撮像画像と、をエンコードするステレオ画像生成装置。
【請求項８】
請求項７に記載のステレオ画像生成装置であって、
前記第１の撮像部の光学ズーム倍率毎の位置補正情報を保持する位置補正情報保持部を備え、
前記位置補正部は、前記位置補正情報に基づき上下ずれ、水平ずれ、回転ずれ、または大きさずれの中で少なくとも１つを補正するステレオ画像生成装置。
【請求項９】
請求項１に記載のステレオ画像生成装置であって、
前記第１の撮像画像と前記第２の撮像画像との間の色の違いについて、前記第１の撮像画像および／または前記第２の撮像画像に対して色の補正を行う色補正部を備え、
前記画像エンコード部は、前記色補正部で色の補正が行われた前記第１の撮像画像と、前記第２の撮像画像と、をエンコードするステレオ画像生成装置。
【請求項１０】
請求項２に記載のステレオ画像生成装置であって、
前記画像リサイズ部が行う、前記第１の撮像画像の変換、および前記第２の撮像画像の変換が拡大の変換である場合、超解像処理を用いるステレオ画像生成装置。
【請求項１１】
請求項１に記載のステレオ画像生成装置であって、
前記第１の撮像画像および前記第２の撮像画像のそれぞれの画像の周辺部に対して平均化処理を行う画像フィルタ部を備え、
前記画像エンコード部は、前記画像リサイズ部で画素数の変換が行われた後、前記画像フィルタ部により平均化処理を行った前記第１の撮像画像と、前記画像リサイズ部で画素数の変換が行われた後、前記画像フィルタ部により平均化処理を行った前記第２の撮像画像と、をエンコードするステレオ画像生成装置。
【請求項１２】
請求項１乃至請求項１１のいずれか一項に記載のステレオ画像生成装置であって、
前記第１の画素数と前記第３の画素数と前記第４の画素数の大小関係は、第１の画素数≧第３の画素数＞第４の画素数であるステレオ画像生成装置。
【請求項１３】
光学ズーム機能を備えた第１の撮像部において第１の画素数で、第１の撮像画像を撮像する第１撮像ステップと、
電子ズーム機能を備えた第２の撮像部において前記第１の画素数よりも小さい第２の画素数で、第２の撮像画像を撮像する第２撮像ステップと、
指定されるズーム倍率が、所定の倍率以下の時には、前記第１の撮像画像、および前記第２の撮像画像を第３の画素数に変換し、前記所定の倍率を超えた場合は、前記第１の撮像画像、および前記第２の撮像画像を前記第３の画素数よりも小さい第４の画素数に変換する画像リサイズステップと、
前記画像リサイズステップで変換された前記第１の撮像画像および前記第２の撮像画像をエンコードする画像エンコードステップと、
前記画像エンコードステップでエンコードされた前記第１の撮像画像および前記第２の撮像画像をステレオ画像フォーマットに変換してステレオ画像を生成するステレオ画像フォーマット変換ステップと、
を備えたステレオ画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ画像を撮像するステレオ画像撮像用の複眼カメラに用いて好適なステレオ画像生成装置およびステレオ画像生成方法に関する。
【背景技術】
【０００２】
ステレオ画像を生成する方法として、特許文献１に記載された複眼カメラおよび画像処理方法が知られている。特許文献１に記載された複眼カメラは、最大撮影可能な画素数、および画角の異なる複数の撮像手段（即ちカメラ）を備えており、一方のカメラは、他方のカメラに比べて、画角が狭く最大撮影可能な画素数が少ない構成になっている。ステレオ画像を撮影する場合は、低い画素数を備えたカメラで撮影した画像の画素数、および画角にあわせて、高い画素数のカメラで撮影した画像を縮小もしくは切り出し処理を行い、それぞれのカメラの画像の画素数、および画角をあわせてステレオ画像を生成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０-２５２１８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に記載された複眼カメラの構成では、低い画素数のカメラに合わせて、高い画素数のカメラで撮影した画像の画素数を縮小するため、一方は高い画素数のカメラを備えているにもかかわらず、撮影できるステレオ画像の画素数は、低い画素数のカメラの画素数に制限されてしまうという課題がある。
【０００５】
また、低解像度のカメラと高解像度のカメラのように、解像度の異なるカメラでステレオ画像を撮影すると、立体視が十分にできない（即ち立体視し難い）という課題もあった。
【０００６】
本発明は、係る事情に鑑みてなされたものであり、高い画素数の撮像手段を２つ使用することなく高画素のステレオ画像を撮像することができ、また、十分に立体視ができるステレオ画像生成装置およびステレオ画像生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明のステレオ画像生成装置は、第１の画素数を備え、光学ズーム機能を有する、第１の撮像画像を撮像する第１の撮像部と、前記第１の画素数よりも小さい第２の画素数を備え、電子ズーム機能を有する、第２の撮像画像を撮像する第２の撮像部とを備え、ステレオ画像撮影において指定されるズーム倍率に基づき、前記第１の撮像部は光学ズーム動作を行い、前記第２の撮像部は電子ズーム動作を行うステレオ画像生成装置において、  前記ズーム倍率が、所定の倍率以下の時には、前記第１の撮像画像および前記第２の撮像画像を第３の画素数に変換し、前記所定の倍率を超えた場合は、前記第１の撮像画像および前記第２の撮像画像を前記第３の画素数より小さい第４の画素数に変換する画像リサイズ部と、前記画像リサイズ部で変換された前記第１の撮像画像および前記第２の撮像画像をエンコードする画像エンコード部と、前記画像エンコード部でエンコードされた前記第１の撮像画像および前記第２の撮像画像をステレオ画像フォーマットに変換してステレオ画像を生成するステレオ画像フォーマット変換部と、を備えた。
【０００８】
上記構成によれば、高画素の第１の撮像部と、この第１の撮像部よりも低画素の第２の撮像部を備え、光学ズーム倍率が所定の倍率以下の時は、第１の撮像部で撮像された第１の撮像画像、および第２の撮像部で撮像された第２の撮像画像を第３の画素数、具体的には第２の撮像部の画素数より高い画素数に拡大し、第１の撮像画像および拡大した第２の撮像画像をエンコードし、エンコードした第１の撮像画像および第２の撮像画像をステレオ画像フォーマットに変換してステレオ画像を生成する。
【０００９】
光学ズーム倍率が所定の倍率を超えた場合は、第１の撮像部で撮像された第１の撮像画像、および第２の撮像部で撮像された第２の撮像画像を前記第３の画素数より小さい第４の画素数にリサイズし、リサイズした第１の撮像画像、および第２の撮像画像をエンコードし、エンコードした第１の撮像画像、および第２の撮像画像をステレオ画像フォーマットに変換してステレオ画像を生成する。
【００１０】
このような構成にすることにより、光学ズーム倍率が所定の倍率以下の時は、高画素の撮像手段を２つ使用することなく、低画素の撮像部の撮影画像の画素数よりも高画素のステレオ画像を撮像することが可能となる。
【００１１】
また、光学ズーム倍率が所定の倍率を超えた場合においても、光学ズーム倍率が所定の倍率以下の時に生成されるステレオ画像の画素数よりは小さくなるが、第１の撮像画像と、第２の撮像画像の解像度をある比率以下に抑えながら、低画素の撮像部の撮影画像の画素数より高画素で、かつ立体視しやすいステレオ画像を撮像することが可能となる。
【００１２】
さらに、高画素の撮像手段を２つ使用せず、かつ光学ズーム機能を備えた撮像手段を２つ使用しないことから、コストを安くでき、また実装面積も小さくできる。
【００１３】
上記構成において、前記画像リサイズ部が行う、前記第１の撮像画像の変換、および前記第２の撮像画像の変換は、拡大、縮小、または等倍の変換である。
【００１４】
上記構成によれば、第１の撮像部で撮像された第１の撮像画像の画素数と第２の撮像部で撮像された第２の撮像画像の画素数を合わせることができる。
【００１５】
上記構成において、前記光学ズーム倍率の所定の倍率をズーム倍率閾値として保持するズーム倍率閾値保存部を備え、前記画像リサイズ部は前記ズーム倍率閾値に基づき、前記第１の撮像画像と、前記第２の撮像画像のリサイズを行う。
【００１６】
上記構成によれば、第１の撮像画像と第２の撮像画像の解像度の差をある一定値以内に制限することができる。
【００１７】
上記構成において、前記第３の画素数は、前記第１の画素数である。
【００１８】
上記構成によれば、第１の撮像部で撮像された第１の撮像画像の画素数に第２の撮像部で撮像された第２の撮像画像の画素数を合わせることができる。
【００１９】
上記構成において、前記第１の撮像部は、第１の画角を備え、前記第２の撮像部は、前記第１の画角よりも狭い第２の画角を備え、前記第１の撮像部の光学ズーム倍率に応じて、前記第１、もしくは前記第２の撮像画像をトリミングする画角補正部を備え、前記画像エンコード部は、前記画角補正部でトリミングされ、前記画像リサイズ部で画素数が変換された前記第１の撮像画像と前記画像リサイズ部で画素数が変換された前記第２の撮像画像と、をエンコードする。
【００２０】
上記構成によれば、画角補正部を備えたことで、第１の撮像画像を小さくすることができる。
【００２１】
上記構成において、前記第１の撮像部の光学ズーム倍率毎の画角補正情報を保持する画角情報保持部を備え、前記画角補正部は、前記画角補正情報に基づきトリミングする。
【００２２】
上記構成によれば、画角補正情報を保持する画角情報保持部を備えたことで、トリミングにおける処理時間の短縮化を図ることができる。
【００２３】
上記構成において、前記第１の撮像画像、もしくは前記第２の撮像画像のいずれかに対して、上下ずれ、水平ずれ、回転ずれ、または大きさずれの中で少なくとも１つを補正する位置補正部を備え、前記画像エンコード部は、前記位置補正部で補正され、前記画像リサイズ部で所定の画素数に変換された前記第１の撮像画像と、前記位置補正部で補正され、前記画像リサイズ部で前記所定の画素数に変換された前記第２の撮像画像と、をエンコードする。
【００２４】
上記構成によれば、第１の撮像画像、もしくは第２の撮像画像のいずれかに対して、上下ずれ、水平ずれ、回転ずれ、または大きさずれの中で少なくとも１つを補正する位置補正部を備えたことで、第１の撮像画像と第２の撮像画像とから精度の高いステレオ画像を生成することが可能となる。
【００２５】
上記構成において、前記第１の撮像部の光学ズーム倍率毎の位置補正情報を保持する位置補正情報保持部を備え、前記位置補正部は、前記位置補正情報に基づき上下ずれ、水平ずれ、回転ずれ、または大きさずれの中で少なくとも１つを補正する。
【００２６】
上記構成によれば、位置補正情報を保持する位置補正情報保持部を備えたことで、位置補正における処理時間の短縮化を図ることができる。
【００２７】
上記構成において、前記第１の撮像画像と前記第２の撮像画像との間の色の違いについて、前記第１の撮像画像および／または前記第２の撮像画像に対して色の補正を行う色補正部を備え、前記画像エンコード部は、前記色補正部で色の補正が行われた前記第１の撮像画像と、前記第２の撮像画像と、をエンコードする。
【００２８】
上記構成によれば、色補正部を備えたことで、第１の撮像画像および／または前記第２の撮像画像の色補正を行うことができる。
【００２９】
上記構成において、前記画像リサイズ部が行う、前記第１の撮像画像の変換、および前記第２の撮像画像の変換が拡大の変換である場合、超解像処理を用いる。
【００３０】
上記構成によれば、超解像処理を行うことで、撮像画像を拡大することによってぼけた部分が生じてもくっきり感を上げることができる。即ち、高画質化を図ることができる。
【００３１】
上記構成において、前記第１の撮像画像および前記第２の撮像画像のそれぞれの画像の周辺部に対して平均化処理を行う画像フィルタ部を備え、前記画像エンコード部は、前記画像リサイズ部で画素数の変換が行われた後、前記画像フィルタ部により平均化処理を行った前記第１の撮像画像と、前記画像リサイズ部で画素数の変換が行われた後、前記画像フィルタ部により平均化処理を行った前記第２の撮像画像と、をエンコードする。
【００３２】
上記構成によれば、画像フィルタ部を備えたことで、第１の撮像画像および前記第２の撮像画像のそれぞれの画像の周辺部をぼかすことができ、第１，第２の撮像部間のレンズ歪の差によるステレオ画像の画質の劣化を少なくすることができる。
【００３３】
上記構成において、前記第１の画素数と前記第３の画素数と前記第４の画素数の大小関係は、第１の画素数≧第３の画素数＞第４の画素数である。
【００３４】
本発明のステレオ画像生成方法は、光学ズーム機能を備えた第１の撮像部において第１の画素数で、第１の撮像画像を撮像する第１撮像ステップと、電子ズーム機能を備えた第２の撮像部において前記第１の画素数よりも小さい第２の画素数で、第２の撮像画像を撮像する第２撮像ステップと、指定されるズーム倍率が、所定の倍率以下の時には、前記第１の撮像画像、および前記第２の撮像画像を第３の画素数に変換し、前記所定の倍率を超えた場合は、前記第１の撮像画像、および前記第２の撮像画像を前記第３の画素数よりも小さい第４の画素数に変換する画像リサイズステップと、前記画像リサイズステップで変換された前記第１の撮像画像および前記第２の撮像画像をエンコードする画像エンコードステップと、前記画像エンコードステップでエンコードされた前記第１の撮像画像および前記第２の撮像画像をステレオ画像フォーマットに変換してステレオ画像を生成するステレオ画像フォーマット変換ステップと、を備えた。
【００３５】
上記方法によれば、高画素の第１の撮像部と、この第１の撮像部よりも低画素の第２の撮像部を使用し、第１の撮像部で撮像された第１の撮像画像を所定の画素数にするとともに、第２の撮像部で撮像された第２の撮像画像を所定の画素数にし、このようにしてリサイズした第１の撮像画像および第２の撮像画像とをエンコードし、エンコードした第１の撮像画像および第２の撮像画像をステレオ画像フォーマットに変換してステレオ画像を生成するので、高画素の撮像手段を２つ使用することなく、高画素のステレオ画像を撮像することが可能となる。
【００３６】
また、光学ズーム倍率が所定の倍率を超えた場合においても、光学ズーム倍率が所定の倍率以下の時に生成されるステレオ画像の画素数より小さくなるが、第１の撮像画像と、第２の撮像画像の解像度をある比率以下に抑えながら、低画素の撮像部の撮影画像の画素数より高画素で、かつ立体視しやすいステレオ画像を撮像することが可能となる。
【発明の効果】
【００３７】
本発明によれば、解像度の異なる２つの撮像手段で２つの画像を撮像し、ズーム倍率が所定の倍率以下の時には、第２の撮像画像を第１の撮像画像の画素数まで拡大し、所定の倍率を超えた場合は、第１の撮像画像の画素数を第３の画素数に縮小し、第２の撮像画像を第３の画素数まで拡大、等倍、もしくは縮小し、ステレオ画像を生成するので、高画素の撮像手段を２つ使用することがなく、コストを低く抑えることができるとともに、実装面積も小さく抑えることができる。
【図面の簡単な説明】
【００３８】
【図１】本発明の一実施の形態に係るステレオ画像生成装置の概略構成を示すブロック図
【図２】図１のステレオ画像生成装置の撮影処理全体を示すフローチャート
【図３】図１のステレオ画像生成装置の、光学ズーム倍率が所定の倍率以下の撮影処理を示すフローチャート
【図４】図３の撮影処理のステップＳ３０〜ステップＳ３２およびステップＳ３４の各ステップにおける処理結果を示す図
【図５】図１のステレオ画像生成装置の、光学ズーム倍率が所定の倍率を超えた場合の撮影処理を示すフローチャート
【図６】図５の撮影処理のステップＳ３０〜ステップＳ３２およびステップＳ４０の各ステップにおける処理結果を示す図
【図７】図１のステレオ画像生成装置に２つの撮像部を配置したときの光軸ずれを示す図
【発明を実施するための形態】
【００３９】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００４０】
図１は、本発明の一実施の形態に係るステレオ画像生成装置の概略構成を示すブロック図である。図１において、本実施の形態のステレオ画像生成装置１は、光学ズーム機能を備えた高画素の撮像部１０−１と、電子ズーム機能を備えた低画素の撮像部１０−２と、ズーム制御部１１と、オートフォーカス制御部１２と、シャッター制御部１３と、露出制御部１４と、ホワイトバランス制御部１５と、カメラ操作部１６と、制御部１７と、２つのカメラ信号処理部１８−１，１８−２と、画角補正部１９と、画角情報保持部２０と、位置補正部２１と、位置補正情報保持部２２と、色補正部２３と、画像リサイズ部２４と、超解像処理部２５と、画像フィルタ部２６と、画像エンコード部２７と、ステレオ画像フォーマット変換部２８と、画像保存部２９と、フォーマット変換部３０と、表示制御部３１と、表示部３２と、撮像制御部４０と、ズーム倍率閾値保存部４１とを備える。
【００４１】
撮像部１０−１，１０−２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備え、撮像信号を出力する。本実施の形態では、撮像部１０−１で撮像して得られた画像を第１の撮像画像とし、撮像部１０−２で撮像して得られた画像を第２の撮像画像とする。また、本実施の形態では、撮像部１０−１は第１の画角を有しており、撮像部１０−２は、撮像部１０−１の第１の画角よりも狭い第２の画角を有している。また、撮像部１０−１は、光学ズーム機能を備えている。なお、撮像部１０−１は、さらに電子ズーム機能を備えていてもよい。一方、撮像部１０−２は、光学ズーム機能を備えておらず、電子ズーム機能のみを備えている。
【００４２】
ズーム制御部１１は、撮像部１０−１，１０−２のズーム制御を行う。オートフォーカス制御部１２は、撮像部１０−１，１０−２のオートフォーカス制御を行う。シャッター制御部１３は、撮像部１０−１，１０−２のシャッター制御を行う。露出制御部１４は、撮像部１０−１，１０−２の露出制御を行う。ホワイトバランス制御部１５は、撮像部１０−１，１０−２のホワイトバランス制御を行う。
【００４３】
カメラ操作部１６は、ステレオ画像生成装置１の操作を行うものであり、操作者が指定するズーム倍率等の操作時の信号が制御部１７に入力される。制御部１７は、カメラ操作部１６での操作に応じた操作信号を撮像部１０−１，１０−２へ出力する。カメラ信号処理部１８−１は、プレビュー処理において、撮像部１０−１で撮像された第１の撮像画像を表示部３２のサイズに合わせてリサイズする。カメラ信号処理部１８−２は、プレビュー処理において、撮像部１０−２で撮像された第２の撮像画像を表示部３２のサイズに合わせてリサイズする。本実施の形態では、撮影処理時は、カメラ信号処理部１８−１からは９.７メガピクセルの第１の撮像画像（Ｌ：左画像）を出力し、カメラ信号処理部１８−２からは２メガピクセルの第２の撮像画像（Ｒ：右画像）を出力するものとする。
【００４４】
画角補正部１９は、画角情報保持部２０に保持されている画角補正情報に基づき撮像部１０−１で撮像された第１の撮像画像の画角を小さくする。例えば、５.７メガピクセルの画角にする。なお、撮像部１０−２で撮像された第２の撮像画像について画角補正するようにしてもよい。位置補正部２１は、位置補正情報保持部２２に保持されている位置補正情報に基づき、撮像部１０−１で撮像された第１の撮像画像に対して位置補正する。この場合、位置補正として、“上下ずれ”、“水平ずれ”、“回転ずれ”、または“大きさずれ”の中で少なくとも１つを行う。なお、位置補正は、撮像部１０−２で撮像された第２の撮像画像に対して行ってもよい。即ち、位置補正部２１は、撮像部１０−１で撮像された第１の撮像画像、もしくは撮像部１０−２で撮像された第２の撮像画像のいずれかに対して位置補正を行ってもよい。
【００４５】
色補正部２３は、撮像部１０−２で撮像された第２の撮像画像と位置補正後の撮像部１０−１で撮像された第１の撮像画像との間の色の違いについて、第１の撮像画像および第２の撮像画像（第１の撮像画像または第２の撮像画像）に対して色の補正を行う。画像リサイズ部２４は、撮像部１０−１で撮像された第１の撮像画像を変換し、所定の画素数にするとともに、撮像部１０−２で撮像された第２の撮像画像を変換し、第１の撮像画像と同様の画素数にする。
【００４６】
また、画像リサイズ部２４は、ズーム倍率閾値保存部４１に保存されているズーム倍率閾値に基づき、撮像部１０−１で撮像された第１の撮像画像を所定の画素数に変換するとともに、撮像部１０−２で撮像された第２の撮像画像も所定の画素数に変換する。具体的には、ズーム倍率が、所定の倍率以下の時には、前記第１の撮像画像、および前記第２の撮像画像を第３の画素数に変換し、所定の倍率を超えた場合は、前記第１の撮像画像、および前記第２の撮像画像を第４の画素数に変換する。なお、画像リサイズ部２４が行う第１の撮像画像の変換および第２の撮像画像の変換は、“拡大”や“縮小”の他に“等倍”も含まれる。
【００４７】
超解像処理部２５は、第２の撮像画像の変換が拡大の変換である場合に、画像リサイズ部２４において拡大処理を行わずに、超解像処理により拡大処理を行うものであり、画像リサイズ部２４により拡大処理するか、超解像処理により拡大するかを選択可能である。超解像処理とは、画像を拡大することによってぼけた部分についてくっきり感を上げるような処理である（つまり、高画質化を図る処理である）。
【００４８】
本実施の形態では、超解像処理部２５ではなく、画像リサイズ部２４により拡大処理する場合を説明する。画像フィルタ部２６は、２つの撮像部１０−１，１０−２のレンズ歪の差による左右画像の画素ずれを目立たなくするため、第１の撮像画像および第２の撮像画像のそれぞれの画像の周辺部をぼかすための平均化処理を行う。この画像フィルタ部２６を設けることで、２つの撮像部１０−１，１０−２間のレンズ歪の差によるステレオ画像の画質の劣化を少なくすることができる。
【００４９】
画像エンコード部２７は、画像リサイズ部２４で画素数の変換が行われ、さらに画像フィルタ部２６により平均化処理が行われた第１の撮像画像と、画像リサイズ部２４で画素数の変換が行われ、さらに画像フィルタ部２６で平均化処理が行われた第２の撮像画像とをエンコード（圧縮）する。この場合、例えばＪＰＥＧ（Joint Photographic Experts Group）形式で圧縮する。ステレオ画像フォーマット変換部２８は、画像エンコード部２７でエンコードされた第１の撮像画像および第２の撮像画像をステレオ画像フォーマットに変換してステレオ画像を生成する。この場合、例えばＪＰＥＧ形式からＭＰＯ（Multi-Picture Format）形式に変換する。画像保存部２９は、フラッシュメモリ（ＳＤメモリなど）を有し、ステレオ画像フォーマット変換部２８で生成されたステレオ画像を保存する。フォーマット変換部３０は、画像リサイズ部２４で表示部３２に合う画素数に変換された第１の撮像画像および第２の撮像画像を表示部３２に表示するための形式に変換する。表示制御部３１は、フォーマット変換部３０で表示部３２に表示するための形式（例えば、ピクセルバイピクセル）に変換された第１の撮像画像および第２の撮像画像を表示部３２に表示する制御を行う。表示部３２は、例えば液晶表示器である。
【００５０】
次に、本実施の形態のステレオ画像生成装置１の動作を説明する。
図２において、ユーザがカメラ操作部１６により撮像部１０−１、１０−２の起動を指示する（ステップＳ１０）。このユーザ指示により、制御部１７が、撮像制御部４０に対して、撮像部１０−１、１０−２を起動する指示を出力する（ステップＳ１１）。制御部１７が撮像制御部４０に対して、撮像部１０−１の光学ズーム倍率を１倍に設定する（ステップＳ１２）。
【００５１】
起動指示を出力した後、ユーザがカメラ操作部１６により撮影終了を指示するまでの間、ステップＳ１４〜ステップＳ２１を繰り返す。ステップＳ１４〜ステップＳ２１の処理を繰り返すための判定はステップＳ１３とステップＳ２２で行われる。
【００５２】
制御部１７は、ユーザがカメラ操作部１６により、カメラに対する制御を行ったかを検出する（ステップＳ１４）。検出されなかった場合は、ステップＳ１３、Ｓ１４、Ｓ２２の処理を繰り返す。これに対し、検出された場合は、制御部１７が、撮影指示かを判定する（ステップＳ１５）。撮影指示である場合は、制御部１７が、現在の光学ズーム倍率がズーム倍率閾値保存部４１から読み出したズーム倍率閾値以下であるかを判定する（ステップＳ１６）。ステップＳ１６の判定が「Ｙｅｓ」の場合は、撮影処理その１の処理を行う（ステップＳ１８）。この撮影処理その１の詳細については後述する。これに対し、ステップＳ１６の判定が「Ｎｏ」の場合は、撮影処理その２の処理を行う（ステップＳ１９）。この撮影処理その２の詳細については後述する。
【００５３】
ステップＳ１５の判定が「Ｎｏ」の場合は、制御部１７がズーム倍率変更指示かを判定する（ステップＳ１７）。ズーム倍率変更指示である場合（即ち、ステップＳ１７の判定が「Ｙｅｓ」の場合）、制御部１７が撮像制御部４０に対して、ズーム倍率の変更指示を行い、撮像制御部４０が撮像部１０−１に対して、光学ズーム倍率の変更指示を行う（ステップＳ２０）。一方、撮像制御部４０が、カメラ信号処理部１８−２に対して、ズーム倍率に応じて画像のトリミング位置を指定する。ここでのトリミングは電子ズーム機能のことである。ズーム倍率変更以外の指示である場合（即ち、ステップＳ１７の判定が「Ｎｏ」の場合）、それに応じた制御を行う（ステップＳ２１）。例えば、撮影画像サイズの変更処理などである。
【００５４】
以上の処理を、ユーザがカメラ操作部１６により、撮影終了を指示するまで繰り返し行う（ステップＳ２２）。そして、ユーザが撮影終了を指示すると、制御部１７が、撮影部１０−１、１０−２のそれぞれの動作を停止させ（ステップＳ２３）、その後、本処理を終了する。
【００５５】
（撮影処理その１）
次に、ズーム倍率がズーム倍率閾値以下の場合の、上記ステップＳ１８の撮影処理その１について説明する。これ以降の説明では、ズーム倍率閾値を１.８倍として説明する。ここでは、撮像部１０−１の撮影時における光学ズーム倍率が１.５倍の場合を例にとって、説明する。
【００５６】
図３は、図２における撮影処理その１を説明するためのフローチャートである。図３において、カメラ信号処理部１８−１が、撮像部１０−１が撮像した第１の撮像画像をユーザ設定の画像サイズに合わせてリサイズする一方、カメラ信号処理部１８−２が、撮像部１０−２が撮像した第２の撮像画像をユーザ設定の電子ズーム倍率に合わせてトリミング処理を行い、ユーザ設定の画像サイズにあわせてリサイズする（ステップＳ３０）。
【００５７】
次いで、画角補正部１９が、画角情報保持部２０より画角補正情報を読み出し、撮像部１０−１が撮像した第１の撮像画像をトリミングする（ステップＳ３１）。次いで、位置補正部２１が、位置補正情報保持部２２より位置補正情報を読み出し、撮像部１０−１が撮像した第１の撮像画像に対して、“上下ずれ”、“水平ずれ”、“回転ずれ”、または“大きさずれ”の中で少なくとも１つを補正する（ステップＳ３２）。
【００５８】
次いで、色補正部２３が、左右画像の色の違いを補正する（ステップＳ３３）。即ち、撮像部１０−２で撮像された第２の撮像画像と位置補正後の撮像部１０−１で撮像された第１の撮像画像との間の色の違いを補正する。次いで、制御部１７が、現在の光学ズーム倍率とズーム倍率閾値保存部４１に保存されているズーム倍率閾値を比較し、現在のズーム倍率がズーム倍率閾値以下のため、画像リサイズ部２４に対して、リサイズ後の画素数である第３の画素数として、画角補正後の第１の撮像画像のサイズを指示し、画像リサイズ部２４が画角補正後の第１の撮像画像のサイズに合わせて、撮像部１０−２で撮像された第２の撮像画像を拡大する（ステップＳ３４）。次いで、画像エンコード部２７が、左右の画像をエンコードする（例えば、ＪＰＥＧ形式に圧縮する）。即ち、撮像部１０−２で撮像された第２の撮像画像と位置補正後の撮像部１０−１で撮像された第１の撮像画像をエンコードする（ステップＳ３５）。次いで、ステレオ画像フォーマット変換部２８において、画像エンコード部２７でエンコードされた左右の画像即ち第１の撮像画像と第２の撮像画像をステレオ画像フォーマットに変換する（ステップＳ３６）。左右の画像をステレオ画像フォーマットに変換すると本処理を終える。
【００５９】
図４は、撮像部１０−１，１０−２の仕様を以下のように決定したときのステップＳ３０〜ステップＳ３２およびステップＳ３４の各ステップにおける処理結果を示す図である。
撮像部１０−１：１３メガピクセルカメラ、焦点距離 ２７ｍｍ相当（３５ｍｍフィルム換算）、３倍光学ズーム機能、撮影画像サイズは９.７メガピクセル（アスペクト比１６:９）
撮像部１０−２：３メガピクセルカメラ、焦点距離 ３５ｍｍ相当（３５ｍｍフィルム換算）、電子ズーム機能、撮影画像サイズは２メガピクセル（アスペクト比１６:９）
ここでは、撮影時における撮像部１０−１の光学ズーム倍率が１.５倍の場合を例にとって、説明する。
【００６０】
ステップＳ３０では、第１の撮像画像は、Ｈ２３３６ピクセル、Ｗ４１６０ピクセルとなる。第２の撮像画像は、Ｈ１０８０ピクセル、Ｗ１９２０ピクセルとなる。ステップＳ３１では、第１の撮像画像は、約Ｈ１７９６ピクセル、約Ｗ３２００ピクセルとなる。ここで、焦点距離３５ｍｍ、２７ｍｍの画角の差により、２７ｍｍのカメラで撮影したほうが、縦横それぞれ約１．３倍広角に撮影できる。そのため、２７ｍｍのカメラ画像を画角補正部１９によりトリミングすると、１／１．３倍程度の画素数になる。但し、同じ画素数のカメラでも、画角のばらつきがあるため、トリミング後の画像サイズはばらつく。
本実施の形態では、第１の撮像画像をトリミングして、第２の撮像画像の画角とあわせているが、第２の撮像画像のズーム倍率に応じたトリミングサイズに対して、より高い画素数でトリミングすることによって、第１の撮像画像の画角にあわせる方法でもよい。具体的には、ズーム倍率１.５の場合、第２の撮像画像であるＨ１０８０ピクセル、Ｗ１９２０ピクセルの画像に対して、
１０８０／１.５ * １.３＝９３６
１９２０／１.５ * １.３＝１６６４
つまり、第２の撮像画像に対して、Ｈ９３６ピクセル、Ｗ１６６４ピクセルの画像をトリミングすることで、第１の撮像画像と画角を合わせることが可能である。その場合は、ステップＳ３１において、第１の撮像画像をトリミングする必要はなく、第１の撮像画像はＨ２３３６ピクセル、Ｗ４１６０ピクセルのままである。以降の説明では、第１の撮像画像をトリミングした場合の処理を説明する。
【００６１】
ステップＳ３１では、第２の撮像画像は、Ｈ１０８０ピクセル、Ｗ１９２０ピクセルのままである。ステップＳ３２では、第１の撮像画像は、Ｈ（１７９６−β）ピクセル、Ｗ（３２００−α）ピクセルとなる。第２の撮像画像は、Ｈ１０８０ピクセル、Ｗ１９２０ピクセルのままである。ステップＳ３４では、第１の撮像画像は、Ｈ（１７９６−β）ピクセル、Ｗ（３２００−α）ピクセルとなる。第２の撮像画像は、Ｈ（１７９６−β）ピクセル、Ｗ（３２００−α）ピクセルとなり、第１の撮像画像と同じ画素数になる。ここでα、βの意味は、２つのカメラをステレオ画像生成装置に配置した時の光軸のずれ、およびそれぞれのカメラ自体の画角のずれ、光軸のずれを補正することにより、減少する画素数を示している。
【００６２】
ここで、参考として、図７に、２つのカメラをステレオ画像生成装置１に配置した時に発生する光軸ずれを示す。
【００６３】
（撮影処理その２）
次に、ズーム倍率がズーム倍率閾値より大きい場合の、上記ステップＳ１９の撮影処理その２について説明する。ここでは、撮影時における撮像部１０−１の光学ズーム倍率が２倍の場合を例にとって、説明する。
【００６４】
図５は、図２における撮影処理その２を説明するためのフローチャートである。図５において、ステップＳ３０からステップＳ３３は、先ほど説明した撮影処理その１と同じ処理である。次いで、制御部１７が、現在の光学ズーム倍率とズーム倍率閾値を比較し、現在の光学ズーム倍率が２倍で、ズーム倍率閾値１.８倍より大きいため、画像リサイズ部２４に対して、リサイズ後の画素数である第３の画素数を指示し、画像リサイズ部２４が第１の撮像画像を第３の画素数にリサイズし、第２の撮像画像を第３の画素数にリサイズする（ステップＳ４０）。ここで、第３の画素数の求め方として、ステップＳ３０の電子ズームによるトリミング時の画素数とステップＳ４０におけるリサイズ後の画素数の比率を、ある比率以下にするように第３の画素数を決定する。この実施例では、式１、式２に示すように、前記画素数の比率を６.２５倍（画像の水平、垂直の長さ比でそれぞれ２.５倍）以下になるように、第３の画素数を決定した。
水平方向の画素数比  ２４００／９６０＝２.５  …  式１
垂直方向の画素数比  １３５０／５４０＝２.５  …  式２
ただし、
２４００  ：  ステップＳ４０での、第２の撮影画像の水平方向の画素数
１３５０  ：  ステップＳ４０での、第２の撮影画像の垂直方向の画素数
９６０  ：  ステップＳ３０での、第２の撮像画像に対して電子ズームにより
トリミングする画像の水平方向の画素数
５４０  ：  ステップＳ３０での、第２の撮像画像に対して電子ズームにより
トリミングする画像の垂直方向の画素数
【００６５】
ここで、前記画素数の比率をある比率以下になるように、ステップＳ４０でリサイズする理由は、第１の撮像画像の画素数と、第２の撮像画像に対して電子ズームによるトリミングを行う時の画素数との比率が大きくなると、生成されるステレオ画像の左右の画像の解像度の差が大きくなり、立体視し難いステレオ画像になってしまうためである。なお、解像度とは画像のきめ細かさのことである。ステップＳ３５、Ｓ３６は、先ほど説明した撮影処理その１と同じ処理を行い、ステレオ画像を生成して、本処理を終える。
【００６６】
図６は、撮像部１０−１，１０−２の仕様を以下のように決定したときのステップＳ３０〜ステップＳ３２およびステップＳ４０の各ステップにおける処理結果を示す図である。
撮像部１０−１：１３メガピクセルカメラ、焦点距離 ２７ｍｍ相当（３５ｍｍフィルム換算）、３倍光学ズーム機能、撮影画像サイズは９.７メガピクセル（アスペクト比１６:９）
撮像部１０−２：３メガピクセルカメラ、焦点距離 ３５ｍｍ相当（３５ｍｍフィルム換算）、電子ズーム機能、撮影画像サイズは２メガピクセル（アスペクト比１６:９）
【００６７】
ステップＳ３０では、第１の撮像画像は、Ｈ２３３６ピクセル、Ｗ４１６０ピクセルとなる。第２の撮像画像は、Ｈ１０８０ピクセル、Ｗ１９２０ピクセルとなる。ステップＳ３１では、第１の撮像画像は、約Ｈ１７９６ピクセル、約Ｗ３２００ピクセルとなる。ここで、焦点距離３５ｍｍ、２７ｍｍの画角の差により、２７ｍｍのカメラで撮影したほうが、縦横それぞれ約１．３倍広角に撮影できる。そのため、２７ｍｍのカメラ画像を画角補正部１９によりトリミングすると、１／１．３倍程度の画素数になる。但し、同じ画素数のカメラでも、画角のばらつきがあるため、トリミング後の画像サイズはばらつく。本実施の形態では、第１の撮像画像をトリミングして、第２の撮像画像の画角とあわせているが、第２の撮像画像のズーム倍率に応じたトリミングサイズに対して、より広い領域をトリミングすることによって、第１の撮像画像の画角にあわせる方法でもよい。具体的には、光学ズーム倍率２倍の場合、第２の撮像画像であるＨ１０８０ピクセル、Ｗ１９２０ピクセルの画像に対して、
１０８０／２ * １.３＝７０２
１９２０／２ * １.３＝１２４８
【００６８】
つまり、Ｈ７０２ピクセル、Ｗ１２４８ピクセルの画像をトリミングすることで、第１の撮像画像と画角を合わせることが可能である。その場合は、ステップＳ３１において、第１の撮像画像をトリミングする必要はなく、Ｈ２３３６ピクセル、Ｗ４１６０ピクセルのままである。以降の説明では、第１の撮像画像をトリミングした場合の処理を説明する。
ステップＳ３１では、第２の撮像画像は、Ｈ１０８０ピクセル、Ｗ１９２０ピクセルのままである。ステップＳ３２では、第１の撮像画像は、Ｈ（１７９６−β）ピクセル、Ｗ（３２００−α）ピクセルとなる。第２の撮像画像は、Ｈ１０８０ピクセル、Ｗ１９２０ピクセルのままである。ステップＳ４０では、第１の撮像画像は、Ｈ１５３０ピクセル、Ｗ２４００ピクセルとなる。第２の撮像画像は、Ｈ１５３０ピクセル、Ｗ２４００ピクセルとなり、第１の撮像画像と同じ画素数になる。
【００６９】
ここでα、βの意味は、２つのカメラをステレオ画像生成装置に配置した時の光軸のずれ、およびそれぞれのカメラ自体の画角のずれ、光軸のずれを補正することにより、減少する画素数を示している。
【００７０】
このように本実施の形態に係るステレオ画像生成装置１によれば、光学ズーム機能を備えた高画素の第１の撮像部１０−１と、この第１の撮像部１０−１よりも低画素で、電子ズーム機能を備えた第２の撮像部１０−２と、ズーム倍率閾値を保存するズーム倍率閾値保存部４１と、ズーム倍率閾値と撮影時の光学ズーム倍率を比較し、光学ズーム倍率が、所定の倍率以下の時には、第１の撮像画像、および第２の撮像画像を第３の画素数に変換し、所定の倍率を超えた場合は、第１の撮像画像、および第２の撮像画像を第４の画素数に変換する画像リサイズ部２４と、画像リサイズ部２４で変換された第１の撮像画像および第２の撮像画像をエンコードする画像エンコード部２７と、画像エンコード部２７でエンコードされた第１の撮像画像および第２の撮像画像をステレオ画像フォーマットに変換してステレオ画像を生成するステレオ画像フォーマット変換部２８と、を備えたので、高画素の撮像手段を２つ使用することなく、高画素のステレオ画像を撮像することができ、かつズーム動作時にも、第１の撮像画像と、第２の撮像画像の解像度の比をある一定以内に抑えることで、立体視しやすい高画素のステレオ画像を生成することができる。また、高画素の撮像手段を２つ使用しないことから、コストを安くでき、また実装面積も小さくできる。
【産業上の利用可能性】
【００７１】
本発明は、高画素の撮像手段を２つ使用することなく、高画素のステレオ画像を撮像することができ、かつズーム時にも第１の撮像画像と第２の撮像画像の解像度の差をある一定値以内に抑え、立体視しやすいステレオ画像を生成することができるといった効果を有し、ステレオ画像を撮像するステレオ画像撮像用の複眼カメラなどへの適用が可能である。
【符号の説明】
【００７２】
１  ステレオ画像生成装置
１０−１，１０−２  撮像部
１１  ズーム制御部
１２  オートフォーカス制御部
１３  シャッター制御部
１４  露出制御部
１５  ホワイトバランス制御部
１６  カメラ操作部
１７  制御部
１８−１，１８−２  カメラ信号処理部
１９  画角補正部
２０  画角情報保持部
２１  位置補正部
２２  位置補正情報保持部
２３  色補正部
２４  画像リサイズ部
２５  超解像処理部
２６  画像フィルタ部
２７  画像エンコード部
２８  ステレオ画像フォーマット変換部
２９  画像保存部
３０  フォーマット変換部
３１  表示制御部
３２  表示部
４０  撮像制御部
４１  ズーム倍率閾値保存部
【図１】
2014132700.tif 000003
【図２】
2014132700.tif 000004
【図３】
2014132700.tif 000005
【図４】
2014132700.tif 000006
【図５】
2014132700.tif 000007
【図６】
2014132700.tif 000008
【図７】
2014132700.tif 000009