(57)【要約】【課題】高い画素数の撮像手段を２つ使用することなく高画素のステレオ画像を撮像することができ、また十分に立体視ができるステレオ画像生成装置およびステレオ画像生成方法を提供する。【解決手段】第１の撮像部１０−１は光学／電子ズーム機能を有し、高画素の第１の撮像画像を出力し、第２の撮像部１０−２は電子ズーム機能を有し、第１の撮像部１０−１よりも低画素の第２の撮像画像を出力し、撮像制御部４０は、ズーム倍率が光学ズーム機能の上限倍率より小さい所定の倍率以下の時には、第１の撮像部１０−１は光学ズーム動作を行い、第２の撮像部１０−２は電子ズーム動作を行い、所定の倍率を超えた場合は、それ以降のズーム動作が第１，第２の撮像部１０−１，１０−２ともに電子ズーム動作を行うように制御する。【選択図】図１
2014132701.tif 000002
【特許請求の範囲】
【請求項１】
第１の画素数を備え、光学ズーム機能と電子ズーム機能の双方を有し、第１の撮像画像を撮像する第１の撮像部と、
前記第１の画素数よりも小さい第２の画素数を備え、電子ズーム機能を有し、第２の撮像画像を撮像する第２の撮像部と、を備え、
ステレオ画像撮影において、指定されるズーム倍率に基づき、前記第１の撮像部は光学ズーム動作および電子ズーム動作を行い、前記第２の撮像部は電子ズーム動作を行うステレオ画像生成装置において、
前記ズーム倍率が、光学ズーム機能の上限倍率より小さい所定の倍率以下の時には、前記第１の撮像部は光学ズーム動作を行い、前記第２の撮像部は電子ズーム動作を行い、前記所定の倍率を超えた場合は、それ以降のズーム動作は、前記第１の撮像部、前記第２の撮像部ともに電子ズーム動作を行うように制御する撮像制御部と、
前記第１の撮像画像、および前記第２の撮像画像を所定の画素数に変換する画像リサイズ部と、
前記画像リサイズ部で変換された前記第１の撮像画像および前記第２の撮像画像をエンコードする画像エンコード部と、
前記画像エンコード部でエンコードされた前記第１の撮像画像および前記第２の撮像画像をステレオ画像フォーマットに変換してステレオ画像を生成するステレオ画像フォーマット変換部と、
を備えたステレオ画像生成装置。
【請求項２】
請求項１に記載のステレオ画像生成装置であって、
前記画像リサイズ部が行う、前記第１の撮像画像の変換、および前記第２の撮像画像の変換は、拡大、縮小、または等倍の変換であるステレオ画像生成装置。
【請求項３】
請求項１または請求項２に記載のステレオ画像生成装置であって、
前記ズーム倍率の切り替え倍率をズーム倍率閾値として保存するズーム倍率閾値保存部を備え、
前記撮像制御部は、前記ズーム倍率閾値に基づき、前記第１の撮像部と前記第２の撮像部のズーム動作の切り替え制御を行うステレオ画像生成装置。
【請求項４】
請求項１乃至請求項３のいずれか一項に記載のステレオ画像生成装置であって、
前記所定の画素数は、前記第１の画素数であるステレオ画像生成装置。
【請求項５】
請求項１に記載のステレオ画像生成装置であって、
前記第１の撮像部は、第１の画角を備え、
前記第２の撮像部は、前記第１の画角よりも狭い第２の画角を備え、
前記第１の撮像画像をトリミングする画角補正部を備え、
前記画像エンコード部は、前記画角補正部でトリミングされ、前記画像リサイズ部で画素数が変換された前記第１の撮像画像と、前記画像リサイズ部で画素数が変換された前記第２の撮像画像と、をエンコードするステレオ画像生成装置。
【請求項６】
請求項５に記載のステレオ画像生成装置であって、
前記第１の撮像部の光学ズーム倍率毎の画角補正情報を保持する画角情報保持部を備え、前記画角補正部は、前記画角補正情報に基づきトリミングするステレオ画像生成装置。
【請求項７】
請求項１に記載のステレオ画像生成装置であって、
前記第１の撮像画像、もしくは前記第２の撮像画像のいずれかに対して、上下ずれ、水平ずれ、回転ずれ、または大きさずれの中で少なくとも１つを補正する位置補正部を備え、
前記画像エンコード部は、前記位置補正部で補正され、前記画像リサイズ部で所定の画素数に変換された前記第１の撮像画像と、前記位置補正部で補正され、前記画像リサイズ部で所定の画素数に変換された前記第２の撮像画像と、をエンコードするステレオ画像生成装置。
【請求項８】
請求項７に記載のステレオ画像生成装置であって、
前記第１の撮像部の光学ズーム倍率毎の位置補正情報を保持する位置補正情報保持部を備え、
前記位置補正部は、前記位置補正情報に基づき上下ずれ、水平ずれ、回転ずれ、または大きさずれの中で少なくとも１つを補正するステレオ画像生成装置。
【請求項９】
請求項１に記載のステレオ画像生成装置であって、
前記第１の撮像画像と前記第２の撮像画像との間の色の違いについて、前記第１の撮像画像および／または前記第２の撮像画像に対して色の補正する色補正部を備え、
前記画像エンコード部は、前記色補正部で色の補正がなされた前記第１の撮像画像と、前記第２の撮像画像と、をエンコードするステレオ画像生成装置。
【請求項１０】
請求項２に記載のステレオ画像生成装置であって、
前記画像リサイズ部が行う、前記第１の撮像画像の変換、および前記第２の撮像画像の変換が拡大の変換である場合、超解像処理を用いるステレオ画像生成装置。
【請求項１１】
請求項１に記載のステレオ画像生成装置であって、
前記第１の撮像画像および前記第２の撮像画像のそれぞれの画像の周辺部に対して平均化処理を行う画像フィルタ部を備え、
前記画像エンコード部は、前記画像リサイズ部で画素数の変換した後、前記画像フィルタ部により平均化処理を行った前記第１の撮像画像と、前記画像リサイズ部で画素数の変換した後、前記画像フィルタ部により平均化処理を行った前記第２の撮像画像と、をエンコードするステレオ画像生成装置。
【請求項１２】
光学ズーム機能と電子ズーム機能を備えた第１の撮像部において第１の画素数で、第１の撮像画像を撮像する第１撮像ステップと、
電子ズーム機能を備えた第２の撮像部において前記第１の画素数よりも小さい第２の画素数で、第２の撮像画像を撮像する第２撮像ステップと、
指定されるズーム倍率が、光学ズーム機能の上限倍率より小さい所定の倍率以下の時には、前記第１の撮像部は光学ズーム動作を行い、前記第２の撮像部は電子ズーム動作を行い、前記所定の倍率を超えた場合は、それ以降のズーム動作は、前記第１の撮像部、前記第２の撮像部ともに電子ズーム動作を行うように制御するズーム制御ステップと、
前記第１の撮像画像、および前記第２の撮像画像を所定の画素数に変換する画像リサイズステップと、
前記画像リサイズステップで変換された前記第１の撮像画像および前記第２の撮像画像をエンコードする画像エンコードステップと、
前記画像エンコードステップでエンコードされた前記第１の撮像画像および前記第２の撮像画像をステレオ画像フォーマットに変換してステレオ画像を生成するステレオ画像フォーマット変換ステップと、
を備えたステレオ画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ画像を撮像するステレオ画像撮像用の複眼カメラに用いて好適なステレオ画像生成装置およびステレオ画像生成方法に関する。
【背景技術】
【０００２】
ステレオ画像を生成する方法として、特許文献１に記載された複眼カメラおよび画像処理方法が知られている。特許文献１に記載された複眼カメラは、最大撮影可能な画素数、および画角の異なる複数の撮像手段（即ちカメラ）を備えており、一方のカメラは、他方のカメラに比べて、画角が狭く最大撮影可能な画素数が少ない構成になっている。ステレオ画像を撮影する場合は、低い画素数を備えたカメラで撮影した画像の画素数、および画角にあわせて、高い画素数のカメラで撮影した画像を縮小もしくは切り出し処理を行い、それぞれのカメラの画像の画素数、および画角をあわせてステレオ画像を生成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０-２５２１８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に記載された複眼カメラの構成では、低い画素数のカメラに合わせて、高い画素数のカメラで撮影した画像の画素数を縮小するため、一方は高い画素数のカメラを備えているにもかかわらず、撮影できるステレオ画像の画素数は、低い画素数のカメラの画素数に制限されてしまうという課題がある。
【０００５】
また、低解像度のカメラと高解像度のカメラのように、解像度の異なるカメラでステレオ画像を撮影すると、立体視が十分にできない（即ち立体視し難い）という課題もある。
【０００６】
本発明は、係る事情に鑑みてなされたものであり、高い画素数の撮像手段を２つ使用することなく高画素のステレオ画像を撮像することができ、また、十分に立体視ができるステレオ画像生成装置およびステレオ画像生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明のステレオ画像生成装置は、第１の画素数を備え、光学ズーム機能と電子ズーム機能の双方を有し、第１の撮像画像を撮像する第１の撮像部と、前記第１の画素数よりも小さい第２の画素数を備え、電子ズーム機能を有し、第２の撮像画像を撮像する第２の撮像部と、を備え、ステレオ画像撮影において、指定されるズーム倍率に基づき、前記第１の撮像部は光学ズーム動作および電子ズーム動作を行い、前記第２の撮像部は電子ズーム動作を行うステレオ画像生成装置において、前記ズーム倍率が、光学ズーム機能の上限倍率より小さい所定の倍率以下の時には、前記第１の撮像部は光学ズーム動作を行い、前記第２の撮像部は電子ズーム動作を行い、前記所定の倍率を超えた場合は、それ以降のズーム動作は、前記第１の撮像部、前記第２の撮像部ともに電子ズーム動作を行うように制御する撮像制御部と、前記第１の撮像画像、および前記第２の撮像画像を所定の画素数に変換する画像リサイズ部と、前記画像リサイズ部で変換された前記第１の撮像画像および前記第２の撮像画像をエンコードする画像エンコード部と、前記画像エンコード部でエンコードされた前記第１の撮像画像および前記第２の撮像画像をステレオ画像フォーマットに変換してステレオ画像を生成するステレオ画像フォーマット変換部と、を備えた。
【０００８】
上記構成によれば、高画素の第１の撮像部と、この第１の撮像部よりも低画素の第２の撮像部を備え、ズーム倍率が、光学ズーム機能の上限倍率より小さい所定の倍率以下の時は、第１の撮像部にて光学ズームにより撮像された第１の撮像画像、および第２の撮像部にて、電子ズームにより撮像された第２の撮像画像を所定の画素数にリサイズし、第１の撮像画像および拡大した第２の撮像画像をエンコードし、エンコードした第１の撮像画像および第２の撮像画像をステレオ画像フォーマットに変換してステレオ画像を生成する。
【０００９】
ズーム倍率が、光学ズーム機能の上限倍率より小さい所定の倍率を超えた場合は、第１の撮像部にて、所定の倍率までは光学ズームされ、それ以降のズーム倍率は電子ズームにより撮像された第１の撮像画像、および第２の撮像部で電子ズームにより撮像された第２の撮像画像を所定の画素数にリサイズし、リサイズした第１の撮像画像および第２の撮像画像をエンコードし、エンコードした第１の撮像画像および第２の撮像画像をステレオ画像フォーマットに変換してステレオ画像を生成する。
【００１０】
このような構成にすることにより、光学ズーム倍率が、光学ズーム機能の上限倍率より小さい所定の倍率以下の時は、高画素の撮像手段を２つ使用することなく、低画素の撮像部の撮影画像の画素数よりも高画素のステレオ画像を撮像することが可能となる。
【００１１】
また、光学ズーム倍率が所定の倍率を超えた場合においても、第１の撮像画像と、第２の撮像画像の解像度をある比率以下に抑えることが可能となり、立体視しやすいステレオ画像を撮像することができる。また、低画素の撮像部の撮影画像の画素数よりも高画素のステレオ画像を撮像することが可能となり、かつズームによるステレオ撮影も可能となる。
【００１２】
さらに、高画素の撮像手段を２つ使用せず、かつ光学ズーム機能を備えた撮像手段を２つ使用しないことから、コストを安くでき、また実装面積も小さくできる。
【００１３】
上記構成において、前記画像リサイズ部が行う、前記第１の撮像画像の変換、および前記第２の撮像画像の変換は、拡大、縮小、または等倍の変換である。
【００１４】
上記構成によれば、第１の撮像部で撮像された第１の撮像画像の画素数と第２の撮像部で撮像された第２の撮像画像の画素数を合わせることができる。
【００１５】
上記構成において、前記ズーム倍率の切り替え倍率をズーム倍率閾値として保存するズーム倍率閾値保存部を備え、前記撮像制御部は、前記ズーム倍率閾値に基づき、前記第１の撮像部と前記第２の撮像部のズーム動作の切り替え制御を行う。
【００１６】
上記構成によれば、撮像制御部がズーム倍率閾値に基づき、第１の撮像部と第２の撮像部のズーム動作の切り替え制御を行うことで、第１の撮像画像と第２の撮像画像の解像度の差をある一定値以内に制限することができる。
【００１７】
上記構成において、前記所定の画素数は、前記第１の画素数である。
【００１８】
上記構成によれば、第１の撮像部で撮像された第１の撮像画像の画素数に第２の撮像部で撮像された第２の撮像画像の画素数を合わせることができる。
【００１９】
上記構成において、前記第１の撮像部は、第１の画角を備え、前記第２の撮像部は、前記第１の画角よりも狭い第２の画角を備え、前記第１の撮像画像をトリミングする画角補正部を備え、前記画像エンコード部は、前記画角補正部でトリミングされ、前記画像リサイズ部で画素数が変換された前記第１の撮像画像と、前記画像リサイズ部で画素数が変換された前記第２の撮像画像と、をエンコードする。
【００２０】
上記構成によれば、画角補正部を備えたことで、第１の撮像画像を小さくすることができる。
【００２１】
上記構成において、前記第１の撮像部の光学ズーム倍率毎の画角補正情報を保持する画角情報保持部を備え、前記画角補正部は、前記画角補正情報に基づきトリミングする。
【００２２】
上記構成によれば、画角補正情報を保持する画角情報保持部を備えたことで、トリミングにおける処理時間の短縮化を図ることができる。
【００２３】
上記構成において、前記第１の撮像画像、もしくは前記第２の撮像画像のいずれかに対して、上下ずれ、水平ずれ、回転ずれ、または大きさずれの中で少なくとも１つを補正する位置補正部を備え、前記画像エンコード部は、前記位置補正部で補正され、前記画像リサイズ部で所定の画素数に変換された前記第１の撮像画像と、前記位置補正部で補正され、前記画像リサイズ部で所定の画素数に変換された前記第２の撮像画像と、をエンコードする。
【００２４】
上記構成によれば、第１の撮像画像、もしくは第２の撮像画像のいずれかに対して、上下ずれ、水平ずれ、回転ずれ、または大きさずれの中で少なくとも１つを補正する位置補正部を備えたことで、第１の撮像画像と第２の撮像画像とから精度の高いステレオ画像を生成することが可能となる。
【００２５】
上記構成において、前記第１の撮像部の光学ズーム倍率毎の位置補正情報を保持する位置補正情報保持部を備え、前記位置補正部は、前記位置補正情報に基づき上下ずれ、水平ずれ、回転ずれ、または大きさずれの中で少なくとも１つを補正する。
【００２６】
上記構成によれば、位置補正情報を保持する位置補正情報保持部を備えたことで、位置補正における処理時間の短縮化を図ることができる。
【００２７】
上記構成において、前記第１の撮像画像と前記第２の撮像画像との間の色の違いについて、前記第１の撮像画像および／または前記第２の撮像画像に対して色の補正する色補正部を備え、前記画像エンコード部は、前記色補正部で色の補正がなされた前記第１の撮像画像と、前記第２の撮像画像と、をエンコードする。
【００２８】
上記構成によれば、色補正部を備えたことで、第１の撮像画像および／または前記第２の撮像画像の色補正を行うことができる。
【００２９】
上記構成において、前記画像リサイズ部が行う、前記第１の撮像画像の変換、および前記第２の撮像画像の変換が拡大の変換である場合、超解像処理を用いる。
【００３０】
上記構成によれば、超解像処理を行うことで、撮像画像を拡大することによってぼけた部分が生じてもくっきり感を上げることができる。即ち、高画質化を図ることができる。
【００３１】
上記構成において、前記第１の撮像画像および前記第２の撮像画像のそれぞれの画像の周辺部に対して平均化処理を行う画像フィルタ部を備え、前記画像エンコード部は、前記画像リサイズ部で画素数の変換した後、前記画像フィルタ部により平均化処理を行った前記第１の撮像画像と、前記画像リサイズ部で画素数の変換した後、前記画像フィルタ部により平均化処理を行った前記第２の撮像画像と、をエンコードする。
【００３２】
上記構成によれば、画像フィルタ部を備えたことで、第１の撮像画像および第２の撮像画像のそれぞれの画像の周辺部をぼかすことができ、第１，第２の撮像部間のレンズ歪の差によるステレオ画像の画質の劣化を少なくすることができる。
【００３３】
本発明のステレオ画像生成方法は、光学ズーム機能と電子ズーム機能を備えた第１の撮像部において第１の画素数で、第１の撮像画像を撮像する第１撮像ステップと、電子ズーム機能を備えた第２の撮像部において前記第１の画素数よりも小さい第２の画素数で、第２の撮像画像を撮像する第２撮像ステップと、指定されるズーム倍率が、光学ズーム機能の上限倍率より小さい所定の倍率以下の時には、前記第１の撮像部は光学ズーム動作を行い、前記第２の撮像部は電子ズーム動作を行い、前記所定の倍率を超えた場合は、それ以降のズーム動作は、前記第１の撮像部、前記第２の撮像部ともに電子ズーム動作を行うように制御するズーム制御ステップと、前記第１の撮像画像、および前記第２の撮像画像を所定の画素数に変換する画像リサイズステップと、前記画像リサイズステップで変換された前記第１の撮像画像および前記第２の撮像画像をエンコードする画像エンコードステップと、前記画像エンコードステップでエンコードされた前記第１の撮像画像および前記第２の撮像画像をステレオ画像フォーマットに変換してステレオ画像を生成するステレオ画像フォーマット変換ステップと、を備えた。
【００３４】
上記方法によれば、高画素の第１の撮像部と、この第１の撮像部よりも低画素の第２の撮像部を使用し、第１の撮像部で撮像された第１の撮像画像を所定の画素数にするとともに、第２の撮像部で撮像された第２の撮像画像を所定の画素数にし、このようにしてリサイズした第１の撮像画像および第２の撮像画像をエンコードし、エンコードした第１の撮像画像および第２の撮像画像をステレオ画像フォーマットに変換してステレオ画像を生成するので、高画素の撮像手段を２つ使用することなく、高画素のステレオ画像を撮像することが可能となる。
【００３５】
また、ズーム倍率が所定の倍率を超えた場合においても、第１の撮像画像と、第２の撮像画像の解像度をある比率以下に抑えることで、立体視しやすい高画素のステレオ画像を撮像することが可能となり、かつズーム動作も可能となる。
【発明の効果】
【００３６】
本発明によれば、解像度の異なる２つの撮像手段（第１，第２の撮像部）で２つの画像を撮像し、ズーム倍率が、光学ズーム機能の上限倍率より小さい所定の倍率以下の時には、第１の撮像部は光学ズーム動作を行い、第２の撮像部は電子ズーム動作を行い、所定の倍率を超えた場合は、それ以降のズーム動作は、第１の撮像部、第２の撮像部ともに電子ズーム動作を行い、ステレオ画像を生成するので、第１の撮像画像と、第２の撮像画像の解像度をある比率以下に抑えることで、立体視しやすいステレオ画像を生成することができる。
【００３７】
また、高画素で光学ズーム機能を備えた撮像手段を２つ使用することがなく、コストを低く抑えることができるとともに、実装面積も小さく抑えることができる。
【図面の簡単な説明】
【００３８】
【図１】本発明の一実施の形態に係るステレオ画像生成装置の概略構成を示すブロック図
【図２】図１のステレオ画像生成装置の撮影処理全体を示すフローチャート
【図３】図１のステレオ画像生成装置の撮影処理全体を示すフローチャート
【図４】図１のステレオ画像生成装置の撮影処理を示すフローチャート
【図５】図４の撮影処理のステップＳ４０〜ステップＳ４２およびステップＳ４４の各ステップにおける処理結果を示す図
【図６】図４の撮影処理のステップＳ４０〜ステップＳ４２およびステップＳ４４の各ステップにおける処理結果を示す図
【図７】図１のステレオ画像生成装置に２つの撮像部を配置したときの光軸ずれを示す図
【発明を実施するための形態】
【００３９】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００４０】
図１は、本発明の一実施の形態に係るステレオ画像生成装置の概略構成を示すブロック図である。図１において、本実施の形態のステレオ画像生成装置１は、光学ズーム機能、および電子ズーム機能を備えた高画素の撮像部１０−１と、電子ズーム機能を備えた低画素の撮像部１０−２と、ズーム制御部１１と、オートフォーカス制御部１２と、シャッター制御部１３と、露出制御部１４と、ホワイトバランス制御部１５と、カメラ操作部１６と、制御部１７と、２つのカメラ信号処理部１８−１，１８−２と、画角補正部１９と、画角情報保持部２０と、位置補正部２１と、位置補正情報保持部２２と、色補正部２３と、画像リサイズ部２４と、超解像処理部２５と、画像フィルタ部２６と、画像エンコード部２７と、ステレオ画像フォーマット変換部２８と、画像保存部２９と、フォーマット変換部３０と、表示制御部３１と、表示部３２と、撮像制御部４０と、ズーム倍率閾値保存部４１とを備える。
【００４１】
撮像部１０−１，１０−２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備え、撮像信号を出力する。本実施の形態では、撮像部１０−１で撮像して得られた画像を第１の撮像画像とし、撮像部１０−２で撮像して得られた画像を第２の撮像画像とする。また、本実施の形態では、撮像部１０−１は第１の画角を有しており、撮像部１０−２は、撮像部１０−１の第１の画角よりも狭い第２の画角を有している。また、撮像部１０−１は、光学ズーム機能、および電子ズーム機能を備えている。一方、撮像部１０−２は、光学ズーム機能を備えておらず、電子ズーム機能のみを備えている。
【００４２】
ズーム制御部１１は、撮像部１０−１，１０−２のズーム制御を行う。オートフォーカス制御部１２は、撮像部１０−１，１０−２のオートフォーカス制御を行う。シャッター制御部１３は、撮像部１０−１，１０−２のシャッター制御を行う。露出制御部１４は、撮像部１０−１，１０−２の露出制御を行う。ホワイトバランス制御部１５は、撮像部１０−１，１０−２のホワイトバランス制御を行う。
【００４３】
カメラ操作部１６は、ステレオ画像生成装置１の操作を行うものであり、操作者が指定するズーム倍率等の操作時の信号が制御部１７に入力される。制御部１７は、カメラ操作部１６での操作に応じた操作信号を撮像部１０−１，１０−２へ出力する。カメラ信号処理部１８−１は、プレビュー処理において、撮像部１０−１で撮像された第１の撮像画像を表示部３２のサイズに合わせてリサイズする。カメラ信号処理部１８−２は、プレビュー処理において、撮像部１０−２で撮像された第２の撮像画像を表示部３２のサイズに合わせてリサイズする。本実施の形態では、撮影処理時は、カメラ信号処理部１８−１からは９.７メガピクセルの第１の撮像画像（Ｌ：左画像）を出力し、カメラ信号処理部１８−２からは２メガピクセルの第２の撮像画像（Ｒ：右画像）を出力するものとする。
【００４４】
画角補正部１９は、画角情報保持部２０に保持されている画角補正情報に基づき撮像部１０−１で撮像された第１の撮像画像の画角を小さくする。例えば、５.７メガピクセルの画角にする。なお、撮像部１０−２で撮像された第２の撮像画像について画角補正するようにしてもよい。位置補正部２１は、位置補正情報保持部２２に保持されている位置補正情報に基づき、撮像部１０−１で撮像された第１の撮像画像に対して位置補正を行う。この場合、位置補正として、“上下ずれ”、“水平ずれ”、“回転ずれ”、または“大きさずれ”の中で少なくとも１つを行う。なお、位置補正は、撮像部１０−２で撮像された第２の撮像画像に対して行ってもよい。即ち、位置補正部２１は、撮像部１０−１で撮像された第１の撮像画像、もしくは撮像部１０−２で撮像された第２の撮像画像のいずれかに対して位置補正を行ってもよい。
【００４５】
色補正部２３は、撮像部１０−２で撮像された第２の撮像画像と位置補正後の撮像部１０−１で撮像された第１の撮像画像との間の色の違いについて、第１の撮像画像および第２の撮像画像（第１の撮像画像または第２の撮像画像）に対して色の補正を行う。画像リサイズ部２４は、撮像部１０−１で撮像された第１の撮像画像を変換し、所定の画素数にするとともに、撮像部１０−２で撮像された第２の撮像画像を変換し、第１の撮像画像と同様の画素数にする。
【００４６】
また、画像リサイズ部２４は、撮像部１０−１で撮像された第１の撮像画像を所定の画素数に変換するとともに、撮像部１０−２で撮像された第２の撮像画像も所定の画素数に変換する。具体的には、第１の撮像画像の画素数にあわせて、第２の撮像画像の画素数をリサイズする。なお、画像リサイズ部２４が行う第１の撮像画像の変換および第２の撮像画像の変換は、“拡大”や“縮小”の他に“等倍”も含まれる。
【００４７】
超解像処理部２５は、第２の撮像画像の変換が拡大の変換である場合に、画像リサイズ部２４において拡大処理を行わずに、超解像処理により拡大処理を行うものであり、画像リサイズ部２４により拡大処理するか、超解像処理により拡大するかを選択可能である。超解像処理とは、画像を拡大することによってぼけた部分についてくっきり感を上げるような処理である（つまり、高画質化を図る処理である）。
【００４８】
本実施の形態では、超解像処理部２５ではなく、画像リサイズ部２４により拡大処理する場合を説明する。画像フィルタ部２６は、２つの撮像部１０−１，１０−２のレンズ歪の差による左右画像の画素ずれを目立たなくするため、第１の撮像画像および第２の撮像画像のそれぞれの画像の周辺部をぼかすための平均化処理を行う。この画像フィルタ部２６を設けることで、２つの撮像部１０−１，１０−２間のレンズ歪の差によるステレオ画像の画質の劣化を少なくすることができる。
【００４９】
画像エンコード部２７は、画像リサイズ部２４で画素数の変換が行われ、さらに画像フィルタ部２６により平均化処理が行われた第１の撮像画像と、画像リサイズ部２４で画素数の変換が行われ、さらに画像フィルタ部２６で平均化処理が行われた第２の撮像画像とをエンコード（圧縮）する。この場合、例えばＪＰＥＧ（Joint Photographic Experts Group）形式で圧縮する。ステレオ画像フォーマット変換部２８は、画像エンコード部２７でエンコードされた第１の撮像画像および第２の撮像画像をステレオ画像フォーマットに変換してステレオ画像を生成する。この場合、例えばＪＰＥＧ形式からＭＰＯ（Multi-Picture Format）形式に変換する。画像保存部２９は、フラッシュメモリ（ＳＤメモリなど）を有し、ステレオ画像フォーマット変換部２８で生成されたステレオ画像を保存する。フォーマット変換部３０は、画像リサイズ部２４で表示部３２に合う画素数に変換された第１の撮像画像および第２の撮像画像を表示部３２に表示するための形式に変換する。表示制御部３１は、フォーマット変換部３０で表示部３２に表示するための形式（例えば、ピクセルバイピクセル）に変換された第１の撮像画像および第２の撮像画像を表示部３２に表示する制御を行う。表示部３２は、例えば液晶表示器である。
【００５０】
次に、図２および図３を用いて、本実施の形態のステレオ画像生成装置１の動作を説明する。図２および図３で使用する変数を以下に説明する。
現在のズーム倍率  ：  Ｚ＿ｎｏｗ
ユーザ設定ズーム倍率  ：  Ｚ＿ｎｅｘｔ
ズーム切り替え閾値  ：  Ｚ＿ｔｈ
撮像部１０−１の撮像した画像に対する電子ズーム倍率設定  ：  Ｚ＿ｅ１
撮像部１０−２の撮像した画像に対する電子ズーム倍率設定  ：  Ｚ＿ｅ２
【００５１】
図２および図３において、ユーザがカメラ操作部１６により撮像部１０−１、１０−２の起動を指示する（ステップＳ１０）。このユーザ指示により、制御部１７が、撮像制御部４０に対して、撮像部１０−１、１０−２を起動する指示を出力する（ステップＳ１１）。制御部１７が撮像制御部４０に対して、撮像部１０−１の光学ズーム倍率を１倍に設定し、ズーム倍率閾値保存部４１から読み出したズーム倍率閾値Ｚ＿ｔｈを撮像制御部４０に設定する（ステップＳ１２）。
【００５２】
起動指示を出力した後、ユーザがカメラ操作部１６により撮影終了を指示するまでの間、ステップＳ１４〜ステップＳ２９を繰り返す。ステップＳ１４〜ステップＳ２９の処理を繰り返すための判定はステップＳ１３とステップＳ３０で行われる。制御部１７は、ユーザがカメラ操作部１６により、カメラに対する制御を行ったかを検出する（ステップＳ１４）。検出されなかった場合は、ステップＳ１３、Ｓ１４、Ｓ３０の処理を繰り返す。検出された場合は、制御部１７が、撮影指示かを判定する（ステップＳ１５）。
【００５３】
撮影指示である場合は、撮影処理を行う（ステップＳ１６）。撮影処理の詳細については後述する。ステップＳ１５の判定が「Ｎｏ」の場合は、制御部１７がズーム倍率変更指示かを判定する（ステップＳ１７）。ズーム倍率変更指示である場合（即ち、ステップＳ１７の判定が「Ｙｅｓ」の場合）、制御部１７が撮像制御部４０に対して、ユーザが設定したズーム倍率の情報Ｚ＿ｎｅｘｔを渡し、撮像制御部４０は、現在のズーム倍率Ｚ＿ｎｏｗとズーム切り替え閾値Ｚ＿ｔｈを比較する（ステップＳ１８）。
【００５４】
現在のズーム倍率Ｚ＿ｎｏｗがズーム切り替え閾値Ｚ＿ｔｈ以下である場合（即ち、ステップＳ１８の判定が「Ｙｅｓ」の場合）、撮像制御部４０は制御部１７から指示されたユーザ設定ズーム倍率Ｚ＿ｎｅｘｔがズーム切り替え閾値Ｚ＿ｔｈ以下であるかを判定する（ステップＳ１９）。ステップＳ１９の判定が「Ｙｅｓ」の場合は、撮像制御部４０が撮像部１０−１に対して、光学ズーム倍率としてＺ＿ｎｅｘｔを指定する（ステップＳ２１）。次いで、撮像制御部４０がカメラ信号処理部１８−１に電子ズーム倍率Ｚ＿ｅ１＝１を設定し、カメラ信号処理部１８−２に電子ズーム倍率Ｚ＿ｅ２＝Ｚ＿ｎｅｘｔを設定する（ステップＳ２２）。ステップＳ１９の判定が「Ｎｏ」の場合は、撮像制御部４０が撮像部１０−１に対して、光学ズーム倍率として、Ｚ＿ｔｈを設定する（ステップＳ２３）。
【００５５】
次いで、撮像制御部４０がカメラ信号処理部１８−１に電子ズーム倍率Ｚ＿ｅ１＝Ｚ＿ｎｅｘｔ−Ｚ＿ｔｈを設定し、カメラ信号処理部１８−２に電子ズーム倍率Ｚ＿ｅ２＝Ｚ＿ｎｅｘｔを設定する（ステップＳ２４）。ステップＳ１８の判定が「Ｎｏ」の場合は、撮像制御部４０が、ユーザ設定ズーム倍率Ｚ＿ｎｅｘｔとズーム切り替え閾値Ｚ＿ｔｈを比較する（ステップＳ２０）。ステップＳ２０の判定が「Ｙｅｓ」の場合は、撮像制御部４０が撮像部１０−１に対して、光学ズーム倍率としてＺ＿ｎｅｘｔを指定する（ステップＳ２５）。
【００５６】
次いで、撮像制御部４０がカメラ信号処理部１８−１に電子ズーム倍率Ｚ＿ｅ１＝１を設定し、カメラ信号処理部１８−２に電子ズーム倍率Ｚ＿ｅ２＝Ｚ＿ｎｅｘｔを設定する（ステップＳ２６）。ステップＳ２０の判定が「Ｎｏ」の場合は、撮像制御部４０が撮像部１０−１に対して、光学ズーム倍率としてＺ＿ｔｈを指定する（ステップＳ２７）。次いで、撮像制御部４０がカメラ信号処理部１８−１に電子ズーム倍率Ｚ＿ｅ１＝Ｚ＿ｎｅｘｔ−Ｚｔｈを設定し、カメラ信号処理部１８−２に電子ズーム倍率Ｚ＿ｅ２＝Ｚ＿ｎｅｘｔを設定する（ステップＳ２８）。ステップＳ１７の判定が「Ｎｏ」の場合、それに応じた制御を行う（ステップＳ２９）。例えば、撮影画像サイズの変更処理などである。
【００５７】
以上の処理を、ユーザがカメラ操作部１６により、撮影終了を指示するまで繰り返し行う。そして、ユーザが撮影終了を指示すると、制御部１７が、撮影部１０−１、１０−２のそれぞれの動作を停止させ（ステップＳ３１）、その後、本処理を終了する。
【００５８】
次に、上記ステップＳ１６の撮影処理について説明する。
図４は、図２および図３における撮影処理を説明するためのフローチャートである。図４において、カメラ信号処理部１８−１が、撮像部１０−１が撮像した第１の撮像画像をユーザ設定の画像サイズに合わせてリサイズし、電子ズーム倍率Ｚ＿ｅ１にあわせてトリミングする。一方、カメラ信号処理部１８−２が、撮像部１０−２が撮像した第２の撮像画像をユーザ設定の画像サイズにあわせてリサイズし、電子ズーム倍率Ｚ＿ｅ２にあわせてトリミング処理を行う（ステップＳ４０）。
【００５９】
次いで、画角補正部１９が、画角情報保持部２０より画角補正情報を読み出し、撮像部１０−１が撮像した第１の撮像画像をトリミングする（ステップＳ４１）。次いで、位置補正部２１が、位置補正情報保持部２２より位置補正情報を読み出し、撮像部１０−１が撮像した第１の撮像画像に対して、“上下ずれ”、“水平ずれ”、“回転ずれ”、または“大きさずれ”の中で少なくとも１つを補正する（ステップＳ４２）。
【００６０】
次いで、色補正部２３が、左右画像の色の違いを補正する（ステップＳ４３）。即ち、撮像部１０−２で撮像された第２の撮像画像と位置補正後の撮像部１０−１で撮像された第１の撮像画像との間の色の違いを補正する。次いで、画像リサイズ部２４が、画角補正後の第１の撮像画像のサイズに合わせて、撮像部１０−２で撮像された第２の撮像画像を拡大する（ステップＳ４４）。次いで、画像エンコード部２７が、左右の画像をエンコードする（例えば、ＪＰＥＧ形式に圧縮する）。即ち、撮像部１０−２で撮像された第２の撮像画像と位置補正後の撮像部１０−１で撮像された第１の撮像画像をエンコードする（ステップＳ４５）。次いで、ステレオ画像フォーマット変換部２８において、画像エンコード部２７でエンコードされた左右の画像即ち第１の撮像画像と第２の撮像画像をステレオ画像フォーマットに変換する（ステップＳ４６）。左右の画像をステレオ画像フォーマットに変換すると本処理を終える。
【００６１】
次に、ズーム倍率閾値を１．５倍とし、ユーザが設定したズーム倍率が１.５倍、２倍の時の、上記ステップＳ１６のそれぞれの処理結果を示す。図５は、撮像部１０−１，１０−２の仕様を以下のように決定したときのステップＳ４０〜ステップＳ４２およびステップＳ４４の各ステップにおける処理結果を示す図である。
撮像部１０−１：１３メガピクセルカメラ、焦点距離 ２７ｍｍ相当（３５ｍｍフィルム換算）、３倍光学ズーム機能、撮影画像サイズは９.７メガピクセル（アスペクト比１６:９）
撮像部１０−２：３メガピクセルカメラ、焦点距離 ３５ｍｍ相当（３５ｍｍフィルム換算）、電子ズーム機能、撮影画像サイズは２メガピクセル（アスペクト比１６:９）
【００６２】
図５では、撮影時におけるユーザが設定したズーム倍率が１.５倍の場合を説明する。
ステップＳ４０では、第１の撮像画像は、Ｈ２３３６ピクセル、Ｗ４１６０ピクセルとなる。第２の撮像画像は、Ｈ１０８０ピクセル、Ｗ１９２０ピクセルとなる。ズーム倍率１.５倍のため、撮像部１０−２側では電子ズームを行う必要がある。撮像部１０−２側の撮像画像のうち、画像中央部のＨ７２０ピクセル、Ｗ１２８０ピクセルをトリミングし、それをＨ１０８０ピクセル、Ｗ１９２０ピクセルにリサイズする。
【００６３】
ステップＳ４１では、第１の撮像画像は、約Ｈ１７９６ピクセル、約Ｗ３２００ピクセルとなる。ここで、焦点距離３５ｍｍ、２７ｍｍの画角の差により、２７ｍｍのカメラで撮影したほうが、縦横それぞれ約１．３倍広角に撮影できる。そのため、２７ｍｍのカメラ画像を画角補正部１９によりトリミングすると、１／１．３倍程度の画素数になる。但し、同じ画素数のカメラでも、画角のばらつきがあるため、トリミング後の画像サイズはばらつく。
【００６４】
本実施の形態では、第１の撮像画像をトリミングして、第２の撮像画像の画角とあわせているが、第２の撮像画像のズーム倍率に応じたトリミングサイズに対して、より高い画素数でトリミングすることによって、第１の撮像画像の画角にあわせる方法でもよい。具体的には、ズーム倍率１.５の場合、第２の撮像画像であるＨ１０８０ピクセル、Ｗ１９２０ピクセルの画像に対して、
１０８０／１.５ ＊ １.３＝９３６
１９２０／１.５ ＊ １.３＝１６６４
【００６５】
つまり、第２の撮像画像の画像中心部に対して、Ｈ９３６ピクセル、Ｗ１６６４ピクセルの画像をトリミングすることで、第１の撮像画像と画角を合わせることが可能である。その場合は、ステップＳ４１において、第１の撮像画像をトリミングする必要はなく、第１の撮像画像はＨ２３３６ピクセル、Ｗ４１６０ピクセルのままである。以降の説明では、第１の撮像画像をトリミングした場合の処理を説明する。
【００６６】
ステップＳ４１では、第２の撮像画像は、Ｈ１０８０ピクセル、Ｗ１９２０ピクセルのままである。ステップＳ４２では、第１の撮像画像は、Ｈ（１７９６−β）ピクセル、Ｗ（３２００−α）ピクセルとなる。第２の撮像画像は、Ｈ１０８０ピクセル、Ｗ１９２０ピクセルのままである。ステップＳ４４では、第１の撮像画像は、Ｈ（１７９６−β）ピクセル、Ｗ（３２００−α）ピクセルとなる。第２の撮像画像は、Ｈ（１７９６−β）ピクセル、Ｗ（３２００−α）ピクセルとなり、第１の撮像画像と同じ画素数になる。ここでα、βの意味は、２つのカメラをステレオ画像生成装置に配置した時の光軸のずれ、およびそれぞれのカメラ自体の画角のずれ、光軸のずれを補正することにより、減少する画素数を示している。
【００６７】
ここで、参考として、図７に、２つのカメラをステレオ画像生成装置１に配置した時に発生する光軸ずれを示す。
【００６８】
次に、撮影時におけるユーザが設定したズーム倍率が２倍の場合の上記ステップＳ１６の処理結果を示す。図６は、撮像部１０−１，１０−２の仕様を以下のように決定したときのステップＳ４０〜ステップＳ４２およびステップＳ４４の各ステップにおける処理結果を示す図である。
撮像部１０−１：１３メガピクセルカメラ、焦点距離 ２７ｍｍ相当（３５ｍｍフィルム換算）、３倍光学ズーム機能、撮影画像サイズは９．７メガピクセル（アスペクト比１６:９）
撮像部１０−２：３メガピクセルカメラ、焦点距離 ３５ｍｍ相当（３５ｍｍフィルム換算）、電子ズーム機能、撮影画像サイズは２メガピクセル（アスペクト比１６:９）
【００６９】
ステップＳ４０では、第１の撮像画像は、Ｈ２３３６ピクセル、Ｗ４１６０ピクセルとなる。第２の撮像画像は、Ｈ１０８０ピクセル、Ｗ１９２０ピクセルとなる。ここで、ズーム倍率閾値は１.５倍であり、ユーザが指定したズーム倍率は２倍のため、光学ズームによるズーム動作を１.５倍まで行い、そこから２倍までのズーム動作は電子ズームで行うため、第１の撮像画像であるＨ２３３６ピクセル、Ｗ４１６０ピクセルの画像に対して、
２３３６／１.５＝約１５５７ピクセル
４１６０／１.５＝約２７７３ピクセル
【００７０】
つまり、第１の撮像画像の画像中心部に対して、Ｈ１５５７ピクセル、Ｗ２７７３ピクセルの画像をトリミングすることで、電子ズーム動作を行う。ここで、トリミングしたＨ１５５７ピクセル、Ｗ２７７３ピクセルの画像をＨ２３３６ピクセル、Ｗ４１６０ピクセルまで拡大してもよい。ここでは、拡大しない場合で説明する。
【００７１】
一方、第２の撮像画像に対して、２倍の電子ズーム動作を行うため、第２の撮像画像の画像中心部に対して、Ｈ５４０ピクセル、Ｗ９６０ピクセルの画像をトリミングし、それをＨ１０８０ピクセル、Ｗ１９２０ピクセルにリサイズする。ステップＳ４１では、第１の撮像画像は、約Ｈ１１９６ピクセル、約Ｗ２１３０ピクセルとなる。ここで、焦点距離３５ｍｍ、２７ｍｍの画角の差により、２７ｍｍのカメラで撮影したほうが、縦横それぞれ約１．３倍広角に撮影できる。そのため、２７ｍｍのカメラ画像を画角補正部１９によりトリミングすると、１／１．３倍程度の画素数になる。但し、同じ画素数のカメラでも、画角のばらつきがあるため、トリミング後の画像サイズはばらつく。
【００７２】
本実施の形態では、第１の撮像画像をトリミングして、第２の撮像画像の画角とあわせているが、第２の撮像画像のズーム倍率に応じたトリミングサイズに対して、より広い領域をトリミングすることによって、第１の撮像画像の画角にあわせる方法でもよい。具体的には、光学ズーム倍率２倍の場合、第２の撮像画像であるＨ１０８０ピクセル、Ｗ１９２０ピクセルの画像に対して、
１０８０／２ ＊ １.３＝７０２
１９２０／２ ＊ １.３＝１２４８
【００７３】
つまり、Ｈ７０２ピクセル、Ｗ１２４８ピクセルの画像をトリミングすることで、第１の撮像画像と画角を合わせることが可能である。その場合は、ステップＳ４１において、第１の撮像画像をトリミングする必要はなく、Ｈ２３３６ピクセル、Ｗ４１６０ピクセルのままである。以降の説明では、第１の撮像画像をトリミングした場合の処理を説明する。
【００７４】
ステップＳ４１では、第２の撮像画像は、Ｈ１０８０ピクセル、Ｗ１９２０ピクセルのままである。ステップＳ４２では、第１の撮像画像は、Ｈ（１１９６−β）ピクセル、Ｗ（２１３０−α）ピクセルとなる。第２の撮像画像は、Ｈ１０８０ピクセル、Ｗ１９２０ピクセルのままである。ステップＳ４４では、第１の撮像画像は、Ｈ（１１９６−β）ピクセル、Ｗ（２１３０−α）ピクセルとなる。第２の撮像画像は、Ｈ（１１９６−β）ピクセル、Ｗ（２１３０−α）ピクセルとなり、第１の撮像画像と同じ画素数になる。ここでα、βの意味は、２つのカメラをステレオ画像生成装置に配置した時の光軸のずれ、およびそれぞれのカメラ自体の画角のずれ、光軸のずれを補正することにより、減少する画素数を示している。
【００７５】
このように本実施の形態に係るステレオ画像生成装置１によれば、光学ズーム機能および電子ズーム機能を備えた高画素の第１の撮像部１０−１と、この第１の撮像部１０−１よりも低画素で、電子ズーム機能を備えた第２の撮像部１０−２と、ズーム倍率閾値を保存するズーム倍率閾値保存部４１と、ズーム倍率が、光学ズーム機能の上限倍率より小さい所定の倍率以下の時には、第１の撮像部１０−１が光学ズーム動作を行い、第２の撮像部１０−２が電子ズーム動作を行い、所定の倍率を超えた場合は、それ以降のズーム動作は、第１の撮像部１０−１、第２の撮像部１０−２ともに電子ズーム動作を行うように制御する撮像制御部４０と、第１の撮像画像と第２の撮像画像を所定の画素数に変換する画像リサイズ部２４と、画像リサイズ部２４で変換された第１の撮像画像および第２の撮像画像をエンコードする画像エンコード部２７と、画像エンコード部２７でエンコードされた第１の撮像画像および第２の撮像画像をステレオ画像フォーマットに変換してステレオ画像を生成するステレオ画像フォーマット変換部２８と、を備えたので、高画素の撮像手段を２つ使用することなく、高画素のステレオ画像を撮像することができ、かつズーム動作時にも、第１の撮像画像と第２の撮像画像の解像度の比をある一定以内に抑えるように、ズーム倍率を大きくした時は撮像部１０−１を光学ズームから電子ズームに切り替えることで、立体視しやすい高画素のステレオ画像を生成することができる。なお、解像度とは画像のきめ細かさのことである。また、高画素の撮像手段を２つ使用しないことから、コストを安くでき、また実装面積も小さくできる。加えて、ここでの光学ズーム機能の上限倍率とは、利用する光学モジュールの仕様上としての最大の倍率である。または、光学モジュールの可動部分において、ズーム倍率が大きくなる方向に限界まで移動させた状態での倍率である。
【産業上の利用可能性】
【００７６】
本発明は、高画素の撮像手段を２つ使用することなく、高画素のステレオ画像を撮像することができ、かつズーム時にも第１の撮像画像と第２の撮像画像の解像度の差をある一定値以内に抑え、立体視しやすいステレオ画像を生成することができるといった効果を有し、ステレオ画像を撮像するステレオ画像撮像用の複眼カメラなどへの適用が可能である。
【符号の説明】
【００７７】
１  ステレオ画像生成装置
１０−１，１０−２  撮像部
１１  ズーム制御部
１２  オートフォーカス制御部
１３  シャッター制御部
１４  露出制御部
１５  ホワイトバランス制御部
１６  カメラ操作部
１７  制御部
１８−１，１８−２  カメラ信号処理部
１９  画角補正部
２０  画角情報保持部
２１  位置補正部
２２  位置補正情報保持部
２３  色補正部
２４  画像リサイズ部
２５  超解像処理部
２６  画像フィルタ部
２７  画像エンコード部
２８  ステレオ画像フォーマット変換部
２９  画像保存部
３０  フォーマット変換部
３１  表示制御部
３２  表示部
４０  撮像制御部
４１  ズーム倍率閾値保存部
【図１】
2014132701.tif 000003
【図２】
2014132701.tif 000004
【図３】
2014132701.tif 000005
【図４】
2014132701.tif 000006
【図５】
2014132701.tif 000007
【図６】
2014132701.tif 000008
【図７】
2014132701.tif 000009