(57)【要約】【課題】片側のカメラが光学ズーム付きカメラである３Dカメラにおいて、高倍率でも高解像の3D撮影を実現する。【解決手段】第一カメラ（光学ズーム）と第二カメラ（電子ズーム）からなる非対称カメラによる3D撮影において、ズーム倍率ＮがＮ０より小さいときには、第一カメラ画像の光学ズーム画像と、第二カメラ画像の電子ズーム画像から左右３D画像を生成し、ズーム倍率がＮ０より大きいときには左右カメラから距離推定したのち第一カメラ画像から左右の３D画像生成することで、低倍率では３Ｄ動画撮影が可能であり、高倍率でも解像度差がない高解像の３Ｄ静止画撮影が可能となる。【選択図】図１
2014102265.tif 000002
【特許請求の範囲】
【請求項１】
光学ズーム付き第一カメラと、単焦点型の第二カメラと、前記第一カメラ画像と前記第二カメラ画像の視差抽出手段を有する３Ｄ撮像装置であって、
ズーム倍率が、所定の倍率より小さいときには、前記第一カメラの光学ズーム画像と前記第二カメラの電子ズーム画像から３Ｄ画像を生成し、
前記ズーム倍率が前記所定の倍率より大きいときには、前記視差抽出手段の出力結果である視差情報と前記第一カメラ画像から３Ｄ画像を生成する３Ｄ撮像装置。
【請求項２】
第三カメラと、前記第三カメラよりも画素数が小さい第四カメラと、前記第三カメラ画像と前記第四カメラ画像の視差抽出手段を有する３Ｄ撮像装置であって、
生成する３Ｄ画像の画素数が所定の画素数よりも小さいときには、前記第三カメラ画像と前記第四カメラ画像から前記３Ｄ画像を生成し、
前記生成する３Ｄ画像の画素数が前記所定の画素数よりも大きいときには、前記視差抽出手段の出力結果である視差情報と前記第三カメラ画像から３Ｄ画像を生成する撮像装置。
【請求項３】
第三カメラと、前記第三カメラよりも画素数が小さい第四カメラと、前記第三カメラ画像と前記第四カメラ画像の視差抽出手段を有する３Ｄ撮像装置であって、
３Ｄ動画撮影のときには、前記第三カメラ画像と前記第四カメラ画像から前記３Ｄ画像を生成し、
３Ｄ静止画撮影のときには、前記視差抽出手段の出力結果である視差情報と前記第三カメラ画像から３Ｄ画像を生成する３Ｄ撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３Ｄ撮影が可能な３Ｄカメラを有する携帯電話やデジタルスチルカメラなどのカメラ付き携帯型電子機器に関するものである。
【背景技術】
【０００２】
３Ｄ（立体）撮影方式として、人間の目の間隔である約６ｃｍ〜８ｃｍ程度離れた光軸を持つ２個のカメラ（２眼カメラ）で、左目視線の左画像と右目視線の右画像をそれぞれ撮影する方法がある。
【０００３】
図９は２つのカメラからなる３Dカメラの従来構造例を示す。例えば、特許文献１に詳細が記載されている。
【０００４】
図９（１）、（２）のように撮像装置の筐体１の表示素子５の裏面に２個の光学ズーム付きカメラが離れて配置されている。
【０００５】
図９（3）はブロック構成図を示す。光学ズーム付きの第一カメラと第二カメラはカメラ制御手段８で制御される。ズーム時には、第一カメラおよび第二カメラのレンズ位置をルックアップテーブルの調整値に基づいて調整し、第一カメラと第二カメラの光学ズーム倍率が一致するようにする。
【０００６】
次に、３Ｄカメラの第二の従来例について説明する。例えば、特許文献２に詳細が記載されている。
【０００７】
筐体１の表示素子５の裏面に２個のカメラが離れて配置されている。第一カメラは光学ズーム付きで、第二カメラは光学ズーム無しの単焦点カメラとする。また、第一カメラの画素数は第二カメラの画素数より大きい。
【０００８】
図９（４）にブロック構成図を示す。光学ズーム付き第一カメラと単焦点型の第二カメラはカメラ制御手段８で制御される。ズーム時には、第一カメラと第二カメラのズーム倍率が一致するように第一カメラの光学ズーム倍率と第二カメラの電子ズーム倍率を調整する。
【０００９】
第二カメラの解像度は第一カメラの解像度に比べて低いため、以下のように第二カメラ画像の高解像度化を行う。
【００１０】
第二カメラ画像の一部（これをブロックと呼ぶ）に対応する第一カメラ画像の領域（対応ブロックと呼ぶ）を画像処理により探し出し、第二カメラ画像のブロックを第一カメラ画像の対応ブロックに置き換える。
【００１１】
以上により、第二カメラ画像が高解像度化することができ、第一カメラ画像と第二カメラ画像の解像度差を小さくすることができる。
【００１２】
また、例えば特許文献３に記載されているように、３Ｄカメラから３Ｄ画像を生成する他の方法として、視差情報（または距離情報）を用いる方法がある。空間的に離れて配置された主撮像素子と従撮像素子からなる２眼カメラの主画像と従画像から視差を測定したのち、視差情報と主画像から３Ｄ画像を生成することができる。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特許第３３０３２５４号公報
【特許文献２】特開２００５−２１０２１７号公報
【特許文献３】特開２００５−２０６０６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
従来の特許文献１に記載された３Ｄの光学ズームカメラは、高価で大きい光学ズームカメラを２個必要とするため、携帯端末が高価で大型化するという課題があった。
【００１５】
一方、従来の特許文献２に記載された３Ｄ光学ズームカメラは、片側が単焦点方カメラであるため、安価で小型化が可能であるが、単焦点カメラ画像の高解像度化のソフト処理に時間がかかり動画撮影が困難であった。
【００１６】
また、光学ズームカメラ画像と単焦点カメラ画像の対応ブロック（または対応画素）が見つからない場合があり、このときには、単焦点カメラ画像が部分的に低解像度の劣化した画像となっていた。
【００１７】
また、従来の特許文献３に記載された３Ｄカメラによる３Ｄ画像生成方法は、３Ｄ画像生成の処理時間がかかるため、動画撮影が困難であった。
【００１８】
本発明は、安価なカメラ構成で高解像度を維持したままズーム倍率が高い３Ｄ撮影を可能にすることを目的とする。
【００１９】
また、上記では第一カメラが光学ズームの場合を想定したが、単に、高解像度の第三カメラと低解像度の第四カメラからなる３Ｄカメラの場合も、同様の課題が発生する。以下にその課題について説明する。
【００２０】
最大画素数がＡＬの第三カメラから切り取った画像を第三カメラ生成画像とし、画素数をＢＬ（ＢＬ≦ＡＬ）とする。一方、最大画素数がＡＲの第四カメラ（ＡＲ＜ＡＬ）から切り取った画像を第四カメラ生成画像とし、画素数をＢＲ（ＢＲ≦ＡＲ）とする。ここでは簡単のため、画像の縦横比は一定と仮定する。
【００２１】
画素数ＢＬに対する画素数ＢＲの比（ＢＲ／ＢＬ）が小さくなると、第三カメラ生成画像と第四カメラ生成画像を左右画像とする３Ｄ画像は、解像度差が大きくなり見にくい３Ｄ画像となってしまう。
【００２２】
そこで、本発明は、左右画像の解像度が異なることによる３Ｄ画像の画質劣化の課題を解決するものである。
【課題を解決するための手段】
【００２３】
次に、上記の課題を解決するための手段について述べる。
【００２４】
本発明の３Ｄ撮像装置は、光学ズーム付き第一カメラと、単焦点型の第二カメラと、前記第一カメラ画像と前記第二カメラ画像の視差抽出手段を有する３Ｄ撮像装置であって、ズーム倍率が、所定の倍率より小さいときには、前記第一カメラの光学ズーム画像と前記第二カメラの電子ズーム画像から３Ｄ画像を生成する。また、前記ズーム倍率が前記所定の倍率より大きいときには、前記視差抽出手段の出力結果である視差情報と前記第一カメラ画像から３Ｄ画像を生成する。
【００２５】
この構成により、低倍率では、第一カメラと第二カメラの画像から３Ｄ画像を生成することで短時間の３Ｄ画像生成が可能となる。また、高倍率では光学ズーム画像から３Ｄ画像を生成することで、安価なカメラ構成で高解像度を維持したまま、ズーム倍率が高い３Ｄ撮影を実現することが出来る。
【００２６】
また、本発明の３Ｄ撮像装置は、第三カメラと、前記第三カメラよりも画素数が小さい第四カメラと、前記第三カメラ画像と前記第四カメラ画像の視差抽出手段を有する３Ｄ撮像装置であって、生成する３Ｄ画像の画素数が所定の画素数よりも小さいときには、前記第三カメラ画像と前記第四カメラ画像から前記３Ｄ画像を生成する。また、前記生成する３Ｄ画像の画素数が前記所定の画素数よりも大きいときには、前記視差抽出手段の出力結果である視差情報と前記第三カメラ画像から３Ｄ画像を生成する。
【００２７】
この構成により、低倍率では、第三カメラと第四カメラの画像から３Ｄ画像を生成することで短時間の３Ｄ画像生成が可能となる。また、高倍率では第三カメラ画像から３Ｄ画像を生成することで、安価なカメラ構成で高解像度を維持したまま、ズーム倍率が高い３Ｄ撮影を実現することが出来る。
【００２８】
また、本発明の３Ｄ撮像装置は、第三カメラと、前記第三カメラよりも画素数が小さい第四カメラと、前記第三カメラ画像と前記第四カメラ画像の視差抽出手段を有する３Ｄ撮像装置であって、
３Ｄ動画撮影のときには、前記第三カメラ画像と前記第四カメラ画像から前記３Ｄ画像を生成する。３Ｄ静止画撮影のときには、前記視差抽出手段の出力結果である視差情報と前記第三カメラ画像から３Ｄ画像を生成する。
【００２９】
この構成により、動画撮影時は、第三カメラと第四カメラの画像から３Ｄ画像を生成することで短時間の３Ｄ動画生成が可能となる。また、静止画撮影時は、第三カメラ画像から３Ｄ画像を生成することで、安価なカメラ構成で高解像度を維持したまま、ズーム倍率が高い３Ｄ静止画撮影を実現することが出来る。
【発明の効果】
【００３０】
本発明によれば、安価なカメラ構成で高解像度を維持したまま、ズーム倍率が高い３Ｄ撮影を実現できる。また、左右画像の解像度差が大きい３Ｄ画像の画質劣化を抑制する。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施の形態１の３Ｄ撮像装置の概略構造図
【図２】本発明の実施の形態１のズーム時の３Ｄ画像の生成方法を示す図
【図３】非対称な３Ｄ画像の主観評価結果を示す図
【図４】本発明の実施の形態１の３Ｄ撮影のフローチャート
【図５】本発明の実施の形態１の第二の３Ｄ撮影のフローチャート
【図６】本発明の実施の形態２の３Ｄ画像の生成方法を示す図
【図７】第一３Ｄ画像生成方法における画素数と解像度比の関係を示す図
【図８】本発明の実施の形態２の３Ｄ撮影のフローチャート
【図９】従来の３Ｄ撮像装置の概略構造図
【発明を実施するための形態】
【００３２】
以下、本発明の実施の形態について、図面を用いて説明する。
【００３３】
（実施の形態１）
図１は、本実施の形態の３Ｄ撮像装置の概略構造図である。
【００３４】
以下、本実施の形態１では、１個の筐体からなる携帯端末装置を想定して説明するが、その他、折畳み型の携帯端末やデジタルスチルカメラ（ＤＳＣ）など、小型カメラを有する電子機器に装着した場合も同様である。
【００３５】
図１（１）、（２）に示すように、携帯端末装置の長方形の筐体１の表示素子５の裏面に第一カメラ２と第二カメラ３からなる３Ｄカメラ４が配置されている。第一カメラ２は光学ズーム機能がついたカメラであり、第二カメラ３は光学ズーム機能がついていない単焦点カメラである。第二カメラは第一カメラに比べて安価で小型であるため、図９（１）の光学ズーム付きカメラ２個を用いたときよりも、携帯端末の小型化または薄型化が可能となる。
【００３６】
なお、図１（１）は光学ズーム付き第一カメラが左画像用カメラであるが、右画像用カメラとしても構わない。
【００３７】
図１（３）は携帯端末装置のブロック構成図を示す。第一カメラ２と第二カメラ３はカメラ制御手段８で制御され、撮影画像を記憶手段１０に保存したり、表示素子５を用いて表示する。
【００３８】
第一カメラはセンサ７とレンズ６からなり、光学ズーム機能が付いていて、レンズ６の位置をズーム制御信号９により制御することで所望のズーム倍率を得る。
【００３９】
図２にズーム時の３Ｄ画像生成方法を示す。
【００４０】
まず、ズーム倍率Ｎが切り換え倍率Ｎ０より小さいときの３Ｄ画像生成方法について説明する。これを第一３Ｄ画像生成方法と呼ぶことにする。
【００４１】
第一カメラ（左カメラ）はズーム倍率Ｎに応じて、光学ズーム画像を取得する。また、第二カメラ（右カメラ）の画像から、光学ズーム画像と同じ画角の画像を切り出したのち、光学ズーム画像と同じ画素数に画素調整（＝リサイズ）した電子ズーム画像を作成する。光学ズーム画像［１］を左画像、電子ズーム画像［２］を右画像とすることで、３Ｄ画像を生成する。
【００４２】
なお、電子ズーム画像は、光学ズーム画像に比べて倍率Ｎが大きくなるにつれて、相対的に解像度が低下するため、第一３Ｄ画像生成方法は、ズーム倍率ＮがＮ０よりも小さいときのみとする。
【００４３】
右画像と左画像の解像度を示す元画像の縦画素数をＹＬ、ＹＲ、横画素数をＸＬ、ＸＲとすると、ズーム倍率が大きくなると、ＹＬ（またはＸＬ）に比べてＹＲ（またはＸＲ）が小さくなる。
【００４４】
３Dの左右画像の解像度が異なるときに、３D画像として違和感なく見えるかどうかを本発明者らが主観評価を実施した結果を図３に示す。
【００４５】
左画像がフルHD（画素数１９２０×１０８０ドット）の画像に対して、右画像の画素数をフルHDよりも小さくしたときに、３D画像として違和感がないかどうかを、４種類の３D画像について評価した結果を示している。
【００４６】
縦画素数比は、左画像の縦画素ＹＬ（＝フルHDの１０８０ドット）に対する、右画像の縦画素数ＹＲの比を表していて、小さいほど左右の画像の解像度差が大きいことを意味する。
【００４７】
発明者の主観評価結果から、ＹＲ／ＹＬがおよそ０．４以上であれば、右画像の解像度の低下は気にならず、３Ｄ画像としてそれほど違和感のない画像が得られることがわかった。
【００４８】
従って、ＹＲ／ＹＬが例えば０．４以上となるときのあるズーム倍率をＮ０とすれば、Ｎ＜Ｎ０のときには、上記の第一３Ｄ画像生成方法で３Ｄ画像の生成が可能であることがわかった。
【００４９】
なお、Ｎ＞Ｎ０の場合には、右画像の解像度が低下するため良好な３Ｄ画像が得られない。
【００５０】
そこで次に、ズーム倍率がＮ０より大きいときの３Ｄ画像生成方法について説明する。これを第二３Ｄ画像生成方法と呼ぶことにする。
【００５１】
第二３Ｄ画像生成方法は、各画素または微小領域ごとの距離情報（デプス情報）を算出または推定し、その距離情報から３Ｄ画像を生成する方法である。
【００５２】
デプス情報の算出方法として、画素の明るさから推定する方法なども存在するが、より正確な測定方法は、２眼カメラの左右画像から各画素または微小領域ごとの視差情報（＝距離情報）を得る方法であり、例えば特許文献３に記載されている。
【００５３】
ここでは、２眼カメラの左右画像から各画素または微小領域ごとの視差情報（＝距離情報）を得る方法を採用する。
【００５４】
図２の左右画像［３］と［４］から、各画素（または微小領域）に対して、画像処理の相関演算などを用いて対応関係をつけることで、各画素の視差情報（距離情報）［５］が算出できる。
【００５５】
第一カメラ左画像［３］と視差情報［５］から、左右画像［６］と［７］を得る。
【００５６】
３Ｄ画像生成には、解像度の高い第一カメラ画像［３］を用いているため、左右画像ともに高解像度画像にすることができる。
【００５７】
したがって、高倍率（Ｎ＞Ｎ０）のときには第二３Ｄ画像生成方法を用いることで高解像度の３Ｄ画像が得られる。
【００５８】
図４には、本発明の実施の形態１のズーム時の３Ｄ撮影フローチャートを示す。
【００５９】
以上のように、第一の３D画像生成方法と第二の３D画像生成方法を組み合わせることで、広いズーム倍率範囲において高解像度の３D撮影が可能となる。
【００６０】
低倍率（N＜N0）の場合にも、第二３D画像生成方法を用いることが可能だが、第二３D画像生成方法は処理時間がかかるため、第二カメラ画像の解像度低下が許容される程度であれば、第二３D画像生成方法よりも第一３D画像生成方法のほうが望ましい。
【００６１】
また、３D動画撮影の場合も、第二３D画像生成方法は処理時間がかかり、動画のフレームレートが小さくなってしまうため、第二３D画像生成方法よりも第一３D画像生成方法のほうが望ましい。
【００６２】
そこで、第一３Ｄ画像生成方法と第二３Ｄ画像生成方法を、ズーム倍率に応じて切り換える代わりに、動画と静止画で切り換える方法も有効である。
【００６３】
図５には、このときの３Ｄ撮影フローチャートを示す。動画撮影の場合には、処理速度の早い第一３Ｄ画像生成方法を採用し、静止画撮影の場合には、高解像度の第二３Ｄ画像生成方法を採用する。
【００６４】
これにより、３Ｄ動画のフレームレートを低下することなく３Ｄ画像を生成することができる。
【００６５】
（実施の形態２）
本実施の形態２では、生成する３Ｄ画像の画素数に応じて、３Ｄ画像生成方法を変える方法について説明する。
【００６６】
本実施の形態２では、１個の筐体からなる携帯端末装置を想定して説明するが、その他、折畳み型の携帯端末やデジタルスチルカメラ（ＤＳＣ）など、小型カメラを有する電子機器に装着した場合も同様である。
【００６７】
図６（１）は、本実施の形態２の３Ｄ撮像装置のブロック構成図である。
【００６８】
ここでは、第三カメラ１１と第四カメラ１２ともに光学ズーム機能は無しとするが、光学ズーム機能があっても構わない。
【００６９】
図６（２）に示す３Ｄ画像生成方法は、実施の形態１の第一３Ｄ画像生成方法と同様である。
【００７０】
以下、画素数とは縦画素数×横画素数を指し、解像度とは、元画像における画素数を意味する。また、ここでは簡単のため画像の縦横比は一定と仮定する。
【００７１】
最大画素数がＡＬ（［６］）の第三カメラから生成した画像を第三カメラ生成画像（［８］）とし、画素数をＢＬ（ＢＬ≦ＡＬ）とする。一方、最大画素数がＡＲ（ＡＲ＜ＡＬとする）（［７］）の第四カメラから生成した画像を第四カメラ生成画像（［９］）とし、画素数をＢＲ（ＢＲ≦ＡＲ）とする。
【００７２】
［８］画像を画素数Ｃの画像にリサイズしたものを［１０］画像とし、［９］画像を画素数Ｃの画像にリサイズしたものを［１１］画像とし、［１０］と［１１］から３Ｄ画像を得る。
【００７３】
図７に３Ｄ画像の画素数Ｃに対する解像度比Ｐ（（右解像度）／（左解像度））のグラフの一例を示す。
【００７４】
画素数ＣがＢＲよりも小さいときには、［１０］の解像度はＢＬからＣに減少し、［１１］の解像度もＢＲからＣに減少する。従って、左右解像度の比は、（左解像度）／（右解像度）＝Ｃ／Ｃ＝１となる。
【００７５】
一方、画素数ＣがＢＲよりも大きく、ＢＬよりも小さいときには、［１０］の解像度（画素数）はＢＬからＣに減少し、［１１］の解像度はＢＲのままである。従って、左右解像度の比は、（右解像度）／（左解像度）＝ＢＲ／Ｃ＞ＢＲ／ＢＬとなる。
【００７６】
一方、画素数ＣがＢＬよりも大きいときには、［１０］の解像度はＢＬのままで、［１１］の解像度もＢＲのままである。従って、左右解像度の比Ｐは、（左解像度）／（右解像度）＝ＢＬ／ＢＲとなる。
【００７７】
ここで解像度比Ｐが、例えば０．３×０．３＝０．０９以上となるある解像度をＰ０と設定し、このときの３D画像の解像度ＣをＣ０とすると、実施の形態１の図３の結果からわかるように、Ｃ＜Ｃ０であれば、解像度比ＰがＰ０より大きいため、第一３D画像生成方法を用いた３D画像で問題ない。
【００７８】
一方、Ｃ＞Ｃ０のときには解像度比Ｐ０以下で解像度差が大きいため、第一３D画像生成方法は適さない。そこで、Ｃ＞Ｃ０のときには第二３D画像生成方法を用いて３D画像を生成する。
【００７９】
図６（３）に第二３Ｄ画像生成方法を示す。
【００８０】
Ｃ＞Ｃ０のときには、第三カメラ画像［１０］と第四カメラ画像［１１］から距離情報［１２］を算出し、高解像で画素数Ｃの第三カメラ画像［１０］と距離情報［１２］から３Ｄ画像を得る。生成方法は実施の形態１の第二３Ｄ画像生成方法と同様である。これにより、左右画像の解像度が同じ３Ｄ画像が得られる。
【００８１】
以上のように、生成する３Ｄ画像の画素数Ｃに応じて、３Ｄ画像生成方法を変えることによって、左右画像の解像度差が小さく見やすい３Ｄ画像が得られる。
【産業上の利用可能性】
【００８２】
本発明は３Ｄカメラとして有用であり、携帯電話、携帯端末、デジタルスチルカメラ、等々のカメラを有する様々な電子機器に利用可能である。
【符号の説明】
【００８３】
１    筐体
２    第一カメラ
３    第二カメラ
４    ３Ｄカメラ
５    表示素子
６    レンズ
７    センサ
８    カメラ制御手段
９    ズーム制御信号
１０    記憶手段
１１    第三カメラ
１２    第四カメラ
【図１】
2014102265.tif 000003
【図２】
2014102265.tif 000004
【図３】
2014102265.tif 000005
【図４】
2014102265.tif 000006
【図５】
2014102265.tif 000007
【図６】
2014102265.tif 000008
【図７】
2014102265.tif 000009
【図８】
2014102265.tif 000010
【図９】
2014102265.tif 000011