(57)【要約】【課題】２眼カメラからなる３Dカメラにおいてカメラの配置を物理的に変更することなく縦長の３Ｄ撮影を実現する。【解決手段】筐体の長辺方向に配置された２眼カメラと姿勢センサを有し、姿勢センサにより端末が横置きであることを検出したときには、２眼カメラ画像から３D画像を生成し、姿勢センサにより端末が縦置きであることが検出されたときには、２眼カメラ画像から距離情報を抽出し、片側カメラの画像と距離情報から、撮影画像の短辺方向の視差を算出し３D画像を生成することで、カメラの配置を物理的に変更することなく縦長撮影と横長撮影が実現できる。【選択図】図１
2014102266.tif 000002
【特許請求の範囲】
【請求項１】
筐体と、前記筐体に配置され長方形の表示素子と、前記表示素子の長辺方向に並んで配置された２眼カメラと、前記２眼カメラの画像から被写体の距離情報を抽出する距離情報抽出部と、
を備え、前記表示素子を横長に配置した横３Ｄ撮影モードと前記表示素子を縦長に配置した縦３Ｄ撮影モードを有する３Ｄ撮像装置であって、
前記縦３Ｄ撮影モードにおいて、前記２眼カメラの片側のカメラ画像と前記距離情報から、前記表示素子の短辺方向の視差を算出して３Ｄ画像を生成する３Ｄ撮像装置。
【請求項２】
請求項１に記載の３Ｄ撮像装置であって、
前記横３Ｄ撮影モードでは、前記２眼カメラ画像を左右画像として３Ｄ画像を生成する３Ｄ撮像装置。
【請求項３】
請求項１又は請求項２に記載の３Ｄ撮像装置であって、
姿勢センサを有し、前記姿勢センサにより前記表示素子の表示画面が縦長であると判定したときには、前記３Ｄ撮影を縦３Ｄ撮影モードに切り替える３Ｄ撮像装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の３Ｄ撮像装置であって、
前記表示素子は３Ｄ表示機能を有し、前記横３Ｄ撮影モードでは３Ｄプレビュー表示し、
前記縦３Ｄ撮影モードでは、前記２眼カメラのいずれか一方の画像を用いた２Ｄ画像で前記表示素子によるプレビュー表示を行う３Ｄ撮像装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の３Ｄ撮像装置であって、
前記縦３Ｄ撮影モードでは、前記２眼カメラのいずれか一方の画像から短辺方向に視差を追加した擬似３Ｄ画像で前記プレビュー表示を行う３Ｄ撮像装置。
【請求項６】
請求項１から請求項５のいずれか１項に記載の３Ｄ撮像装置であって、
前記横３Ｄ撮影モードと前記縦３Ｄ撮影モードの左右画像の視差設定が独立にそれぞれ設定できる３Ｄ撮像装置。
【請求項７】
請求項１から請求項６のいずれか１項に記載の３Ｄ撮像装置であって、
前記横３Ｄ撮影モードよりも前記縦３Ｄ撮影モードの前記視差設定値が近距離用である３Ｄ撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３Ｄ撮影が可能な３Ｄカメラを有する携帯電話やデジタルスチルカメラなどのカメラ付き携帯型電子機器に関するものである。
【背景技術】
【０００２】
３Ｄ（立体）撮影方式として、人間の目の間隔である約６ｃｍ〜８ｃｍ程度離れた光軸を持つ２個のカメラ（２眼カメラ）で、左目視線の左画像と右目視線の右画像をそれぞれ撮影する方法がある。
【０００３】
図９（１）、（２）は２眼カメラからなる３Dカメラの従来構造例を示す。
【０００４】
撮像装置の筐体１に第一カメラ２と第二カメラ３が離れて配置されている。筐体１裏面には、３Ｄ撮影画像を表示するための表示素子５が配置されている。表示素子は例えば、視差バリア方式の裸眼３Ｄ液晶などが用いられている。
【０００５】
図９（３）は筐体を９０度回転して、表示画面を縦長にしたときの様子を示す。被写体が縦長である場合には、このような形態で撮影することが多い。
【０００６】
このとき、第一カメラと第二カメラが上下に配置されるため、左右画像の被写体には上下方向の視差が発生する。このため、従来の２眼型３Dカメラでは３Ｄの縦撮影ができない。また、その画像の３D表示もできない。
【０００７】
そこで、縦撮影の場合には２眼カメラ配置の物理的な変更による解決方法が、例えば特許文献１に提案されている。
【０００８】
図１０に特許文献１の３Dカメラ構造を示す。図１０（１）は横長撮影、（２）は縦長撮影を示す。
【０００９】
横長撮影のときは従来と同様で表示素子５の長辺方向に離れて配置された２つのカメラで撮影する。なお、左右カメラのセンサ７はともに横長に配置されている。
【００１０】
一方、縦撮影時は、第一カメラと第二カメラがそれぞれカメラ光軸に対して９０度回転する機構により、カメラセンサ７の配置を横長から縦長に変更する。
【００１１】
表示素子も上記のカメラの回転方向と同じ方向に９０度回転することで縦長の３D画像の表示が可能となる。
【００１２】
表示素子は、縦表示と横表示が可能な３D表示素子が必要である。
【００１３】
例えば、バリア液晶を有する裸眼３D液晶を用いて、バリアの方向を縦と横に切り替えることにより、３D画像の横長表示と縦長表示が可能である。
【００１４】
なお、表示素子自体を回転する代わりに、表示画像だけを回転させても構わない。
【００１５】
また、特許文献２には、３Ｄカメラから３Ｄ画像を生成する方法として、視差情報（または距離情報）を用いる方法が記載されている。空間的に離れて配置された主撮像素子と従撮像素子からなる２眼カメラの主画像と従画像から視差を測定したのち、視差情報と主画像から３Ｄ画像を生成することができる。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特開平１０−２２４８２０号公報
【特許文献２】特開２００５−２０６０６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１７】
従来の２眼カメラによる３Ｄ撮影では、表示画面を縦長になるように筐体を回転した状態で、縦撮影することができなかった。
【００１８】
また、特許文献１には、３Ｄの縦撮影を実現できる方法が提案されているが、縦長の３Ｄ撮影を行うために、２つカメラがカメラ光軸に対して物理的に回転する機構や、表示素子の回転機構が必要であり、撮像装置が大型化するという課題があった。
【００１９】
本発明は、上述の問題点を解決するためになされたもので、カメラの配置を物理的に変更することなく、小型で安価に縦３Ｄ撮影と横３Ｄ撮影を両立することを目的とする。
【課題を解決するための手段】
【００２０】
次に、上記の課題を解決するための手段について述べる。
【００２１】
本発明の３Ｄ撮像装置は、筐体と、前記筐体に配置され長方形の表示素子と、前記表示素子の長辺方向に並んで配置された２眼カメラと、前記２眼カメラの画像からから被写体の距離情報を抽出する距離情報抽出部と、を備え、前記表示素子を横長に配置した横３Ｄ撮影モードと前記表示素子を縦長に配置した縦３Ｄ撮影モードを有する３Ｄ撮像装置であって、前記縦３Ｄ撮影モードにおいて、前記２眼カメラの片側のカメラ画像と前記距離情報から、前記表示素子の短辺方向の視差を算出して３Ｄ画像を生成する。
【００２２】
この構成により、距離情報から３Ｄ画像を生成することで、カメラの配置を物理的に変更することなく、小型で安価に縦３Ｄ撮影と横３Ｄ撮影を両立できる。
【００２３】
また、本発明の３Ｄ撮像装置は、前記横３Ｄ撮影モードでは、前記２眼カメラ画像を左右画像として３Ｄ画像を生成する。
【００２４】
この構成により、横３Ｄ撮影のときには３Ｄ画像生成時間を短縮することが出来る。
【００２５】
また、本発明の３Ｄ撮像装置は、姿勢センサを有し、前記姿勢センサにより前記表示素子の表示画面が縦長であると判定したときには、前記３Ｄ撮影を縦３Ｄ撮影モードに切り替える。
【００２６】
この構成により、姿勢センサの出力結果に応じて縦撮影モードへ自動切換えすることで、ユーザによる切り替えが不要となる。
【００２７】
また、本発明の３Ｄ撮像装置は、前記表示素子は３Ｄ表示機能を有し、前記横３Ｄ撮影モードでは３Ｄプレビュー表示し、前記縦３Ｄ撮影モードでは、前記２眼カメラのいずれか一方の画像を用いた２Ｄ画像で前記表示素子によるプレビュー表示を行う。
【００２８】
この構成により、縦撮影モード時においても３Ｄ画像生成時間に依存せず、プレビュー表示が可能となる。
【００２９】
また、本発明の３Ｄ撮像装置は、前記縦３Ｄ撮影モードでは、前記２眼カメラのいずれか一方の画像から短辺方向に視差を追加した擬似３Ｄ画像で前記プレビュー表示を行う。
【００３０】
この構成により、縦撮影モード時のプレビューを擬似的に３Ｄ表示でき、２Ｄ撮影時との差が認識しやすくなる。
【００３１】
また、本発明の３Ｄ撮像装置は、前記横３Ｄ撮影モードと前記縦３Ｄ撮影モードの左右画像の視差設定が独立にそれぞれ設定できる。
【００３２】
この構成により、縦撮影と横撮影にそれぞれ最適な視差を設定することが出来る。
【００３３】
また、本発明の３Ｄ撮像装置は、前記横３Ｄ撮影モードよりも前記縦３Ｄ撮影モードの前記視差設定値が近距離用である。
【００３４】
この構成により、縦撮影時に近距離撮影がしやすくなる。
【発明の効果】
【００３５】
本発明によれば、カメラの配置を物理的に変更することなく、小型で安価に縦３Ｄ撮影と横３Ｄ撮影を両立する。
【図面の簡単な説明】
【００３６】
【図１】本発明の実施の形態１の３Ｄ撮像装置の概略構造図
【図２】本発明の実施の形態１の横撮影モードと縦撮影モードの概略図
【図３】本発明の実施の形態１の３Ｄ画像生成方法を示す図
【図４】本発明の実施の形態１の３Ｄ撮影フローチャート
【図５】本発明の実施の形態２の３Ｄ撮影フローチャート
【図６】本発明の実施の形態２の第二の３Ｄ撮影フローチャート
【図７】本発明の実施の形態２の第二の３Ｄ撮影フローチャートのプレビュー表示画像を示す図
【図８】本発明の実施の形態３の３Ｄ画像生成方法を示す図
【図９】従来の３Ｄ撮像装置の概略構造図
【図１０】第二の従来例の３Ｄ撮像装置の概略構造図
【発明を実施するための形態】
【００３７】
以下、本発明の実施の形態について、図面を用いて説明する。
【００３８】
（実施の形態１）
図１は、本実施の形態の３Ｄ撮像装置の概略構造図である。
【００３９】
以下、本実施の形態１では、１個の筐体からなる携帯端末装置を想定して説明するが、その他、折畳み型の携帯端末やデジタルスチルカメラ（ＤＳＣ）など、小型カメラを有する電子機器に装着した場合も同様である。
【００４０】
図１（１）、（２）に示すように、携帯端末装置の長方形の筐体１の表示素子５の裏面に第一カメラ２と第二カメラ３からなる２眼の３Ｄカメラ４が配置されている。
【００４１】
第一カメラ２と第二カメラ３は、カメラセンサ７とレンズ６からなる。
【００４２】
図１（３）は携帯端末装置のブロック構成図を示す。第一カメラ２と第二カメラ３はカメラ制御手段８で制御され、撮影画像を記憶手段９に保存し、表示素子５を用いて撮像画像を表示する。
【００４３】
表示素子５は、例えばバリア液晶を有する裸眼３D液晶であり、バリアの方向を縦と横に切り替えることにより、３D画像の横長表示と縦長表示が可能である。
【００４４】
また、電子シャッタ式眼鏡を用いた３D表示素子であっても、３D画像の横長表示と縦長表示が可能である。
【００４５】
なお、３Ｄ画像を表示素子で表示する必要性がなければ、縦長３Ｄ表示ができなくてもよい。または、３Ｄ表示自体ができなくても構わない。
【００４６】
距離情報抽出部１１は、第一カメラ２と第二カメラ３の画像から被写体の距離情報を抽出する機能を有する。
【００４７】
さらに、この携帯端末は、加速度センサや方位センサなどからなる姿勢センサ１１を内蔵し、端末の姿勢を検出することができる。
【００４８】
表示素子の長辺を水平にした撮影を横３D撮影モード、表示素子の長辺を垂直にした撮影を縦３D撮影モードと呼ぶことにする。
【００４９】
表示素子の長辺が水平か垂直かは姿勢センサ１１が検出し、横３D撮影モードにするか縦３D撮影モードにするかを自動的に決定する。
【００５０】
なお、姿勢センサがない場合には、ユーザ自身が横３D撮影モードか縦３D撮影モードかを選択すればよいため、姿勢センサがなくても構わない。
【００５１】
図２（１）に横３D撮影モード、図２（２）に縦３D撮影モードの概要を示す。
【００５２】
なお、第一および第二カメラのカメラセンサ７の長辺は表示素子の長辺と平行とする。
【００５３】
横撮影モードでは、従来通り第一カメラ画像と第二カメラ画像を左右画像にすることで３D画像を得る。
【００５４】
図２（１）に示すように、３D画像の再生表示または、プレビュー表示では、水平方向すなわち表示素子の長辺方向に左右視差を有する３D画像となる。
【００５５】
一方、縦撮影モードでは、左右画像が表示素子の短辺方向に左右視差を有する３D画像とする。
【００５６】
この短辺方向に左右視差を有する縦３D画像は、第一カメラ画像と第二カメラ画像を左右画像としただけでは得ることができない。次に、縦３D画像の生成方法について説明する。
【００５７】
図３は横３D画像と縦３D画像の生成手順を示す。
【００５８】
横３D撮影モードでは、左右画像［１］と［２］から３D画像を得る。
【００５９】
一方、縦３D撮影モードでは、縦長の左右画像［３］と［４］から、各画素（または微小ブロック）に対して、画像処理の相関演算などを用いて対応関係をつけることで、各画素（または微小ブロック）の視差情報（＝距離情報）［５］を算出する。さらに、第一カメラ画像［３］（または第二カメラ画像［４］）と視差情報［５］から、カメラ画像の短辺方向に左右視差（ＢＬ−ＢＲ）を有する左右画像［６］と［７］を得る。
【００６０】
２眼カメラ画像から距離情報を算出したのち３D画像を生成する方法は、例えば特許文献１に記載されているが、表示素子の長辺方向に配置された２眼カメラから、表示素子の短辺方向の視差（ＢＬ−ＢＲ）を有する３D画像を生成するところが、本発明と従来例の異なる点である。
【００６１】
なお、横３Ｄ撮影モードにおいても、縦３Ｄ撮影モードと同様に距離情報による３Ｄ画像生成方法を用いても構わない。
【００６２】
但し、距離情報による３Ｄ画像生成方法は処理時間がかかるため、横３Ｄ撮影モードでは従来の２眼カメラ画像で３Ｄ画像を生成したほうが望ましい。
【００６３】
図４には３Ｄ撮影フローチャートの一例を示す。姿勢センサ１１の検出結果が縦置きの場合は縦３Ｄ撮影モード、横置きの場合は横３Ｄ撮影モードに切り替える。
【００６４】
横置きの場合は、３Ｄプレビュー表示画像は第一カメラ画像と第二カメラ画像を用いる。
【００６５】
一方、縦置きの場合は、３Ｄプレビュー表示画像としては、ステップＳ２とＳ３で生成された３Ｄ画像を用いる。なお、このときには、視差バリア液晶のバリア液晶を縦表示のモードに切り換える必要がある。
【００６６】
以上のように、通常の２眼カメラによる３Ｄ画像生成方法と、距離情報と片側のカメラ画像から３Ｄ画像生成する方法を組み合わせることで、カメラの配置を物理的に変更することなく、小型で安価に、縦３Ｄ撮影と横３Ｄ撮影を両立させることができる。
【００６７】
（実施の形態２）
次に、本実施の形態２の３Ｄ撮像におけるプレビュー表示方法ついて説明する。
【００６８】
なお、本実施の形態２の３Ｄ画像生成方法の基本的部分に関しては実施の形態１と同様であるため、説明は省略する。
【００６９】
図５には本実施の形態２の３Ｄ撮影フローチャートの一例を示す。
【００７０】
姿勢センサ１１の検出結果が縦置きの場合は縦３Ｄ撮影モード、横置きの場合は横３Ｄ撮影モードに切り替える。
【００７１】
実施の形態１の図４との違いは、ステップＳ１２の縦３D撮影モードの場合のプレビュー表示の方法である。
【００７２】
実施の形態１では、縦３Ｄ撮影時のプレビュー表示は、第一または第二カメラ画像と距離情報から生成した３Ｄ画像から生成したプレビュー画像を用いていたが、距離情報による３Ｄ画像生成に時間がかかるため、プレビュー表示の開始時間が遅れたり、表示フレームレートが遅いといった課題があった。
【００７３】
そこで、ここでは、第一または第二カメラ画像の２Ｄ画像を用いてプレビュー表示するものとする。なお、３Ｄバリア液晶は３Ｄ表示モードではなく２Ｄ表示モードとする。
【００７４】
これにより、上記の縦３Ｄ撮影時のプレビュー表示の遅れの問題が解消できる。
【００７５】
なお、単なる縦長の２Ｄ撮影と縦３Ｄ撮影モードを、ユーザが明確に区別できるように、２Ｄ表示画面の中に３Ｄ表示プレビュー中であることがわかる文字表示またはマーク表示等を追加することが望ましい。
【００７６】
図６には、もう一つのプレビュー表示を用いた３Ｄ撮影フローチャートの一例を示す。
【００７７】
図６と図５の差は、ステップＳ２１の縦３Ｄ撮影モードのプレビュー表示の方法である。
【００７８】
ステップＳ２１では、第一カメラ画像または第二カメラ画像から擬似３Ｄ画像をプレビュー表示する。ここで、擬似３Ｄ画像とは以下の画像を指す。
【００７９】
図７に示すように、第一カメラ画像または第二カメラ画像の２Ｄ画像（［３］）の水平方向のずれ量（C）が異なる２つの画像を左右画像（［８］と［９］）とする。これを擬似３Ｄ画像と呼ぶ。
【００８０】
これにより、視差のある画像が生成でき、２Ｄ撮影時のプレビューとは異なるプレビュー画像表示が可能になるため、ユーザが３Ｄ撮影か２Ｄ撮影かの認識が容易となり、２Ｄ撮影と３Ｄ撮影を区別するための表示等が不要となる。
【００８１】
以上により、上記の縦撮影時のプレビュー表示方法は３D画像の生成が不要なため、短時間でプレビュー表示が可能となる。２Ｄ表示画面の中に２Ｄ表示プレビューと区別するための文字表示またはマーク表示等は不要である。
【００８２】
（実施の形態３）
次に、本実施の形態３の３Ｄ撮像における視差調整方法ついて説明する。
【００８３】
なお、本実施の形態３の３Ｄ画像生成方法の基本的部分に関しては実施の形態１、２と同様であるため、説明は省略する。
【００８４】
図８は本実施の形態３の３Ｄ画像生成方法を示す図である。
【００８５】
図８（１）は横撮影時の３D画像、（２）は縦撮影時の３D画像を示す。
【００８６】
横撮影のときと縦撮影のときに、左右画像の視差が独立に設定できるようにする。横撮影のときに比べて縦撮影のときには被写体が人物などの近距離被写体を撮影する頻度が多いことを想定する。
【００８７】
縦撮影のときには、近距離の被写体の視差角（または視差Ｃ２）が大きくなり過ぎないように、左右画像の相対的水平距離を予め所定の値に調整する。すなわち、視差設定値が近距離用となるようにする。これにより、縦撮影の近距離撮影でも快適な視差の３Ｄ画像が得られる。
【００８８】
一方、横撮影のときには、遠距離被写体が多いことを想定し、視差角（または視差Ｃ１）が小さくなりすぎないように、視差設定値を遠距離用とする。
【００８９】
以上により、縦撮影と横撮影の最適な視差の３Ｄ画像が得られる。
【産業上の利用可能性】
【００９０】
本発明は３Ｄカメラとして有用であり、携帯電話、携帯端末、デジタルスチルカメラ、等々のカメラを有する様々な電子機器に利用可能である。
【符号の説明】
【００９１】
１    筐体
２    第一カメラ
３    第二カメラ
４    ３Dカメラ
５    表示素子
６    レンズ
７    カメラセンサ
８    カメラ制御手段
９    記憶手段
１０    距離情報抽出部
１１    姿勢センサ
【図１】
2014102266.tif 000003
【図２】
2014102266.tif 000004
【図３】
2014102266.tif 000005
【図４】
2014102266.tif 000006
【図５】
2014102266.tif 000007
【図６】
2014102266.tif 000008
【図７】
2014102266.tif 000009
【図８】
2014102266.tif 000010
【図９】
2014102266.tif 000011
【図１０】
2014102266.tif 000012