(57)【要約】【課題】２眼カメラからなる３Dカメラにおいて、被写体が近距離でも見やすい３Ｄ撮影を実現する。【解決手段】第一カメラと第二カメラを有する３Ｄカメラにおいて、被写体の距離測定手段を有し、最も近い被写体がある距離より遠い場合は、第一カメラ画像と第二カメラ画像による第一３Ｄ画像とし、被写体距離がある値より近いときには、第一カメラ画像と第二カメラ画像の視差から距離測定し、この距離測定結果と第一カメラ画像から第二３Ｄ画像を生成し、第二３Ｄ画像の２つ被写体の視差角差は第一３Ｄ画像の視差角差よりも小さくすることで、被写体が近いときも見やすい３Ｄ撮影が実現できる。【選択図】図１
2014103431.tif 000002
【特許請求の範囲】
【請求項１】
第一カメラと、第二カメラと、前記第一カメラの画像と前記第二カメラの画像の視差から被写体の距離情報を測定する距離情報測定手段と、を備え、遠距離撮影モードと、近距離撮影モードとを有する３Ｄ撮像装置であって、
前記遠距離撮影モードでは、前記第一カメラ画像と前記第二カメラ画像による第一３Ｄ画像を出力し、
前記近距離撮影モードでは、前記距離情報測定手段の出力結果と、前記第一カメラ画像または前記第二カメラ画像から生成した第二３Ｄ画像を出力し、
前記第二３Ｄ画像において視差角が異なる第一被写体と第二被写体の視差角差が、前記第一３Ｄ画像における前記第一被写体と前記第二被写体の視差角差よりも小さい３Ｄ撮像装置。
【請求項２】
請求項１に記載の３Ｄ撮像装置であって
前記第一３Ｄ画像及び／又は前記第二３Ｄ画像を出力する表示部を備える３Ｄ撮像装置
【請求項３】
請求項１又は請求項２に記載の３Ｄ撮像装置であって、
前記距離情報測定手段は、前記３Ｄ撮像装置から最も近い第三被写体の最近接距離を算出し、
前記最近接距離が所定の距離よりも遠い場合は、前記遠距離撮影モードとし、
前記最近接距離が前記所定の距離よりも近い場合は、前記近距離撮影モードとする３Ｄ撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３Ｄ撮影が可能な３Ｄカメラを有する携帯電話やデジタルスチルカメラなどのカメラ付き携帯型電子機器に関するものである。
【背景技術】
【０００２】
３Ｄ（立体）撮影方式として、人間の目の間隔である約６ｃｍ〜８ｃｍ程度離れた光軸を持つ２個のカメラ（２眼カメラ）で、左目視線の左画像と右目視線の右画像をそれぞれ撮影する方法がある。
【０００３】
図７は２つのカメラからなる３Dカメラの従来構造例を示す。例えば、特許文献１に詳細が記載されている。
【０００４】
図７（１）のように撮像装置の筐体１に２個のカメラが離れて配置されている。図７（２）に示すようにカメラの光軸間距離（基線長）を機構的に変えることと、カメラ光軸の角度を変えることが可能である。
【０００５】
図７（3）はブロック構成図を示す。第一カメラと第二カメラはカメラ制御手段８で制御される。３Ｄ撮影時には、第一カメラおよび第二カメラの水平方向の位置調整（視差調整）なども行う。
【０００６】
ここで、視差とはある被写体に対して、左右画像の水平方向の位置の差を意味する。左右視差の大小を制御することによって、被写体を３Dディスプレイ画面から手前または奥に自由に配置することができる。
【０００７】
図２は、３Ｄカメラの光軸が平行のときに、３Dカメラから被写体までの被写体距離と左右画像の視差角（輻輳角）の関係を示す。
【０００８】
被写体距離が短くなると、視差角が急激に大きくなる。また、２つのカメラの光軸間距離（基線長）が長くなるほど視差角が大きくなり、３Ｄ効果（奥行き感）が増す一方、３Ｄディスプレイ画面に対して飛び出し感が強すぎて、立体視できなくなるという課題も有する。
【０００９】
３Ｄディスプレイで再現する立体像はディスプレイ画面に対して手前過ぎても奥過ぎてもよくない。ディスプレイ画面における輻輳角に対するずれ量が、ある値以上になると快適な立体視が困難になる。さらに、このずれ量が大きくなると立体視自体ができなくなる。
【００１０】
一般に、視差角がディスプレイ画面上に対しておよそ±１度以下の差であれば、快適な立体視が可能であると言われている。
【００１１】
例えば、基線長が６．５ｃｍの場合、被写体距離が約１ｍ以上から無限遠であれば、図２に示すように、視差角が２度以下（±１度以下）に収まるので問題ないが、１ｍ以下の近距離被写体になると快適な立体視ができない。
【００１２】
そこで、特許文献１には、３Ｄカメラの基線長や左右カメラの光軸角すなわち輻輳角を３Ｄ撮影画像に応じて変化させることで、３Ｄ効果（＝奥行き感）と見やすさを両立する方法について記載されている。
【００１３】
近距離と遠距離の被写体が混在しているときにはカメラの基線長を短くすることで、左右視差が小さくなり見やすい３D画像が得られる。但し、３D効果は小さくなる方向である。
【００１４】
例えば、基線長を６．５ｃｍから３ｃｍに小さくすると、図２に示すように視差角が小さくなるため、約５０ｃｍの近距離被写体であっても、視差角を２度以下にすることができる。
【００１５】
また、２つのカメラの光軸が平行のまま、被写体がカメラに近づくと輻輳角が大きくなり、ディスプレイ画面から飛び出すため、立体視しにくくなる。
【００１６】
そこで被写体が近いときには、図７（２）に示すように２つのカメラの光軸をカメラから近いところで交差するように斜めにすると、３D表示時の視差を小さくすることができ、近くでも見やすい３D画像が得られる。
【００１７】
上述のように、機構的に２つのカメラの輻輳角を変化させる機能を追加すると、カメラが大型で重くなるため、電子的に輻輳角を変化させる方法が、特許文献２に記載されている。
【００１８】
左右画像の切り出し水平位置を調整することで輻輳角を変化させることができる。
【００１９】
但し、この電子的方法では一部の被写体の視差は調整できるが、近距離から遠距離の被写体全ての視差を同時に小さくすることはできない。
【００２０】
特許文献３には、３Ｄの表現空間上にある被写体（オブジェクト）の中の特定のオブジェクトが推奨の視差範囲内に収まるように、視差画像を生成する方法が記載されている。
【００２１】
例えば、指定されたオブジェクトが表示画面の表面付近に表示されるように視差調整を行う。
【００２２】
また、特許文献４には３Ｄカメラから３Ｄ画像を生成する方法として、視差情報（または距離情報）を用いる方法が記載されている。空間的に離れて配置された主撮像素子と従撮像素子からなる２眼カメラの主画像と従画像から視差を測定したのち、視差情報と主画像から３Ｄ画像を生成することができる。
【先行技術文献】
【特許文献】
【００２３】
【特許文献１】特開平０７−１６７６３３号公報
【特許文献２】特開平０８−２５１６２５号公報
【特許文献３】特開２００４−２２０１２７号公報
【特許文献４】特開２００５−２０６０６号公報
【発明の概要】
【発明が解決しようとする課題】
【００２４】
従来の特許文献１に記載された３Ｄカメラは、カメラの相対配置を変化させることで、３Ｄ効果と見やすさを両立できたが、２個のカメラを連続的に動く機能が必要なため、高価で大型のカメラとなってしまう課題があった。
【００２５】
一方、従来の特許文献２に記載された３Ｄカメラは、左右画像の被写体の水平距離（視差）を画像切り出し位置によって変えることができるので、特許文献１のような複雑な機構的構造が不要であるが、水平方向の視差の調整のみが可能であり、被写体間の奥行き感（３Ｄ感）の高低を調整することはできない。従って、近距離被写体と遠距離被写体が写っている３Ｄ画像では、全ての被写体で快適な視差になるように調整することができなかった。
【００２６】
特に、近距離被写体の距離が例えば１ｍ以下で非常に近い場合には、ディスプレイ画面に対する飛び出し感が強すぎて見にくくなる。そこで飛び出し感を弱めるために近距離被写体の視差を小さくすると、遠方の被写体が奥に配置され見にくくなるか、発散して立体視できなくなることがあった。
また、特許文献３に記載された方法では、被写体（オブジェクト）の位置に応じて、奥行き感と視差角（輻輳角）を調整することができるが、３Ｄ画像生成にソフト処理時間がかかるという課題があった。
【００２７】
本発明は、上述の問題点を解決するためになされたもので、安価なカメラ構成で３Ｄ効果と見やすさを両立する３Ｄ撮影を可能にすることを目的とする。
【課題を解決するための手段】
【００２８】
次に、上記の課題を解決するための手段について述べる。
【００２９】
本発明の３Ｄ撮像装置は、第一カメラと、第二カメラと、前記第一カメラの画像と前記第二カメラの画像の視差から被写体の距離情報を測定する距離情報測定手段と、を備え、遠距離撮影モードと、近距離撮影モードとを有する３Ｄ撮像装置であって、前記遠距離撮影モードでは、前記第一カメラ画像と前記第二カメラ画像による第一３Ｄ画像を出力する。前記近距離撮影モードでは、前記距離情報測定手段の出力結果と、前記第一カメラ画像または前記第二カメラ画像から生成した第二３Ｄ画像を出力し、前記第二３Ｄ画像において視差角が異なる第一被写体と第二被写体の視差角差が、前記第一３Ｄ画像における前記第一被写体と前記第二被写体の視差角差よりも小さい。
【００３０】
更に、本発明の３Ｄ撮像装置は、前記第一３Ｄ画像及び／又は前記第二３Ｄ画像を出力する表示部を備える。
【００３１】
この構成により、近距離撮影において距離情報測定手段を用いることで、安価なカメラ構成で遠距離と近距離撮影の両方が可能で、３Ｄ効果と見やすさを両立する３Ｄ撮影を実現することが出来る。
【００３２】
また、本発明の３Ｄ撮像装置は、前記距離情報測定手段は、前記３Ｄ撮像装置から最も近い第三被写体の最近接距離を算出し、前記最近接距離が所定の距離よりも遠い場合は、前記遠距離撮影モードとし、前記最近接距離が前記所定の距離よりも近い場合は、前記近距離撮影モードとする。
【００３３】
この構成により、距離情報測定手段により最近接の被写体距離を測定することで、近距離撮影モードと遠距離撮影モードをユーザが切り替えることが不要となる。
【発明の効果】
【００３４】
本発明によれば、安価なカメラ構成で遠距離撮影と近距離撮影の両方が可能で３Ｄ効果と見やすさを両立する３Ｄ撮影を可能にする。
【図面の簡単な説明】
【００３５】
【図１】本発明の実施の形態１の３Ｄ撮像装置の概略構造図
【図２】被写体距離と視差角の関係を示すグラフの図
【図３】従来の３Ｄ画像撮影方法を示す図
【図４】本発明の実施の形態１の３Ｄ画像生成方法を示す図
【図５】本発明の実施の形態１の３Ｄ画像生成方法の詳細を示す図
【図６】本発明の実施の形態１の３Ｄ撮影フローチャート
【図７】従来の３Ｄ撮像装置の概略構造図
【発明を実施するための形態】
【００３６】
以下、本発明の実施の形態について、図面を用いて説明する。
【００３７】
（実施の形態１）
図１は、本実施の形態の３Ｄ撮像装置の概略構造図である。
【００３８】
以下、本実施の形態１では、１個の筐体からなる携帯端末装置を想定して説明するが、その他、折畳み型の携帯端末やデジタルスチルカメラ（ＤＳＣ）など、小型カメラを有する電子機器に装着した場合も同様である。
【００３９】
図１（１）、（２）に示すように、携帯端末装置の長方形の筐体１の表示素子５の裏面に第一カメラ２と第二カメラ３からなる３Ｄカメラ４が配置されている。
【００４０】
図１（３）は携帯端末装置のブロック構成図を示す。第一カメラ２と第二カメラ３はカメラ制御手段８で制御され、撮影画像を記憶手段９に保存したり、表示素子５を用いて表示する。
【００４１】
距離情報測定手段１１は、第一カメラ２と第二カメラ３の画像から被写体の距離情報を測定するものである。
【００４２】
図３（１）（２）に、遠距離被写体１１と近距離被写体１２がある場合の一般的な３Ｄ画像撮影方法を示す。図３（１）は遠距離被写体１１と近距離被写体１２ともに、仮想投影面（または３Dディスプレイ画面）より奥にある場合を示す。一方、図３（２）は近距離被写体１２が３Dカメラの近くにあり、遠距離被写体１１が仮想投影面より奥にあって、近距離被写体１２が手前にある場合を示す。図３（２）の被写体の視差角範囲D２は図３（１）の被写体の視差角範囲D１よりも広い。
【００４３】
図３（２）のように近距離被写体１２が非常に近くに存在するときには、視差はＣ２Ｌ−Ｃ２Ｒで非常に大きいため、この状態では３Ｄディスプレイ画面に対して手前に飛び出しすぎて立体視しにくい。
【００４４】
例えば特許文献２のように左右画像の水平位置をずらすことで、近距離被写体１１の視差（Ｃ２Ｌ−Ｃ２Ｒ）を小さくすることはできるが、このとき遠距離被写体１０の視差（Ｃ１Ｌ−Ｃ１Ｒ）がマイナス方向に大きくなり、立体視不可能になることがある。
【００４５】
これは、近距離被写体１２と遠距離被写体１１の視差の差（ΔＣＬ−ΔＣＲ）が大きいことが原因である。
【００４６】
そこで、以下のような３Ｄ画像生成方法を採用する。
【００４７】
カメラから最も近い近距離被写体１２の距離がある値以上の場合は、第一カメラ画像と第二カメラ画像を左右画像とした３Ｄ画像を得る。これを遠距離撮影モードと呼ぶことにする。
【００４８】
図３（１）に示すように、２つの被写体の視差の差｜ΔＢＬ−ΔＢＲ｜が小さく、視差角範囲D１が狭いため、遠距離被写体１１も近距離被写体１２も快適に立体視することができる。
【００４９】
例えば、カメラの基線長が６．５ｃｍのときに、最も近い近距離被写体の距離が１ｍ以上であれば、視差角が±１度の範囲内に収めることができ、快適な３Ｄ画像が得られる。
【００５０】
次に、カメラから最も近い近距離被写体１２の距離がある値（例えば１ｍ）以下の場合は、近距離撮影モードと呼び、以下の３D画像生成方法を採用する。
【００５１】
第一カメラ画像と第二カメラ画像から、各画素または微小領域ごとの距離情報（デプス情報）を算出または推定し、その距離情報から３Ｄ画像を生成する方法であり、例えば特許文献４に記載されている。
【００５２】
図４に近距離撮影モードと遠距離撮影モードの３D画像生成方法を示す。また、図６には３D撮影のフローチャートを示す。
【００５３】
最も近い近距離被写体距離ＬがＬ０よりも大きいときには遠距離撮影モードとし、左右画像［１］と［２］から３D画像を得る。
【００５４】
一方、近距離被写体距離ＬがＬ０よりも小さいときには近距離撮影モードとし、左右画像［３］と［４］から、各画素（または微小ブロック）に対して、画像処理の相関演算などを用いて対応関係をつけることで、各画素の視差情報（距離情報）［５］を算出する。この視差情報（距離情報）の測定は、距離情報測定手段１０で実施する。さらに、第一カメラ画像［３］（または第二カメラ画像［４］）と視差情報［５］から、左右画像［６］と［７］を得る。
【００５５】
近距離撮影モードでは、視差角範囲を実際より狭くするために、算出した距離情報に１より小さいある一定値（ａ）を掛け合わせることにより、実際よりも奥行き感を小さくすることができる。
【００５６】
例えば、図５（２）のように、［３］と［４］から算出される各画素（ｘ、ｙ）の距離情報［５］から得られる視差角をA（ｘ，ｙ）とすると、A‘（ｘ、ｙ）＝A（ｘ、ｙ）×ａ  （０＜ａ＜１）とすれば、視差角範囲を実際より狭くすることができる。
【００５７】
すなわち、図５（１）の近距離撮影モードにおける視差角差｜ΔＣＬ‘−ΔＣＲ’｜が、遠距離撮影モードの画像［１］と［２］における、図３（２）の近距離被写体と遠距離被写体の視差角の差｜ΔＣＬ−ΔＣＲ｜よりも小さくすることができる。
【００５８】
これにより、視差角範囲D３が視差角範囲D２よりも狭くなり、近距離被写体が非常に近い場合でも視差角の変動が大きすぎず、快適な立体視が可能となる。
【００５９】
次に、最も近い近距離被写体の距離の測定方法について述べる。
【００６０】
遠距離撮影モードと近距離撮影モードの切り換えはユーザ自身が行っても構わないが、自動的に切り換えるためには、本３D撮像装置が最も近い被写体の距離を測定する手段を有していることが必要である。
【００６１】
近距離被写体の距離の測定方法として、レーダーの反射時間や赤外線などを用いた一般的な距離測定器を用いても構わないが、携帯端末装置が高価で大型化するため、ここでは、第一カメラと第二カメラの画像から推定する方法を採用する。これにより、距離測定手段のための追加部品が不要となる。
【００６２】
例えば、距離情報測定手段１０において、左右カメラ画像の対応画素（またはブロック）がわかれば、その画素（ブロック）の距離が推定できる。その画素の中で最も近くにあるものが近距離被写体であると推定できる。
【００６３】
なお、左右画像全ての対応画素を算出するには処理時間がかかるため、撮影画像の中で数ポイントの画素（またはブロック）について距離情報を算出しても構わない。
【００６４】
また、一般に被写体は画像中心部分に集中していると考えられるので、中心付近の画素（またはブロック）の距離情報から最近接被写体の距離を推定しても構わない。
【００６５】
以上のように、従来の遠距離３Ｄ撮影モードに加え、距離情報測定手段により視差角が調整された近距離３Ｄ撮影モードを組み合わせることで、安価で小型なカメラ構成で３Ｄ効果と見やすさを両立する３Ｄ撮影が可能となる。
【産業上の利用可能性】
【００６６】
本発明は３Ｄカメラとして有用であり、携帯電話、携帯端末、デジタルスチルカメラ、等々のカメラを有する様々な電子機器に利用可能である。
【符号の説明】
【００６７】
１    筐体
２    第一カメラ
３    第二カメラ
４    ３Ｄカメラ
５    表示素子（表示部）
６    レンズ
７    センサ
８    カメラ制御手段
９    記憶手段
１０    距離情報測定手段
１１    遠距離被写体
１２    近距離被写体
【図１】
2014103431.tif 000003
【図２】
2014103431.tif 000004
【図３】
2014103431.tif 000005
【図４】
2014103431.tif 000006
【図５】
2014103431.tif 000007
【図６】
2014103431.tif 000008
【図７】
2014103431.tif 000009