(57)【要約】 【課題】顔を検出する技術を活用することによって視認者に立体視を行なわせるのに適した画像データを生成することができる撮像装置を提供する。【解決手段】複数の撮像ユニットの光軸が平行になる様にして被写体の撮影を行なってフレームメモリ１２に画像データを記憶する。ＣＰＵ１０は、双方の撮像ユニットＩ１，Ｉ２で得られた複数の撮影画像中の顔の位置を検出し、モータドライバ１１に指示してナットＮ１，Ｎ２を移動させることにより輻輳角を調節させる。双方の撮像ユニットＩ１，Ｉ２それぞれで右眼用、左眼用の画像データを生成する。【選択図】  図１
2008022150.tif 000002
【特許請求の範囲】
【請求項１】
それぞれが撮影光学系と撮像素子とを有する、複数の撮像ユニットと、
前記複数の撮像ユニットの輻輳角を調整する方向に、該複数の撮像ユニットの向きを調節するアクチュエータと、
前記複数の撮像ユニットそれぞれで得られた撮影画像から顔を抽出する顔抽出部とを備え、
前記アクチュエータが、前記複数の撮像ユニットの向きを、該複数の撮像ユニットそれぞれで得られる複数の撮影画像中の顔が該複数の撮影画像内で互いに同一の座標に位置するように調節するものであることを特徴とする撮像装置。
【請求項２】
それぞれが撮影光学系と撮像素子とを有する、複数の撮像ユニットと、
前記複数の撮像ユニットそれぞれで得られた撮影画像から顔を抽出する顔抽出部と、
前記複数の撮影画像で得られた複数の撮影画像から互いに同一の座標に顔が位置するように複数の画像を切り出す画像切出部とを備えたことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像ユニットを用いて立体画像を表わす画像データを生成する撮像装置に関する。
【背景技術】
【０００２】
２つの撮像ユニットを左右の眼に見立てて撮像して立体画像を生成する技術が知られている（例えば非特許文献１参照）。この非特許文献１には、２つの撮像ユニット各々の光軸が成す輻輳角を制御することによりそれらの２つの撮像ユニットで生成された画像を表示装置の表示画面上に表示してその表示画面上の画像を視認者に視認させたときにその視認者に好適な立体感を与える画像データを生成する技術が報告されている。
【０００３】
上記特許文献１の様な撮像装置で撮影された画像を立体画像にして表示する表示装置としては、２つの撮像ユニットそれぞれで撮影した画像を左眼用画像と右目用画像として双方の画像を表示画面上に表示しておいて、視認者に専用の眼鏡を掛けさせその眼鏡によりそれらの画像を切り分けて視認させることによって視認者に立体視を行なわせるものや表示画面にレンチキュラーレンズを並べて貼り付けてそれらのレンズにより左眼と右眼とにそれぞれ左眼用画像と右眼用画像とを識別させ視認者に立体視を行なわせるものなどが良く知られている。
【０００４】
また最近では、表示装置に撮像装置を搭載してその撮像装置で視認者を撮影して視認者の半顔位置を検知し視認者の左眼と右眼とに至る光の経路を制御することにより視認者の左眼と右眼とにそれぞれ左眼用画像と右眼用画像とを別々に視認させることによって好適な立体視を行なわせようとする技術も報告されている（例えば特許文献１参照）。
【０００５】
ところで、最近複数台のカメラを用いて顔の特徴を抽出して顔認識を行なう技術が提案されている（例えば特許文献２参照）。この顔認識の技術は認証装置などに応用することができる。また最近では、撮像装置が捉えている画像の中に人の顔があるかどうかを判別して人が居ると判定したときにはその顔があるところにピントをあわせる技術等も提案されている。
【非特許文献１】ＮＨＫ放送技術研究所  平成６年度技研公開  講演・研究発表予稿集  ｐ５４〜ｐ６０
【特許文献１】特開平０８−６２５３４号公報
【特許文献２】特開２００４−１９２３７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、上記事情に鑑み、上記顔を検出する技術を活用することによって視認者に好適な立体視を行なわせるのに適した画像データを生成することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成する本発明の第１の撮像装置は、それぞれが撮影光学系と撮像素子とを有する、複数の撮像ユニットと、
上記複数の撮像ユニットの輻輳角を調整する方向に、該複数の撮像ユニットの向きを調節するアクチュエータと、
上記複数の撮像ユニットそれぞれで得られた撮影画像から顔を抽出する顔抽出部とを備え、
上記アクチュエータが、上記複数の撮像ユニットの向きを、その複数の撮像ユニットそれぞれで得られる複数の撮影画像中の顔がその複数の撮影画像内で互いに同一の座標に位置するように調節するものであることを特徴とする。
【０００８】
上記本発明の第１の撮像装置によれば、上記顔抽出部によって上記複数の撮像ユニットそれぞれで得られた撮影画像から顔が抽出され抽出された顔が上記アクチュエータによってその複数の撮影画像内で互いに同一の座標に位置する様に調節される。
【０００９】
そうすると、顔の位置が基準となってそれぞれのユニットでそれぞれ画像が生成され人の両眼によってその顔が視認されたかの様な画像が生成される。この画像を表示画面上に表示して視認者に視認させれば、好適な立体視が行われる様になる。
【００１０】
また、上記本発明の第１の撮像装置のように輻輳角を調節するアクチュエータを備える代わりに、
それぞれが撮影光学系と撮像素子とを有する、複数の撮像ユニットと、
上記複数の撮像ユニットそれぞれで得られた撮影画像から顔を抽出する顔抽出部と、
上記複数の撮影画像で得られた複数の撮影画像から互いに同一の座標に顔が位置するように複数の画像を切り出す画像切出部とを備えた撮像装置であっても良い。
【００１１】
そうすると、アクチュエータにより複数の撮影画像中の顔が同一の座標に位置するように光学的に調節されるのと同じ様に上記画像切出部によって画像が切り出されて立体視に適した画像が電子的に生成される。その結果上記本発明の第１の撮像装置と同様に、電子的に生成された画像を表示画面上に表示して視認者に視認させれば、好適な立体視が行われる様になる。
【発明の効果】
【００１２】
以上説明した様に、上記顔を検出する技術を活用することによって視認者に好適な立体視を行なわせるのに適した画像データを生成することができる撮像装置が実現する。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態について説明する。
【００１４】
図１は、本発明の一実施形態である撮像装置を示す図である。
【００１５】
図１には、撮像装置を上方から見た図が示されている。
【００１６】
図１に示す撮像装置１には、それぞれが撮影光学系と撮像素子とを有する、２つの撮像ユニットＩ１，Ｉ２と、２つの撮像ユニットＩ１，Ｉ２の輻輳角を調整する方向に、２つの撮像ユニットＩ１，Ｉ２の向きを調節するアクチュエータが備えられている。図１にはそのアクチュエータとしてモータＭ１，Ｍ２がそれぞれ示されており、それらのモータの回転によって回転するリードスクリューＬＳ１，ＬＳ２とナットＮ１，Ｎ２を介して双方の撮像ユニットＩ１，Ｉ１の向きがそれぞれ調整される。
【００１７】
上記撮像ユニットＩ１，Ｉ２それぞれの向きを調節するリードスクリューＬＳ１，ＬＳ２を回転させるための２つのモータＭ１．Ｍ２はモータドライバ１１によって駆動されており、そのモータドライバ１１の動作はＣＰＵ１０によって制御されている。さらにそのＣＰＵ１０内の内蔵メモリには、顔検出アルゴリズムを含む撮影処理に関するプログラムが格納されている。
【００１８】
この例では、まずＣＰＵ１０は、モータドライバ１１に指示して各モータＭ１，Ｍ２を回転させ各ナットＮ１，Ｎ２の位置を移動させることにより双方の光軸が平行になる様に撮像ユニットＩ１，Ｉ２の向きを調節させる。この状態で一回目の撮影を行なってフレームメモリ１２内にそれぞれの撮像ユニットで撮影された画像を表わす画像データを記憶する。図１には、フレームメモリ１２に画像データが記憶されているのでフレームメモリに画像データという文字が記載されている。
【００１９】
次にＣＰＵ１０は、顔検出アルゴリズムに基づいた手順で顔検出を行なって輻輳角を演算し、モータドライバ１１を制御して複数のモータＭ１．Ｍ２を従属的に駆動させることによって双方のナットＮ１，Ｎ２の位置を移動させ撮像ユニットＩ１，Ｉ２の向きを上記輻輳角になる様に調節させている。
【００２０】
本実施形態では、ＣＰＵ１０が顔検出アルゴリズムに基づいて２つの撮像ユニットＩ１，Ｉ２それぞれで得られる２つの撮影画像中の顔がその複数の撮影画像内で互いに同一の座標に位置する様にナットＮ１，Ｎ２を移動させて撮像ユニットＩ１，Ｉ２それぞれの向きを調節させている。
【００２１】
つまり、本発明にいうアクチュエータであるモータＭ１，Ｍ２によって、複数ここでは２つの撮像ユニットＩ１．Ｉ２の向きが、２つのの撮像ユニットＩ１，Ｉ２それぞれで得られる２つの撮影画像中の顔がその２つの撮影画像内で互いに同一の座標に位置するように調節されることになる。
【００２２】
本実施形態では、ＣＰＵ１０とフレームメモリ１２とが本発明にいう顔抽出部に相当し、またモータＭ１，Ｍ２がアクチュエータに相当する。
【００２３】
ここで、ＣＰＵ１０によって顔抽出によりどのように輻輳角が調節されて立体視に適した画像を表わす画像データが生成されるかを説明する。
【００２４】
図２は、複数の撮像ユニットＩ１，Ｉ２が同一の人物を捉えたときの撮影画像の違いを示す図である。
【００２５】
図２（ａ）には、一方の撮像ユニットＩ１で撮像された撮影画像が示されており、図２（ｂ）には、他方の撮像ユニットＩ２で撮像された撮影画像が示されている。また、図２（ｃ）、図２（ｄ）には、顔の位置の検出結果に基づいて輻輳角を調整したときの撮影画像が示されている。
【００２６】
図２（ａ）、図２（ｂ）に示す様に一方の撮像ユニットＩ１では、顔が図２の右側に寄って撮影され、他方の撮像ユニットＩ２では顔が図２の左側に寄って撮影される。こうして得られた画像を表わす画像データが表示装置に供給されると、その表示装置によってそれらの画像データが表わす画像が表示画面上に表示される。
【００２７】
しかし、図２（ａ）、図２（ｂ）に示す画像をそのまま立体視すると、視差が大きいため違和感のある画像になってしまうことがある。
【００２８】
そこで、本実施形態では、ＣＰＵ１０が双方の画像データからそれぞれ顔の位置を抽出して複数の撮影画像内で互いに同一の座標に位置する様に撮像ユニットの向きをそれぞれ調節して図２（ｃ），（ｄ）に示す画像が得られる様に輻輳角を調節してから撮影を行なう様に改良している。
【００２９】
このように顔を抽出して顔を基準とすることにより輻輳角を定め双方の撮像ユニットの向きを設定してから撮影を行なう様にすると、図２（ｃ）、（ｄ）に示す様に顔がほぼ中央に位置する画像が双方の撮影ユニットで得られる。
【００３０】
こうして得られた画像データに基づく画像を表示画面上に表示すると、そのままの表示で自然な立体感が得られる画像が得られる。
【００３１】
つまり主要被写体である人物を基準にして左右画像の表示範囲（ステレオウインドウ）を設定することができるので自然な立体感が得られるという訳である。
【００３２】
この様に自然な立体感が得られる様になると、表示画面上の画像を視認させている視認者に違和感を持たせることがなく、眼に疲労感を与える様なことがなくなる。
【００３３】
以上説明した様に、表示画面上で好適な立体視を行なわせるのに好適な画像を撮像することができる撮像装置が実現する。
【００３４】
図３、図４は、第２の実施形態を説明する図である。
【００３５】
第１の実施形態では撮影回数を２回にしたが、第２の実施形態の撮像装置は、図３に示す様に光軸が平行になる様に撮像ユニットの向きを調節して第１の実施形態における一回目の撮影だけを行なって、ＣＰＵ１０が双方の撮影画像中の顔の位置を基準にしてトリミング処理を行なっている。図４には、ＣＰＵ１０が画像ここでは顔の部分の切出し処理を行なうにあたって、端部から顔の中心までの長さが一致する様にトリミング処理を行なっていることが示されている。この様にしても第１の実施形態と同様の効果が得られる。
【００３６】
なお、本実施形態では、２つの撮影ユニットを備える撮像装置を例に挙げたが、撮影ユニットを3つ以上備えていても良い。
【図面の簡単な説明】
【００３７】
【図１】本発明の一実施形態である撮像装置を示す図である。
【図２】複数の撮像ユニットＩ１，Ｉ２が同一の人物を捉えたときの撮影画像の違いを示す図である。
【図３】第２の実施形態を説明する図である。
【図４】第２の実施形態を説明する図である。
【符号の説明】
【００３８】
１    撮像装置
Ｉ１  Ｉ２    撮像ユニット
Ｍ１  Ｍ２    モータ
ＬＳ１  ＬＳ２    リードスクリュー
Ｎ１  Ｎ２  ナット
１０  ＣＰＵ
１１    モータドライバ
１２    フレームメモリ
【図１】
2008022150.tif 000003
【図２】
2008022150.tif 000004
【図３】
2008022150.tif 000005
【図４】
2008022150.tif 000006