(57)【要約】      （修正有）【課題】輻輳角の調整を省力化する輻輳角調整支援装置を提供する。【解決手段】輻輳角調整支援装置１００は、第１のカメラおよび第２のカメラの輻輳角の調整を支援する。撮影画像取得部１０１と、画像回転部１０３と、判定用画像生成部１０４とを含む。撮影画像取得部は、輻輳角が０度である時に第１のカメラの光軸に対して垂直な平面と略平行となるように設置された壁面に形成されたテストパターンを、第１のカメラによって撮影した撮影画像を取得する。画像回転部は、撮影画像のうちテストパターンの撮影領域の少なくとも一部を含む注目画像を回転して回転画像を生成する。テストパターンは、線対称または回転対称であるベースパターンを輻輳角の目標値と第１のカメラおよび第２のカメラの位置関係とに応じて台形補正したパターンに相当する。判定用画像生成部は、注目画像および回転画像を合成または差分抽出して判定用画像を生成する。【選択図】図１
2019128223.tif 000002
【特許請求の範囲】
【請求項１】
多眼カメラに含まれる第１のカメラおよび第２のカメラの輻輳角の調整を支援する輻輳角調整支援装置であって、
前記輻輳角が０度である時に前記第１のカメラの光軸に対して垂直な平面と略平行となるように設置された壁面に形成された第１のテストパターンを、前記第１のカメラによって撮影した第１の撮影画像を取得する取得部と、
前記第１の撮影画像のうち前記第１のテストパターンの撮影領域の少なくとも一部を含む第１の注目画像を回転して第１の回転画像を生成する回転部と、
前記第１の注目画像および前記第１の回転画像を合成または差分抽出して第１の判定用画像を生成する生成部と、
を具備し、
前記第１のテストパターンは、線対称または回転対称であるベースパターンを前記輻輳角の目標値と前記第１のカメラおよび前記第２のカメラの位置関係とに応じて台形補正したパターンに相当する、
輻輳角調整支援装置。
【請求項２】
前記ベースパターンは、線対称の縞模様を含み、
前記回転部は、前記第１の注目画像を鏡像反転して前記第１の回転画像を生成する、
請求項１に記載の輻輳角調整支援装置。
【請求項３】
前記ベースパターンは、大きさの異なる正多角形を同心状に並べた図形に相当する縞模様を含み、
前記回転部は、正多角形の中心角の自然数倍と３６０度の整数倍との和であって、かつ、３６０度の整数倍のいずれとも異なる角度分、前記第１の注目画像を回転して前記第１の回転画像を生成する、
請求項１に記載の輻輳角調整支援装置。
【請求項４】
前記ベースパターンは、同心円に相当する縞模様を含み、
前記回転部は、３６０度の整数倍のいずれとも異なる角度分、前記第１の注目画像を回転して前記第１の回転画像を生成する、
請求項１に記載の輻輳角調整支援装置。
【請求項５】
前記第１の判定用画像にモアレが含まれるか否かを判定する判定部をさらに具備する、請求項２乃至請求項４のいずれか１項に記載の輻輳角調整支援装置。
【請求項６】
前記第１の判定用画像を表示する表示部をさらに具備する、請求項１乃至請求項４のいずれか１項に記載の輻輳角調整支援装置。
【請求項７】
多眼カメラに含まれる第１のカメラおよび第２のカメラの輻輳角の調整を支援する輻輳角調整支援装置であって、
前記輻輳角が前記輻輳角の目標値に一致した時に前記第１のカメラの光軸に対して垂直な平面と略平行となるように設置された第１の壁面に形成された第１のテストパターンを、前記第１のカメラによって撮影した第１の撮影画像を取得する取得部と、
前記第１の撮影画像のうち前記第１のテストパターンの撮影領域の少なくとも一部を含む第１の注目画像を回転して第１の回転画像を生成する回転部と、
前記第１の注目画像および前記第１の回転画像を合成または差分抽出して第１の判定用画像を生成する生成部と、
を具備し、
前記第１のテストパターンは、線対称または回転対称のパターンである、
輻輳角調整支援装置。
【請求項８】
多眼カメラに含まれる第１のカメラおよび第２のカメラの輻輳角の調整を支援する輻輳角調整支援方法であって、
前記輻輳角が０度である時に前記第１のカメラの光軸に対して垂直な平面と略平行となるように設置された壁面に形成された第１のテストパターンを、前記第１のカメラによって撮影した第１の撮影画像を取得することと、
前記第１の撮影画像のうち前記第１のテストパターンの撮影領域の少なくとも一部を含む第１の注目画像を回転して第１の回転画像を生成することと、
前記第１の注目画像および前記第１の回転画像を合成または差分抽出して第１の判定用画像を生成することと、
前記第１のテストパターンは、線対称または回転対称であるベースパターンを前記輻輳角の目標値と前記第１のカメラおよび前記第２のカメラの位置関係とに応じて台形補正したパターンに相当する、
輻輳角調整支援方法。
【請求項９】
多眼カメラに含まれる第１のカメラおよび第２のカメラの輻輳角の調整を支援する輻輳角調整支援方法であって、
前記輻輳角が前記輻輳角の目標値に一致した時に前記第１のカメラの光軸に対して垂直な平面と略平行となるように設置された第１の壁面に形成された第１のテストパターンを、前記第１のカメラによって撮影した第１の撮影画像を取得することと、
前記第１の撮影画像のうち前記第１のテストパターンの撮影領域の少なくとも一部を含む第１の注目画像を回転して第１の回転画像を生成することと、
前記第１の注目画像および前記第１の回転画像を合成または差分抽出して第１の判定用画像を生成することと、
を具備し、
前記第１のテストパターンは、線対称または回転対称のパターンである、
輻輳角調整支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多眼カメラに含まれる２つのカメラの輻輳角の調整に関する。
【背景技術】
【０００２】
例えばステレオカメラの視野を確保するために、左カメラおよび右カメラの光軸が交差するように左カメラおよび右カメラをその前面が両者の中心側を向くように傾けて設置することが一般的である。左カメラおよび右カメラの光軸がなす角は輻輳角と呼ばれる。理想的な輻輳角は、例えばステレオカメラから被写体までの距離に基づいて計算することができる。
【０００３】
ステレオカメラに輻輳角を付けるために、左カメラおよび／または右カメラに取り付けられた駆動機構は、輻輳角を変更するためにこれらを回転させたり、回転に伴う眼間距離（カメラ間距離）の変動を補償するために平行移動させたりすることになる。駆動機構の精度に依存するものの、一般的に、駆動機構により設定された輻輳角は、その目標値に対してある程度の誤差がある。故に、かかる誤差を解消するために、例えば、輻輳角の実測およびこれに基づく左カメラおよび／または右カメラの姿勢の再変更といった、人手による調整が必要であった。
【０００４】
また、特許文献１には、ステレオカメラを構成する２台のカメラの相対的な撮影方向がずれた場合でも、当該２台のカメラの撮影画像から形成される３次元画像を校正して３次元計測を行うことが記載されている。しかしながら、特許文献１に記載の技術は、例えばステレオカメラの輻輳角の誤差を事後的に補償しているに過ぎない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１６−８０３９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、輻輳角の調整を省力化することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様によれば、輻輳角調整支援装置は、多眼カメラに含まれる第１のカメラおよび第２のカメラの輻輳角の調整を支援する。輻輳角調整支援装置は、取得部と、回転部と、生成部とを含む。取得部は、輻輳角が０度である時に第１のカメラの光軸に対して垂直な平面と略平行となるように設置された壁面に形成された第１のテストパターンを、第１のカメラによって撮影した第１の撮影画像を取得する。回転部は、第１の撮影画像のうち第１のテストパターンの撮影領域の少なくとも一部を含む第１の注目画像を回転して第１の回転画像を生成する。第１のテストパターンは、線対称または回転対称であるベースパターンを輻輳角の目標値と第１のカメラおよび第２のカメラの位置関係とに応じて台形補正したパターンに相当する。生成部は、第１の注目画像および第１の回転画像を合成または差分抽出して第１の判定用画像を生成する。
【０００８】
本発明の別の態様によれば、輻輳角調整支援装置は、多眼カメラに含まれる第１のカメラおよび第２のカメラの輻輳角の調整を支援する。輻輳角調整支援装置は、取得部と、回転部と、生成部とを含む。取得部は、輻輳角が輻輳角の目標値に一致した時に第１のカメラの光軸に対して垂直な平面と略平行となるように設置された第１の壁面に形成された第１のテストパターンを、第１のカメラによって撮影した第１の撮影画像を取得する。回転部は、第１の撮影画像のうち第１のテストパターンの撮影領域の少なくとも一部を含む第１の注目画像を回転して第１の回転画像を生成する。生成部は、第１の注目画像および第１の回転画像を合成または差分抽出して第１の判定用画像を生成する。第１のテストパターンは、線対称または回転対称のパターンである。
【発明の効果】
【０００９】
本発明によれば、輻輳角の調整を省力化することができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る輻輳角調整支援装置を例示するブロック図。
【図２】第１の調整例において、輻輳角設定前の左カメラおよび右カメラの姿勢を例示する図。
【図３Ａ】第１の調整例において、左カメラの調整用にスクリーンに投影されるテストパターンを例示する図。
【図３Ｂ】第１の調整例において、右カメラの調整用にスクリーンに投影されるテストパターンを例示する図。
【図４】第１の調整例において、輻輳角が正しく設定されている場合の左カメラおよび右カメラの姿勢を例示する図。
【図５Ａ】第１の調整例において、輻輳角が正しく設定されている場合に左カメラによって撮影される画像を例示する図。
【図５Ｂ】第１の調整例において、輻輳角が正しく設定されている場合に右カメラによって撮影される画像を例示する図。
【図６】輻輳角が正しく設定されていない場合の判定用画像を例示する図。
【図７】輻輳角が正しく設定されている場合の判定用画像を例示する図。
【図８】テストパターンまたはベースパターンを例示する図。
【図９】第２の調整例において、輻輳角設定前の左カメラおよび右カメラの姿勢を例示する図。
【図１０Ａ】第２の調整例において、輻輳角が正しく設定されていない場合に左カメラによって撮影される画像を例示する図。
【図１０Ｂ】第２の調整例において、輻輳角が正しく設定されていない場合に右カメラによって撮影される画像を例示する図。
【図１１】第２の調整例において、輻輳角が正しく設定されている場合の左カメラおよび右カメラの姿勢を例示する図。
【図１２Ａ】第２の調整例において、輻輳角が正しく設定されている場合に左カメラによって撮影される画像を例示する図。
【図１２Ｂ】第２の調整例において、輻輳角が正しく設定されている場合に右カメラによって撮影される画像を例示する図。
【図１３】図１の輻輳角調整支援装置を用いた、ステレオカメラの輻輳角の調整手順を例示するフローチャート。
【図１４】カメラのＲｏｌｌ、ＰｉｃｈおよびＹａｗ方向を例示する図。
【図１５Ａ】Ｙａｗ方向の角度ずれの粗い調整後に左カメラまたは右カメラによって生成される、テストパターンの撮影画像を例示する図。
【図１５Ｂ】Ｙａｗ方向の角度ずれの粗い調整およびＲｏｌｌ方向の角度ずれの調整後に左カメラまたは右カメラによって生成される、テストパターンの撮影画像を例示する図。
【図１５Ｃ】Ｙａｗ方向の角度ずれの粗い調整、ならびにＲｏｌｌ方向およびＰｃｉｃｈ方向の角度ずれの調整後に左カメラまたは右カメラによって生成される、テストパターンの撮影画像を例示する図。
【図１５Ｄ】Ｙａｗ方向の角度ずれの粗い調整、ならびにＲｏｌｌ方向、Ｐｃｉｃｈ方向およびＹａｗ方向（輻輳角）の角度ずれの調整後に左カメラまたは右カメラによって生成される、テストパターンの撮影画像を例示する図。
【図１６】Ｒｏｌｌ、ＰｉｃｈおよびＹａｗ方向の角度ずれの調整手順を例示するフローチャート。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら実施形態の説明を述べる。なお、以降、説明済みの要素と同一または類似の要素には同一または類似の符号を付し、重複する説明については基本的に省略する。
【００１２】
（実施形態）  
図１に例示されるように、実施形態に係る輻輳角調整支援装置１００は、撮影画像取得部１０１と、注目画像抽出部１０２と、画像回転部１０３と、判定用画像生成部１０４と、表示部１０５と、モアレ判定部１０６とを含む。輻輳角調整支援装置１００は、ステレオカメラ１０の輻輳角の調整を支援する。具体的には、輻輳角調整支援装置１００は、輻輳角が正しく設定されたか否かを自動的に判定したり、或いは、輻輳角が正しく設定されたか否かを人間が直感的に判定できるような画像（後述される判定用画像）を表示したりする。これにより、例えば輻輳角の実測のような手間のかかる作業を必要とすることなく、輻輳角の調整が可能となる。
【００１３】
輻輳角調整支援装置１００は、図１の例のようにステレオカメラ１０とは独立した装置であってもよいし、ステレオカメラ１０に内蔵されてもよい。ステレオカメラ１０は、輻輳角の調整対象となる２つのカメラを備える。以降の説明では、これらをそれぞれ左カメラ１１および右カメラ１２と呼ぶ。なお、ステレオカメラ１０は、３眼以上の多眼カメラに置き換えられてもよい。
【００１４】
輻輳角調整支援装置１００は、注目画像の抽出、画像の回転、判定用画像の生成、モアレの判定などを行うプロセッサ（例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）など）と、かかる処理を実現するために当該プロセッサによって実行されるプログラムおよび当該プログラムによって使用されるデータなどを一時的に格納するメモリとを含んでいる。
【００１５】
輻輳角調整支援装置１００は、さらに、ステレオカメラ１０に接続するための通信Ｉ／Ｆを利用可能である。通信Ｉ／Ｆは、輻輳角調整支援装置１００に内蔵されてもよいし、輻輳角調整支援装置１００に外付けされてもよい。
【００１６】
通信Ｉ／Ｆは、例えば、ステレオカメラ１０から撮影画像を受け取る。通信Ｉ／Ｆは、例えば光ファイバケーブル、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）ケーブル、などの有線通信Ｉ／Ｆであってもよいし、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）などの無線通信技術を利用する無線通信Ｉ／Ｆであってもよい。
【００１７】
輻輳角調整支援装置１００は、さらに、出力Ｉ／Ｆを利用可能である。出力Ｉ／Ｆは、輻輳角調整支援装置１００に内蔵されてもよいし、輻輳角調整支援装置１００に外付けされてもよい。
【００１８】
出力Ｉ／Ｆは、動画像、静止画像、テキストなどを表示するための表示デバイスおよび／または音声、楽曲などを出力するためのスピーカを含み得る。表示デバイスは、例えば、液晶ディスプレイ、有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）ディスプレイなどである。なお、表示デバイスは、タッチスクリーンのように入力Ｉ／Ｆの機能を備えていてもよい。
【００１９】
撮影画像取得部１０１は、ステレオカメラ１０から、後述されるテストパターンの撮影画像を取得する。撮影画像取得部１０１は、撮影画像を注目画像抽出部１０２へ送る。撮影画像取得部１０１は、例えば前述の通信Ｉ／Ｆに相当し得る。
【００２０】
撮影画像取得部１０１は、基本的にステレオカメラ１０に含まれる左カメラ１１および右カメラ１２の両方についてテストパターンの撮影画像を取得することとする。ただし、左カメラ１１および右カメラ１２の駆動機構がこれらの姿勢を略鏡像対称に変更可能であるならば、左カメラ１１および右カメラ１２のうち一方について、後述される判定用画像から輻輳角が正しく設定されたか否かを判定することもあり得る。
【００２１】
注目画像抽出部１０２は、撮影画像取得部１０１から撮影画像を受け取り、この撮影画像のうちテストパターンの撮影領域の少なくとも一部を含む注目画像を抽出する。注目画像抽出部１０２は、注目画像を画像回転部１０３および判定用画像生成部１０４へ送る。注目画像抽出部１０２は、例えば前述のプロセッサおよびメモリに相当し得る。なお、撮影画像全体を注目画像として扱うことも可能であり、その場合には注目画像抽出部１０２は取り除かれてよい。
【００２２】
画像回転部１０３は、注目画像抽出部１０２から注目画像を受け取り、これを回転して回転画像を生成する。画像回転部１０３は、回転画像を判定用画像生成部１０４へ送る。画像回転部１０３は、例えば前述のプロセッサおよびメモリに相当し得る。
【００２３】
具体的には、画像回転部１０３が注目画像をどのように回転するかは、テストパターンまたはそのベースとなるベースパターン（後述される）がどのようなパターンであるかに依存して定められる。なお、テストパターンまたはベースパターンを可変とする場合には、輻輳角調整支援装置１００は、テストパターンまたはベースパターンがどのようなパターンであるのか、特に、対称性に関する情報、を検知して画像回転部１０３へ通知する機能部をさらに備えてもよい。
【００２４】
具体的には、テストパターンまたはベースパターンが線対称のパターン、例えば横（水平）縞、斜め縞、縦（垂直）縞などの線対称の縞模様である場合には、画像回転部１０３は、対称軸（すなわち縞に垂直な線）に関して注目画像を鏡像反転して回転画像を生成する。ここで、対称軸は、例えば注目画像内の所定の位置に予め定められていてもよいし、画像処理または人手により注目画像毎に個別に定められてもよい。
【００２５】
他方、テストパターンまたはベースパターンが回転対称のパターンである場合には、画像回転部１０３は、当該パターンの対称性が保証される角度分、注目画像を回転する。ここで、回転の中心は、例えば注目画像内の所定の位置に予め定められていてもよいし、画像処理または人手により注目画像毎に個別に定められてもよい。
【００２６】
例えば、テストパターンまたはベースパターンが同心円を領域毎に色分けした縞模様である場合には、画像回転部１０３は、任意の角度分、注目画像を回転する。ただし、角度を３６０度の整数倍とすると注目画像および回転画像は同一の画像となるので、かかる角度は除外される。
【００２７】
また、例えば、テストパターンまたはベースパターンが大きさの異なる正多角形（正多角形の角数は全て同一とする）を同心状に並べた図形を領域毎に色分けした縞模様である場合には、画像回転部１０３は、当該正多角形の中心角の自然数倍と３６０度の整数倍との和の角度分、注目画像を回転する。
【００２８】
一例として、大きさの異なる正方形を同心状に並べた図形を領域毎に色分けした縞模様に相当するテストパターンまたはベースパターンを図８に示す。かかるテストパターンまたはベースパターンが用いられた場合には、画像回転部１０３は、正方形の中心角である９０度の自然数倍と３６０度の整数倍との和の角度分、注目画像を回転すればよい。ただし、角度を３６０度の整数倍とすると注目画像および回転画像は同一の画像となるので、かかる角度は除外される。
【００２９】
判定用画像生成部１０４は、注目画像抽出部１０２から注目画像を受け取り、画像回転部１０３から回転画像を受け取る。判定用画像生成部１０４は、例えば、注目画像および回転画像を合成することで判定用画像を生成してもよい。判定用画像生成部１０４は、判定用画像を表示部１０５およびモアレ判定部１０６へ送る。判定用画像生成部１０４は、例えば前述のプロセッサおよびメモリに相当し得る。
【００３０】
後述されるように、ステレオカメラ１０の輻輳角が正しく設定されていれば、例えば図５Ａおよび図５Ｂに示されるように、注目画像には線対称または回転対称のパターンが写り込む。故に、注目画像に写り込んだパターンとおよび回転画像に写り込んだパターンとは一致し、図７に例示されるように判定用画像にも同様のパターンが表れる。他方、ステレオカメラ１０の輻輳角が正しく設定されていなければ、例えば図３Ａおよび図３Ｂに示されるように、注目画像には線対称または回転対称のパターンが台形状に歪んで写り込む。故に、注目画像に写り込んだパターンと回転画像に写り込んだパターンとは一致せず、図６に例示されるように判定用画像には両者のずれによるモアレが生じる。
【００３１】
このように、ステレオカメラ１０の輻輳角が正しく設定されている時に注目画像に線対称または回転対称のパターンが写り込むようにテストパターンを準備することで、輻輳角が正しく設定されているか否かの判定材料として、注目画像と回転画像との類似性を用いることができる。
【００３２】
なお、判定用画像生成部１０４は、注目画像および回転画像の差分（画像）を抽出することで判定用画像を生成してもよい。前述のようにステレオカメラ１０の輻輳角が正しく設定されている時に注目画像および回転画像は同一または類似となるので、両者の差分は殆ど生じず判定用画像は略白画像となる。他方、ステレオカメラ１０の輻輳角が正しく設定されていない時には、判定用画像中に両者の差分に起因する白以外の画素があちこちに出現する。
【００３３】
或いは、判定用画像生成部１０４は、判定用画像ではなく、注目画像および回転画像の類似度を算出する類似度算出部に置き換えられてもよい。類似度は、例えば、ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）などであり得る。さらに、この類似度と閾値とを比較することで、ステレオカメラ１０の輻輳角が正しく設定されているか否かが自動判定されてよい。
【００３４】
表示部１０５は、判定用画像生成部１０４から判定用画像を受け取り表示する。表示部１０５は、例えば前述の出力Ｉ／Ｆに相当し得る。なお、この出力Ｉ／Ｆは、例えばステレオカメラ１０の表示デバイスと共用であってもよい。
【００３５】
ステレオカメラ１０の輻輳角を調整するユーザは、表示部１０５に表示された判定用画像を目視し、ステレオカメラ１０の輻輳角が正しく設定されているか否かを判定できる。ユーザは、例えば、判定用画像にモアレが含まれているかどうか、判定用画像が略白画像であるかどうか、などに着目して判定を行う。ユーザは、ステレオカメラ１０の輻輳角が正しく設定されていると判定した場合には、当該輻輳角の設定を終える。他方、ユーザは、ステレオカメラ１０の輻輳角が正しく設定されていないと判定した場合には、ステレオカメラ１０に内蔵または外付けされた駆動機構を操作して、左カメラ１１および／または右カメラ１２の姿勢を変更する。
【００３６】
なお、表示部１０５は、判定用画像の代わりに、注目画像および回転画像を並べて、または重ねて表示することも可能である。この場合に、判定用画像生成部１０４は取り除かれてよい。ユーザは、例えば、注目画像および回転画像が一致ないし十分に類似しているかどうかを見比べ、ステレオカメラ１０の輻輳角が正しく設定されているか否かを判定できる。ただし、この場合には、ユーザは２枚の画像を見比べる必要があるので、判定用画像を目視する場合に比べて、両者の微少な差を見落としやすくなるおそれがある。
【００３７】
また、表示部１０５は、後述されるモアレ判定部１０６から判定用画像にモアレが含まれるか否かの判定結果が通知されることがある。この場合に、表示部１０５は、ステレオカメラ１０の輻輳角の調整の未了および／または完了をユーザに伝えるメッセージを表示してもよい。なお、このメッセージは、必ずしも映像として出力される必要はなく、図示されないスピーカにより音声として出力されてもよいし、図示されないランプの点滅パターンにより表現されてもよい。
【００３８】
なお、ステレオカメラ１０の輻輳角が正しく設定されているか否かをユーザの目視により判定しない場合、そして前述のメッセージをユーザに表示しない場合には、表示部１０５は取り除かれてもよい。
【００３９】
モアレ判定部１０６は、判定用画像生成部１０４から判定用画像を受け取り、これにモアレが含まれるか否かを判定する。モアレ判定部１０６は、公知の技法を用いてモアレを検出してもよい。ここで、モアレがない、或いは許容量以下である、という判定結果は、ステレオカメラ１０の輻輳角が正しく設定されていることを意味する。他方、モアレがある、或いは許容量を超えている、という判定結果はステレオカメラ１０の輻輳角が正しく設定されていないことを意味する。モアレ判定部１０６は、例えば前述のプロセッサおよびメモリに相当し得る。
【００４０】
モアレ判定部１０６は、その判定結果を表示部１０５および／または図示されない外部装置に通知する。ここでの外部装置は、例えば、ステレオカメラ１０の駆動機構を制御する制御装置であってよい。そして、この制御装置は、モアレ判定部１０６が判定用画像にモアレが含まれていないと判定するまで、左カメラ１１および／右カメラ１２の姿勢を自動的に変更してもよい。このように、左カメラ１１および／または右カメラ１２を自動制御すれば、ユーザの手を煩わせることなくステレオカメラ１０の輻輳角を正しく設定することが可能となる。なお、ステレオカメラ１０の輻輳角が正しく設定されているか否かを自動判定しない場合には、モアレ判定部１０６は取り除かれてもよい。
【００４１】
以下、図２乃至図７、および図９乃至図１２をそれぞれ用いて、ステレオカメラ１０の輻輳角の調整例を２つ説明する。
【００４２】
（第１の調整例）  
輻輳角設定前のステレオカメラ１０に含まれる左カメラ１１および右カメラ１２の姿勢を図２に例示する。図２の例では、左カメラ１１および右カメラ１２の輻輳角は０度、すなわち、左カメラ１１の光軸および右カメラ１２の光軸が略平行となるように、左カメラ１１および右カメラ１２は配置されている。
【００４３】
また、ステレオカメラ１０の輻輳角が０度である時の左カメラ１１および右カメラ１２の光軸に垂直な平面に対して略平行となる壁面（前面）を有するスクリーン３０が、左カメラ１１および右カメラ１２の前面に設置されている。
【００４４】
左カメラ１１および右カメラ１２の周囲にはプロジェクタ２０が設置される。このプロジェクタ２０は、ステレオカメラ１０に内蔵されたものであってもよいし、ステレオカメラ１０とは独立したものであってもよい。プロジェクタ２０は、後述されるように、ベースパターンを台形補正したパターンをスクリーン３０の壁面に投影することで、当該壁面にテストパターンを形成する。
【００４５】
例えば、プロジェクタ２０は、横縞模様のベースパターンを例えば左側を上底とし右側を下底として下底に比して上底が縮んだ台形となるように補正したパターンをスクリーン３０の壁面に投影してもよい。これにより、左カメラ１１用のテストパターンがスクリーン３０の壁面に形成される。この台形の底角は、ステレオカメラ１０の輻輳角が正しく設定されている時に左カメラ１１から撮影したテストパターンがベースパターンと同様の対称性（線対称）を備えるように、ステレオカメラ１０の輻輳角の目標値に基づいて設定される。
【００４６】
図２に例示されるように輻輳角が正しく設定されていない状態で、左カメラ１１がかかるテストパターンを撮影すると、図３Ａに示されるように横縞模様を台形状に歪ませた撮影画像が生成されることになる。故に、この撮影画像に基づいて判定用画像を生成すると、図６に例示されるようにモアレが生じることになる。他方、図４に例示されるように輻輳角が正しく設定されている状態で、左カメラ１１がかかるテストパターンを撮影すると、図５Ａに示されるようにベースパターンと同様（相似）の横縞模様を含んだ撮影画像が生成されることになる。故に、この撮影画像に基づいて判定用画像を生成すると、図７に例示されるようにモアレのない横縞模様が観察できる。
【００４７】
また、プロジェクタ２０は、横縞模様のベースパターンを例えば左側を上底とし右側を下底として上底に比して下底が縮んだ台形となるように補正したパターンをスクリーン３０の壁面に投影してもよい。これにより、右カメラ１２用のテストパターンがスクリーン３０の壁面に形成される。この台形の底角は、ステレオカメラ１０の輻輳角が正しく設定されている時に右カメラ１２から撮影したテストパターンがベースパターンと同様の対称性（線対称）を備えるように、ステレオカメラ１０の輻輳角の目標値に基づいて設定される。
【００４８】
図２に例示されるように輻輳角が正しく設定されていない状態で、右カメラ１２がかかるテストパターンを撮影すると、図３Ｂに示されるように横縞模様を台形状に歪ませた撮影画像が生成されることになる。故に、この撮影画像に基づいて判定用画像を生成すると、図６に例示されるようにモアレが生じることになる。他方、図４に例示されるように輻輳角が正しく設定されている状態で、右カメラ１２がかかるテストパターンを撮影すると、図５Ｂに示されるようにベースパターンと同様（相似）の横縞模様を含んだ撮影画像が生成されることになる。故に、この撮影画像に基づいて判定用画像を生成すると、図７に例示されるようにモアレのない横縞模様が観察できる。
【００４９】
ここで、プロジェクタ２０は、同一のベースパターンに異なる台形補正、すなわち左カメラ１１用の台形補正および右カメラ１２用の台形補正、をそれぞれ施したパターンをスクリーン３０の壁面に順次投影することで、左カメラ１１用のテストパターンと右カメラ１２用のテストパターンとを順次形成してもよい。そして、左カメラ１１および右カメラ１２は、それぞれ対応するパターンを撮影する。これにより、左カメラ１１および右カメラ１２の両方の撮影画像から、ステレオカメラ１０の輻輳角が正しく設定されているか否かを判定することが可能となる。
【００５０】
なお、この調整例では、スクリーン３０の壁面にプロジェクタ２０が映像を投影することでテストパターンが形成されている。しかしながら、テストパターンの形成法はこれに限られない、例えば、スクリーン３０または他の略平面上の壁面を有する支持体にテストパターンの印刷物を貼り付けてもよいし、テストパターンを直接描画してもよい。なお、プロジェクタ２０が映像を投影することは、少なくとも、異なるテストパターン、すなわち左カメラ１１用のテストパターンおよび右カメラ１２用のテストパターン、を容易に切り替えて形成できる点で優れている。
【００５１】
ところで、輻輳角の調整は、左カメラ１１および右カメラ１２の上下軸回りのＹａｗ方向の角度ずれの調整に相当する。一般に、カメラの角度ずれは、Ｙａｗ方向以外にも、カメラの前後軸回りのＲｏｌｌ方向および上下軸回りのＰｉｃｈ方向にも生じ得る。図１４にこれら３方向の関係を例示する。
【００５２】
これら３方向の角度ずれは、Ｙａｗ方向の粗い調整、Ｒｏｌｌ方向の調整、Ｐｉｃｈ方向の調整、そしてＹａｗ方向の調整の順で行われ得る。図８のような、大きさの異なる正方形を同心状に並べた図形を領域毎に色分けした縞模様に相当するベースパターンを利用すれば、１つのテストパターンに基づいて３方向全ての調整を支援することができる。この調整手順を図１６に例示する。
【００５３】
まず、プロジェクタ２０は、図８のような、大きさの異なる正方形を同心状に並べた図形を領域毎に色分けした縞模様に相当するベースパターンを台形補正し、スクリーン３０の壁面に投影する（ステップＳ３０１）。この時点で、左カメラ１１（説明の都合上、左カメラ１１とするが右カメラ１２であってもよい）は、輻輳角、すなわちＹａｗ方向の角度ずれの粗い調整が済んでおり、例えば図１５Ａに示す撮影画像を生成する。この撮影画像には、３方向の角度ずれが混在している。
【００５４】
次に、撮影画像において縦方向の縞が左右対称になるようにＲｏｌｌ方向の角度ずれが調整される（ステップＳ３０２）。このとき、輻輳角調整支援装置１００は、例えば、撮影画像における四角形の中心を通り、当該四角形を左右方向に二分する線分に関して、当該四角形を左右反転して判定用画像を生成してもよい。Ｒｏｌｌ方向の角度ずれが調整されると、左カメラ１１は例えば図１５Ｂに示す撮影画像を生成する。
【００５５】
次に、撮影画像において縦方向の縞が平行になるようにＰｉｃｈ方向の角度ずれが調整される（ステップＳ３０３）。このとき、輻輳角調整支援装置１００は、例えば、撮影画像における四角形の中心を通り、当該四角形を上下方向に二分する線分に関して、この四角形を上下反転して判定用画像を生成してもよい。Ｐｉｃｈ方向の角度ずれが調整されると、左カメラ１１は例えば図１５Ｃに示す撮影画像を生成する。
【００５６】
最後に、撮影画像において横方向の縞が平行になるようにＹａｗ方向の角度ずれ、すなわち輻輳角が調整される（ステップＳ３０４）。このとき、輻輳角調整支援装置１００は、例えば、撮影画像における四角形の中心を通り、当該四角形を左右方向に二分する線分に関して、この四角形を左右反転して判定用画像を生成してもよい。Ｙａｗ方向の角度ずれが調整されると、左カメラ１１は例えば図１５Ｄに示す撮影画像を生成する。
【００５７】
（第２の調整例）  
輻輳角設定前のステレオカメラ１０に含まれる左カメラ１１および右カメラ１２の姿勢を図９に例示する。図９の例では、左カメラ１１および右カメラ１２の輻輳角は０度、すなわち、左カメラ１１の光軸および右カメラ１２の光軸が略平行となるように、左カメラ１１および右カメラ１２は配置されている。
【００５８】
また、左カメラ１１および右カメラ１２の前面には第１の壁面および第２の壁面を備えるテストパターン支持体４０が設置されている。このテストパターン支持体４０は、例えば、２枚の板を角度を付けてつなげたものであってもよいし、柱状または箱状の剛体であってもよい。テストパターン支持体４０の第１の壁面は、ステレオカメラ１０の輻輳角がその目標値に一致した時に左カメラ１１の光軸に垂直な平面に対して略平行となるように設置される。同様に、テストパターン支持体４０の第２の壁面は、ステレオカメラ１０の輻輳角がその目標値に一致した時に右カメラ１２の光軸に垂直な平面に対して略平行となるように設置される。すなわち、第１の壁面および第２の壁面のなす角は、ステレオカメラ１０の輻輳角の目標値を１８０度から減じた角度に一致する。
【００５９】
テストパターン支持体４０の第１の壁面には、左カメラ１１用のテストパターンが、例えば印刷物の貼付により形成される。同様に、テストパターン支持体４０の第２の壁面には、右カメラ１２用のテストパターンが、例えば印刷物の貼付により形成される。ここでは、左カメラ１１用のテストパターンおよび右カメラ１２用のテストパターンのいずれも横縞模様とする。
【００６０】
図９に例示されるように輻輳角が正しく設定されていない状態で、左カメラ１１がかかるテストパターンを撮影すると、図１０Ａに示されるように２つの横縞模様をそれぞれ台形状に歪ませた撮影画像が生成されることになる。他方、図１１に例示されるように輻輳角が正しく設定されている状態で、左カメラ１１がかかるテストパターンを撮影すると、図１２Ａに示されるように、画面左側にテストパターンと同様（相似）の横縞模様を含んだ撮影画像が生成されることになる。故に、この撮影画像から画面左側を注目画像として抽出して判定用画像を生成すると、図７に例示されるようにモアレのない横縞模様が観察できる。
【００６１】
図９に例示されるように輻輳角が正しく設定されていない状態で、右カメラ１２がかかるテストパターンを撮影すると、図１０Ｂに示されるように２つの横縞模様をそれぞれ台形状に歪ませた撮影画像が生成されることになる。他方、図１１に例示されるように輻輳角が正しく設定されている状態で、右カメラ１２がかかるテストパターンを撮影すると、図１２Ｂに示されるように画面右側にテストパターンと同様（相似）の横縞模様を含んだ撮影画像が生成されることになる。故に、この撮影画像から画面右側を注目画像として抽出して判定用画像を生成すると、図７に例示されるようにモアレのない横縞模様が観察できる。
【００６２】
なお、この調整例では、テストパターン支持体４０の壁面に印刷物を貼付することでテストパターンが形成されている。しかしながら、テストパターンの形成法はこれに限られない、例えば、テストパターン支持体４０の第１の壁面および第２の壁面に、プロジェクタにより映像を投影してもよいし、テストパターンを直接描画してもよい。なお、印刷物を貼付することは、少なくとも、例えばステレオカメラ１０がプロジェクタを備えていない場合に、実施形態に係る輻輳角調整支援装置を安価に適用できる（外付けのプロジェクタを用意する必要がない）点で優れている。
【００６３】
第２の調整例においても、第１の調整例において説明したように、ＲｏｌｌおよびＰｉｃｈ方向の角度ずれの調整が、輻輳角、すなわちＹａｗ方向の角度ずれの調整の前後に行われてよい。
【００６４】
次に図１３を用いて、輻輳角調整支援装置１００を用いたステレオカメラ１０の輻輳角の調整手順を説明する。なお、図１３では示されていないものの、図１６を用いて説明したようにＲｏｌｌおよびＰｉｃｈ方向の角度ずれの調整が、輻輳角、すなわちＹａｗ方向の角度ずれの調整の前後に行われてよい。
【００６５】
まず、輻輳角調整の準備段階として、テストパターンが準備される（ステップＳ２０１）とともに、ステレオカメラ１０の姿勢が初期設定される（ステップＳ２０２）。なお、これらのステップは、図１３とは逆の順序で行われてもよいし、並列的に行われてもよい。ステップＳ２０１およびステップＳ２０２の後に、処理はステップＳ２０３へと進む。
【００６６】
例えば、ステップＳ２０１では、ステレオカメラ１０の前面にスクリーン３０が設置され、プロジェクタ２０が当該スクリーン３０にテストパターンを投影し得る。或いは、ステレオカメラ１０の前面に、テストパターンの印刷物が第１の壁面および第２の壁面に貼付されたテストパターン支持体４０が設置され得る。
【００６７】
ステップＳ２０２では、ステレオカメラ１０の駆動機構が左カメラ１１および／または右カメラ１２の姿勢を、指定された輻輳角（すなわち、輻輳角の目標値）に従って設定する。すなわち、ステップＳ２０２では、輻輳角の粗い調整が行われる。そして、ステップＳ２０３乃至ステップＳ２０８のループを通じて、輻輳角の微調整が行われる。
【００６８】
ステップＳ２０３では、左カメラ１１および／または右カメラ１２が、ステップ２０１において準備されたテストパターンを撮影する。なお、左カメラ１１用のテストパターンと右カメラ１２用のテストパターンとをスクリーン３０に順次形成する場合には、ステップＳ２０３が２回に分けて行われ、さらにこれらの間に、スクリーン３０に形成されるテストパターンを切り替えるステップが追加されてよい。
【００６９】
撮影画像取得部１０１は、ステップＳ２０３において生成された、左カメラ１１および／または右カメラ１２の撮影画像を取得する。そして、注目画像抽出部１０２は、左カメラ１１および／または右カメラ１２の撮影画像のうちテストパターンの撮影領域の少なくとも一部を含む注目画像を抽出する（ステップＳ２０４）。なお、撮影画像全体を注目画像として扱う場合には、ステップＳ２０４は省略され得る。
【００７０】
画像回転部１０３は、ステップＳ２０４において抽出された注目画像を回転し、回転画像を生成する（ステップＳ２０５）。なお、画像回転部１０３がどのように注目画像を回転するか、すなわち、どの対称軸で鏡像反転するか、またどこを中心に何度回転するかは、テストパターンまたはベースパターンがどのようなパターンであるのか、特に、どのような対称性を有するかに依存して定められる。
【００７１】
判定用画像生成部１０４は、ステップＳ２０４において抽出された注目画像とステップＳ２０５において生成された回転画像とに基づいて、判定用画像を生成する（ステップＳ２０６）。判定用画像生成部１０４は、両画像を合成してもよいし、両画像の差分画像を抽出してもよい。
【００７２】
ステップＳ２０６において生成された判定用画像は、表示部１０５に表示されてもよいし、モアレ判定部１０６によりモアレが含まれているか否かを判定されてもよい。ステップＳ２０６において生成された判定用画像に基づいて、ステレオカメラの輻輳角が正しく設定されているか否かが、ユーザの目視により判定され、または自動判定される（ステップＳ２０７）。
【００７３】
ステレオカメラの輻輳角が正しく設定されていない場合には、ユーザの操作により、または自動的に、駆動機構が左カメラ１１および／または右カメラの姿勢を変更する（ステップＳ２０８）。ステップＳ２０８の後に、処理はステップＳ２０３へと戻る。
【００７４】
以上説明したように、実施形態に係る輻輳角調整支援装置は、ステレオカメラの輻輳角が正しく設定された時に、線対称または回転対称のパターンが撮影できるようにテストパターンをステレオカメラ前面の壁面に形成し、ステレオカメラの撮影画像の少なくとも一部である注目画像と、当該注目画像の回転画像とを合成または差分抽出して判定用画像を生成する。故に、この輻輳角調整支援装置によれば、判定用画像に表れる注目画像および回転画像の類似性に基づいて、ステレオカメラの輻輳角が正しく設定されているか否かをユーザの目視により判定、または自動判定することが可能となる。すなわち、ステレオカメラの輻輳角の調整を省力化し、短時間で終えることが可能となる。
【００７５】
上述の実施形態は、本発明の概念の理解を助けるための具体例を示しているに過ぎず、本発明の範囲を限定することを意図されていない。実施形態は、本発明の要旨を逸脱しない範囲で、様々な構成要素の付加、削除または転換をすることができる。
【００７６】
上記各実施形態において説明された種々の機能部は、回路を用いることで実現されてもよい。回路は、特定の機能を実現する専用回路であってもよいし、プロセッサのような汎用回路であってもよい。
【００７７】
上記各実施形態の処理の少なくとも一部は、汎用のコンピュータを基本ハードウェアとして用いることでも実現可能である。上記処理を実現するプログラムは、コンピュータで読み取り可能な記録媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記録媒体に記憶される。記録媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなどである。記録媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。
【符号の説明】
【００７８】
１０・・・ステレオカメラ
１１・・・左カメラ
１２・・・右カメラ
２０・・・プロジェクタ
３０・・・スクリーン
４０・・・テストパターン支持体
１００・・・輻輳角調整支援装置
１０１・・・撮影画像取得部
１０２・・・注目画像抽出部
１０３・・・画像回転部
１０４・・・判定用画像生成部
１０５・・・表示部
１０６・・・モアレ判定部
【図１】
2019128223.tif 000003
【図２】
2019128223.tif 000004
【図３Ａ】
2019128223.tif 000005
【図３Ｂ】
2019128223.tif 000006
【図４】
2019128223.tif 000007
【図５Ａ】
2019128223.tif 000008
【図５Ｂ】
2019128223.tif 000009
【図６】
2019128223.tif 000010
【図７】
2019128223.tif 000011
【図８】
2019128223.tif 000012
【図９】
2019128223.tif 000013
【図１０Ａ】
2019128223.tif 000014
【図１０Ｂ】
2019128223.tif 000015
【図１１】
2019128223.tif 000016
【図１２Ａ】
2019128223.tif 000017
【図１２Ｂ】
2019128223.tif 000018
【図１３】
2019128223.tif 000019
【図１４】
2019128223.tif 000020
【図１５Ａ】
2019128223.tif 000021
【図１５Ｂ】
2019128223.tif 000022
【図１５Ｃ】
2019128223.tif 000023
【図１５Ｄ】
2019128223.tif 000024
【図１６】
2019128223.tif 000025