(57)【要約】【課題】立体画像取得装置および制御装置を含む立体画像取得システムを提供する。【解決手段】立体画像取得装置は、第１視差設定で少なくとも二枚の画像を取得して制御装置に送信する。制御装置は、少なくとも二枚の画像の視差を取得し、少なくとも二枚の画像の視差が予め定められた視差範囲内にあるかを判断し、予め定められた視差範囲内にない場合、制御装置が立体画像取得装置の第１視差設定を第２視差設定に変換し、第２視差設定を立体画像取得装置に送信する。さらに立体画像取得方法を提供する。本発明によれば、合理的な視差効果が得られるために、自動的に少なくとも二枚の画像の視差を取得し、立体画像取得装置の視差設定を変換することができることで、撮影者が撮影の初期においてよい立体画像を比較的容易に取得し、撮影の効果及び効率を向上させる。【選択図】図５
2014501086.tif 000002
【特許請求の範囲】
【請求項１】
立体画像取得方法において、
立体画像取得装置は、第１視差設定で少なくとも二枚の画像を取得して制御装置に送信することと、
制御装置は、上記少なくとも二枚の画像の視差を取得し、上記少なくとも二枚の画像の視差が予め定められた視差範囲内にあるかを判断することと、
予め定められた視差範囲内にない場合、制御装置は、上記立体画像取得装置の第１視差設定を第２視差設定に変換し、第２視差設定を立体画像取得装置に送信することとを含むことを特徴とする。
【請求項２】
立体画像取得装置は、上記第２視差設定に基づいて少なくとも二枚の画像を取得して制御装置に送信することをさらに含むことを特徴とする請求項１に記載の立体画像取得方法。
【請求項３】
上記制御装置が上記立体画像取得装置の第１視差設定を第２視差設定に変換し、第２視差設定を立体画像取得装置に送信することは、
制御装置が上記立体画像取得装置の第１視差設定を第２視差設定に変換することと、
第２視差設定を制御信号の方式で立体画像取得装置に送信することとを含むことを特徴とする請求項１に記載の立体画像取得方法。
【請求項４】
上記立体画像取得装置が第１視差設定で少なくとも二枚の画像を取得して制御装置に送信する前に、
上記制御装置は、少なくとも二枚の画像の視差範囲を予め定めることを含むことを特徴とする請求項１に記載の立体画像取得方法。
【請求項５】
上記制御装置は、両眼立体整合または多眼立体整合によって少なくとも二枚の画像の視差を取得することを特徴とする請求項１〜４のいずれか一項に記載の立体画像取得方法。
【請求項６】
上記少なくとも二枚の画像の視差が予め定められた視差範囲内にある場合、制御装置は、上記少なくとも二枚の画像を立体モニタに送信することを特徴とする請求項１に記載の立体画像取得方法。
【請求項７】
立体画像取得装置の視差設定を調整するための制御装置において、
立体画像取得装置が第１視差設定で取得した少なくとも二枚の画像の視差を取得するための視差取得モジュールと、
上記少なくとも二枚の画像の視差が予め定められた視差範囲内にあるかを判断し、予め定められた視差範囲内にない場合、上記立体画像取得装置の第１視差設定を第２視差設定に変換し、上記第２視差設定を立体画像取得装置に送信するための視差変換モジュールとを含むことを特徴とする。
【請求項８】
上記第２視差設定が制御信号の方式で立体画像取得装置に送信されることを特徴とする請求項７に記載の制御装置。
【請求項９】
予め定められた視差範囲を記憶するための記憶モジュールをさらに含むことを特徴とする請求項７に記載の制御装置。
【請求項１０】
上記視差取得モジュールは、両眼立体整合または多眼立体整合によって少なくとも二枚の画像の視差を取得することを特徴とする請求項７〜９のいずれか一項に記載の制御装置。
【請求項１１】
少なくとも二枚の画像を取得するための立体結像モジュールを含む立体画像取得装置において、
立体結像モジュールが第１視差設定で取得した上記少なくとも二枚の画像の視差を取得するための視差取得モジュールと、
上記少なくとも二枚の画像の視差が予め定められた視差範囲内にあるかを判断し、予め定められた視差範囲内にない場合、上記立体結像モジュールの第１視差設定を第２視差設定に変換し、上記第２視差設定を立体結像モジュールに送信するための視差変換モジュールとを含むことを特徴とする。
【請求項１２】
立体結像モジュールが取得した少なくとも二枚の画像を表示するための立体表示モジュールをさらに含むことを特徴とする請求項１１に記載の立体画像取得装置。
【請求項１３】
第２視差設定を受信し、第２視差設定に基づいて、立体結像モジュールによる少なくとも二枚の画像の取得を制御するための立体結像サーボ回路をさらに含むことを特徴とする請求項１１または１２に記載の立体画像取得装置。
【請求項１４】
上記第２視差設定が制御信号の方式で立体結像サーボ回路に送信されることを特徴とする請求項１１または１２に記載の立体画像取得装置。
【請求項１５】
立体画像取得装置および制御装置を含む立体画像取得システムにおいて、
上記立体画像取得装置は、第１視差設定で少なくとも二枚の画像を取得して制御装置に送信し、
上記制御装置は、上記少なくとも二枚の画像の視差を取得し、上記少なくとも二枚の画像の視差が予め定められた視差範囲内にあるかを判断し、予め定められた視差範囲内にない場合、制御装置が上記立体画像取得装置の第１視差設定を第２視差設定に変換し、第２視差設定を立体画像取得装置に送信することを特徴とする。
【請求項１６】
上記立体画像取得装置は、第２視差設定に基づいて少なくとも二枚の画像を取得して制御装置に送信することを特徴とする請求項１５に記載の立体画像取得システム。
【請求項１７】
立体画像取得装置が取得した少なくとも二枚の画像を表示するための立体モニタをさらに含むことを特徴とする請求項１５または１６に記載の立体画像取得システム。
【請求項１８】
上記立体画像取得装置は、映像インタフェースと、映像インタフェースに接続される立体結像モジュールと、制御装置および立体結像モジュールに接続される立体結像サーボ回路とを含み、
上記立体結像モジュールは、少なくとも二枚の画像を取得し、上記少なくとも二枚の画像を映像インタフェースを介して制御装置に送信し、
上記立体結像サーボ回路は、第２視差設定を受信し、第２視差設定に基づいて立体結像モジュールを制御することを特徴とする請求項１７に記載の立体画像取得システム。
【請求項１９】
上記第２視差設定が制御信号の方式で立体結像サーボ回路に送信されることを特徴とする請求項１７に記載の立体画像取得システム。
【請求項２０】
立体結像サーボ回路は、制御インタフェースと、復号回路と、結像制御モジュールとを含み、
上記制御インタフェースが、制御装置に接続され、制御装置から送信される制御信号を受信し、
上記復号回路が、制御インタフェースに接続され、制御信号の復号を行ない、復号後の制御信号を結像制御モジュールに送信し、
上記結像制御モジュールは、復号後の制御信号に基づいて、立体結像モジュールによる少なくとも二枚の画像の取得を制御することを特徴とする請求項１９に記載の立体画像取得システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像取得システム及び方法に係り、特に立体画像取得システム及び方法に係る。
【背景技術】
【０００２】
人間は、右目と左目で見た物体の些細な差異によって物体の奥行きを感知し、それにより立体画像を識別するが、このような差異が視差と称される。立体表示技術は、人為的な手段で人の左目と右目の視差を生じさせ、視差を有する二枚の画像（立体画像とも言われる）を左目、右目にそれぞれ送ることである。それにより、脳は、左目と右目が異なる二枚の画像を見たことを取得した後に、真実の三次元物体を見ているような感覚を生じる。
【０００３】
立体表示技術の迅速な発展につれて、立体画像取得システムがますます多くの人に注目され、研究し始められている。例えば、立体映像撮影システムにおいて、ハリウッド立体映画の莫大な興行成績により、立体映画撮影・製作の新しいブームを引き起こしている。
【０００４】
立体画像取得システムのハードウェア自身の制限から、立体画像取得中において、従来の立体画像取得システムは、多くの手動による校正作業が必要となり、しかも繰り返された試みによって合理的な状態になれる。したがって、多くの場合には、取得された立体画像の視差が不合理であり、立体画像の視差が不合理になると、鑑賞者の気分を悪くさせることを引き起こしやすい。視差が不合理となる場合、後期において校正が必要となり、または取得が必要となる。従来の立体画像取得方法において、立体モニタを通じて立体撮影効果をリアルタイムでモニタリングするのが一般的であり、立体モニタにおける撮影された立体画像とスクリーン上の立体画像との効果の間に差異があり、またはカメラ位置が不合理であることを発見した場合、経験に基づいて手動で調整する必要がある。監督とカメラマンに多くの制限を与えている。
【０００５】
したがって、従来の立体画像取得システムの問題は、合理的な視差設定を取得できるには立体画像取得装置を人によりに制御することが必要となるから、取得効果及び効率を低下させたことにある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、立体画像取得システム及び方法、制御装置、および立体画像取得装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
立体画像取得方法において、立体画像取得装置は、第１視差設定で少なくとも二枚の画像を取得して制御装置に送信することと、制御装置は、少なくとも二枚の画像の視差を取得し、少なくとも二枚の画像の視差が予め定められた視差範囲内にあるかを判断することと、予め定められた視差範囲内にない場合、制御装置は、立体画像取得装置の第１視差設定を第２視差設定に変換し、第２視差設定を立体画像取得装置に送信することとを含む。
【０００８】
さらに、上記立体画像取得方法において、立体画像取得装置が第２視差設定に基づいて少なくとも二枚の画像を取得して制御装置に送信することを含む。
【０００９】
さらに、上記制御装置が上記立体画像取得装置の第１視差設定を第２視差設定に変換し、第２視差設定を立体画像取得装置に送信することは、制御装置が立体画像取得装置の第１視差設定を第２視差設定に変換することと、第２視差設定を制御信号の方式で立体画像取得装置に送信することとを含む。
【００１０】
さらに、上記立体画像取得装置が第１視差設定で少なくとも二枚の画像を取得して制御装置に送信する前に、制御装置が少なくとも二枚の画像の視差範囲を予め定めることを含む。
【００１１】
さらに、上記制御装置は、両眼立体整合または多眼立体整合によって少なくとも二枚の画像の視差を取得する。
【００１２】
さらに、上記少なくとも二枚の画像の視差が予め定められた視差範囲内にある場合、制御装置は、少なくとも二枚の画像を立体モニタに送信する。
【００１３】
立体画像取得装置の視差設定を調整するための制御装置において、立体画像取得装置が第１視差設定で取得した少なくとも二枚の画像の視差を取得するための視差取得モジュールと、少なくとも二枚の画像の視差が予め定められた視差範囲内にあるかを判断し、予め定められた視差範囲内にない場合、立体画像取得装置の第１視差設定を第２視差設定に変換し、第２視差設定を立体画像取得装置に送信するための視差変換モジュールとを含む。
【００１４】
さらに、上記第２視差設定が制御信号の方式で立体画像取得装置に送信される。
【００１５】
さらに、上記制御装置は、予め定められた視差範囲を記憶するための記憶モジュールを含む。
【００１６】
さらに、上記視差取得モジュールは、両眼立体整合または多眼立体整合によって少なくとも二枚の画像の視差を取得する。
【００１７】
少なくとも二枚の画像を取得するための立体結像モジュールと、立体結像モジュールが第１視差設定で取得した少なくとも二枚の画像の視差を取得するための視差取得モジュールと、少なくとも二枚の画像の視差が予め定められた視差範囲内にあるか判断し、予め定められた視差範囲内にない場合、立体結像モジュールの第１視差設定を第２視差設定に変換し、第２視差設定を立体結像モジュールに送信するための視差変換モジュールとを含む立体画像取得装置。
【００１８】
さらに、上記立体画像取得装置は、立体結像モジュールが取得した少なくとも二枚の画像を表示するための立体表示モジュールを含む。
【００１９】
さらに、上記立体画像取得装置は、第２視差設定を受信し、第２視差設定に基づいて、立体結像モジュールによる少なくとも二枚の画像の取得を制御するための立体結像サーボ回路を含む。
【００２０】
さらに、上記第２視差設定が制御信号の方式で立体結像サーボ回路に送信される。
【００２１】
立体画像取得システムにおいて、立体画像取得装置および制御装置を含む。立体画像取得装置は、第１視差設定で少なくとも二枚の画像を取得して制御装置に送信する。制御装置は、少なくとも二枚の画像の視差を取得し、少なくとも二枚の画像の視差が予め定められた視差範囲内にあるかを判断し、予め定められた視差範囲内にない場合、制御装置は、立体画像取得装置の第１視差設定を第２視差設定に変換し、第２視差設定を立体画像取得装置に送信する。
【００２２】
さらに、上記立体画像取得装置は、第２視差設定に基づいて少なくとも二枚の画像を取得して制御装置に送信する。
【００２３】
さらに、上記立体画像取得システムは、立体画像取得装置が取得した少なくとも二枚の画像を表示するための立体モニタを含む。
【００２４】
さらに、上記立体画像取得装置は、映像インタフェースと、映像インタフェースに接続される立体結像モジュールと、制御装置および立体結像モジュールに接続される立体結像サーボ回路とを含む。立体結像モジュールは、少なくとも二枚の画像を取得し、少なくとも二枚の画像を映像インタフェースを介して制御装置に送信する。立体結像サーボ回路は、第２視差設定を受信し、第２視差設定に基づいて立体結像モジュールを制御する。
【００２５】
さらに、上記第２視差設定が制御信号の方式で立体結像サーボ回路に送信される。
【００２６】
さらに、上記立体結像サーボ回路は、制御インタフェースと、復号回路と、結像制御モジュールとを含む。制御インタフェースは、制御装置に接続され、制御装置から送信される制御信号を受信する。復号回路が、制御インタフェースに接続され、制御信号の復号を行ない、復号後の制御信号を結像制御モジュールに送信する。結像制御モジュールは、復号後の制御信号に基づいて、立体結像モジュールによる少なくとも二枚の画像の取得を制御する。
【発明の効果】
【００２７】
本発明によれば、合理的な視差効果を取得するために、少なくとも二枚の画像の視差を自動的に取得して校正することができることで、撮影者が撮影の初期においてよい立体画像を比較的容易に得ることができ、撮影の効果及び効率を向上させる。
【図面の簡単な説明】
【００２８】
【図１】両眼立体映像撮影の原理図である。
【図２】本発明の立体画像取得システムの一実施例の構成の模示図である。
【図３】本発明において立体画像取得装置の第１視差設定を第２視差設定に変換することを示す模示図である。
【図４】本発明の制御装置の一実施例の構成の模示図である。
【図５】本発明の制御装置の別の実施例の構成の模示図である。
【図６】本発明の立体画像取得装置の一実施例の構成の模示図である。
【図７】本発明の立体画像取得装置の別の実施例の構成の模示図である。
【図８】立体画像取得方法の一実施例のフローを示す図である。
【発明を実施するための形態】
【００２９】
以下、図面と実施例を合わせて本発明について詳細な説明をする。  
本発明の立体画像取得システム及び方法は、両眼立体映像撮影方式に適用できるのみならず、多眼立体映像撮影方式にも適用する。両眼立体映像撮影方式では、視差を有する二枚の画像を撮影できるが、多眼立体映像撮影方式では、視差を有する複数枚の画像を撮影できる。本発明は、主に両眼立体映像撮影方式を以って説明する。当業者は、両眼立体映像撮影方式に基づき、多眼立体映像撮影方式に応用することができる。立体画像取得装置は、水平設置方式または集束設置方式を採用して撮影することができる。本発明において、まず立体画像取得装置が取得した少なくとも二枚の画像の視差範囲を予め定める。その後の撮影工程において、立体画像取得装置が取得した少なくとも二枚の画像の視差が合理的なものであるかを、該予め定められた視差範囲に基づいて判断する。該視差範囲が、実際状況に応じて設定可能である。立体画像取得装置が取得した画像の視差は、予め定められた視差範囲にない場合、不合理であることを示す。このとき、立体画像取得装置の視差設定を校正する必要がある。該視差設定は、視差設定パラメータであってもよいし、視差設定信号であってもよい。
【００３０】
図１は、両眼立体映像撮影の原理図である。両眼立体映像撮影において、角度ａと水平離隔距離ｄは、立体画像取得装置が画像を取得するときの視差設定である。図１の右側図面に示すように、立体画像取得装置が水平に設置されているとき、水平離隔距離ｄのみに関連し、このとき角度ａが０である。図１の左側図面に示すように、立体画像取得装置が集束設置であるとき、角度ａと水平離隔距離ｄの両方に関連する。集束設置方式で本発明の実施例を説明する。
【００３１】
図２は、本発明の立体画像取得システムの一実施例の構成の模示図である。
本発明の立体画像取得システムは、立体モニタ２０と、立体画像取得装置２２と、立体モニタ２０および立体画像取得装置２２に接続される制御装置２１とを含む。本実施例において、立体画像取得装置２２と制御装置２１とが、映像採集線と制御線で接続されてよく、制御装置２１と立体モニタ２０とが、映像表示線で接続されてよい。映像採集線と映像表示線が、少なくとも二枚の視差を有する画像の伝送に用いられることができ、制御線は、制御信号の方式で送信される視差設定に用いることができる。立体画像取得装置２２は、立体カメラ、立体撮影機、または立体撮像機である。映像採集線は、ＵＳＢであってよく、制御線は、ＵＳＢ線かＩＥＥＥ  １３９４バスであり、映像表示線は、ＨＤＭＩ（登録商標）線かＤＶＩ線であり、映像および音声信号を同時に伝送できればよい。
【００３２】
立体モニタ２０は、裸眼立体モニタか眼鏡式立体モニタであり、立体画像取得装置２２が取得した画像を表示する。
【００３３】
立体画像取得装置２２は、第１視差設定で少なくとも二枚の画像を取得して制御装置２１に送信する。レンズの数から言うと、立体画像取得装置２２は、多レンズ立体画像取得装置か、両レンズ立体画像取得装置である。これに対応して立体画像取得装置２２が取得する画像は、視差を有する少なくとも二枚の画像か、視差を有する複数枚の画像である。立体画像取得装置２２は、立体撮像機、立体撮影機、または立体カメラなどの立体画像取得機能付きの装置である。
【００３４】
制御装置２１は、少なくとも二枚の画像の視差を取得し、該少なくとも二枚の画像の視差が予め定められた視差範囲内にあるかを判断し、予め定められた視差範囲内にある場合、少なくとも二枚の画像を立体モニタ２０に送信し、予め定められた視差範囲内にない場合、立体画像取得装置２２の第１視差設定を第２視差設定に変換し、第２視差設定を立体画像取得装置２２に送信する。立体画像取得装置２２は、さらに第２視差設定に基づいて少なくとも二枚の画像を取得して制御装置２１に送信する。本発明において、該予め定められた視差範囲が、予め制御装置２１に記憶される。視差範囲は、水平離隔距離の範囲および／または角度の範囲を含んでよい。第１視差設定のパラメータが、第２視差設定のパラメータより大きい可能性もあるし、第２視差設定のパラメータより小さい可能性もある。該予め定められた視差範囲は、連続的な数値範囲であってもよいし、離散した数値範囲であってもよい。たとえば、水平離隔距離ｄの予め定められた範囲が、５１ｍｍ〜６５ｍｍの任意の数値に設定されてもよく、またはｄが５１ｍｍ〜６５ｍｍの整数値に等しい。これに対応して、角度ａの予め定められた範囲は、連続的な数値範囲であってもよいし、離散した数値範囲であってもよい。
【００３５】
図３は、本発明における立体画像取得装置２２の第１視差設定を第２視差設定に変換することを示す模示図である。図３において、左側の図面は、制御装置２１が取得した画像の視差であり、それぞれｄ、ａである。対応する立体画像取得装置２２の第１視差設定も対応的にｄ、ａである。予め定められた視差範囲に比較し、第１視差設定ｄとａはともに予め定められた視差範囲の最大値より大きければ、立体画像取得装置２２の視差設定ｄ、ａをそれぞれ第２視差設定ｄ１、ａ１に変換し（図３の真中の図面を参照する）、このように取得した画像が対応的にｄ１、ａ１になる。逆に、第１視差設定ｄとａはともに予め定められた視差範囲の最小値より小さければ、立体画像取得装置２２の第１視差設定ｄ、ａをそれぞれ第２視差設定ｄ２、ａ２に変換し（図３の右側の図面を参照する）、このように取得した画像の視差が対応的にｄ２、ａ２になる。
【００３６】
図４は、本発明の制御装置２１の一実施例の構成の模示図である。
本実施例において、制御装置２１は、例えばパソコンなどの計算能力を有するデータ処理装置である。制御装置は、プロセッサ３０２、ＲＡＭ３０４、ＲＯＭ３０６、通信インタフェース３０８、入出力インタフェース３１０および駆動ユニット３１２を含んでよい。本実施例における制御装置２１は、実際の状況に応じてその他の素子を追加し、または上記素子を削除することもでき、本発明により提起される技術問題を解決でき、所望の技術効果を達成することができればよい。
【００３７】
プロセッサ３０２は、中央処理ユニット（Central  Processing  Unit，ＣＰＵ）、グラフィック処理ユニット（Graphic  Processing  Unit，ＧＰＵ）、通常のマイクロプロセッサ、デジタル信号プロセッサ（Digital  Signal  Processor，ＤＳＰ）、マイクロコントローラ、または専用集積回路（Application  Specific  Integrated  Circuit，ＡＳＩＣ）である。プロセッサ３０２は、一連のコンピュータプログラム指令を実行可能である。コンピュータプログラム指令は、ＲＯＭ３０６からＲＡＭ３０４にロードされ、プロセッサ３０２に実行される。通信インタフェース３０８に提供される通信接続により、制御装置２１に遠隔地からアクセスできる。制御装置２１は、通信インタフェース３０８を経由してコンピュータネットワークまたは通信ネットワークに接続して他のシステムに接続できる。入出力インタフェース３１０は、ユーザが入力した情報を受信でき、または関連情報をユーザに提供できる。例えば入出力インタフェース３１０はリモートコントローラ、キーボード、マウス、タッチボード、音声通信装置またはその他の光学か無線入力デバイスなどの各種類の表示デバイスである。駆動ユニット３１２は、各種類の駆動回路であり、異なる装置を駆動する。
【００３８】
さらに、図５は、本発明の制御装置２１の別の実施例の構成の模示図である。制御装置２１が立体画像取得装置２２の視差設定を調整するために用いられる。制御装置２１は、記憶モジュール２１０、視差取得モジュール２１１、および視差変換モジュール２１２を含む。
【００３９】
記憶モジュール２１０は、予め定められた視差範囲を記憶する。予め定められた視差範囲は、水平離隔距離の範囲および／または角度の範囲を含んでよい。第１視差設定のパラメータが、第２視差設定のパラメータより大きい可能性もあるし、第２視差設定のパラメータより小さい可能性もある。該予め定められた視差範囲は、連続的な数値範囲であってもよいし、離散した数値範囲であってもよい。たとえば、水平離隔距離ｄの予め定められた範囲が、５１ｍｍ〜６５ｍｍの任意の数値に設定されてもよく、またはｄが５１ｍｍ〜６５ｍｍの整数値に等しい。これに対応して角度ａの予め定められた範囲は、連続的な数値範囲であってもよいし、離散した数値範囲であってもよい。
【００４０】
視差取得モジュール２１１は、立体画像取得装置２２が第１視差設定で取得した少なくとも二枚の画像の視差を取得する。視差変換モジュール２１２は、少なくとも二枚の画像の視差が予め定められた視差範囲内にあるかを判断し、予め定められた視差範囲内にある場合、上記少なくとも二枚の画像を立体モニタ２０に送信して表示する。予め定められた視差範囲内にない場合、立体画像取得装置２２の第１視差設定を第２視差設定に変換し、第２視差設定を立体画像取得装置２２に送信する。第２視差設定が制御信号の方式で立体画像取得装置２２に送信される。本発明の視差設定は、視差設定パラメータまたは視差設定信号である。
【００４１】
視差取得モジュール２１１は、両眼立体整合または多眼立体整合によって少なくとも二枚の画像の視差を取得できる。本発明の実施例における両眼立体整合は、領域に基づく両眼立体整合と特徴に基づく両眼立体整合を含み、多眼立体整合は、水平多眼立体整合、直交三眼立体整合、任意配列の三眼立体整合および直交多眼立体整合を含む。視差は、相対的視差であってもよいし、絶対的視差であってもよい。視差取得モジュール２１１が相対的視差を取得した後に、相対的視差を絶対的視差に変換してもよい。
【００４２】
視差取得モジュール２１１は、領域に基づく両眼立体整合で視差を取得する場合、まず立体画像取得装置２２が取得した画像のうちの一枚の画像（例えば左側図面）において、実際な物理構造に対応する画像特徴を選択し、それから、別の画像（例えば右側図面）において、同一物理構造に対応する画像特徴を特定し、最後に、二枚の画像の同一画像特徴間の相対的な位置を特定して、相対的な視差を取得する。
【００４３】
視差取得モジュール２１１は、領域に基づく多眼立体整合で視差を取得する場合、局部ウィンドウ整合方法を採用して、画像の色情報（階調情報）に基づいて、ウィンドウ領域の類似度を利用して整合し、適応的画素特異測定（self-adapting  dissimilarity  measure）を用いて類似度測定関数とすることができる。適応的画素特異測定は、絶対誤差和（ＳＡＤ）と絶対勾配差分の二つの要素を合わせており、高いロバスト性を有する。適応的画素特異測定関数が下記のように定義される。
2014501086.tif 000003
ただし、
2014501086.tif 000004
ただし、Ｎ（ｘ，ｙ）は、整合点（ｘ，ｙ）を中心画素とする５×５ウィンドウであり、
2014501086.tif 000005
は、画像勾配の水平成分であり、
2014501086.tif 000006
は、画像勾配の垂直成分であり、
2014501086.tif 000007
は、重みである。
【００４４】
それから、双方向整合を用いて誤整合点を除去する。具体的に下記のとおりである。
整合工程中に整合の精度を高めるために、本発明において、双方向整合ポリシーを採用する。例えばまず左画像を参考画像、右画像を目的画像とし、左から右へ整合することにより左から右への視差場を得る。次に右画像を参考画像、左画像を目的画像とし、右から左へ整合することにより右から左への視差場を得る。左から右への整合と右から左への整合とがいずれも同一シーンの物体に対して整合するため、非遮蔽領域の対応画素の視差は、正負の相違を有するのみであり、視差値が等しい。二枚の視差図に一致しない箇所が遮蔽などにより引き起こされる誤整合である。誤整合を除去するために、左から右への視差図をｄLR、右から左への視差図をｄRLと設定し、左図面上の画素（ｘL，ｙ）と右図面上の画素（ｘR，ｙ）とはペアとなる整合点であり、該画素点の左右視差図における視差値は、それぞれｄLR（ｘL，ｙ）、ｄRL（ｘR，ｙ）となる。本実施例において立体整合が行われた画像には水平視差しか存在せず、下記式で誤整合点を除去することができる。
2014501086.tif 000008
【００４５】
ただし、ｘR＝ｘL＋ｄLR（ｘL，ｙ）。二枚の視差図における対応点の視差誤差が式
2014501086.tif 000009
（λ：許容の視差誤差閾値）を満する場合、対応点の視差整合が正しいことを示す。視差誤差が式
2014501086.tif 000010
を満足しない場合、該点が誤整合点であることを示し、該点の視差値を０とする。
【００４６】
続いて、視差図の融合を行う。具体的に以下のとおりである。
以上二つの工程により、二枚の互いに独立する視差図を得た。ただし、すべての誤整合点に０と与えられ、視差情報がない。続いて視差画像を融合する方法で、０とする画素点の視差情報を補充する。融合方式は以下のとおりである。
2014501086.tif 000011
【００４７】
ただし、Ｉ（ｘ，ｙ）は、最終的に合成された参考画像視差図であり、ＩLI（ｘ，ｙ）、ＩRI（ｘ，ｙ）は、それぞれ参考画像とその近隣の左右二枚の画像との整合により得られた視差図である。
2014501086.tif 000012
は、閾値であり、ｔは、カメラの外部パラメータ行列におけるシフトベクトルである。
【００４８】
最後に、視差図の最適化を行う。具体的に以下のとおりである。
上記の局部ウィンドウ整合により得られた初期視差図には依然として多くの空白値（outlier）が存在する。したがって、それに対して最適化を行う必要がある。本発明は、参考画像における各色分割領域内の視差値が等しいと仮定し、各分割領域に対して、対応する視差を与える。言い換えれば、分割領域内の全ての画素の中間視差値を全分割領域の視差とし、数学的に下記式のように表される。
2014501086.tif 000013
【００４９】
上記工程を経て、各画素の視差値を得ることができ、さらに、該各画素の視差値から高品質で高密度の視差図を得ることができる。
【００５０】
図６は、本発明の立体画像取得装置２２の一実施例の構成の模示図である。
立体画像取得装置２２は、映像インタフェース２２０と、立体結像モジュール２２１と、立体結像サーボ回路２２３とを含む。立体結像モジュール２２１は、映像インタフェース２２０に接続し、少なくとも二枚の画像を取得し、該少なくとも二枚の画像を映像インタフェース２２０を介して制御装置２１に送信する。立体結像サーボ回路２２３は、制御装置２１および立体結像モジュール２２１に接続し、第２視差設定を受信し、第２視差設定に基づいて立体結像モジュール２２１を制御する。本実施例において、映像インタフェース２２０は、映像採集線を介して制御装置２１に接続する。第２視差設定が制御信号の方式で立体結像サーボ回路２２３に送信される。
【００５１】
立体結像サーボ回路２２３は、制御インタフェース２２３０と、復号回路２２３１と、結像制御モジュール２２３２とを含む。
【００５２】
制御インタフェース２２３０は、ＵＳＢインタフェースであっても良いし、ＩＥＥＥ  １３９４インタフェースであってもよい。
【００５３】
制御インタフェース２２３０は、制御装置２１に接続し、制御装置２１から送信された制御信号を受信する。
【００５４】
復号回路２２３１は、制御インタフェース２２３０に接続し、制御信号の復号を行ない、復号後の制御信号を結像制御モジュール２２３２に送信する。
【００５５】
結像制御モジュール２２３２は、復号回路２２３１に接続し、復号後の制御信号に基づいて、立体結像モジュール２２１による少なくとも二枚の画像の取得を制御する。本発明において、結像制御モジュール２２３２と復号回路とは、Ｉ２Ｃバス、ＵＡＲＴバス、またはＲＳ２３２バスで接続される。復号回路２２３１は、ＵＳＢ信号またはＩＥＥＥ  １３９４信号を、Ｉ２Ｃ信号、ＵＡＲＴ信号、またはＲＳ２３２信号に変換して結像制御モジュール２２３２に送信する。該Ｉ２Ｃ信号、ＵＡＲＴ信号、またはＲＳ２３２信号は、視差設定の具体的なパラメータ値を含む。
【００５６】
本発明の立体画像取得システムの動作原理は、以下のとおりである。
制御装置２１は、立体画像取得装置２２が取得した少なくとも二枚の画像を映像表示線を介して受信して、視差取得モジュール２１１を通じて少なくとも二枚の画像の視差を取得し、少なくとも二枚の画像の視差を視差変換モジュール２１２に送信する。視差変換モジュール２１２は、記憶モジュール２１０に記憶される予め定められた視差範囲に基づいて、上記少なくとも二枚の画像の視差が予め定められた視差範囲内にあるかを判断する。予め定められた視差範囲内にある場合、上記少なくとも二枚の画像を直接立体モニタ２０に送信して表示する。予め定められる視差範囲内にない場合、立体画像取得装置２２の第１視差設定を第２視差設定に変換し、第２視差設定を制御信号の方式で制御線を介して制御インタフェース２２３０に送信する。制御インタフェース２２３０は、該制御信号を復号回路２２３１に送信する。復号回路２２３１は、制御信号の復号を行ない、復号後の制御信号を結像制御モジュール２２３２に送信する。結像制御モジュール２２３２は、該制御信号の制御により、立体結像モジュール２２１の第２視差設定に基づく少なくとも二枚の画像の取得を制御する。
【００５７】
本実施例における立体画像取得システムは、制御装置２１の視差取得モジュール２１１及び視差変換モジュール２１２を通じて、視差の取得および視差設定の変換を自動的に行い、立体画像取得装置２２に設置される結像制御モジュール２２３２、制御インタフェース２２３０および復号回路２２３１と合わせて、視差変換モジュール２１２から送信される制御信号を受信し、該制御信号に基づいて、立体結像モジュール２２１による少なくとも二枚の画像の取得を制御し、最終的に視差の自動取得及び視差自動変換を実現する。したがって、本実施例における立体画像取得システムは、従来の立体映像撮影システムに比較して、取得した立体映像画像にはより合理的な視差を有し、撮影者が撮影初期においてよい立体画像を比較的に容易に取得でき、後期の撮り直しまたは視差調整を行う必要がないため、撮影効率及び撮影の効果を向上させる。
【００５８】
図７は、本発明の立体画像取得装置２２の別の実施例の構成の模示図である。
本実施例において、立体画像取得装置２２には制御装置２１および立体モニタ２０が集積されており、すなわち、立体画像取得装置２２自身が少なくとも二枚の画像の視差の取得、視差設定の変換、および立体表示などの機能を有する。具体的に、立体画像取得装置２２は、立体表示モジュール２００、記憶モジュール２１０、視差取得モジュール２１１、視差変換モジュール２１２、立体結像モジュール２２１、および立体結像サーボ回路２２３を含む。
【００５９】
立体結像モジュール２２１は、少なくとも二枚の画像を取得する。立体表示モジュール２００は、立体結像モジュール２２１が取得した少なくとも二枚の画像を表示する。記憶モジュール２１０は、視差変換モジュール２１２に接続し、予め定められた視差範囲を記憶する。視差取得モジュール２１１は、立体結像モジュール２２１および視差変換モジュール２１２に接続し、立体結像モジュールが第１視差設定で取得した少なくとも二枚の画像の視差を取得する。視差変換モジュール２１２は、立体表示モジュール２００、視差取得モジュール２１１、記憶モジュール２１０、および立体結像サーボ回路２２３に接続し、少なくとも二枚の画像の視差が予め定められた視差範囲内にあるかを判断する。予め定められる視差範囲内にない場合、立体結像モジュール２２１の第１視差設定を第２視差設定に変換し、第２視差設定を立体結像モジュール２２１に送信する。予め定められる視差範囲内にある場合、上記少なくとも二枚の画像を立体表示モジュール２００に送信して表示する。立体結像サーボ回路２２３は、視差変換モジュール２１２および立体結像モジュール２２１に接続し、第２視差設定を受信し、第２視差設定に基づいて、立体結像モジュール２２１による少なくとも二枚の画像の取得を制御する。本実施例において、第２視差設定が制御信号の方式で立体結像サーボ回路２２３に送信される。
【００６０】
さらに、立体画像取得装置２２は、図４に示すプロセッサ３０２、ＲＡＭ３０４、ＲＯＭ３０６、通信インタフェース３０８、入出力インタフェース３１０、および駆動ユニット３１２を含んでよい。上記モジュールの接続関係及び機能は、図３におけるものとは同一であり、ここでは贅言しない。
【００６１】
対応的に、上記立体画像取得システムの動作原理は、立体画像取得装置２２に制御装置２１および立体モニタ２０が集積される場合にも適用し、ここでは贅言しない。なお、立体画像取得装置２２に制御装置２１および立体モニタ２０が集積される場合、映像インタフェース２２０、制御インタフェース２２３０および復号回路２２３１を含まなくてもよい。
【００６２】
本実施例における立体画像取得装置は、視差取得モジュール２１１及び視差変換モジュール２１２を通じて、視差の取得および視差の変換を自動的に行い、立体結像サーボ回路２２３を通じて、視差変換モジュール２１２から送信された制御信号を受信し、該制御信号に基づいて、立体結像モジュール２２１による少なくとも二枚の画像の取得を制御し、最終的に視差の自動取得及び視差の自動変換を実現する。したがって、本実施例における立体画像取得装置２２が、従来の立体画像取得装置に比較して、取得された立体映像画像にはより合理的な視差を有し、撮影者が撮影初期においてよい立体画像を比較的に容易に取得でき、後期の撮り直しまたは視差調整を行う必要がないため、撮影効率及び撮影の効果を向上している。
【００６３】
図８は、立体画像取得方法の一実施例のフローを示す図である。
ステップ６０１において、制御装置２１は、少なくとも二枚の画像の視差範囲を予め定める。
【００６４】
本実施例において、まず制御装置２１が少なくとも二枚の画像の視差範囲を予め定めるが、定められる視差は水平離隔距離および／または角度を含む。その後の工程において、制御装置２１は、立体画像取得装置２２が取得した少なくとも二枚の画像の視差が合理的なものであるかを、該予め定められる視差範囲に基づいて判断できる。該視差範囲が実際状況に応じて設定可能であり、例えば定められた水平離隔距離が人の目の瞳孔間の距離より大きく定められる。立体画像取得装置２２が取得した少なくとも二枚の画像の視差が人の目の瞳孔間の距離より小さい場合、不合理であることを示し、このとき、立体画像取得装置２２の視差設定を変換する必要がある。
【００６５】
ステップ６０２において、立体画像取得装置２２は、第１視差設定で少なくとも二枚の画像を取得して制御装置２１に送信する。
【００６６】
立体画像取得装置２２が取得した少なくとも二枚の画像は、視差を有する二枚の画像か、視差を有する複数枚の画像である。
【００６７】
ステップ６０３において、制御装置２１は、少なくとも二枚の画像の視差を取得する。
【００６８】
本実施例において、制御装置２１は、両眼立体整合または多眼立体整合によって少なくとも二枚の画像の視差を取得できる。本発明の実施例における両眼立体整合は、領域に基づく両眼立体整合と特徴に基づく両眼立体整合を含み、多眼立体整合は、水平多眼立体整合、直交三眼立体整合、任意配列の三眼立体整合および直交多眼立体整合を含む。画像の視差は、相対的な視差であってもよいし、絶対的な視差であってもよい。視差取得モジュール２１１が相対的な視差を取得した後に、相対的な視差を絶対的な視差に変換してもよい。
【００６９】
例えば、視差取得モジュール２１１は、領域に基づく両眼立体整合で視差を取得する場合、まず立体画像取得装置２２が取得した画像のうちの一枚の画像（例えば左側図面）において、実際物理構造に対応する画像特徴を選択し、それから、別の画像（例えば右側図面）において、同一物理構造に対応する画像特徴を特定し、最後に、二枚の画像の特徴間の相対的な位置を特定し、相対的な視差を取得する。
【００７０】
ステップ６０４において、制御装置２１は、少なくとも二枚の画像の視差が予め定められた視差範囲内にあるかを判断する。予め定められた視差範囲内にある場合、ステップ６０７へ進むが、予め定められた視差範囲内にない場合、ステップ６０５へ進む。
【００７１】
ステップ６０５において、制御装置２１は、立体画像取得装置２２の第１視差設定を第２視差設定に変換し、第２視差設定を立体画像取得装置２２に送信する。
【００７２】
具体的に、制御装置２１は、まず立体画像取得装置２２の第１視差設定を第２視差設定に変換し、第２視差設定を制御信号の方式で立体画像取得装置２２に送信する。
【００７３】
ステップ６０６において、立体画像取得装置２２は、第２視差設定に基づいて少なくとも二枚の画像を取得して制御装置２１に送信する。
【００７４】
ステップ６０７において、制御装置２１は、少なくとも二枚の画像を立体モニタ２０に送信する。
【００７５】
本発明による立体画像取得方法は、立体画像取得装置２２が取得した少なくとも二枚の画像の視差を自動的に取得して変換し、合理的な視差効果を得ることにより、撮影者が撮影初期においてよい立体画像を比較的に容易に取得でき、撮影の効率及び効果を向上させる。
【００７６】
上記の実施例において、本発明について例示的に説明したが、当業者が本特許出願を読んだ上、本発明の主旨と範囲を逸脱することなく本発明に対して各種の修正を行うことができる。
【図１】
2014501086.tif 000014
【図２】
2014501086.tif 000015
【図３】
2014501086.tif 000016
【図４】
2014501086.tif 000017
【図５】
2014501086.tif 000018
【図６】
2014501086.tif 000019
【図７】
2014501086.tif 000020
【図８】
2014501086.tif 000021
【国際調査報告】
2014501086.tif 000022
2014501086.tif 000023
2014501086.tif 000024
2014501086.tif 000025