(57)【特許請求の範囲】
【請求項１】
所望のコンバージェンスポイントを有する立体画像ペアを記憶する方法であって、
第１の撮像センサによって第１の画像を撮影することと、
第２の撮像センサによって第２の画像を撮影することと、
前記第１の画像が前記第２の画像と整合するように、前記第１の画像を変更することによって、第１の整合された画像を形成することと、
前記立体画像ペアの前記所望のコンバージェンスポイントに基づいて、前記第１の整合された画像と前記第２の画像との間の目標の水平画像視差を求めることと、
前記目標の水平画像視差が最終的な画像の水平解像度のある割合よりも大きい場合に、前記第１の整合された画像の切り取りを最終的に水平方向の画像解像度のある割合へと制限し、前記第１の整合された画像の外側寸法よりも大規模に、前記第２の画像の外側寸法を切り取ることによって、前記第１の整合された画像と前記第２の画像とを調整して前記所望のコンバージェンスポイントを得ることと、
前記調整された第１の整合された画像および第２の画像から導出された画像を含む、立体画像ペアをデータ記憶装置に記憶することとを備える、方法。
【請求項２】
前記目標の水平画像視差が前記最終的な画像の水平解像度の前記割合よりも大きい場合、前記第１の整合された画像の内側寸法を維持することによって、前記第１の整合された画像と前記第２の画像とを調整することをさらに備え、前記第１の整合された画像の前記内側寸法は、前記立体画像ペアの前記第２の画像の画像データと重複し得る画像データの境界を示す寸法であり、前記外側寸法は、前記立体画像が見る者によって見られるときの、立体画像ペアの境界を形成し得る、請求項１に記載の方法。
【請求項３】
前記第２の画像のみを切り取ることによって前記第１の整合された画像と前記第２の画像とを調整して、前記第１の整合された画像と前記第２の画像との間の前記目標の水平視差を達成することをさらに備える、請求項２に記載の方法。
【請求項４】
前記目標の水平画像視差が所定の閾値以下であるとき、前記目標の水平画像視差の少なくとも半分だけ、前記第１の整合された画像および前記第２の画像の前記外側寸法を切り取ることをさらに備える、請求項１に記載の方法。
【請求項５】
前記第２の画像の前記外側寸法が、前記目標の水平画像視差が所定の閾値よりも大きい場合に少なくとも前記目標の水平画像視差だけ切り取られる、請求項４に記載の方法。
【請求項６】
前記第１の画像または前記第２の画像から導出された少なくとも１つの画像を切り取って、目標の寸法を実現することをさらに備える、請求項１に記載の方法。
【請求項７】
第１の撮像センサを通じて前記第１の画像を撮影することと、第２の撮像センサを通じて前記第２の画像を撮影することとをさらに備える、請求項１に記載の方法。
【請求項８】
前記第１の整合された画像または前記第２の画像から導出された画像を、電子ディスプレイ上に、前記最終的な画像の水平解像度で表示することをさらに備える、請求項１に記載の方法。
【請求項９】
前記第１の画像および前記第２の画像の前記整合が、前記第１の画像を幾何学的に回転することを含む、請求項１に記載の方法。
【請求項１０】
前記第１の整合された画像と前記第２の画像とをデータストアに記憶することをさらに備える、請求項１に記載の方法。
【請求項１１】
前記割合が８パーセントである、請求項１に記載の方法。
【請求項１２】
所望のコンバージェンスポイントを有する立体画像ペアを記憶する方法であって、
第１の撮像センサによって第１の画像を撮影することと、
第２の撮像センサによって第２の画像を撮影することと、
前記第１の画像を調整して、前記第２の画像と整合された第１の調整された画像を作成することと、
前記第１の調整された画像よりも大きく前記第２の画像を水平方向にずらし、コンバージェンス調整を達成することと、
前記水平方向にずらされた画像から導出された画像を含む立体画像ペアをデータストアに記憶することとを備え、
前記立体画像の所望のコンバージェンス調整に基づいて、前記第１の調整された画像と前記第２の画像との間の目標の水平画像視差を求め、前記目標の水平画像視差が最終的な画像の水平解像度のある割合よりも大きい場合に、前記第１の調整された画像の切り取りを最終的に水平方向の画像解像度のある割合へと制限し、前記第１の調整された画像の外側寸法よりも大規模に前記第２の画像の外側寸法を切り取る、方法。
【請求項１３】
立体画像ペアのコンバージェンスポイントを調整するための装置であって、
立体画像ペアの第１の画像を撮影するように構成された第１の撮像センサと、
立体画像ペアの第２の画像を撮影するように構成された第２の撮像センサと、
前記第１の撮像センサおよび前記第２の撮像センサに結合される、電子プロセッサと、
制御モジュールとを備え、前記制御モジュールが、
前記第１の画像をずらし、または切り取って、前記第１の画像と前記第２の画像とを整合しつつ、前記第２の画像を維持し、
前記立体画像ペアの所望のコンバージェンスポイントに基づいて、目標の水平画像視差を求め、
前記目標の水平画像視差が所定の閾値よりも大きい場合に、前記第１の整合された画像の切り取りを最終的に水平方向の画像解像度のある割合へと制限し、前記第１の画像の外側寸法よりも大規模に、前記第２の画像の外側寸法を切り取ることによって、前記立体画像ペアを調整して前記所望のコンバージェンスポイントを得るように構成される、装置。
【請求項１４】
前記制御モジュールがさらに、前記目標の水平画像視差が前記所定の閾値より大きい場合に前記第１の画像の内側寸法を維持することによって前記立体画像ペアを調整するように構成され、前記第１の画像の前記内側寸法は、前記立体画像ペアの前記第２の画像の画像データと重複し得る画像データの境界を示す寸法であり、前記外側寸法は、立体画像が見る者によって見られるときの、立体画像ペアの境界を形成し得る、請求項１３に記載の装置。
【請求項１５】
前記制御モジュールがさらに、前記第２の画像を切り取ることによって前記立体画像ペアを調整して、前記第２の画像と前記第１の画像との間の前記目標の水平視差を達成するように構成される、請求項１４に記載の装置。
【請求項１６】
前記制御モジュールがさらに、前記目標の水平画像視差が前記所定の閾値以下である場合に前記目標の水平画像視差の少なくとも半分だけ前記第１の画像および前記第２の画像の前記外側寸法を切り取るように構成される、請求項１３に記載の装置。
【請求項１７】
前記第２の画像の前記外側寸法が、前記目標の水平画像視差が前記所定の閾値よりも大きい場合に少なくとも前記目標の水平画像視差だけ切り取られる、請求項１５に記載の装置。
【請求項１８】
前記制御モジュールがさらに、前記第２の画像または前記第１の画像から導出される少なくとも１つの画像を切り取って、目標の寸法を実現するように構成される、請求項１３に記載の装置。
【請求項１９】
前記第１の画像および前記第２の画像の前記整合が、前記第１の画像を幾何学的に回転することを含む、請求項１３に記載の装置。
【請求項２０】
前記制御モジュールがさらに、前記第１の画像および前記第２の画像から導出された立体画像ペアをデータストアに記憶するように構成される、請求項１３に記載の装置。
【請求項２１】
前記所定の閾値が水平方向の画像解像度の８％である、請求項１３に記載の装置。
【請求項２２】
ワイヤレス電話ハンドセットをさらに備える、請求項１３に記載の装置。
【請求項２３】
立体画像ペアのコンバージェンスポイントを調整するための装置であって、
立体画像ペアの第１の画像と第２の画像とを提供するための手段と、
前記第１の画像をずらし、または切り取って、前記第１の画像と前記第２の画像とを整合しつつ、前記第２の画像を維持するための手段と、
前記立体画像ペアの所望のコンバージェンスポイントに基づいて、目標の水平画像視差を求めるための手段と、
前記目標の水平視差が所定の閾値よりも大きい場合に、前記第１の整合された画像の切り取りを最終的に水平方向の画像解像度のある割合へと制限し、前記第１の画像の外側寸法よりも大規模に、前記第２の画像の外側寸法を切り取ることによって立体画像ペアを調整して、前記所望のコンバージェンスポイントを得るための手段とを備える、装置。
【請求項２４】
プロセッサによって実行されると、前記プロセッサに、立体画像ペアのコンバージェンスポイントを調整する方法を実行させる命令を備える、非一時的コンピュータ可読媒体であって、前記方法が、
撮像センサにより、立体画像ペアの第１の画像を撮影することと、
撮像センサにより、前記立体画像ペアの第２の画像を撮影することと、
前記第１の画像をずらし、または切り取って、前記第１の画像と前記第２の画像とを整合しつつ、前記第２の画像を維持することと、
前記立体画像ペアの所望のコンバージェンスポイントに基づいて、目標の水平画像視差を求めることと、
前記目標の水平画像視差が所定の閾値よりも大きい場合に、前記第１の整合された画像の切り取りを最終的に水平方向の画像解像度のある割合へと制限し、前記第１の画像の外側寸法よりも大規模に、前記第２の画像の外側寸法を切り取ることとを備える、非一時的コンピュータ可読媒体。
【請求項２５】
前記立体画像ペアが左の画像と右の画像とを備え、
前記左の画像の外側寸法を切り取ることが、前記左の画像の左側を切り取ることを備え、
前記右の画像の外側寸法を切り取ることが、前記右の画像の右側を切り取ることを備え、
前記左の画像の内側寸法を切り取ることが、前記左の画像の右側を切り取ることを備える、請求項１に記載の方法。
【請求項２６】
前記第１の整合された画像が前記左の画像であり、前記第２の画像が前記右の画像である、請求項２５に記載の方法。
【請求項２７】
前記立体画像ペアが左の画像と右の画像とを備え、前記第１の整合された画像が前記左の画像であり、前記第２の画像が前記右の画像であり、前記第１の整合された画像の前記内側寸法を維持することが、前記所望のコンバージェンスポイントを得るために前記第１の整合された画像の左側を切り取らないことを備える、請求項２に記載の方法。
【請求項２８】
前記立体画像ペアが左の画像と右の画像とを備え、
前記制御モジュールがさらに、前記左の画像の左側を切り取ることによって、前記左の画像の外側寸法を切り取り、
前記右の画像の右側を切り取ることによって、前記右の画像の外側寸法を切り取り、
前記立体画像ペアの水平視差を調整するために、前記左の画像の右側を切り取らないことによって前記左の画像の内側寸法を維持するように構成される、請求項１３に記載の装置。
【請求項２９】
前記第１の整合された画像が前記左の画像であり、前記第２の画像が前記右の画像である、請求項２８に記載の装置。
【請求項３０】
前記立体画像ペアが左の画像と右の画像とを備え、前記第１の整合された画像が前記左の画像であり、前記第２の画像が前記右の画像であり、前記第１の整合された画像の前記内側寸法を維持することが、前記所望のコンバージェンスポイントを得るために前記第１の画像の左側を切り取らないことを備える、請求項１４に記載の装置。
【請求項３１】
前記第１の画像の外側寸法が、前記第２の画像の画像データと重複しない画像データとの境界を形成する、請求項２３に記載の装置。
【請求項３２】
前記第１の画像の外側寸法が、前記第２の画像の画像データと重複しない画像データとの境界を形成する、請求項２４に記載のコンピュータ可読媒体。
【請求項３３】
前記目標の水平画像視差が最終的な画像の水平解像度のある割合よりも少ない場合に前記第２および前記第１の整合された画像の外側寸法を均等に切り取ることによって、前記第１の整合された画像と前記第２の画像とを調整して前記所望のコンバージェンスポイントを得ることをさらに備える、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本実施形態は撮像デバイスに関し、詳細には、１つまたは複数の撮像センサを有する撮像デバイスによって撮影された２つのデジタル画像の処理を改善するための方法と装置とに関する。
【背景技術】
【０００２】
過去１０年間、デジタルカメラおよび携帯電話を含む、広範囲のデバイスにデジタル撮像機能が内蔵されてきた。最近では、これらのデバイスにより立体画像を撮影する機能が、技術的に可能になってきた。デバイス製造業者は、単一のまたは複数のデジタル撮像センサを利用して、この能力をサポートするためにデジタル画像処理を組み込むデバイスを導入することによって、対応してきた。モバイルワイヤレス通信デバイス、携帯情報端末（ＰＤＡ）、個人向け音楽システム、デジタルカメラ、デジタル記録デバイス、ビデオ会議システムなどを含む、広範な電子デバイスが、立体撮像能力を利用して、種々の能力と機能とをユーザに提供する。これらの能力および機能は、立体（３Ｄ）写真およびビデオまたは動画のような、３Ｄ撮像用途を含む。
【０００３】
正確に整合された立体画像ペアを得るために、複数の撮像センサを有するデバイスは、製造工程の間に較正されることが多い。デバイスは、製造ラインにおいて特別な「較正モード」に置かれてよく、撮像センサは、各カメラの相対位置を明確に特定するのを助けるように設計されたターゲット画像に向けられる。次いで、このデバイスの各カメラは、ターゲット画像および撮影される画像に焦点を合わせられ得る。次いで、各々の撮影された画像は、カメラの相対方向を抽出するために分析され得る。
【０００４】
一部のカメラは、２つのカメラの位置をより十分に整合するために、各カメラの相対位置に対する細かい調整を工場の現場で行うことができるように設計され得る。たとえば、各カメラは、その位置に対する細かい調整を行う能力を提供する調整可能なプラットフォーム内に搭載され得る。あるいは、各カメラによって撮影された画像は、各カメラの他のカメラに対する相対位置を決定するために、画像処理ソフトウェアによって分析され得る。次いで、この相対位置データは、カメラ上の不揮発性メモリに記憶される。後に製品が購入され使用されるとき、オンボード画像処理は、相対位置情報を利用して、各カメラによって撮影された画像を電子的に調整して、高品質の立体画像を生成する。
【０００５】
これらの較正処理は、いくつかの欠点を有する。第１に、正確な製造中較正は、製造工程において時間がかかり、デバイスのコストを増加させる。第２に、製造中に生成されるあらゆる較正データは、本質的に静的である。したがって、この較正データは、デバイスがその寿命中に使用されるにつれて、カメラ位置の変化に対応することができない。たとえば、複数のレンズの較正は、カメラが販売されるときには極めて正確であり得るが、カメラは、購入後まもなく落とされる可能性がある。落下の衝撃は、カメラの較正を失わせ得る。それにもかかわらず、ユーザは、カメラが落下にも耐え、高品質の立体視画像を生成し続けることを期待する可能性がある。
【０００６】
さらに、温度変動によるカメラの部品の伸び縮みは、各カメラの相対位置のわずかな変化をもたらす可能性がある。工場での較正は通常室温で行われ、温度によるレンズ位置の変化は補償しない。したがって、特に寒い、または暑い日に立体撮像機能が利用される場合、カメラによって生成される立体画像ペアの品質に影響を及ぼす可能性がある。
【０００７】
したがって、マルチカメラデバイスの静的な工場での較正は、不整合を補償する能力が限られている。定期的な較正は、これらの問題の一部を緩和するが、カメラの寿命中にそのカメラの定期的な立体カメラ較正を行うことをユーザに期待するのは現実的でない可能性がある。多くのユーザは、較正手順をうまく完了することを望まず、またそのための技能を有することもあまりない。
【０００８】
さらに、一部のデバイスは、１つの撮像センサのみを使用して、立体画像ペアを撮影する能力を可能にする。これらのデバイスでは、２つの画像を撮影するために、自動的な指示の支援を場合によっては伴って、デバイスが手動で配置され得る。この技法を使用すると、立体画像ペアの一部として撮影された複数の画像の間に不整合が生じることは、非常に一般的である。これらのデバイスでは、工場での較正は、立体画像ペアの不整合を除去することができない。
【０００９】
立体画像ペアの画像の不整合がなくならないため、ある程度の大きすぎない不整合を伴うデジタル画像ペアから高品質の立体画像を与えるための方法が導入されてきた。これらの方法は、立体画像ペアをデジタル的に処理して、整合された画像を生成する。立体画像を整合することは、立体画像ペアの画像の間の水平方向または垂直方向のずれを修正するために、１つまたは両方の画像を切り取ることを含み得る。立体画像ペアの２つの画像は、「ｚ」軸の周りで整合されていないこともあり、これは、一方の撮像センサが、他の撮像センサよりも、撮像されている風景にわずかに近い場合に起こる。切り取りは、ｘ軸、ｙ軸、またはｚ軸の周りでの画像の回転による不整合を修正するためにも必要であり得る。最後に、切り取りは、立体画像ペア中の２つの画像のコンバージェンスポイントを調整するためにも必要であり得る。これらの複数の切り取り動作は、立体画像の可視領域に悪影響を与え得る。結果として得られた立体画像ペアの可視領域の、結果としてもたらされたサイズにより、何らかの撮像環境における整合されていない立体画像ペアを補償するためのデバイスの能力が制限され得る。
【発明の概要】
【００１０】
本実施形態のいくつかは、立体画像ペアを調整する方法を含み得る。方法は、立体画像ペアの一部である第１の画像と第２の画像とを提供することを備え得る。方法はさらに、立体画像ペアの第１の画像をずらし、または切り取って、第１の画像と第２の画像とを整合しつつ、第２の画像を維持することと、立体画像ペアの所望のコンバージェンスポイントに基づいて、目標の水平画像視差を求めることと、目標の水平画像視差が所定の閾値より大きい場合、第１の画像の外側寸法の切り取りを所定の閾値へと制限することとを備え得る。方法のいくつかの実施形態はさらに、目標の水平画像視差が所定の閾値以下であるとき、目標の水平画像視差の半分だけ第１の画像および第２の画像の外側寸法を切り取ることを備え得る。他の実施形態は、目標の水平画像視差が所定の閾値より大きいとき、少なくとも目標の水平画像視差だけ第２の画像の外側寸法を切り取ることができる。いくつかの実施形態はまた、第１の画像または第２の画像を切り取って目標の寸法を実現することを含み得る。いくつかの実施形態では、第１の画像は第１の撮像センサを通じて撮影され、第２の画像は第２の撮像センサを通じて撮影される。いくつかの実施形態では、第１の撮像センサおよび第２の撮像センサは、同じ撮像センサである。いくつかの実施形態では、第１の画像および第２の画像の整合は、第１の画像を幾何学的に回転することを含む。他の実施形態では、方法はさらに、修正された第１の画像および第２の画像をデータストアに記憶することを備える。いくつかの実施形態では、所定の閾値は、水平方向の画像解像度の８％である。
【００１１】
他の本実施形態は、第１の撮像センサと、第２の撮像センサと、第１の撮像センサおよび第２の撮像センサに結合された電子プロセッサと、第１の撮像センサによって立体画像ペアの第１の画像を撮影し、第２の撮像センサによって立体画像ペアの第２の画像を撮影し、第１の画像をずらし、または切り取って、第１の画像と第２の画像とを整合しつつ、第２の画像を維持し、立体画像ペアの所望のコンバージェンスポイントに基づいて、目標の水平画像視差を求め、目標の水平画像視差が所定の閾値より大きい場合に第１の画像の外側寸法の切り取りを所定の閾値へと制限することによって立体画像ペアを調整するように構成される、制御モジュールとを含み得る。いくつかの実施形態では、制御モジュールはさらに、目標の水平画像視差が所定の閾値より大きい場合に第１の画像の内側寸法を維持することによって立体画像ペアを調整するように構成される。他の実施形態では、制御モジュールはさらに、第２の画像と第１の画像との間の目標の水平視差を達成するように第２の画像を切り取ることによって立体画像ペアを調整するように構成され得る。さらに他の実施形態では、制御モジュールはさらに、目標の水平画像視差が所定の閾値以下であるとき、目標の水平画像視差の少なくとも半分だけ第１の画像および第２の画像の外側寸法を切り取るように構成され得る。いくつかの実施形態では、第２の画像の外側寸法は、目標の水平画像視差が所定の閾値よりも大きい場合に少なくとも目標の水平画像視差だけ切り取られる。いくつかの実施形態では、制御モジュールはさらに、第２の画像または第１の画像から導出される少なくとも１つの画像を切り取って、目標の寸法を実現するように構成される。他の実施形態では、第１の画像および第２の画像の整合は、第１の画像を幾何学的に回転することを含む。
【００１２】
いくつかの実施形態では、制御モジュールはまた、第１の画像および第２の画像から導出された立体画像ペアをデータストアに記憶するように構成される。いくつかの実施形態では、所定の閾値は、水平方向の画像解像度の８％に等しい。装置のさらに他の実施形態は、ワイヤレス電話ハンドセットをさらに備える。
【００１３】
開示される別の革新的な態様は、立体画像ペアを調整するための装置である。装置は、立体画像ペアの一部である第１の画像と第２の画像とを提供するための手段と、第１の画像をずらし、または切り取って、第１の画像と第２の画像とを整合しつつ、第２の画像を維持するための手段と、立体画像ペアの所望のコンバージェンスポイントに基づいて、目標の水平視差を求めるための手段と、目標の水平視差が所定の閾値より大きい場合に第１の画像の外側寸法の切り取りを所定の閾値へと制限することによって立体画像ペアを調整して所望のコンバージェンスポイントを得るための手段とを含む。
【００１４】
他の本実施形態は、立体画像ペアのコンバージェンスポイントを調整する方法をプロセッサに実行させるように動作可能な、プロセッサ実行可能命令を含む非一時的コンピュータ可読媒体を含んでよく、上記の方法は、撮像センサによって立体画像ペアの第１の画像を撮影することと、撮像センサによって立体画像ペアの第２の画像を撮影することと、第１の画像をずらし、または切り取って、第１の画像と第２の画像とを整合しつつ、第２の画像を維持することと、立体画像ペアの所望のコンバージェンスポイントに基づいて、目標の水平画像視差を求めることと、目標の水平画像視差が所定の閾値より大きい場合、第１の画像の外側寸法の切り取りを所定の閾値へと制限することとを含む。
【００１５】
開示される態様は、以下で、開示される態様を制限するためではなく例示するために提供される添付の図面とともに説明され、図面において同様の符号は同様の要素を示す。
【図面の簡単な説明】
【００１６】
【図１】立体画像ペアに含まれる２つの整合されていない画像を示す図。
【図２】立体画像ペアを示し、一方の画像の回転の後に図１から画像ペアがどのように修正されるかを例示する図。
【図３】立体画像ペアであり、立体画像ペアの画像のコンバージェンスポイントを整合し調整するときに画像データがどのように失われ得るかを例示する図。
【図４】いくつかの機能する実施形態を実装するデバイスを示し、モバイルデバイスの主要コンポーネントが例示されるブロック図。
【図５】撮影制御モジュールの一実施形態において利用される処理を示すフローチャート。
【図６】立体画像ペアのコンバージェンスポイントを調整するための処理の１つの機能する実施形態を示すフローチャート。
【図７】立体画像ペアに対する切り取り操作の一実施形態を示し、切り取り操作が２つの画像を整合するために実行される図。
【図８】コンバージェンスポイントを無限大に設定し、開示される方法および装置の１つの機能する実施形態によって実施される、立体画像ペアに対する切り取り操作を示す図。
【図９】コンバージェンスポイントを１メートルに設定し、開示される方法および装置の１つの機能する実施形態によって実施される、立体画像ペアに対する切り取り操作を示す図。
【図１０】コンバージェンスポイントを５０センチメートルに設定し、開示される方法および装置の１つの機能する実施形態によって実施される、立体画像ペアに対する切り取り操作を示す図。
【発明を実施するための形態】
【００１７】
本明細書で開示される実装形態は、１つまたは複数の撮像センサを有する電子デバイスによって立体画像を生成するための、システムと、方法と、装置とを提供する。いくつかの実施形態は、撮像センサによって撮影される２つの画像の垂直視差を求めることと、少なくとも１つの修正された画像を生成することによって、垂直視差を修正することと、修正された画像に基づいて、立体画像ペアを生成することとを含む。
【００１８】
本実施形態はさらに、ディスプレイ画面上に立体画像ペアを表示することを考える。これらの実施形態が、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せにおいて実装され得ることを当業者は認識するであろう。
【００１９】
以下の説明において、実施例の十分な理解が得られるように具体的な詳細が与えられる。しかしながら、これらの実施例は、これらの具体的な詳細を伴わずに実施され得ることを、当業者は理解するであろう。たとえば、これらの実施例を不必要な詳細において不明瞭にしないために、電気コンポーネント／デバイスはブロック図で示されることがある。他の例では、そのようなコンポーネント、他の構造および技法が、実施例をさらに説明するために詳しく示され得る。
【００２０】
また、実施例は、フローチャート、流れ図、有限状態図、構造図、またはブロック図として示されるプロセスとして説明され得ることに留意されたい。フローチャートは動作を逐次プロセスとして説明することがあるが、動作の多くは並行にまたは同時に実行されてよく、プロセスは繰り返されてよい。加えて、動作の順序は並び替えられてよい。プロセスは、その動作が完了すると終了する。プロセスは、メソッド、関数、プロシージャ、サブルーチン、サブプログラムなどに対応し得る。プロセスがソフトウェア関数に対応する場合、その終了は呼出し側関数またはメイン関数への関数の復帰に対応する。
【００２１】
情報および信号は、種々の異なる技術および技法のいずれかを使用して表され得ることを当業者は理解するであろう。たとえば、上記の説明全体にわたって言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁界または磁性粒子、光場または光学粒子、あるいはそれらの任意の組合せによって表され得る。
【００２２】
立体撮像デバイスの複数のカメラの相対位置は、角運動の３つの軸およびずれの３つの軸によって表され得る。この議論では、ｘ軸、ｙ軸、およびｚ軸上の位置が、相対的なずれを表す。角回転は、「ピッチ」とも呼ばれる水平方向の（ｘ）軸、「ヨー」として知られている垂直方向の（ｙ）軸、および（ｚ）軸すなわち「ロール」の周りの回転によって表され得る。
【００２３】
ある軸上での複数のセンサの相対位置の変動は、別の軸上での変動よりも、立体画像の品質に対してはるかに大きな影響を与え得る。たとえば、精神物理学的な試験は、ｙ軸に沿ったずれ、またはピッチ角の変動が、知覚される画像品質に最も大きな影響を与えることを裏付けている。ｙ軸またはピッチ角に沿ったこれらのずれは、垂直視差として当技術分野では知られている。垂直視差は、たとえば、立体ビデオまたは立体映画を見るときのように、長期間にわたって見られると、悪心または頭痛を引き起こすことがある。
【００２４】
垂直視差は、立体画像ペアの品質に顕著な影響を与えるが、上で言及された他の形態の不整合も見る者によって感知され、画像品質の全体的な知覚に影響を与える。したがって、実施形態は、立体画像ペアが見られる前に、上で説明されたすべての６つの軸の周りでの画像の整合をデジタル的に修正する撮像デバイスに関する。これらの６つの軸の周りでの不整合を修正するために、立体撮像デバイスは、立体画像ペアをずらし、かつ／または切り取り、２つの画像の整合を調整することができる。個々の画像からのデータの損失を最小にするために、両方の画像が、整合処理の一部としてデジタル的に切り取られ得る。
【００２５】
画像の不整合を修正することは、立体画像ペアをユーザに表示する前に実行されるデジタル処理の一部であり得るが、画像に対する他の修正も必要であり得る。たとえば、立体画像ペアは、特定のコンバージェンスポイントを実現するために調整され得る。立体画像ペアのコンバージェンスポイントは、立体画像中の各オブジェクトが見る者によってどのような深度で知覚されるかを決定する。２つの画像が表示されるときに２つの画像の間のオフセットが０であるオブジェクトは、ゼロ視差であると言われるので、画面の深度で知覚される。正の視差を伴うオブジェクトは画面の深度よりも大きな深度で知覚されるが、負の視差を伴うオブジェクトは画面の前にあるものとして知覚される。
【００２６】
しかしながら、画像品質に悪影響を与えることなく、立体画像ペアの各画像から除去され得る画像データの量は、最終的には限られている。画像データのこの限られた量は、総切り取り「許容量」として知られている。総切り取り量は、画像を整合し（「切り取り許容量」）適切なコンバージェンスポイントを設定する（「コンバージェンス許容量」）切り取り動作の間に除去され得る、画像の１つの次元に沿って利用可能な画像データの量に対応する。
【００２７】
図１は、立体画像ペアに含まれる２つの整合されていない画像１００と１０５とを示す。立体画像ペアは、種々の理由で整合されていないことがある。たとえば、立体画像ペアを撮影するために使用される複数のレンズの相対位置は、画像を撮影するために使用される撮像デバイスの設計仕様とは異なることがある。レンズ位置のこの変動によって、ある画像が、他のレンズに対して、ｘ軸、ｙ軸、またはｚ軸に関してずれるようになり得る。レンズまたは撮像センサはまた、別のレンズまたは撮像センサに対して、ｘ軸、ｙ軸、またはｚ軸の周りで回転され得る。一部のデバイスは、レンズ位置の機械的な変動の影響を最小にするように機能する、製造中またはその後に実行される較正手順を含む。他のデバイスは、レンズまたは撮像センサのあらゆる物理的な不整合を補償するように、画像撮影の後にデジタル的に画像を調整するための画像処理能力を含み得る。
【００２８】
例示として、画像１００と比較された場合の誇張された不整合とともに、図１の画像１０５が示される。画像１０５は画像１００の上に位置しており、画像１００に対して時計回りの方向に回転されている。これらの２つの画像がユーザに表示され、満足のいく立体的な鑑賞体験を提供できるようになる前に、画像１００および１０５は整合されなければならない。いくつかの実施形態はまた、２つの画像が正しい立体的な視点で提示されるように、２つの画像が表示される前に２つの画像のコンバージェンスポイントを調整し得る。
【００２９】
図２Ａおよび図２Ｂは、図１の画像１０５の回転が修正された後の、今度は画像２２０および２２５として表される、図１からの立体画像ペアを示す。観察され得るように、画像２２５は、画像２２０とより良好に整合するように、図１の画像１０５に対して反時計回りに回転されている。しかしながら、図２Ａは、２つの画像２２０と２２５との間に残る大きな垂直方向の不整合を示す。この垂直方向の不整合を減らすために、いくつかの実施形態は、画像２２０および画像２２５の一部を切り取ることができる。たとえば、各画像２２０および２２５の影付き領域２２２および２２７が、元の画像から切り取られ得る。この切り取り操作の後で、画像は、図２Ｂでは画像２３０および２３５として見え得る。画像２３０および２３５の整合は、画像２２０および２２５の整合と比較して改善されていることに留意されたい。
【００３０】
各画像２３０および２３５は、立体画像ペアを撮影するために使用されるレンズの各々の間の距離によって、風景のわずかに異なる部分を捉えていることにも留意されたい。画像の違いは、角括弧付きの領域２３２および２３７によって示される。左の画像２３０は、角括弧２３２の上のコンテンツを含むわずかにより左側の視点を捉え、一方、右の画像２３５は、角括弧２３７の上のコンテンツを含むわずかにより右側の視点を捉える。第１の画像中のオブジェクト、たとえば木２３３の、右の画像１３８中の同じオブジェクトの相対水平位置と比較された場合の相対水平位置は、立体画像ペアによってもたらされる３次元効果に寄与する。各オブジェクトのこの相対水平位置はまた、オブジェクトが見る者によって知覚される深度を変えるために調整され得る。この調整は、コンバージェンス調整として知られ、それは、立体画像ペアが見られるにつれて、見る者の目の視野の角度を調整するからである。
【００３１】
図３は、立体画像ペアの画像のコンバージェンスポイントを整合し調整するときに、画像データがどのように失われ得るかを示す。長方形３４１および３５１は、例示的な切り取り動作が２つの画像を垂直方向に整合するために実行された後に残る、各画像３４０および３５０の部分を示す。長方形３４２および３５２は、画像３４０および３５０のコンバージェンスポイントを調整するための例示的な操作が実行された後に残る、各画像の部分を示す。適切な画像品質を維持するために、各次元中の長方形３４２および３５２の外側の画像領域の量は、その次元に対して定められた切り取り許容量を超えるべきではない。
【００３２】
しかしながら、ある撮像環境では、画像を切り取るために利用可能な総切り取り許容量は、所望のコンバージェンスポイントを設定することと画像を互いに整合することを両方行いつつ、高品質の立体画像ペアに必要な可視領域を依然として維持するには、不十分である。したがって、本明細書で開示される実施形態は、整合およびコンバージェンス調整の改善された方法を提供し、より大きな量の画像修正とコンバージェンスの調整とを可能にしつつ、同じ量またはより少ない利用可能な総切り取り許容量を利用する。
【００３３】
一実施形態は、立体画像ペア中の第１の画像をずらし、または切り取り、立体画像ペアの第２の画像と整合された第１の整合された画像を生成する、画像処理方法および装置である。立体画像ペアの２つの画像が整合されるとき、画像内のオブジェクトの相対位置は、レンズが適切な機械的較正の状態にあるときに画像を撮影するために使用される、レンズの相対位置に対応する。
【００３４】
実施形態は次いで、まず、所望のコンバージェンスポイントを実現するのに必要な、整合された画像の間の目標の水平視差を求めることによって、整合された立体画像ペアを所望のコンバージェンスポイントへとさらに調整することができる。目標の水平視差が求められた後、１つまたは両方の画像の追加の切り取りが、目標の水平視差を達成するために実行され得る。しかしながら、第１の整合された画像の可視領域が整合処理の一部として減らされているので、第１の整合された画像の外側寸法の切り取りは、立体画像ペアの許容可能な画像品質を維持するように制限され得る。様々な制限が考えられる。一実施形態では、第１の整合された画像の追加の切り取りは、最終的な画像の水平解像度の、全体の水平解像度のある割合に制限され得る。最終的な画像の水平解像度は、整合またはコンバージェンス調整のために画像が調整された後の、立体画像ペアの画像の水平方向の画像解像度であってよい。最終的な画像の水平解像度はまた、ユーザに表示されるときの、立体画像ペアの各画像の水平解像度であってよい。一実施形態は、画像の最終的な水平解像度の８％から１２％の間へのコンバージェンス調整を達成するために実行される、切り取りを制限することができる。
【００３５】
第１の画像のみを調整して第１の画像を第２の画像と整合することによって、第２の画像は、第１の整合された画像と第２の画像との間のコンバージェンス調整を実行するときに、整合を達成するために第２の画像も切り取られた場合に可能な規模よりも、大規模に調整され得る。この方法は、コンバージェンスポイントのために調整するときにも、立体画像ペアの画像の間の不整合に対するより大きな耐性を実現しつつ、立体画像ペアの満足のいく可視領域を維持する。あるいは、コンバージェンスポイントを、２つの画像の間で、従来の方法を使用して通常実現可能なものよりも、はるかに近くすることができる。
【００３６】
図４は、撮像センサ４１５および４１６に動作可能に結合されるプロセッサ４２０を含むコンポーネントのセットを有するデバイス４００の高水準のブロック図を示す。ワーキングメモリ４０５、記憶装置４１０、電子ディスプレイ４２５、およびメモリ４３０も、プロセッサ４２０と通信しており、それに動作可能に結合される。
【００３７】
デバイス４００は、携帯電話、デジタルカメラ、携帯情報端末などであり得る。デバイス４００はまた、デスクトップパーソナルコンピュータ、ビデオ会議ステーションなどのような、より固定式のデバイスであってよい。複数のアプリケーションが、デバイス４００上でユーザに利用可能であり得る。これらのアプリケーションは、従来の写真アプリケーション、高ダイナミックレンジの撮像、パノラマビデオ、または、３Ｄ画像もしくは３Ｄビデオのような立体撮像を含み得る。
【００３８】
プロセッサ４２０は、汎用処理ユニット、または、撮像用途のために特別に設計されたプロセッサであってよい。示されるように、プロセッサ４２０は、メモリ４３０およびワーキングメモリ４０５に接続される。示される実施形態では、メモリ４３０は、撮像センサ制御モジュール４３５と、画像整合モジュール４４０と、コンバージェンス調整モジュール４５５と、符号化モジュール４６０と、撮影制御モジュール４７０と、オペレーティングシステム４７５とを記憶する。これらのモジュールは、様々な画像処理およびデバイス管理のタスクを実行するようにプロセッサを構成する命令を含む。ワーキングメモリ４０５は、メモリ４３０のモジュールに含まれるプロセッサ命令のワーキングセットを記憶するために、プロセッサ４２０によって使用され得る。あるいは、ワーキングメモリ４０５はまた、デバイス４００の動作の間に作成される動的なデータを記憶するためにプロセッサ４２０によって使用され得る。
【００３９】
上で言及されたように、プロセッサは、メモリに記憶されるいくつかのモジュールによって構成される。撮像センサ制御モジュール４３５は、撮像センサ４１５および４１６の焦点位置を調整するようにプロセッサ４２０を構成する命令を含む。撮像センサ制御モジュール４３５はまた、撮像センサ４１５および４１６によって画像を撮影するようにプロセッサ４２０を構成する命令を含む。したがって、プロセッサ４２０は、画像撮影制御モジュール４３５、撮像センサ４１５または４１６、およびワーキングメモリ４０５とともに、撮像センサを使用して画像を撮影するための１つの手段を表す。これらのコンポーネントはまた、立体画像ペアの一部である第１の画像と第２の画像とを提供するための１つの手段を表す。画像整合モジュール４４０は、撮像センサ４１５および４１６によって撮影される画像の間の、ｘ軸、ｙ軸、およびｚ軸における視差を求め、それを場合によっては除去するようにプロセッサ４２０を構成する、命令を提供する。画像整合モジュール４４０はまた、２つの画像の間での、ｘ軸、ｙ軸、およびｚ軸の周りの回転方向の不整合を修正することができる。コンバージェンス調整モジュール４５５は、撮像センサ４１５および４１６によって撮影される２つの画像の間のコンバージェンスポイントを調整するようにプロセッサ４２０を構成する命令を含み得る。コンバージェンスポイントを調整することは、撮像センサ４１５および４１６によって撮影される第１の画像または第２の画像を切り取って、２つの画像の間の所望のコンバージェンスポイントを実現することを含み得る。したがって、コンバージェンス調整モジュール４５５の中の命令は、撮像センサ４１５および４１６によって撮影される第１の画像または第２の画像を切り取るための１つの手段を表す。あるいは、収束を調整することは、コンバージェンスポイントを実現するのに必要な水平視差がコンバージェンス許容量よりも大きい場合に、第１の整合される画像の切り取りを、最終的な水平方向の画像解像度のある割合へと制限することを含み得る。コンバージェンスを調整することは、第１の整合された画像の外側寸法の切り取りよりも大規模に、第２の画像の外側寸法を切り取ることを含み得る。したがって、コンバージェンス調整モジュール４５５の中の命令は、目標の水平画像視差が最終的な画像の水平解像度のある割合よりも大きい場合に第１の整合された画像の外側寸法の切り取りを最終的な画像の水平解像度の上記の割合へと制限することによって、第１の整合された画像と第２の画像とを調整して所望のコンバージェンスポイントを得るための１つの手段を表す。符号化モジュール４６０は、撮像センサ４１５および４１６によって撮影される画像を立体画像へと符号化するようにプロセッサを構成する命令を含む。したがって、符号化モジュール４６０内に含まれる命令は、第１の画像および第２の画像に基づいて立体画像を生成するための１つの手段を表す。
【００４０】
撮影制御モジュール４７０は、デバイス４００の全体的な画像処理機能を制御する命令を含む。たとえば、撮影制御モジュール４７０は、撮像センサ４１５と４１６とを使用して第１の画像と第２の画像とを撮影するようにプロセッサ４２０を構成するために、撮像制御モジュール４３５の中のサブルーチンを呼び出す命令を含み得る。撮影制御モジュール４７０は次いで、画像整合モジュール４４０を呼び出して、ｘ軸、ｙ軸、またはｚ軸における２つの画像の間の不整合を、低減または除去することができる。撮影制御モジュールは次いで、コンバージェンス調整モジュール４５５を呼び出して、撮像センサ４１５または撮像センサ４１６によって撮影される２つの画像の間のコンバージェンスポイントを調整することができる。撮影制御モジュール４７０は次いで、符号化モジュール４６０を呼び出して、撮像センサ４１５および撮像センサ４１６によって撮影され、画像整合モジュール４４０によって調整され、コンバージェンス調整モジュール４５５によって立体画像ペアへとさらに調整される、２つの画像を符号化することができる。いくつかの実施形態では、符号化モジュール４６０または撮影制御モジュール４７０は、立体画像ペアをデータストア４１０に記憶するようにプロセッサ４２０を構成する命令を含み得る。
【００４１】
オペレーティングシステムモジュール４７５は、デバイス４００のメモリと処理リソースとを管理するようにプロセッサを構成する。たとえば、オペレーティングシステムモジュール４７５は、電子ディスプレイ４２５、記憶装置４１０、または撮像センサ４１５のようなハードウェアリソースを管理するための、デバイスドライバを含み得る。したがって、いくつかの実施形態では、上で論じられた画像処理モジュールに含まれる命令は、これらのハードウェアリソースと直接対話しなくてよいが、代わりに、オペレーティングシステムコンポーネント４７５の中に位置する標準的なサブルーチンまたはＡＰＩを通じて対話してよい。そして、オペレーティングシステム４７５内の命令が、これらのハードウェアコンポーネントと直接対話し得る。
【００４２】
プロセッサ４２０は、データを記憶モジュール４１０に書き込むことができる。記憶モジュール４１０は従来のディスクドライブとしてグラフィカルに表されているが、複数の実施形態は、メモリディスク、ＵＳＢドライブ、フラッシュドライブ、遠隔で接続された記憶媒体、仮想ディスクドライバなどを含むように、ディスクベースの記憶デバイスと、いくつかの他のタイプの記憶媒体の１つとのいずれかを含み得ることを、当業者は理解するであろう。
【００４３】
図４は２つの撮像センサを有するデバイスを示すが、デバイス４００の他の実施形態は、３つ以上の撮像センサを含んでよく、または１つだけの撮像センサを含んでよい。そのような実施形態はまた、１つの撮像センサから、しかし異なる時点において、上で論じられた２つの画像を撮影するための、画像処理命令を含み得る。
【００４４】
さらに、図４は、プロセッサと、撮像センサと、メモリとを含むように、別個のコンポーネントを有するデバイスを示し、これらの別個のコンポーネントは、特定の設計上の目的を実現するために、種々の方法で組み合わされてよいことを、当業者は認識するであろう。たとえば、ある代替的な実施形態では、メモリコンポーネントは、コストを節減し性能を改善するために、プロセッサコンポーネントと組み合わされてよい。
【００４５】
加えて、図４は、いくつかのモジュールを有するメモリコンポーネント４３０と、ワーキングメモリを有する別個のメモリ４０５とを含むように、２つのメモリコンポーネントを示すが、異なるメモリアーキテクチャを利用するいくつかの実施形態を当業者は認識するであろう。たとえば、ある設計は、メモリ４３０に含まれるモジュールを実装するプロセッサ命令の記憶のために、ＲＯＭまたはスタティックＲＡＭメモリを利用し得る。あるいは、プロセッサ命令は、デバイス４００に組み込まれまたは外部デバイスポートを介して接続される、ディスク記憶デバイスから、システムの起動時に読み取られ得る。次いで、プロセッサ命令が、プロセッサによる実行を支援するためにＲＡＭにロードされ得る。たとえば、ワーキングメモリ４０５はＲＡＭメモリであってよく、命令はプロセッサ４２０による実行の前にワーキングメモリ４０５にロードされる。
【００４６】
図５は、図４の撮影制御モジュール４７０の一実施形態内で実行される処理５００を示すフローチャートである。処理５００は、立体画像ペアの２つの画像を整合し、２つの画像の間のコンバージェンスポイントを調整するために、いくつかの実施形態において使用され得る。処理５００は、開始ブロック５０５において開始し、次いでブロック５１０に移行し、立体画像ペアの第１の画像が撮影される。第１の画像は、撮像センサ制御モジュール４３５の内部のサブルーチンを呼び出す、撮影制御モジュール４７０中の命令によって撮影され得る。撮像センサ制御モジュール４３５は次いで、場合によってはオペレーティングシステムモジュール４７５を介して、撮像センサ４１５または４１６を制御して画像を撮影するように、プロセッサを構成することができる。次いで、処理５００はブロック５１５に移動し、立体画像ペアの第２の画像が撮像センサの１つによって撮影される。次いで、処理５００はブロック５２０に移動し、命令が立体画像ペアの第１の画像と第２の画像とを整合する。２つの画像の整合は、ｘ軸、ｙ軸、またはｚ軸の周りでの不整合を修正するために、立体画像ペアの１つの画像のみをずらすこと、または切り取ることを含み得る。ｘ軸、ｙ軸、またはｚ軸の周りでの回転方向の不整合はまた、１つのみまたは両方の画像を回転することによって、またはそれらを幾何学的に修正することによって、修正され得る。画像の不整合は、図４に示される画像整合モジュール５４０に含まれる命令によって実行され得る。これらの命令は、第２の画像に対して整合される第１の整合された画像を作成するために、第１の画像をずらしまたは切り取るための１つの手段を表す。
【００４７】
画像が整合された後、処理５００はブロック５４０に移動する。立体画像ペアを撮影するために使用される撮像環境および撮影者の目的によっては、立体画像ペアの画像のコンバージェンスポイントを調整する必要があり得る。所望のコンバージェンスポイントに基づいて、立体画像ペアの２つの画像の間の目標の水平視差が求められ得る。目標の水平視差は、所望のコンバージェンスポイントを実現するために立体画像ペアの２つの画像の間で要求される水平移動の量を、ピクセル単位で表す。たとえば、コンバージェンスポイントに基づく目標の水平視差は、いくつかの実施形態では、以下の式（１）によって求められ得る。
【数１】
0006022577.tif 000002
【００４８】
ただし、
Ｂは、カメラ基線長（２つのレンズの間の距離）であり、
ｆは、ピクセル単位の焦点距離であり、
深度は、立体画像ペアの２つの画像中の最も近いオブジェクトの深度である。
【００４９】
式＃１において見られるように、目標の水平画像視差は、いくつかのパラメータに基づいて少なくとも求められ得る。たとえば、カメラ基線長の長さが考慮され得る。カメラ基線長は、２つの画像を撮影するために使用される２つのレンズの間の距離である。加えて、デバイス４００がディスプレイ画面を装備する場合、その画面のサイズも、または、デバイス４００が外部のディスプレイに立体画像ペアを表示するように構成される場合、外部のディスプレイ画面のサイズも、考慮され得る。立体画像ペアの典型的な視距離も考慮され得る。これらの属性の組合せも、所望のコンバージェンスポイントを有する立体画像をもたらす第１の画像と第２の画像の間の視差を計算するために考慮され得る。ブロック５４０は、図４に示される、デバイス４００のコンバージェンス調整モジュール４５５または撮影制御モジュール４７０に含まれる命令によって実行され得る。これらのモジュール中の命令は、所望のコンバージェンスポイントに基づいて水平画像視差を求めるための１つの手段を表す。
【００５０】
目標の水平視差がブロック５４０において求められた後、処理５００はブロック５４２に移動し、第１の画像および第２の画像が、目標の水平視差を実現しそれによって所望のコンバージェンスポイントを得るために調整される。たとえば、ブロック５４２は、立体画像ペアの１つまたは両方の画像の外側寸法を切り取って、各画像内のオブジェクトの相対位置を水平方向にずらすことができる。ブロック５４２のある具体的な実施形態が、以下で図６においてさらに説明される。ブロック５４２は、図４に示されるコンバージェンス調整モジュール４５５に含まれる命令によって実施され得る。
【００５１】
適切な調整が加えられると、処理５００はブロック５４５に移動し、ブロック５４２において調整された画像に基づいて立体画像ペアが生成される。一実施形態では、ブロック５４５は、符号化モジュール４６０中の命令によって実行され得る。したがって、符号化モジュール４６０中の命令は、立体画像ペアを生成するための１つの手段を表す。元の第１の画像および第２の画像も使用され得る。次いで、処理５００は終了状態５５０に移行する。
【００５２】
図６は、図５のブロック５４２において実施され得るような、立体画像ペアを調整する方法の一実施形態を示すフローチャートである。ある実施形態では、ブロック５４２は、図４に示されるコンバージェンス調整モジュール４５５に含まれる命令によって実施され得る。処理５４２は開始ブロック６０５において開始し、次いで判定ブロック６１０に移動し、２つの画像を所望のコンバージェンスポイントへと調整するために必要な目標の水平視差（Ｄ）がコンバージェンス許容量と比較される。
【００５３】
処理５４２は、コンバージェンス許容量と切り取り許容量とを参照する。ある実施形態では、図６の切り取り許容量は、立体画像ペアの第２の画像に対して第１の画像を整合するために切り取られる、第１の画像の寸法の最大の割合であり得る。いくつかの実施形態は、画像の水平方向の寸法と垂直方向の寸法の両方に対する、切り取り許容量を含み得る。切り取り許容量は、立体画像ペアの画像の各寸法に対して、同一であってもよく異なっていてもよい。ある実施形態では、コンバージェンス許容量は、コンバージェンス調整を実行するために切り取られ得る、画像の水平解像度の最大の割合であり得る。コンバージェンス調整は一般に水平方向の次元において実行されるので、垂直方向の次元に対するコンバージェンス許容量はないことがある。いくつかの実施形態では、コンバージェンス許容量は、水平方向の画像解像度の６％、７％、８％、９％、または１０％であってよい。いくつかの実施形態では、切り取り許容量およびコンバージェンス許容量は等しくてよい。いくつかの実装形態では、切り取り許容量はコンバージェンス許容量より大きくてよい。
【００５４】
いくつかの実装形態では、切り取り許容量およびコンバージェンス許容量は、特定の次元におけるピクセルの数によって表され得る。他の実装形態は、これらの許容量を、特定の次元の割合として表し得る。いずれの表現でも、開示される方法は等価である。たとえば、水平解像度の１０％のコンバージェンス許容量は、幅が１１５２ピクセルの画像に対しては水平方向の１１５ピクセルを表し得る。
【００５５】
２つの画像の間のコンバージェンスポイントを調整するために、立体画像ペア中の各画像の外側寸法を「垂直方向に」切り取ることが必要であり得る。立体画像の第１の画像の外側寸法は、立体画像ペアの第２の画像の画像データと重複しない画像データの境界を示す寸法である。言い換えると、画像の外側寸法は、立体画像が見る者によって見られるときの、立体画像ペアの境界を形成し得る。立体画像の第１の画像の内側寸法は、立体画像ペアの第２の画像の画像データと重複し得る画像データの境界を示す寸法である。画像の内側寸法は、画像の外側寸法と反対である。垂直方向の切り取り動作は通常、画像の特定の「列」内のすべてのピクセルを除去するので、水平解像度の１０パーセント（１０％）のコンバージェンス許容量は、コンバージェンス調整に対して、総画像面積の１０％の損失を許容し得る。
【００５６】
判定ブロック６１０において、必要とされる目標の水平視差がコンバージェンス許容量より大きくないと判定されると、処理５４２はブロック６１５に移動する。
【００５７】
ブロック６１５において、第２の画像は、第１の整合された画像としても知られている、整合後の第１の画像の水平方向の幅と一致するように、各側部が切り取られる。第２の画像が切り取られた後、処理５４２はブロック６７０に移動し、第１の整合された画像および第２の画像の外側寸法は、目標の水平視差の半分の幅だけ切り取られる。目標の水平視差は、画像が互いにずらされるべき量をピクセル単位で表し得るので、ピクセル単位で目標の水平視差の半分が、各画像の外側寸法から切り取られる。各画像の外側寸法はさらに、コンバージェンス許容量の半分の幅だけ、垂直方向に切り取られる。処理５４２は次いでブロック６８０に移動し、各画像の内部寸法は、コンバージェンス許容量の半分から視差の半分を引いた幅だけ、垂直方向に切り取られる。次いで、処理５４２はブロック６５０に移動する。
【００５８】
画像を所望のコンバージェンスポイントへと調整するのに必要な水平視差（Ｄ）の量が、判定ブロック６１０においてコンバージェンス許容量より大きい場合、処理５４２はブロック６２０に移動し、第１の整合された画像の外側寸法の垂直方向の切り取りは、コンバージェンス許容量に等しい幅に制限される。いくつかの態様では、第１の整合された画像の外側寸法の垂直方向の切り取りは、目標のまたは最終的な画像サイズの水平解像度の８％と１２％の間の最大値に制限される。他の制限も企図される。たとえば、ある実施形態は、目標画像または最終画像の水平解像度の８％へと、第１の整合された画像の切り取りを制限し得る。次いで、処理５４２はブロック６３０に移動し、第２の画像が、その外側寸法において、目標の水平視差（Ｄ）と切り取り許容量の半分を足した分だけ切り取られる。次いで、処理５４２はブロック６４０に移動し、第２の画像の内側寸法がさらに、目標の水平視差（Ｄ）からコンバージェンス許容量を引いた分だけ切り取られる。
【００５９】
次いで、処理５４２はブロック６５０に移動し、２つの画像が、表示のために必要とされる垂直方向の寸法を設定するために調整され得る。これは、第１の整合された画像または第２の画像の水平方向の切り取りを含み得る。次いで、処理５４２は終了ブロック６６０に移動する。
【００６０】
図７は、図５のブロック５２０によって実装されるような、例示的な画像整合処理の結果を示す。この例では、元の画像データの水平解像度の１０％が、画像を整合するために切り取られたと仮定する。たとえば、右の画像の元の水平方向の寸法７０５は１１５２ピクセルであったが、そのピクセルの１０％（１１５ピクセル）が、画像の各側部からの５８ピクセルの除去によって切り取られ（丸め誤差を伴って５８×２＝１１６）、水平方向の寸法７１５を有する画像を生成した。右の画像の垂直方向の寸法７２５は元は１３０６ピクセルであったが、右の画像の頂部および底部から１０９ピクセルが切り取られ、画像を垂直方向に整合し、垂直方向の寸法７３０を形成した。
【００６１】
右の画像は画像を整合するために切り取られたが、左の画像は元の寸法を保っていることに留意されたい。この方法は、画像が整合された後に実行され得るコンバージェンス調整動作を容易にする。
【００６２】
図８〜図１０は、図５および図６の処理５４２を利用するコンバージェンスポイント調整処理の例を示す。これらの調整処理は、図５のブロック５２０の処理および図７で例示される処理のような、画像整合処理の後に行われ得る。図８〜図１０の例は、説明を簡単にするための仮定を含む。たとえば、例では、コンバージェンスポイントを実現するために必要な視差は、上の式（１）によって求められる。
【００６３】
図８は、無限大のコンバージェンスポイントを示すので、水平視差の変更は必要ではなく、それは、示される実施形態では、２つの画像を撮影するために使用される２つのレンズの光軸が平行であるからである。図８の示される実施形態では、右の画像が、以前の画像修正処理によって切り取られている。図７に示されるように、左の画像と右の画像を整合するために、５８ピクセル８０５ａ〜ｂが右の画像の各々の水平方向の側部から除去され、一方、１０９ピクセル８１０ａ〜ｂが右の画像の頂部および底部から除去された。左の画像と右の画像が整合される前および後で、左の画像のサイズまたは解像度が保たれていることに留意されたい。したがって、画像調整の後の画像のサイズは、太線の長方形８２０ａ〜ｂによって示される。
【００６４】
コンバージェンス調整を達成するために、まず目標の水平視差が求められる。コンバージェンスポイントは無限大なので、目標の水平視差は０ピクセルである。次いで、処理５４２のブロック６１０のように、０ピクセルの視差がコンバージェンス許容量と比較される。図８の実施形態では、コンバージェンス許容量は目標の水平解像度の８％であると仮定する。示される画像の目標の水平解像度は９６０ピクセルなので、０ピクセルの視差が９６０の８％（７６．８ピクセル）より小さいことは明らかである。
【００６５】
処理５４２のブロック６１５のように、整合されない画像、または図８の例では左の画像は、修正の後に、以前に整合された画像または右の画像のサイズと一致するように、内側寸法および外側寸法が切り取られる。この場合、左の画像の左側と右側の両方が、８２５ａ〜ｂによって示されるように、５８ピクセル切り取られる。視差は０なので、水平視差の変更を達成するために切り取られるピクセルはない。しかしながら、左の画像および右の画像の外側寸法は、コンバージェンス許容量の半分だけ切り取られる。この場合、示される実施形態は目標の水平解像度の８％というコンバージェンス許容量を使用するので、コンバージェンス許容量は９６０×０．０８＝７７ピクセルである。したがって、８３０ａおよび８３０ｂによって示されるように、両方の画像が、それらの外側寸法から７７／２＝３８ピクセルを切り取られる。次に、左の画像および右の画像の内側寸法も、目標の寸法を満たすように調整される。言及されたように、コンバージェンス許容量は７７ピクセルであると求められたので、内側寸法は、８３０ｂおよび８３０ｄによって示されるように、７７／２−０すなわち３８ピクセルだけ切り取られる。次いで、左の画像と右の画像の垂直方向の寸法が、必要に応じて調整される。示される実施形態では、左の画像は、８３５ａ〜ｂによって示されるように、右の画像の寸法と一致するように、頂部および底部が１０９ピクセル切り取られる。
【００６６】
図９は、コンバージェンスポイント調整処理の別の例を示す。図９は、１メートルのコンバージェンスポイントを仮定する。図７のように、太線の長方形９０１および９０２が、画像が整合された後の画像のサイズを示す。示される実施形態では、右の画像９０１のみが、２つの画像９０１と９０２とを整合するために切り取られた。１メートルのコンバージェンスポイントでは、上の式（１）により、目標の水平視差は３．２５×１９２０／１０００ｃｍすなわち約６２ピクセルである。次に、図６のブロック６１０のように、視差は、コンバージェンス許容量、この場合は、９６０ピクセルという最終的な水平解像度の８％すなわち７７ピクセルと比較される。視差はコンバージェンス許容量より小さいので、図６のブロック６１５に従い、左の画像の左側の寸法および右側の寸法が、上のブロック６１５によって説明されたように、右の画像の整合後の幅と一致するように切り取られる。この場合、９２５ａ〜ｂに示されるように、５８ピクセルが左の画像の左側および右側から切り取られる。次に、図６のブロック６７０に従い、各画像の外側寸法が、視差の半分すなわち３１ピクセル切り取られる。外側寸法は、コンバージェンス許容量の半分という追加の量を切り取られる。図８の説明と同様に、コンバージェンス許容量は７７ピクセルなので、各画像の外側寸法は、追加の３８ピクセルを切り取られ、全体で６９ピクセルを切り取られる。視差の半分を表す３１ピクセルと、視差の半分を表す３８ピクセルとを足したものが、９３０ａ〜ｂによって示される。次に、図６のブロック６８０によって説明されるように、内側寸法が、コンバージェンス許容量の半分から視差の半分を引いた量だけ切り取られる。この例では、コンバージェンス許容量は目標の水平方向の画像解像度の８％なので、各画像の内側寸法は、７７／２−６２／２＝８ピクセルを追加で切り取られる。これは９３５ａ〜ｂとして示される。左の画像も、９４０ａ〜ｂによって示されるように、整合後の右の画像の垂直方向の寸法と一致するように、各々の垂直方向の寸法において１０９ピクセルを切り取られる。
【００６７】
図１０は、コンバージェンスポイント調整処理の別の例を示し、コンバージェンスポイントは５０センチメートルに設定される。図８および図９のように、太線の長方形１００１および１００２が、画像が整合された後の画像のサイズを示す。示される実施形態では、右の画像１００２のみが、２つの画像１００１と１００２とを整合するために切り取られた。コンバージェンスポイントを調整するために、コンバージェンスポイントに基づく目標の水平視差が求められ得る。上の式（１）を使用すると、５０センチメートルのコンバージェンスポイントは、３．２５×１９２０／５０ｃｍすなわち１２４．８ピクセルの視差を与える。図６のブロック６１０に従い、１２４．８ピクセルの視差はコンバージェンス許容量と比較され、このコンバージェンス許容量は、示される実施形態では、水平解像度の８％すなわち７７ピクセルである。
【００６８】
目標の視差はコンバージェンス許容量（示される実施形態では、目標の水平解像度の８％）より大きいので、図６のブロック６２０は、右の画像の外側寸法の切り取りが、目標の水平解像度またはコンバージェンス許容量の８％という最大値に制限されることを示す。図１０の例では、１０１０によって示されるように、これは７７ピクセルである。図６のブロック６３０に従い、修正されない左の画像の外側寸法が次いで、視差（１２５ピクセル）と切り取り許容量の半分を足した量だけ切り取られる。切り取り許容量は、示される実施形態では始めの水平方向の画像解像度の１０％なので、切り取り許容量は、１１５２の１０％すなわち１１５ピクセルである。１１５２ピクセルの５％は約５８ピクセルであり、左の修正されない画像１００１の外側寸法は、１０２０によって示されるように、１２５＋５８＝１８３ピクセル切り取られることになる。図６のブロック６４０に従い、左の画像の内側寸法が、視差から切り取り許容量を引いた量だけ切り取られる。この例では、切り取り許容量は、１１５２ピクセルの水平方向の画像解像度の１０％すなわち１１５ピクセルである。上で説明されたように視差は１２４．８ピクセルなので、左の画像は、１０３０によって示されるように、１２５−１１５すなわち１０ピクセル右側を切り取られる。各画像の垂直方向の寸法が、必要に応じて調整され得る。この場合、１０４０ａ〜ｂによって示されるように、右の画像の垂直方向の寸法と一致するように、１０９ピクセルが左の画像の頂部および底部から切り取られる。
【００６９】
さらに、本明細書で開示される実施形態に関連して説明される様々な例示的な論理ブロック、モジュール、回路、および処理ステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得ることを、当業者は諒解するであろう。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的なコンポーネント、ブロック、モジュール、回路、およびステップを、上記では概してそれらの機能に関して説明した。そのような機能をハードウェアとして実装するか、ソフトウェアとして実装するかは、具体的な適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明された機能を具体的な適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本発明の範囲からの逸脱を生じるものと解釈すべきではない。ある部分、または一部は、全体と等しい、またはそれよりも少ない何かを備え得ることを、当業者は認識するだろう。たとえば、ピクセルの集合の一部分は、ピクセルの部分集合を指し得る。
【００７０】
本明細書で開示された実装形態に関連して説明された様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のプログラマブル論理デバイス、個別ゲートまたはトランジスタロジック、個別ハードウェアコンポーネント、あるいは本明細書で説明される機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサは、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。
【００７１】
本明細書で開示される実装形態に関して説明される方法または処理のステップは、ハードウェア、プロセッサによって実行されるソフトウェアモジュール、またはこの２つの組合せにおいて直接具現化され得る。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、または当技術分野で知られている任意の他の形態の非一時的記憶媒体中に常駐し得る。例示的なコンピュータ可読記憶媒体は、プロセッサがコンピュータ可読記憶媒体から情報を読み取り、コンピュータ可読記憶媒体に情報を書き込むことができるようにプロセッサに結合される。代替として、記憶媒体はプロセッサと一体であってもよい。プロセッサおよび記憶媒体はＡＳＩＣ中に常駐し得る。ＡＳＩＣはユーザ端末、カメラ、または他のデバイスの中に常駐し得る。代替として、プロセッサおよび記憶媒体は、ユーザ端末、カメラ、または他のデバイスの中に個別コンポーネントとして常駐し得る。
【００７２】
本明細書には、参照のための、および様々なセクションを見つけるのを助けるための、見出しが含まれる。これらの見出しは、見出しに関連して説明された概念の範囲を制限することを意図していない。そのような概念は、明細書全体にわたり、適用可能であり得る。
【００７３】
開示された実装形態の前述の説明は、当業者が本発明を実施または使用できるようにするために与えられたものである。これらの実装形態の様々な変更形態は、当業者には容易に明らかになるものであり、本明細書で定義された一般原理は、本発明の趣旨または範囲から逸脱することなく他の実装形態に適用され得る。したがって、本発明は、本明細書で示された実装形態に限定されるものではなく、本明細書で開示された原理および新規の特徴に合致する最も広い範囲が与えられるべきである。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
所望のコンバージェンスポイントを有する立体画像ペアを記憶する方法であって、
第１の撮像センサによって第１の画像を撮影することと、
第２の撮像センサによって第２の画像を撮影することと、
前記第１の画像が前記第２の画像と整合するように、前記第１の画像を変更することによって、第１の整合された画像を形成することと、
前記立体画像ペアの前記所望のコンバージェンスポイントに基づいて、前記第１の整合された画像と前記第２の画像との間の目標の水平画像視差を求めることと、
前記目標の水平画像視差が最終的な画像の水平解像度のある割合よりも大きい場合に前記第１の整合された画像の外側寸法の切り取りを前記最終的な画像の水平解像度のある割合へと制限することによって、前記第１の整合された画像と前記第２の画像とを調整して前記所望のコンバージェンスポイントを得ることと、
前記調整された第１の整合された画像および第２の画像から導出された画像を含む、立体画像ペアをデータ記憶装置に記憶することとを備える、方法。
［Ｃ２］
前記目標の水平画像視差が前記最終的な画像の水平解像度の前記割合よりも大きい場合、前記第１の整合された画像の内側寸法を維持することによって、前記第１の整合された画像と前記第２の画像とを調整することをさらに備える、請求項１に記載の方法。
［Ｃ３］
前記第２の画像のみを切り取ることによって前記第１の整合された画像と前記第２の画像とを調整して、前記第１の整合された画像と前記第２の画像との間の前記目標の水平視差を達成することをさらに備える、請求項２に記載の方法。
［Ｃ４］
前記目標の水平画像視差が所定の閾値以下であるとき、前記目標の水平画像視差の少なくとも半分だけ、前記第１の整合された画像および前記第２の画像の前記外側寸法を切り取ることをさらに備える、請求項１に記載の方法。
［Ｃ５］
前記第２の画像の前記外側寸法が、前記目標の水平画像視差が所定の閾値よりも大きい場合に少なくとも前記目標の水平画像視差だけ切り取られる、請求項３に記載の方法。
［Ｃ６］
前記第１の画像または前記第２の画像から導出された少なくとも１つの画像を切り取って、目標の寸法を実現することをさらに備える、請求項１に記載の方法。
［Ｃ７］
第１の撮像センサを通じて前記第１の画像を撮影することと、第２の撮像センサを通じて前記第２の画像を撮影することとをさらに備える、請求項１に記載の方法。
［Ｃ８］
前記第１の整合された画像または前記第２の画像から導出された画像を、電子ディスプレイ上に、前記最終的な画像の水平解像度で表示することをさらに備える、請求項１に記載の方法。
［Ｃ９］
前記第１の画像および前記第２の画像の前記整合が、前記第１の画像を幾何学的に回転することを含む、請求項１に記載の方法。
［Ｃ１０］
前記第１の整合された画像と前記第２の画像とをデータストアに記憶することをさらに備える、請求項１に記載の方法。
［Ｃ１１］
前記割合が８パーセントである、請求項１に記載の方法。
［Ｃ１２］
所望のコンバージェンスポイントを有する立体画像ペアを記憶する方法であって、
第１の撮像センサによって第１の画像を撮影することと、
第２の撮像センサによって第２の画像を撮影することと、
前記第１の画像を調整して、前記第２の画像と整合された第１の調整された画像を作成することと、
前記第１の調整された画像よりも大きく前記第２の画像を水平方向にずらし、コンバージェンス調整を達成することと、
前記水平方向にずらされた画像から導出された画像を含む立体画像ペアをデータストアに記憶することとを備える、方法。
［Ｃ１３］
立体画像ペアのコンバージェンスポイントを調整するための装置であって、
立体画像ペアの第１の画像を撮影するように構成された第１の撮像センサと、
立体画像ペアの第２を撮影するように構成された第２の撮像センサと、
前記第１の撮像センサおよび前記第２の撮像センサに結合される、電子プロセッサと、
制御モジュールとを備え、前記制御モジュールが、
前記第１の画像をずらし、または切り取って、前記第１の画像と前記第２の画像とを整合しつつ、前記第２の画像を維持し、
前記立体画像ペアの所望のコンバージェンスポイントに基づいて、目標の水平画像視差を求め、
前記目標の水平画像視差が所定の閾値よりも大きい場合に前記第１の画像の外側寸法の切り取りを前記所定の閾値へと制限することによって、前記立体画像ペアを調整して前記所望のコンバージェンスポイントを得るように構成される、装置。
［Ｃ１４］
前記制御モジュールがさらに、前記目標の水平画像視差が前記所定の閾値より大きい場合に前記第１の画像の内側寸法を維持することによって前記立体画像ペアを調整するように構成される、請求項１３に記載の装置。
［Ｃ１５］
前記制御モジュールがさらに、前記第２の画像を切り取ることによって前記立体画像ペアを調整して、前記第２の画像と前記第１の画像との間の前記目標の水平視差を達成するように構成される、請求項１４に記載の装置。
［Ｃ１６］
前記制御モジュールがさらに、前記目標の水平画像視差が前記所定の閾値以下である場合に前記目標の水平画像視差の少なくとも半分だけ前記第１の画像および前記第２の画像の前記外側寸法を切り取るように構成される、請求項１３に記載の装置。
［Ｃ１７］
前記第２の画像の前記外側寸法が、前記目標の水平画像視差が前記所定の閾値よりも大きい場合に少なくとも前記目標の水平画像視差だけ切り取られる、請求項１５に記載の装置。
［Ｃ１８］
前記制御モジュールがさらに、前記第２の画像または前記第１の画像から導出される少なくとも１つの画像を切り取って、目標の寸法を実現するように構成される、請求項１３に記載の装置。
［Ｃ１９］
前記第１の画像および前記第２の画像の前記整合が、前記第１の画像を幾何学的に回転することを含む、請求項１３に記載の装置。
［Ｃ２０］
前記制御モジュールがさらに、前記第１の画像および前記第２の画像から導出された立体画像ペアをデータストアに記憶するように構成される、請求項１３に記載の装置。
［Ｃ２１］
前記所定の閾値が前記水平方向の画像解像度の８％である、請求項１３に記載の装置。
［Ｃ２２］
ワイヤレス電話ハンドセットをさらに備える、請求項１３に記載の装置。
［Ｃ２３］
立体画像ペアのコンバージェンスポイントを調整するための装置であって、
立体画像ペアの第１の画像と第２の画像とを提供するための手段と、
前記第１の画像をずらし、または切り取って、前記第１の画像と前記第２の画像とを整合しつつ、前記第２の画像を維持するための手段と、
前記立体画像ペアの所望のコンバージェンスポイントに基づいて、目標の水平画像視差を求めるための手段と、
前記目標の水平視差が所定の閾値よりも大きい場合に前記第１の画像の外側寸法の切り取りを前記所定の閾値へと制限することによって立体画像ペアを調整して、前記所望のコンバージェンスポイントを得るための手段とを備える、装置。
［Ｃ２４］
プロセッサによって実行されると、前記プロセッサに、立体画像ペアのコンバージェンスポイントを調整する方法を実行させる命令を備える、非一時的コンピュータ可読媒体であって、前記方法が、
撮像センサにより、立体画像ペアの第１の画像を撮影することと、
撮像センサにより、前記立体画像ペアの第２の画像を撮影することと、
前記第１の画像をずらし、または切り取って、前記第１の画像と前記第２の画像とを整合しつつ、前記第２の画像を維持することと、
前記立体画像ペアの所望のコンバージェンスポイントに基づいて、目標の水平画像視差を求めることと、
前記目標の水平画像視差が所定の閾値よりも大きい場合に前記第１の画像の外側寸法の切り取りを前記所定の閾値へと制限することとを備える、非一時的コンピュータ可読媒体。
【図１】
0006022577.tif 000003
【図２】
0006022577.tif 000004
【図３】
0006022577.tif 000005
【図４】
0006022577.tif 000006
【図５】
0006022577.tif 000007
【図６】
0006022577.tif 000008
【図７】
0006022577.tif 000009
【図８】
0006022577.tif 000010
【図９】
0006022577.tif 000011
【図１０】
0006022577.tif 000012