(57)【要約】      （修正有）【課題】レンズを有するカメラを用いた立体画像撮影において、ズーム時の各レンズの光軸の移動量を算出して補正する。【解決手段】光学ズームレンズを有するカメラの光軸の移動量の算出方法であって、光学ズームの所定レベルでテスト画像を取得し、上記テスト画像の少なくとも一部にデジタルズームを適用し、上記デジタルズームされたテスト画像において複数のテスト点を選択し、光学ズームレベルを所定量だけ変更し、かつデジタルズームレベルを変更し、異なるズームレベルでテスト画像を取得し、デジタルズームされたテスト画像を分析し、上記異なるズームレベルでデジタルズームされたテスト画像の少なくとも一部から上記複数のテスト位置のうちの２つを検索し、上記テスト点の位置を、上記光学ズームされたテスト画像内の対応の点に変換し、テスト画像内の対応のテスト点間の位置の差に基づいて上記光軸の移動量を算出する算出方法が提供される。【選択図】図３
2012050082.tif 000002
【特許請求の範囲】
【請求項１】
光学ズームレンズを有するカメラの光軸の移動量の算出方法であって、
光学ズームの所定レベルでテスト画像を取得し、
前記テスト画像の少なくとも一部にデジタルズームを適用し、
前記デジタルズームされたテスト画像において複数のテスト点を選択し、
光学ズームレベルを所定量だけ変更し、かつデジタルズームレベルを変更し、
異なるズームレベルでテスト画像を取得し、
前記異なるズームレベルでデジタルズームされたテスト画像を分析し、
前記異なるズームレベルでデジタルズームされたテスト画像の少なくとも一部から前記複数のテスト点のうちの２つを検索し、
前記デジタルズームされたテスト画像における前記テスト点の位置を、前記光学ズームされたテスト画像内の対応の点に変換し、
前記光学ズームされたテスト画像内の対応のテスト点間の位置の差に基づいて前記光軸の移動量を算出する
算出方法。
【請求項２】
請求項１に記載の算出方法であって、
前記光学ズームの所定レベルは初期では、最大ズームレベルである
算出方法。
【請求項３】
請求項２に記載の算出方法であって、
最大光学ズームレベルの前記デジタルズーム画像にぼかし要素（blurring component）を適用するステップをさらに含み、
ぼかし量は前記最大光学ズームレベルで適用される光学ズーム量に基づく
算出方法。
【請求項４】
請求項１に記載の算出方法であって、
前記テスト画像が取得されるのに先立って、ズーム値がそのとり得る値の１／６４だけ変更される
算出方法。
【請求項５】
請求項１に記載の算出方法であって、
２つの異なる光学ズーム画像において対応するテスト点の位置間に線を画定し、当該線の対応の交点間の位置の差に基づいて前記光軸の移動量を算出するステップをさらに含む
算出方法。
【請求項６】
請求項５に記載の算出方法であって、
前記交点に重み付けを適用するステップをさらに含み、
前記重み付けは、前記交差する線がなす角度に従って決定される
算出方法。
【請求項７】
光軸の移動を補正するカメラの較正方法であって、
請求項１に従って光軸の移動量を算出し、
前記カメラによって捕捉される前記画像位置に、前記算出された光軸の移動量に従って算出される補正係数を適用する
較正方法。
【請求項８】
コンピュータに、請求項１に記載の算出方法の各ステップを実行させるプログラム。
【請求項９】
請求項８に記載のプログラムが記録されたコンピュータ可読記録媒体。
【請求項１０】
光学ズームレンズを有するカメラの光軸の移動量の算出装置であって、
所定量だけ変更可能な光学ズームの所定レベルでテスト画像を取得し、かつ前記所定量だけ変更されて異なるズームレベルでテスト画像を取得する画像取得装置と、
前記テスト画像の少なくとも一部にデジタルズームを適用するデジタルズーム装置と、
前記デジタルズームされたテスト画像における複数のテスト点を選択するセレクタと、
前記異なるズームレベルでデジタルズームされたテスト画像を分析する分析器と、
前記異なるズームレベルでデジタルズームされたテスト画像の少なくとも一部から前記複数のテスト点のうちの２つを検索する検索装置と、
前記デジタルズームされたテスト画像における前記テスト点の位置を、前記光学ズームされたテスト画像内の対応の点に変換する変換器と、
前記光学ズームされたテスト画像内の対応のテスト点間の位置の差に基づいて前記光軸の移動量を算出する算出器とを具備する
算出装置。
【請求項１１】
請求項１０に記載の算出装置であって、
前記光学ズームの所定レベルは初期では、最大ズームレベルである
算出装置。
【請求項１２】
請求項１１に記載の算出装置であって、
最大光学ズームレベルの前記デジタルズーム画像にぼけ要素を適用するぼかし装置をさらに具備し、
ぼかし量は前記最大光学ズームレベルで適用される光学ズーム量に基づく
算出装置。
【請求項１３】
請求項１０に記載の算出装置であって、
前記テスト画像が取得されるのに先立って、ズーム値がそのとり得る値の１／６４だけ変更される
算出装置。
【請求項１４】
請求項１０に記載の算出装置であって、
２つの異なる光学ズーム画像におけるテスト点の対応の位置間に線を画定し、前記線の対応の交点間の位置の差に基づいて前記光軸の移動量を算出する線画定器をさらに具備する
算出装置。
【請求項１５】
請求項１４に記載の算出装置であって、
前記交点に重み付けが適用され、
前記重み付けは、前記交差する線がなす角度に従って決定される
算出装置。
【請求項１６】
光軸の移動を補正するカメラの較正装置であって、
請求項１０に記載の算出装置と、
前記カメラによって捕捉される前記画像位置に、前記算出された光軸の移動量に従って算出される補正係数を適用する適用装置とを具備する
較正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光軸移動量の算出方法および光軸移動量の算出装置に関する。
【背景技術】
【０００２】
立体画像を作成する際には、２枚のレンズを有するカメラシステムを用いて１つのシーンを捕捉する必要がある。これらのカメラレンズは、捕捉する立体画像にとって適切な水平視差以外は同一であるのが理想的である。さらに、複数のカメラを撮影に用いるときには、当該カメラとそれらの各レンズが同一の動作をすることが重要である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１６０４２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の実施形態によって対処される問題は、ズーム時の各レンズの光軸の変化に関する。これは、光軸の変化量がレンズ毎に異なるため、立体画像の撮影時に問題となっている。係る差に起因して、立体画像撮影用のカメラシステムがズームインまたはズームアウトを行うときに相対的な視差が変化する。これは、視聴者に不快感を与える。
【０００５】
本発明の目的は、上記問題に対処することである。
【課題を解決するための手段】
【０００６】
本発明の一態様によれば、光学ズームレンズを有するカメラの光軸の移動量の算出方法であって、光学ズームの所定レベルでテスト画像を取得し、上記テスト画像の少なくとも一部にデジタルズームを適用し、上記デジタルズームされたテスト画像において複数のテスト点を選択し、光学ズームレベルを所定量だけ変更し、かつデジタルズームレベルを変更し、異なるズームレベルでテスト画像を取得し、上記異なるズームレベルの上記デジタルズームされたテスト画像を分析し、上記異なるズームレベルの上記デジタルズームされたテスト画像の少なくとも一部から上記複数のテスト位置のうちの２つを検索し、上記デジタルズームされたテスト画像における上記テスト点の位置を、上記光学ズームされたテスト画像内の対応の点に変換し、上記光学ズームされたテスト画像内の対応のテスト点間の位置の差に基づいて上記光軸の移動量を算出する算出方法が提供される。
【０００７】
これによって、光学軸の移動量を定量化し、レンズのユーザに提供することができる。
【０００８】
上記光学ズームの所定レベルは初期では、最大ズームレベルであってもよい。
【０００９】
最大光学ズームレベルの上記デジタルズーム画像にぼかし要素（blurring component）を適用するステップをさらに含んでもよく、ぼかし量は上記最大光学ズームレベルで適用される光学ズーム量に基づく。
【００１０】
上記テスト画像が取得されるのに先立って、ズーム値がそのとり得る値の１／６４だけ変更されてもよい。
【００１１】
２つの異なる光学ズーム画像において対応するテスト点の位置間に線を画定し、当該線の対応の交点間の位置の差に基づいて上記光軸の移動量を算出するステップをさらに含んでもよい。
【００１２】
上記交点に重み付けを適用するステップをさらに含んでもよく、上記重み付けは、上記交差する線がなす角度に従って決定される。
【００１３】
別の態様によれば、光軸の移動を補正するカメラの較正（キャリブレーション）方法であって、上述した方法で光軸の移動量を算出し、上記カメラによって捕捉される上記画像位置に、上記算出された光軸の移動量に従って算出される補正係数を適用する較正方法が提供される。
【００１４】
さらに別の態様によれば、コンピュータに、上記算出方法を実行させるプログラムが提供される。
【００１５】
さらに別の態様によれば、光学ズームレンズを有するカメラの光軸の移動量の算出装置であって、所定量だけ変更可能な光学ズームの所定レベルでテスト画像を取得し、かつ上記所定量だけ変更されて異なるズームレベルでテスト画像を取得する画像取得装置と、上記テスト画像の少なくとも一部にデジタルズームを適用するデジタルズーム装置と、上記デジタルズームされたテスト画像における複数のテスト点を選択するセレクタと、上記異なるズームレベルの上記デジタルズームされたテスト画像を分析する分析器と、上記異なるズームレベルの上記デジタルズームされたテスト画像の少なくとも一部から上記複数のテスト位置のうちの２つを検索する検索装置と、上記デジタルズームされたテスト画像における上記テスト点の位置を、上記光学ズームされたテスト画像内の対応の点に変換する変換器と、上記光学ズームされたテスト画像内の対応のテスト点間の位置の差に基づいて上記光軸の移動量を算出する算出器とを具備する算出装置が提供される。
【００１６】
上記光学ズームの所定レベルは初期では、最大ズームレベルであってもよい。
【００１７】
最大光学ズームレベルの上記デジタルズーム画像にぼけ要素を適用するぼかし装置をさらに具備してもよく、ぼかし量は上記最大光学ズームレベルで適用される光学ズーム量に基づく。
【００１８】
上記テスト画像が取得されるのに先立って、ズーム値がそのとり得る値の１／６４だけ変更されてもよい。
【００１９】
２つの異なる光学ズーム画像におけるテスト点の対応の位置間に線を画定し、上記線の対応の交点間の位置の差に基づいて上記光軸の移動量を算出する線画定器をさらに具備してもよい。
【００２０】
上記交点に重み付けが適用されてもよく、上記重み付けは、上記交差する線がなす角度に従って決定される。
【００２１】
さらに別の態様によれば、光軸の移動を補正するカメラの較正装置であって、上記算出装置と、上記カメラによって捕捉される上記画像位置に、上記算出された光軸の移動量に従って算出される補正係数を適用する適用装置とを具備する較正装置が提供される。
【００２２】
本発明の上記および他の目的、特徴、利点は、添付の図面と関連して読まれる例示的な実施形態の以下の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施形態によるカメラテストシステムを示す図である。
【図２】図１のより詳細な図である。
【図３】図１および図２の較正装置の動作を説明するフローチャートである。
【発明を実施するための形態】
【００２４】
図１は、本発明の実施形態によるカメラテストシステム１００を示す。カメラテストシステム１００は、立体画像を捕捉するための、カメラリグ（図示せず）上に載置される左カメラ１１０と右カメラ１１５とを有する。左カメラ１１０および右カメラ１１５は、テスト画像１０５に焦点を合わせられる。左カメラ１１０および右カメラ１１５は、カメラテストシステム１００を用いて較正（キャリブレーション）される。較正装置１２５が左カメラ１１０および右カメラ１１５のそれぞれに取り付けられる。較正装置１２５については後で詳述する。較正装置１２５にはユーザ端末１２０も取り付けられる。当該ユーザ端末１２０は、グラフィカルユーザインタフェース（図示せず）を表示する。ユーザは、ユーザ端末１２０によって較正装置１２５を制御することができる。
【００２５】
図２は、図１のより詳細な図である。図２では、同様の参照番号は同様の特徴を示しており、これらの特徴についてはこれ以上詳しく説明しない。図２から明らかなように、ユーザは、ユーザ端末１２０、具体的には、マウス１２０Ａおよびキーボード（図示せず）を用いて較正装置１２５と情報をやりとりすることができる。
【００２６】
較正装置１２５は、左カメラ１１０および右カメラ１１５に接続されるカメラアダプタ２０５を有する。カメラアダプタ２０５は、左カメラ１１０および右カメラ１１５との間でデータのやりとりをする。較正プロセッサ２１０がカメラアダプタ２０５に接続される。さらに、ユーザ端末アダプタ２１５がユーザ端末１２０に接続され、当該ユーザ端末１２０に対してデータのやりとりをする。較正プロセッサ２１０は、ユーザ端末アダプタ２１５にも接続される。ユーザ端末１２０ならびに左カメラ１１０および右カメラ１１５は、ケーブルを用いて較正装置１２５に接続される。ケーブルを介して送られるＨＤ−ＳＤＩデータには、映像およびレンズのメタデータ（焦点距離および１６ビットズーム位置）が含まれる。ズームは、ズームコントローラによって制御される。しかし、本発明は、これに限定されず、これらの装置のいずれかをワイヤレスでまたはネットワークを介して接続してもよい。これは、サッカーの試合等の生放送の前に会場でカメラの動作をセットアップする場合に特に有用であり得る。
【００２７】
詳細には示していないが、記憶媒体が較正装置１２５に取り付けられることが想定される。記憶媒体は、較正装置１２５に内蔵されてもよいし、または、例えばネットワークを介して配置される等、較正装置１２５の遠隔にあってもよい。記憶媒体は、コンピュータプログラムを記憶するように構成されることが想定される。コンピュータプログラムには、動作時に較正装置１２５を制御するコンピュータ可読指示が含まれる。つまり、コンピュータプログラムによって較正プロセッサ２１０が制御される。記憶媒体は、光学的に可読な媒体または磁気媒体としてもよく、または実際にはＳＳＭ（Solid State Medium;半導体メモリ）媒体としてもよい。
【００２８】
図２のカメラテストシステム１００は、テスト画像１０５に焦点を合わせた左カメラ１１０および右カメラ１１５を示す。テスト画像１０５は任意の静止画像とすることができる。本発明の実施形態では、左カメラ１１０および右カメラ１１５に新たなレンズセットを設置した直後に較正が行われることになっているが、本発明はこれに限定されない。較正は、いつ如何なる場所においても行うことができる。例えば、「オンセット」で、つまり、カメラを動作させる直前に較正を行うことも可能である。
【００２９】
次に、２台のカメラのうち一方のカメラの較正について図３を参照して説明する。他方のカメラも同様に較正されるが、ここでは、説明の便宜上、１台のカメラのみについて説明する。
【００３０】
図３には、較正装置１２５の動作を説明するフローチャート３００を示している。較正の前にカメラをセットアップし、テスト画像１０５に焦点を合わせる。ステップＳ３０５において較正処理を開始する。較正装置１２５によって測定を行う前に、カメラの光学ズームを最大レベルに設定する（ステップＳ３１０）。これは、ユーザがカメラを触って手動で行ってもよいし、ユーザ端末１２０を通じて行ってもよい。光学ズームは、あらゆるレベルに設定可能であり、光学ズームを最大レベルに設定しなくてもよいことに留意されたい。
【００３１】
光学ズームを最大レベルに設定した後、カメラによって生成されるズーム値（zoom reading）をとる。カメラは、光学ズームを補償するようにデジタルズームを設定するのに必要とされる焦点距離（ｍｍ）と、ズームの全範囲において０から０ｘｆｆｆｆに及ぶズーム位置との２つの数値を生成する。このデータは較正装置１２５に供給される。
【００３２】
続いて、光学ズーム画像の或る領域を、較正処理中にデジタルズーム処理する領域としてユーザがハイライトする（ステップＳ３２０）。換言すると、デジタルズーム処理では、後述するように、光学ズームレベルを下げながら、この光学ズームレベルの低下に対応させてレベルを上げたデジタルズームを当該選択領域に適用する。光学ズームレベルを下げるとデジタルズーム領域の解像度が徐々に下がるため、この段階で、デジタルズーム画像にぼかしを適用する（ステップＳ３２５）。ぼかし量は、光学ズームレベルを下げる際に生じるぼけ量と同じである。これは、デジタルズーム画像において多数の点の位置をトラッキングする必要があるためである。このように処理の始めにぼかしを適用することによって、これらの点のトラッキングが容易になる。これは、トラッキングのために選択される複数の任意の点は、最大ズームレベルで鮮明である一方、最小ズームレベルでも依然として可視である可能性が高いためである。
【００３３】
続いて、ぼかしを適用したデジタルズーム画像において所定数の点を選択する（ステップＳ３３０）。本実施形態において、これは自動で行われる（例えば、ランダム選択される）が、ユーザに選択させてもよい。本実施形態では１６個の点を用いるが、本発明はこれに限定されない。ユーザは、ランダムに任意の点を選択してもよいし、デジタルズーム画像内の特定の領域から点を選択してもよい。１６個の点の位置をそれぞれ記憶する。次いで、光学ズーム画像を捕捉し、デジタルズームを適用する。
【００３４】
続いて、テスト中のカメラによって適用される光学ズームレベルを下げる（ステップＳ３３５）。光学ズームレベルを下げるとき、ズーム値を較正装置１２５によって監視する。まず、上述したように、光学ズームレベルを下げながら、これに対応してデジタルズームレベルを上げる。デジタルズームレベルは、光学ズームレベルの低下を補償するように上げられる。デジタルズームレベルの増加量は、光学ズームレベルの低下量に一致させる必要はない。また、ズームレベルの低下量は、光学ズーム値が１０２４だけ変化するときにサンプルフレームを捕捉することができるように監視される。換言すると、光学ズーム値がとり得る値の１／６４だけ変化する毎に、フレームがサンプリングされる。無論、ズーム値に関して、他の範囲または値を用いることが可能である。
【００３５】
続いて、フレームをサンプリングするタイミングを把握するために、較正装置１２５は、以前のサンプルフレームからの光学ズームレベルの変化量を比較する。変化量が閾値を超えると、デジタルズーム画像における点が、以前サンプリングされたフレームと比較してトラッキングされる（ステップＳ３４５）。ここで、デジタルズーム画像における点は、光学ズーム画像を捕捉し、デジタルズームをこの捕捉した画像に適用し、デジタルズーム画像を分析することによって、算出されることに留意されたい。
【００３６】
デジタルズーム画像を確定した後、デジタルズーム画像の１６個の点のそれぞれに対してブロックマッチングを実行する（ステップＳ３５０）。ブロックマッチングは、新たな画像の領域における画素が、以前の画像におけるどの画素と対応するかを求めるための既知の技術である。換言すると、較正装置１２５は、新たな画像において、以前の画像における１６個の点の位置の周囲でブロックマッチングを実行することによって、新たな画像における１６個の対応点の位置を素早く特定することができる。ブロックマッチングは、サンプリング段階で行われるものとして言及したが、本発明はこれに限定されず、全ての画像のサンプリングが完了した後に実行してもよい。
【００３７】
このサンプリングは、ステップＳ３５５において、カメラが完全に光学ズームアウトされたものとして扱われるまで継続される。
【００３８】
最も正確な結果を得ながら記憶するデータ量を減らすためには、最大光学ズームレベルの２０％〜８０％で捕捉されたサンプルのみを用いてＤＣ（Direct Current）位置（ＤＣオフセット）を計算することになるであろう。しかしながら、本実施形態では、全てのサンプルを用いて任意の特定のズームに関して光軸の計算を行っている。これは、最大ズームレベルの８０％または２０％のズームレベルでズームを適用すると、光軸が当該範囲内のＤＣ位置から相当離れてしまう、つまり正確な結果が得られないからである。
【００３９】
残りのサンプルについて、デジタルズームおよび光学ズームの量が分かっているため、デジタルズーム画像における１６個の捕捉された点のそれぞれの位置を、光学ズーム画像における画素位置に変換することができる。換言すると、ステップＳ３６０において、デジタルズーム画像における各画素位置を、光学ズームの所与のレベルに関して光学ズーム画像における画素位置に変換する。
【００４０】
続いて、変換された各点の位置に関して、現在のフレームの点位置と、別のフレームの対応の点位置とを線で結ぶ（ステップＳ３６５）。本実施形態では、この別のフレームは現在のフレームとはかけ離れたズーム値を有する。次いで、線同士の交点位置を特定し、交点位置を記録する（ステップＳ３７０）。次いで、ステップＳ３７５において交点毎に重み付けを適用する。当該重み付けは、交点において線同士がなす角度に一次的に依存する。最大重み付けである１を垂直線に適用し、平行線には０を適用する。本発明はこれに限定されず、交点の角度と重み付けとの間には、あらゆる他の関係が想定される。線同士の交点を用いるのは、交点によって、ズーム中に移動しなかった点、したがって、光軸がマークされるためである。
【００４１】
最大光学ズームレベルの２０％のフレームおよび最大光学ズームレベルの８０％のフレームでＤＣオフセットを計算した後、ステップＳ３８０において、他の全てのフレームの光軸位置を、２０％および８０％の光軸と比較して計算する。これがＤＣオフセット値である。これによって、サンプリングされた位置毎に、ズームレンズの光軸の補正値が提供される。次いで、サンプリングされた位置間に上記結果を挿入することによって、任意のズーム値に関して光軸補正値を算出することができる（ステップＳ３８５）。そして、ステップＳ３９０において較正を終了する。
【００４２】
最大ズームレベルのうち２０％〜８０％の範囲以外についてサンプルフレームをとることによって、当該サンプルフレームの光軸移動を補正することが可能である。
【００４３】
また、全範囲において６４個のサンプルをとる代わりに、より多くのサンプルをとってもよい。例えば、２倍の量のサンプルをとってもよい。
【００４４】
本発明の例示的な実施形態を添付の図面を参照しながら詳述してきたが、本発明は、これらの実施形態に厳格に限定されないこと、および添付の特許請求の範囲によって規定される本発明の範囲および精神から逸脱しない範囲で当業者によって種々の変更および修正が行われることを理解されたい。
【図１】
2012050082.tif 000003
【図２】
2012050082.tif 000004
【図３】
2012050082.tif 000005