(57)【要約】 【課題】適正な三次元映像を提供できるように、取得した二つの映像データを電子的に調整する立体視映像補正装置と立体視映像補正方法と立体視映像補正システムとに関するを提供することを目的とする。【解決手段】左カメラの映像と右カメラの映像とを用いて生成する立体視映像を補正する装置であって、左カメラから取得した映像の明るさ及び色と、右カメラから取得した映像の明るさ及び色と、が同一となるように、少なくともいずれか一方のカメラから取得された映像の明るさ及び色を調整する立体視映像補正装置とする。【選択図】図１
2012019399.tif 000002
【特許請求の範囲】
【請求項１】
左カメラの映像と右カメラの映像とを用いて生成する立体視映像を補正する装置であって、 
前記左カメラから取得した映像の明るさ及び色と前記右カメラから取得した映像の明るさ及び色とが同一となるように、少なくともいずれか一方のカメラから取得された映像の明るさ及び色を調整する
ことを特徴とする立体視映像補正装置。 
【請求項２】
請求項１に記載の立体視映像補正装置において、 
前記左カメラから取得した映像と前記右カメラから取得した映像とにおいて、被写体の配置が水平視差を除いて同一となるように、少なくともいずれか一方のカメラから取得された映像を調整する
ことを特徴とする立体視映像補正装置。 
【請求項３】
請求項１または請求項２に記載の立体視映像補正装置において、 
前記左カメラから取得した映像と前記右カメラから取得した映像とに基づいて算出した水平視差量が、所定の閾値より大きい場合に、前記水平視差量が前記所定の閾値以下となるように、少なくともいずれか一方のカメラから取得した映像を水平方向にシフトさせる
ことを特徴とする立体視映像補正装置。 
【請求項４】
請求項１乃至請求項３のいずれか一項に記載の立体視映像補正装置において、 
前記左カメラから取得した映像と前記右カメラから取得した映像とに基づいて、 
明るさ及び色が異なる場合または水平視差を除く被写体の配置が同一でない場合または視差量が所定の閾値より大きい場合のいずれかに該当する場合に、オペレータに通知する
ことを特徴とする立体視映像補正装置。 
【請求項５】
請求項１乃至請求項４のいずれか一項に記載の立体視映像補正装置において、 
前記左カメラから取得した映像と前記右カメラから取得した映像とに基づいて、 
明るさ及び色が異なる場合または水平視差を除く被写体の配置が同一でない場合または水平視差量が所定の閾値より大きい場合のいずれかに該当する場合に、少なくともいずれか一方のカメラに該当情報をフィードバックする
ことを特徴とする立体視映像補正装置。 
【請求項６】
左カメラの映像と右カメラの映像とを用いて生成する立体視映像を補正する方法であって、 
前記左カメラから取得した映像の明るさ及び色と前記右カメラから取得した映像の明るさ及び色とが同一となるように、少なくともいずれか一方のカメラから取得された映像の明るさ及び色を調整する
ことを特徴とする立体視映像補正方法。 
【請求項７】
請求項６に記載の立体視映像補正方法において、 
前記左カメラから取得した映像と前記右カメラから取得した映像とにおいて、水平視差を除く被写体の配置が同一となるように、少なくともいずれか一方のカメラから取得された映像を調整する
ことを特徴とする立体視映像補正方法。 
【請求項８】
請求項６または請求項７に記載の立体視映像補正方法において、 
前記左カメラから取得した映像と前記右カメラから取得した映像とから算出した水平視差量が、所定の閾値より大きい場合に、前記水平視差量が前記所定の閾値以下となるように、少なくともいずれか一方のカメラから取得した映像を水平方向にシフトさせる
ことを特徴とする立体視映像補正方法。 
【請求項９】
請求項６乃至請求項８のいずれか一項に記載の立体視映像補正方法において、 
前記左カメラから取得した映像と前記右カメラから取得した映像とに基づいて、 
明るさ及び色が異なる場合、または水平視差を除く被写体の配置が同一でない場合、または水平視差量が所定の閾値より大きい場合のいずれかに該当する場合に、オペレータに通知する
ことを特徴とする立体視映像補正方法。 
【請求項１０】
請求項６乃至請求項９のいずれか一項に記載の立体視映像補正方法において、 
前記左カメラから取得した映像と前記右カメラから取得した映像とに基づいて、 
明るさ及び色が異なる場合、または水平視差を除く被写体の配置が同一でない場合、または水平視差量が所定の閾値より大きい場合のいずれかに該当する場合に、少なくともいずれか一方のカメラに該当情報をフィードバックする
ことを特徴とする立体視映像補正方法。 
【請求項１１】
立体視映像を生成するための映像を取得する左カメラと右カメラと、 
前記左カメラと前記右カメラとから撮影映像が各々入力される請求項１乃至請求項５のいずれか一項に記載の立体視映像補正装置と、を備える
ことを特徴とする立体視映像補正システム。 
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元映像を適正に補正する立体視映像補正装置と立体視映像補正方法と立体視映像補正システムとに関する。 
【背景技術】
【０００２】
放送局用ビデオカメラを複数台用いて３次元映像を撮影する場合には、使用するビデオカメラ間での厳密な色合わせが必要となる。この場合、複数のビデオカメラ間での色合わせは、放送局等のエンジニア等が予めマニュアルで調整することが一般的である。
【０００３】
放送局用ビデオカメラにおいては、ビデオカメラ毎に、ＣＣＤ（電荷結合素子）等の撮像素子の前面に配置されるカラーフィルタや色分解プリズムの分光特性が微妙に異なる。このため、ビデオカメラ間での色合いを補正しない場合には、同一の対象を撮影する場合でも、撮影された出力映像の色あいがビデオカメラ間で異なることとなってしまう。特に、三次元映像を撮影する左右二つのカメラ間において、色あいや構図、ズーム量、フォーカス、光軸等を一致させることは、自然な立体映像を視聴者に提供する意味において重要である。
【０００４】
また、複数のビデオカメラ間で色合わせを行う技術としては、基準となる撮像装置と、この基準となる撮像装置に対して色あいを整合させる他の撮像装置とで、所定の配色パターン、例えばカラーチャート内の各色を同じ条件で撮影し、撮影の結果得られたデータを比較して、色あいを整合させるべき他のビデオカメラから出力される色データを適宜補正する補正方法が提案されている。
【０００５】
また、基準となる所定の色情報を発生する基準色情報発生手段を備えるとともに、基準色情報発生手段によって発生される情報とビデオカメラによって所定の色を撮像して得られる信号とに基づいて決定される補正内容に従って、ビデオカメラによって撮像して得られる信号を補正する補正手段を備えることにより、ビデオカメラによって撮像して得られる信号に基づく色を基準となる色に合わせる提案が、例えば下記特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−２８５６１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来、立体映像を生成するために左右二つのカメラから取得される各映像の明るさや色の整合、各撮影位置の整合適否等をオペレータが見た目により人為的に適宜調整し、立体視映像を適正化していた。このため、立体視映像の調整には手間や工数がかかるとともに熟練した技能が必要とされた。また、オペレータの経験と勘に依存した調整となるので、個人の感覚差が反映される懸念や再現性が得られないとの懸念が生じていた。
【０００８】
さらに、リグ等のカメラ固定装置を用いて二つのカメラを一旦固定して配置した後、撮影中に二つのカメラ間に特性の個体差が出現したり経時的な特性変化が生じたりした場合には、二つのカメラ間の微調整を遂行することは困難であった。典型的には、リグが、熱や荷重等により経時的に撓んだり歪んだりすると、リグに固定された二つのカメラ間の距離や傾き等が初期調整時の状態からずれることとなり、適正な立体視映像の提供が困難となる懸念が増大する。しかしこのような場合においても、撮影中に二つのカメラ間の相対的配置を調整し直すことは困難であった。
【０００９】
本発明はこのような問題点に鑑みなされたものであり、適正な三次元映像を提供できるように、取得した二つの映像データを電子的に調整する立体視映像補正装置と立体視映像補正方法と立体視映像補正システムとを実現することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の立体視映像補正装置は、左カメラの映像と右カメラの映像とを用いて生成する立体視映像を補正する装置であって、左カメラから取得した映像の明るさ及び色と、右カメラから取得した映像の明るさ及び色と、が同一となるように、少なくともいずれか一方のカメラから取得された映像の明るさ及び色を調整することを特徴とする。
【００１１】
また、本発明の立体視映像補正装置は好ましくは、左カメラから取得した映像と右カメラから取得した映像とにおいて、水平視差を除いた配置が同一となるように、少なくともいずれか一方のカメラから取得された映像を調整することを特徴とする。
【００１２】
また、本発明の立体視映像補正装置はさらに好ましくは、左カメラから取得した映像と右カメラから取得した映像とから算出した視差量が、所定の閾値より大きい場合に、視差量が所定の閾値以下となるように、少なくともいずれか一方のカメラから取得した映像を水平方向にシフトさせることを特徴とする。
【００１３】
また、本発明の立体視映像補正装置はさらに好ましくは、左カメラから取得した映像と、右カメラから取得した映像とに基づいて、明るさ及び色が異なる場合または水平視差を除いた配置が同一でない場合または視差量が所定の閾値より大きい場合のいずれかに該当する場合に、オペレータに通知することを特徴とする。
【００１４】
また、本発明の立体視映像補正装置はさらに好ましくは、左カメラから取得した映像と、右カメラから取得した映像とに基づいて、明るさ及び色が異なる場合または水平視差を除く配置が同一でない場合または視差量が所定の閾値より大きい場合のいずれかに該当する場合に、少なくともいずれか一方のカメラに該当情報をフィードバックすることを特徴とする。
【００１５】
また、本発明の立体視映像補正方法は、左カメラの映像と右カメラの映像とを用いて生成する立体視映像を補正する方法であって、左カメラから取得した映像の明るさ及び色と、右カメラから取得した映像の明るさ及び色と、が同一となるように、少なくともいずれか一方のカメラから取得された映像の明るさ及び色を調整することを特徴とする。
【００１６】
また、本発明の立体視映像補正方法は好ましくは、左カメラから取得した映像と右カメラから取得した映像とにおいて、水平視差を除く配置が同一となるように、少なくともいずれか一方のカメラから取得された映像を調整することを特徴とする。
【００１７】
また、本発明の立体視映像補正方法はさらに好ましくは、左カメラから取得した映像と右カメラから取得した映像とから算出した視差量が、所定の閾値より大きい場合に、視差量が所定の閾値以下となるように、少なくともいずれか一方のカメラから取得した映像を水平方向にシフトさせることを特徴とする。
【００１８】
また、本発明の立体視映像補正方法はさらに好ましくは、左カメラから取得した映像と、右カメラから取得した映像とに基づいて、明るさ及び色が異なる場合または水平視差を除く配置が同一でない場合または視差量が所定の閾値より大きい場合のいずれかに該当する場合に、オペレータに通知することを特徴とする。
【００１９】
また、本発明の立体視映像補正方法はさらに好ましくは、左カメラから取得した映像と、右カメラから取得した映像とに基づいて、明るさ及び色が異なる場合または水平視差を除く配置が同一でない場合または視差量が所定の閾値より大きい場合のいずれかに該当する場合に、少なくともいずれか一方のカメラに該当情報をフィードバックすることを特徴とする。
【００２０】
また、本発明の立体視映像補正システムは、立体視映像を生成するための映像を取得する左カメラと右カメラと、左カメラと右カメラとから映像が各々入力される上述のいずれかの立体視映像補正装置と、を備えることを特徴とする。
【発明の効果】
【００２１】
取得した二つの映像データを電子的に調整して、適正な三次元映像を提供可能な立体視映像補正装置と立体視映像補正方法と立体視映像補正システムとを実現できる。
【図面の簡単な説明】
【００２２】
【図１】実施形態の立体視映像補正システムについて、概要を説明するブロック図である。
【図２】（ａ）は、カメラＬの任意のブロックにおけるＲＧＢ各成分の２５６階調別出現頻度ヒストグラムを説明する概念図であり、（ｂ）は、カメラＲのカメラＬに対応するブロックにおけるＲＧＢ各成分の２５６階調別出現頻度ヒストグラムを説明する概念図である。
【図３】カメラＬとカメラＲとで各々撮影された被写体の映像間における、ジオメトリックな構図ずれを説明する２次元幾何学変換の概要図である。
【図４】カメラＬとカメラＲとで各々撮影された被写体の映像から算出される視差量について説明する概念図である。
【図５】ブロックマッチングの探索方向と処理領域を説明する図である。
【図６】ブロックマッチング計算ブロック図を説明する図である。
【図７】縮小画像を利用したブロックマッチング処理のブロック図を説明する図である。
【図８】画像の時空間勾配を計算するブロック図を説明する図である。
【図９】勾配要素計算ブロック図を説明する図である。
【図１０】幾何学的マッチング処理装置ブロック図を説明する図である。
【図１１】視差計算と視差調整処理装置ブロック図を説明する図である。
【図１２】立体視映像補正装置ブロック図を説明する図である。
【発明を実施するための形態】
【００２３】
実施形態で説明する立体視映像補正装置は、立体視映像を生成するために撮影された左右の各カメラの映像を取得し、これらを電子的に補正・整合させて適正な三次元画像を視聴者に提供する。
【００２４】
立体視映像を生成するために左右各カメラで撮影された被写体の映像は、構図、被写体の配置、被写体の明るさや色、光軸、傾き（ｒｏｔａｔｉｏｎ）等が左右間で完全同一であることが望ましく、典型的には水平視差のみの相違を有する映像であることが好ましい。
【００２５】
一方、各ビデオカメラは、ズーム等に伴う光軸のずれや傾きやその他の諸特性に微妙な個体差が存在する。このため、初期調整された左右二台のカメラを水平方向に並べて固定配置して撮影を開始したとしても、その後の撮影状態や経時的な固定具（リグ等）の変形等に起因して、取得された二つの映像間に垂直視差が生じる懸念や、二つの映像間で明るさや色等が相違する懸念が生じる。
【００２６】
垂直視差等が生じた二つの映像は、視聴者に適正な立体視映像を提供する効果の妨げとなる。さらに、過大な水平視差量を有する左右二つの映像も、視聴者に適正な立体視映像を提供する場合の妨げとなる。
【００２７】
そこで、左右二つのカメラから取得された映像間の明るさの不一致や色の不一致、水平視差を除く被写体の配置の不一致、過大な水平視差量を、電子的に自動補正して一致させる立体視映像補正装置について、以下に説明する。
【００２８】
図１は、実施形態の立体視映像補正システム１０００について、概要を説明するブロック図である。図１に示すように、立体視映像補正システム１０００は、立体視映像補正装置１００と、立体視映像補正装置１００へ入力するべき被写体２００の映像を撮影するカメラＬ４００とカメラＲ３００とを備える。カメラＬ４００とカメラＲ３００とは、不図示のカメラ固定装置（リグ）で所定の間隔を開けて配置されている。
【００２９】
また、立体視映像補正装置１００は、カメラＬ４００とカメラＲ３００とで各々撮影された被写体２００の映像を比較演算する比較部１２０を備える。また、立体視映像補正装置１００は、比較部１２０で比較演算された結果に基づいて、カメラＬ４００とカメラＲ３００とで各々撮影された被写体２００の映像を補正処理する補正処理部１１０を備える。
【００３０】
また、比較部１２０は、カメラＬ４００とカメラＲ３００とで各々撮影された被写体２００の映像の明るさと色とを比較して相違があるか否かを判断する明るさ・色比較部１２１と、被写体２００の配置位置関係に水平視差を除く位置の不一致があるか否かを判断する位置ずれ検出部１２２と、視差量を検出する視差量検出部１２３とを備える。
【００３１】
ここで、予め初期調整されて配置されたカメラＬ４００とカメラＲ３００とは同一の被写体２００を撮影しているので、各々の取得映像の間には明るさや色あい、構図や映像内における被写体２００の位置関係について、水平視差を除いて実質的な相違は存在せず完全に一致することが理想的である。このため、立体視映像補正装置１００は、水平視差を除く取得映像間の相違があるか否かを比較演算することにより不一致を検出する。
【００３２】
また、補正処理部１１０は、比較部１２０での比較結果に基づいて、カメラＬ４００とカメラＲ３００とで各々撮影された被写体２００の映像の少なくともいずれか一方について、明るさまたは／及び色を補正する明るさ・色補正処理部１１１を備える。映像の明るさと色とは、補正演算処理をする上では密接に関連するパラメータとして同一に扱うことができる。
【００３３】
また、補正処理部１１０は、比較部１２０での比較結果に基づいて、カメラＬ４００とカメラＲ３００とで各々撮影された被写体２００の映像の少なくともいずれか一方について、光軸ずれや傾きずれやズーム差異や映像内の各撮影対象の配置関係のずれ等の縦ずれを補正する位置ずれ補正処理部１１２を備える。カメラＬ４００とカメラＲ３００とで各々撮影された被写体２００の映像の水平視差を除く上記ジオメトリックな相違は、典型的には、映像上の垂直視差となって出現する。
【００３４】
モニターの前で視聴する視聴者は、カメラＬ４００とカメラＲ３００とで撮影された被写体２００の水平視差を有する二つの映像を各々左目と右目とで個別に見ることにより、立体的な奥行きを認識することが可能となる。このため、垂直視差であるいわゆる縦ずれを有する二つの映像を、各々左目と右目とで見ることは、視聴者にとって適正な立体感を認識する上で障害となる。
【００３５】
従って、位置ずれ補正処理部１１２は、カメラＬ４００とカメラＲ３００とで撮影された被写体２００の縦ずれをなくすように補正処理する。二つの映像間の縦ずれは、例えば二つカメラ間のズーム倍率が撮影中に相違したり、例えばズームに伴い一方のカメラが他方のカメラに対して光軸を中心に回転した映像となったり、例えば撮影中心がずれたりすることに起因して生じる場合もあると考えられる。
【００３６】
また、補正処理部１１０は、比較部１２０での比較結果に基づいて、カメラＬ４００とカメラＲ３００とで各々撮影された被写体２００の映像の少なくともいずれか一方について、視差量を適正に補正する視差量補正処理部１１３を備える。
【００３７】
視差量検出部１２３は、許容される視差量レンジを記憶しており、カメラＬ４００とカメラＲ３００とで各々撮影された被写体２００の映像間の水平視差量が、許容される視差量レンジ範囲内であるか否かを検出する。視差量補正処理部１１３は、被写体２００の映像間の水平視差量が、許容される視差量レンジ範囲内にない場合に、カメラＬ４００とカメラＲ３００とで各々撮影された被写体２００の映像の少なくともいずれか一方を水平方向にシフトさせて、水平視差量が許容される視差量レンジ範囲内となるように調整する。
【００３８】
また、立体視映像補正装置１００は、比較部１２０で比較処理した結果、カメラＬ４００とカメラＲ３００とで各々撮影された映像間に明るさや色の相違がある場合、または垂直視差を有する場合、または視差量が許容される視差量レンジ範囲内にない場合のいずれかに該当する場合にオペレータに警報を通知するアラート通報部５００を備えてもよいし、カメラＬ４００とカメラＲ３００との少なくともいずれか一方に該当情報をフィードバックしてもよい。アラートの通知を受けたオペレータは、適切な補正・調整処理をマニュアル遂行することも可能であるし、該当情報をフィードバックされたカメラは、適切な立体視映像を取得できるようにカメラ側で適宜修正することも可能である。
【００３９】
また、図１に示すように立体視映像補正装置１００は、補正処理部１１０で補正処理が遂行された補正済の映像データを、各々補正済カメラＬ映像データと補正済カメラＲ映像データとしてモニター等の表示装置に出力する。
【００４０】
図２は、立体視映像補正装置１００が映像の明るさと色とを補正する場合について説明する概念図である。立体視映像補正装置１００は、カメラＬ４００の取得映像に対して映像を複数のブロックに分割し、各ブロック内において、ＲＧＢの各成分について８ビット２５６階調の階調ごとに画素数をカウントし階調毎の画素出現頻度を算出する。図２（ａ）は、カメラＬ４００の任意のブロックにおけるＲＧＢ各成分の２５６階調別出現頻度ヒストグラムを説明する概念図である。
【００４１】
同様に、立体視映像補正装置１００は、カメラＲ３００の取得映像に対して映像を複数のブロックに分割し、各ブロック内において、ＲＧＢの各成分について８ビット２５６階調の階調ごとに画素数をカウントし階調毎の画素出現頻度を算出する。図２（ｂ）は、カメラＲ３００のカメラＬ４００に対応するブロックにおけるＲＧＢ各成分の２５６階調別出現頻度ヒストグラムを説明する概念図である。
【００４２】
立体視映像補正装置１００の明るさ・色比較部１２１は、図２（ａ）と図２（ｂ）とに示すヒストグラムを生成してＲＧＢごとに各々比較し、形状すなわち階調別画素出現数に相違があるか否かを検出する。形状に不一致がある場合には、明るさ・色補正処理部１１１が、ＲはＲ同士、ＧはＧ同士、ＢはＢ同士で各々同一の形状となるようにヒストグラムマッチングによる補正処理を遂行する。
【００４３】
ここで、ＲＧＢの各色毎にヒストグラムマッチングを純粋に遂行すれば、ＲＧＢ強度比が変動し色バランスが崩れることにより、例えば補正前の映像の白色であるべき対象が補正後に白色ではなくなる等の不都合が生じる懸念が生じる。そこで、実施形態の立体視映像補正装置１００は、後述するようにレベル制約を付して演算したモデル選択により、補正処理を遂行する。
【００４４】
これにより、カラーチャート等の標準的な配色パターンを用いたカメラ間のキャリブレーション等を撮影中に遂行することなく、立体視映像補正装置１００は順次取得される二つの映像間の明るさと色とを共に一致させる補正処理を遂行し、かつ色バランスを崩すことなく、補正済映像データを出力することが可能となる。
【００４５】
また図３は、カメラＬ４００とカメラＲ３００とで各々撮影された被写体２００の映像間における、ジオメトリックな構図ずれを説明する２次元幾何学変換の概要図である。図３（ａ）が並進変換を説明する図であり、図３（ｂ）が並進に回転が加わった剛体変換を説明する図であり、図３（ｃ）が剛体変換にさらにスケール（拡大・縮小）のファクタが加わった相似変換を説明する図である。また、図３（ｄ）がアフィン変換、図３（ｅ）が射影変換をそれぞれ説明する図である。
【００４６】
図３に示すように並進変換は２つのパラメータで演算処理が可能であり、剛体変換は３つのパラメータで演算処理が可能であり、さらにスケールが加わると４つのパラメータでの演算処理となる。
【００４７】
図３から理解できるようにカメラＬ４００とカメラＲ３００とで各々撮影された被写体２００の映像間におけるジオメトリックな構図ずれは、ズームの大小に起因して生じるカメラ間の光軸のずれ（中心位置のシフト）やカメラ間の特性差やリグの撓み等により発生し、映像間の縦ずれとして出現する。
【００４８】
また、図４は、カメラＬ４００とカメラＲ３００とで各々撮影された被写体２００の映像から算出される視差量について説明する概念図である。図４に示すように視差量Ｔは、画面全体の水平画素数に対する、対応する映像間の水平画素数の割合（％）で示される。
【００４９】
図４に示すように、立体視映像補正装置１００の視差量検出部１２３は、画面をｎ個のブロックＢ１〜Ｂｎ（ｎは任意の自然数）に分割し、各ブロックごとに最大視差量Ｔを算出する。この場合に視差量は水平方向のみのずれを対象とすればよいので、２次元並進ベクトルとして演算できることとなる。
【００５０】
立体視映像を視聴者に提供するためには適正な視差量レンジが決まっており、算出された視差量Ｔが予め定められた視差量レンジの範囲を超える場合には視差量検出部１２３が視差量補正処理部１１３に補正が必要であることと補正するべき視差量とを指示する。また、視差量補正処理部１１３は、視差量検出部１２３から指示された視差量すなわち視差量レンジを超えた水平ずれ、を解消するように、左右いずれかの映像について画面全体を水平方向にシフトさせる。
【００５１】
立体視映像補正装置１００の上述した補正処理により、その出力映像は常に適正な視差量レンジの範囲内となるので、過大な視差量を有する映像が視聴者に提供されることがなく、視聴者は快適に三次元映像を認識できることとなる。
【００５２】
また、例えばドラマの撮影のように現実には時間的、空間的に離間した場面の撮影を遂行しながらも、視聴時にはあたかも一体的に連続した場面であるかのような継続シーンとする場合等であって、カメラ間の視差設定（典型的にはカメラＬ４００とカメラＲ３００との間隔）をシーン毎に別個にマニュアルで行うとその再現性・継続性に懸念が生じるとも考えられる。
【００５３】
しかし、立体視映像補正装置１００は、常に視差量を適正な範囲内に自動補正するので、ステレオグラファーによる人為的な調整を必要とすることなく、快適な三次元映像を提供することができる。また、立体視映像補正装置１００による補正処理は、撮影時にリアルタイムで遂行することとしてもよいし、録画された映像に対して視聴時に補正処理を遂行してモニター出力することとしてもよい。
【００５４】
また、カメラＬ４００とカメラＲ３００とのいずれかの映像を水平にシフトさせて補正する場合に、シフトに伴って画面上に映像のない黒帯部分等が出現する懸念がある場合には、シフトするべき映像全体を拡大処理した上で水平シフトすることとしてもよい。これにより、水平シフトした場合でも画面の端部に黒帯等の映像が存在しない無映像領域が形成されてしまう懸念を回避できるので好ましい。
【００５５】
次に、立体視映像における補正処理について以下に詳細に説明する。 
【００５６】
（１．自動色補正処理） 
立体視映像における左右映像の色、明るさを自動的に揃えるための色補正処理について説明する。ここでは、カラーチャートのような参照板を用いずに、左右の映像のみから色、明るさを色補正するための色補正パラメータを計算する。
【００５７】
以下、左画像を
2012019399.tif 000003
、右画像を
2012019399.tif 000004
で表し、左画像を基準画像とする。自動色補正処理のおおまかな手順は次のようになる。
【００５８】
手順Ａ１：左右の画像のほぼ重複しているであろう画面中央領域中における画素値のヒストグラムを計算する。 
【００５９】
手順Ａ２：計算した各々の画像のヒストグラムから核関数により確率密度関数を計算する。 
【００６０】
手順Ａ３：左右の画像の確率密度関数の差が最小になるような色補正モデルのパラメータを計算する。 
【００６１】
手順Ａ４：いくつかの色補正モデルについて色補正パラメータを計算した結果からモデル選択により最適な色補正モデルのパラメータを選択する。
（１．１核関数による確率密度関数の計算） 
【００６２】
画像中のブロック領域
2012019399.tif 000005
における画素値に関する１次元のヒストグラム
2012019399.tif 000006
から核関数を用いて次のように確率密度関数を計算する。
【数１−１】
2012019399.tif 000007
【００６３】
ここで、
2012019399.tif 000008
はブロック領域
2012019399.tif 000009
中の画素数であり、
2012019399.tif 000010
はヒストグラムの階級数である。
2012019399.tif 000011
は核関数であり、例えば次のようなガウス関数を用いる。
【数１−２】
2012019399.tif 000012
【００６４】
2012019399.tif 000013
は核関数表現におけるバンド幅であり、例えば次のような経験則により決定される。
【数１−３】
2012019399.tif 000014
【００６５】
2012019399.tif 000015
はブロック領域中の画素値の標本標準偏差である。
【００６６】
（１．２色補正モデルと色補正パラメータ推定のための目的関数） 
【００６７】
立体視映像における左右映像の確率密度関数を
2012019399.tif 000016
と表す。左画像
2012019399.tif 000017
を基準画像として、右画像
2012019399.tif 000018
を色補正すると仮定する（勿論、逆でも構わない）。色補正モデルとしては、ＲＧＢ３次元色空間において、ＲＧＢ毎に独立に次のような１次元アフィン補正を行うものとする。
【００６８】
【数１−４】
2012019399.tif 000019
【００６９】
そのような色補正を行った場合の確率密度関数は次のようになる。 
【数１−５】
2012019399.tif 000020
ヒストグラム
2012019399.tif 000021
であるから、色補正を行った画像の確率密度関数はヒストグラムのみから計算することができる。
【００７０】
したがって、色補正パラメータを推定するために、左右画像のほぼ重複しているであろう画面中央領域における各々の画素値に関するヒストグラムから計算される確率密度関数の差が最小になる色補正パラメータを計算する。すなわち、次の目的関数を最小にすればよい。
【数１−６】
2012019399.tif 000022
【００７１】
ＲＧＢ３次元色空間において、ＲＧＢ毎に独立に色補正を行うのであれば、１次元のＲＧＢのヒストグラムから確率密度関数を計算すればよい。例えば、ＲＧＢ３次元色空間における３次元アフィン変換による色補正を行うとすると、次のような３次元ヒストグラムによる３次元確率密度関数を計算すればよい。
【数１−７】
2012019399.tif 000023
【００７２】
ＲＧＢ３次元色空間における３次元アフィン変換による色補正は次のように書ける。 
【数１−８】
2012019399.tif 000024
【数１−９】
2012019399.tif 000025
【数１−１０】
2012019399.tif 000026
【００７３】
未知パラメータは
2012019399.tif 000027
の１２パラメータになる。１次元同様に３次元ヒストグラム
2012019399.tif 000028
であるから、色補正を行った画像の確率密度関数はヒストグラムのみから計算することができる。
【００７４】
映像信号を輝度色差信号で表現すると、色差信号はＵＶ２次元色空間で表すことができるから、ＵＶ２次元色空間で色補正を行うとすると、次のような２次元ヒストグラムによる確率密度関数を計算すればよい。例えば、ＵＶ２次元色空間における２次元アフィン変換による色補正を行うとすると、次のような２次元ヒストグラムによる２次元確率密度関数を計算すればよい。
【数１−１１】
2012019399.tif 000029
【００７５】
ＵＶ２次元色空間における２次元アフィン変換による色補正は次のように書ける。 
【数１−１２】
2012019399.tif 000030
【数１−１３】
2012019399.tif 000031
【００７６】
未知パラメータは
2012019399.tif 000032
の６パラメータになる。１次元同様に２次元ヒストグラム
2012019399.tif 000033
であるから、色補正を行った画像の確率密度関数はヒストグラムのみから計算することができる。
【００７７】
（１．３レベル制約付き最適推定） 
色データは、例えばＲＧＢ３次元色空間のようにベクトルデータであり、ＲＧＢ毎に独立に色補正を行った場合に、白は厳密に白のレベルに補正する、黒は厳密に黒レベルに補正されるとは限らない。すなわち、いわゆるカラーバランスを厳密に取ることができない。カラーバランスの取れていない色補正結果は著しく色補正品位が損なわれてしまう。
【００７８】
そこで、厳密にカラーバランスを取るように色補正パラメータを推定するために、白は白のレベルにする等、特定の色レベルが必ず特定の色レベルになるような色レベルに関する制約条件を課す。例えば、ＲＧＢ３次元色空間において、ＲＧＢ毎の１次元１次アフィン補正モデルにおいて、ある特定の色レベル
2012019399.tif 000034
が特定の色レベル
2012019399.tif 000035
に色補正されるように制約条件を課す。 
【００７９】
このようなレベル制約を課した場合の目的関数
2012019399.tif 000036
は次のように書ける。 
【数１−１４】
2012019399.tif 000037
ここで、
2012019399.tif 000038
はラグランジュ未定乗数である。右画像の特定の色レベル
2012019399.tif 000039
が、左画像の特定の色レベル
2012019399.tif 000040
になるように、ＲＧＢ毎に目的関数
2012019399.tif 000041
を最小化する未知パラメータ
2012019399.tif 000042
を計算すればよい。 
白レベルを揃えるためには、左右画像における輝度値最大になる画素のレベルを用いればよい。黒レベルを揃えるためには、左右画像における輝度値最小になる画素のレベルを用いればよい。
その他、画像中の特定の色レベルを手動により明示的に示すこともできるだろう。 
【００８０】
（１．４最適推定） 
立体視映像における左右映像の確率密度関数の差による目的関数
2012019399.tif 000043
あるいはそれにレベル制約を課した
2012019399.tif 000044
を最小化するためにそれらの勾配情報を用いた最適化の手順を具体例を用いて示す。
【００８１】
３次元ＲＧＢ色空間におけるＲＧＢ毎の１次元１次アフィン変換による色補正を例に用いると、目的関数
2012019399.tif 000045
は次のように書ける。 
【数１−１５】
2012019399.tif 000046
【００８２】
簡略化のために、画素値を
2012019399.tif 000047
として、左右画像を表す
2012019399.tif 000048
は省略する。 
目的関数
2012019399.tif 000049
を未知パラメータ
2012019399.tif 000050
に関して微分すると次のようになる。 
【数１−１６】
2012019399.tif 000051
【数１−１７】
2012019399.tif 000052
【００８３】
ここで、
2012019399.tif 000053
は核関数
2012019399.tif 000054
の１次微分であり、次のようになる。 
【数１−１８】
2012019399.tif 000055
厳密にはバンド幅
2012019399.tif 000056
はブロック領域
2012019399.tif 000057
の画素値の標本標準偏差であるから未知パラメータ
2012019399.tif 000058
に依存して、目的関数にはその微分が含まれるが、目的関数の勾配が煩雑になるため、適当な定数で近似するとした。最適な色補正パラメータの推定にはガウス・ニュートン法を用いる。
【００８４】
ガウス・ニュートン近似によるヘシアンは次のようになる。 
【数１−１９】
2012019399.tif 000059
ここで、
2012019399.tif 000060
は勾配ベクトルであり、
2012019399.tif 000061
である。 
【００８５】
手順Ｂ１：未知パラメータ
2012019399.tif 000062
の初期値を与える。
手順Ｂ２：目的関数の勾配とヘシアンを計算する。 
手順Ｂ３：更新量ベクトル 
2012019399.tif 000063
を次のように計算する。 
【数１−２０】
2012019399.tif 000064
手順Ｂ４：
2012019399.tif 000065
の変化分
2012019399.tif 000066
となるまで
2012019399.tif 000067
を次のように更新して次のように置いて手順Ｂ２．に戻る。
【数１−２１】
2012019399.tif 000068
ここで、
2012019399.tif 000069
は収束判定のための微小定数である。
【００８６】
パラメータの初期値としては、例えば、オフセット項
2012019399.tif 000070
はヒストグラムの重心（平均）あるいはメジアン値を揃えるように計算すればよい。ゲイン項
2012019399.tif 000071
はヒストグラムの分散あるいはメジアン値から計算されるメジアン絶対偏差（Ｍｅｄｉａｎ  Ａｂｓｏｌｕｔｅ  Ｄｅｖｉａｔｉｏｎ、ＭＡＤ）を揃えるように計算すればよい。いずれもヒストグラムのみから簡単に計算することが可能である。
【００８７】
最適化のための反復処理もすべてヒストグラムより核関数を用いて計算される確率密度関数における計算処理のため（画像に戻って色補正処理をする必要がないため）、処理コストが劇的に低減可能である。
【００８８】
目的関数としてレベル制約を課した場合にも、同様に勾配情報によるガウス・ニュートン法により最適な色補正パラメータを推定することが可能である。
（１．５色補正モデルとモデル選択） 
【００８９】
上記のように左右画像の重複していると思われる画面中央領域におけるヒストグラムを核関数により確率密度関数として表現して、その差が最小になるような色補正パラメータを最適に推定する。
【００９０】
しかし、左右画像の色補正がどのような色補正モデルによって補正されるのが望ましいかは事前には未知であり、かつ撮影中にも色補正パラメータのみならず色補正モデルもダイナミックに変化することも考えられる。
【００９１】
そこで、考えられる色補正モデルを複数用意して、それらの色補正パラメータを最適に推定して、モデル選択規準を計算して、最適な色補正モデルを選択する。
【００９２】
例えば、ＲＧＢ３次元色空間における色補正モデルとして、ＲＧＢ独立な１次元１次アフィン補正モデル、１次元２次補正モデル、１次元
2012019399.tif 000072
次補正モデルによる色補正を考える。 
【００９３】
モデル選択を行うためのモデル選択規準として、次のような幾何学的ＡＩＣあるいはＭＤＬを用いる。 
【数１−２２】
2012019399.tif 000073
【００９４】
ここで、
2012019399.tif 000074
は二乗ノイズレベルであり、一般モデル（最も自由度の高いモデル）から次のように計算される。
【数１−２３】
2012019399.tif 000075
2012019399.tif 000076
は目的関数
2012019399.tif 000077
を最小にする最適色補正パラメータにより目的関数を計算した当てはめ残差である。
2012019399.tif 000078
はデータ数であり、この場合、ヒストグラムの階級数とすればよい。
【００９５】
2012019399.tif 000079
は各色補正モデルの自由度（パラメータ数）である。
2012019399.tif 000080
は一般モデルの自由度である。幾何学的ＭＤＬにおける
2012019399.tif 000081
は基準長であり、データを
2012019399.tif 000082
に揃えるための正規化定数である。この場合には、画素値の量子化数にすればよい。
【００９６】
注意すべきは、レベル制約を課した場合には、自由度が低下することである。１次元１次アフィン補正モデルの自由度は２であるが、カラーバランスを取るために白レベルに関して制約条件を課すと、自由度は１減って１になる。２次元補正モデルの自由度は３であるが、カラーバランスを取るために白レベルに関して制約条件を課すと、自由度は１減って２になる。
【００９７】
幾何学的ＡＩＣあるいはＭＤＬが最小になる変換モデルを選べば、最も自由度が少なく、最も当てはまりのよい変換モデルになる。
【００９８】
幾何学的ＭＤＬの方が、幾何学的ＡＩＣと比較して、自由度の少ないモデルを選ぶ傾向がある。 
【００９９】
勿論、一般モデルをＲＧＢ３次元色空間における３次元アフィン変換モデルとすることも可能であり、その他の変換モデルを用いることも可能である。
【０１００】
（２．幾何学的マッチング処理） 
立体視映像における左右映像全体の幾何学的マッチング処理について以下に説明する。
立体視映像が立体的に見える理由は左右映像の見え方の違い、いわゆる両眼視差によるものであり、シーン中の奥行きにより両眼視差は発生するものではあるが、ここでは、左右映像の間の幾何学的な変換が２次元平面の幾何学変換で表すことができると仮定する。
【０１０１】
これは奥行きのある３次元シーンを直接扱うことは処理コストの観点から難しいことと、十分遠方の背景シーンであれば、２次元平面と仮定しても実用上は問題ないこと、また、左右映像間における画面全体の幾何学的な変換を計算して、それを補正する処理としては十分であることから妥当な仮定である。
【０１０２】
（２．１階層ブロックマッチング） 
画面全体のグローバル動き量はブロックマッチングにより推定する。左右２画像において、図５に示す８方向へ右画像をある一定量シフトさせたもの、および右画像そのもの（動き量０）と、左画像との重複する画面中央領域の全画素に対して、次のような画素の輝度値の差分絶対値を計算する。
【０１０３】
【数２−１】
2012019399.tif 000083
2012019399.tif 000084
は各々左右画像の画素の輝度値を表す。
2012019399.tif 000085
は左画像に対する右画像の水平、垂直方向の動き量である。
【０１０４】
図５の画像中に座標系を取り、画像中心を座標原点と一致させ、水平方向の正の向きを画像右方向に、垂直方向の正の向きを画像上方向としたとき、図５の方向１は水平、垂直ともに正方向への動きを表す。方向２は水平のみ正方向への動きを表す。方向３は水平に正方向、垂直に負方向への動きを表す。方向４は垂直のみ負方向への動きを表す。方向５は水平、垂直ともに負方向への動きを表す。方向６は水平のみ負方向への動きを表す。方向７は水平に負方向、垂直に正方向への動きを表す。方向８は垂直のみ正方向への動きを表す。画像中内側の破線領域は画像間にて重複する画面中央領域を表す。
【０１０５】
図６は、ブロックマッチング計算ブロック図である。画像は左画像および右画像用メモリに書き込まれ、右像用メモリの読み出しアドレスをオフセットさせることにより、右画像そのものおよび図５に示す８方向へ画像をある一定量シフトさせたものを、順次得ることができる。得られた画像間の画素の輝度値の差分絶対値を共通の演算回路によって計算し、その画素毎の総和を計算する累積加算器を方向毎に独立に用意して、それらをメモリの読み出しアドレス制御に応じて切り替えて累積加算演算を行う。
【０１０６】
あるいは、右画像を独立した複数のメモリに書込み、読み出しアドレスをオフセットさせることにより、右画像そのものおよび図５に示す８方向へ画像をある一定量シフトさせたものを、同時に得ることができる。得られた画像間の画素の輝度値の差分絶対値及びその画素毎の総和を計算する累積加算器も独立に用意すれば、並列処理により計算速度を上げることができる。
【０１０７】
［数２−１］による画素の輝度値の差分絶対値の最も小さくなる動き量が画面全体の動き量である。図６の方向毎の累積加算器の結果の最小値を最小値選択によって決定し、そのときの最小値をなす累積加算器の示す方向が動き量になる。
【０１０８】
そのような動き量を基本的にはメモリからの画素の読み出しアドレスを変えながらいろいろ探索することになるが、広範囲な画面全体の動き量を推定するためには、やみくもな探索では効率が悪い。そこで、原画像の縮小画像を生成し、縮小画像間で組織的に動き量を探索する。大きな動き量でも縮小画像においては、小さな動き量と見なせるので、広範囲な動き量にも対応できる。
【０１０９】
縮小画像の画面中央領域の画素間のブロックマッチングによって得られた動き量の結果に基づき、より高解像度な画像において再度ブロックマッチングを行い、最終的に原画像におけるピクセル／ライン精度の動き量とする。
【０１１０】
図７は縮小画像を利用したブロックマッチング処理のブロック図である。左右画像が、それぞれ折り返し防止のローパスフィルタによって平滑化されて画素を間引いて、縮小画像を生成する。図７では、原画像に対して縦横ともに半分のサイズとした縮小画像を１／２画像、さらに、その半分のサイズとした縮小画像を１／４画像、さらに、その半分のサイズとした縮小画像を１／８画像と呼ぶと、それらを用いて画面全体の動き量を推定している。
【０１１１】
各々のサイズの生成した縮小画像はメモリに書き込まれ、最初に１／８縮小画像間において、ブロックマッチング処理が行われる。このときの探索画素の範囲は１／８縮小画像で２画素とする。１／８縮小画像において得られた動き量をメモリから画素を読み出すアドレスの初期オフセットとして、再び１／８縮小画像に対して探索画素の範囲を１／８縮小画像で２画素として同様にブロックマッチング処理を行う。
【０１１２】
次に、１／８縮小画像において２回のブロックマッチング処理結果の累積加算した動き量を２倍したものをメモリから画素を読み出すアドレスの初期オフセットとして、１／４縮小画像に対して探索画素の範囲を１／４縮小画像で２画素として同様にブロックマッチング処理を行う。
【０１１３】
１／４縮小画像において得られた動き量を累積加算した動き量をメモリから画素を読み出すアドレスの初期オフセットとして、再び１／４縮小画像に対して探索画素の範囲を１／４縮小画像で１画素として同様にブロックマッチング処理を行う。
【０１１４】
次に、１／４縮小画像において２回のブロックマッチング処理結果の累積加算したから動き量を２倍したものをメモリから画素を読み出すアドレスの初期オフセットとして、１／２縮小画像に対して探索画素の範囲を１／２縮小画像で１画素として同様にブロックマッチング処理を行う。
【０１１５】
このようにして低解像度の縮小画像間におけるブロックマッチング処理の結果をより高解像度の縮小画像間におけるブロックマッチング処理へ伝播させることによって広範囲な動き量の推定が可能になる。図の実施例では、最終的に１／２縮小画像において、水平、垂直方向ともに最大±３１±１画素／ライン（原画像においては、最大±６２±２画素／ライン）の範囲と精度で動き量が推定される。 
【０１１６】
勿論、用意する縮小画像と各縮小画像における探索回数はこの限りではない。画像サイズや立体視映像における左右画像間の幾何学変換として考えられる変換パラメータや、処理のコスト等から決定すればよい。
【０１１７】
（２．２勾配法） 
2012019399.tif 000086
ブロックマッチングにより得られた動き量は、ピクセル／ライン精度である。そこで、さらに次のようにしてサブピクセル／サブライン精度の動き量を推定する。サブピクセル／サブライン精度の動き推定の原理を説明する。右画像の画素の輝度値
2012019399.tif 000087
が
2012019399.tif 000088
だけ平行移動すれば左画像
2012019399.tif 000089
に重なるとすると、次式が成り立つ。 
【０１１８】
【数２−２】
2012019399.tif 000090
すなわち、 
【数２−３】
2012019399.tif 000091
［数２−４］の右辺
2012019399.tif 000092
をテイラー展開すると、
【数２−５】
2012019399.tif 000093
２次以上の項を無視すると、 
【数２−６】
2012019399.tif 000094
ただし、 
【数２−７】
2012019399.tif 000095
したがって、
2012019399.tif 000096
を求めるために次の目的関数
2012019399.tif 000097
を最小化する。 
【数２−８】
2012019399.tif 000098
【０１１９】
2012019399.tif 000099
は左右画像の重複した領域中のすべての画素に渡る和を表す。［数２−８］を最小にする
2012019399.tif 000100
を定める。［数２−８］を
2012019399.tif 000101
でそれぞれ微分して０と置くと次のようになる。
【数２−９】
2012019399.tif 000102
【数２−１０】
2012019399.tif 000103
【０１２０】
次の連立方程式を解いて
2012019399.tif 000104
が求められる。これはサブピクセル／サブライン精度の動き量になる。
【数２−１１】
2012019399.tif 000105
【０１２１】
縮小画像を用いたブロックマッチング処理によって、ピクセル／ライン精度で推定された１／２縮小画像における動き量だけシフトされた１／２縮小画像間にて、画像の空間勾配、時間勾配を計算してサブピクセル／サブライン精度の動き量を推定する。
【０１２２】
［数２−７］の画像の時間的空間的勾配
2012019399.tif 000106
は次のように１／２縮小画像において画素毎に計算する。
【数２−１２】
2012019399.tif 000107
【数２−１３】
2012019399.tif 000108
【数２−１４】
2012019399.tif 000109
【０１２３】
ただし、右画像
2012019399.tif 000110
はブロックマッチング処理の結果の動き量によってシフトされたものである。図８は、画像の時間的空間的勾配を計算するブロック図である。空間勾配は、左画像が画素単位の遅延素子によって遅延されたものを、減算器によって減算された結果を１／２することによって水平方向の空間勾配
2012019399.tif 000111
が計算される。同様に、左画像がライン単位の遅延素子によって遅延されてものを、減算器によって減算された結果を１／２することによって垂直方向の空間勾配
2012019399.tif 000112
が計算される。時間勾配
2012019399.tif 000113
は、左画像とブロックマッチング処理の結果の動き量によってシフトされた右画像を、減算器によって減算する。
【０１２４】
時間的空間的勾配計算ブロックによって計算された画素毎の時間的空間的勾配
2012019399.tif 000114
は、図９の勾配要素計算ブロック図において、［数２−１１］の連立方程式の各要素が計算される。画素毎の時間的空間的勾配は、各々二乗、あるいは、互いに乗算されて累積加算される。得られた［数２−１１］の連立方程式の各要素をＣＰＵで読み込み、［数２−１１］の連立方程式を解く。
【０１２５】
画像の時間的空間的勾配によって得られたサブピクセル／サブライン精度の動き量をブロックマッチング処理によるピクセル／ライン精度の累積動き量に加算して、最終的なサブピクセル／サブライン精度の動き量とする。
【０１２６】
このようにして最終的に得られたサブピクセル／サブライン精度の動き量によって、立体視映像における左右映像を左映像を基準として、右映像の垂直方向のみ補正処理を行う。
【０１２７】
垂直方向の補正処理を行うことによって、厳密な平行カメラにより撮影した立体視映像とすることができる。水平方向の動き量は基準水平動き量として保存する。
【０１２８】
（２．３幾何学変換モデルとモデル選択） 
立体視映像として同一シーンを撮影しても、左右のカメラの位置や向きが様々に異なると画像としての見え方も異なる。ズームをするとカメラの光軸がレンズ個体毎に異なるため、垂直方向のずれが生じるし、左右のズーム量が異なると画像の拡大縮小として見える。
【０１２９】
そこで、２次元の画像の幾何学変換として、水平垂直方向の平行移動である並進に画像面の回転を加えた剛体変換、さらにスケール変換を加えた相似変換、さらに斜めの歪みを加えたアフィン変換等、より複雑な幾何学変換モデルを考える。これらはすべて射影変換と呼ばれる幾何学変換の部分群になる（図３）。
【０１３０】
いずれの変換モデルによる補正パラメータを計算すればよいかは、事前には未知である。当然、最も自由度の高い射影変換モデルによる補正パラメータを用いれば補正による当てはめ残差（左右画像の差）は最も小さくなる。しかし、一般に自由度の高い変換モデルを安定に計算することは難しい。画像の観測誤差や、背景の前に存在する局所移動物体の存在によって、シーンが２次元平面と見なせない場合のモデル化誤差によって、意味のない結果が得られる場合も考えられる。
【０１３１】
そこで、立体視として現実的な幾何学変換モデルを用意して、それらのモデルの中で最も自由度が低く、かつ最も当てはまり残差が小さいものを選択することを考える。
【０１３２】
これを行うためには、それぞれの変換モデルの当てはめ残差と自由度から計算されるモデル選択規準が最小になる変換モデルを選択すればよい。
【０１３３】
相似変換モデルの勾配法による変換パラメータの計算方法について以下に説明する。 
【０１３４】
点
2012019399.tif 000115
を点
2012019399.tif 000116
に写像する変換が次の形に書けるとき、これを相似変換と呼ぶ。
【数２−１５】
2012019399.tif 000117
これは回転、拡大縮小、並進を合わせたものである。この変換によって長さは変化するが、角度は保たれ、図形の形は変化しない（相似図形となる）。
2012019399.tif 000118
と置くと、剛体運動をスカラー
2012019399.tif 000119
倍したものであり、次のように書ける。
【０１３５】
【数２−１６】
2012019399.tif 000120
2012019399.tif 000121
とすると、
2012019399.tif 000122
であり、さらに、
2012019399.tif 000123
とすると、
2012019399.tif 000124
として、
2012019399.tif 000125
であるから、相似変換は次のように１次近似できて、勾配法における［数２−６］の
2012019399.tif 000126
として、次のように書ける。 
【０１３６】
【数２−１７】
2012019399.tif 000127
【数２−１８】
2012019399.tif 000128
したがって、次の目的関数
2012019399.tif 000129
を最小化すればよい。
【数２−１９】
2012019399.tif 000130
【０１３７】
ただし、次のように置いた。 
【数２−２０】
2012019399.tif 000131
【０１３８】
各々のパラメータで
2012019399.tif 000132
を微分して０と置くと、次のようになる。
【数２−２１】
2012019399.tif 000133
【数２−２２】
2012019399.tif 000134
【数２−２３】
2012019399.tif 000135
【０１３９】
【数２−２４】
2012019399.tif 000136
ここで、次のように置いた。 
【数２−２５】
2012019399.tif 000137
【０１４０】
したがって、次のような連立方程式を解けばよい。 
【数２−２６】
2012019399.tif 000138
［数２−２６］の左上２×２行列に限定すると、並進モデルになり、３×３行列に限定すると、剛体モデルになる。 
【０１４１】
反復により最適な変換パラメータを計算する手順は次のようになる。 
手順Ｃ１．左画像と変換された右画像の間の画素毎の時空間微分
2012019399.tif 000139
を計算する。 
手順Ｃ２．次の連立方程式を解く。 
【数２−２７】
2012019399.tif 000140
手順Ｃ３．
2012019399.tif 000141
を次のように更新する。
【数２−２８】
2012019399.tif 000142
手順Ｃ４．
2012019399.tif 000143
なら
2012019399.tif 000144
を返して終了。そうでなければ、更新した
2012019399.tif 000145
による右画像の変換画像を生成して手順Ｃ２．に戻る。
【０１４２】
このようにして最適に計算した並進、剛体、相似の各モデルの変換パラメータによる変換画像から当てはめ残差
2012019399.tif 000146
を計算して、次のような幾何学的ＡＩＣあるいはＭＤＬを計算する。
【数２−２９】
2012019399.tif 000147
【０１４３】
ここで、
2012019399.tif 000148
は二乗ノイズレベルであり、一般モデル（最も自由度の高いモデル）から次のように計算する。
【数２−３０】
2012019399.tif 000149
【０１４４】
2012019399.tif 000150
は目的関数
2012019399.tif 000151
を最小にする最適色補正パラメータにより目的関数を計算した当てはめ残差である。
2012019399.tif 000152
は推定に用いたデータ数であり、この場合は、計算に用いた重複領域における画素数とする。
【０１４５】
2012019399.tif 000153
は各色補正モデルの自由度（パラメータ数）である。一般モデルを相似変換モデルとすると、
2012019399.tif 000154
である。並進モデルの自由度は２であり、剛体変換モデルの自由度は４である。
【０１４６】
幾何学的ＭＤＬにおける
2012019399.tif 000155
は基準長であり、データを
2012019399.tif 000156
に揃えるための正規化定数である。この場合には、画像水平サイズにすればよい。
【０１４７】
幾何学的ＡＩＣあるいはＭＤＬが最小になる変換モデルを選べば、最も自由度が少なく、最も当てはまりのよい変換モデルになる。
【０１４８】
幾何学的ＭＤＬの方が、幾何学的ＡＩＣと比較して、自由度の少ないモデルを選ぶ傾向がある。 
【０１４９】
勿論、一般モデルをアフィン変換モデルあるいは射影変換モデルとすることも可能であり、その他の変換モデルを用いることも可能である。
【０１５０】
実際の処理装置としては、図１０のようになる。はじめに左右画像を入力して、変換推定処理モジュールにより並進、剛体、相似変換のパラメータを推定して、その当てはめ残差から幾何学的ＡＩＣあるいはＭＤＬを計算して最適な変換モデルを選択する。それ以降のフレームは、前フレームにおける推定パラメータを初期値として変換推定処理モジュールにより並進、剛体等の変換モデルの最適パラメータを順次推定して、それらの当てはめ残差を計算して、幾何学的モデル選択規準を計算して、最適なモデルを選択する。そのようにして得られた最適な変換モデルの最適パラメータによって入力映像を変換補正処理モジュールにより補正処理する。水平方向の動き量は常に基準水平動き量になる様に補正を行う。
【０１５１】
この場合、厳密に同じフレームにおいて変換モデルを推定した結果を比較することはできないが、立体視撮影におけるカメラ間の変化がフレーム間で急激に変化したと  しても、それが連続することはほとんどなく、また、そのような変化が生じても数フレーム内に補正結果が得られるのであれば、視聴に関してはほとんど問題ない。問題となるのは、そのような視聴に望ましくない状態が人間に知覚できるぐらいの長期に渡って持続する場合である。したがって、このような変換推定／補正処理モジュールによる実現方法は、現実的な解決手段と言える。
【０１５２】
反復による最適化も、前フレームにおける左右画像間の幾何変換モデルのパラメータ推定結果による現フレームの補正画像を用いて、前フレームにおける左右画像間の幾何変換モデルのパラメータ推定結果を更新すればよい。
【０１５３】
（３．視差計算処理および視差調整処理）
立体視映像における左右映像のほぼ重複している画面中央領域を適当なサイズのブロックに分割する。ブロック毎に左右画像間においてブロックマッチング処理を行う。このとき、画面全体の幾何学変換モデルの並進における水平移動パラメータを初期値として探索を行う。
【０１５４】
ブロックマッチングのための目的関数
2012019399.tif 000157
は、例えば次のようになる。
【数３−１】
2012019399.tif 000158
しかし、物体境界を含むブロックでは、例えば物体による背景領域のオクルージョン（隠れ）が発生するために正しいマッチング結果が得られない場合がある。
【０１５５】
そこで、マッチングの目的関数における残差画素の分布からオクルージョンに起因するであろう外れ画素を次のような操作により予め除外する。
手順Ｄ１：目的関数を画素毎に計算して、その結果の残差画素からなるヒストグラムを生成する。 
手順Ｄ２：得られた残差画素のヒストグラムのメジアン値を計算する。 
手順Ｄ３：メジアン値からメジアン絶対値偏差（Ｍｅｄｉａｎ  Ａｂｓｏｌｕｔｅ  Ｄｅｖｉａｔｉｏｎ、ＭＡＤ）を計算する。 
【数３−２】
2012019399.tif 000159
手順Ｄ４：ＭＡＤから残差画素のヒストグラムの標準偏差を推定する。 
【数３−３】
2012019399.tif 000160
2012019399.tif 000161
程度とする。
【０１５６】
手順Ｄ５：推定した偏差値による標準区間内における残差画素からなる正規化残差（残差画素数で割る）をそのブロックにおける残差とする。
手順Ｄ６：そのようにして外れ画素を除外して計算した残差が最小になるブロック同士の水平移動量を視差とする。 
【０１５７】
ブロックマッチング処理を行うために、予めブロック中の分散を計算して、分散値があるしきい値以下の場合、そのブロックにはマッチングに必要な特徴が少ないとして処理しないものとする。
【０１５８】
そのようにして画面中央領域中の矩形ブロックの水平移動量として計算した視差の分布から、最小視差、最大視差を求めて最終的な結果とする。
【０１５９】
立体視における快適な視差の範囲とは、水平画面サイズに対して±１．９％と言われている（ＨＤフォーマット１０８０ｉの場合は、水平サイズ１９２０画素であるから±３８画素になる）。計算した視差量がその範囲内であれば問題ないが、それらを超える場合には快適な立体視映像として視聴することは難しくなる。
【０１６０】
そこで、視差範囲をフレーム毎に計算して、その範囲を超えた  場合には、快適視差範囲になるように左右画像を処理することによって快適視差範囲とする。具体的には左右の画像を水平移動することによって見かけ上視差量を小さくする。
【０１６１】
実際の処理装置としては、図１１のようになる。左右画像を入力して、視差量計算モジュールにおいて、重複しているであろう画面中央領域を適当なサイズで分割したブロック毎に上記ブロックマッチング処理を行い、各ブロック領域における水平方向の動き量を計算して、各ブロック領域における水平方向の動き量から最大視差量を計算する。
【０１６２】
最大視差量が快適な視差範囲内であれば、視差調整量は０であるが、快適視差範囲を越えていた場合、快適視差範囲になるように視差調整量を視差調整量計算モジュールによって計算する。具体的には、ＨＤフォーマットの場合、水平サイズ１９２０画素に対して、３８画素を越えていた場合、例えば、最大視差量が４６画素だった場合、３８画素になる様、３８−４６＝−８画素だけ水平方向に右画像をシフトする。水平方向右方向を正とすると、−８画素シフトは左方向に８画素シフトすることになる。左右画像の視差量が相対的に小さくすればよいから、左画像を右方向へ４画素シフトして、右画像を左方向へ４画素シフトしても同じことである。
【０１６３】
補正可能な水平シフトの上限値下限値を予め設定する。左右画像の入力から視差量計算処理モジュールによって計算された視差量から実際の視差調整量を視差調整量計算モジュールによって計算し、補正可能範囲内で視差調整処理モジュールによって、左右画像を視差調整するが、補正可能範囲を越えた状態があるフレーム数持続する場合には、警告出力を行う。
【０１６４】
図１２（ａ）は立体視映像補正装置の全体ブロック図である。左右映像を入力して、上記自動色補正処理、幾何補正処理、視差計算および視差調整処理を行った補正結果を３Ｄエンコーダとして、例えばサイドバイサイド変換を行い出力する。立体視映像のフォーマットは受像機によって異なるため、３Ｄエンコーダはサイドバイサイド、ラインバイラインあるいはフィールドシーケンシャル、アナグリフ出力を選択可能とする。
【０１６５】
図１２（ｂ）は立体視映像補正装置の全体ブロック図として、図１２（ａ）の前段に３Ｄデコーダを追加したものである。３Ｄフォーマットとして、例えばサイドバイサイド変換された立体視映像を３Ｄデコーダにより、左右画像に分離する。そのように分離した左右映像に対して、上記自動色補正処理、幾何補正処理、視差計算および視差調整を行った補正結果を３Ｄエンコーダにより再びサイドバイサイド変換を行い出力する。
【産業上の利用可能性】
【０１６６】
本発明は、放送用途や産業用途の立体視ビデオカメラシステム等に幅広く利用できる。 
【符号の説明】
【０１６７】
１００・・立体視映像補正装置、２００・・被写体、３００・・カメラＲ、４００・・カメラＬ、１０００・・立体視映像補正システム。
【図１】
2012019399.tif 000162
【図２】
2012019399.tif 000163
【図３】
2012019399.tif 000164
【図４】
2012019399.tif 000165
【図５】
2012019399.tif 000166
【図６】
2012019399.tif 000167
【図７】
2012019399.tif 000168
【図８】
2012019399.tif 000169
【図９】
2012019399.tif 000170
【図１０】
2012019399.tif 000171
【図１１】
2012019399.tif 000172
【図１２】
2012019399.tif 000173