(57)【要約】本発明は、少なくとも２つのカメラを有する第１のカメラリグによって供給された（１０）第１の画像が、第２のカメラリグからの第２の画像によって後続され（５０）、さらに、第１のサブフレームおよび第２のサブフレームから構成された第１の画像の深度に関する情報を取得するため、第１のカメラリグの第１のカメラによって供給された第１のサブフレームの中の規定された像点の、第１のカメラリグの第２のカメラによって供給された第２のサブフレームの中の同様の像点に対する変位を規定する視差表が決定され（２０、３０）、第１のカメラリグの第１の画像の視差表の深度情報が、第２のカメラリグの第２の画像の処理に使用される（６０）場合の、ステレオフィルムを製造する方法に関する。さらに、本発明は、前記方法を実行するように構成された複数の３Ｄカメラのための制御（手段）または調整手段に関する。【選択図】図１
2014525186.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも２つのカメラを有する第１のカメラリグによって供給された（１０）第１の画像が、第２のカメラリグからの第２の画像によって後続され（５０）、さらに、第１のサブフレームおよび第２のサブフレームから構成された前記第１の画像の深度に関する情報を取得するため、前記第１のカメラリグの第１のカメラによって供給された前記第１のサブフレームの中の規定された像点の、前記第１のカメラリグの第２のカメラによって供給された前記第２のサブフレームの中の同様の像点に対する変位を規定する視差表が決定される（２０、３０）場合の、ステレオフィルムを製造する方法であって、前記第１のカメラリグの前記第１の画像の視差表の深度情報が、前記第２のカメラリグの前記第２の画像の処理に使用される（６０）ことを特徴とする方法。
【請求項２】
前記第２のサブフレームは、前記２つのカメラの前記第１のカメラから供給された前記第１のサブフレームに対して変位され（６１）、前記第１のサブフレームは、前記第２のカメラリグの前記第２のカメラから供給された前記第２のサブフレームと一緒に前記第２の画像を形成することを特徴とする、請求項１に記載の方法。
【請求項３】
前記第２のサブフレームは水平に変位されることを特徴とする、請求項２に記載の方法。
【請求項４】
前記第２のカメラリグの前記第２のサブフレームは、前記第１の画像の前記２つのサブフレーム間と同じ視差が前記第２の画像の前記２つのサブフレーム間に存在するようになる距離だけ、変位ステップで変位されることを特徴とする、請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記第２の画像の前景内の点と背景内の点との間の深度距離が、前記第２の画像のこれらの２つの点の間の深度距離に対応するまで、前記第２の画像が、前記第１の画像の前記視差表に依存して、補正ステップ（６２）のズーム設定により拡大または縮小されることを特徴とする、請求項１から４のいずれか一項に記載の方法。
【請求項６】
前記ズーム設定はディジタルズームとしてのみ動作し、前記第２のカメラリグの物理レンズの上では機械的に動作しないことを特徴とする、請求項５に記載の方法。
【請求項７】
前記第２の画像の前記第１および第２のサブフレームは拡大または縮小されることを特徴とする、請求項５または６に記載の方法。
【請求項８】
前記補正ステップ（６２）は、前記変位ステップ（６１）と同時に遂行されるか、それに続いて遂行されることを特徴とする、請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記視差表の中に置かれた前記深度予定量が前記第２の画像へ適用され、前記深度予定量を超えて存在する前記第２の画像の全ての区域が、ぼかされて表示されることを特徴とする、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
前記第２の画像の１つまたは複数の領域で前記ぼかしを達成するため、ガウスぼかしアルゴリズムが使用されることを特徴とする、請求項９に記載の方法。
【請求項１１】
複数の３Ｄカメラのための制御手段または調整手段であって、上記請求項のいずれか一項に記載の方法を実行するように構成された制御手段または調整手段。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、少なくとも２つのカメラを有する第１のカメラリグによって供給される第１の画像が、第２のカメラリグからの第２の画像によって後続され、さらに、第１のサブフレームおよび第２のサブフレームから構成された第１の画像の深度に関する情報を取得するため、第１のカメラリグの第１のカメラによって供給された第１のサブフレーム内の規定された像点の、第１のカメラリグの第２のカメラによって供給された第２のサブフレーム内の同様の像点に対する変位を規定する視差表が決定される場合の、ステレオフィルムを製造する方法に関する。
【背景技術】
【０００２】
カメラリグ、および３Ｄフィルム、または、いわゆるステレオフィルムを製造する方法は、従来技術から公知である。そのようなフィルムは、観察者の各々の眼に特定の画像を投影し、３次元画像が観察者のために構成される。
【０００３】
通常、シーンの記録に使用されるカメラリグの場合、各々のカメラリグ内に２つのカメラが組み合わせられる。２つのカメラを有する第１のカメラリグは、撮影されるべきシーンの方へ第１の視角から向けられ、さらに組み合わせられた２つのカメラを有する第２のカメラは、異なる視角でシーンの方へ向けられる。もし、ここで第１のカメラリグから第２のカメラリグへの「カット」が遂行されるならば、すなわち、もし、画像が第１のカメラリグによって供給され、系列がカットに続く画像の系列であり、この系列が他のカメラリグによって供給されるような、画像の系列が続くならば、３次元フィルムの場合、カットに起因して、所望されない効果が観察者に対して度々起こる。
【０００４】
こうして、第１のカメラリグがシーンの方へ向けられたとき、はるかに大きな深度印象が達成され、たとえば、シーンの物体は、スクリーンの仮想平面よりも、はるか前方にあるように観察者によって知覚され、カットが起こると、物体はスクリーンの平面よりも、はるか後方にあるように知覚されるか、少なくとも、少し前の他の視点から観察された位置にはないように知覚されることが起こり得る。
【０００５】
実生活では不愉快な効果は起こらないが、もし物体が観察者へ突然に向かって来るならば、関連情報を再生している間の深度印象の急激な変化は、観察者の不快感をもたらす。
【０００６】
これは、とりわけ、実生活、たとえばボールのような物体が観察者の方へ自然にスピードを出して来るような情景を観察している場合、最初、このボールは合焦されていないので、フィルムを観察しているときに起こる負の効果は現れない。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
それゆえに、本発明の目的は、少なくとも２つのカメラを有する第１のカメラリグによって供給された第１の画像が、第２のカメラリグからの第２の画像によって後続されることができるようにステレオフィルム内でのカットの実行を可能にし、双方の画像内に創出された深度印象が観察者への不愉快な副作用を引き起こさないようにすることである。
【課題を解決するための手段】
【０００８】
この目的は、本発明に従って、第１のカメラリグの第１の画像の視差表の深度情報が第２のカメラリグの第２の画像の処理に使用されることで解決される。
【０００９】
視差表は、第１の画像の深度印象の評価を可能にする情報の編集物を意味するものと理解される。深度印象は画像深度解析によって創出され、横方向視差または視差とも呼ばれ得る。そのような視差は、画面内の同じ物体が２つの異なる画像平面上で占拠する位置のオフセットである。このように、レンズの像平面の光心は、ベースｂだけ相互から空間的に分離されている。もし双方のレンズが焦点距離ｆを有するならば、距離ｒ＝ｂ・ｆ／ｄが適用される。ここで、ｄは視差を表す。この式は、ステレオノーマルの場合、すなわち２つのカメラが並列に整列されるときにのみ適用される。もし双方のカメラが相互に少しだけ旋回、すなわち収束するように整列されていれば、修正された式が適用され得る。
【００１０】
それゆえに、立体画像内の視差を測定することによって、物体への距離ｒを決定し得る。したがって、立体画像の視差マップまたは視差表は深度図と同義である。
【００１１】
ここで注意すべきは、画像が２つのサブフレームの編集物を意味するものと理解されることである。２つのサブフレームの各々は、規定されたカメラリグの２つのカメラの１つによって供給される。
【００１２】
立体画像プロセッサ（ＳＩＰ）の中で実現され得る本発明は、シーンを解析し、近い物体および遠い物体の深度または深度情報に関するメタデータを提供し、さらに、全空間／全ボリュームに関する情報をリアルタイムで供給し得る。加えて、さらに、ＳＩＰは画像処理および画像操作を遂行し得る。提案された発明を用いることによって、提供されたデータに基づき、シーン内の３Ｄ変化が確実に深度予定量の中に残ることが達成される。
【００１３】
有利な実施形態は、従属請求項で請求され、下記で詳細に説明される。
【００１４】
第２のサブフレームが、２つのカメラの第１のカメラから供給された第１のサブフレームに対して変位され、前記第１のサブフレームが、第２のカメラリグの第２のカメラから供給された第２のサブフレームと一緒に第２の画像を形成することが有利である。第２のカメラリグの双方のサブフレームを相互に対して変位することによって、深度印象が変化する。こうして、前に存在した第１の画像の深度印象と適合するように深度印象が調整され得る。
【００１５】
第２のサブフレームが水平に変位されるとき、標準の深度効果の生成に頼り得る。もし第２のサブフレーム、たとえば右側のサブフレームが左側のサブフレームから右方へ変位されるならば、深度効果は増加し、逆の場合には減少する。これは、遠い物体を観察しているとき、視線が相互にほとんど平行して走るのに対し、非常に近い物体の場合には、視線の交差が生じ得ることに起因する。視差はゼロ点の周りに配列され、したがって負値および正値を取り得る。
【００１６】
第２のカメラリグの第２のサブフレームは、第１の画像の２つのサブフレーム間と同じ視差が第２の画像の２つのサブフレーム間に存在するようになる距離だけ、変位ステップで変位されることが、さらに有利である。その場合、観察者の眼は調整を必要とせず、負の効果は、ほとんど完全に除去される。
【００１７】
第２の画像の前景内の点と背景内の点との間の深度距離が第２の画像内のこれら２つの点の深度距離に対応するまで、もし第２の画像が第１の画像の視差表に依存して補正ステップのズーム設定により拡大または縮小されるならば、さらに本方法は改善され得る。ズーム設定を変更することによって、シーン内の第１の物体からシーン内の第２の物体までの知覚された深度距離は変化する。
【００１８】
ズーム設定がディジタルズームとしてのみ動作し、第２のカメラリグの物理レンズ上では機械的に動作しないとき、視差はさらに低減する。
【００１９】
ここで、第２の画像の第１および第２のサブフレームが拡大または縮小されることが、さらに有利である。第２の画像を縮小することによって、視差も、画像の縮小と線形に縮小し、カットのときの高すぎる視差によって引き起こされる負の副作用は、ユーザへ現れない。
【００２０】
補正ステップが変位ステップと同時に遂行されるか、後続して遂行されるとき、２つの場合の最初の場合には、肯定的な結果が特に迅速に達成され、２番目の場合には、特に正確な結果が達成され得る。
【００２１】
視差表の中に置かれた深度予定量が第２の画像へ適用され、深度予定量を超えて存在する第２の画像の全ての区域がぼかされて表示されることが、さらに有利である。深度予定量は、視差によって引き起こされる範囲／視差によって引き起こされる領域を意味するものと理解される。それゆえに、最小の視差が、たとえば−５０であり、最大の視差が０であるとき、画像は−５０から０までの深度予定量を備える。
【００２２】
特に効率的なぼかしを達成するため、ガウスぼかしアルゴリズムが使用され、第２の画像の１つまたは複数の領域でぼかしが達成される。それゆえに、第２の画像の深度予定量が第１の画像の深度予定量と比較して大きすぎる区域が同定され、同定された区域はぼかされて表示される。ガウスぼかしアルゴリズムのもとでは、周囲のピクセルが使用され、過度にぼかされて表示されるべきピクセルは、ガウス正規分布に従って再計算される。
【００２３】
本発明は、さらに、ステレオフィルムの記録に適した複数の３Ｄカメラの制御または調整に関連する。制御または調整は、本発明に従った方法を遂行し得るように構成される。
【図面の簡単な説明】
【００２４】
続いて、本発明は、図の助けを借りて詳細に説明される。第１の例示的実施形態は、図１の概略的に描かれたフローチャートで図示され、第２の例示的実施形態は、更なる図で図示される。
【発明を実施するための形態】
【００２５】
図１は、本発明に従った方法の第１の例示的実施形態のフローチャートを示す。
【００２６】
第１のステップ１０では、２つのカメラを備える第１のカメラリグを用いて、第１の画像の記録が行われる。続く第２のステップ２０では、第１の画像内の視差が確認される。
【００２７】
続く第３のステップ３０では、視差表のセットアップが起こる。視差表は視差マップとも呼ばれ得る。
【００２８】
ステップ４０では、ステレオフィルムのフィルム系列を製造している間に、第１のカメラリグから第２のカメラリグへのカットが行われる。第２のカメラリグも２つのカメラを含む。
【００２９】
続くステップ５０では、第２のカメラおよびその２つのカメラを用いて、第２の画像の記録が行われる。
【００３０】
続くステップ６０では、第２の画像を処理するため、視差表の使用が行われる。
【００３１】
ここで描かれた例示的実施形態において、続くステップ６２によって後続されるサブステップ６１では、第２の画像の他のサブフレームへの、第２の画像のサブフレームの変位が行われる。これらの２つのサブフレームの双方は全体で第２の画像を形成する。サブステップ６２では、補正ステップが遂行される。言い換えれば、第２の画像のズーム設定が変更される。したがって、変位ステップ６１では、全体としての視差分布が変更され、補正ステップ６２では、現在の視差自体が変更される。
【００３２】
さらに、これと平行して、または後続して、または代替として、ぼかしステップ６３が遂行され得る。ぼかしステップは、第１の画像の視差と比較して大きすぎるか小さすぎる視差を有する第２の画像の区域を同定することを備える。これらの区域のぼかしは、たとえば、ガウスぼかしアルゴリズムによって実現される。
本発明に従った第２の例示的実施形態の概略的構成は、図２に描かれる。
【００３３】
各々のカメラリグ１００の中に、２つのカメラ１１０および１２０が含まれる。これらのカメラは、立体画像対の画像データを画像解析ユニット１３０へ送る。画像解析ユニット１３０は、近い区域、中間の区域、および遠い区域に関して、シーン深度をリアルタイムで決定する。
【００３４】
これらの取得されたメタデータは、立体画像対の１つまたは他の画像の画像データの中に埋め込まれるか、双方の画像の画像データの中に埋め込まれる。これらの処理されたデータは、スイッチ１４０へ渡される。スイッチ１４０は切替器とも呼ばれる。
【００３５】
スイッチ１４０は、ユーザが、画像プロセッサ１５０の介在のもとで、出力インタフェース１６０のために原始データの中から選択することを可能にする。画像プロセッサ１５０は、統計的深度予定量パラメータ、特に単位時間当たりの最大許容変化に関連する背景データを含む。
【００３６】
画像プロセッサ１５０は、メタデータから取得された深度情報からの動的統計値を管理し、変化率および変化量を計算し、これらの値が、使用されるべき深度予定量の中にあることを確実にする。
【００３７】
もし結果の深度変化が所定の包絡線の中にあれば、画像対は変更されないで出力インタフェース１６０へ渡される。もし、これが次から次へと反復して行われるならば、結果はビデオ系列である。
【００３８】
もし深度変化が既定の深度予定量の中に収まらないならば、画像は、調整、たとえば、ぼかされ、不鮮明、不明瞭、彩度が減らされ、および／またはマスク／マークされる。たとえば、深度予定量からの偏差が大きくなれば、ぼかしの補正動作は大きくなる。動作は、さらに、ブラックフラッシュまたはホワイトフラッシュ、言い換えれば、黒または白から新しい画像内容への遷移を含み得る。規定された区域のみを処理する代わりに、画像対の画像全体がぼかされ得る。これは、正確な視差マップを利用できないとき、特に有利である。
【００３９】
本方法は、各々の立体画像対について反復される。
【図１】
2014525186.tif 000003
【図２】
2014525186.tif 000004
【国際調査報告】
2014525186.tif 000005
2014525186.tif 000006
2014525186.tif 000007
2014525186.tif 000008
2014525186.tif 000009
2014525186.tif 000010