(57)【要約】【課題】キャプチャ画像中の障害物を除去する。【解決手段】最初のカメラのポーズからシーンの最初の画像を受け取り、シーンの最初の画像の中の障害物の検出に応答して、カメラを所望のカメラのポーズに動かすことに対応する命令を表示し、命令に従ってキャプチャされる第2の画像を受信し、障害物除去手順を行い出力画像を生成する。所望のカメラのポーズは、シーンの視野を有する第2の画像のキャプチャを提供し、第2の画像は、障害物が存在しないシーンの出力画像を生成するために、最初の画像と組み合わせて障害物除去手順により使用可能である。【選択図】図４
2020181595.tif 000002
【特許請求の範囲】
【請求項１】
システムであって、
画像をキャプチャするように構成されたカメラと、
ディスプレイと、
少なくとも1つのプロセッサとメモリとを含むコントローラと
を備え、前記プロセッサは、複数の動作を実行するために前記メモリに記録されたプログラム命令を実行し、前記複数の動作は、
カメラによって、最初のカメラのポーズでシーンの最初の画像を受け取る動作と、
前記シーンの前記最初の画像の中に障害物が観測できることを検出する動作と、
前記障害物の検出に応答して、前記カメラを少なくとも1つの所望のカメラのポーズに動かすことに対応する命令を表示する動作であって、前記少なくとも1つの所望のカメラのポーズが、前記シーンの少なくとも1つの視野を有する少なくとも1つの第2の画像のキャプチャを提供し、前記少なくとも1つの第2の画像は、前記障害物の少なくとも一部が存在しない前記シーンの出力画像を生成するために、前記最初の画像と組み合わせて障害物除去手順により使用可能である、動作と、
前記命令に従ってキャプチャされる前記少なくとも1つの第2の画像を受信する動作と、
前記障害物除去手順を行い、前記出力画像を生成する動作と
を含む、システム。
【請求項２】
前記少なくとも1つの所望のカメラのポーズが、前記最初のカメラのポーズと異なる、請求項1に記載のシステム。
【請求項３】
前記複数の動作が、
現在のカメラのポーズが前記少なくとも1つの所望のカメラのポーズに対応すると判定する動作と、
前記判定する動作に応答し、前記少なくとも1つの所望のカメラのポーズに対応する前記少なくとも1つの第2の画像を前記カメラにキャプチャさせる動作と
をさらに含む、請求項1に記載のシステム。
【請求項４】
前記障害物除去手順を行う動作が、
前記最初の画像および前記少なくとも1つの第2の画像の中から複数のサンプリングフレームを選択する動作と、
前記複数のサンプリングフレームを整合する動作と、
前記障害物の前記少なくとも一部を除去し前記出力画像を提供するために、前記複数のサンプリングフレームをフィルタ処理する動作と
を含む、請求項1に記載のシステム。
【請求項５】
前記複数のサンプリングフレームを整合する動作が、エッジ検出方法、コーナー検出方法、特徴マッチング方法、ホモグラフィフィッティング方法、または動きフィールド検出方法のうちの少なくとも1つに従って行われる、請求項4に記載のシステム。
【請求項６】
前記複数のサンプリングフレームをフィルタ処理する動作が、画素毎の最小フィルタ処理方法またはメディアンフィルタ処理方法のうちの少なくとも1つに従って行われる、請求項4に記載のシステム。
【請求項７】
前記障害物除去手順を行う動作が、前記複数のサンプリングフレームの色および明るさを等化する動作をさらに含む、請求項4に記載のシステム。
【請求項８】
前記複数の動作が、
前記障害物のタイプを判定する動作と、
前記障害物のタイプに基づき、前記少なくとも1つの所望のカメラのポーズを判定する動作と
をさらに含む、請求項1に記載のシステム。
【請求項９】
前記障害物のタイプが、邪魔をする物体、鏡面反射、または直接反射のうちの少なくとも1つを含む、請求項8に記載のシステム。
【請求項１０】
前記命令が、前記ディスプレイを介して表示される視覚表現であって、前記少なくとも1つの所望のカメラのポーズに対応する少なくとも1つの空間的な場所の視覚表現を含む、請求項1に記載のシステム。
【請求項１１】
前記複数の動作が、前記ディスプレイに、前記命令を含むキャプチャ用インターフェースを提供させる動作をさらに含み、
前記ディスプレイに前記キャプチャ用インターフェースを提供させる動作が、
前記カメラの視野のライブビュー表現を前記ディスプレイに提供させる動作と、
現在のカメラのポーズを示す情報を前記ディスプレイに提供させる動作と、
前記少なくとも1つの所望のカメラのポーズを示す情報を前記ディスプレイに提供させる動作と
を含む、請求項1に記載のシステム。
【請求項１２】
前記複数の動作が、キャプチャ用インターフェースを介して前記出力画像の表現を前記ディスプレイに提供させる動作をさらに含む、請求項1に記載のシステム。
【請求項１３】
最初のカメラのポーズからシーンの最初の画像を受け取るステップであって、前記カメラがディスプレイデバイスを備える、またはディスプレイデバイスと通信可能に結合される、ステップと、
前記シーンの前記最初の画像の中に障害物を検出するステップと、
前記障害物の検出に応答して、前記カメラを少なくとも1つの所望のカメラのポーズに動かすことに対応する命令を表示するステップであって、前記少なくとも1つの所望のカメラのポーズが、前記シーンの少なくとも1つの視野を有する少なくとも1つの第2の画像のキャプチャを提供し、前記少なくとも1つの第2の画像は、前記障害物の少なくとも一部が存在しない前記シーンの出力画像を生成するために、前記最初の画像と組み合わせて障害物除去手順により使用可能である、ステップと、
前記命令に従ってキャプチャされる前記少なくとも1つの第2の画像を受信するステップと、
前記障害物除去手順を行い、前記出力画像を生成するステップと
を含む、方法。
【請求項１４】
現在のカメラのポーズが前記少なくとも1つの所望のカメラのポーズに対応すると判定するステップと、
前記判定するステップに応答し、前記少なくとも1つの所望のカメラのポーズに対応する前記少なくとも1つの第2の画像を前記カメラにキャプチャさせるステップと
をさらに含む、請求項13に記載の方法。
【請求項１５】
前記障害物除去手順を行うステップが、
前記最初の画像および前記少なくとも1つの第2の画像の中から複数のサンプリングフレームを選択するステップと、
前記複数のサンプリングフレームを整合するステップと、
前記障害物の前記少なくとも一部を除去し前記出力画像を提供するために、前記複数のサンプリングフレームをフィルタ処理するステップと
を含む、請求項13に記載の方法。
【請求項１６】
前記複数のサンプリングフレームを整合するステップが、エッジ検出方法、コーナー検出方法、特徴マッチング方法、ホモグラフィフィッティング方法、または動きフィールド検出方法のうちの少なくとも1つに従って行われる、請求項15に記載の方法。
【請求項１７】
前記複数のサンプリングフレームをフィルタ処理するステップが、画素毎の最小フィルタ処理方法またはメディアンフィルタ処理方法のうちの少なくとも1つに従って行われる、請求項15に記載の方法。
【請求項１８】
前記障害物除去手順を行うことが、前記複数のサンプリングフレームの色および明るさを等化することをさらに含む、請求項15に記載の方法。
【請求項１９】
前記障害物のタイプを判定するステップと、
前記障害物のタイプに基づき、前記少なくとも1つの所望のカメラのポーズを判定するステップと
をさらに含む、請求項13に記載の方法。
【請求項２０】
前記障害物のタイプが、邪魔をする物体、鏡面反射、または直接反射のうちの少なくとも1つを含む、請求項19に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、その全体が参照によって本明細書に組み込まれている、2016年6月9日に出願した米国仮特許出願第62/348,118号の優先権を主張するものである。
【背景技術】
【０００２】
カメラの視野は、反射または邪魔をする要素を含む場合がある。そのようなシナリオでは、カメラによってキャプチャされた画像は、そのような反射または邪魔をする要素を含まない画像より、望ましくない結果をもたらす可能性がある。
【発明の概要】
【課題を解決するための手段】
【０００３】
本明細書に開示されるシステムおよび方法は、他の方法では従来の画像キャプチャシステムを介してキャプチャされる可能性がある、邪魔または反射する要素なしに画像を提供できる画像キャプチャシステムおよび方法に関する。
【０００４】
一態様では、システムが提供される。システムは、視野(Field of View)の画像をキャプチャするように構成されるカメラおよびディスプレイを含む。システムは、少なくとも1つのプロセッサおよびメモリを有するコントローラも含む。プロセッサは、動作を実行するように、メモリに記憶されるプログラム命令を実行する。動作は、最初のカメラのポーズから視野の最初の画像をカメラにキャプチャさせるステップと、視野中に障害物(Obstruction)が観察できるかどうかを判定するステップとを含む。動作は、障害物に基づいて、少なくとも1つの所望のカメラのポーズを決定するステップを含む。少なくとも1つの所望のカメラのポーズは、カメラの少なくとも1つの所望の位置を含む。動作は、キャプチャ用インターフェースをディスプレイに提供させるステップを含む。キャプチャ用インターフェースは、少なくとも1つの所望のカメラのポーズへカメラを動かすステップに対応する命令を含む。動作は、視野の少なくとも1つのさらなる画像をカメラにキャプチャさせるステップも含む。動作は、視野の少なくとも1つの背景画像を提供するために、キャプチャした画像を処理するステップをさらに含む。障害物の少なくとも一部は、背景画像中に存在しない。
【０００５】
一態様では、方法が提供される。方法は、最初のカメラのポーズから視野の最初の画像をカメラを介してキャプチャするステップを含む。カメラはディスプレイを含む。方法は、視野中に障害物が観察できるかどうかを判定するステップを含む。方法は、障害物に基づいて、少なくとも1つの所望のカメラのポーズを決定するステップも含む。少なくとも1つの所望のカメラのポーズは、カメラの少なくとも1つの所望の位置を含む。方法は、キャプチャ用インターフェースをディスプレイを介して提供するステップをさらに含む。キャプチャ用インターフェースは、少なくとも1つの所望のカメラのポーズへカメラを動かすステップに対応する命令を含む。方法は、視野の少なくとも1つのさらなる画像をカメラを介してキャプチャするステップをまたさらに含む。方法は、視野の少なくとも1つの背景画像を提供するために、キャプチャした画像を処理するステップをさらに含む。障害物の少なくとも一部は、背景画像中に存在しない。
【０００６】
一態様では、システムが提供される。システムは、本明細書に記載される他のそれぞれの態様の動作を実行するための様々な手段を含む。
【０００７】
これらならびに他の実施形態、態様、利点、および代替形態は、適している場合に添付図面を参照して、以下の詳細な説明を読むことによって、当業者に明らかとなるであろう。さらに、本明細書に提供されるこの概要および他の記載ならびに図は、実施形態を単に例として説明することを意図し、そのため、多くの変形形態が可能であることを理解されたい。たとえば、構造要素およびプロセスステップは、特許請求される実施形態の範囲内のままでありながら、再配置、組合せ、分散、省略、または他の変更を行うことができる。
【図面の簡単な説明】
【０００８】
【図１】例示的な実施形態に従うシステムを図示する概略図である。
【図２】例示的な実施形態に従う画像キャプチャシステムを図示する図である。
【図３Ａ】例示的な実施形態に従う画像キャプチャシナリオを図示する図である。
【図３Ｂ】例示的な実施形態に従う画像キャプチャシナリオを図示する図である。
【図３Ｃ】例示的な実施形態に従う画像キャプチャシナリオを図示する図である。
【図４】例示的な実施形態に従う方法を図示する図である。
【図５】例示的な実施形態に従う、2つの画像キャプチャシナリオを図示する図である。
【図６】例示的な実施形態に従う、4つの画像キャプチャシナリオを図示する図である。
【図７】例示的な実施形態に従う、障害物除去プロセスを図示する図である。
【図８】例示的な実施形態に従う、障害物除去プロセスを図示する図である。
【発明を実施するための形態】
【０００９】
例示的な方法、デバイス、およびシステムが本明細書に記載される。「例」および「例示的」という言葉は、本明細書では「例、事例、または説明として働く」ということを意味するように使用されることを理解されたい。「例」または「例示的」であると本明細書に記載される任意の実施形態または特徴は、必ずしも、他の実施形態または特徴よりも好ましいまたは有利であると考えられるわけではない。本明細書で提示される主題の範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を行うことができる。
【００１０】
従って、本明細書に記載される例示的な実施形態は、限定することを意図していない。一般的に本明細書で記載され、図に図示されるように、本開示の態様は、種々多様な異なる構成で配置、置き換え、組合せ、分離、および設計することができ、そのすべてが本明細書で意図されている。
【００１１】
さらに、文脈に示唆がない限り、図の各々に図示される特徴は、互いに組み合わせて使用することができる。こうして、図は、一般的に、各実施形態についてすべての図示された特徴が必要なわけではないことを理解して、1つまたは複数の全体の実施形態のうちの構成要素の態様と見なすべきである。
【００１２】
I  概要
従来の画像キャプチャ技法は、カメラの視野(Field of View)が反射および/または邪魔する要素を含むとき、望ましくない結果をもたらす可能性がある。たとえば、(たとえば、夜に)ガラス窓を通して暗いシーンに向けて写真を撮影するとき、明るく照らされた室内の物体からの反射が、背景の暗いシーンの画像をあせさせる、さもなければ劣化させる場合がある。別の例として、囲いを通して動物園の動物の写真を撮影すると、檻の棒またはフェンスなどの邪魔をする物体(Occluding Objects)に起因して、望ましいとは言えない結果をもたらす可能性がある。
【００１３】
例示的な実施形態では、本明細書に記載されるシステムおよび方法は、画像の前景中の邪魔をする要素を除去する状況に適用することができる。非限定の例として、邪魔をする要素としては、カメラの視野の前景中に観察することができる、ポール、フェンス、棒、スクリーン、窓の雨粒、または他の要素が挙げられる。例示的な実施形態では、シーンを復元するように、異なるカメラ位置でキャプチャした画像に様々な画像処理アルゴリズムを適用することができ、その結果、シーンは、反射、ギラツキ、フェンス、雨粒、および汚れなどの視覚的な障害物(Obstructions)がなくなる。
【００１４】
記載されるシステムおよび方法は、運動視差を利用して、カメラを動かすときの、シーン、または背景、層、および障害物、もしくは前景、層の異なる運動パターンを判定することができる。そのため、シーンの層と障害物の層が混ざっている可能性がある画像フレーム中で、シーンの層を障害物の層から分離することができる。
【００１５】
本明細書に記載される方法は、(たとえば、静止フレームDSLRまたはモバイルデバイスの単一フレームキャプチャモードを介してキャプチャされた)複数の静止画像、および/または(たとえば、ビデオカメラまたはモバイルデバイスのビデオキャプチャモードを介してキャプチャされた)複数のビデオ画像に適用することができる。さらに、システムおよび方法は、単一のカメラまたは複数のカメラ(たとえば、立体視または他の複数視点撮像システム)を含むことができる。
【００１６】
追加または代替として、本明細書に記載されるシステムおよび方法は、デジタル方式記録保管した写真プリントの状況に適用することができる。すなわち、いくつかの写真プリント上の光沢仕上げまたはつや消し仕上げでさえ、従来のカメラによってキャプチャされたままの、対象のプリントのひどく劣化した画像をもたらす可能性がある。たとえば、キャプチャされたままの画像は、望ましくない可能性がある、明るく飛んだ筋を含む場合がある。本明細書のシステムおよび方法は、対象のプリントに対し、様々な異なるカメラ角度/場所からキャプチャした、対象のプリントの複数の画像を処理することによって、望ましくない要素を大幅に除去または軽減することができる。
【００１７】
そのようなシナリオでは、明るい反射は、主たる対象のプリントとは異なる仮想平面から発生したものとして記載することができる。そのため、カメラのキャプチャ位置が動いたとき、反射は対象のプリント上の異なる場所に動く可能性があり、または対象のプリントから全面的に除去される可能性がある。本明細書に記載されるように、スマートフォンなどの撮像システムは、最初の画像および対象のプリントに対する異なるキャプチャ位置からの複数のさらなる画像をユーザがキャプチャするための命令を、ディスプレイを介して提供するように構成することができる。たとえば、命令は、ユーザにパノラマ画像をキャプチャするように指示するものと同様であってよい。
【００１８】
撮像システムが異なるそれぞれのキャプチャ位置に、またはそのごく近くに移動しているという情報を受け取るのに応じて、複数のさらなる画像をキャプチャすることができる。複数のキャプチャした画像(最初の画像およびさらなる画像の両方)に基づいて、反射を含まない背景画像を提供するため、画像処理を自動的に実行することができる。そのため、背景画像は、従来の技法と比較して、対象のプリントのより高い品質のデジタル化を提供することができる。
【００１９】
II  例示的なシステム
図1は、例示的な実施形態に従うシステム100の概略図を図示する。システム100は、カメラ110、ディスプレイ120、ユーザインターフェース130、位置決めシステム140、およびコントローラ150を含む。例示的な実施形態では、システム100は、モバイルデバイス(たとえば、スマートフォン、ラップトップ、またはタブレット)、デジタルカメラ(たとえば、デジタル一眼レフ(DSLR)カメラ)、または別のタイプの撮像システムに組み込むことができる。
【００２０】
カメラ110は、システム100の環境の視野の画像をキャプチャするように構成される1つまたは複数の画像センサを含むことができる。カメラ110は、レンズ、偏光子、またはフィルタなどの1つまたは複数の光学要素を追加で含むことができる。光学要素は、光軸に沿って配置することができ、カメラ110への入射する光のうちの1つまたは複数の態様を調整するように構成することができる。たとえば、光学要素は、1つまたは複数の画像センサに対する焦点面上に光を合焦させるように構成することができる。
【００２１】
ディスプレイ120は、システム100のユーザに視覚情報を提供するように構成されるデバイスを含むことができる。すなわち、ディスプレイ120は、複数の画素要素を有するスクリーンを含むことができる。画素要素は、複数の発光ダイオード(LED)、薄膜トランジスタ(TFT)、または別のタイプの画像画素技術を含むことができる。いくつかの実施形態では、ディスプレイ120をタッチスクリーンに組み込むことができ、今度は、タッチスクリーンをユーザインターフェース130の要素と考えることができる。
【００２２】
ユーザインターフェース130は、ユーザが、システム100の1つまたは複数の態様と相互作用するための様々な方法を含むことができる。たとえば、ユーザインターフェース130は、1つまたは複数のボタン、スイッチ、タッチパッド、ディスプレイ、または表示器を含むことができる。そのようなシナリオでは、ユーザは、システム100の動作のモードを調整するように、システム100のボタンまたはタッチパッドを押すことができる。たとえば、ユーザインターフェース130は、第1の動作のモード(たとえば、標準写真モード)から第2の動作のモード(たとえば、障害物があるシーンの写真モード)に調整するように、ユーザからの入力を受け入れるように構成することができる。さらに、ユーザは、ユーザインターフェース130を介して、動作のモードを切り替える自動レベルを制御できる場合がある。たとえば、ユーザインターフェース130は、障害物があるシーンの写真モードへ入る(および障害物があるシーンの写真モードから抜ける)ように手動で切り替えるためのオプションを含むことができる。追加または代替として、ユーザインターフェース130は、たとえば、視野の1つまたは複数の画像に基づいて、第1の動作のモードから第2の動作のモードに切り替えるかどうかを自動的に判定するオプションを含むことができる。
【００２３】
位置決めシステム140は、システム100および/またはカメラ110の位置に関して、コントローラ150に情報を提供するように構成することができる。そのようなシナリオでは、位置決めシステム140は、慣性測定ユニット(IMU: Inertial Measurement Unit)および/または全地球測位システム(GPS)を含むことができる。例示的な実施形態では、位置決めシステム140は、RFおよび/またはWiFi三角法に基づいて、システム100の位置についての情報を提供することができる。一実施形態では、位置決めシステム140は、システム100および/またはカメラ110のポーズ(たとえば、位置および方位)を決定するように構成することができる。すなわち、位置決めシステム140は、コントローラ150に、カメラのポーズならびに移動がもたらすカメラのポーズに対する変更を示す情報を提供することができる。他のタイプの位置決めシステムが可能である。
【００２４】
コントローラ150は、少なくとも1つのプロセッサ152およびメモリ154を含むことができる。メモリ154は、非一時的コンピュータ可読媒体を含むことができる。すなわち、メモリ154は、読取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、フロッピーディスクドライブ、ハードディスクドライブ、ソリッドステートドライブ(SSD)、または情報を記憶するように構成される別のタイプのメモリ要素を含むことができる。プロセッサ152は、本明細書に記載される様々な動作を実行するように、メモリ154に記憶されるプログラム命令を実行するように構成することができる。
【００２５】
例示的な実施形態では、動作は、最初のカメラのポーズからの視野の最初の画像をカメラ110にキャプチャさせるステップを含むことができる。追加または代替として、複数の最初の画像を様々なカメラのポーズからキャプチャすることができ、このことによって、1つまたは複数の障害物が視野内に存在するという指示を提供することができる。すなわち、手持ち式カメラ(またはスマートフォン)の自然の動きによって、障害物が視野中に存在すると判定するのに十分な動きを提供することができる。
【００２６】
そのため、動作は、障害物が視野中に観察できるかどうかを判定するステップを含むことができる。一実施形態では、システム100のユーザは、「障害物除去」モードを(たとえば、ボタンまたはダイアルを介して)積極的に選択することができる。他の実施形態では、システム100は、障害物の存在を自動的に検出し、本明細書に記載される他の動作を実行することができる。
【００２７】
動作は、障害物に基づいて、少なくとも1つの所望のカメラのポーズを決定するステップも含むことができる。そのようなシナリオでは、少なくとも1つの所望のカメラのポーズは、カメラ110の少なくとも1つの所望の位置、および/またはカメラ110の少なくとも1つの所望の方位を含むことができる。
【００２８】
動作は、キャプチャ用インターフェースをディスプレイに提供させるステップを追加で含むことができる。そのため、キャプチャ用インターフェースは、少なくとも1つの所望のカメラのポーズへカメラを動かすステップに対応する命令を含むことができる。いくつかの実施形態では、ディスプレイは、視野上に重ね合わせられる命令の視覚表現を提供することができる。非限定の例として、命令は、システム100のユーザに、どのようにして所望のカメラのポーズにカメラ110を動かすかについての情報を提供することができる、円、矢印、色つき領域、影付き領域、または他のタイプの視覚表現を含むことができる。
【００２９】
動作は、視野の少なくとも1つのさらなる画像をカメラにキャプチャさせるステップも含む。例示的な実施形態では、少なくとも1つのさらなる画像は、少なくとも1つの所望のカメラのポーズからキャプチャすることができる。すなわち、動作は、現在のカメラのポーズが少なくとも1つの所望のカメラのポーズに対応するかどうかを判定するステップをオプションで含むことができる。例として、コントローラ150は、現在のカメラのポーズを表す情報を位置決めシステム140を介して受け取ることができる。そのようなシナリオでは、現在のカメラのポーズが少なくとも1つの所望のカメラのポーズに対応するかどうかの判定に応じて、視野の少なくとも1つのさらなる画像をキャプチャすることができる。
【００３０】
動作は、視野の少なくとも1つの背景画像を提供するために、キャプチャした画像を処理するステップをさらに含む。本明細書に記載される方法およびシステムによれば、障害物の少なくとも一部は、背景画像中に存在しない。
【００３１】
図2は、例示的な実施形態に従う画像キャプチャシステム200を図示する。画像キャプチャシステム200は、スマートフォンなどのモバイルデバイスと同様または同一であってよい。画像キャプチャシステム200は、図1に関して図示および記載されたような、システム100のものと同様または同一の要素を含むことができる。他のタイプの画像キャプチャシステム200が意図されている。
【００３２】
画像キャプチャシステム200は、本体202、前向きカメラ204、ディスプレイ206、第1のソフトキー208、および第2のソフトキー210を含むことができる。画像キャプチャシステム200は、後ろ向きカメラ212をさらに含むことができる。画像キャプチャシステム200は、単一の前向き、および後ろ向きカメラを有するように図示されるが、複数視点カメラ配置が可能である。すなわち、画像キャプチャシステム200は、画像キャプチャシステム200の1つまたは複数の面上に立体視カメラを含むことができる。
【００３３】
図3Aは、例示的な実施形態に従う画像キャプチャシナリオ300を図示する。すなわち、画像キャプチャシナリオ300は、前景障害物304(たとえば、象の囲いの棒)を含む、視野302を含むことができる。画像キャプチャシナリオ300は、前景に配置することができる標識306を含むことができる。象310は、前景障害物304の後に位置することができる。
【００３４】
そのようなシナリオでは、気が散って魅力がない前景障害物304を含まない、図2に関して図示および記載されたような画像キャプチャシステム200などの画像キャプチャシステムを使用した画像をキャプチャすることが望ましい場合がある。例示的な実施形態では、画像キャプチャシステムは、前景障害物304の存在を自動的に検出することができる。追加または代替として、ユーザが、「障害物があるシーンの写真モード」を開始するために、動作のモードを調整することができる。
【００３５】
図3Bは、例示的な実施形態に従う画像キャプチャシナリオ320を図示する。障害物があるシーンの写真モードを入力すると、画像キャプチャシステムは、1つまたは複数の所望のカメラのポーズを表す情報をディスプレイを介して提示することができる。そのような情報が、キャプチャ用インターフェースの部分であってよい。すなわち、ディスプレイ上の情報は、言葉、数値、記号で、または他の表示を介して、画像キャプチャシステム/カメラが所望のカメラのポーズに動かなければならないことを表すことができる。本明細書に記載されるように、所望のカメラのポーズは、画像キャプチャシステムの位置および指向方位を含むことができる。
【００３６】
例として、画像キャプチャシナリオ320は、図3Aに記載されるような象のシーンの、ライブビュー表現の一番上へのオーバーレイとして提示されている移動領域322を図示する。いくつかの実施形態では、図示されるように、オーバーレイされた移動領域が、透過型の、または半透明のオーバーレイを含むことができる。オーバーレイされた移動領域322は、現在のカメラのポーズ表示324、および複数の所望のカメラのポーズ(たとえば、カメラの方位および/またはカメラの場所)に対応することができる所望のカメラ経路326を含むことができる。例示的な実施形態では、画像キャプチャシステムは、所望のカメラのポーズの組のうちの少なくとも1つであるカメラのポーズに対応する画像をキャプチャするように構成することができる。そのため、キャプチャ用インターフェースは、本明細書に記載されるアルゴリズムに従って、十分な数の画像を十分な組のカメラのポーズからキャプチャすることができるように、画像キャプチャシステムをユーザが移動させる視覚的な案内を提供することができる。
【００３７】
シーンの画像が所望のカメラのポーズでキャプチャされる期間またはキャプチャされた後、複数のキャプチャした画像上で、様々な画像処理、操作、およびフィルタ処理方法を実行することができる。すなわち、そのような方法は、キャプチャした画像から複数のサンプリングフレームを選択するステップと、複数のサンプリングフレームを整合するステップと、障害物の少なくとも一部を除去して背景画像フレームを提供するように、複数のサンプリングフレームをフィルタ処理するステップとを含むことができる。言い換えると、背景画像フレームは、障害物が実際に視野中にないかのように見える、視野の表現を含むことができる。
【００３８】
複数のサンプリングフレームを整合するステップは、エッジ検出方法、コーナー検出方法、特徴マッチング方法、ホモグラフィフィッティング方法、または動きフィールド検出方法のうちの少なくとも1つに従って実施することができる。
【００３９】
一度整合すると、背景位置合わせフレームは、フレーム間で画素毎の比較によってフィルタ処理することができる。例示的な実施形態では、(たとえば、輝度または強度の)最小値を有する画素を、処理したフレームへと組み込むために選択することができる。たとえば、複数のサンプリングフレームが10個のフレームを含む場合、10個の画素(各フレームから1つ)を互いに比較することができる。最小強度基準を使用して、最も低い強度を有する画素を、1つまたは複数の処理したフレームへと組み込むために選択することができる。追加または代替として、複数のサンプリングフレームをフィルタ処理するステップを、画素毎のメディアンフィルタ処理方法(Median Filtering Method)に従って実施することができる。サンプリングフレームから画素をフィルタ処理する他の方法が可能であり、本明細書で意図される。
【００４０】
キャプチャした画像を処理するステップは、複数のサンプリングフレームの色および明るさを等化するステップを含むことができる。
【００４１】
いくつかの実施形態では、システムは、障害物のタイプを判定するように構成することができる。さらに、少なくとも1つの所望のカメラのポーズが、障害物のタイプに基づくことができる。たとえば、障害物のタイプは、邪魔をする物体、鏡面反射、または直接反射のうちの少なくとも1つを含むことができる。例として、邪魔をする物体が垂直の棒の組を含む場合、所望のカメラのポーズは、垂直の棒に対する水平軸に沿った様々なカメラの位置を含むように決定することができる。他の例が可能である。
【００４２】
例示的な実施形態では、キャプチャ用インターフェースの命令は、複数の所望のカメラのポーズに対応する複数の空間的な場所の、ディスプレイを介して表示される視覚表現を含む。すなわち、ディスプレイからの視覚的な出力は、どこにシステムを動かすかについての案内をユーザに提供するのを助けることができる、点、線、円、および/または他の形状もしくは表示を含むことができる。
【００４３】
例示的な実施形態では、ディスプレイは、視野のライブビュー表現を提供することができる。たとえば、ディスプレイは、システムの所与のカメラによってキャプチャされている視野を示すことができる。ディスプレイは、現在のカメラのポーズ、すなわち、現在のカメラの場所および/または方位を表す情報を提供することもできる。ディスプレイは、追加または代替として、少なくとも1つの所望のカメラのポーズを表す情報を提供することができる。すなわち、ディスプレイは、カメラの方位または場所のグラフィカル表現を提供することができる。
【００４４】
さらに、画像処理後に、ディスプレイが背景画像の表現を提供することができる。
【００４５】
図3Cは、例示的な実施形態に従う画像キャプチャシナリオ330を図示する。画像キャプチャシナリオ330は、前景障害物が除去された、処理した背景フレームを表すことができる。いくつかの実施形態では、いくつかの前景の要素を除去する必要がない。たとえば、前景領域が十分に大きい場合、本明細書のアルゴリズムは、背景画像フレームから前景領域を除去する必要がない。例として、標識306は、処理した背景画像フレーム中に残ってよい。
【００４６】
III  例示的な方法
図4は、例示的な実施形態に従う方法400を図示する。方法400は、様々なブロックまたはステップを含むことができる。ブロックまたはステップは、個別に、または組み合わせて実行することができる。ブロックまたはステップは、任意の順番で、および/または連続で、もしくは並列で実行することができる。さらに、ブロックまたはステップは、方法400から省くこと、または方法400に加えることができる。
【００４７】
方法400の一部または全部のブロックは、図1および図2を参照して図示および記載されたような、システム100または画像キャプチャシステム200の要素を含むことができる。さらに、方法400の一部のブロックは、図3A、図3B、および図3Cに関して図示および記載されたものなどの、様々な撮像シナリオを含むことができる。方法400の一部または全部のブロックは、プロセッサ152およびメモリ154に関連したコントローラ150によって実行することができる。
【００４８】
ブロック402は、最初のカメラのポーズから視野の最初の画像をカメラを介してキャプチャするステップを含む。そのようなシナリオでは、カメラはディスプレイを含むことができる。
【００４９】
ブロック404は、視野中に障害物が観察できるかどうかを判定するステップを含む。いくつかの実施形態では、障害物が視野中に存在するかどうかを判定する情報を提供するように、いくつかの最初の画像をキャプチャすることができる。例示的な実施形態では、手持ち式カメラの自然の動きによって、たとえば囲いの棒またはガラス窓の面を視野が含むかどうかを判定するのに十分な動きを提供することができる。
【００５０】
ブロック406は、障害物に基づいて、少なくとも1つの所望のカメラのポーズを決定するステップを含む。少なくとも1つの所望のカメラのポーズは、カメラの少なくとも1つの所望の位置を含む。
【００５１】
例示的な実施形態では、方法は、現在のカメラのポーズが少なくとも1つの所望のカメラのポーズに対応するかどうかを判定するステップを含むことができる。すなわち、視野の少なくとも1つのさらなる画像をカメラにキャプチャさせるステップは、現在のカメラのポーズが少なくとも1つの所望のカメラのポーズに対応するとの判定に応答する。
【００５２】
ブロック408は、キャプチャ用インターフェースをディスプレイを介して提供するステップを含む。キャプチャ用インターフェースは、少なくとも1つの所望のカメラのポーズへカメラを動かすステップに対応する命令を含む。キャプチャ用インターフェースの命令は、複数の所望のカメラのポーズに対応する複数の空間的な場所の、ディスプレイを介して提供される視覚表現を含む。
【００５３】
キャプチャ用インターフェースは、ディスプレイ、および視野のライブビュー表現をさらに含む。キャプチャ用インターフェースは、現在のカメラのポーズを表す情報を含むこともでき、少なくとも1つの所望のカメラのポーズを表す情報を提供することもできる。
【００５４】
ブロック410は、視野の少なくとも1つのさらなる画像をカメラを介してキャプチャするステップを含む。例として、視野の少なくとも1つのさらなる画像は、少なくとも1つの所望のカメラのポーズからキャプチャすることができる。
【００５５】
ブロック412は、視野の少なくとも1つの背景画像を提供するために、キャプチャした画像を処理するステップを含む。障害物の少なくとも一部は、背景画像から除去される。例示的な実施形態では、方法は、背景画像の表現をディスプレイを介して提供するステップを含むことができる。
【００５６】
例示的な実施形態では、キャプチャした画像を処理するステップは、キャプチャした画像から複数のサンプリングフレームを選択するステップと、複数のサンプリングフレームを整合するステップと、障害物の少なくとも一部を除去して背景画像フレームを提供するように、複数のサンプリングフレームをフィルタ処理するステップとを含む。
【００５７】
複数のサンプリングフレームを整合するステップは、エッジ検出方法、コーナー検出方法、特徴マッチング方法、ホモグラフィフィッティング方法、または動きフィールド検出方法のうちの少なくとも1つに従って実施することができる。複数のサンプリングフレームをフィルタ処理するステップを、画素毎の最小またはメディアンフィルタ処理方法に従って実施することができる。キャプチャした画像を処理するステップは、複数のサンプリングフレームの色および明るさを等化するステップをさらに含むことができる。
【００５８】
いくつかの実施形態では、方法は、障害物のタイプを判定するステップを含むことができる。たとえば、少なくとも1つの所望のカメラのポーズを決定するステップが、障害物のタイプに基づくことができる。非限定の組では、障害物のタイプは、邪魔をする物体、鏡面反射、または直接反射のうちの少なくとも1つを含むことができる。
【００５９】
IV  例示的な画像キャプチャシナリオ
多くの画像キャプチャシナリオは、視覚的な障害物を通してシーンの写真を撮影するステップを含むことができる。たとえば、大きな都市の超高層ビルの最上階で、カメラのユーザが、美しい都市の写真を夜に撮影したい場合がある。しかし、安全および安心のために、窓がカメラと夜景の間に存在する場合がある。そのようなシナリオでは、明るい室内のシーンの反射は、撮影者がどのようにカメラのポーズをとった(たとえば、カメラを様々な位置または方位に動かした)としても、除去するのが非常に困難なことがある。
【００６０】
別の例では、動物園で写真を撮影することが挙げられる。虎などの野生動物から来訪者を保護するために強くてしっかりしたフェンスが重要な一方で、キャプチャした画像中にフェンスがない、虎の完全な写真を撮影するのが望ましい場合がある。さらに、そこにフェンスがないかのように、野生動物といっしょのセルフィーを撮影する(たとえば、撮影者を視覚的に組み込む画像をキャプチャする)ことが望ましい場合がある。
【００６１】
図5は、例示的な実施形態に従う、2つの画像キャプチャシナリオ500および510を図示する。第1のシナリオ500では、上の行に沿って、背景の建造物および地面に向けて前景の窓を通して画像がキャプチャされる。左上の画像に示されるように、キャプチャした画像は、格子縞のシャツの反射として特徴づけることができる障害物を含む。それぞれの視野で、背景の建造物および地面との様々なカメラのポーズから、複数の画像をキャプチャすることができる。本明細書に記載される方法によれば、反射した部分を除去するように、複数のキャプチャした画像を、再構築することができる。追加または代替として、さらなる分析または処理のために、反射を別個に抽出することができる。
【００６２】
第2のシナリオ510では、下の行に沿って、視野は、囲いの中の野生動物(たとえば、虎)を含むことができる。キャプチャした画像は、金網のフェンスとして特徴づけることができる障害物を含む場合がある。複数のカメラのポーズから、いくつかの画像がキャプチャされる場合、金網のフェンスの外観を除去することが可能な場合がある。そのため、再構築したシーンは、邪魔をするフェンスなしの視野の表現を含むことができる。いくつかの実施形態では、金網のフェンスの層を別個に抽出および分析または処理することができる。
【００６３】
多くの他の障害物除去シナリオが可能である。図6は、例示的な実施形態に従う、4つの画像キャプチャシナリオ600、610、620、および630を図示する。画像キャプチャシナリオは、いくつかの異なるタイプの障害物を含むことができる。たとえば、障害物としては、車の窓の雨粒が挙げられる(600)。すなわち、雨の日に、雨粒が占めている車の窓を通して写真を撮影したい場合がある。障害物は、天井照明で写真アルバムの画像をキャプチャするときにギラツキを含む場合がある(610)。そのため、ギラツキが、写真アルバムの写真の内容を不明瞭にする可能性がある。別の例では、窓を通して画像をキャプチャするとき、窓枠要素(620)および割れたガラス(630)が存在する場合がある。他のタイプの障害物が可能である。
【００６４】
本明細書に記載されるシステムは、より視覚的に魅力的な内容を復元するために、デジタル写真中の、これらの不要で好ましくない障害物を除去するように構成することができる。単一の画像から自動的にこれらの視覚的な障害物を除去するステップは、ユーザまたは機械がカメラを動かすと、実施することができる。そのようなシナリオでは、シーン(障害物の後の画像の内容)の層と障害物の層は、異なる画像運動を受ける。不透明な障害物では、シーンの層中のすべての画素が、カメラを動かすシーケンスのフレーム中で見ることができる可能性がある。反射などの透明または透過性の障害物では、各フレーム中で、画素に異なる値を加えることができ、画像全体に対し、それらの相対的な寄与が小さい可能性があるときがある。
【００６５】
言い換えると、本開示は、シーンの再構築のために、画像シーケンスから障害物を除去するため、シーン層と障害物層の運動視差を利用することができる。
【００６６】
本明細書で使用する、「シーン」および「背景」という用語は、障害物の後または下にある画像の部分について置き換え可能である。いくつかの実施形態では、障害物は、文脈に応じて、「反射」または「前景」と呼ぶ場合がある。
【００６７】
現在のシステムおよび方法は、カメラの動きに基づいており、シーンの層と障害物の層の両方が、キャプチャされているビデオシーケンス中で互いに対して動く場合がある。例示的な実施形態では、シーンの層が固定される(動かない)、および/または障害物の層が固定される場合、分離の問題はより簡略化することができる。これは、いくつかの強固な動き分析アルゴリズムによって推定される流動場に従って、フレームを参照フレームに曲げることを通して達成することができる。
【００６８】
本システムおよび方法は、障害物が存在する状態で、画素の動きを分析する、動き分析アルゴリズムを利用する。動きが一度わかると、システムは、シーンから障害物の層を分離するのを試みることができる。透明な反射では、障害物とシーンの両方の推定が、より信頼性の高い再構築のために重要な場合がある。フェンス、雨粒、およびギラツキなどの不透明でまばらな障害物では、障害物を異常値として取り扱いながらシーンの層を推定するので十分な場合がある。そのため、最小および/または最大輝度値に従うフィルタ処理などのいくつかの簡単な動作が、ギラツキ状の障害物の除去で非常に有効な場合がある。
【００６９】
反射などの透明な障害物を除去するため、動き推定と画像再構築の間で複数回の繰り返しを実施することができる。そのようなシナリオでは、動き推定は、再構築したシーン/障害物の層とキャプチャしたフレームの間で行われる。例示的な実施形態では、画像の再構築は、動き推定分析からの重ね合わせに依拠する一方、本システムは、これらの2つのステップの間で繰り返して、視覚的に魅力的な結果を作ることが可能である。
【００７０】
障害物除去のための2つのシステムが本明細書で記載されている。第1のシステムは、図7に示されるように、シーンの層と障害物の層の両方の動きと外観が推定および再構築される、完全な障害物除去方法である。図7は、例示的な実施形態に従う、障害物除去プロセス700を図示する。第2のシステムは、図8に示されるように、障害物の層が単純に異常値として取り扱われる一方で、シーンの層の動きおよび外観だけがモデル化および推定される、「軽い」障害物除去方法である。図8は、例示的な実施形態に従う、障害物除去プロセス800を図示する。
【００７１】
図に示される特定の配置構成は、限定的であると見なすべきでない。他の実施形態は、所与の図に示される各要素を多かれ少なかれ含むことができることを理解されたい。さらに、図示された要素の一部を組み合わせることまたは省略することができる。またさらに、例示的な実施形態は、図に図示されない要素を含むことができる。
【００７２】
情報の処理を表すステップまたはブロックは、本明細書に記載した方法または技法の具体的な論理機能を実施するように構成することができる回路構成に対応することができる。追加または代替として、情報の処理を表すステップまたはブロックは、モジュール、セグメント、または(関連するデータを含む)プログラムコードの一部に対応することができる。プログラムコードは、方法または技法における、具体的な論理機能または行為を実装するため、プロセッサにより実行可能な1つまたは複数の命令を含むことができる。プログラムコードおよび/または関連するデータは、ディスク、ハードドライブ、または他の記憶媒体を含む記憶デバイスなどの、任意のタイプのコンピュータ可読媒体上に記憶することができる。
【００７３】
コンピュータ可読媒体は、レジスタメモリ、プロセッサキャッシュ、およびランダムアクセスメモリ(RAM)のような短い時間期間の間データを記憶するコンピュータ可読媒体などの、非一時的コンピュータ可読媒体も含むことができる。コンピュータ可読媒体は、より長い時間期間の間プログラムコードおよび/またはデータを記憶する非一時的コンピュータ可読媒体も含むことができる。従って、コンピュータ可読媒体は、たとえば、読取り専用メモリ(ROM)、光学または磁気ディスク、コンパクトディスク読取り専用メモリ(CD-ROM)のような、2次的または永続的な長期記憶装置を含むことができる。コンピュータ可読媒体は、任意の他の揮発性または不揮発性記憶システムであってもよい。コンピュータ可読媒体は、たとえば、コンピュータ可読記憶媒体、または有形の記憶デバイスと考えることができる。
【００７４】
様々な例および実施形態が開示されてきたが、他の例および実施形態が、当業者には明らかであろう。様々な開示した例および実施形態は、説明のためであり、限定することを意図しておらず、本当の範囲は、以下の請求項によって示される。
【符号の説明】
【００７５】
100  システム
110  カメラ
120  ディスプレイ
130  ユーザインターフェース
140  位置決めシステム
150  コントローラ
152  プロセッサ
154  メモリ
200  画像キャプチャシステム
202  本体
204  前向きカメラ
206  ディスプレイ
208  第1のソフトキー
210  第2のソフトキー
300  画像キャプチャシナリオ
302  視野
304  前景障害物
306  標識
310  象
320  画像キャプチャシナリオ
322  移動領域
326  カメラ経路
330  画像キャプチャシナリオ
500  画像キャプチャシナリオ、第1のシナリオ
510  画像キャプチャシナリオ、第2のシナリオ
600  画像キャプチャシナリオ
610  画像キャプチャシナリオ
620  画像キャプチャシナリオ、窓枠要素
630  画像キャプチャシナリオ、割れたガラス
700  障害物除去プロセス
800  障害物除去プロセス
【図１】
2020181595.tif 000003
【図２】
2020181595.tif 000004
【図３Ａ】
2020181595.tif 000005
【図３Ｂ】
2020181595.tif 000006
【図３Ｃ】
2020181595.tif 000007
【図４】
2020181595.tif 000008
【図５】
2020181595.tif 000009
【図６】
2020181595.tif 000010
【図７】
2020181595.tif 000011
【図８】
2020181595.tif 000012
【外国語明細書】
2020181595000001.pdf