(57)【要約】  本発明は、広角撮像素子と長焦点撮像素子とを備えた電子装置に適用されるクリアかつ正確な光学ズーム機構を達成する方法を提供するものである。広角撮像素子及び長焦点撮像素子は、電子装置によって、同じの地点の広角画像と長焦点画像とを同時にそれぞれ撮影するように制御される。この方法は、電子装置が広角画像及び長焦点画像に露光及びホワイトバランス調整プロセス、ロバストな画像マッチングアルゴリズム、並びに画像モーフィング融合プロセスをそれぞれ順に実行して、２つのズーム画像内の物体に著しいスキップ現象を生じることなく、その地点のクリアかつ正確な光学ズーム画像を生成できるようにする。【選択図】図４
2019535167.tif 000002
【特許請求の範囲】
【請求項１】
広角撮像素子と長焦点撮像素子とを備えた電子装置に適用される、広角撮像素子及び長焦点撮像素子を利用してクリアかつ正確な光学ズーム機構を達成する方法であって、前記広角撮像素子のレンズは、標準レンズの５０ｃｍの焦点距離よりも短い焦点距離を有し、前記長焦点撮像素子のレンズは、前記標準レンズの焦点距離よりも長い焦点距離を有し、前記広角撮像素子及び前記長焦点撮像素子は、前記電子装置によって同じ地点の広角画像及び長焦点画像を同時にそれぞれ撮影するように制御され、前記方法は、クリアかつ正確な光学ズーム機構を達成するために、前記電子装置が、
前記広角画像及び前記長焦点画像を読み取って、前記広角画像及び前記長焦点画像の露光量及びホワイトバランスが整合性を保てるように、前記広角画像及び前記長焦点画像にそれぞれ露光及びホワイトバランス調整プロセスを実行するステップと、
前記長焦点画像上の各画素が前記広角画像上の各対応する画素と一致できるように、前記広角画像及び前記長焦点画像にそれぞれロバストな画像マッチングアルゴリズムを実行するステップと、
新たな広角画像を生成するように、前記長焦点画像及び前記広角画像上の前記対応する画素に画像モーフィング融合プロセスを実行するステップと、
を実行できるようにする、ことを特徴とする方法。
【請求項２】
前記ロバストな画像マッチングアルゴリズムは、前記長焦点撮像素子及び前記広角撮像素子のハードウェアパラメータに従って前記長焦点画像と前記広角画像との間の画像比を計算して取得し、前記画像比に従って前記長焦点画像に対応する領域を前記広角画像から抽出した後に、オプティカルフロー推定を使用して、前記広角画像上の各対応する画素に対する前記長焦点画像上の各画素のオフセットの密なオプティカルフロー場を計算して取得することができる、
請求項１に記載の方法。
【請求項３】
前記画像モーフィング融合プロセスは、前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の前記画素が前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素と一致するように変形できるように、前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の前記画素の前記オフセット（ｕ，ｖ）の前記密なオプティカルフロー場に従って前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の前記画素にオフセット変形を実行した後に、前記新たな広角画像ＷNEWを生成するように、λを重み係数とする以下の式、
ＷNEW＝（１−λ）Ｔ（ｘ＋ｕ，ｙ＋ｖ）＋λ＊Ｗ（ｘ，ｙ）
に従って前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）に融合プロセスを実行することができる、
請求項２に記載の方法。
【請求項４】
前記変形した長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の前記画素が前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素よりもクリアであると判断された場合にはλ＝０を採用し、そうでなければ０＜λ＜１．０を採用する、
請求項３に記載の方法。
【請求項５】
前記変形した長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素間の最小誤差を取得するための最適化プロセスに前記オプティカルフロー推定を変換することを通じて前記密なオプティカルフロー場を取得するように、前記オプティカルフロー推定は、Ｈｏｒｎ−Ｓｃｈｕｎｃｋのオプティカルフロー推定モデルに基づく以下の式、
【数１】
2019535167.tif 000004
に従って実行され、φ（Ｗ（ｘ，ｙ）−Ｔ（ｘ＋ｕ，ｙ＋ｖ））は、前記広角画像Ｗ（ｘ，ｙ）及び前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の各対応する画素をできるだけ同じものにするための濃淡値保存制約を表すデータ項であり、φは誤差関数であり、α＊ψ（｜∇ｕ｜，｜∇ｖ｜）は、前記広角画像Ｗ（ｘ，ｙ）及び前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の全ての２つの隣接画素間のオフセットがそれほど異ならないようにするためのオプティカルフロー平滑性制約を表す平滑化項であり、αは、多様で複雑なシーンにおける前記オプティカルフロー推定の精度を高めるように前記データ項と前記平滑化項との間の重みを制御するための重み係数であり、ψも誤差関数であり、∇ｕ、∇ｖは、前記オフセット勾配の係数の長さである、
請求項１に記載の方法。
【請求項６】
前記変形した長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素間の最小誤差を取得するための最適化プロセスに前記オプティカルフロー推定を変換することを通じて前記密なオプティカルフロー場を取得するように、前記オプティカルフロー推定は、Ｈｏｒｎ−Ｓｃｈｕｎｃｋのオプティカルフロー推定モデルに基づく以下の式、
【数２】
2019535167.tif 000005
に従って実行され、φ（Ｗ（ｘ，ｙ）−Ｔ（ｘ＋ｕ，ｙ＋ｖ））は、前記広角画像Ｗ（ｘ，ｙ）及び前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の各対応する画素をできるだけ同じものにするための濃淡値保存制約を表すデータ項であり、φは誤差関数であり、α＊ψ（｜∇ｕ｜，｜∇ｖ｜）は、前記広角画像Ｗ（ｘ，ｙ）及び前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の全ての２つの隣接画素間のオフセットがそれほど異ならないようにするためのオプティカルフロー平滑性制約を表す平滑化項であり、αは、多様で複雑なシーンにおける前記オプティカルフロー推定の精度を高めるように前記データ項と前記平滑化項との間の重みを制御するための重み係数であり、ψも誤差関数であり、∇ｕ、∇ｖは、前記オフセット勾配の係数の長さである、
請求項２に記載の方法。
【請求項７】
前記変形した長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素間の最小誤差を取得するための最適化プロセスに前記オプティカルフロー推定を変換することを通じて前記密なオプティカルフロー場を取得するように、前記オプティカルフロー推定は、Ｈｏｒｎ−Ｓｃｈｕｎｃｋのオプティカルフロー推定モデルに基づく以下の式、
【数３】
2019535167.tif 000006
に従って実行され、φ（Ｗ（ｘ，ｙ）−Ｔ（ｘ＋ｕ，ｙ＋ｖ））は、前記広角画像Ｗ（ｘ，ｙ）及び前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の各対応する画素をできるだけ同じものにするための濃淡値保存制約を表すデータ項であり、φは誤差関数であり、α＊ψ（｜∇ｕ｜，｜∇ｖ｜）は、前記広角画像Ｗ（ｘ，ｙ）及び前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の全ての２つの隣接画素間のオフセットがそれほど異ならないようにするためのオプティカルフロー平滑性制約を表す平滑化項であり、αは、多様で複雑なシーンにおける前記オプティカルフロー推定の精度を高めるように前記データ項と前記平滑化項との間の重みを制御するための重み係数であり、ψも誤差関数であり、∇ｕ、∇ｖは、前記オフセット勾配の係数の長さである、
請求項３に記載の方法。
【請求項８】
前記変形した長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素間の最小誤差を取得するための最適化プロセスに前記オプティカルフロー推定を変換することを通じて前記密なオプティカルフロー場を取得するように、前記オプティカルフロー推定は、Ｈｏｒｎ−Ｓｃｈｕｎｃｋのオプティカルフロー推定モデルに基づく以下の式、
【数４】
2019535167.tif 000007
に従って実行され、φ（Ｗ（ｘ，ｙ）−Ｔ（ｘ＋ｕ，ｙ＋ｖ））は、前記広角画像Ｗ（ｘ，ｙ）及び前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の各対応する画素をできるだけ同じものにするための濃淡値保存制約を表すデータ項であり、φは誤差関数であり、α＊ψ（｜∇ｕ｜，｜∇ｖ｜）は、前記広角画像Ｗ（ｘ，ｙ）及び前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の全ての２つの隣接画素間のオフセットがそれほど異ならないようにするためのオプティカルフロー平滑性制約を表す平滑化項であり、αは、多様で複雑なシーンにおける前記オプティカルフロー推定の精度を高めるように前記データ項と前記平滑化項との間の重みを制御するための重み係数であり、ψも誤差関数であり、∇ｕ、∇ｖは、前記オフセット勾配の係数の長さである、
請求項４に記載の方法。
【請求項９】
前記誤差関数は二次関数である、
請求項５に記載の方法。
【請求項１０】
前記誤差関数は二次関数である、
請求項６に記載の方法。
【請求項１１】
前記誤差関数は二次関数である、
請求項７に記載の方法。
【請求項１２】
前記誤差関数は二次関数である、
請求項８に記載の方法。
【請求項１３】
前記オプティカルフロー推定の前記仮定は、前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素間の輝度差が一定であることである、
請求項９に記載の方法。
【請求項１４】
前記オプティカルフロー推定の前記仮定は、前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素間の輝度差が一定であることである、
請求項１０に記載の方法。
【請求項１５】
前記オプティカルフロー推定の前記仮定は、前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素間の輝度差が一定であることである、
請求項１１に記載の方法。
【請求項１６】
前記オプティカルフロー推定の前記仮定は、前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素間の輝度差が一定であることである、
請求項１２に記載の方法。
【請求項１７】
前記オプティカルフロー推定の前記仮定は、前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素間の動き差分が小さいことである、
請求項１３に記載の方法。
【請求項１８】
前記オプティカルフロー推定の前記仮定は、前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素間の動き差分が小さいことである、
請求項１４に記載の方法。
【請求項１９】
前記オプティカルフロー推定の前記仮定は、前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素間の動き差分が小さいことである、
請求項１５に記載の方法。
【請求項２０】
前記オプティカルフロー推定の前記仮定は、前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素間の動き差分が小さいことである、
請求項１６に記載の方法。
【請求項２１】
前記オプティカルフロー推定の前記仮定は、前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素の動きベクトルが同じであることである、
請求項１７に記載の方法。
【請求項２２】
前記オプティカルフロー推定の前記仮定は、前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素の動きベクトルが同じであることである、
請求項１８に記載の方法。
【請求項２３】
前記オプティカルフロー推定の前記仮定は、前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素の動きベクトルが同じであることである、
請求項１９に記載の方法。
【請求項２４】
前記オプティカルフロー推定の前記仮定は、前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素の動きベクトルが同じであることである、
請求項２０に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
〔関連出願との相互参照〕
本出願は、２０１６年９月７日に出願された「広角撮像素子及び長焦点撮像素子を利用してクリアかつ正確な光学ズーム機構を達成する方法（ＭＥＴＨＯＤ  ＯＦ  ＵＴＩＬＩＺＩＮＧ  ＷＩＤＥ−ＡＮＧＬＥ  ＩＭＡＧＥ  ＣＡＰＴＵＲＩＮＧ  ＥＬＥＭＥＮＴ  ＡＮＤ  ＬＯＮＧ−ＦＯＣＵＳ  ＩＭＡＧＥ  ＣＡＰＴＵＲＩＮＧ  ＥＬＥＭＥＮＴ  ＦＯＲ  ＡＣＨＩＥＶＩＮＧ  ＣＬＥＡＲ  ＡＮＤ  ＰＲＥＣＩＳＥ  ＯＰＴＩＣＡＬ  ＺＯＯＭＩＮＧ  ＭＥＣＨＡＮＩＳＭ）」という名称の米国特許出願第１５／２５７，９４９号に対する優先権を主張するものであり、この文献は本明細書に組み入れられる。
【０００２】
本発明は、画像処理方法に関し、具体的には、広角撮像素子と長焦点撮像素子とを備えた電子装置に適用される、広角撮像素子及び長焦点撮像素子を利用してクリアかつ正確な光学ズーム機構を達成する方法であって、電子装置が、広角撮像素子及び長焦点撮像素子を、同じ地点の広角画像及び長焦点画像を同時にそれぞれ撮影するように制御し、その後に、ズーム手順中に２つの隣接するズーム画像内の物体に著しいスキップ現象を生じさせることなくその地点のクリアな光学ズーム画像を表示するように、広角画像及び長焦点画像に露光及びホワイトバランス調整プロセス、ロバストな画像マッチングアルゴリズム、並びに画像モーフィング融合プロセスをそれぞれ順に実行した後に新たな長焦点画像を生成することができる方法に関する。
【背景技術】
【０００３】
近年、電子技術の急速な発展により、スマートフォンのカメラ機能も非常に強力なものになっている。大手スマートフォンメーカーは、市場のスマートフォン同士の差別化を図るために、画像画素の増強、自撮り機能の強化、絞り値の増加、光学的手ブレ補正（ｏｐｔｉｃａｌ  ａｎｔｉ−ｓｈａｋｅ：ＯＩＳ）機能の増強、フォーカス速度の加速化及び専門的手動モードのサポートなどの、自社のスマートフォンのカメラの仕様及び機能を改善することにその全ての努力と知恵を注いできた。既に全ての種類のスマートフォン上のカメラの仕様及び機能は以前よりも大きく改善されているが、ほとんどの大手メーカーは、依然としていわゆる「デュアルレンズ」の設計を、スマートフォンのカメラに実装する必要があるハードウェア開発の本流とみなしている。
【０００４】
大手メーカーの大部分がスマートフォンのカメラに「デュアルレンズ」設計を構築したいと望むのはなぜなのか、「デュアルレンズ」設計がスマートフォンに提供できる特徴及び機能は何であるか、現在の市場におけるスマートフォンの状況及びニーズを以下のように振り返られたい。
【０００５】
（１）単レンズによる画像取得の限界：ここ数年、スマートフォンカメラの画像センサチップ（例えば、ＣＭＯＳ）内で進化する画素、精度、レンズ品質及びポストアルゴリズムといった機能はますます強力になっており、次第に専門的なＳＬＲカメラの市場を脅かすレベルに到達している。しかしながら、スリムかつ軽量というスマートフォンの設計傾向により、スマートフォンに搭載されるそれぞれのカメラは、スマートフォンのサイズ制限及び限られたハードウェア構造に起因して、その内部で（レンズとウェハ製の画像センサとを統合した）さらに小型の撮像素子しか利用できないようにもなっている。従って、スマートフォンに組み込まれるほとんど全ての撮像素子は、大口径及び広角設計を有してはいるが光学ズーム機能を提供することができない単レンズを採用している。一般に、通常のスマートフォン上のカメラの元々の設計機能は、主に室内及び微光環境下で人物及び近くの物体の画像を取得するためのものであるが、この理由は、大口径の設計では被写界深度が浅くなって良好な撮影結果を得ることもできるが、被写界深度が足りず、具体的には固定して焦点を合わせた物体から離れた背景及び前景が容易にぼやけてしまうという問題も起こりやすいからである。従って、現在のスマートフォンカメラを使用して壮大な景色を撮影すると、取得される画像の締まりが無くなって鮮明さが足りなくなるとともに、（流れる水の画像、車の動きの追跡（ｃａｒ  ｍｏｖｉｎｇ  ｔｒａｃｋ）、又は薄い落書き（ｌｉｇｈｔ  ｇｒａｆｆｉｔｉ）などの）時間効果がはっきりとした画像を取得することも容易ではなく、また日当たりが良く十分に明るい環境下では、取得される画像がしばしば露出オーバーの問題を起こしやすい。
【０００６】
（２）「デュアルレンズ」又は「マルチレンズ」のニーズ：ここ数年、映画市場では世界的に様々なタイプの３Ｄ又はパノラマ映画が放映されていて多くの消費者に高い人気があり、今度はこれらの消費者が自身のスマートフォンを使用して３Ｄ又はパノラマビデオを制作したがっている。これに応じて、スマートフォンメーカーの多くは、３Ｄ又はパノラマカメラのアプリケーションに関連する研究開発に打ち込んで、３６０度仮想現実（ＶＲ）リアルタイムビデオストリーミング、拡張現実（ＡＲ）のリモートエンド、超高品質ライブビデオ放送などの、３Ｄ又はパノラマビデオ撮影機能を有する全く新しい設計のスマートフォンを発売している。これらの画像取得アプリケーションの各々は、少なくとも２つの異なる特殊なレンズによってサポートされる必要があるため、「デュアルレンズ」又は「マルチレンズ」設計は新世代スマートフォンの必須付属品になりつつある。
【０００７】
（３）クリアで正確な光学ズーム機構を達成できないデュアルレンズ技術：例えば、ＨＴＣ社は、撮影中に世界初の二重被写界深度をもたらす機能を有する「Ｏｎｅ  Ｍ８」タイプのスマートフォンを２０１４年に発売し、その「デュアルレンズ」技術には、Ａｌｔｅｃ社が開発及び設計を行った「ウルトラピクセル・ウィズ・デュオカメラ（Ｕｌｔｒａ−Ｐｉｘｅｌ  ｗｉｔｈ  Ｄｕｏ  Ｃａｍｅｒａ）」が搭載され、この「デュオカメラ」は、スマートフォンの背面に組み込まれた協働して撮影を行うことができる一次レンズ及び二次レンズを有し、二次レンズよりも大型の一次レンズが撮影を担当し、二次レンズが環境の奥行き情報の記録を担当することにより、撮影後にユーザがスマートフォンのユーザインターフェイスを操作して画像の焦点位置を変更できるようになっている。２０１５年１１月には、ＬＧ社が、８０度の標準レンズを伴う５００万画素の画像センサと、１２０度の超広角レンズを伴う５００万画素の別の画像センサとを搭載した「Ｖ１０」タイプのスマートフォンを発売し、そのデュアルフロントレンズ設計は、自撮りの際に標準角視野又は広角視野で動作するように選択することができ、１２０度広角レンズは、自撮り中に背景全体（さらには人々の集団）を撮影することができ、８０度の標準レンズは、自撮り中に近接撮影を行うことができる。２０１６年には、ＬＧ社が「Ｇ５」タイプのスマートフォンを発売しており、そのデュアルレンズ設計は、スマートフォンの背面に組み込まれて、７８度の標準レンズを伴う１６００万画素の画像センサと、１３５度の超広角レンズを伴う８００万画素の別の画像センサとを搭載し、１３５度の超広角レンズは、ユーザがシーンとの間に長い距離を保持する必要なくスマートフォンを使用してより多くのシーンの画像を容易に撮影できるように、市場の他のスマートフォンの視野角よりも１．７倍広い（さらには裸眼の視野角よりも１５度広い）視野角をもたらすことができる。また、多くの科学技術メディアの間では、Ａｐｐｌｅ社が、標準モード又は遠隔シーンモードに切り替えて撮像動作を行えるように焦点距離がそれぞれ異なる２つの撮像素子を含むことができるデュアルレンズ設計を搭載した「ｉＰｈｏｎｅ(登録商標)７」を２０１６年に発表する可能性があるとの予想もある。しかしながら、上記の内容に照らしても、上述したデュアルレンズ設計は、いずれもスマートフォンのためのクリアかつ正確な光学ズーム機構を達成することができない。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述したスマートフォンに実装されているデュアルレンズ設計がいずれもクリアかつ正確な光学ズーム機構を達成できないのはなぜか。その主な理由は、上述した全てのスマートフォンは標準レンズと大口径の広角レンズとを搭載しており、これによってズーム手順中に必然的に以下の問題が生じるからである。
【０００９】
（１）遠距離から固定して焦点を合わせた物体の画像がぼやけてしまう：図１を参照すると分かるように、この理由は、標準レンズ及び広角レンズが（図１に示すミネラルウォーターのボトルなどの）物体１０に遠距離から正確に固定して焦点を合わせることができないことにより、物体１０にズームインしている間に物体１０上に（図１の右下隅に示すミネラルウォーターのボトル上のぼやけたテキスト画像などの）ぼやけた画像１１が生じやすくなるからである。
【００１０】
（２）ズーム手順で撮影された画像内の物体１０が画像間で異常にスキップしてしまう：図２を参照すると分かるように、この理由は、標準レンズと広角レンズとの間の対応するハードウェアパラメータに、視野（以下、ＦＯＶと呼ぶ）の違い、画角（ｐｉｃｔｕｒｅ  ａｎｇｌｅ）の違い、及び対応する画像センサチップ（例えば、ＣＭＯＳ）のサイズの違いなどの何らかの違いが存在せざるを得ず、このため標準レンズ及び広角レンズによってそれぞれ撮影された画像の画像比が必然的に異なってしまい、この結果、標準レンズ及び広角レンズによってそれぞれ撮影された画像上の対応する画素が（図２（ａ）に示す）１．７９のズーム比から（図２（ｂ）に示す）１．８０のズーム比への物体のズームインなどのズーム手順中に変位してこれらの間にオフセットが生じ、これによって２つの画像内で物体が明らかに異常にスキップする（例えば、図２（ａ）及び図２（ｂ）にそれぞれ示すようなｘ１からｘ２への明らかな異常な遷移スキップが生じる）からである。
【００１１】
上述した現在のデュアルレンズスマートフォンの発展中の進化及び歴史を考慮すれば、現在のスマートフォンにおけるデュアルレンズの設計用途は、３Ｄ性能の強化、被写界深度の引き上げ、表面の追跡、超広角の提供、画素の追加及びマルチアパーチャの提供など極めて多様で異なるが、デュアルレンズが単一の大口径広角レンズ設計の欠点を補うためにのみ設計されて正確かつクリアな光学ズーム機構を提供しないのであれば、光学ズーム機能を有する専門的なＤＳＬＲカメラに匹敵する新たなレベルにスマートフォンのカメラを到達させるのは非常に困難であると思われる。従って、本発明の重要な課題は、スマートフォンが優れた光学ズーム機構を有するように、スマートフォンを用いて物体に遠距離から固定して焦点を合わせてズームインした時に物体のクリアなズームイン画像を取得できるだけでなく、ズーム手順中に撮影された画像内の物体が画像間で著しくスキップしなくなるように、正確かつクリアな光学ズーム機構を達成できるデュアルレンズモジュールを設計することである。
【課題を解決するための手段】
【００１２】
本発明の主な目的は、広角撮像素子と長焦点撮像素子とを備えた（スマートフォン、デジタルカメラ又はタブレットなどの）電子装置に適用される、広角撮像素子及び長焦点撮像素子を利用してクリアかつ正確な光学ズーム機構を達成する方法であって、広角撮像素子及び長焦点撮像素子が、同じ地点の広角画像及び長焦点画像を同時にそれぞれ撮影するように電子装置によって制御される方法を提供することである。電子装置は、広角画像及び長焦点画像を取得した後に、広角画像及び長焦点画像の露光量及びホワイトバランスが整合性を保てるように、広角画像及び長焦点画像にそれぞれ露光及びホワイトバランス調整プロセスを実行し、次に長焦点画像上の各画素が広角画像上の各対応する画素と一致できるように、広角画像及び長焦点画像にそれぞれロバストな画像マッチングアルゴリズムを実行し、最後に長焦点画像上の画素が広角画像上の対応する画素と一致するように変形できるように、オプティカルフロー推定を用いて取得された広角画像上の各対応する画素に対する長焦点画像上の各画素のオフセットの密なオプティカルフロー場に従って長焦点画像上の画素にオフセット変形を実行した後に、新たな広角画像を生成するように長焦点画像及び広角画像に融合プロセスを実行することができる。
【００１３】
従って、本発明のスマートフォンが専門的なＤＳＬＲカメラのものに匹敵する優れた光学ズーム機構を有するようにするために、本発明の電子装置は、物体に遠距離から固定して焦点を合わせて物体にズームインした時でもズーム手順中に正確かつクリアな物体の画像を容易に取得し、ズーム手順中に撮影された画像内の物体が画像間で著しくスキップしない。
【００１４】
以下の詳細な説明を添付図面と共に参照することにより、本発明の上記の及びその他の目的、並びに技術的特徴及び効果をさらに理解することができる。
【図面の簡単な説明】
【００１５】
【図１】従来のスマートフォンの単レンズ又はデュアルレンズによるデジタルズームを通じて撮影された画像である。
【図２（ａ）】従来のスマートフォンの単レンズ又はデュアルレンズによるデジタルズームを通じて撮影された、画像内の物体が画像間で明らかに異常にスキップしている画像である。
【図２（ｂ）】従来のスマートフォンの単レンズ又はデュアルレンズによるデジタルズームを通じて撮影された、画像内の物体が画像間で明らかに異常にスキップしている画像である。
【図３】本発明の電子装置の概略図である。
【図４】本発明のフローチャートである。
【図５】撮像素子のハードウェアパラメータの概略図である。
【図６（ａ）】広角撮像素子によって撮影された広角画像である。
【図６（ｂ）】長焦点撮像素子によって撮影された長焦点画像である。
【図６（ｃ）】広角画像及び長焦点画像にそれぞれ画像モーフィング融合プロセスを行った後に本発明の電子装置によって生成された新たな広角画像である。
【図７（ａ）】本発明の電子装置によるデジタルズームを通じて撮影された、画像内の物体が画像間で著しくスキップしていない画像である。
【図７（ｂ）】本発明の電子装置によるデジタルズームを通じて撮影された、画像内の物体が画像間で著しくスキップしていない画像である。
【発明を実施するための形態】
【００１６】
モバイル電子装置（例えば、スマートフォン、デジタルカメラ又はタブレットなど）が総合的な機能を有するようになって世界中のいたる所で人気を博しているため、人々は、各電子装置を使用して画像又はアクション型ビデオを撮影している間にもはや単純な撮影機能に満足しなくなり、各モバイル電子装置の撮影プロセス及び撮影品質が、画像を遠距離からクリアかつ正確に撮影できるような高度で専門的なＳＬＲカメラに匹敵できるようになることを望んでいる。しかしながら、現在市販されているモバイル電子装置の設計ではスリムでコンパクトなサイズが主流であるため、これらのモバイル電子装置に搭載される単レンズ又は上述したデュアルレンズは、物体の画像を遠距離からデジタルズームを通じてしか撮影することができず、従って一定の距離まで画像にズームインすると画像上の画素が必然的にぼやけるようになり、専門的なＳＬＲカメラの優れた光学ズーム機構を通じて撮影されたものとは比較にならない。
【００１７】
従って、本発明の発明者は、長年にわたる研究、実験及び継続的改善の後に、広角撮像素子及び長焦点撮像素子を利用してモバイル電子装置が正確かつクリアな光学ズーム機構を容易に達成できるようにしようと考えている。本発明は、（スマートフォン、デジタルカメラ又はタブレットなどの）電子装置に適用される、広角撮像素子及び長焦点撮像素子を利用してクリアかつ正確な光学ズーム機構を達成する方法を提供するものである。図３を参照すると、電子装置３０が、いずれも電子装置３０の前面上又は背面上の２つの隣接位置に取り付けられた広角撮像素子３１と長焦点撮像素子３２とを備えており、広角撮像素子３１は、広角レンズと第１の画像センサチップ（例えば、ＣＭＯＳ）とで構成され、長焦点撮像素子３２は、長焦点レンズと第２の画像センサチップ（例えば、ＣＭＯＳ）とで構成され、広角レンズの焦点距離は標準レンズの５０ｃｍの焦点距離よりも短く、長焦点レンズの焦点距離は標準レンズの焦点距離よりも長く、広角撮像素子３１及び長焦点撮像素子３２は、同じ地点の広角画像及び長焦点画像を同時にそれぞれ撮影するように電子装置３０によって制御される。本発明の方法は、クリアかつ正確な光学ズーム機構を達成するために、電子装置３０が図４に示すような以下のステップを実行できるようにする。
【００１８】
（４０１）広角画像Ｗ（ｘ，ｙ）及び長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）をそれぞれ読み取り、広角画像及び長焦点画像の露光量及びホワイトバランスが整合性を保つように、広角画像Ｗ（ｘ，ｙ）及び長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）にそれぞれ露光及びホワイトバランス調整プロセスを実行するステップ。広角撮像素子３１及び長焦点撮像素子３２は、同じ地点の広角画像Ｗ（ｘ，ｙ）及び長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）を同時にそれぞれ撮影することができるが、これらの撮像素子は、電子装置３０上の同じ位置ではなく２つの異なる隣接位置に取り付けられているので、これによって最終的に、広角画像Ｗ（ｘ，ｙ）の露光量及びホワイトバランスと長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）の露光量及びホワイトバランスとの間にこれらの画像の撮影角度に起因して何らかの違いが存在するようになり、これが露光及びホワイトバランス調整プロセスよって解消されるはずである。一方で、広角画像上及び長焦点画像上の画素（ｘ，ｙ）に対応する位置にも、広角撮像素子３１のハードウェアパラメータと長焦点撮像素子３２のハードウェアパラメータとの間の違いに起因して何らかのオフセット（ｕ、ｖ）が存在する。
【００１９】
（４０２）広角画像Ｗ（ｘ，ｙ）及び長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）にそれぞれロバストな画像マッチングアルゴリズムを実行して、長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の各画素を広角画像Ｗ（ｘ，ｙ）上の対応する各画素と一致させるステップ。このロバストな画像マッチングアルゴリズムは、広角撮像素子３１及び長焦点撮像素子３２によってそれぞれ撮影された同じ地点Ｍの広角画像Ｗ（ｘ，ｙ）と長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）との間の画像比を、レンズＬ（すなわち、広角レンズ又は長焦点レンズ）のＦＯＶ、画角、垂直画角、水平画角及びその他のパラメータなど、並びに画像センサチップＳ（すなわち、第１の画像センサチップ又は第２の画像センサチップ）のサイズなどのハードウェアパラメータ（図５を参照）に従って計算した後に、この画像比に従って長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）に対応する領域（以下、「対応する広角画像Ｗ（ｘ，ｙ）」と呼ぶ）を広角画像Ｗ（ｘ，ｙ）から抽出し、以下のＨｏｒｎ−Ｓｃｈｕｎｃｋのオプティカルフロー推定モデル（このモデルは、現在のところ当業で周知の他のアルゴリズムよりも成熟した汎用性の高いアルゴリズムであるが、本発明が実際に適用されている際に限定を構成するものではない）の式に基づくオプティカルフロー推定を用いて対応する広角画像Ｗ（ｘ，ｙ）上の各画素に対する長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の各画素のオフセットの密なオプティカルフロー場を計算して取得することによって、このオプティカルフロー推定を、密なオプティカルフロー場を取得するための最適化プロセスに変換し、これに応じて対応する広角画像Ｗ（ｘ，ｙ）及び長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）にロバストな画像マッチングアルゴリズムを実行して、対応する広角画像Ｗ（ｘ，ｙ）及び長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の対応する画素を互いに一致させる。
【数１】
2019535167.tif 000003
【００２０】
φ（Ｗ（ｘ，ｙ）−Ｔ（ｘ＋ｕ，ｙ＋ｖ））は、対応する広角画像Ｗ（ｘ，ｙ）及び長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の各対応する画素をできるだけ同じものにするための濃淡値保存制約（ｇｒａｙ  ｖａｌｕｅ  ｃｏｎｓｅｒｖａｔｉｏｎ  ｃｏｎｓｔｒａｉｎｔ）を表すデータ項であり、φは誤差関数であり、α＊ψ（｜∇ｕ｜，｜∇ｖ｜）は、オプティカルフロー平滑性制約（ｏｐｔｉｃａｌ  ｆｌｏｗ  ｓｍｏｏｔｈｎｅｓｓ  ｃｏｎｓｔｒａｉｎｔ）を表す平滑化項（ｓｍｏｏｔｈ  ｉｔｅｍ）であるが、この理由は、特に対応する広角画像Ｗ（ｘ，ｙ）及び長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上のこれらの画素が無色である時に密なマッチングを達成するのにデータ項のみでは不十分であり、単純にデータ項を使用することによってこれらの画素間の正確なオフセットを発見することができないからであり、従って対応する広角画像Ｗ（ｘ，ｙ）及び長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の全ての２つの隣接画素間のオフセットがそれほど異ならないように、すなわちオフセットの変化率が大きくなりすぎないようにするために、上述した式に平滑化項を加えることが必要であり、αは、多様で複雑なシーンにおけるオプティカルフロー推定の精度を高めるようにデータ項と平滑化項との間の重みを制御するための重み係数であり、その値は経験値によって設定され、実際の必要性に従って動的に変化することもでき、ψに誤差関数であり、φ及びψは、異なる必要性に従って、絶対値関数、二次関数又は非負対称正軸単調増加関数（ｎｏｎ−ｎｅｇａｔｉｖｅ  ｓｙｍｍｅｔｒｉｃａｌ  ａｎｄ  ｐｏｓｉｔｉｖｅ  ａｘｌｅ  ｍｏｎｏｔｏｎｉｃａｌｌｙ  ｉｎｃｒｅａｓｉｎｇ  ｆｕｎｃｔｉｏｎ）などとすることができ、本発明の以下の実施形態では、計算の便宜上、極値を容易に解決するためにφ及びψを二次関数とみなすが、これは実際の適用時に本発明を限定するものではなく、∇ｕ及び∇ｖは、オフセット勾配の係数の長さ（ｍｏｄｕｌｕｓ  ｌｅｎｇｔｈｓ）であり、また、上述したオプティカルフロー推定は以下の仮定の下で実行される。
【００２１】
（１）長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び対応する広角画像Ｗ（ｘ，ｙ）上の対応する画素間の輝度差が一定である。
【００２２】
（２）長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び対応する広角画像Ｗ（ｘ，ｙ）上の対応する画素間の動き差分（ｍｏｔｉｏｎ  ｄｉｆｆｅｒｅｎｃｅ）が小さい。
【００２３】
（３）長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び対応する広角画像Ｗ（ｘ，ｙ）上の対応する画素の動きベクトルが同じである。
【００２４】
対応する広角画像Ｗ（ｘ，ｙ）及び長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）は電子装置３０によって同じ地点に関して同時に撮影されるので、上述した仮定は容易に達成されるはずである。従って、対応する広角画像Ｗ（ｘ，ｙ）及び長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）に対するロバストな画像マッチングアルゴリズムがそれぞれ完了した後には、Ｈｏｒｎ−Ｓｃｈｕｎｃｋのオプティカルフロー推定モデルに基づく上記の式を通じて、長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の各画素のオフセットの密なオプティカルフロー場を容易に取得することができる。
【００２５】
（４０３）画像モーフィング融合プロセスを実行するステップ。このプロセスは、長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の画素が、ロバストな画像マッチングアルゴリズムを通じて取得された長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の各画素のオフセットの密なオプティカルフロー場に従って変形して、対応する広角画像Ｗ（ｘ，ｙ）上の対応する画素と一致できるようにするために使用される。従って、重み係数λを伴う以下の式を通じて、変形した長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び対応する広角画像Ｗ（ｘ，ｙ）を互いに融合させて新たな広角画像ＷNEWを生成することができる。
ＷNEW＝（１−λ）Ｔ（ｘ＋ｕ，ｙ＋ｖ）＋λ＊Ｗ（ｘ，ｙ）
【００２６】
重み係数λは実際の必要性に従って決定され、例えば変形した長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の画素が対応する広角画像Ｗ（ｘ，ｙ）上の対応する画素よりもクリアであると判断された時にはλ＝０を採用し、そうでなければ０＜λ＜１．０を採用する。従って、変形した長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の画素が対応する広角画像Ｗ（ｘ，ｙ）上の対応する画素と一致できる時には、対応する広角画像Ｗ（ｘ，ｙ）上の対応する画素を変形した長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の画素に単純に直接置き換えることによって画像モーフィング融合プロセスが容易に完了する。対応する広角画像Ｗ（ｘ，ｙ）の外側に存在して変形した長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の画素と一致できない画素については、画像処理プロセス（ｉｍａｇｅ  ｅｎｈａｎｃｅｍｅｎｔ  ｐｒｏｃｅｓｓ）を行うことによってこれらの画素の視覚効果を強化することもできる。
【００２７】
従って、本発明では、広角撮像素子３１及び長焦点撮像素子３２にそれぞれ取り付けられる広角レンズ及び長焦点レンズが固定焦点レンズであり、電子装置３０は、広角画像Ｗ（ｘ，ｙ）及び長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）にそれぞれデジタルズームプロセスしか実行することができないが、上述したように、広角撮像素子３１及び長焦点撮像素子３２のハードウェアパラメータが決まると、広角画像Ｗ（ｘ，ｙ）と長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）との間の（１．８又は２．３などの）画像比を容易に取得することができる。以下の段落で説明する本発明の実施形態に関する検証では、説明のための一例として広角画像Ｗ（ｘ，ｙ）と長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）との間の画像比を１．８とする。
【００２８】
従って、図６を参照すれば分かるように、ユーザが本発明の電子装置３０を操作して０のズーム比から３．０のズーム比へのデジタルズームプロセスを実行すると、広角撮像素子３１は、図６（ａ）に示す広角画像をデジタルズームプロセスを通じて撮影している間、物体６０（すなわち、図６（ａ）に示すミネラルウォーターのボトル）に対して正確に焦点を固定できず、物体６０上の（図６（ａ）の右下隅に示す）テキスト画像６１がぼやけるようになるが、この時点で長焦点撮像素子３２が物体６０（すなわち、図６（ｂ）に示されているミネラルウォーターのボトル）に対して正確に焦点を固定することができ、このため長焦点撮像素子３２がデジタルズームプロセスを通じて物体６０の長焦点画像を生成すると、物体６０上の（図６（ａ）の右下隅に示す）テキスト画像６２が非常にクリアな状態を保つようになり、従って、本発明の方法を通じて広角画像及び長焦点画像にそれぞれ画像モーフィング融合プロセスを実行して図６（ｃ）に示す物体６０の新たな広角画像を生成した後には、物体６０上の（図６（ｃ）の右下隅に示す）テキスト画像６３が、曖昧さ又はぼやけの問題を伴わずに非常にクリアな状態を保つことが明らかである。
【００２９】
さらに、図７を参照すれば分かるように、ユーザが本発明の電子装置３０を操作して、例えば（図７（ａ）に示す）１．７９のズーム比から（図７（ｂ）に示す）１．８０のズーム比へのデジタルズームプロセスを行うと、１．７９のズーム比と１．８０のズーム比とで撮影された２つの画像間で物体に著しいスキップ現象が生じていないことが容易に分かる。従って、電子装置３０は、本発明の方法を通じて、専門的なＳＬＲカメラが提供する光学ズーム機能と比較するのにふさわしい正確でクリアで優れた光学ズーム機構を実際に有するようになる。
【００３０】
上述した説明は、本開示の例示的な実施形態を示すものにすぎず、本開示の範囲をこれらの実施形態に限定する意図はない。従って、本開示の特許請求の範囲に基づく様々な同等の変更例、代替例又は修正例は、全て本開示の範囲に含まれるものとみなされる。
【符号の説明】
【００３１】
４０１  露光及びホワイトバランスプロセス
４０２  ロバストな画像マッチングアルゴリズム
４０３  画像モーフィングプロセス
【図１】
2019535167.tif 000008
【図２（ａ）】
2019535167.tif 000009
【図２（ｂ）】
2019535167.tif 000010
【図３】
2019535167.tif 000011
【図４】
2019535167.tif 000012
【図５】
2019535167.tif 000013
【図６（ａ）】
2019535167.tif 000014
【図６（ｂ）】
2019535167.tif 000015
【図６（ｃ）】
2019535167.tif 000016
【図７（ａ）】
2019535167.tif 000017
【図７（ｂ）】
2019535167.tif 000018
【手続補正書】
【提出日】平成31年4月22日(2019.4.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
広角撮像素子と長焦点撮像素子とを備えた電子装置に適用される、広角撮像素子及び長焦点撮像素子を利用してクリアかつ正確な光学ズーム機構を達成する方法であって、前記広角撮像素子のレンズは、標準レンズの５０ｃｍの焦点距離よりも短い焦点距離を有し、前記長焦点撮像素子のレンズは、前記標準レンズの焦点距離よりも長い焦点距離を有し、前記広角撮像素子及び前記長焦点撮像素子は、前記電子装置によって同じ地点の広角画像及び長焦点画像を同時にそれぞれ撮影するように制御され、前記方法は、クリアかつ正確な光学ズーム機構を達成するために、前記電子装置が、
前記広角画像及び前記長焦点画像を読み取って、前記広角画像及び前記長焦点画像の露光量及びホワイトバランスが整合性を保てるように、前記広角画像及び前記長焦点画像にそれぞれ露光及びホワイトバランス調整プロセスを実行するステップと、
前記長焦点画像上の各画素が前記広角画像上の各対応する画素と一致できるように、前記長焦点撮像素子及び前記広角撮像素子のハードウェアパラメータに従って前記長焦点画像と前記広角画像との間の画像比を計算して取得し、前記画像比に従って前記長焦点画像に対応する領域を前記広角画像から抽出した後に、オプティカルフロー推定を使用して、前記広角画像上の各対応する画素に対する前記長焦点画像上の各画素のオフセットの密なオプティカルフロー場を計算して取得することができるロバストな画像マッチングアルゴリズムを前記広角画像及び前記長焦点画像にそれぞれ実行するステップと、
新たな広角画像を生成するように、前記長焦点画像及び前記広角画像上の前記対応する画素に画像モーフィング融合プロセスを実行するステップと、
を実行できるようにする、ことを特徴とする方法。
【請求項２】
前記画像モーフィング融合プロセスは、前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の前記画素が前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素と一致するように変形できるように、前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の前記画素の前記オフセット（ｕ，ｖ）の前記密なオプティカルフロー場に従って前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の前記画素にオフセット変形を実行した後に、前記新たな広角画像ＷNEWを生成するように、λを重み係数とする以下の式、
ＷNEW＝（１−λ）Ｔ（ｘ＋ｕ，ｙ＋ｖ）＋λ＊Ｗ（ｘ，ｙ）
に従って前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）に融合プロセスを実行することができる、
請求項１に記載の方法。
【請求項３】
前記変形した長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の前記画素が前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素よりもクリアであると判断された場合にはλ＝０を採用し、そうでなければ０＜λ＜１．０を採用する、
請求項２に記載の方法。
【請求項４】
前記変形した長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素間の最小誤差を取得するための最適化プロセスに前記オプティカルフロー推定を変換することを通じて前記密なオプティカルフロー場を取得するように、前記オプティカルフロー推定は、Ｈｏｒｎ−Ｓｃｈｕｎｃｋのオプティカルフロー推定モデルに基づく以下の式、
【数１】
2019535167.tif 000019
に従って実行され、φ（Ｗ（ｘ，ｙ）−Ｔ（ｘ＋ｕ，ｙ＋ｖ））は、前記広角画像Ｗ（ｘ，ｙ）及び前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の各対応する画素をできるだけ同じものにするための濃淡値保存制約を表すデータ項であり、φは誤差関数であり、α＊ψ（｜∇ｕ｜，｜∇ｖ｜）は、前記広角画像Ｗ（ｘ，ｙ）及び前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の全ての２つの隣接画素間のオフセットがそれほど異ならないようにするためのオプティカルフロー平滑性制約を表す平滑化項であり、αは、多様で複雑なシーンにおける前記オプティカルフロー推定の精度を高めるように前記データ項と前記平滑化項との間の重みを制御するための重み係数であり、ψも誤差関数であり、∇ｕ、∇ｖは、前記オフセット勾配の係数の長さである、
請求項１に記載の方法。
【請求項５】
前記変形した長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素間の最小誤差を取得するための最適化プロセスに前記オプティカルフロー推定を変換することを通じて前記密なオプティカルフロー場を取得するように、前記オプティカルフロー推定は、Ｈｏｒｎ−Ｓｃｈｕｎｃｋのオプティカルフロー推定モデルに基づく以下の式、
【数２】
2019535167.tif 000020
に従って実行され、φ（Ｗ（ｘ，ｙ）−Ｔ（ｘ＋ｕ，ｙ＋ｖ））は、前記広角画像Ｗ（ｘ，ｙ）及び前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の各対応する画素をできるだけ同じものにするための濃淡値保存制約を表すデータ項であり、φは誤差関数であり、α＊ψ（｜∇ｕ｜，｜∇ｖ｜）は、前記広角画像Ｗ（ｘ，ｙ）及び前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の全ての２つの隣接画素間のオフセットがそれほど異ならないようにするためのオプティカルフロー平滑性制約を表す平滑化項であり、αは、多様で複雑なシーンにおける前記オプティカルフロー推定の精度を高めるように前記データ項と前記平滑化項との間の重みを制御するための重み係数であり、ψも誤差関数であり、∇ｕ、∇ｖは、前記オフセット勾配の係数の長さである、
請求項１に記載の方法。
【請求項６】
前記変形した長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素間の最小誤差を取得するための最適化プロセスに前記オプティカルフロー推定を変換することを通じて前記密なオプティカルフロー場を取得するように、前記オプティカルフロー推定は、Ｈｏｒｎ−Ｓｃｈｕｎｃｋのオプティカルフロー推定モデルに基づく以下の式、
【数３】
2019535167.tif 000021
に従って実行され、φ（Ｗ（ｘ，ｙ）−Ｔ（ｘ＋ｕ，ｙ＋ｖ））は、前記広角画像Ｗ（ｘ，ｙ）及び前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の各対応する画素をできるだけ同じものにするための濃淡値保存制約を表すデータ項であり、φは誤差関数であり、α＊ψ（｜∇ｕ｜，｜∇ｖ｜）は、前記広角画像Ｗ（ｘ，ｙ）及び前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の全ての２つの隣接画素間のオフセットがそれほど異ならないようにするためのオプティカルフロー平滑性制約を表す平滑化項であり、αは、多様で複雑なシーンにおける前記オプティカルフロー推定の精度を高めるように前記データ項と前記平滑化項との間の重みを制御するための重み係数であり、ψも誤差関数であり、∇ｕ、∇ｖは、前記オフセット勾配の係数の長さである、
請求項２に記載の方法。
【請求項７】
前記変形した長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素間の最小誤差を取得するための最適化プロセスに前記オプティカルフロー推定を変換することを通じて前記密なオプティカルフロー場を取得するように、前記オプティカルフロー推定は、Ｈｏｒｎ−Ｓｃｈｕｎｃｋのオプティカルフロー推定モデルに基づく以下の式、
【数４】
2019535167.tif 000022
に従って実行され、φ（Ｗ（ｘ，ｙ）−Ｔ（ｘ＋ｕ，ｙ＋ｖ））は、前記広角画像Ｗ（ｘ，ｙ）及び前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の各対応する画素をできるだけ同じものにするための濃淡値保存制約を表すデータ項であり、φは誤差関数であり、α＊ψ（｜∇ｕ｜，｜∇ｖ｜）は、前記広角画像Ｗ（ｘ，ｙ）及び前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）上の全ての２つの隣接画素間のオフセットがそれほど異ならないようにするためのオプティカルフロー平滑性制約を表す平滑化項であり、αは、多様で複雑なシーンにおける前記オプティカルフロー推定の精度を高めるように前記データ項と前記平滑化項との間の重みを制御するための重み係数であり、ψも誤差関数であり、∇ｕ、∇ｖは、前記オフセット勾配の係数の長さである、
請求項３に記載の方法。
【請求項８】
前記誤差関数は二次関数である、
請求項４に記載の方法。
【請求項９】
前記誤差関数は二次関数である、
請求項５に記載の方法。
【請求項１０】
前記誤差関数は二次関数である、
請求項６に記載の方法。
【請求項１１】
前記誤差関数は二次関数である、
請求項７に記載の方法。
【請求項１２】
前記オプティカルフロー推定の前記仮定は、前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素間の輝度差が一定であることである、
請求項８に記載の方法。
【請求項１３】
前記オプティカルフロー推定の前記仮定は、前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素間の輝度差が一定であることである、
請求項９に記載の方法。
【請求項１４】
前記オプティカルフロー推定の前記仮定は、前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素間の輝度差が一定であることである、
請求項１０に記載の方法。
【請求項１５】
前記オプティカルフロー推定の前記仮定は、前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素間の輝度差が一定であることである、
請求項１１に記載の方法。
【請求項１６】
前記オプティカルフロー推定の前記仮定は、前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素間の動き差分が小さいことである、
請求項１２に記載の方法。
【請求項１７】
前記オプティカルフロー推定の前記仮定は、前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素間の動き差分が小さいことである、
請求項１３に記載の方法。
【請求項１８】
前記オプティカルフロー推定の前記仮定は、前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素間の動き差分が小さいことである、
請求項１４に記載の方法。
【請求項１９】
前記オプティカルフロー推定の前記仮定は、前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素間の動き差分が小さいことである、
請求項１５に記載の方法。
【請求項２０】
前記オプティカルフロー推定の前記仮定は、前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素の動きベクトルが同じであることである、
請求項１６に記載の方法。
【請求項２１】
前記オプティカルフロー推定の前記仮定は、前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素の動きベクトルが同じであることである、
請求項１７に記載の方法。
【請求項２２】
前記オプティカルフロー推定の前記仮定は、前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素の動きベクトルが同じであることである、
請求項１８に記載の方法。
【請求項２３】
前記オプティカルフロー推定の前記仮定は、前記長焦点画像Ｔ（ｘ＋ｕ，ｙ＋ｖ）及び前記広角画像Ｗ（ｘ，ｙ）上の前記対応する画素の動きベクトルが同じであることである、
請求項１９に記載の方法。
【国際調査報告】
2019535167.tif 000023