(57)【要約】      （修正有）【課題】より高い画質とより高いフレームレートの画像を提供するリアルタイム画像ステッチ装置および関連のリアルタイムステッチ方法を提供する。【解決手段】リアルタイム画像ステッチ装置および関連のリアルタイムステッチ方法は、中央処理装置（ＣＰＵ）、ドライバまたはアプリケーションソフトウェアではなく、デジタルチップ２０を使用して、イメージセンサー１０からのデジタル画像信号をステッチしてから、それを画像ファイルに変換して出力、表示または保存する。ステッチされて圧縮された画像の演算データの容量はずっと小さくなるため、より高い画質とより滑らかな画像のリアルタイムの画像ステッチ効果を達成することができる。【選択図】図１
2016197858.tif 000002
【特許請求の範囲】
【請求項１】
リアルタイム画像ステッチ装置であって、
少なくとも１つのイメージセンサーと、前記各イメージセンサーに電気的に接続された少なくとも１つのデジタルチップを含み、そのうち、前記デジタルチップが、少なくとも１つのアルゴリズム形態のＩＳＰ（画像処理プロセッサ）と、アルゴリズム形態の画像ステッチ装置と、アルゴリズム形態の画像圧縮処理装置を含むことを特徴とする、リアルタイム画像ステッチ装置。
【請求項２】
前記リアルタイム画像ステッチ装置が、さらに、前記デジタルチップに電気的に接続された伝送媒体を含むことを特徴とする、請求項１に記載のリアルタイム画像ステッチ装置。
【請求項３】
前記リアルタイム画像ステッチ装置が、さらに、前記デジタルチップに電気的に接続された少なくとも１つのストレージデバイスを含むことを特徴とする、請求項１に記載のリアルタイム画像ステッチ装置。
【請求項４】
前記リアルタイム画像ステッチ装置が、さらに、前記デジタルチップに電気的に接続された伝送媒体と少なくとも１つのストレージデバイスを含むことを特徴とする、請求項１に記載のリアルタイム画像ステッチ装置。
【請求項５】
前記ストレージデバイスがＳＤカードであることを特徴とする、請求項４に記載のリアルタイム画像ステッチ装置。
【請求項６】
前記ストレージデバイスがＨＤＤであることを特徴とする、請求項４に記載のリアルタイム画像ステッチ装置。
【請求項７】
前記伝送媒体がネットワーク線であることを特徴とする、請求項４に記載のリアルタイム画像ステッチ装置。
【請求項８】
前記伝送媒体がＷｉ−Ｆｉデバイスであることを特徴とする、請求項４に記載のリアルタイム画像ステッチ装置。
【請求項９】
前記伝送媒体がＵＳＢデバイスであることを特徴とする、請求項４に記載のリアルタイム画像ステッチ装置。
【請求項１０】
前記伝送媒体がＬＴＥデバイスであることを特徴とする、請求項４に記載のリアルタイム画像ステッチ装置。
【請求項１１】
前記リアルタイム画像ステッチ装置が、複数の取り囲むように配置されたイメージセンサーを含むことを特徴とする、請求項１に記載のリアルタイム画像ステッチ装置。
【請求項１２】
前記各イメージセンサーが、画像処理プロセッサを介して前記デジタルチップに電気的に接続されることを特徴とする、請求項１に記載のリアルタイム画像ステッチ装置。
【請求項１３】
デジタルチップをデジタル画像キャプチャ装置に統合したリアルタイム画像ステッチ方法であって、前記デジタルチップが、少なくとも１つのアルゴリズム形態の画像処理プロセッサと、アルゴリズム形態の画像ステッチ装置と、アルゴリズム形態の画像圧縮処理装置を含み、前記デジタルチップがデジタル画像信号を前記デジタル画像キャプチャ装置の１つ以上のイメージセンサーから事前設定された期間内に収集する工程と、前記事前設定された期間内に収集された前記デジタル画像信号を前記デジタルチップ内の前記画像処理プロセッサにより光学的に修正する工程と、前記事前設定された期間内に収集された前記デジタル画像信号を前記画像ステッチ装置によりステッチする工程と、ステッチされた前記デジタル画像信号を出力または保存するために、前記デジタルチップ内の前記画像圧縮処理装置により事前設定された画像形式に変換する工程と、を含むことを特徴とする、リアルタイム画像ステッチ方法。
【請求項１４】
前記リアルタイム画像ステッチ方法が、前記デジタルチップ内の前記画像処理プロセッサにより、事前設定された期間内に収集された前記デジタル画像信号に自動露出と自動ホワイトバランス処理を実行する工程を含むことを特徴とする、請求項１３に記載のリアルタイム画像ステッチ方法。
【請求項１５】
前記リアルタイム画像ステッチ方法が、各イメージセンサーに電気的に接続された前記画像処理プロセッサにより、前記デジタルチップに入力される前に、前記各イメージセンサーの前記デジタル画像信号に対して歪み修正、ノイズ低減、不良画素修正処理を含む光学的修正処理を実行する工程を含む、ことを特徴とする、請求項１３に記載のリアルタイム画像ステッチ方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像ステッチ技術に関し、特に、より高画質で滑らかな画像のリアルタイム画像ステッチ装置と、関連のリアルタイム画像ステッチ方法に関する。
【背景技術】
【０００２】
デジタルカメラの登場以来、電子機器のアプリケーションと知識は急激に増加し、たくさんの直接および間接的に撮影に関連する新たな体験および装置が作り出されている。デジタルカメラやデジタルビデオカメラなど現有の画像キャプチャ装置においては、基本的にＣＣＤまたはＣＭＯＳセンサーが光波を蓄積電荷に変換し、その後画像処理装置がＣＣＤまたはＣＭＯＳセンサーから送信されるデジタル情報を画像ファイルに変換している。
【０００３】
原則的に、画像処理装置がイメージセンサーからのデータに対する解析とあらゆる処理を担っている。そして撮影者の画質およびスタイルの設定に従ってデータを画像ファイルに変換し、メモリやフラッシュカード、ハードディスクなどのストレージデバイスにそれらファイルを保存する。
【０００４】
さらに、デジタル画像キャプチャ装置は、実際の利用時に、レンズの技術的制限のため全景を撮影するに足る充分な幅で画像をレンダリングできないことがある。必要な全景を撮影するための１つの方法は、場面の一部を別々に撮影し、それらをステッチしてつなげる方法である。
【０００５】
画像ステッチは任意の２枚の写真内で同じ特徴点を物理的に見つけ出し、ステッチングによりそれらを１枚の写真に再構築する。従来の画像ステッチ技術は撮影の後に通常コンピュータソフトウェアを使用して、コンピュータソフトウェアによって読み込んだ関連画像をステッチする。この方法はソフトウェアを操作する技術を必要とし、比較的長い時間と多くの労力を要する。さらに、大量かつ高解像度でリアルタイム画像を取得することはできない。
【０００６】
また、既存のパノラマカメラのデジタル画像アプリケーションにおいては、既にリアルタイム画像ステッチが実現されている。しかし、イメージセンサーのデジタル信号は、中央プロセッサを組み合わせたＣＰＵによる画像ステッチを行う前に、やはり画像処理装置を通じて画像ファイルにエンコード／デコードされている。このため、画像のステッチ過程において、場面の重なり合う部分が最終的に切り取られて削除され、ステッチ後、各画像が自動露出と自動ホワイトバランスでそれぞれ修正されることにより、完成後の画像は色に明らかな違いが生じる（例えば、台湾特許第Ｉ４２１６２４号と台湾特許公報第２０１２−２４９９６号）。
【０００７】
従って、このような従来の画像ステッチ技術において、多くの使用しないデータが各画像の伝送と演算に含まれる。画像の画素と解析データが増加すると、ＣＰＵが画像ファイルの演算を実行し、より多くのデータを保存する必要が生じる。さらに、各画像の実行にかかる時間も増加する。このため、画質と画像数（画像の枚数）間で相殺されており、これが従来の画像ステッチ技術の多くに低解像度または円滑でないビデオパフォーマンスといった欠点が存在する理由となっている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】台湾特許第Ｉ４２１６２４号明細書
【特許文献２】台湾特許公報第２０１２−２４９９６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００９】
この問題を解決するため、本発明の目的は、より高い画質とより高いフレームレートの画像を提供する画像ステッチ装置および関連のリアルタイムステッチ方法を提供することにある。
【課題を解決するための手段】
【００１０】
上述の目的を達するため、本発明のリアルタイム画像ステッチ装置は、少なくとも１つのイメージセンサーと、前記各イメージセンサーに電気的に接続された少なくとも１つのデジタルチップを含み、そのうち、前記デジタルチップは、少なくとも１つのアルゴリズム形態のＩＳＰ（画像処理プロセッサ）と、アルゴリズム形態の画像ステッチ装置と、アルゴリズム形態の画像圧縮処理装置を含む。
【００１１】
上述の技術に基づき、前記リアルタイム画像ステッチ装置は、前記デジタルチップに電気的に接続された伝送媒体を含む。
【００１２】
上述の技術に基づき、前記リアルタイム画像ステッチ装置は、前記デジタルチップに電気的に接続された少なくとも１つのストレージデバイスを含む。
【００１３】
上述の技術に基づき、前記リアルタイム画像ステッチ装置は、前記デジタルチップに電気的に接続された伝送媒体と、少なくとも１つのストレージデバイスを含む。
【００１４】
上述の技術に基づき、前記リアルタイム画像ステッチ装置の前記ストレージデバイスはＳＤカードとしてもよい。
【００１５】
上述の技術に基づき、前記リアルタイム画像ステッチ装置の前記ストレージデバイスはＨＤＤとしてもよい。
【００１６】
上述の技術に基づき、前記リアルタイム画像ステッチ装置の前記伝送媒体はネットワーク線としてもよい。
【００１７】
上述の技術に基づき、前記リアルタイム画像ステッチ装置の前記伝送媒体はＷｉ−Ｆｉデバイスとしてもよい。
【００１８】
上述の技術に基づき、前記リアルタイム画像ステッチ装置の前記伝送媒体はＵＳＢデバイスとしてもよい。
【００１９】
上述の技術に基づき、前記リアルタイム画像ステッチ装置の前記伝送媒体はＬＴＥデバイスとしてもよい。
【００２０】
前記リアルタイム画像ステッチ装置は、複数の取り囲むように配置されたイメージセンサーを含む。
【００２１】
前記各イメージセンサーは、像処理プロセッサを介して、それぞれ前記デジタルチップに電気的に接続される。
【００２２】
本発明のリアルタイム画像ステッチ方法では、デジタルチップがデジタル画像キャプチャ装置に統合される。前記デジタルチップは、少なくとも１つのアルゴリズム形態の画像処理プロセッサと、アルゴリズム形態の画像ステッチ装置と、アルゴリズム形態の画像圧縮処理装置を含む。前記デジタル画像キャプチャ装置の１つ以上のイメージセンサーからのデジタル画像信号は、事前設定された期間内に前記デジタルチップにより収集され、前記事前設定された期間内に収集された前記デジタル画像信号が前記デジタルチップ内の前記画像処理プロセッサにより修正され、前記事前設定された期間内に収集された前記デジタル画像信号が前記デジタルチップ内の前記画像ステッチ装置によりステッチされ、前記デジタルチップ内の前記画像圧縮処理装置によりステッチされたステッチ済みデジタル画像信号が出力または保存のために事前設定された画像形式に変換される。
【００２３】
上述の技術に基づき、前記リアルタイム画像ステッチ方法は、前記デジタルチップ内の前記画像処理プロセッサにより、事前設定された期間内に収集された前記デジタル画像信号に自動露出と自動ホワイトバランス処理を実行する。
【００２４】
上述の技術に基づき、 前記リアルタイム画像ステッチ方法は、前記デジタルチップにより収集される前に、各イメージセンサーに電気的に接続された前記画像処理プロセッサにより各イメージセンサーからの前記デジタル画像信号に光学修正処理を実行する。前記修正には、歪み修正、ノイズ低減、不良画素修正が含まれる。
【発明の効果】
【００２５】
具体的に、本発明のリアルタイム画像ステッチ装置および関連のリアルタイム画像ステッチ方法は、中央処理装置（ＣＰＵ）、ドライバ、またはアプリケーションソフトウェアではなく、プラットフォームでデジタルチップにより画像をステッチしてから、それを画像ファイルに変換して出力、表示、または保存する。ステッチされ、圧縮された画像の演算データの容量は比較的小さくなるため、より高い画質とより高いフレームレートでリアルタイムの画像ステッチ効果を達成することができ、リアルタイム画像監視システムにおけるより高画質の３６０度パノラマ画像や、デジタルカメラやスマートフォンなどの携帯端末による高解像度での全景またはパノラマ撮影に広く応用することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明のリアルタイム画像ステッチ装置の実施態様１の基本構造を示すブロック図である。
【図２】本発明のリアルタイム画像ステッチ装置の実施態様２の基本構造を示すブロック図である。
【図３】本発明のイメージセンサーのレイアウトの概略図である。
【発明を実施するための形態】
【００２７】
本発明は主に、より高画質で比較的滑らかな画像のリアルタイム画像ステッチ装置と、関連のリアルタイム画像ステッチ方法を開示する。図1に本発明のリアルタイム画像ステッチ装置の実施例１の基本構造を示すブロック図を示す。本発明のリアルタイム画像ステッチ装置は、基本的に、少なくとも１つのイメージセンサー１０と、各前記イメージセンサー１０に電気的に接続されたデジタルチップ２０を含む。
【００２８】
前記デジタルチップ２０は、少なくとも１つのアルゴリズム形態の画像処理プロセッサ２１と、アルゴリズム形態の画像ステッチ装置２２と、アルゴリズム形態の画像圧縮処理装置２３を内蔵する。
【００２９】
これに基づき、イメージセンサー１０により生成されるデジタル画像信号が事前設定された期間内にデジタルチップ２０により収集され、内蔵の画像処理プロセッサ２１により前記デジタル画像信号の自動ホワイトバランスおよび自動露出が修正され、内蔵の画像ステッチ装置２２により前記デジタル画像信号がステッチされた後、内蔵の画像圧縮処理装置２３により前記デジタル画像信号が事前設定された画像形式に圧縮されて伝送または保存される。
【００３０】
リアルタイム画像ステッチ装置全体が、中央処理装置、ドライバ、またはアプリケーションソフトウェアではなく、プラットフォームで前記デジタルチップ２０を使用して前記イメージセンサー１０からのデジタル画像信号をステッチして圧縮することで、ステッチされ、圧縮された画像の演算データの容量は比較的小さくなるため、より高い画質とより高いフレームレートでリアルタイムの画像ステッチ効果を達成することができ、リアルタイム画像監視システムにおけるより高画質の３６０度パノラマ画像や、デジタルカメラやスマートフォンなどの携帯端末による高解像度での全景またはパノラマ撮影に広く応用することができる。 
【００３１】
本発明のリアルタイム画像ステッチ装置の使用時の状態を図２に示す。前記リアルタイム画像ステッチ装置はさらに、ステッチされた画像の効果をリアルタイムでモニタリングするため、前記デジタルチップ２０に電気的に接続された伝送媒体３０を含む。さらに、ステッチされた画像のデータを記録するため、前記デジタルチップ２０に電気的に接続された少なくとも１つのストレージデバイス４０を含んでもよい。
【００３２】
従って、本発明のリアルタイム画像ステッチ装置は、使用時、図に示すように、好ましくはさらに前記デジタルチップ２０に電気的に接続された伝送媒体３０と、少なくとも１つのストレージデバイス４０を含み、より高解像度での全景またはパノラマ撮影機能を備えたデジタルカメラまたはスマートフォンを構成する。
【００３３】
さらに、図３に示すように、本発明のリアルタイム画像ステッチ装置は、複数の取り囲むように配置されたイメージセンサー１０を含み、より高解像度で３６０度のパノラマ画像を提供するリアルタイム録画装置を形成する。さらに、上述の構造のあらゆる可能な実施形態において、各前記イメージセンサー１０は、画像処理プロセッサ１１を介して前記デジタルチップ２０にそれぞれ電気的に接続され、前記各イメージセンサー１０のデジタル画像信号が前記デジタルチップ２０に入力される前に、前記各イメージセンサー１０にそれぞれ電気的に接続された前記画像処理プロセッサ１１により光学的に歪み修正、ノイズ低減、不良画素修正処理が実行される。
【００３４】
さらに、本発明の画像ステッチ方法では、デジタルチップがデジタル画像キャプチャ装置に統合される。前記デジタルチップは、少なくとも１つのアルゴリズム形態の画像処理プロセッサと、アルゴリズム形態の画像ステッチ装置と、アルゴリズム形態の画像圧縮処理装置を含み、デジタル画像キャプチャ装置に統合される。構造を図１または図２に示す。
【００３５】
本発明のリアルタイム画像ステッチ方法は、デジタルチップにより事前設定された期間内にデジタル画像キャプチャ装置内の１つまたは複数のイメージセンサーからデジタル画像信号が収集され、デジタルチップ内の前記画像処理プロセッサにより前記事前設定された期間内に収集されたデジタル画像信号の歪みが修正され、前記デジタルチップ内の前記画像ステッチ装置 により前記事前設定された期間内に収集された前記デジタル画像信号がステッチされてから、前記デジタルチップ内の前記画像圧縮処理装置によりステッチされた前記デジタル画像信号が出力または保存のために事前設定された画像形式に変換される。
【００３６】
同様に、本発明のリアルタイム画像ステッチ方法は、前記デジタルチップ内の前記画像処理プロセッサにより、事前設定された期間内に収集された前記デジタル画像信号に自動露出と自動ホワイトバランス処理を実行する。また、前記デジタルチップにより収集される前に、各イメージセンサーに電気的に接続された前記画像処理プロセッサにより各イメージセンサーからの前記デジタル画像信号に光学修正処理を実行する。前記修正には、歪み修正、ノイズ低減、不良画素修正が含まれる。
【００３７】
従来技術と比較して、本発明のリアルタイム画像ステッチ装置は、中央処理装置（ＣＰＵ）、ドライバ、またはアプリケーションソフトウェアではなく、プラットフォームでデジタルチップにより収集されたデジタル画像信号をステッチしてから、それを画像ファイルに変換して出力、表示、または保存する。ステッチされ、圧縮された画像の演算データの容量は比較的小さくなるため、より高い画質とより高いフレームレートでリアルタイムの画像ステッチ効果を達成することができ、リアルタイム画像監視システムにおけるより高画質の３６０度パノラマ画像や、デジタルカメラやスマートフォンなどの携帯端末による高解像度での全景またはパノラマ撮影に広く応用することができる。
【００３８】
上述の説明に基づき、本発明はより実用的なリアルタイム画像ステッチ装置および関連の画像ステッチ方法を開示するものである。
【符号の説明】
【００３９】
１０       イメージセンサー
１１      画像処理プロセッサ
２０       デジタルチップ
２１      アルゴリズム形態の画像処理プロセッサ
２２      アルゴリズム形態の画像ステッチ装置
２３      アルゴリズム形態の画像圧縮処理装置
３０      伝送媒体
４０      ストレージデバイス
【図１】
2016197858.tif 000003
【図２】
2016197858.tif 000004
【図３】
2016197858.tif 000005
【外国語明細書】
2016197858000001.pdf