(57)【特許請求の範囲】
【請求項１】
熱画像カメラであって、
複数のフレームの熱赤外線データを含む熱写真データを取り込むように動作可能な赤外線検出器と、
前記赤外線検出器に結合され、前記熱写真データに基づき前記複数のフレームの熱赤外線データの各々のフレームのためのマッピングを行い、前記マッピングを用いて温度マップを生成するように動作可能な温度マップコンポーネントと、
前記赤外線検出器に結合され、前記熱写真データを処理するように動作可能なプロセッサと、
を含む、熱画像カメラと、
前記複数のフレームの熱赤外線データとは別に、前記温度マップを送信するように動作可能な少なくとも一つの通信インタフェースと、
前記熱画像カメラに通信で結合された消費者モバイル装置と、
を備える、熱画像システム。
【請求項２】
前記熱画像カメラが、
不均一性補正コンポーネントと、
不良ピクセル交換コンポーネントと、
を更に備える、請求項１に記載の熱画像システム。
【請求項３】
前記熱画像カメラが、
フレーム統合ユニットと、
ノイズフィルタと、
自動利得制御ユニットと、
を更に備える、請求項１に記載の熱画像システム。
【請求項４】
少なくとも一つの前記通信インタフェースが無線インタフェースを備える、請求項１に記載の熱画像システム。
【請求項５】
前記熱画像カメラが、ＷｉＦｉ無線ネットワークを経て前記消費者の装置に結合される、請求項４に記載の熱画像システム。
【請求項６】
少なくとも一つの前記通信インタフェースが有線インタフェースを備える、請求項１に記載の熱画像システム。
【請求項７】
前記有線インタフェースが、ユニバーサルシリアルバス（ＵＳＢ）接続を備える、請求項６に記載の熱画像システム。
【請求項８】
熱画像カメラを動作させる方法であって、前記方法は、
前記熱画像カメラの赤外線検出器を用いて、複数のフレームの熱赤外線データを含む熱写真映像データを取り込むステップと、
前記複数のフレームの熱赤外線データの各々のフレームのためのマッピングを生成するステップと、
少なくとも前記マッピングに基づき温度マップを生成するステップであって、前記温度マップは前記熱赤外線データのコントラスト強調処理の前に生成される、ステップと、
前記赤外線検出器に結合されたプロセッサを用いて前記熱写真映像データを処理するステップと、
前記熱画像カメラのインタフェースを経て、消費者モバイル装置で表示する為に、前記温度マップおよび処理済みの前記熱写真映像データをデータストリームとしてデータチャネルにおいて同時に消費者モバイル装置に与えるステップと、
を有する、方法。
【請求項９】
前記消費者モバイル装置からの制御信号を、前記熱画像カメラで受信するステップを更に有する、請求項８に記載の方法。
【請求項１０】
前記熱画像カメラを用いて、拡張可能なアーキテクチャの一定のコンポーネントを準備するステップと、
前記消費者モバイル装置またはそこで動作するアプリケーションを用いて、前記拡張可能なアーキテクチャの残りのコンポーネントを準備するステップと、
を更に有する、請求項８に記載の方法。
【請求項１１】
前記消費者モバイル装置のハードウェアおよびソフトウェア性能を前記熱画像カメラの性能と統合するステップを更に備える、請求項８に記載の方法。
【請求項１２】
前記拡張可能なアーキテクチャは、そこで動作する異なるアプリケーションを有する異なる消費者の装置と互換性がある、請求項１０に記載の方法。
【請求項１３】
前記熱写真映像データを処理するステップは、不均一性補正を行うこと、不良ピクセル交換を行うことのうち、少なくとも一つを備える、請求項８に記載の方法。
【請求項１４】
前記熱写真映像データを処理するステップは、フレーム統合、ノイズフィルタリング、自動利得制御のうち少なくとも一つを備える、請求項８に記載の方法。
【請求項１５】
前記熱画像カメラおよび前記消費者モバイル装置は、無線接続を経て結合される、請求項８に記載の方法。
【請求項１６】
前記熱画像カメラおよび前記消費者モバイル装置は、有線接続を経て結合される、請求項８に記載の方法。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
[0001]この出願は、"System Architecture for Thermal Imaging and ThermographyCameras"という発明の名称で、２０１３年３月１４日に出願された米国仮出願第６１／７８５，２６７号と、"Parallax Reduction for Multi-Sensor Camera Systems"という発明の名称で２０１３年３月１４日に出願された米国特許出願第６１／７８５，２２５号に対する優先権を主張し、これらの開示内容は、あらゆる目的の為に、参考のため、本願に組み込まれる。
【０００２】
【発明の背景】
【０００３】
[0002]熱画像カメラは、被写体の熱署名（ヒートシグネチャー）に情報を与える熱写真カメラである。赤外線放射を可視光として表現することによって、熱画像カメラは、現場における要素の温度をユーザが可視化することが可能になる。熱画像カメラは、概して、手で持てるサイズであり、赤外線センサを表示ユニットと統合する。
【０００４】
[0003]熱画像カメラの分野においてなされた進歩に拘わらず、熱画像カメラに関する方法およびシステムの改善に対する技術的なニーズがある。
【発明の概要】
【０００５】
[0004]本願に説明される技術は、全体的に熱画像システムに関する。より具体的には、本願に説明される技術は、拡張可能なアーキテクチャを備えた熱画像システムに関する。一実施形態によると、拡張可能なアーキテクチャを含む熱画像システムが提供され、このアーキテクチャは、熱画像カメラを用いて基本的な熱写真機能を与え、消費者の装置の性能を利用して増強された機能を与える。熱画像カメラは、熱写真データを取り込む赤外線検出器と、その熱写真データを処理するように赤外線検出器と結合されたプロセッサと、有線または無線接続を経て熱画像システムと結合された消費者の装置と熱写真データを通信する少なくとも一つのインタフェースとを含む。消費者の装置により与えられる機能は、基本的なカメラ機能、ディスプレイ機能、制御機能を含むが、これらに限定されない。拡張可能なアーキテクチャの一定のハードウェア及びソフトウェアコンポーネントは熱画像カメラによって与えられ、残りのハードウェア及びソフトウェアコンポーネントは消費者の装置又はそこで動作するアプリケーションによって与えられるように、拡張可能なアーキテクチャは、消費者の装置の性能を熱画像カメラの性能と統合する。
【０００６】
[0005]特定のハードウェア及びソフトウェアコンポーネントが熱画像カメラによって与えられ、残りのハードウェア及びソフトウェアコンポーネントが消費者の装置またはそこで動作するアプリケーションによって与えられるように、拡張可能なアーキテクチャは、消費者の装置のハードウェアおよびソフトウェアの性能を熱画像カメラの性能と統合する。拡張可能なアーキテクチャは、また、いかなる数の異なる消費者の装置で動作する異なるアプリケーションを有する、どんな数の異なる消費者の装置とも互換性を有するように適合されている。熱画像カメラは、ユニバーサルシリアルバス（ＵＳＢ）接続、ＷｉＦｉネットワーク接続、ブルートゥース接続、いかなる他の有線または無線接続を経て、消費者の装置と結合可能である。
【０００７】
[0006]更なる他の実施形態において、熱画像カメラおよびそれと結合される消費者装置の間の代行機能を含む、熱画像システムの熱画像システムにおける方法が提供される。この方法は、熱画像カメラの赤外線検出器を用いて熱写真データを取り込むステップと、赤外線検出器と結合されたプロセッサを用いて熱写真データを処理するステップと、消費者の装置と結合されるように適合された熱画像システムのインタフェースを経て、熱写真データを与えるステップと、を含む。熱写真データは、消費者の装置で表示可能である。
【０００８】
[0007]本発明の特定の実施形態によると、熱画像カメラが提供される。この熱画像カメラは、熱映像データを取り込むように動作可能な赤外線検出器と、赤外線検出器に結合され、熱映像データを処理するように動作可能なプロセッサと、処理済みの熱映像データを、それに結合された消費者モバイル装置と通信するように動作可能な少なくとも一つの通信インタフェースとを含む。
【０００９】
[0008]本発明の他の特定実施形態によると、熱画像カメラを動作させる方法が提供される。この方法は、熱画像カメラの赤外線検出器を用いて熱映像データを取り込むステップと、赤外線検出器に結合されたプロセッサを用いて熱映像データを処理するステップと、消費者モバイル装置で表示させる為に、消費者モバイル装置に熱画像システムのインタフェースを経て、処理済みの熱的データを消費者モバイル装置に与えるステップと、を含む。
【００１０】
[0009]本発明の、更に他の特定実施形態によると、熱画像システムが提供される。
【００１１】
この熱画像システムは、熱画像カメラを含み、熱画像カメラは、熱写真データを取り込むように動作可能な赤外線検出器と、赤外線検出器に結合され、熱写真データを処理するように動作可能なプロセッサと、少なくとも一つの通信インタフェースとを含む。熱画像システムは、また、熱画像カメラと通信で結合される消費者モバイル装置を含む。
【００１２】
[0010]慣例的な技術を超えた、本願に説明される技術によって、数多くの利益が得られる。例えば、実施形態は、いかなる数の消費者装置とも互換性があり、サードパーティによって開発される、これらの装置で利用可能な新しい特徴（features）を含む。それらの特徴を開発し、これらを熱画像カメラ内に設ける代わりに、消費者装置で押し進めることによって、これは、熱画像システムの全体コストを低減する。多くの消費者は、これらの装置を既に有し、熱画像システムとの統合の為に拡張機能をてこ入れする為に、これらを使用することができる。このシステムの追加の特徴（現時点で不測の特徴を含む）は、消費者の装置で動作するように構成された、どんな数のアプリケーションでも、それらの開発を通じて追加可能である。
【００１３】
[0011]これらの多くの利点や特徴を備えた他の実施形態は、以下の説明、請求の範囲、図面と共に、より詳細に説明される。
【図面の簡単な説明】
【００１４】
[0012]本発明の少なくとも特定の実施形態の良好な理解は、以下の図面と組み合わされた詳細な説明から得られる。
【図１】図１は、本発明の実施形態に従う熱画像システムの簡略化されたブロック図である。
【図２】図２は、本発明の実施形態に従う熱画像システムアーキテクチャの簡略化されたブロック図である。
【図３】図３は、本発明の実施形態に従うサーマルカメラプロセッサの簡略化されたブロック図である。
【図４Ａ】図４Ａは、本発明の実施形態に従う消費者モバイル装置に結合された熱画像装置の斜視図である。
【図４Ｂ】図４Ｂは、図４Ａに図示された消費者モバイル装置と熱画像装置の拡大された斜視図である。
【図５Ａ】図５Ａは、本発明の実施形態に従う熱画像装置の前部の斜視図である。
【図５Ｂ】図５Ｂは、本発明の実施形態に従う無線ネットワークを使用して消費者モバイル装置に結合された図５Ａに図示された熱画像装置の後部の斜視図である。
【図６Ａ】図６Ａは、本発明の実施形態に従うカメラモジュールの分解された斜視図である。
【図６Ｂ】図６Ｂは、本発明の実施形態に従うサーマルカメラのコンポーネントの分解された斜視図である。
【図７】図７は、本発明の実施形態に従う熱画像システムを動作させる方法を図示する簡略化されたフローチャートである。
【図８】図８は、前述の実施形態が実施可能なデータ処理システムの簡略化されたブロック図である。
【図９】図９は、本発明の実施形態に従うマルチカメラシステムの斜視図である。
【図１０】図１０は、本発明の実施形態に従う視差を低減する方法を図示する簡略化されたフローチャートである。
【特定実施形態の詳細な説明】
【００１５】
[0026]この、解説を目的とする説明を通じて、本発明の徹底的な理解を提供する為に数多くの具体的な詳細が記載されている。しかしながら、当業者にとって明らかなことは、これらの詳細の一部を有することなく本発明が実施されてもよいことである。他の例では、周知な構造や装置は、ブロック図形式で示され、説明済みの実施形態の基礎となる原則の不明瞭化を避けている。
【００１６】
[0027]本願に導入されたシステムおよび方法は、熱画像システムを提供し、この熱画像システムは、拡張可能なアーキテクチャを含み、このアーキテクチャは、熱画像カメラを用いて基本的な熱写真機能を与え、消費者モバイル装置（消費者の装置ともいう）の性能を利用して拡張機能を与えるように構成される。熱画像カメラは、熱写真データを取り込む熱センサ（すなわち、赤外線検出器）と、熱写真データを処理する為に熱センサに結合されたプロセッサと、熱画像システムに結合された消費者の装置に熱写真データを通信する少なくとも一つのインタフェースとを含む。消費者の装置によって与えられる機能は、基本的なカメラ機能、表示機能、制御機能を含み得る。しかし、いかなる数の機能でも、消費者の装置および／または、そこで動作するアプリケーションによって与えることができる。さらに、これらの技術は、医療用の共鳴画像（ＭＲＩ）システム、Ｘ線画像システム、音響画像システムなどのような非可視の画像システムと共に使用可能であるので、本願で説明される技術は、熱画像装置に限定されるものではない。
【００１７】
[0028]拡張可能なアーキテクチャの一定のハードウェア及びソフトウェアコンポーネントが熱画像カメラによって与えられ、残りのハードウェア及びソフトウェアコンポーネントが消費者の装置またはそこで動作するアプリケーションによって与えられるように、拡張可能なアーキテクチャは、消費者の装置のハードウェア及びソフトウェア性能を熱画像カメラの性能と統合する。また、拡張可能なアーキテクチャは、異なるアプリケーションを動作させる、どんな数の異なる消費者の装置とも互換性があるように適合されている。熱画像カメラは、ユニバーサルシリアルバス（ＵＳＢ）接続、ＷｉＦｉネットワーク接続、ブルートゥース接続、他の任意の有線または無線接続を経て、消費者の装置と結合可能である。
【００１８】
[0029]更に他の実施形態において、熱画像カメラおよびそれに結合される消費者装置の間の熱画像システムの機能の代行を含む方法が熱画像システムにおいて提供される。この方法は、熱画像カメラの赤外線検出器を用いて熱写真データを取り込むステップ、その赤外線検出器に結合されたプロセッサを用いて熱写真データを処理するステップ、消費者の装置に結合されるように適合された熱画像システムのインタフェースを経て熱写真データを与えるステップを含む。少なくとも一定の実施形態において、インタフェースは、ＷｉＦｉ又はＵＳＢインタフェースでもよい。熱写真データは、画像データまたは映像データでもよく、熱画像、周囲温度データ、現場（scene）温度データなどを含んでもよい。熱画像カメラは、画像又は映像スロットリング機能、温度データスロットリング、単色映像出力、ＹＣｂＣｒ変換可能出力、または、Ｈ．２６４エンコーディングなどを与えるように更に構成されてもよい。
【００１９】
[0030]熱写真データは、その後、消費者装置に表示可能である。説明された実施形態は、いかなる数の消費者の装置とも互換性があり、サードパーティによって開発されるとき、これらの装置で利用可能な新しい特徴を組み込みことができる。たとえば、消費者の装置は、多くの基本的なカメラ機能などの他、ＵＳＢおよびＬＥＤポート、バッテリ機能、システムへの電力供給のような多くのシステム機能を与えることができる。幾つかの実施形態において、ＵＳＢ接続（例えば、マイクロＵＳＢ接続）は、ソフトウェア更新、バッテリ充電などを行う為に利用可能である。予測していない特徴を含む、当該システムの追加の特徴も、消費者の装置で動作するように構成された、いかなる数のアプリケーションも、その開発を通じて追加可能である。アプリケーションは、熱画像システムに拡張機能を与える消費者の装置の為に開発可能である。例えば、消費者の装置で動作するアプリケーションは、表示およびユーザインタフェース機能、コマンド及び制御機能、画像又は映像取り込み及び保存機能、温度測定及び計算、リモートアクセス機能、シンボロジー、レポート処理、データ保存及びバックアップ（例えば、クラウドコンピューティングを経て））、ＰＣインタフェース機能、カラーパレット、接続性、ウェブアクセス、電子メール、メッセージ送信、ソーシャルメディア機能などを行うように構成可能である。
【００２０】
[0031]図１は、一実施形態によると、熱画像システムのブロック図の例を示す。図示された実施形態において、熱画像システム１００は、放射分析型熱モジュール１０５および消費者のモバイル装置１１０に結合された熱プロセッサおよび電源ユニット１０１を含む。放射分析型熱モジュール１０５は、熱センサ（すなわち、赤外線検出器）を含み、熱センサは、放射分析型熱モジュール上の熱赤外線エネルギ（例えば、熱画像または映像）を取り込み、集束するように対物レンズアセンブリ（ＯＬＡ）１０６に結合されている。幾つかの実施形態において、放射分析型熱モジュール１０５は、生の熱的データを熱プロセッサに出力する。シャッタは、放射分析型熱モジュールのコンポーネントとして設けられ、検出器を放射線から遮蔽、較正、停止などを可能にし、周期的な不均一性補正を行う。放射分析型熱モジュールにおける熱センサからのアナログ信号は、ＦＰＧＡ１２１に送信されるデジタル信号に変換される。
【００２１】
[0032]熱プロセッサ１０１は、他の機能の中で、電力、タイミング、シャッタ制御機能を放射分析型熱モジュール１０５に与える。図１に示されるように、熱プロセッサ１０１は、熱プロセッサおよび放射分析型熱モジュールを含む熱システムに電力を与える、充電可能なリチウムイオンバッテリパック１０３または他の適した電源を使用して電力を与えることができる。リチウムイオンバッテリパック１０３は、電力管理およびバッテリ充電ユニット１２６に電力を与え、電力管理およびバッテリ充電ユニット１２６から電力を受け、ＵＳＢインタフェース１２７を通じて充電可能である。
【００２２】
[0033]熱プロセッサ１０１は、ＦＰＧＡ１２１を含み、ＦＰＧＡ１２１は、放射分析型熱モジュール１０５からデータ（例えば、熱画像および映像データ）を受信し、電力、タイミング上方、シャッタ制御情報を放射分析型熱モジュールに送信する。ＦＰＧＡ１２１は、メモリ１２２に結合され、メモリ１２２は、適切な方法で、ＦＰＧＡからのデータを保存し、ＦＰＧＡにデータを与える。熱プロセッサ１０１も同様に、システムオンチップ（ＳｏＣ）を含むが、ＳｏＣも、処理ユニットと呼ばれ、熱画像および映像処理機能を行い、メモリ１２４に結合される。幾つかの実施形態において、ＦＰＧＡ１２１およびＳｏＣ１２３は、単一の処理ユニットに結合され、メモリ１２２及びメモリ１２４は単一のメモリユニットに結合される。当業者は、多くの変更例、変形例、代替え例を認識するであろう。
【００２３】
[0034]ＦＰＧＡ１２１によって与えられる機能性には、不均一性補正（ＮＵＣ）、不良ピクセル交換（ＢＰＲ）、現場温度マップの生成、フレーム統合、空間および時間的フィルタリング、解像およびフレームレート制御、コントラスト強調（例えば、イメージ上の適応利得制御（ＡＧＣ）など）を含むことができる。さらに、ＦＰＧＡは、ルックアップテーブル（ＬＵＴ）を用いて、画像のフル解像度温度マップをつくる。ＦＰＧＡは、メモリ１２２と相互作用が可能であり、あるいは、その独自のメモリを与え、これらの画像処理機能を行う。
【００２４】
[0035]ＦＰＧＡは、この熱映像イメージと温度マップデータをシステムオンチップ（ＳｏＣ）プロセッサに送信し、一実施形態において、ＳｏＣプロセッサは、消費者モバイル装置にＷｉＦｉに関する送信の為に、このデータをＳｏＣプロセッサがフォーマットする。ＳｏＣによって与えられる機能性には、通信インタフェース（例えば、ＷｉＦｉおよび／またはＵＳＢ）、システム通信、映像スロットリング（例えば、３０Ｈｚ／９Ｈｚ）温度データスロットリング（例えば、〜１Ｈｚ）、単色映像出力、ＹＣｂＣｒ変換、映像圧縮（例えば、Ｈ．２６４エンコーディング）などを含み得る。さらに、ＳｏＣは、ＵＳＢ接続を用いて、イメージおよび温度データをモバイル装置に送ってもよい。ＳｏＣは、メモリ１２４と相互作用または独自のメモリを与え、これらの機能を行うことができる。
【００２５】
[0036]通信機能は、ＳｏＣ１２３および無線通信インタフェース１２４５，有線通信インタフェース１２７の組み合わせによって与えられてもよい。例示的な実施形態において、無線通信インタフェース１２５はＷｉ−Ｆｉインタフェースであり、有線通信インタフェース１２７は、ＵＳＢインタフェースであるが、他の適した通信プロトコルやインタフェースも、本発明の実施形態に従って利用可能である。無線および有線通信インタフェースは、より詳細に後述されるように、消費者のモバイル装置１１０を用いて通信機能性を与える。本発明の実施形態を利用すると、動作機能は、熱プロセッサ１０１および消費者モバイル装置１１０の間に分散することができ、消費者のモバイル装置は、表示機能、ユーザインタフェース、データ保存、電子メール、テキスティング、ソーシャルメディアなどを含む他のシステムへの接続性、可視光カメラ、マイクロフォン／スピーカ、位置情報、方位情報を与える。他の機能は、特定のアプリケーションに対して適切な方法で与えられる。実施例として、制御信号は、シャッタ較正を行い、利得レベル調整、所定利得、ＡＤＣ設定の選択を行い、異なるダイナミックレンジ等を選択する為に、熱画像カメラの熱プロセッサで、消費者モバイル装置から受信可能である。消費者のモバイル装置によって行われ得る例示的機能は、グラフィックユーザインタフェース（ＧＵＩ）、カラーパレットの設置、温度測定、灰色体温度計算、モバイル装置接続性（例えば、ファイルシステム、電子メール、メッセージ送信、ソーシャルネットワーキング）などを含む。当業者は、多くの変更例、変形例、代替え例を認識するであろう。
【００２６】
[0037]そのため、図１に示されるように、熱プロセッサ１０１および消費者モバイル装置１１０の結合は、熱写真データおよびユーザインタフェース（ＵＩ）コマンドの交換、それらの間の制御機能を可能にする。熱プロセッサ１０１は、熱画像、周囲および現場温度データ、消費者モバイル装置１１０に対するシンボロジーを与える。消費者モバイル装置１１０は、一つ又は複数のネットワークと通信し、前述されたように、データ保存およびバックアップ機能を与えるように構成されてもよい。一実施形態において、データ保存およびバックアップ機能は、クラウドに基づくことができる。
【００２７】
[0038]図１に示された熱画像システムは、拡張可能なアーキテクチャを利用し、アーキテクチャは、慣例的なシステムを用いて利用できない機能性を与える。拡張可能なアーキテクチャの様々なコンポーネントは、熱画像カメラおよび消費者モバイル装置またはそこで動作するアプリケーションの間で分散することができる。したがって、拡張可能なアーキテクチャは、消費者モバイル装置のハードウェアおよびソフトウェア性能を熱画像カメラの性能と統合する。幾つかの実施において、拡張可能なアーキテクチャは、熱カメラを与え、サーマルカメラは異なる消費者モバイル装置と互換性を有し、異なる消費者モバイル装置は、そこで動作する異なるアプリケーションを有する。本発明の実施形態は、サーマルカメラにおいて、中心的なサーマルカメラ機能性を与え、消費者モバイル装置において、ユーザインタフェース、放射分析型または他の画像処理機能などを与え、サードパーティ及びエンドユーザが、慣例システムでは利用できない独立したアプリ開発を行えるようにする。
【００２８】
[0039]図１に示されるように、図示のシステムアーキテクチャは、熱画像システムの一定のシステム機能（例えば、表示、ユーザインタフェース、データ保存、ネットワーク接続性など）と、全体のシステム機能性に組み込まれてもよい他の機能（例えば、可視画像、オーディオ入力／出力、位置＆方位決定）とを、消費者が保有し、これらの機能を行うのに適した消費者モバイル装置に割り当てる。規則正しく更新され拡張され、拡張性のあるサポート及びインフラストラクチャが既に存在する、これらの消費者モバイル装置に、これらのシステム機能を割り当てることによって、熱画像システムの全体的なコストは、減じられ、システムの柔軟性が大いに高められる。
【００２９】
[0040]特定の実施形態において、熱画像システムは、１７μｍ、３２０×２４０長波長赤外線（ＬＷＩＲ）マイクロボロメータセンサを使用し、赤外線映像データを収集する。赤外線データは、非圧縮映像またはＨ．２６４圧縮映像で処理され、ＷｉＦｉ映像伝達インタフェースまたは有線インタフェースのいずれかで、iPhone（商標）、アンドロイド（商標）装置、タブレット、ラップトップコンピュータなどの他の適したモバイル装置のような消費者モバイル装置に送信可能である。熱画像カメラは、単一要素ｆ／１．５レンズを用いて、４０°視野で手動または自動フォーカスシステムを利用可能である。他の実施において、センサの解像度、検出器の波長感度、データフレームレート、光学システムの視野などは、特定の用途に合うように調整可能である。本発明の実施形態は、正確な温度測定（例えば、１０℃−３５℃の周囲温度において、＋／−２℃または＋／−２％）と、多数の消費者が選択可能な現場ダイナミックレンジ（例えば、−２０℃〜１２０℃、０℃〜６５０℃、等）とを与える。モバイルアプリは、カメラ制御、画像の取り込み、温度測定、ソーシャルメディア、他の適した特徴に使用可能である。
【００３０】
[0041]図２は、一実施形態に従う熱画像システムアーキテクチャの例示的なブロック図を示す。本願に導入された技術は、拡張可能なアーキテクチャを含み、このアーキテクチャは、熱画像カメラと、それと結合される消費者装置との間で機能性を共有するように適合されている。図示された実施形態において、アーキテクチャ２００は、熱画像モジュール２０１、インタフェース及び制御モジュール２０５，消費者装置２１０（消費者モバイル装置ともいう。）を含む。消費者装置２１０は、アプリケーション層２０９を更に含む。熱モジュール２０１は、相互接続部２１５を経て、インタフェースおよび制御モジュール２０５と共に結合され、インタフェースおよび制御モジュール２０５は、相互接続部２１７を経て消費者装置２１０と更に結合されている。相互接続部２１５，２１７は、前述したように、有線または無線接続部でもよい。
【００３１】
[0042]アーキテクチャの一部の機能は、熱画像モジュール２０１、インタフェースモジュール２０５，接続された消費者装置２１０のいずれかで存在できる。一実施形態において、熱画像モジュール２０１の機能およびコンポーネントは、図１に示されたように、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックデバイス（ＰＬＤ）、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳｏＣ）、カスタムメード回路、これらの任意の組み合わせまたは同等物のような集積回路に設けられる。少なくとも一定の実施形態における熱画像機能２０１は、不均一性の補正、不良ピクセル交換、温度マッピング、フレーム統合、ノイズフィルタリング、自動利得制御を含み得る。しかしながら、これらの機能の多くは、消費者装置２１０に移行可能であり、熱画像カメラ自体で実施する必要がない。たとえば、少なくとも一定の実施形態において、フレーム統合、ノイズフィルタリング、自動利得制御は、消費者装置で実施可能、或いは、そこで動作するアプリケーション層２０９におけるアプリケーションを使用して実施可能である。
【００３２】
[0043]インタフェースモジュール２０５は、少なくとも一定の実施形態において、Ｗｉ−Ｆｉインタフェース、システム通信機能、画像および映像スロットリング、温度データスロットリング、単色映像出力、ＹＣｂＣｒ変換出力、または、Ｈ．２６４エンコーディングなどを含み得る。しかしながら、これらの多くの機能も、消費者装置２１０またはそこで動作するアプリケーションに移行可能であり（can also be off-loaded）、インタフェースおよび制御モジュール２０５自体で実施する必要がない。一実施形態において、熱画像モジュール２０１の機能およびコンポーネントは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックデバイス（ＰＬＤ）、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳｏＣ）、カスタムメード回路、これらの任意の組み合わせまたは同等物のような集積回路に設けられる。さらに、少なくとも一定の実施形態において、熱画像モジュール２０１およびインタフェースモジュール２０５は、別の集積回路チップまたは回路基板に配置可能であり、あるいは、同一チップに組み込まれてもよい。
【００３３】
[0044]アプリケーション層２０９の機能は、少なくとも一定の実施形態において、グラフィカルユーザインタフェース（ＧＵＩ）表示、ユーザインタフェース機能、コマンドおよび制御機能、画像または映像取り込みおよび保存、温度測定、温度計算、リモートアクセス、シンボロジー、レポート処理、データ保存及びバックアップ（例えば、クラウドコンピューティングを経て））、ＰＣインタフェース機能、カラーパレット、接続性、ウェブアクセス、電子メール、メッセージ送信、ソーシャルメディア機能などを含み得る。さらに、消費者装置２１０は、多くの基本的なカメラ機能などの他、ＵＳＢおよびＬＥＤポート、バッテリ、システムの電力供給のような多くのシステム機能を与えることができる。
【００３４】
[0045]図３は、一実施形態に従うサーマルカメラプロセッサの例示的なブロック図を示す。図示された実施形態において、サーマルカメラプロセッサ３００は、サーモカメラ内部で行われてもよい多くの特徴を含み、熱処理および電源機能を含む。他の実施形態において、これらの機能の多くは、サーモカメラまたはここで動作するアプリケーションと結合される消費者装置によって行われてもよい。一実施形態において、サーモカメラプロセッサ３００は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックデバイス（ＰＬＤ）、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳｏＣ）、カスタムメード回路、これらの任意の組み合わせまたは同等物のような集積回路に設けられる。
【００３５】
[0046]サーマルカメラプロセッサ３００は、熱画像３３０を赤外線検出器インタフェース３０１で受ける。その後、この生の熱的データ３３０は、赤外線検出器カイロ３０１内部のピクセル配列からのデータに関連付けられた熱画像のアピアランスおよびユーティリティを改善する為に、不均一性補正（ＮＵＣ）３０２および不良ピクセル交換（ＢＰＲ）３０３機能を生画像データで行うことによって処理される。ＮＵＣおよびＢＰＲ昨日に関する追加説明は、２０１４年３月__に出願された米国特許出願第__,（Attorney Docket No. 92741-018110US-900056）および２０１４年３月__に出願された国際特許出願第PCT/__,（AttorneyDocket No. 92741-017510PC-901423）で提供され、これらの開示内容は、あらゆる目的の為に全体に、参考の為に本願に組み込まれる。
【００３６】
[0047]温度補償機能は、赤外線検出器インタフェース３０１からの生の熱的データを受信する温度補償ユニット３１４によって与えることができる。幾つかの実施形態において、温度補償ユニット３１４は、ファクトリ較正データを使用し、ＮＵＣブロックで使用される検出器の温度の関数として、各ピクセルの為の利得およびオフセットを構築する。温度ＬＵＴ３１７は、ルックアップテーブルであり、これは、ピクセルが基準化された後、不良ピクセルが交換され、現場温度マップとして使用可能な一組の黒体温度に映像レベルを変換する。温度マップに関する追加説明は、２０１４年３月__に出願された米国特許出願第__,（Attorney Docket No. 92741-016810PC-901518）で提供され、この開示内容は、あらゆる目的の為に全体に、参考の為に本願に組み込まれる。映像データおよび温度マップは、両方とも、ＳｏＣインタフェース３０９に提供され、ＳｏＣは、２０１４年３月__に出願された国際特許出願第PCT/__,（Attorney Docket No. 92741-016810PC-901518）で説明されるように、両方の映像および温度データを含むスーパーフレームをつくる。
【００３７】
[0048]追加処理３０４は、ノイズフィルタリング（すなわち、空間フィルタリング）、フレーム平均化（すなわち、時間的フィルタリング）、画像シャープニング及びエッジ強調、視認性を高めるようにコントラスト制御、レート制御などを含み、熱写真データで更に行ってもよい。図３に示されるように、サンプリングブロック３２１は、解像度制御を行い、例えば、３２０×２４０映像ストリームを受信し、それを１６０×１２０または他の適した解像度まで、デサンプリング（de-sampling）し、異なる製品要求、輸出制御規則などをサポートする。これらの多くの機能も、サーマルカメラプロセッサ３００に結合される消費者装置によって行われてもよい。
【００３８】
[0049]さらに、制御およびステータスレジスタ３０７は、熱プロセッサ３００、そのメモリ（図示せず）、ＳｏＣ（図示せず）の中でデータ（読み書き３０８）をパスするために設けられ、ＳｏＣは、ＳｏＣインタフェース３０９を用いてインタフェース機能の多くを提供する。メモリコントローラ３０５も、必要に応じて、外部メモリと共に、保存機能およびデータバックアップを行う為に、設けられてもよい。サーマルカメラプロセッサ３００は、温度マッピングを行う為に温度ルックアップテーブル（ＬＵＴ）を更に含み、システム機能及び同期の為に、リセット及びクロックカイロ３１９を有する。サーマルカメラプロセッサが熱映像データに加えて現場データの為の温度マップを与えることができるので、他のシステムに映像データを単に与える点で、本発明の実施形態は慣例的なシステムとは異なる。温度データとともに映像データを統合することにより、慣例的な技術を用いて利用できない下流のアプリケーションが可能になる。
【００３９】
[0050]サーマルカメラと消費者モバイル装置との間で機能性を配置することによって、カメラとモバイル装置は、それらが十分に適する機能を行うことができ、下げられたコストでシステムパフォーマンスを高める。実施例として、熱画像カメラは、一つ又は複数の不均一性補正コンポーネント、不良ピクセル交換コンポーネント、温度マップコンポーネント、フレーム統合ユニット、ノイズフィルタ、および／または自動利得制御ユニットを含み得る。消費者モバイル装置は、一つ又は複数の可視カメラ機能、表示機能、制御機能、フレーム統合、ノイズフィルタリング、及び／又は、自動利得制御を行える。そのため、サーマルカメラおよび消費者モバイル装置の統合システムは、機能およびタスクを分散し、利点（assets）を効率よく利用する。
【００４０】
[0051]図４Ａは、本発明の実施形態に従う、消費者モバイル装置に結合された熱画像装置の斜視図である。図４Ｂは、図４Ａに示された消費者モバイル装置および熱画像装置の分解斜視図である。図４Ａに示されるように、熱画像システムは、消費者モバイル装置が中にスライドし、動作中に保持されるケース４０４を用いて、消費者モバイル装置４０２と結合されるサーマルカメラ４０１（熱画像カメラともいう。）を含む。サーマルカメラおよび消費者モバイル装置は、この実施形態においては互いに結合され、例えば、ケースの内側の物理的結合、磁気結合などを使用するので、２つの要素は、動作中、互いに接合されたままになる。これらの装置の間の結合は、使用が消費者モバイル装置のカメラ制御機能にアクセスできるものである。この結合の構成は、動作中に消費者モバイル装置の可視カメラ４０３が利用可能になる。
【００４１】
[0052]図４Ｂを参照すると、磁気インタフェース４４０は、サーマルカメラ４０１の後部カバーの中に内蔵された磁石を含む。磁気インタフェースの整合（図示せず）は、ケース４０５上に設けられ、ここで、消費者モバイル装置４０２は位置決めされる。この取付機構は、消費者モバイル装置が横長方向または縦長方向に向けられることを可能にする。幾つかの実施形態において、消費者モバイル装置は、サーマルカメラに取り付けられたままのケースから取り外すことができる。図４には示されていないが、サーマルカメラ４０１および消費者モバイル装置４０２は、消費者モバイル装置における適したポートやＵＳＢポートのような１つ又は複数の物理的ポートによって、互いに結合可能である。当業者は、多くの変更例、変形例、代替え例を認識するであろう。
【００４２】
[0053]図５Ａは、本発明の実施形態に従う熱画像装置の前部の斜視図である。図５Ｂは、本発明の実施形態に従う、無線ネットワークを使用して消費者モバイル装置に結合された図５Ａに示された熱画像装置の後部の斜視図である。図５Ａに示されるように、サーマルカメラ５０１は、バッテリハウジング５１１に隣接したレンズ５１０を含む。この実施において、サーマルカメラ５０１は、遠隔モードで消費者モバイル装置５０２に結合可能であり、遠隔モードにおいて、無線ネットワーク５０７を用いて、サーマルカメラおよび消費者モバイル装置の間の通信が生じる。さらに、サーマルカメラ５０１は、オーディオジャック等を介して、ＵＳＢ接続のような有線接続を用いて、消費者モバイル装置に結合可能である。幾つかの実施形態において、有線接続を用いるサーマルカメラおよび消費者モバイル装置の接続は、動作中に他の装置と通信する為のモバイル装置のＷｉＦｉインタフェースを解放する。例示的な無線ネットワークは、データを通信するため、ＷｉＦｉネットワーク、ブルートゥース等を含む。他の実施形態において、動作の遠隔モードは、サーマルカメラおよび消費者装置も１つ又は複数の通信機能の為の有線接続を利用するモードを含み、動作のハイブリッドモードを与えるように拡張可能である。
【００４３】
[0054]図６Ａは、本発明の実施形態に従うカメラモジュールの分解斜視図である。この分解された図において、例示的な熱画像システムコンポーネントが示されている。図示された実施形態において、熱画像システムコンポーネントは、カメラモジュール６０１を含み、カメラモジュール６０１は、熱電池アセンブリ６０２およびカメラモジュールアセンブリ６０３を備える。一実施形態において、熱電池アセンブリ６０２は、図２に関して前述されたモジュール２０１のような熱画像モジュール集積回路を含む。同様に、カメラモジュールアセンブリ６０３は、インタフェースおよび制御モジュール２０５を含んでもよく、図１に関して前述されたように、ＦＰＧＡ１２１およびＳｏＣ１２３を含む。しかしながら、熱電値アセンブリ６０２およびカメラモジュールアセンブリ６０３の機能およびコンポーネントは、２つのモジュールの間で任意の数の方法で配置されてもよく、この２つのモジュールは、互いに分離または統合されてもよい。フォーカスリング６０５は、熱電池アセンブリ６０２の前に示されている。
【００４４】
[0055]図６Ｂは、本発明の実施形態に従うサーマルカメラのコンポーネントの分解斜視図である。コンポーネントは、背部ハウジング６１４を含む。図６Ｂに示される実施において、機械的剛性でアルミニウム又は他の適した材料で製造可能な背部ハウジングは、図４Ｂに関して前述されたように磁気結合装置を含むが、これは、本発明によって要求されるものではない。カメラモジュール６０１は、背部ハウジング６１４に装備される。バッテリ６１３は、前部６１１の一部の内側に装備され、前部６１１は、成形されたプラスチック部材、アルミニウム部材、他の適した材料から製造可能である。アンテナ６１２は、前部ハウジング６１１と統合され、サーマルカメラおよび消費者モバイル装置の間の無線通信を用意する。
【００４５】
[0056]図７は、本発明の実施形態に従う熱画像システムを動作させる方法を示す、単純化されたフローチャートである。プロセス７００は、熱画像システムの機能がサーマルカメラおよび消費者装置の間で代行される動作７０１で始まる。熱画像システムは、その後、熱映像データを取り込み（動作７０２）、熱映像データを処理し（動作７０３）、処理済み映像データを消費者装置に供給する（動作７０４）。これが、一例の実施形態に従うプロセス７００を処理する。
【００４６】
[0057]本発明の実施形態によると、当該方法は、少なくとも熱画像カメラにおいて、消費者モバイル装置からの制御信号を含む。他の実施形態において、当該方法は、熱画像カメラを用いて拡張可能なアーキテクチャの一定コンポーネントを与え、消費者装置またはそこで動作するアプリケーションを用いて拡張可能なアーキテクチャの残りのコンポーネントを与えることを含む。さらに、当該方法は、消費者装置のハードウェアおよびソフトウェア能力を熱画像カメラの能力と統合することを含んでもよい。拡張可能なアーキテクチャは、異なる消費者装置で動作する異なるアプリケーションを有する異なる消費者装置と互換性を持たせてもよい。実施例として、熱映像データの処理は、不均一性補正を行うこと、不良ピクセル交換を行うこと、或いは、熱映像データに関連付けられた温度マップを生成することのうち、少なくとも一つを含むことができる。さらに、熱映像データの処理は、フレーム統合、ノイズフィルタリング、或いは、自動利得制御のうち、少なくとも一つを含むことができる。実施形態において、熱画像カメラおよび消費者モバイル装置は、無線接続を経て結合される。
【００４７】
[0058]図７に示された特定のステップが、本発明の実施形態に従う熱画像システムを動作させる特定の方法を提供することが分かる。他の順序のステップも、代替え実施形態に従って、行われてもよい。例えば、本発明の代替え実施形態は、異なる順序で上記概説されたステップを行ってもよい。その上、図７に示された個々のステップは、複数のサブステップを含んでもよく、これらのサブステップは、個々のステップに対して適切な方法で様々な順序で行われてもよい。さらに、特別のステップは、特定の用途次第で、追加または除去されてもよい。当業者は、多くの変更例、変形例、代替え例を認識するであろう。
【００４８】
[0059] 以下に与えられる説明は、一部の装置（およびそれらの装置のコンポーネント）の説明であるが、これらは、当該システムおよび前述された方法で使用されてもよい。これらの装置は、例えば、前述された機能性のいずれかに関連したデータを受信、送信、処理、および／または、保存する為に使用されてもよい。当業者が分かるように、以下に説明される装置は、以下に説明されるコンポーネントの一部のみを有してもよく、或いは、追加のコンポーネントを有してもよい。
【００４９】
[0060]図８は、データ処理システムの例示的なブロック図を示し、ここで、開示された実施形態が実施されてもよい。本発明の実施形態は、ハンドヘルド装置、マイクロプロセッサシステム、マイクロプロセッサベース或いはプログラム可能なユーザ電子機器、ミニコンピュータ、メインフレームコンピュータなどのような様々なコンピュータシステム構成を用いて実行されてもよい。実施形態も、有線ベース又は無線ネットワークを介してリンクされる遠隔処理装置によってタスクが行われる分散コンピューティング環境で実行されてもよい。図８は、本願で説明された実施形態と共に使用されてもよい、データ処理システム８００のようなデータ処理システムの一実施例を示す。図８はデータ処理システムの様々なコンポーネントを示すが、そのような詳細は、本願に説明された技術と密接な関係が無いので、任意の特定のアーキテクチャまたはそれらのコンポーネントを相互接続する方式を代表することは意図されていない。また、より少ないコンポーネント、或いは、ことによると、より多くのコンポーネントを有するネットワークコンピュータ及び他のデータ処理システムも使用されてもよいことが分かる。図８のデータ処理システムは、例えば、パーソナルコンピュータ（ＰＣ）、ワークステーション、タブレット、スマートフォン、他のハンドヘルド無線装置、或いは、同様の機能を有する任意の装置でもよい。
【００５０】
[0061]図示されたように、データ処理システム８０１は、システムバス８０２を含み、システムバス８０２は、マイクロプロセッサ８０３，読出し専用記憶装置（ＲＯＭ）８０７，ランダムアクセスメモリ（ＲＡＭ）８０５，他の不揮発性メモリ８０６に結合される。図示された実施形態において、マイクロプロセッサ８０３は、キャッシュメモリ８０４に結合される。システムバス８０２は、これらの様々なコンポーネントを互いに相互接続するように、更に、コンポーネント８０３，８０７，８０５，８０６をディスプレイコントローラ及び表示装置８０８、更に、入力／出力（Ｉ／Ｏ）装置８１０に相互接続するように適合可能である。Ｉ／Ｏ装置の型式は、キーボード、モデム、ネットワークインタフェース、プリンタ、スキャナ、ビデオカメラ、又は、技術的に周知の他の装置を含んでもよい。概して、Ｉ／Ｏ装置８１０は、Ｉ／Ｏコントローラ８０９を介して、システムバス８０２に結合される。一実施形態において、Ｉ／Ｏコントローラ８０９は、ＵＳＢ周辺機器の為のユニバーサルシリアルバス（ＵＳＢ）アダプタや他の種類のバスアダプタを含む。
【００５１】
[0062]ＲＡＭ８０５は、ダイナミックＲＡＭ（ＤＲＡＭ）として実施可能であり、これは、メモリ内のデータをリフレッシュ又は保持する為に連続して電力を必要とする。他の不揮発性メモリ８０６は、磁気ハードディスク、磁気オプティカルドライブ、ＤＶＤ  ＲＡＭ、電力がシステムから除去された後にデータを維持する他の種類のメモリシステムでもよい。図８は、データ処理システムにおける残りのコンポーネントに結合されるローカル装置としての不揮発性メモリ８０６を示すが、当業者が分かることは、説明された技術が当該システムから離れた不揮発性メモリ（例えば、モデムやイーサネットインタフェース（図示せず）のようなネットワークインタフェースを介してデータ処理システムに結合されるネットワーク保存装置）を使用してもよいことである。
【００５２】
[0063]これらの実施形態を念頭に、この説明から明らかなことは、説明された技術の態様が、少なくとも部分的に、ソフトウェア、ハードウェア、ファームウェア、任意のこれらの組み合わせにおいて、具体化されてもよいことである。実施形態は、データ処理システムに保存されたデータを必要とする様々なコンピュータ実施機能を用いることができることが理解されよう。すなわち、技術はコンピュータ内で、または、メモリに保存された一連の指示の実行に応じて他のデータ処理システム内で実施されてもよい。様々な実施形態において、これらの技術を実施する為に、結線で接続された回路が独立して使用されてもよく、ソフトウェア指示と組み合わされて使用されてもよい。例えば、説明された機能性は、動作を実施する為の、結線で接続されたロジックを含む特定のハードウェアコンポーネントによって、または、カスタムハードウェアコンポーネント及びプログラムされたコンピュータコンポーネントの任意の組み合わせによって、実施されてもよい。本願で説明された技術は、ハードウェア回路およびソフトウェアの特定の組み合わせに限定されるものではない。
【００５３】
[0064]また、本願の実施形態は、コンピュータ読み取り可能媒体に保存されたコンピュータコード形式でもよい。また、コンピュータ読み取り可能媒体は、コンピュータ指示を保存するように適合可能であり、コンピュータ又は他のデータ処理システム（例えば、データ処理システム８００）によって実行されるとき、これは、本願で説明された技術に従って、動作を行わせるように適合される。コンピュータ読み取り可能媒体は、コンピュータ、ネットワーク装置、タブレット、スマートフォン、同様の機能性を有する任意の装置のようなデータ処理装置によってアクセス可能な形式で情報を保存する、どんな機構でも含むことができる。コンピュータ読み取り可能な媒体の例は、ハードディスク、フロッピーディスク、ＤＶＤ，ＣＤ−ＲＯＭ、光磁気ディスク、ＲＯＭ，ＲＡＭ，ＥＰＲＯＭ，ＥＥＰＲＯＭ，フラッシュメモリ、それに相当するもの、磁気または光学カード、電子データを保存するのに適した、どんな種類の媒体のような、情報を保存できる、どんな種類の有形製造物品でも含む。また、コンピュータ読み取り可能な媒体は、分散状態で実行または保存可能なネットワーク結合コンピュータシステムにわたって分散可能でもある。
【００５４】
[0065]本発明の他の実施形態によると、マルチセンサ光学システムの為の方法および装置が提供される。一例として、これらの技術は、「視差」と呼ばれるデュアルセンサ光学システムにおけるアライメント誤差を緩和する為に適用されてきたが、これらの技術は、複数の光学センサを有するシステムを含む様々な光学システムに適用可能である。
【００５５】
[0066]一定の実施形態によると、焦点を調整するフォーカス機構を有する第１光学センサと、第１光学センサのフォーカス機構の内側に装備された第２光学センサとを含むマルチセンサカメラシステムが提供される。この構成は、光学センサの光学軸の間の物理的分離と、第１光学センサおよび第２光学センサの間の、結果として生じる視差誤差とを減少させる。第１光学センサおよび第２光学センサは、２つの光学センサの光学軸の間の半径方向の間隔がフォーカス機構によって制限されないように配置可能である。なお、第１光学センサのフォーカス機構は、第２光学センサの焦点に無視できるほど影響するにすぎない。
【００５６】
[0067]更なる他の実施形態において、マルチセンサカメラシステムにおける視差誤差を減少させる為の方法が提供される。どんな組み合わせの光学センサ型式が使用されてもよい。例えば、第１光学センサは、赤外線スペクトルで画像を取り込むように適合されたサーマルセンサでもよく、第２光学センサは、可視スペクトルで画像を取り込むように適合された可視光学センサでもよい。第２光学センサは、固定焦点光学センサでもよく、独立したフォーカス機構を持ってもよい。他の型式の画像システムも使用可能であり、この開示内容の範囲内である。
【００５７】
[0068]本発明の実施形態は、撮像される被写体までの距離が変わるとき厄介な手動アライメント再調整を有することなく、自動視差調整機構を要することなく、第１光学センサおよび第２光学センサの間のアライメント誤差を減少または排除する。
【００５８】
[0069]図９は、本発明の実施形態に従うマルチカメラシステムの斜視図である。図９に示されるように、光学センサシステム９０１は、２つ以上の画像センサ（例えば、熱光学センサ、色が見えるセンサ）を含む。画像センサは、光学画像を電子信号に変換する装置である。異なったカメラからの２つ以上の画像センサは、異なる優越地点から現場を見るとき、２つのカメラの間で「視差」と呼ばれるアライメント誤差をつくる。このアライメント誤差は、カメラから現場における被写体の距離の関数であり、一般的に、現場において被写体が非常に近いとき最大である。視差誤差は、異なる優越地点におけるカメラからの映像又は画像の間でミスアラインメントを引き起こす。このミスアラインメントは、両方のカメラの優越地点から観察されるイメージが同時に（例えば、グラフィカルユーザインタフェースで）表示されるとき、問題を引き起こす。同時表示方法は、周知であり、例えば、ピクチャイン ピクチャ（ＰｉＰ）や画像または映像融合のような上重ね方法を含む。マルチセンサ画像／映像融合は、２つ以上の画像を単一画像に統合する情報処理である。結果として生じる画像は、どんな単独の入力画像よりも情報量を多くすることができる。画像融合を行う方法が存在する。
【００５９】
[0070]画像間の相対アライメントは、手動で調整可能であるが、これは厄介であり、アライメントは、被写体の距離次第で変化するので、被写体の距離が変わるたびに再アライメントが必要になる。さらに、幾つかの慣例システムは、各カメラがフォーカスされる距離の決定に基づき、自動的に画像間の相対アライメントを調整する方法を案出してきた。しかし、これらの方法は、全く複雑であり、費用が高くなる。他の手動フォーカスシステムは、カメラがフォーカスされる被写体の距離を概して決定する。これらのシステムは、各カメラシステムの工場較正および焦点位置センサを必要とする。
【００６０】
[0071]本願で説明された技術は、マルチカメラシステムにおいて１つ以上のカメラを他のカメラの一つのフォーカス機構の内側に装備する為の方法を含む。この設計は、そのように構成されたカメラ間の視差誤差を減少または最小にし、画像が良く整列される被写体距離範囲を増加または最大にする。第１カメラ（例えば、赤外線カメラ）のフォーカスリングの内側に第２カメラ（例えば、可視カメラ）を装備することにより、達成されるべき非常に小さな視差誤差を考慮に入れるので、マルチカメラのイメージ間のアライメント誤差を減少させる。一実施形態において、フォーカス機構は、フォーカスリングである。
【００６１】
[0072]図９に示されるように、第１カメラ９０２は、熱スペクトル（例えば、赤外バンド）で画像を取り込むように適合されたサーマルカメラでもよく、第２カメラ９０７は、可視スペクトルで画像を取り込むように適合された可視カメラでもよい。しかし、本願で説明された技術は、特定型式のカメラ、又は、電磁スペクトルの、どんな区分にも限定されるものではない。たとえば、これらの技術は、医療用の共鳴画像（ＭＲＩ）システム、Ｘ線システム、音響画像システム、立体的な画像などを含む他の画像装置又はシステムと共に使用されてもよい。
【００６２】
[0073]写真用レンズの光学的特性のため、カメラからの限定範囲の距離内部の被写体だけがクリアに再現される。この範囲を調整する方法は、カメラフォーカスの変更として知られている。正確にカメラをフォーカスする数多くの方法がある。最も簡単なカメラは、固定焦点を有し、小さな絞り、広角レンズで構成され、近範囲から無限大で、レンズから一定範囲の距離以内の全てが合理的なフォーカスである。固定焦点カメラは、使い捨てカメラのように、通常、安価である。また、カメラは、限定されたフォーカス範囲またはカメラ本体上に表示される目盛りフォーカスを有することができる。他の形式のカメラは、レンジファインダカメラを含み、レンジファインダカメラは、カメラの最上部に結合された視差ユニットによって、現場において被写体までの距離を測定し、正確に焦点が設定されるように適合されている。大抵の最新のカメラは、オートフォーカスシステムを提供し、様々な方法によって自動的にカメラをフォーカスする。
【００６３】
[0074]図９に示された実施形態において、マルチセンサカメラシステム９０１は、フォーカス機構９０３を備えたレンズを有する第１光学センサを備えた第１カメラ９０２を含む。概念的に、第１光学センサの為のフォーカス機構９０３は、ビューイングコーン９０４を有し、ビューイングコーン９０４は、多数の方向９０５を含み、そこから一定の距離で、被写体からの光が視られて取り込まれる。説明図には、入射光の多数の可能な角度のうち３つだけが示されている。マルチセンサカメラ９０１は、レンズ（フォーカス機構の有無を問わないので、第２カメラは固定焦点カメラでもよい）を有する第２光学センサを備えた第２カメラ１０７を更に含む。このレンズは、ビューイングコーン１０８を有し、ビューイングコーン１０８は、多数の方向（図示せず）を含み、そこから一定の距離で、被写体からの光を視ること及び取込みが可能である。図９に示されるように、マルチセンサカメラは、当該システム内の第１カメラのフォーカス機構９０３の内側に装備される。
【００６４】
[0075]フォーカス機構の回転のために第２カメラが軸方向に並進される場合、その変位は十分に小さく、第２カメラの被写体フォーカスへの影響が無視できるので、フォーカス機構９０３の回転は、むしろ、第２カメラのフォーカスへの影響をほとんど持たない筈である。そのため、本発明の実施形態は、フォーカス機構の回転が伴う第２カメラの軸方向の運動を含むか、特定用途に対して適切な方法で軸方向の運動を含まない。
【００６５】
[0076]本発明の実施形態は、カメラのジオメトリを利用し、そのカメラのジオメトリにおいて、視差誤差は一定レベルまで減少され、典型的な視距離に対しては視差補正が不要になる。そのため、慣例的な設計で利用される位置センサは不要である。
【００６６】
[0077]図１０は、単純化されたフローチャートであり、本発明の実施形態に従って視差を減少させる方法を示す。マルチセンサカメラシステムにおいて視差アライメント誤差を減少させる方法の図示された実施形態において、プロセス１０００は、第１カメラがマルチセンサカメラシステムで準備される動作１００１で始まる。プロセス１０００は、第２カメラがマルチセンサカメラシステムで準備され、第１カメラに結合される動作１００２に続く。第２カメラは、第１カメラのフォーカス機構の内側に装備される。この構成は、第１光学センサおよび第２光学センサの間のアライメント誤差（「視差」という。）を減少させるか最小にする。この方法は、例えば、フォーカス機構の焦点距離を決定するセンサを利用することによって、所望の被写体視距離を決定すること（１００３）、所望の視距離および２つのカメラの光学軸の間の距離に基づき、所望の被写体視距離でアライメント誤差を補正すること（１００４）を含む。幾つかの実施形態において、２つのカメラの間の横からのオフセットに関連づけられる僅かな視差誤差は、最適化の為の距離を選択すること、その後、視差補正を行う１つ又は両方の画像をオフセットする為のソフトウェアを使用することによって補償できる。代替え実施形態は、フォーカス機構の焦点位置を測定し、この距離に基づく焦点を測定し、リアルタイムで視差減少を与える。これが、例証となる一つの実施形態に従うプロセス１０００を完了させる。
【００６７】
[0078]図１０に示された特定ステップは、本発明の実施形態に従う視差誤差を減少させる特定方法を与えることが分かる。他の順序のステップも、代替え実施形態に従って行われてもよい。例えば、本発明の代替え実施形態は、異なる順序で上述されたステップを行ってもよい。さらに、図１０に示された個々のステップは、複数のサブステップを含んでもよく、これらのサブステップは、個々のステップに対して適切な方法で様々な順序で行われてもよい。さらに、特別のステップは、特定の用途次第で、追加または除去されてもよい。当業者は、多くの変更例、変形例、代替え例を認識するであろう。
【００６８】
[0079]本発明の実施形態に従ってマルチセンサカメラシステムが提供される。マルチセンサカメラシステムは、フォーカス機構を有する（第１光学センサともいわれる）第１カメラを含む。第１カメラは、赤外バンドで画像を取り込むように適合されたサーマルセンサを含んでもよい。第１カメラのフォーカスは、フォーカス機構を用いて調整される。マルチセンサカメラシステムも、第１光学センサのフォーカス機構の内側に装備された（第２光学センサを含む）第２カメラを含む。第２光学センサは、可視スペクトラムで画像を取り込むように適合された可視光学センサを含み、固定焦点光学センサを利用可能である。第２カメラも、独立したフォーカス機構（例えば、オートフォーカス）を利用可能である。第１光学センサ及び第２光学センサの光学軸の間の半径方向の距離は、フォーカス機構によって限定されない。第１カメラのフォーカス機構の内側に第２カメラを装備することによって、第１カメラおよび第２カメラの間の視差誤差を減少させる。
【００６９】
[0080]特定実施形態において、アライメント誤差は、撮像される被写体までの距離が変わるとき、手動アライメントの再調整を有することなく、第１カメラ及び第２カメラのイメージ間で最小にされるか減少される。他の実施形態において、アライメント誤差は、自動視差調整を有することなく、第１光学センサ及び第２光学センサのイメージ間で、最小にされるか減少される。幾つかの実施形態に従うと、第１カメラをフォーカスすることは、第２カメラのフォーカスを無視できる程度に影響するだけである。当業者は、多くの変更例、変形例、代替え例を認識するであろう。
【００７０】
[0081]本発明の他の実施形態によると、マルチカメラシステムにおいて、視差誤差を減少させる方法が提供される。この方法は、フォーカス機構を有する第１光学センサを準備することを含む。第１光学センサのフォーカスは、フォーカス機構を用いて調整される。この方法も、第１光学センサのフォーカス機構の内側に装備される第２光学センサを準備することを含む。この装備技術は、第１光学センサおよび第２光学センサの間の視差誤差を減少させる。第１光学センサおよび第２光学センサの光学軸間の半径方向の距離は、フォーカス機構によって限定されない。
【００７１】
[0082]一実施において、第１光学センサは、熱スペクトルで画像を取り込むように適合されたサーマルカメラでもよく、第２光学センサは、可視スペクトルで画像を取り込むように適合された可視カメラでもよい。幾つかの実施形態において、撮像される被写体までの距離が変化するとき、アライメント誤差は、手動アライメント再調整を有することなく、第１光学センサおよび第２光学センサのイメージ間で減少または最小にされる。他の実施形態において、自動視差調整を有することなく、第１光学センサおよび第２光学センサのイメージ間で、アライメント誤差は減少されるか最小にされる。幾つかの実施は、いかなる残留アライメント誤差をも減少させるため、手動でフォーカスを再調整することを含む。第２光学センサは、固定焦点光学センサまたは独立したフォーカス機構を利用可能である。第１光学センサのフォーカスは、無視できるほど第２光学センサのフォーカスに影響を及ぼすだけである。
【００７２】
[0083]本発明の他の特定実施形態によると、フォーカス機構を有する第１カメラシステムと、第１カメラのフォーカス機構の内側に装備された第２カメラとを含む、マルチカメラシステムが提供される。第１カメラのビューイングコーンは、フォーカス機構を用いて調整される。第１カメラのフォーカス機構の内側における第２カメラの配置は、第１カメラおよび第２カメラの間の視差誤差を減少させ、第１カメラおよび第２カメラの光学軸間の半径方向の距離は、第１カメラのフォーカス機構によって限定されない。
【００７３】
[0084]本発明の徹底した理解を提供するため、前述した説明を通して、説明する目的のために数多くの特定の詳細が述べられてきた。しかしながら、当業者にとって明らかなことは、これらの実施形態が、これらの特定の詳細の一部を有することなく、実施可能である点である。したがって、本発明の範囲および精神は、続く特許請求の範囲と、その法的均等物との観点から判断されるものである。
【図１】
0006397885.tif 000002
【図２】
0006397885.tif 000003
【図３】
0006397885.tif 000004
【図４Ａ】
0006397885.tif 000005
【図４Ｂ】
0006397885.tif 000006
【図５】
0006397885.tif 000007
【図６Ａ】
0006397885.tif 000008
【図６Ｂ】
0006397885.tif 000009
【図７】
0006397885.tif 000010
【図８】
0006397885.tif 000011
【図９】
0006397885.tif 000012
【図１０】
0006397885.tif 000013