(57)【要約】      （修正有）【課題】バックエンドプロセッサの高い処理能力を用い、フロントエンドカメラＤＳＰと協同して、シーンに依存した処理を実現する。【解決手段】カメラ装置は、イメージセンサユニットと、アナログフロントエンドユニットと、カメラ信号データパスと、測定ユニットと、測定ユニットによって測定された画像特性をカメラ制御用のパラメータとして処理するデジタルシグナルプロセッサと、カメラ信号データパスを制御するためのパラメータが設定されるパラメータレジスタとを有するフロントエンドカメラＤＳＰユニットと、ビデオ信号を処理する一般的なアプリケーション処理ユニットと、一般的なアプリケーション処理ユニットに接続され、精密なカメラ処理を行うシーン解析器とを有するバックエンドプロセッサユニットとを備える。【選択図】  図１
2006203879.tif 000002
【特許請求の範囲】
【請求項１】
イメージセンサユニットと、
上記イメージセンサユニットから出力されるアナログ出力信号をデジタルビデオ信号に変換するアナログフロントエンドユニットと、
上記デジタルビデオ信号が供給されるカメラ信号データパスと、該カメラ信号データパスに接続され、画像特性を測定する測定ユニットと、該測定ユニットによって測定された画像特性をカメラ制御用のパラメータとして処理するデジタルシグナルプロセッサと、該カメラ信号データパスを制御するためのパラメータが設定されるパラメータレジスタとを有するフロントエンドカメラデジタルシグナルプロセッサユニットと、
上記カメラ信号データパスから出力されたビデオ信号が入力され、該ビデオ信号を処理する一般的なアプリケーション処理ユニットと、該一般的なアプリケーション処理ユニットに接続されたシーン解析器とを有するバックエンドプロセッサユニットとを備えるカメラ装置。
【請求項２】
上記シーン解析器は、
情報を抽出するシーン解析ユニットと、
上記シーン解析ユニットに接続され、該シーン解析ユニットによって抽出された情報に基づいて、現在のシーンの状況を定義する分類ユニットと、
上記分類ユニットに接続され、該分類ユニットからの入力を計算して、上記フロントエンドカメラデジタルシグナルプロセッサユニットにパラメータとして設定される信号を出力するパラメータ計算ユニットと、
上記パラメータが設定された後のシーン変化を検出するシーン検出ユニットと、
シーン変化があった場合、シーン変化の度合いを検出するレベル検出ユニットとを有することを特徴とする請求項１記載のカメラ装置。
【請求項３】
上記シーン解析ユニットは、シーンの多次元の特徴を抽出し、シーンの理解に用いる一組の特徴を出力することを特徴とする請求項２記載のカメラ装置。
【請求項４】
上記分類ユニットは、統計的なパターン分類を用い、上記シーン解析ユニットからの情報によりシーンを分類して、上記パラメータ計算ユニットに入力されるシーンの記述を出力することを特徴とする請求項２記載のカメラ装置。
【請求項５】
上記パラメータ計算ユニットは、上記分類ユニットからの入力を計算して、上記フロントエンドカメラデジタルシグナルプロセッサユニットにパラメータとして設定される信号を出力することを特徴とする請求項２記載のカメラ装置。
【請求項６】
上記フロントエンドカメラデジタルシグナルプロセッサユニットは、上記パラメータ計算ユニットからパラメータとして出力された信号が供給され、上記パラメータレジスタに設定することを特徴とする請求項２記載のカメラ装置。
【請求項７】
上記シーン検出ユニットは、上記パラメータ計算ユニット及びレベル検出ユニットに接続されていることを特徴とする請求項２記載のカメラ装置。
【請求項８】
上記レベル検出ユニットは、上記シーン検出ユニット及びシーン解析ユニットに接続され、シーン変化の量に応じて上記カメラ処理用のパラメータを調整するために、上記フロントエンドカメラデジタルシグナルプロセッサユニット上で処理される、あるいは上記シーン解析器上で処理されるカメラ処理の流れを制御することを特徴とする請求項２記載のカメラ装置。
【請求項９】
上記フロントエンドカメラデジタルシグナルプロセッサユニットは、
上記パラメータが設定された後のシーン変化を検出するシーン検出ユニットと、
シーン変化があった場合に、シーン変化の度合いを検出するレベル検出ユニットと、
上記レベル検出ユニットに接続され、割込み信号を発生して、上記シーン解析器に送る割込み発生器とを更に有することを特徴とする請求項１記載のカメラ装置。
【請求項１０】
イメージセンサユニットと、
上記イメージセンサユニットから出力されるアナログ出力信号をデジタルビデオ信号に変換するアナログフロントエンドユニットと、
上記デジタルビデオ信号が供給されるカメラ信号データパスと、該カメラ信号データパスに接続され、生のビデオ入力信号を処理する前処理ユニットと、上記カメラ信号データパス及びイメージセンサユニットに接続されたパラメータレジスタとを有するフロントエンドカメラデジタルシグナルプロセッサユニットと、
上記カメラ信号データパスから出力されたビデオ信号が入力され、該ビデオ信号を処理する一般的なアプリケーション処理ユニットと、上記前処理ユニット及びパラメータレジスタに接続されたシーン解析器とを有するバックエンドプロセッサユニットとを備えるカメラ装置。
【請求項１１】
上記シーン解析器は、
上記前処理ユニットに接続され、情報を抽出するシーン解析ユニットと、
上記シーン解析ユニットに接続され、該シーン解析ユニットによって抽出された情報に基づいて、現在のシーンの状況を定義する分類ユニットと、
上記分類ユニットに接続され、該分類ユニットからの入力を計算して、上記フロントエンドカメラデジタルシグナルプロセッサユニットにパラメータとして設定される信号を出力するパラメータ計算ユニットとを有することを特徴とする請求項１０記載のカメラ装置。
【請求項１２】
上記シーン解析ユニットは、シーンの多次元の特徴を抽出し、シーンの理解に用いる一組の特徴を出力することを特徴とする請求項１１記載のカメラ装置。
【請求項１３】
上記分類ユニットは、統計的なパターン分類を用い、上記シーン解析ユニットからの情報によりシーンを分類して、上記パラメータ計算ユニットに入力されるシーンの記述を出力することを特徴とする請求項１１記載のカメラ装置。
【請求項１４】
上記パラメータ計算ユニットは、上記分類ユニットからの入力を計算して、上記フロントエンドカメラデジタルシグナルプロセッサユニットにパラメータとして設定される信号を出力することを特徴とする請求項１１記載のカメラ装置。
【請求項１５】
上記パラメータレジスタは、上記パラメータ計算ユニットからパラメータとして出力された信号が供給されることを特徴とする請求項１１記載のカメラ装置。
【請求項１６】
上記前処理ユニットは、上記アナログフロントエンドユニット及びシーン解析ユニットに接続され、生のビデオ入力信号を処理して、前処理されたビデオ信号を生成し、上記シーン解析ユニットに供給することを特徴とする請求項１０記載のカメラ装置。
【請求項１７】
イメージセンサユニットと、該イメージセンサユニットに接続されたアナログフロントエンドユニットと、デジタルビデオ信号が供給されるカメラ信号データパスと、上記カメラ信号データパスに接続されたパラメータレジスタとを有するイメージセンサ装置と、
上記カメラ信号データパスから出力されたビデオ信号が入力され、該ビデオ信号を処理する一般的なアプリケーション処理ユニットと、該カメラ処理用の一般的なアプリケーション処理ユニット及びパラメータレジスタに接続されたシーン解析器とを有するバックエンドプロセッサユニットとを備えるカメラ装置。
【請求項１８】
上記シーン解析器は、
情報を抽出するシーン解析ユニットと、
上記シーン解析ユニットに接続され、該シーン解析ユニットによって抽出された情報に基づいて、現在のシーンの状況を定義する分類ユニットと、
上記分類ユニットに接続され、該分類ユニットからの入力を計算して、上記パラメータレジスタにパラメータとして設定される信号を出力するパラメータ計算ユニットとを有することを特徴とする請求項１７記載のカメラ装置。
【請求項１９】
上記シーン解析ユニットは、シーンの多次元の特徴を抽出し、シーンの理解に用いる一組の特徴を出力することを特徴とする請求項１８記載のカメラ装置。
【請求項２０】
上記分類ユニットは、統計的なパターン分類を用い、上記シーン解析ユニットからの情報によりシーンを分類して、上記パラメータ計算ユニットに入力されるシーンの記述を出力することを特徴とする請求項１８記載のカメラ装置。
【請求項２１】
上記パラメータ計算ユニットは、上記分類ユニットからの入力を計算して、上記パラメータレジスタにパラメータとして設定される信号を出力することを特徴とする請求項１８記載のカメラ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージセンサユニットと、カメラデジタルシグナルプロセッサとを備えるカメラ装置に関する。本発明は、システム要求及び将来の拡張性に対するシステム構成の柔軟性を維持しながら、シーン解析ユニット及び分類ユニットを有する高性能かつ高機能のカメラ装置を提供する。
【背景技術】
【０００２】
従来のカメラ装置は、イメージセンサ、例えば電荷結合（charge coupled device：以下、ＣＣＤという。）撮像素子又は相補型金属酸化膜半導体（以下、ＣＭＯＳという）撮像素子と、アナログフロントエンド（Analog Front-End：以下、ＡＦＥという。）と、カメラデジタルシグナルプロセッサ（Digital Signal Processor：以下、ＤＳＰという。）とを備える。このカメラＤＳＰにおいて、基本的なカメラの機能、例えばカラー環境においては、よりよい色品質を得るために色彩を変える自動ホワイトバランス（Auto White Balance：以下、ＡＷＢという。）と、照明の状態に合わせる自動露出（Auto exposure：以下、ＡＥという。）と、特定の対象に焦点を合わせるオートフォーカス（Auto Focus：以下、ＡＦという。）とが処理される。これらの機能に加えて、カメラＤＳＰでは、他の幾つかの必要な機能を処理する必要がある。カメラＤＳＰは、２つの主要な部分に分けられ、１つの部分は、フィルタ及び他のハードウェア処理ユニットを有する、データパス用の専用のハードウェアブロックである。また、この専用のハードウェアブロックは、ある種の測定ユニットを備え、この測定ユニットは、カメラ処理制御のために、画像の特徴に関する何らかのパラメータを抽出する。カメラＤＳＰのもう１つの部分は、プロセッサ部であり、プロセッサ部は、ＤＳＰ又はオンチップＣＰＵ（以下、ＤＳＰ／ＣＰＵという。）として実現されている。ＤＳＰ／ＣＰＵは、通常、シーケンス制御、適応制御及びカメラ処理制御のための判定等に用いられる。ＤＳＰ／ＣＰＵは、測定ユニットからパラメータが供給され、よりよい画質を得るために、処理を制御し調整するパラメータを計算及び選択し、このパラメータをハードウェアブロックのパラメータレジスタに設定する。
【０００３】
図５は、従来の代表的なカメラ装置の構成を示すブロック図である。イメージセンサユニット１は、通常、ＣＣＤ撮像素子又はＣＭＯＳ撮像素子を用いている。図５において、このイメージセンサユニット１は、また、焦点制御機能を有するレンズモジュールと、露出制御機能用の絞りとを備える。信号８は、フォーカスモータ及びアイリスアクチュエータ等に用いる制御信号である。イメージセンサユニット１からのアナログビデオ信号２は、ＡＦＥユニット３に入力され、アナログビデオ信号２は、デジタルビデオ信号４に変換される。デジタルビデオ信号４は、フロントエンドカメラＤＳＰユニット５に入力された後、カメラ信号データパス１０に入力される。カメラ信号データパス１０において、幾つかの特性値が測定ユニット１１によって抽出される。これらの特性値をＤＳＰ１２に供給し、パラメータレジスタ１３に設定するパラメータの推定に用いる。パラメータレジスタ１３に設定された特性値を用いて、カメラ信号データパス１０を制御する。カメラ信号データパス１０において、デジタルビデオ信号４を処理し、この処理された信号を、ビデオ信号６として出力し、次段に供給する。あるアプリケーション、例えば携帯電話機では、バックエンド機能における共通機能の１つは、画像圧縮である。この場合、ビデオ信号６を、従来のプロセッサ７に入力し、圧縮データ信号９に符号化する。
【０００４】
従来のカメラ装置の代表的な特徴の１つは、フロントエンドカメラＤＳＰユニット５がスタンドアローン型であることである。このことは、フロントエンドカメラＤＳＰユニット５が、カメラ処理を行うバックエンドプロセッサ７と強く連携して動作しないことを意味している。フロントエンドカメラＤＳＰユニット５は、カメラ処理を全て行い、カメラ処理されたビデオ信号を出力する。バックエンドプロセッサ７は、フロントエンドカメラＤＳＰユニット５と協同することなく、フロントエンドカメラＤＳＰユニット５からの出力信号を単に用いるだけである。パラメータレジスタ１３の初期の設定だけは、外部のホストプロセッサ又はバックエンドプロセッサ７によって行われる。しかし、バックエンドプロセッサ７からは、フロントエンドカメラＤＳＰユニット５を制御するためのフィードバックはない。フロントエンドカメラＤＳＰユニット５は、スタンドアローン型であり、独立して働くので、使い易い。しかし、カメラＤＳＰの性能及びメモリサイズは限られているため、高度な機能をカメラＤＳＰに内蔵することは難しい。
【０００５】
カメラ装置の幾つかの処理は、シーンに強く依存している。例えば、ＡＷＢの場合、ＡＷＢの最良の条件は、屋外と屋内では完全に異なる。カメラ装置は、何らかのパラメータを抽出し、シーンが屋内か屋外かを判定する。しかし、ＡＷＢアルゴリズムの開発段階において予め想定していないシーンがあると、判定は、間違ったものとなる場合がある。シーンの状況を誤って判定すると、画像が、奇妙な色や見当違いの色に劣化してしまう。
【０００６】
これらの状況を回避し、相反する状況をカバーするために、カメラＤＳＰは、判定アルゴリズムに特別な条件を加えて実現されている。しかし、実際の動作では、非常に多くの状況があるため、アルゴリズムに特別な条件を加えただけでは、全ての状況をカバーすることは不可能である。また、オンチップメモリには制限があり、カメラＤＳＰの処理能力には限界があるため、小さなカメラＤＳＰユニットでは、これらの複雑なアルゴリズムを実現することは難しい。
【０００７】
これらの状況は、他のカメラ処理においても同様である。ＡＦの場合、焦点を合わせる対象及びその対象の画像内における位置に関する何らかの情報がないと、この対象に焦点を合わせることは難しい。対象をカメラシーンの中央に置くときは、対象に焦点を合わせることは比較的簡単である。しかし、対象の位置が画像の中央にないときは、ＡＦシステムは、焦点を合わせる対象を検出することができないので、対象に焦点を合わせることができない。
【０００８】
ＡＥの場合も、状況はほぼ同じである。シーンが、例えば逆光条件であるときは、露出を、高品質な画質を得るように適切に調整することは難しい。
【０００９】
カメラ処理に関し、処理能力が限られたＤＳＰ／ＣＰＵを有する従来のカメラ装置は、シーンに依存した処理を適切に行うことができないでの、シーンの状況を判定するためには、カメラＤＳＰユニットに基本的に非常に高性能のＤＳＰ又はＣＰＵが必要とされる。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明の目的は、高機能なカメラ装置を実現するために、高度に複雑なアルゴリズムを用いることができるカメラ装置を提供することである。このカメラ装置は、バックエンドプロセッサの高い処理能力を用いることができ、フロントエンドカメラＤＳＰと協同してシーンに依存した処理を実現することができる。
【００１１】
本発明は、映像又は画像の入力としての撮像素子と、カメラ処理ユニット（カメラＤＳＰ）と、カメラ装置のアプリケーション機能用のバックエンドプロセッサとからなるシステム構成を有するあらゆる種類のカメラ装置にも適用することができる。したがって、本発明の適用範囲は、例えばカメラ付き携帯電話機、カメラ付きＰＤＡ、デジタルビデオカメラ、デジタルスチルカメラ、ＭＰＥＧ−４デジタルムービーカメラ等の小型のモバイル製品から専門のＴＶカメラ装置までをカバーする。本発明は、基本的には、これらの全ての製品に適用することができる。
【００１２】
上述したように、次世代のカメラ装置における最も重要な点は、カメラ画像のシーンに基づくカメラ装置の正確な処理能力である。カメラ装置が、撮影されたシーンを理解できれば、カメラ処理はめざましく変化し、画質も同様に変化する。カメラ装置が、撮影されたシーンに適合するようにパラメータを調整できれば、画質はもちろん向上する。
【００１３】
従来のカメラ装置は、カメラＤＳＰの処理能力が限られていたため、シーン解析及びシーンの理解を行うことはできなかった。
【課題を解決するための手段】
【００１４】
本発明は、シーン解析及びシーンの理解のような高度に複雑な処理を、従来のカメラ装置と同じ処理能力が低いフロントエンドカメラＤＳＰを用い、適切な画像を得るためのシーン解析結果をフロントエンドカメラＤＳＰにフィードバックする処理能力が高いバックエンドプロセッサを用いることによって、行うことができるカメラ装置を提供する。
【発明を実施するための最良の形態】
【００１５】
図１は、本発明の第１の実施の形態におけるカメラ装置の構成を示すブロック図である。カメラ装置は、電荷結合（charge coupled device：以下、ＣＣＤという。）撮像素子又は相補型金属酸化膜半導体（以下、ＣＭＯＳという）撮像素子のようなイメージセンサユニット１０１と、本発明の機能を実現するように変更されたフロントエンドカメラデジタルシグナルプロセッサ（Digital Signal Processor：以下、ＤＳＰという。）ユニット１０５と、バックエンドプロセッサユニット１０７とを備える。更に、このカメラ装置は、小さな構成要素、例えばアナログフロントエンド（Analog Front-End：以下、ＡＦＥという。）ユニット１０３、すなわちタイミングジェネレータ（Timing Generator：ＴＧ）をイメージセンサユニット１０１とフロントエンドカメラＤＳＰユニット１０５間に備える。
【００１６】
ＡＦＥユニット１０３は、アナログ出力信号１０２を、８ビット又は１０ビット以上のデジタルビデオ信号１０４に変換する。フロントエンドカメラＤＳＰユニット１０５は、デジタルビデオ信号１０４が供給されるカメラ信号データパス１１０と、カメラ信号データパス１１０に接続され、画像特性を測定又は画像パラメータを抽出する測定ユニット１１１と、測定ユニット１１１によって測定された画像特性を初期のカメラ制御用画像パラメータとして処理するＤＳＰ１１２と、カメラ信号データパス１１０を制御する画像パラメータが設定されるパラメータレジスタ１１３とを備える。カメラ信号データパス１１０は、イメージセンサユニット１０１からの画素データに対して一般的なカメラ処理、例えばデータ変換、フィルタリング、及びＡＦ、ＡＥ、ＡＷＥ等の基本的なカメラ処理を施す。従来のカメラＤＳＰでは、これらの機能を有するカメラ信号データパスは、ハードワイヤドロジックで構成されており、したがって、シーンの多様な状況をサポートする柔軟性がなく、更に、アップデート技術を追加できる見込みもなかった。一方、本発明のカメラ装置では、カメラ信号データパス１１０は、汎用的なデータパスとして構成されており、従来のカメラ処理を含む多様な処理をサポートする。
【００１７】
測定ユニット１１１は、画像特性を測定又は画像パラメータを抽出するカメラ信号データパス１１０に接続されている。ＤＳＰ１１２は、測定ユニット１１１によって測定された画像特性を初期のカメラ制御用のパラメータとして処理する。このパラメータは、パラメータレジスタ１１３に設定され、カメラ信号データパス１１０を制御する。カメラ信号データパス１１０から出力されたビデオ信号１０６は、バックエンドプロセッサユニット１０７に入力される。
【００１８】
バックエンドプロセッサユニット１０７は、ビデオ信号１０６を処理する一般的なアプリケーション処理ユニット１１９と、一般的なアプリケーション処理ユニット１１９に接続され、精密なカメラ処理を行うシーン解析器１１４とを備える。
【００１９】
バックエンドプロセッサユニット１０７には、２つの処理がある。１つの処理は、一般的なアプリケーション処理ユニット１１９における従来のカメラ装置での処理と同じ一般的なアプリケーション処理である。この従来のアプリケーション処理の代表的な具体例は、画像を記録及び転送するために、フロントエンドカメラＤＳＰユニット１０５からのビデオ信号１０６を圧縮することである。もう一方の処理は、バックエンドプロセッサユニット１０７のシーン解析器１１４において行われるカメラ処理である。シーン解析器１１４は、特徴を含む情報を抽出するシーン解析ユニット１１５と、シーン解析ユニット１１５に接続され、シーン解析ユニット１１５によって抽出された特徴を含む情報に基づいて現在のシーンの状況を定義する分類ユニット１１６と、分類ユニット１１６に接続され、分類ユニット１１６からの入力を計算して、フロントエンドカメラＤＳＰユニット１０５にパラメータとして設定される信号１１８を出力するパラメータ計算ユニット１１７とを備える。シーン解析器１１４は、ハードウェア又はソフトウェアで実現することができる。高性能のＤＳＰ又はＣＰＵを用いて、ソフトウェアで実現した方が、柔軟性がより高くすることができる。
【００２０】
シーン解析ユニット１１５は、シーンの多次元の特徴（multi-dimensional features）を抽出して、カメラ処理に有用な、シーンの理解に用いる一組の特徴を出力する。例えば、これらの多次元の特徴は、画像全体の色彩に関する何らかの値であり、あるいは画像内における局部領域に関する何らかの値である。従来のカメラＤＳＰユニットにおいては、画像から測定される特徴の数は、カメラＤＳＰ及びＣＰＵの処理能力が制限されていたため、限られている。従来のカメラ装置は、カメラ装置を制御するために、他の情報を用いることができない。一方、本発明を適用したカメラ装置は、従来のカメラ装置よりも非常に処理能力が高いＤＳＰ／ＣＰＵを用いることができる。このため、本発明を適用したカメラ装置は、カメラ装置を制御するための特徴の数を、より多く抽出することができる。測定される特徴の他の具体例としては、オートホワイトバランス（Auto White Balance：以下、ＡＷＢという。）がある。従来のカメラ装置では、画像の色彩は、画像全体の平均をとり、画像全体の各色成分の値を得ている。この色情報からのデータは、通常、処理する特徴の数を減らすために、２次元空間（two-dimensional space）に減らされる。更に、この２次元空間において、判定される曲線は、元の曲線の代わりに、直線に近似される。このように簡素化することによって、ＡＷＢの処理を、カメラ装置の小型で、性能が高くないＤＳＰ／ＣＰＵで実現するようにしている。
【００２１】
シーン解析ユニット１１５からの出力は、シーンの理解に用いる一組の特徴である。シーンの理解は、現在のシーンの画像が屋内状態のものか屋外状態のものかを判定することに関連している。屋外の場合、写真の上部に空があるかが調べられる。屋内の場合、人の顔があるかが調べられる。他にも、カメラ処理に有用なシーンの理解に関する特徴には、数多くのもの、例えば逆光条件、強い光点の存在、カラーライト、強い発光領域、暗い領域等がある。
【００２２】
分類ユニット１１６は、統計的なパターン分類又はニューラルネットワーク型の判定を用い、シーン解析ユニット１１５からの情報によりシーンを分類して、パラメータ計算ユニット１１７に入力されるシーンの記述を出力する。また、統計的なパターン分類も、カメラＤＳＰにおいて実現することができない複雑な機能である。統計的なパターン分類を行うためには、カメラ装置は、プリロードされる大量のデータを記憶する必要があり、更に、シーンを分類するための距離を計算するために、より高いＣＰＵ／ＤＳＰ能力が必要である。
【００２３】
パラメータ計算ユニット１１７は、分類ユニット１１６からの入力を計算して、フロントエンドカメラＤＳＰユニット１０５に実際のパラメータとして設定される信号１１８を出力する。例えば、ＤＳＰ１１２は、パラメータ計算ユニット１１７からパラメータとして出力された信号１１８が供給され、このパラメータをパラメータレジスタ１１３に設定する。
【００２４】
シーン解析器１１４において利用することができる方法には、幾つかの方法がある。例えば、シーン解析の方法は、マシンバージョンのような白黒ベースの方法、色空間の解析、エッジ検出及びクラスタリングのような他の技術、フーリエ変換及びウェーブレット変換のような数学的変換がある。更に、領域に依存した方法もを適用することもできる。なお、本発明は、あらゆる種類のこれらの方法に限定されるものではない。
【００２５】
図２は、本発明の第１の実施の形態におけるカメラ装置の処理を説明するフローチャートである。処理は、ステップ２０において開始される。例えば、カメラ装置の電源を入れると、制御はこのステップ２０に移行する。ステップ２１において、図１に示すように、フロントエンドカメラＤＳＰユニット１０５において、初期のカメラ処理が行われる。フロントエンドカメラＤＳＰユニット１０５において、幾つかの特徴が、測定ユニット１１１によって抽出されて、ＤＳＰ１１２に供給され、ＤＳＰ１１２において、初期の粗いパラメータが計算され、パラメータレジスタ１１３に設定される。初期のカメラ処理の後、処理は、バックエンドプロセッサユニット１０７に進む。ステップ２３、２４、２５における処理は、精密なカメラ処理であり、図１を用いて説明したように、順に、シーン解析、分類、パラメータの計算、設定の処理である。ステップ２５の後、ステップ２６において、制御シーケンスは、シーン変化を調べる。シーン変化がない場合は、同じパラメータの値のまま、制御シーケンスは、引き続き、シーン変化を周期的に調べる。シーン変化があった場合は、ステップ２７において、制御シーケンスは、シーン変化の度合いを調べる。シーン変化の度合いがそれほど大きくないときは、制御シーケンスは、シーン解析器１１４に戻り、シーン解析器１１４において、パラメータは、シーン解析（ステップ２３）及び分類（ステップ２４）に基づいて調整される。シーン変化の度合いが大きいときは、制御シーケンスは、フロントエンドカメラＤＳＰユニット１０５（ステップ２１）に移行し、ステップ２１において、カメラパラメータの新たな粗い調整が行われる。この実施の形態において、シーン変化は、バックエンドプロセッサユニット１０７によって検出される。パックエンドプロセッサユニット１０７は、パラメータが設定された後のシーン変化を検出する手段と、シーン変化があった場合に、シーン変化の度合いを検出する手段とを備える。なお、応答を速くするために、シーン検出器を、フロントエンドカメラＤＳＰユニット１０５に設けることもできる。更に、割込み発生器を設け、フロントエンドカメラＤＳＰユニット１０５から割込み信号をバックエンドプロセッサユニット１０７に送ることができる。バックエンドプロセッサユニット１０７の制御シーケンスは、割込み信号によって割り込まれ、判定を行う割込みルーチンに進む。
【００２６】
図３は、本発明の第２の実施の形態におけるカメラ装置の構成を示すブロック図である。基本的な構成は、図１に示す第１の実施の形態における構成と同じである。第２の実施の形態におけるカメラ装置は、イメージセンサユニット２０１と、イメージセンサユニット２０１から出力されるアナログ出力信号２０２をデジタルビデオ信号２０４に変換するＡＦＥユニット２０３と、フロントエンドカメラＤＳＰユニット２０５と、カメラ信号データパス２１０から出力されたビデオ信号２０６が入力されるバックエンドプロセッサユニット２０７とを備える。フロントエンドカメラＤＳＰユニット２０５は、デジタルビデオ信号２０４が供給されるカメラ信号データパス２１０と、カメラ信号データパス２１０に接続され、生のビデオ入力信号を処理する前処理ユニット３０と、カメラ信号データパス２１０及びイメージセンサユニット２０１に接続されたパラメータレジスタ２１３とを備える。バックエンドプロセッサユニット２０７は、ビデオ信号２０６を処理する一般的なアプリケーション処理ユニット２１９と、前処理ユニット３０及びパラメータレジスタ２１３に接続されたシーン解析器２１４とを備える。
【００２７】
なお、この実施の形態では、フロントエンドカメラＤＳＰユニット２０５から、測定ユニット１１１及びＤＳＰ１１２が削除されている。その代わりに、前処理ユニット３０が加えられ、生のビデオ入力信号を処理して、前処理ビデオ信号３１を生成し、バックエンドプロセッサユニット２０７に供給している。なお、純粋に生のビデオ入力信号を、バックエンドプロセッサユニット２０７に直接供給することもできる。この実施の形態では、何らかの処理、例えば欠陥補償、生のデータからビットマップデータへの変換を前処理ユニット３０で行うことにより、バックエンドプロセッサユニット２０７における負荷を減らすことが期待される。
【００２８】
シーン解析器２１４は、前処理ユニット３０に接続され、特徴を含む情報を抽出するシーン解析ユニット２１５と、シーン解析ユニット２１５に接続され、シーン解析ユニット２１５によって抽出された特徴を含む情報に基づいて現在のシーンの状況を定義する分類ユニット２１６と、分類ユニット２１６に接続され、分類ユニット２１６からの入力を計算して、フロントエンドカメラＤＳＰユニット２０５にパラメータとして設定される信号２１８を出力するパラメータ計算ユニット２１７とを備える。シーン解析ユニット２１５は、シーンの多次元の特徴を抽出して、カメラ処理に有用な、シーンの理解に用いる一組の特徴を出力する。分類ユニット２１６は、統計的なパターン分類又はニューラルネットワーク型の判定を用い、シーン解析ユニット２１５からの情報によりシーンを分類して、パラメータ計算ユニット２１７に入力されるシーンの記述を出力する。パラメータ計算ユニット２１７は、分類ユニット２１６からの入力を計算して、フロントエンドカメラＤＳＰユニット２０５に実際のパラメータとして設定される信号２１８を出力する。パラメータレジスタ２１３は、パラメータ計算ユニット２１７からパラメータとして出力された信号２１８が供給される。前処理ユニット３０は、ＡＦＥユニット２０３及びシーン解析ユニット２１５に接続され、生のビデオ入力信号を処理し、前処理ビデオ信号３１を生成してシーン解析ユニット２１５に供給する。
【００２９】
本発明の第１の実施の形態においては、フロントエンドカメラＤＳＰから出力されたビデオ信号が用いられいる。これにより、一種の処理ループが形成されている。一方、第２の実施の形態においては、シーン解析器２１４は、シーン解析及び分類に、処理されていないデータを用い、パラメータをフロントエンドカメラＤＳＰに設定している。このカメラ装置では、レンズの絞り及び焦点の制御を除いて、制御シーケンス及びカメラ信号データパス内には処理のループは存在しない。
【００３０】
図４は、本発明の第３の実施の形態におけるカメラ装置の構成を示すブロック図である。この実施の形態において、カメラ装置は、イメージセンサ装置３２と、カメラ信号データパス３１０から出力されたビデオ信号３０６が入力されるバックエンドプロセッサユニット３０７とを備える。イメージセンサ装置３２は、イメージセンサユニット３３と、イメージセンサユニット３３に接続されたＡＦＥユニット３０３と、デジタルビデオ信号３０４が供給されるカメラ信号データパス３１０と、カメラ信号データパス３１０に接続されたパラメータレジスタ３１３とを備える。バックエンドプロセッサユニット３０７は、ビデオ信号３０６を処理する一般的なアプリケーション処理ユニット３１９と、一般的なアプリケーション処理ユニット３１９及びパラメータレジスタ３１３に接続され、初期及び精密なカメラ処理を行うシーン解析器３１４とを備える。シーン解析器３１４は、特徴を含む情報を抽出するシーン解析ユニット３１５と、シーン解析ユニット３１５に接続され、シーン解析ユニット３１５によって抽出された特徴を含む情報に基づいて現在のシーンの状況を定義する分類ユニット３１６と、分類ユニット３１６に接続され、分類ユニット３１６からの入力を計算して、パラメータレジスタ３１３にパラメータとして設定される信号３１８を出力するパラメータ計算ユニット３１７とを備える。シーン解析ユニット３１５は、シーンの多次元の特徴を抽出して、カメラ処理に有用な、シーンの理解に用いる一組の特徴を出力する。分類ユニット３１６は、統計的なパターン分類又はニューラルネットワーク型の判定を用い、シーン解析ユニット３１５からの情報によりシーンを分類して、パラメータ計算ユニット３１７に入力されるシーンの記述を出力する。パラメータ計算ユニット３１７は、分類ユニット３１６からの入力を計算して、パラメータレジスタ３１３に実際のパラメータとして設定される信号３１８を出力する。
【００３１】
この実施の形態において、フロントエンドカメラＤＳＰユニットは、イメージセンサ装置３２に、大規模集積回路（ＬＳＩ）チップのように集積化されている。ＣＭＯＳ撮像素子の場合、ＭＯＳアナログブロック、例えばアナログ／デジタル変換器（Ａ／Ｄ変換器）及び論理回路を集積化することは、難しくない。この実施の形態では、より単純なケースを示しており、前の実施の形態と比較すると、カメラ信号データパス３１０及びパラメータレジスタ３１３のみが集積化されている。前処理ユニット３０は削除されている。この実施の形態においては、カメラ処理の前処理は行われない。その代わりに、シーン解析器３１４が、初期の調整にも用いられている。
【００３２】
カメラ処理の要求は、用途によって変化する。ときには、既存のカメラ処理に、カメラ処理の新技術を組み込みたいという要求がある。カメラ信号データパスは、一般的な機能を維持するだけではなく、ビデオ信号の多様な処理をサポートできるように、設計することができる。高性能のバックエンドプロセッサを用いることにより、このカメラ装置を、高機能なカメラ装置として実現することができる。なお、コスト削減が必要なときには、より安価なバックエンドプロセッサで対応することができる。一種類のＣＭＯＳ撮像素子を用いて、システム要求に基づいた多くの種類のカメラ装置を製造することができる。
【００３３】
このカメラ装置は、既存の機能だけではなく、高度な機能の如何なるカメラ処理もサポートすることができる。カメラ信号データパスは、柔軟なハードウェアによって実現される。バックエンドプロセッサの処理能力を高めることによって、カメラ処理機能は、ソフトウェアによっても実現することができる。なお、この実施の形態では、高度で高機能な処理、例えばシーン解析及び分類におけるソフトウェアの比重を増すために、カメラ信号データパスをハードワイヤドロジックで実現した具体例を意図的に説明している。更に、消費電力の観点からは、カメラ信号データパスをハードウェアで実現した方がよい。
【００３４】
シーン解析は、ポストプロセッサにおいてソフトウェアで行っている。これにより、システム設計の柔軟性を維持している。より高画質を得るために、レベルがより高い処理が必要な場合、カメラ装置は、より高性能のプロセッサを選択することができる。なお、コスト削減が必要なときには、より安価なバックエンドプロセッサを用いることもできる。
【００３５】
本発明の第３の実施の形態では、柔軟かつ一般的なカメラ信号データパスの論理回路のみが、ＣＭＯＳ撮像素子に集積化されている。そして、このカメラ信号データパスによって、ただ一種類の撮像素子のみで、多くの種類のカメラ装置を実現することができる。
【００３６】
本発明の第１の実施の形態では、シーン解析器は、シーン解析のためのビデオエンコーダの情報を用いることができる。例えば、動きベクトルは、シーン変化を検出するのに適した例である。バックエンドプロセッサを用いてシーン解析を行うことによって、圧縮処理における情報を、カメラ処理に用いることができる。
【００３７】
なお、当業者には、特許請求の範囲内又はその等価物の範囲内を逸脱することなく、設計要求及び他の要因に応じて、様々な変更、組合せ、一部組合せ、置き換えをできることは、明らかである。
【図面の簡単な説明】
【００３８】
【図１】図１は、本発明の第１の実施の形態におけるカメラ装置の構成を示すブロック図である。
【図２】図２は、本発明の第１の実施の形態におけるカメラ装置の処理を説明するフローチャートである。
【図３】図３は、本発明の第２の実施の形態におけるカメラ装置の構成を示すブロック図である。
【図４】図４は、本発明の第３の実施の形態におけるカメラ装置の構成を示すブロック図である。
【図５】図５は、従来の代表的なカメラ装置の構成を示すブロック図である。
【図１】
2006203879.tif 000003
【図２】
2006203879.tif 000004
【図３】
2006203879.tif 000005
【図４】
2006203879.tif 000006
【図５】
2006203879.tif 000007
【外国語明細書】
2006203879000001.pdf
2006203879000002.pdf
2006203879000003.pdf
2006203879000004.pdf