(57)【特許請求の範囲】
【請求項１】
デジタルビデオ画像を撮像および伝送するための画像撮像システム（２）であって、
・デジタル画像データを検出するための撮像センサ（４）と、
・前記撮像センサ（４）および／または前記画像撮像システム（２）の位置をメカトロニクスモデル（６）に基づいて制御する位置制御部と、
・前記撮像センサ（４）および／または前記画像撮像システム（２）の位置変化を検出するための少なくとも１つの動きセンサ（５）と、
・検出された前記画像データと、対応するメタデータとを、画像データ処理システム（３）へ伝送するための出力インタフェース（１１）と
を有し、
前記メタデータは、
・前記画像データの検出時点における前記位置制御部の実際の制御データと、
・前記画像データの検出時点における前記メカトロニクスモデル（６）の最新のパラメータセットと、
・画像の撮像時点と先行の画像の撮像時点との間において累積された、前記少なくとも１つの動きセンサ（５）の出力データと
を含むことを特徴とする、画像撮像システム（２）。
【請求項２】
前記画像撮像システム（２）は符号化部（７）を有し、
前記符号化部（７）は、前記メタデータをアノテーションの形態で、前記画像データとリンクさせる、
請求項１記載の画像撮像システム。
【請求項３】
撮像される画像領域が、再生される画像領域より大きくなるように、前記撮像センサ（４）は構成される、
請求項１または２記載の画像撮像システム。
【請求項４】
前記撮像センサ（４）によって撮像される画像領域は、予測される手ぶれ振幅に依存して決定される、
請求項３記載の画像撮像システム。
【請求項５】
デジタル画像データを受信および処理するための画像データ処理システム（３）であって、
・画像データと、対応するメタデータとを、画像撮像システム（２）から受信するための、入力インタフェース（１２）を有し、
前記メタデータは、
・前記画像撮像システム（２）の位置および／または該画像撮像システム（２）の撮像センサ（４）の位置をメカトロニクスモデル（６）に基づいて制御する位置制御部の、前記画像データの検出時点における実際の制御データと、
・前記画像データの検出時点における前記メカトロニクスモデル（６）の最新のパラメータセットと、
・前記撮像センサ（４）の位置変化および／または前記画像撮像システム（２）の位置変化を検出する少なくとも１つの動きセンサ（５）の、画像の撮像時点と先行の画像の撮像時点との間において累積された出力データと
を含み、
前記画像データ処理システムは、さらに画像データ補正ユニット（１９）を有し、
前記画像データ補正ユニット（１９）は、前記メタデータと前記メカトロニクスモデルの受信側のコピーとに基づき、前記撮像センサ（４）および／または前記画像撮像システム（２）の不所望の位置変化と所望の位置変化とを区別し、該撮像センサ（４）および／または該画像撮像システム（２）の不所望の位置変化が補償されるように、該画像データ補正ユニット（１９）は前記画像データを補正する
ことを特徴とする、画像データ処理システム（３）。
【請求項６】
前記画像データ補正ユニット（１９）は、前記位置制御部の実際の制御データと、前記メカトロニクスモデル（６）の最新のパラメータセットと、該メカトロニクスモデルの受信側のコピーとに基づき、前記撮像センサ（４）および／または前記画像撮像システム（２）の所望の位置変化を求め、前記少なくとも１つの動きセンサ（５）の累積された出力データとの比較結果から、該撮像センサ（４）および／または該画像撮像システム（２）の不所望の位置変化を求める、
請求項５記載の画像データ処理システム。
【請求項７】
前記画像データはさらに、ビデオストリームの複数の個々の画像中の特徴的な画像要素の動きに基づいて補正される、
請求項５または６記載の画像データ処理システム。
【請求項８】
請求項１から４までのいずれか１項記載の画像撮像システム（２）と、請求項５から７までのいずれか１項記載の画像データ処理システム（３）とを備えた、手ぶれの少ないデジタルビデオ画像を生成するための画像手ぶれ補正システムであって、
前記画像撮像システム（２）から前記画像データ処理システム（３）へ、画像データと、対応するメタデータとが伝送され、該画像データ処理システム（３）によって、補正された画像データが生成される
ことを特徴とする、画像手ぶれ補正システム。
【請求項９】
手ぶれの少ないデジタルビデオ画像の生成方法であって、
・画像撮像システム（２）の撮像センサ（４）によってデジタル画像データを検出し、
・前記画像撮像システム（２）および／または前記撮像センサ（４）の位置を、位置制御部によって、メカトロニクスモデル（６）に基づいて制御し、
・少なくとも１つの動きセンサ（５）によって前記撮像センサ（４）の位置変化および／または前記画像撮像システム（２）の位置変化を検出し、
・前記画像データの検出時点における前記位置制御部の実際の制御データと、該画像データの検出時点における前記メカトロニクスモデル（６）の最新のパラメータセットと、画像の撮像時点と先行の画像の撮像時点との間において累積された、前記少なくとも１つの動きセンサ（５）の出力データとを含むメタデータとともに、検出された該画像データを、画像データ処理システム（３）へ伝送し、
・前記画像データ処理システム（３）によって、前記メタデータと前記メカトロニクスモデルの受信側のコピーとに基づき、前記撮像センサ（４）および／または前記画像撮像システム（２）の不所望の位置変化と所望の位置変化とを区別し、該撮像センサ（４）および／または該画像撮像システム（２）の不所望の位置変化が補償されるように該画像データ処理システム（３）は該画像データを補正する
ことを特徴とする、生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルビデオ画像を撮像および伝送するための画像撮像システム、デジタル画像データを受信および処理するための画像データ処理システム、画像手ぶれ補正システム、および、手ぶれが少ないデジタルビデオ画像の生成方法に関する。
【０００２】
ビデオデータの撮像時に手ぶれの回避を行い、および／または、ビデオデータの再生時に手ぶれの補正を行うための、手ぶれ補正システムが公知である。この手ぶれ補正システムは、光学的手ぶれ補正システムと、機械的手ぶれ補正システムと、電子的手ぶれ補正システムとに区分される。光学的手ぶれ補正システムでは、手ぶれの原因となる動きを補償するように、たとえばプリズムやレンズ等である光学部品を動かしたり、またはビデオカメラの画像センサを動かしたりもする。機械的手ぶれ補正システムは大抵、ビデオカメラの位置を安定化させるために高コストの機械的な構成を使用し、たとえばいわゆるステディカム三脚（Steadicam）の形態の機械的構成を用いる。電子的手ぶれ補正システムは、画像センサの感度を自動的に向上させる方式のものが多い。このような電子的手ぶれ補正システムにより、露光時間を短縮させることができ、このことにより、ビデオ画像の手ぶれが低減する。しかし感度を上昇させると、画像ノイズが増大するかないしはノイズ除去が必要になることにより、画像品質が低下してしまう。
【０００３】
さらに、手ぶれの原因となるビデオカメラの加速度および／または角速度を動きセンサによって検出し、たとえばマイクロコントローラ等であるデータ処理ユニットによって補正する、電子的手ぶれ補正システムも公知である。このような手法では確かに、高コストの機械的構成の使用、露光時間の短縮による画像品質の低下、計算量が非常に多い画像分析手法や画像補正手法は回避されるが、ビデオカメラまたは画像センサが、手ぶれの原因となる不所望の動きを行う他に所望の動きも行う場合、すなわちビデオカメラまたは画像センサが意図的に動かされる場合には、上述の手法は限界に達する。実際の使用時にはたとえば、対象物を監視するために車両または航空機に設置された遠隔操作されるビデオカメラの場合に、上述のことが起こり得る。
【０００４】
ＤＥ１０２００５０２９２３０Ａ１から、画像再生装置および画像撮像装置を備えた表示装置が公知である。この画像再生装置は表示モジュールを有し、画像撮像装置は、観察対象であるオブジェクトを撮像して、これに対応する画像データを生成する。さらに、撮像画像に手ぶれが生じる原因となる、画像撮像装置の動きを検出するセンサも設けられており、該センサは、相応の動き信号を生成するセンサも設けられている。前記画像再生装置は表示モジュールを用いて画像データと前記動き信号とに基づき、画像に手ぶれがないとユーザが感じられるように、画像を手ぶれ補正して再生する。その際には、画像再生装置および画像撮像装置は、ユーザの頭に載せることができる支持装置に固定される。たとえば観察対象の画像部分を変えるための頭の所望の動きも、手ぶれであると判定されてしまうのを阻止するためには、適切なローパスフィルタリング部またはバンドパスフィルタリング部が設けられる。
【０００５】
このようにローパスフィルタリング部やバンドパスフィルタリング部を用いる場合には、不所望の動きでは必ず、動きセンサ系の出力信号が比較的高周波になることを前提としているが、常にそうであるとは限らない。さらに、フィルタリング部を実現するための付加的な構成要素が必要とされる。
【０００６】
それゆえ本発明の課題は、デジタルビデオ画像を撮像および伝送するための画像撮像システムと、デジタル画像データを受信および処理するための画像データ処理システムとを備えた画像手ぶれ補正システム、および、手ぶれが少ないデジタルビデオ画像を生成するための方法であって、画像撮像システムまたは撮像センサが所望の動きをしても、動きセンサの出力信号に基づいて電子的な画像手ぶれ補正を高信頼性かつ低コストで行えることを保証する、画像手ぶれ補正システムおよび方法を提供することである。
【０００７】
前記課題は、デジタル画像データを検出するための撮像センサと、メカトロニクスモデルに基づいて該撮像センサおよび／または画像撮像システムの位置を制御する位置制御部と、該画像センサおよび／または画像撮像システムの位置変化を検出するための少なくとも１つの動きセンサと、検出された該画像データおよび該画像データに対応するメタデータをデータ評価ユニットへ伝送するためのデータインタフェースとを用いて、デジタルビデオ画像を撮像および伝送するための、画像撮像システムによって解決される。本発明では前記メタデータは、以下のデータを含む：
・画像データの検出時点での位置制御部の実際の制御データ。
・画像データの検出時点での前記メカトロニクスモデルの最新のパラメータセット。
・撮像時点と先行の撮像時点との間に累積された、前記少なくとも１つの動きセンサの出力データ。
【０００８】
また、本発明の基礎となる前記課題は、画像撮像システムから画像データおよび該画像データに対応するメタデータを受信するためのインタフェースを用いてデジタル画像データを受信および処理するための画像データ処理システムによっても解決される。前記メタデータは以下のデータを含む：
・メカトロニクスモデルに基づいて前記画像撮像システムおよび／または該画像撮像システムの撮像センサの位置を制御する位置制御部の、前記画像データの検出時点での実際の制御データ。
・前記画像データの検出時点での前記メカトロニクスモデルの最新のパラメータセット。
・前記撮像センサおよび／または前記画像撮像システムの位置変化を検出する少なくとも１つの動きセンサの、画像の撮像時点と先行の画像の撮像時点との間に累積された出力データ。
【０００９】
画像データ補正ユニットが、前記メタデータと前記メカトロニクスモデルの受信側のコピーとに基づいて、撮像センサおよび／または画像撮像システムの不所望の位置変化と所望の位置変化とを区別し、該撮像センサおよび／または該画像撮像システムの不所望の位置変化が補償されるように、該画像データ補正ユニットは該画像データを補正する。
【００１０】
本発明の基礎となる思想は、画像データおよびセンサデータのみを画像撮像システムから画像データ処理システムへ伝送するのではなく、画像撮像システムにおいて使用される位置制御部に関する付加情報も伝送することである。この付加情報により、前記画像データ処理システムは、撮像センサおよび／または画像撮像システムの不所望の動きと所望の動きとを分離できるようになり、このことによってその後、不所望の動きだけが補償されるように画像データを補正することができる。その際には有利には、撮像センサおよび／画像撮像システムの位置制御をモデルベースで行い、受信側にて画像データ処理システムにより、撮像センサおよび／または画像撮像システムの所望の動きすなわち意図的になされた位置変化を、撮像時点における前記位置制御部の実際の制御データとメカトロニクスモデルの最新のパラメータセットと、該メカトロニクスモデルの受信側のコピーとに基づいて、正確に認識できることが利用される。
【００１１】
本発明の一実施形態では前記画像撮像システムは、前記メタデータをアノテーションの形態で、対応する画像データにリンクさせるための符号化部を有する。画像データに対するアノテーションすなわち注釈の形態のメタデータの伝送は、受信側においてメタデータと画像データとを簡単かつ一義的に対応付けることができる、特に簡単な形式の共通のデータ伝送であり、同期に手間をかける必要がない。
【００１２】
本発明の別の実施形態では、撮像される画像領域が、再生される画像領域より大きくなるように、前記撮像センサが構成される。この実施形態において有利には、撮像センサによって撮像される画像領域は、予測される手ぶれ振幅に依存して決定される。通常、手ぶれが発生すると、撮像される画像領域は所望の画像領域からずれる。手ぶれ補償において、いわばこのずれと反対方向に画像を「移動」させると、撮像画像領域の大きさと再生画像領域の大きさとが一致する場合、画像の縁部領域に画像情報が存在しないことになる。このことを回避するために有利なのは、サイズを幾らか大きくして画像を撮像し、画像を「移動」させても、再生される画像のすべての部分領域に画像情報が存在するようにするのが有利である。
【００１３】
本発明の別の実施形態では、画像データは画像データ処理システムによってさらに、ビデオストリームの複数の連続する個々の画像中の、特徴的な画像要素の動きに依存して補正される。たとえば、画像撮像システムが固定される支持構造体の機械的な固有振動に起因して、動きセンサの出力信号はノイズ成分も含む。たとえば加速度センサの出力信号を積分する場合、上述のノイズ成分によって積分誤差が生じ、この積分誤差は手ぶれの補償に悪影響を与える。たとえば、連続する個々の画像において特徴的な画像要素または画像オブジェクトの位置変化を評価することにより、このような積分誤差を補正または補償することができる。画像手ぶれ補正のための上述のアルゴリズムの基本は公知であるから、ここではその詳細を説明しない。
【００１４】
本発明の基礎となる課題はさらに、手ぶれが少ないデジタルビデオ画像を生成するための画像手ぶれ補正システムであって、該画像手ぶれ補正システムは本発明の画像撮像システムと本発明の画像データ処理システムとを含み、画像データと、これに対応するメタデータとが、該画像撮像システムから該画像データ処理システムへ伝送され、該画像データ処理システムによって補正画像データが生成される、画像手ぶれ補正システムによって解決される。
【００１５】
最後に、本発明の基礎となる課題は、デジタル画像データを画像撮像システムの撮像センサによって検出する、手ぶれが少ないデジタルビデオ画像の生成方法であって、位置制御部が該画像撮像システムおよび／または該撮像センサの位置をメカトロニクスモデルに基づいて制御する、生成方法によって解決される。前記撮像センサおよび／または前記画像撮像システムの位置変化は、少なくとも１つの動きセンサによって検出される。検出された前記画像データは、画像データの検出時点での位置制御部の実際の制御データと、該画像データの検出時点でのメカトロニクスモデルの最新のパラメータセットと、画像の撮像時点と先行の画像の撮像時点との間に累積された、前記少なくとも１つの動きセンサの出力データとであるメタデータとともに、画像データ処理システムへ伝送される。画像データ補正ユニットが、前記メタデータと前記メカトロニクスモデルの受信側のコピーとに基づいて、撮像センサおよび／または画像撮像システムの不所望の位置変化と所望の位置変化とを区別し、該撮像センサおよび／または該画像撮像システムの不所望の位置変化が補償されるように、該画像データ処理ユニットは該画像データを補正する。
【００１６】
以下、図面を参照して本発明の実施例を説明する。この実施例により、本発明の別の特徴および利点が明らかである。
【図面の簡単な説明】
【００１７】
【図１】本発明の画像手ぶれ補正システムの概略的なブロック回路図である。
【００１８】
本発明の画像手ぶれ補正システム１は、デジタルビデオ画像を撮像するための画像撮像システム２と、該画像撮像システム２によって撮像されたビデオ画像を処理するための画像データ処理システム３とを有する。画像撮像システム２は少なくとも１つのデジタル撮像センサ４を含む。撮像センサ４または画像撮像システム２全体の位置は、図中に無い位置制御部によって制御される。前記位置制御部はメカトロニクスシステムとして構成されており、このメカトロニクスシステムでは、撮像センサ４または画像撮像システム２が所望の目標位置をとるように、制御ロジックを用いて複数の種々のアクチュエータが駆動制御される。位置制御に使用される実際の瞬時位置は、少なくとも１つの動きセンサ５の出力信号または出力データに基づいて検出される。その場合には、動きセンサ５はたとえば、加速度センサ、角速度センサまたはジャイロメータとして構成することができる。前記位置制御は、メカトロニクスモデル６に基づいてモデルベースで行われる。
【００１９】
前記画像撮像システム２はさらに符号化部７を有し、該符号化部７は、撮像センサ４が検出した画像データとメタデータとをリンクさせ、伝送すべきビデオストリーム８の所定の伝送フォーマットに変換する。この符号化部７は、エンコーダと称されることも多い。本発明では前記メタデータは、画像データの検出時点での位置制御部の実際の制御データと、画像データの検出時点での前記メカトロニクスモデルの実際のパラメータセット（１つのデータ矢印９にまとめられている）と、撮像時点と先行の撮像時点との間の、前記少なくとも１つの動きセンサ５の累積された出力データ１０とを含む。これらのメタデータは有利には、アノテーションの形態で、対応する画像データにリンクされることにより、いわば画像データに埋め込まれる。
【００２０】
この画像データはメタデータとともにビデオストリーム８の形態で、出力インタフェース１１を介して画像データ処理システム３へ伝送される。この伝送は、有線または無線で行うことができる。ビデオストリームを受信して画像データおよびメタデータを受信するために、画像データ処理システム３は入力インタフェース１２を有する。画像撮像システム２がたとえば、監視対象であるオブジェクトの画像を撮像するために航空機に搭載されている場合、画像データ処理システム３もこの航空機に搭載することができる。このことの代わりに択一的に、画像データ処理システム３を航空機外に配置することもでき、たとえば地上局または実験室に配置することができる。このことにより、航空機には画像撮像システムの他にさらに構成要素を搭載する必要がなくなるので、画像撮像システムを航空機に簡単に、低減された所要スペースで設置することができる。
【００２１】
画像データ処理システム３には復号化部１３が設けられており、この復号化部１３はビデオストリーム８のデータを、該画像データ処理システム３によって処理可能であるデータ形式に変換し、このときに画像データとメタデータとを分離する。その後、メタデータ１４は補正データ決定部１５においてさらに処理される。前記補正データ決定部１５は前記メカトロニクスモデルのコピーを用いて、画像データの検出時点における位置制御部の実際の制御データと、該画像データの検出時点におけるメカトロニクスモデル６の最新のパラメータセットとに基づき、撮像センサ４または画像撮像システム２の所望の目標位置または目標動きを決定することができる。前記補正データ決定部１５はさらに、画像の撮像時点と先行の画像の撮像時点との間において累積された、動きセンサの出力データに基づき、該画像の撮像時点における撮像センサ４または画像撮像システム２の実際の瞬時位置を求めるか、または、先行の画像撮像後に該撮像センサ４または画像撮像システム２が行った瞬時動きを求めることができる。瞬時データと目標データとを比較することにより、撮像センサ４または画像撮像システム２の不所望の位置変化と、位置制御部のアクチュエータの適切な駆動制御によって行われた所望の位置変化とを区別して分離することができる。
【００２２】
このようにして、補正データ決定部１５により画像補正データ１６が生成される。この画像補正データは、撮像センサ４および／または画像撮像システム４の不所望の位置変化が補償されるように、ビデオストリーム８で受信された画像データを補正する。その際にはとりわけ、手ぶれすなわち不所望の位置変化によって引き起こされた画像領域の位置ずれを補償するために、画像を相応に逆方向に移動させる。移動された画像の縁部領域に画像データが存在しなくなるのを防ぐためには、撮像センサ４によって撮像される画像領域が、再生される画像領域より大きくなるようにするのが有利である。その際にはこの撮像画像領域は、予測される手ぶれ振幅に依存して決定される。
【００２３】
その後、画像補正部１７において画像データおよび画像補正データ１６に基づき、補正された画像データ１８が生成される。
【００２４】
前記補正データ決定部１５と画像補正部１７とが、１つの画像データ補正ユニット１９を構成する。
【００２５】
この画像データ補正ユニット１９によって生成された補正画像データは、画像データ処理システム３に設けられた別の符号化部２０によって、さらに伝送するための適切なデータ形式に変換することができ、このことによって最終的に、画像データ処理システム３から、補正されたビデオストリーム２１が出力される。
【００２６】
図１中、補正データ決定部１５と画像補正部１７とは、画像データ補正ユニット１６内に含まれる別個のユニットとして示されているが、もちろん、これらのユニットを上位の１つのユニットに組み込むか、または、各ユニットを複数の部分ユニットに分割することもできる。
【００２７】
また、画像手ぶれ補正の一部をすでに画像撮像システム２によって実施することもでき、たとえば光学的画像手ぶれ補正として実施することもできる。
【図１】
0005383926.tif 000002