(57)【要約】  時間的な順序で単独画像（ｉｍｇ）を包含するビデオデータストリームから、音響信号（ｓｎｄ）が形成され、先ず単独画像の画像データから、動きベクトルフィールド（ｖｆｄ）が求められ、例えばこの際ＭＰＥＧアルゴリズムが使用される。続いて、分析モジュール（ＡＡＮ）において動きベクトル（ｖｆｄ）の少なくとも１つの特徴量（ｃｈｓ）、例えば支配的な動きベクトルが導出され、この特徴量（ｃｈｓ）に基づいて統合モジュール（ＳＹＮ）により音響信号（ｓｎｄ）が形成される。
2005510907.tif 000002
【特許請求の範囲】
【請求項１】
時間的な順序で単独画像（ｉｍｇ）を包含するビデオデータストリームから信号を形成する方法において、
ａ）単独画像（ｉｍｇ）の画像データから、先行及び／又は後続の単独画像の画像データを用いて、動きベクトルフィールド（ｖｆｄ）を求めるステップと、
ｂ）前記動きベクトルフィールド（ｖｆｄ）から少なくとも１つの特徴量（ｃｈｓ）を導出するステップと、
ｃ）１つまたは複数の前記特徴量（ｃｈｓ）に依存して音響信号（ｓｎｄ）を形成するステップとを有することを特徴とする、ビデオデータストリームから信号を形成する方法。
【請求項２】
移動遠隔通信端末機器（ＭＯＧ）、例えば移動電話において実施する、請求項１記載の方法。
【請求項３】
前記ビデオデータストリームを前記端末機器（ＭＯＧ）のカメラ装置（ＣＡＭ）によって形成する、請求項２記載の方法。
【請求項４】
前記音響信号を、前記端末機器（ＭＯＧ）のオーディオ装置（ＬＳＰ）を介して出力する、請求項２または３記載の方法。
【請求項５】
前記音響信号を、端末機器（ＭＯＧ）により確立される移動遠隔通信コネクションを介して出力する、請求項２または３記載の方法。
【請求項６】
前記ステップａ）において、公知のＭＰＥＧエンコーダ方式を用いて前記動きベクトルフィールドを求める、請求項１から５までのいずれか１項記載の方法。
【請求項７】
前記ステップｂ）において、前記動きベクトルフィールド（ｖｆｄ）から分布（ｈｉｓ）を導出し、該分布に関して統計的な特性量を求め、該特性量から少なくとも１つの特徴量（ｃｈｓ）を検出する、請求項１から６までのいずれか１項記載の方法。
【請求項８】
時間的な順序で単独画像（ｉｍｇ）を包含するビデオデータストリームから信号を形成する装置において、
単独画像（ｉｍｇ）の画像データから、先行及び／又は後続の単独画像を用いて、動きベクトルフィールド（ｖｆｄ）を求める手段（ＥＮＣ）を備えた制御装置が設けられており、
該制御装置は付加的に、前記動きベクトルフィールド（ｖｆｄ）から少なくとも１つの特徴量（ｃｈｓ）を導出し、複数の特徴量または少なくとも１つの特徴量（ｃｈｓ）に依存して音響信号（ｓｎｄ）を形成することを特徴とする、装置。
【請求項９】
移動遠隔通信装置（ＭＯＧ）、例えば移動電話に設けられている、請求項８記載の装置。
【請求項１０】
動きベクトルフィールド（ｖｆｄ）を求める手段（ＥＮＣ）に供給されるビデオデータストリームを形成するカメラ装置（ＣＡＭ）が設けられている、請求項９記載の装置。
【請求項１１】
動きベクトルフィールド（ｖｆｄ）を求める前記手段（ＥＮＣ）はＭＰＥＧエンコーダである、請求項８から１０までのいずれか１項記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時間的な順序で単独画像を包含するビデオストリームからの信号、殊に音響信号の形成に関する。
【０００２】
動き情報の音響信号への変換は、例えば音響的な動き検出器の形態で公知である。例えばこの検出器はビデオカメラを用いて画像を撮像し、画像が変化すると即座に例えば音響アラームのような信号をトリガする。しかしながらそのような動き検出器はある一定の信号しか供給しない。調査される画像領域をそれぞれ１つの異なる信号が対応付けられているフィールドに分割することによって、音響信号の変化をせいぜい実現できるにすぎない。例えば背景に相対的に動く対象が監視されるべき場所の場合には、この種の動き検出器は当然機能を発揮しない。
【０００３】
動きに依存するサウンドの形成は、部隊芸術の分野においても使用される。例えば人間によって為される身体の動きが解釈され、サウンド生成の制御に使用される。このようにして役者は音楽のリズム及びテーマをその動きによって作り上げることができる。動きとサウンドの相互作用は創造的なプロセスであり、このプロセスによって人間は新たな動きによって常に更なる一連のサウンドを形成しようという気になる。サウンドの形成は通常の場合、人間が動く際に例えば動き検出器またはライトバリアのようなセンサが応答し、センサの信号がデータ処理装置を介して処理され、このようにしてセンサに対応付けられたサウンドが形成される。しかしながらこれらのサウンド形成は正に費用のかかる装置に基づくものであり、これらの装置は複数の記録装置を介して視覚的な入力を受け取り、さらには動作中には固定に据え付けられている。
【０００４】
本発明の課題は、１つのカメラを介して記録される動き情報をどのようにしてサウンドパターンに変換できるかという手段を示すことである。ここで、形成されるサウンドは動きの種類、殊に動きの方向によって可変であるべきである。そのようなサウンド形成は殊にカメラが取り付けられている移動電話の機能として統合されるべきである。
【０００５】
この課題は本発明によれば、以下のステップを有する、冒頭で述べたような方法により解決される：
ａ）先行及び／又は後続の単独画像の画像データを用いて、単独画像の画像データから動きベクトルフィールドを求め、
ｂ）動きベクトルフィールドから少なくとも１つの特徴量を導出し、
ｃ）１つまたは複数の特徴量に依存して音響信号を形成する。
【０００６】
本発明による方法には、先行及び／又は後続の単独画像の画像データを用いて、単独画像の画像データから動きベクトルフィールドを求める手段を備えた制御装置を有する装置に適しており、この制御装置は付加的に少なくとも１つの特徴量を動きベクトルフィールドから導出し、音響信号を複数の特徴量または少なくとも１つの特徴量に依存して形成するために構成されている。
【０００７】
本発明による解決手段では、動きの存在だけではなく、記録された動きの大きさ及び／又は方向にも起因するサウンドないし音響信号を形成する。これによって、形成されるサウンドを異なる構成にすることができる。監視の場合にはこのことは例えば、この音響信号は例えば種々の動き経過の区別を実現する音響信号を介する画像領域の種々の監視を可能にする。
【０００８】
有利な実施形態においては本発明による解決手段は、遠隔通信端末機器、殊に移動電話によって実現されている。移動電話では既に頻繁に画像処理機能が設けられているので、この移動電話においては本発明の実施は殊に好適であり、コンパクトに実現することができる。この場合好適には、ビデオデータストリームを端末機器のカメラ装置によって形成することができる。更には音響信号を端末機器のオーディオ装置を介して出力することができるか、端末機器を用いて確立された移動遠隔通信コネクションを介して出力することもできる。
【０００９】
それに加え、殊に移動電話の場合において、ステップａ）において動きベクトルフィールドがそれ自体公知のＭＰＥＧエンコーダ方式を用いて求められる場合には有利である。
【００１０】
ステップｂ）における簡単に実現すべき動きベクトルフィールドの評価は、例えば統計的な方式を使用して分布が導出され、この導出に対して統計的な特性量が求められ、この特性量から少なくとも１つの特徴量が検出されることにある。
【００１１】
更なる利点と共に本発明を以下では、図面に示されている非制限的な実施例に基づき詳細に説明する。図面には概略図が示されており、
図１は、実施例による移動電話の正面図を示し、
図２は、図１の移動電話の背面図を示し、
図３は、図１の移動電話のブロック図を示し、
図４は、ＭＰＥＧエンコーダのブロック図を示し、
図５は、動き評価によって得られたベクトルフィールドの一例を示し、
図６は、図５のベクトルフィールドから導出された動きヒストグラムを示す。
【００１２】
前もって述べておくが、以下に説明する実施例は単に一例として役に立つに過ぎず、上記で述べた本発明はこの実施例に制限されると解されるものではない。
【００１３】
図１及び図２は移動電話ＭＯＧを示し、この移動電話ＭＯＧは本発明によれば、周囲から記録した動きを音響信号に変換する（音響的なカレードスコープ）。電話ＭＯＧはケーシングにおける可視の特徴として公知のようにマイクロフォンＭＩＣと、スピーカＬＳＰと、操作命令及び電話番号を入力するための入力フィールドＥＩＮ（例えばキーボード）とを有し、またこれに加えＬＣＤディスプレイのようなスクリーンの形態の出力部ＤＩＳを有し、この出力部ＤＩＳにビデオ画像を表示することができる。ビデオ画像ｉｍｇは殊に背面（図２）に設けられているカメラモジュールＣＡＭに由来し、このカメラモジュールＣＡＭは周囲から画像を記録するために使用され、これらの画像を本発明による画像データ処理装置に供給する。同様に移動電話ＭＯＧの背面には公知のようにバッテリ及びＳＩＭカードのための区画ＣＡＣが設けられている。
【００１４】
図３のブロック図は電話ＭＯＧの構成要素を示す。公知のように、入出力素子ＬＳＰ、ＭＩＣ、ＥＩＮ及びディスプレイＤＩＳの他に、移動遠隔通信機能を実施するためのアンテナＡＮＮ及び送受信装置ＳＥＥが設けられており、さらにはユーザが入力部ＥＩＮを介して入力した命令を解釈し、装置ＳＥＥを相応に制御するための制御装置としてプロセッサＰＲＣが設けられている。
【００１５】
さらにプロセッサＰＲＣは本発明によれば、カメラモジュールの画像データｉｍｇを処理するために構成されており、この画像データｉｍｇから、以下説明するようにして、ビデオコーディング及び動きフィールド分析を用いてサウンドｓｎｄが形成される。画像ｉｍｇの動き情報からサウンドｓｎｄを形成するための機能は、実質的に以下のステップを包含する：
ａ）所属の動きベクトルフィールドを検出するための、例えばＭＰＥＧアルゴリズムを用いるエンコードモジュールＥＮＣによる画像情報ｉｍｇのエンコーディング、
ｂ）プロセッサシステムＰＲＣの分析モジュールＡＡＮにおいての所定の特徴量、例えば支配的な動きベクトルについてのベクトルフィールドｖｆｄの分析、
ｃ）ここで示す実施例においては同様にプロセッサシステムＰＲＣにおいて実現されている合成モジュールＳＹＮによる、量ｃｈｓに基づくサウンドの形成、例えば支配的な動きベクトルの配向及び値の関数としてのサウンドの形成。
【００１６】
画像情報をエンコーディングするステップａ）は例えば公知のＭＰＥＧエンコーディングを用いて行われる。このステップはディジタル化された一連の画像を圧縮及び伝送するための標準的な方法であり、例えばビデオ電話を目的としたカメラを備えた移動電話において既に様々に実現されている。本方法における本質的な構成要素は、連続する画像の動き評価部ＢＳ（下記参照）と、動き補償部ＢＫと、データ低減部ＤＫと接続されている、動き補償された画像を離散コサイン変換部（ＤＣＴ）を用いて周波数領域に変換する変換部である。本方法の原理は図４に見て取れる。これについての詳細は「Digital Signal Processing for Multimedia Systems」Keshab K. Parhi及びTakao Nishitani (Hrsg.), Marcel Dekker, Inc., New York、第３１頁から３７頁に示されている。
【００１７】
本発明により音響信号を導出するためには、もっともＭＰＥＧ方式により圧縮された画像よりも、ＭＰＥＧ方式の一部である動き評価部ＢＳの結果が必要である。動き評価部ＢＳに対する入力は、時点ｔｎにおいて評価すべき画像の他に、この画像に先行する時点ｔｎ−１における画像ｉｍｐである。画像ｉｍｐは、先行する画像のＤＣＴ変換されて動き補償された信号に逆ＤＣＴ（ｉＤＣＴ）を実施することにより得られるか、画像記憶装置ＩＳを用いて画像交換の期間にわたり中間記憶されることによって得られる。
【００１８】
画像ｉｍｐは参照画像として使用され、また多数のブロックｂｂｌ、例えば図５に示されているように、それぞれが１６×１６ピクセルの３６ピクセルブロックに分割される。これらのピクセルブロックｂｂｌ各々に対して、評価すべき画像ｉｍｎではＭＳＥ（平均２乗誤差）法により局所的な近傍における最善の整合が調べられる。このようにして各ブロックｂｂｌに対して変位ベクトルに関する情報が得られる。図５は一例として図１の画像ｉｍｇを示し、この画像ｉｍｇにおいては各ブロックｂｂｌに対して算出された動きベクトルｖが付加的にプロットされている。画像は背景に車が走行しているものであり、カメラは一連の画像を記録する際に車両に合わせて旋回運動した。この旋回運動に基づき、車両において算出された動きベクトルはほぼ零であり、一方周辺におけるベクトルには動きが示される。この処理の結果生じる動きベクトルフィールドｖｆｄが後続の処理段に対する入力である。
【００１９】
公知のＭＰＥＧ方式の一部であるここで説明する動き評価は簡単であるが、それにもかかわらず効果的な動き分析を供給する。本発明の枠内では、動きベクトルフィールドを供給し、このために一般的に検査すべき画像に時間的に先行するまたは後に続く１つまたは複数の画像を使用する他の動き分析方法も使用することができる。
【００２０】
後続のステップｂ）では、動きベクトルフィールドｖｆｄから１つまたは複数の特徴量ｃｈｓ、ここでは例えば支配的な動き配向が検出される。この検出は分析モジュールＡＡＮにおいて行われる。ここで考察する例では、動きベクトルフィールドからの全てのベクトルの配向がヒストグラムｈｉｓにエントリされる（図６を参照されたい）。（明瞭にするため図６では１６の方向クラスへの分割が行われているが、勿論基本量のクラス数をこの数よりも明らかに多くすることができるのであって、ブロックｂｂｌの個数及び動き評価の解像度によってのみ制限されている）。ヒストグラムｈｉｓによって表される分布内の最大値ｂｍｘは画像内の主たる動き方向を示す。この方向に関して動き速度の値が検出され、この値は、所定の許容差（例えば最大値のヒストグラムクラスにそれぞれ隣接する２つのクラス）でもってこの主たる動き方向に属している全てのベクトルからの簡単な平均値形成によって算出される。この処理の結果は、その配向及び値によって画像内の主たる動きが表される１つのベクトルである。このベクトルはここで考察する例においては（２次元の）特徴量ｃｈｓであり、この特徴量ｃｈｓに基づき後続の処理段においてサウンドが導出される。
【００２１】
本発明の別の実施形態においては評価を別のやり方でも実施することも勿論可能である。例えば、ベクトルの配向及び値を考察する（＝２次元の基本量の頻度）ヒストグラムを評価することができる。評価の基礎として使用できる量は、例えば最も頻度の高い値（最大値）、第２最大値、所属の変数、高次の重みなどのような分布の統計的な特性データである。
【００２２】
続くステップｃ）では合成モジュールＳＹＮにおいて特徴量ｃｈｓに基づくサウンド形成が行われる。先行して検出された主たる動きベクトルの配向及び値の関数としてサウンドｓｎｄが形成され、スピーカＬＳＰを介して出力される。択一的に、それ自体公知のやり方で電気的に表される音響信号として存在するサウンドシーケンスを移動電話ＭＯＧの移動遠隔通信コネクションを介して他の加入者に伝送することができる。
【００２３】
例えば、サウンド形成の際に動き速度の値はサウンド量を制御し、他方では動き配向に依存して種々のサウンドが形成される。この際例えばヒストグラムｈｉｓに表されている各配向クラスが事前に記憶されているサウンドに対応付けられており、このサウンドは音の高さ及び／又は調性の特徴（上音スペクトル）によって他のサウンドと区別される。サウンドを音の高さに応じて配列できるが、これは必ずしも必要ではない。
【００２４】
勿論、サウンド形成のやり方を変えることができる。つまり本発明の変形では、分布ｈｉｓの複数の最大値ｈｍｘ、ｂｍｘを１つの音に重畳される。別の変型ではヒストグラムｈｉｓを直接的に合成装置ＳＹＮに供給することができ、この合成装置ＳＹＮはこのヒストグラムを基本サウンドの上サウンドスペクトルとして使用する。基本サウンドの音の高さを一定（例えばＡ、１１０Ｈｚ）に保つことができるか、上述の方法に応じて決定することができる。
【図面の簡単な説明】
【００２５】
【図１】実施例による移動電話の正面図である。
【図２】図１の移動電話の背面図を示す。
【図３】図１の移動電話のブロック図を示す。
【図４】ＭＰＥＧエンコーダのブロック図を示す。
【図５】動き評価によって得られたベクトルフィールドの一例を示す。
【図６】図５のベクトルフィールドから導出された動きヒストグラムを示す。
【図１】
2005510907.tif 000003
【図２】
2005510907.tif 000004
【図３】
2005510907.tif 000005
【図６】
2005510907.tif 000006
【図４】
2005510907.tif 000007
【図５】
2005510907.tif 000008
【国際調査報告】
2005510907.tif 000009
2005510907.tif 000010
2005510907.tif 000011
2005510907.tif 000012
2005510907.tif 000013
2005510907.tif 000014
2005510907.tif 000015
2005510907.tif 000016