(57)【要約】【課題】例えば瞬間的に動きの速い障害物を含む画像であっても、高精度なトラッキングを行うことができるデータ伝送方法およびその装置、並びにデータ伝送システムを提供することにある。【解決手段】撮像手段により撮像された伝送すべきターゲット画像を含む画像の内の、少なくともターゲット画像の一部を含むサブターゲット画像に基づいてマッチングを行うサブパターンマッチング部５０３３２と、サブパターンマッチング部５０３３２のマッチング結果、および、ターゲット画像のマッチング結果に基づいて所望の画像データを生成するメインパターンマッチング部５０３３１と、画像から伝送すべきターゲット画像が略前記画枠いっぱいになるように調整する矩形領域抽出部５０３４と、抽出した画枠内の画像データを伝送する伝送回路を設ける。【選択図】  図４
2004241871.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも画像データをあらかじめ設定された大きさの画枠内に収めて伝送するデータ伝送方法であって、
伝送すべきターゲット画像を含む画像を撮像し、
前記ターゲット画像、および、少なくとも前記ターゲット画像の一部を含むサブターゲット画像に基づいてマッチングを行い、
前記マッチングの結果に基づいて、前記画像から伝送すべきターゲット画像が略前記画枠いっぱいになるように調整し、
前記調整の結果、前記画枠内の画像データを圧縮して伝送する
データ伝送方法。
【請求項２】
前記マッチングを行う場合に、前記ターゲット画像、および、前記ターゲット画像の一部を含み、当該ターゲット画像を取り囲む複数のサブターゲット画像に基づいてマッチングを行う
請求項１に記載のデータ伝送方法。
【請求項３】
前記マッチングを行う場合に、少なくとも前記複数のサブターゲット画像のトラッキングの平均に基づいて前記マッチングを行う
請求項２に記載のデータ伝送方法。
【請求項４】
少なくとも画像データをあらかじめ設定された大きさの画枠内に収めて伝送するデータ伝送装置であって、
伝送すべきターゲット画像を含む画像を撮像する撮像手段と、
前記撮像手段で撮像された画像の内の前記ターゲット画像、および、少なくとも前記ターゲット画像の一部を含むサブターゲット画像に基づいてマッチングを行うマッチング手段と、
前記マッチング手段の前記マッチングの結果に基づいて、前記画像から伝送すべきターゲット画像が略前記画枠いっぱいになるように調整する調整手段と、
前記調整手段により調整された結果に基づいて、前記画枠内の画像データを圧縮して伝送する伝送手段とを有する
データ伝送装置。
【請求項５】
前記マッチング手段は、前記ターゲット画像、および、前記ターゲット画像の一部を含み、当該ターゲット画像を取り囲む複数のサブターゲット画像に基づいてマッチングを行う
請求項４に記載のデータ伝送装置。
【請求項６】
前記マッチング手段は、少なくとも、前記複数の前記サブターゲット画像のトラッキングの平均に基づいて前記マッチングを行う
請求項５に記載のデータ伝送装置。
【請求項７】
複数端末間で少なくともユーザの画像データを表示画面に表示させ、受信した画像データを前記表示画面に表示させながら、少なくとも画像データを伝送するデータ伝送システムであって、
前記端末は、伝送すべきターゲット画像を含む画像を撮像する撮像手段と、
前記撮像手段で撮像された画像の内の前記ターゲット画像、および、少なくとも前記ターゲット画像の一部を含むサブターゲット画像に基づいてマッチングを行うマッチング手段と、
前記マッチング手段の前記マッチングの結果に基づいて、前記画像から伝送すべきターゲット画像が略前記画枠いっぱいになるように調整する調整手段と、
前記調整手段により調整された結果に基づいて、前記画枠内の画像データを圧縮して伝送する伝送手段とを有する
データ伝送システム。
【請求項８】
前記マッチング手段は、前記ターゲット画像、および、前記ターゲット画像の一部を含み、当該ターゲット画像を取り囲む複数のサブターゲット画像に基づいてマッチングを行う
請求項７に記載のデータ伝送システム。
【請求項９】
前記マッチング手段は、少なくとも、前記複数の前記サブターゲット画像のトラッキングの平均に基づいて前記マッチングを行う
請求項８に記載のデータ伝送システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数端末間で、コミュニケーション、ストリーミング等を行う場合における、画像を含むデータ伝送方法、および、携帯電話、ＰＤＡ、ＴＶ電話端末、ＰＣ端末等のデータ伝送装置、並びにデータ伝送システムに関するものである。
【０００２】
【従来の技術】
複数端末間で、コミュニケーション、ストリーミング等を行う通信サービスとして、例えば図１０に示すように、携帯電話からなる移動体端末（ＭＴ：Ｍｏｂｉｌｅ  Ｔｅｒｍｉｎａｌ）によるデータ伝送システムとしてのビジュアルコミュニケーションサービスが行われている。
【０００３】
このビジュアルコミュニケーションサービスシステム１は、移動体端末（以下、単に端末という）２−１と端末２−２間で、音声と、画像を圧縮して互いの信号を、伝送路３を通して交換することで、相手の顔を見ながら、会話を楽しむことができるものである。
端末２−１、２−２は、外観的には本体ケース２１と、本体ケース２１の下方に設けられた、通話機能のための電話番号を入力したり、所定の動作指示を入力するためのテンキー等を含む操作部２２と、操作部２２の上方に設けられた表示モニタ２３と、表示モニタ２３の上方（本体ケース２１の上部）に設けられたカメラ２４と、アンテナ２５とを有している。
【０００４】
伝送路３は、無線基地局（ＭＢＳ：Ｍｏｂｉｌｅ  Ｂａｓｅ  Ｓｔａｔｉｏｎ  ）３１−１，３１−２、移動交換局（ＭＳＣ：Ｍｏｂｉｌｅ  Ｓｗｉｔｃｈｉｎｇ  Ｃｅｎｔｅｒ  ）３２−１，３２−２、ホームロケーションレジスタ（ＨＬＲ：Ｈｏｍｅ  Ｌｏｃａｔｉｏｎ  Ｒｅｇｉｓｔｅｒ）を有する関門移動交換局（ＧＭＳＣ：Ｇａｔｅｗａｙ  Ｍｏｂｉｌｅ  Ｓｗｉｔｃｈｉｎｇ  Ｃｅｎｔｅｒ  ）３３−１，３３−２、および回線網３５により構成されている。
【０００５】
無線基地局３１−１，３１−２は、端末２−１、２−２との通信を行う。これら基地局３１−１，３１−２でやり取りされる信号は、その上位に位置する移動交換局３２−１，３２−２に送られ、さらに、その上位の関門移動交換局３３−１，３３−２を介してバックボーン回線網３５に繋がっている。
【０００６】
ところで、このような回線網３５に画像を伝送する場合、回線網３５に流せる情報量は、回線網３５の帯域によって制限されている。したがって、例えば端末２−１で会話を行っているユーザは、カメラ２４による自分の画像は、スルーでモニタされるために、図１０中、２３ａで示す画像のように高画質でみることができるが、端末２−１で圧縮され、端末２−２に伝送されたとき、端末２−２は、端末２−１から送られてきた映像は、２３ｂで示す画像のように画質が極端に劣化してしまう。同様に、端末２−２から端末２−１に送られてきた画像も、端末２−１では極端に劣化してしまう。
【０００７】
このため、例えば所望のターゲット画像をリファレンス画像として、ターゲット画像の内の特徴部分に基づいてフレーム間でトラッキングを行い、トラッキングの結果に基づいてターゲット画像が所定の画枠いっぱいになるように、拡大、回転、縮小等の処理を行い、そのターゲット画像を圧縮して通信を行い、伝送されてきた画像と自分自身の画像の画質を略同程度に保持でき、また、互いの目線がよりあった状態での通信を実現できるデータ伝送システムが知られている（例えば、特許文献１参照。）。
【０００８】
【特許文献１】
特開２００２−５１３１５号公報
【０００９】
【発明が解決しようとする課題】
しかし、上述したデータ伝送システムでは、単一のターゲット画像をリファレンス画像として、そのリファレンス画像に基づいてトラッキング処理を行っているので動きの速い画像の場合、例えば瞬間的な障害物、例えばユーザが手を振った時の手がリファレンス画像内に撮像された場合などに、障害物の影響によりマッチングの精度が悪くなる可能性がある。
例えば、トラッキングの結果、その手の方向に引っ張られてしまう可能性があり、その場合には所望のターゲット画像が画枠からずれてしまう場合があり、瞬間的に動きの速い障害物を含む画像であっても、高精度なトラッキングを行えるように改善が望まれている。
【００１０】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、例えば瞬間的に動きの速い障害物を含む画像であっても、高精度なトラッキングを行うことができるデータ伝送方法およびその装置、並びにデータ伝送システムを提供することにある。
【００１１】
【課題を解決するための手段】
前記目的を達成するために、本発明の第１の観点は、少なくとも画像データをあらかじめ設定された大きさの画枠内に収めて伝送するデータ伝送方法であって、伝送すべきターゲット画像を含む画像を撮像し、前記ターゲット画像、および、少なくとも前記ターゲット画像の一部を含むサブターゲット画像に基づいてマッチングを行い、前記マッチングの結果に基づいて、前記画像から伝送すべきターゲット画像が略前記画枠いっぱいになるように調整し、前記調整の結果、前記画枠内の画像データを圧縮して伝送する。
【００１２】
さらに、前記目的を達成するために、本発明の第２の観点は、少なくとも画像データをあらかじめ設定された大きさの画枠内に収めて伝送するデータ伝送装置であって、伝送すべきターゲット画像を含む画像を撮像する撮像手段と、前記撮像手段で撮像された画像の内の前記ターゲット画像、および、少なくとも前記ターゲット画像の一部を含むサブターゲット画像に基づいてマッチングを行うマッチング手段と、前記マッチング手段の前記マッチングの結果に基づいて、前記画像から伝送すべきターゲット画像が略前記画枠いっぱいになるように調整する調整手段と、前記調整手段により調整された結果に基づいて、前記画枠内の画像データを圧縮して伝送する伝送手段とを有する。
【００１３】
さらに、前記目的を達成するために、本発明の第３の観点は、複数端末間で少なくともユーザの画像データを表示画面に表示させ、受信した画像データを前記表示画面に表示させながら、少なくとも画像データを伝送するデータ伝送システムであって、前記端末は、伝送すべきターゲット画像を含む画像を撮像する撮像手段と、前記撮像手段で撮像された画像の内の前記ターゲット画像、および、少なくとも前記ターゲット画像の一部を含むサブターゲット画像に基づいてマッチングを行うマッチング手段と、前記マッチング手段の前記マッチングの結果に基づいて、前記画像から伝送すべきターゲット画像が略前記画枠いっぱいになるように調整する調整手段と、前記調整手段により調整された結果に基づいて、前記画枠内の画像データを圧縮して伝送する伝送手段とを有する。
【００１４】
本発明によれば、撮像手段では、伝送すべきターゲット画像を含む画像が撮像され、マッチング手段では、撮像手段で撮像された画像の内のターゲット画像、および、少なくともターゲット画像の一部を含むサブターゲット画像に基づいてマッチングが行われる。
調整手段では、マッチング手段のマッチングの結果に基づいて、画像から伝送すべきターゲット画像が略前記画枠いっぱいになるように調整され、伝送手段では、調整手段により調整された結果に基づいて、画枠内の画像データを圧縮して伝送される。
【００１５】
【発明の実施の形態】
図１は、本発明に係るデータ伝送システムとしてのビジュアルコミュニケーションサービスシステムの一実施形態を示すシステム構成図である。
【００１６】
本実施形態に係るビジュアルコミュニケーションサービスシステム１００は、複数端末、例えば移動体端末（以下、単に端末という）５０−１と端末５０−２間で、音声と、画像を圧縮して互いの信号を伝送路６０を通して交換することで、相手の顔を見ながら会話を楽しむことが可能となっている。
【００１７】
図２は、端末５０−１、５０−２の一構成例を示す外観図である。
端末５０−１、５０−２は、外観的には図２に示すように、本体ケース５１と、本体ケース５１の下方に設けられた、通話機能のための電話番号を入力したり、所定の動作指示を入力するためのテンキー等を含む操作部５２と、操作部５２の上方に設けられたモニタとしての表示モニタ５３と、表示モニタ５３の略中央領域にレンズ部分が配置された撮像手段としてのカメラモジュール５４と、アンテナ５５、およびＧＵＩとしての機能を備えたロック手段あるいは指定手段としてのスイッチ５６とを有している。
なお、図２においては、マイク部やスピーカ部は省略しており、データ伝送装置としての端末の具体的な回路構成は、後で詳述する。
【００１８】
上記したように表示モニタ５３は、その略中央領域にカメラモジュール５４のレンズ部分が配置されており、図２に示すように、レンズ部分の配置を中心として、上下に顔画像と後記するアプリケーションサービスプロバイダ（ＡＳＰ）による所定のコンテンツ画像が表示される。図２の例では、上側に顔画像を表示させ、下側にコンテンツ画像を表示させているが、逆に、上側にコンテンツ画像を表示させ、下側に顔画像を表示させるように構成することも可能である。
【００１９】
伝送路６０は、無線基地局（ＭＢＳ：Ｍｏｂｉｌｅ  Ｂａｓｅ  Ｓｔａｔｉｏｎ  ）６１−１，６１−２、移動交換局（ＭＳＣ：Ｍｏｂｉｌｅ  Ｓｗｉｔｃｈｉｎｇ  Ｃｅｎｔｅｒ  ）６２−１，６２−２、ホームロケーションレジスタ（ＨＬＲ：Ｈｏｍｅ  Ｌｏｃａｔｉｏｎ  Ｒｅｇｉｓｔｅｒ）を有する関門移動交換局（ＧＭＳＣ：Ｇａｔｅｗａｙ  Ｍｏｂｉｌｅ  Ｓｗｉｔｃｈｉｎｇ  Ｃｅｎｔｅｒ  ）６３−１，６３−２、および回線網６４を含んでいる。
【００２０】
無線基地局６１−１，６１−２は、端末５０−１，５０−２との通信を行う。これら基地局６１−１，６１−２でやり取りされる信号は、その上位に位置する移動交換局６２−１，６２−２に送られ、さらに、その上位の関門移動交換局６３−１，６３−２を介してバックボーン回線網６４に繋がっている。
さらに、回線網６４には、関門局（ＧＷ：Ｇａｔｅｗａｙ  ）６５が接続されており、関門局６５には、コンテンツ配信を可能としたアプリケーションサービスプロバイダ（ＡＳＰ）６６が接続されている。これにより、複数のコンテンツＣＯＮＴが用意されたアプリケーションサービスプロバイダ（ＡＳＰ）６６を立ち上げ、これらコンテンツＣＯＮＴを、関門局６５を通じて、各端末５０−１，５０−２に同じ映像を出力することができる。
【００２１】
以下に、上記するようなビジュアルコミュニケーションサービスシステム１００に適用される、本発明に係るデータ伝送装置としての端末５０（端末５０−１、５０−２）の具体的な信号処理系の回路構成を図面に関連付けて順を追って説明する。
【００２２】
図３は、本発明に係るデータ伝送装置としての端末の信号処理系の一実施形態を示す回路図である。
この信号処理系５００は、図３に示すように、マイクロフォン５０１、カメラ回路５０２、前処理回路５０３、ビデオ圧縮符号化器５０４、音声圧縮符号化器５０５、マルチプレクサ（ＭＵＸ）５０６、伝送回路５０７、受信回路５０８、デマルチプレクサ（ＤｅＭＵＸ）５０９、ビデオ復号化器５１０、音声復号化器５１１、画像合成装置５１２、表示回路５１３、スピーカ５１４、ＧＵＩインタフェース（Ｉ／Ｆ）回路５１５、およびＣＰＵ５１６を有している。伝送回路５０７は本発明に係る伝送手段に相当する。
【００２３】
マイクロフォン５０１は、ユーザ等が発した音声を電気信号に変換して音声圧縮符号化器５０５に出力する。
【００２４】
カメラ回路５０２は、カメラモジュール５４のレンズを通して撮像され、光信号から電気信号に変換された例えばユーザの上半身部分の画像に対し所定の処理を施して、ディジタル画像信号Ｓ５０２として前処理回路５０３に出力する。
【００２５】
前処理回路５０３は、画像信号Ｓ５０２を受けて、撮像したユーザの上半身部分の画像から、伝送すべき画像（以下、ターゲット画像という）を抽出し、伝送する画像の画枠いっぱいになるように合わせた画像信号を生成してビデオ圧縮符号化器５０４および画像合成装置５１２に出力する。
【００２６】
前処理回路５０３は、画枠にターゲット画像をいっぱいに合わせる処理としては、例えば伝送画像の特徴部分の画像を利用してマッチングを行い、最もマッチングがとれたところを中心に、その周りの画像を切り出すことで、画像のトラッキングを可能にしている。
なお、ここで「画枠いっぱい」とは、背景が何かがわからない程度に、ターゲット画像で埋め尽くすことを言う。特にコミュニケーションにおける画像伝送装置では、このターゲット画像は、顔画像である場合が多い。
【００２７】
図４は、図３に示した実施形態に係るデータ伝送処理としての端末の信号処理系の前処理回路を示す回路図である。
図５は、一般的な前処理回路のトラッキング処理を説明するための概略図である。図６は、動きの速い画像がある場合の一般的な前回路のトラッキング処理を説明するための概念図である。図７は、図４に示した本実施形態に係る前処理回路のトラッキング処理を説明するための概念図である。
【００２８】
前処理回路５０３は、図４に示すように、サーチ範囲抽出部５０３１、２値化部５０３２、パターンマッチング部５０３３、リファレンスメモリ部５０３４、および矩形領域抽出部５０３５を有する。
【００２９】
一般的なトラッキング処理としては、例えば図５（Ａ）に示す前画像ＰＩＭのリファレンス画像ＲＩＭの座標情報を元に、図５（Ｂ）に示すサーチ範囲部分ＳＲＧを抽出する。図５（Ｂ）中に示すサーチ範囲部分ＳＲＧ内でパターンマッチング処理を行い、一致度が最も高い位置の画像データＭＭＴを採用し、これを現画像ＣＩＭにおけるトラッキング結果とし、一致度が最も高い位置の画像データＭＭＴを次画像におけるリファレンス画像とする。このリファレンス画像は伝送すべきターゲット画像である。
【００３０】
しかし、例えば速い動きの障害物ＳＢＫ、例えば図６に示すように手ＳＢＫがサーチ範囲部分ＳＲＧ内に位置した場合に、リファレンス画像ＲＩＭに基づいてパターンマッチング処理が行われると、一致度が明確に高い位置の画像を検索することが困難となり、所望の画像データＭＭＴではなく例えば誤って図６に示すように障害物ＳＲＧに近い位置の画像データＭＭＴが、一致度が高いと判別してしまうことがある。
【００３１】
このため、本実施形態に係る前処理回路５０３においては、図７（Ａ）に示すように、リファレンス画像ＲＩＭの周辺部に位置するサブリファレンス画像ＳＲＩＭの座標情報の情報、およびリファレンス画像ＲＩＭに基づいて、パターンマッチング処理を行う。
このサブリファレンス画像ＳＲＩＭとしては、例えば複数のサブリファレンス画像を設ける。例えばサブリファレンス画像ＳＲＩＭは、図７（Ａ）に示すように、例えば少なくともリファレンス画像ＲＩＭの画像の一部を含み、リファレンス画像ＲＩＭを取り囲むように、複数のサブリファレンス画像ＳＲＩＭ１〜４を設ける。
以下に前処理回路５０３の処理について、さらに詳述する。
【００３２】
本実施形態に係る前回路５０３において、図４に示すようにサーチ範囲抽出部５０３１はメインサーチ範囲抽出部５０３１１およびサブサーチ範囲抽出部５０３１２を有し、２値化部５０３２はメイン２値化部５０３２１およびサブ２値化部５０３２２を有し、パターンマッチング部５０３３はメインパターンマッチング部５０３３１およびサブパターンマッチング部５０３３２を有し、並びにリファレンスメモリ部５０３４はメインリファレンスメモリ部５０３４１およびサブリファレンスメモリ部５０３４２を有する。
パターンマッチング部５０３３は本発明に係るマッチング手段に相当する。矩形領域抽出部５０３５は本発明に係る調整手段に相当する。
【００３３】
メインサーチ範囲抽出部（メイン抽出部とも言う）５０３１１は、入力画像および、図７（Ａ）に示す前画像ＰＩＭのリファレンス画像ＲＩＭの座標情報を元に、図５（Ｂ）に示すメインサーチ範囲部分ＳＲＧを抽出し、信号Ｓ５０３１１として出力する。
【００３４】
サブサーチ範囲抽出部（サブ抽出部とも言う）５０３１２は、例えば入力画像、メイン抽出部５０３１１により抽出されたメインサーチ範囲部分ＳＲＧを示すデータＣＴＬ１、およびサブリファレンスメモリ部から出力されるデータＳ５０３４２に基づいて、サブリファレンス画像ＳＲＩＭのサブサーチ範囲部分を抽出し、信号Ｓ５０３１２として出力する。このサブサーチ範囲部分は例えばサーチ範囲部分ＳＲＧよりも大きく、サーチ範囲部分ＳＲＧを取り囲むように抽出される。
【００３５】
メイン２値化部５０３２１は、メインサーチ範囲抽出部５０３１１で抽出されたサーチ範囲データの輝度信号Ｓ５０３１１を２値化して、信号Ｓ５０３２１としてメインパターンマッチング部５０３３１に供給する。
サブ２値化部５０３２２は、サブサーチ範囲抽出部５０３１２で抽出されたサブサーチ範囲データの輝度信号Ｓ５０３１２を２値化して、信号Ｓ５０３２２としてサブパターンマッチング部５０３３２に供給する。
【００３６】
メインパターンマッチング部５０３３１は、メイン２値化部５０３２１によるサーチ範囲データの輝度信号の２値化データＳ５０３２１と、メインリファレンスメモリ部５０３４１に格納されている図７（Ａ）に示す前画像ＰＩＭのメインリファレンス画像ＲＩＭの２値化されたデータとの輝度情報のパターンマッチング処理を行う。
【００３７】
このパターンマッチング処理は、図７（Ｂ）中に示すメインサーチ範囲部分ＳＲＧ内で一致度が最も高い位置の画像データを採用し、メインリファレンス画像の移動および方向を示すメイン動きベクトルＶを生成する。しかし図７（Ｂ）に示すように障害物ＳＢＫの影響により、所望のメイン動きベクトルＲＶと異なるベクトルＶを示す場合がある。
【００３８】
このため、メインパターンマッチング部５０３３１は、サブパターンマッチング部５０３３２から出力されたサブリファレンス画像ＳＲＩＭのマッチング結果を示すデータＳ５０３３２、および、上述のメインリファレンス画像のパターンマッチングの結果に基づいて、メインリファレンス画像ＲＩＭの動きベクトルＶを補正して、メイン動きベクトルＲＶを生成し矩形領域抽出部５０３５に出力する。
【００３９】
詳細には、メインパターンマッチング部５０３３１は、サブリファレンス画像ＳＩＭのサブ動きベクトルＳＶと、およびメイン動きベクトルＶに基づいて、例えば平均を計算して、メイン動きベクトルＲＶを生成する。
このためメイン動きベクトルＲＶに対応する画像データＭＭＴは、障害物ＳＢＫの影響を受けることが少ない。この画像データＭＭＴを現画像ＣＩＭにおけるトラッキング結果とする。また、パターンマッチング部５０３３は、この時のトラッキング結果である画像データＭＭＴを次画像におけるメインリファレンス画像としてメインリファレンスメモリ部５０３４１に格納する。
【００４０】
サブパターンマッチング部５０３３２は、サブ２値化部５０３２２によるサブサーチ範囲データの輝度信号の２値化データＳ５０３２２と、サブリファレンスメモリ部５０３４２に格納されている図７（Ａ）に示す前画像ＰＩＭのサブリファレンス画像ＳＲＩＭ１〜４の２値化されたデータとの輝度情報のパターンマッチング処理を行い、そのパターンマッチング処理の結果を示すデータＳ５０３３２を、メインパターンマッチング部５０３３１に出力する。
【００４１】
詳細には、サブパターンマッチング部５０３３２は、サブリファレンス画像ＳＲＩＭ１〜４それぞれのパターンマッチング処理により、例えば図７（Ｂ）に示すように、サブリファレンス画像ＳＲＩＭ１〜４に一致度が高い画像パターンの移動方向および距離を示し、サブリファレンス画像ＳＲＩＭ１〜４それぞれに対応するサブ動きベクトルＳＶ１〜４を生成する。
サブパターンマッチング部５０３３２は、例えばサブ動きベクトルＳＶ１〜４に基づいて、メインパターンマッチング部５０３３１のメインリファレンス画像ＲＩＭに対応するメイン動きベクトルを補正させるためのデータを信号Ｓ５０３３２として、メインパターンマッチング部５０３３２に出力する。
【００４２】
例えば、サブパターンマッチング部５０３３２は、複数のサブ動きベクトルＳＶ１〜４の場合には、複数のサブ動きベクトルＳＶのうち、他のサブ動きベクトルと著しく異なる場合、例えば所定の許容範囲外の場合には、その動きベクトルを除いたサブ動きベクトルＳＶ１を示すデータをメインパターンマッチング部５０３３１に出力する。
例えば図７（Ｂ）に示すような場合には、障害物ＳＢＫの影響によりサブ動きベクトルＳＶ４が、他のサブ動きベクトルＳＶ１〜３と著しく異なるので、サブ動きベクトルＳＶ４を除いたサブ動きベクトルＳＶ１〜３を示す信号Ｓ５０３３２を、メインパターンマッチング部５０３３１に出力する。
【００４３】
また、サブパターンマッチング部５０３３２は、パターンマッチング処理の後、サブリファレンス画像ＳＲＩＭをサブリファレンスメモリ部５０３４２に出力しサブリファレンス画像を更新する。
【００４４】
メインリファレンスメモリ部５０３４１は、メインリファレンス画像ＲＩＭを記憶し、メインパターンマッチング部５０３３１により参照および逐次更新する。メインリファレンス画像ＲＩＭを信号Ｓ５０３４１として、メイン抽出部５０３１１に出力する。
サブリファレンスメモリ部５０３４２は、サブリファレンス画像ＳＲＩＭを記憶し、サブパターンマッチング部５０３３２により参照および逐次更新される。サブリファレンス画像ＳＲＩＭを信号Ｓ５０３４２として、サブ抽出部５０３１２に出力する。
【００４５】
矩形領域抽出部５０３５は、メインパターンマッチング部５０３３１から出力された信号Ｓ５０３３に基づいて、メインパターンマッチング部５０３３１で得られたトラッキング結果ＭＭＴの周りを含めた矩形領域を切り出して出力する。
【００４６】
このような構成を有する前処理回路５０３では、ユーザが送信する所望の画像状態（以後、これを初期リファレンス画像と呼ぶ）を維持するために、入力画像のトラッキングを行う。そして、トラッキングは伝送フレームレートと同じか、それ以上のフレームレートで行い、同時にトラッキングの基準となるリファレンス画像も逐次更新する。
【００４７】
前処理回路５０３におけるトラッキングは、ＣＰＵ５１６から初期リファレンス画像情報（図８および図９を参照して後述する）が送信されると開始される。
【００４８】
まず、カメラ回路５０２により新しく入力された、図５（Ｂ）に示すような、入力画像データ（現画像）ＣＩＭは、メインリファレンスメモリ部５０３４１に格納されている前画像ＰＩＭのメインリファレンス画像ＲＩＭの座標情報を元にメインサーチ範囲抽出部５０３１１でメインサーチ範囲部分ＳＲＧが抽出される。次に、抽出されたデータの輝度信号は、メイン２値化部５０３２１で２値化された後、メインパターンマッチング部５０３３１で、メインリファレンスメモリ部５０３４１に格納されているメインリファレンス画像ＲＩＭの２値化されたデータとの輝度情報のパターンマッチング処理が行われる。
【００４９】
また、カメラ回路５０２により新しく入力された入力画像データ（現画像）ＣＩＭは、サブリファレンスメモリ部５０３４２に格納されている前画像ＰＩＭのサブリファレンス画像ＳＲＩＭの座標情報を元にサブサーチ範囲抽出部５０３１２でサブサーチ範囲部分が抽出される。次に、抽出されたデータの輝度信号は、サブ２値化部５０３２２で２値化された後、サブパターンマッチング部５０３３２で、サブリファレンスメモリ部５０３４２に格納されているサブリファレンス画像ＳＲＩＭの２値化されたデータとの輝度情報のパターンマッチング処理が行われる。
【００５０】
このサブパターンマッチング部５０３３２によるマッチング結果を示す信号Ｓ５０３３２がメインパターンマッチング部５０３３１に出力される。
メインパターンマッチング部５０３３１では、信号Ｓ５０３３２、およびメインリファレンス画像ＲＩＭのパターンマッチング結果に基づいて、動きベクトルＲＶを生成される。
【００５１】
そのベクトルＲＶに対応する画像データＭＭＴは、次画像におけるリファレンス画像としてメインリファレンスメモリ部５０３４１に格納され保持される。サブパターンマッチング部５０３３２によりマッチングされた画像データは、サブリファレンス画像としてサブリファレンスメモリ部５０３４２に格納され保持される。
そして、矩形領域抽出部５０３５にて、メインパターンマッチング部５０３３１で得られたトラッキング結果ＭＭＴの周りを含めた矩形領域が切り出されて出力される。
【００５２】
次に、初期リファレンス画像の第１および第２の決定方法について、図８および図９に関連付けて説明する。
【００５３】
第１の決定方法は、伝送画像サイズ枠のモニタリングを行うことにより決定する。具体的には、図８（Ａ）に示すように、初期画像ＩＩＭ内に伝送画像サイズ枠ＦＲを設定しておき、その枠ＦＲ内の画像をモニタ画像ＭＮＴａとして出力して、図８（Ｂ）に示すように、図３の表示回路５１３により表示モニタ５３に表示させる。ユーザがモニタ出力を見て所望の画像状態に合わせたところで、例えばスイッチ５６を押し込む操作を行って画像ロック指示を発信することにより、図８（Ｃ）に示すように、初期リファレンス画像ＩＲＩを決定する。
【００５４】
一方、第２の決定方法は、縮小画像のモニタリングを行うことにより決定する。具体的には、図９（Ａ）に示すように、初期画像ＩＩＭを縮小して、図９（Ｂ）に示すようなモニタ画像ＭＮＴｂとして出力し、ユーザが所望のリファレンスのセンタと表示領域（画像取り込み範囲）をポインタＰＯＩ等を用いて指定することにより、初期リファレンス画像ＩＲＩを決定する。なお、ポインタＰＯＩの表示モニタ５３上における移動指示は、例えばボールスイッチであるスイッチ５６により行われる。すなわち、スイッチ５６を所望の方向に回転させることにより、ポインタＰＯＩを上下左右、あるいは斜め方向に移動させる。
【００５５】
このように、第１または第２の方法で決定された初期リファレンス画像情報（座標情報、輝度情報）はＧＵＩインタフェース回路５１５からＣＰＵ５１６を介して前処理回路５０３のリファレンスメモリ部５０３４に送信される。
【００５６】
また、図３において、ビデオ圧縮符号化器５０４は、前処理回路５０３で抽出された伝送すべき画像データを圧縮符号化してマルチプレクサ５０６に出力する。
【００５７】
音声圧縮符号化器５０５は、マイクロフォン５０１による音声データを圧縮符号化してマルチプレクサ５０６に出力する。
【００５８】
マルチプレクサ５０６は、ビデオ圧縮符号化器５０４で圧縮符号化された伝送すべき画像データと、音声圧縮符号化器５０５で圧縮符号化された音声のストリームとを多重化（マルチプレクス）して、伝送回路５０７に出力する。
【００５９】
伝送回路５０７は、マルチプレクサ５０６による多重化された画像および音声データに所定の伝送プロトコルの変換、変調を行って、無線基地局（ＭＢＳ）６１−１または６１−２に伝送する。
【００６０】
受信回路５０８は、コミュニケーション相手から送信され、伝送路６０を介した伝送信号を受信して、復調、伝送プロトコルの解凍を行いデマルチプレクサ５０９に出力する。
【００６１】
デマルチプレクサ５０９は、受信回路５０８による画像および音声データを分離して、画像データストリームをビデオ復号化器５１０に供給し、音声データストリームを音声復号化器５１１に供給する。
【００６２】
ビデオ復号化器５１０は、デマルチプレクサ５０９で分離された画像データストリームを復号して画像合成装置５１２に出力する。
【００６３】
音声復号化器５１１は、デマルチプレクサ５０９で分離された音声データストリームを復号してスピーカ５１４に供給し、再生させる。
【００６４】
画像合成装置５１２は、前処理回路５０３による端末を使用しているユーザの顔画像データとビデオ復号化器５１０による例えば相手方の顔画像データ、あるいはアプリケーションサービスプロバイダ（ＡＳＰ）６６による所定のコンテンツ画像を合成して表示回路５１３に供給する。
【００６５】
表示回路５１３は、画像合成装置５１２による合成画像を受けて、図２および図３に示すように、端末５０−１（または５０−２）の表示モニタ５３に、ユーザ自身の顔画像と伝送されてきた相手方の顔画像を、例えばカメラモジュール５４のレンズ部分より上側に並列に表示させ、所定のコンテンツ画像を下側に表示する。
【００６６】
ＧＵＩインタフェース回路５１５は、スイッチ５６を含み、またＣＰＵ５１６は、ユーザからの指示に従って、画像ロック状態への移行、モニタ表示の切り替え等、端末５０−１（または５０−２）全体を制御する。
【００６７】
次に、図３の端末５０の動作を説明する。例えばユーザの上半身の画像がカメラモジュール５４のレンズ部分を通して撮像され、カメラ回路５０２において光信号から電気信号に変換され、ディジタル画像信号Ｓ５０２として前処理回路５０３に入力される。このユーザの上半身の画像データは、画像合成装置５１２を通して表示回路５１３に供給され、端末の表示モニタ５３にユーザの上半身の画像である初期画像ＩＩＭが表示される。ユーザは、表示モニタ５３に表示されている自身の上半身の画像、すなわち初期画像ＩＩＭを見ながら、例えば第１の決定方法である伝送画像サイズ枠のモニタリングを行うことにより初期リファレンス画像ＩＲＩを決定する。すなわち、初期画像ＩＩＭ内に伝送画像サイズ枠ＦＲを設定しておき、その枠ＦＲ内の画像をモニタ画像ＭＮＴａとして出力して、表示回路５１３により表示モニタ５３に表示させる。そして、ユーザがモニタ出力を見て所望の画像状態に合わせたところで、例えばスイッチ５６を押し込む操作を行って画像ロック指示をＣＰＵ５１６に発信することにより、初期リファレンス画像ＩＲＩを決定する。
【００６８】
そして、ＣＰＵ５１６から初期リファレンス画像情報が送信されると前処理回路５０３におけるトラッキングが開始される。この状態で、カメラ回路５０２により新しく入力された入力画像データ（現画像）ＣＩＭが、メインリファレンスメモリ部５０３４１に格納されている前画像ＰＩＭのメインリファレンス画像ＲＩＭの座標情報を元にメインサーチ範囲抽出部５０３１１でメインサーチ範囲部分ＳＲＧが抽出される。次に、抽出されたデータの輝度信号がメイン２値化部５０３２１で２値化された後、メインパターンマッチング部５０３３１で、メインリファレンスメモリ部５０３４１に格納されているリファレンス画像ＲＩＭの２値化されたデータとの輝度情報のパターンマッチング処理が行われる。
【００６９】
また、カメラ回路５０２により新しく入力された入力画像データ（現画像）ＣＩＭが、サブリファレンスメモリ部５０３４２に格納されている前画像ＰＩＭのサブリファレンス画像ＳＲＩＭの座標情報、およびメインサーチ範囲抽出部５０３１１から出力されたメインサーチ範囲部分ＳＲＧを示すデータＣＴＬ１を元に、サブサーチ範囲抽出部５０３１２でサブサーチ範囲部分が抽出される。次に、抽出されたデータの輝度信号がサブ２値化部５０３２２で２値化された後、サブパターンマッチング部５０３３２で、サブリファレンスメモリ部５０３４２に格納されているサブリファレンス画像ＳＲＩＭの２値化されたデータとの輝度情報のパターンマッチング処理が行われる。この処理結果、例えばサブ動きベクトルＳＶを示す信号Ｓ５０３３２が、メインパターンマッチング部５０３３１に出力される。
【００７０】
メインパターンマッチング部５０３３１では、その信号Ｓ５０３３２、および、リファレンス画像ＲＩＭのパターンマッチング結果に基づいて、メイン動きベクトルＲＶが生成され、そのメイン動きベクトルに対応する画像データＭＭＴが、次画像におけるリファレンス画像としてメインリファレンスメモリ部５０３４１に格納され保持される。そして、矩形領域抽出部５０３５にて、メインパターンマッチング部５０３３１で得られたトラッキング結果ＭＭＴの周りのある矩形領域が切り出されて、ビデオ圧縮符号化器５０４および画像合成装置５１２に供給される。
【００７１】
このような状態において、マイクロフォン５０１で取り込まれた音声は、ディジタルに変換された後、音声圧縮符号化器５０５で圧縮される。そして、上述したように前処理回路５０３による画像データは、ビデオ圧縮符号化器５０４で圧縮符号化され、圧縮された音声のストリームと、マルチプレクサ５０６でマルチプレクスされて、伝送回路５０７に供給される。そして、伝送回路５０７において、多重化データを受けて、伝送プロトコルの変換、変調が行われて、例えば無線基地局６１−１に伝送され、伝送路６０を伝送されて相手の例えば端末５０−２に送り届けられる。
【００７２】
また、逆に相手方から届いた伝送信号は、受信回路５０８に取りこまれ、復調、伝送プロトコルの解凍が行われた後、デマルチプレクサ５０９において音声と画像のストリームに分離される。分離された音声ストリームは、音声復号化器５１１で復号され、スピーカ５１４に送られ、再生される。画像ストリームは、ビデオ復号化器５１０で復号化された後、画像合成装置５１２で、前処理回路５０３によるユーザ自身の画像と合成される。この合成画像データは、表示回路５１３に供給され、表示モニタ５３に表示される。このとき、表示モニタ５３には、ユーザ自身の顔画像と伝送されてきた相手方の顔画像が、例えばカメラモジュール５４のレンズ部分より上側に並列に表示され、また、所定のコンテンツ画像は下側に表示される。
【００７３】
以上説明したように、本実施形態によれば、複数端末５０−１，５０−２間で、コミュニケーション等を行う場合、ターゲット画像が伝送する画像の画枠いっぱいになるよう合わせる際に、ターゲット画像をリファレンス画像ＲＩＭとして用い、リファレンス画像ＲＩＭの一部を含み、リファレンス画像ＲＩＭを取り囲む複数のサブターゲット画像に基づいてマッチングを行うサブパターンマッチング部５０３３２と、そのマッチング結果、およびリファレンス画像ＲＩＭのマッチングの結果に基づいて所望のメイン動きベクトルＲＶを生成し対応する画像データを生成するメインパターンマッチング５０３３１と、ターゲット画像を画枠いっぱいに合わせる矩形領域抽出部５０３４とを設け、ターゲット画像を圧縮し、伝送するようにしたので、例えば瞬間的に動きの速い障害物ＳＢＫがメインサーチ範囲領域に位置する場合であっても、単一のリファレンス画像によりトラッキングを行うのに比べて、高精度なトラッキングを行うことができる。
【００７４】
また、リファレンス画像の一部を含み、リファレンス画像を取り囲むように複数のサブターゲット画像を設け、サブターゲット画像のマッチング結果に基づいて、リファレンス画像のマッチング結果を補正することにより、所望のターゲット画像が確実に画枠に収まる。
【００７５】
また、コミュニケーションに最も必要な相手の表情を伝送しつつ、情報量を極力削減することが可能となる。また、画枠いっぱいに、顔画像を合わせることから、解像度の高い背景画像の伝送を自然に削除することができ、圧縮後の情報量を、大幅に削減できる。これにより、高画質の画像を伝送することが可能となる。さらに、画像のフレーム相関性を大幅に向上させることができ、画像圧縮の手法に、ＭＰＥＧのようなインターフレーム圧縮を行う圧縮技術を使用することで、情報量の大幅な削減が可能になり、これにより、高画質の画像を伝送することが可能となる。
【００７６】
なお、本発明は本実施の形態に限られるものではなく、任意好適な種々の改変が可能である。
例えば、本実施形態では、サブ抽出部５０３１２、サブ２値化部５０３２２、サブリファレンスメモリ部５０３４２を設けたが、この形態に限られるものではない。
例えばサブパターンマッチング部５０３３２が、メインリファレンスメモリ部５０３４１に記憶されているメインリファレンス画像ＲＩＭに応じてサブリファレンス画像ＳＲＩＭを生成し、そのサブリファレンス画像ＳＲＩＭに基づいてサブ動きベクトルＳＶを生成すれば、サブ抽出部５０３１２、サブ２値化部５０３２２、サブリファレンスメモリ部５０３４２を設けなくてもよい。こうすることによりサブリファレンス画像に関する処理が軽減される。
【００７７】
また、本実施形態では、サブパターンマッチング部５０３３２は、複数のサブベクトルＳＶ１〜４のうち、他のベクトルと比べて所定の許容範囲外のサブベクトルを取り除いたサブベクトルＳＶ１〜３を示す信号Ｓ５０３３２を、メインパターンマッチング部５０３３１に出力したがこの形態に限られるものではない。例えば、サブパターンマッチング部５０３３２は、サブベクトルＳＶ１〜４の平均値を算出し、その平均値をメインパターンマッチング部５０３３１に出力してもよい。メインパターンマッチング部５０３３１では、そのサブ動きベクトルの平均値、およびメインリファレンス画像ＲＩＭの動きベクトルＶに基づいて、それぞれに所定の重み付けを設けてベクトルの平均値を算出してメイン動きベクトルＲＶを生成してもよい。こうすることにより、メインパターンマッチング部５０３３１の処理が軽減される。
【００７８】
【発明の効果】
本発明によれば、例えば瞬間的に動きの速い障害物を含む画像であっても、高精度なトラッキングを行うことができるデータ伝送方法およびその装置、並びにデータ伝送システムを提供することができる。
【図面の簡単な説明】
【図１】図１は、本発明に係るデータ伝送システムとしてのビジュアルコミュニケーションサービスシステムの一実施形態を示すシステム構成図である。
【図２】本実施形態に係る移動体端末の一構成例を示す外観図である。
【図３】本発明に係るデータ伝送装置としての端末の信号処理系の一実施形態を示す回路図である。
【図４】図３に示した実施形態に係るデータ伝送処理としての端末の信号処理系の前処理回路を示す回路図である。
【図５】一般的な前処理回路のトラッキング処理を説明するための概略図である。
【図６】動きの速い画像がある場合の一般的な前回路のトラッキング処理を説明するための概念図である。
【図７】図４に示した本実施形態に係る前処理回路のトラッキング処理を説明するための概念図である。
【図８】初期リファレンス画像の第１の決定方法を説明するための図である。
【図９】初期リファレンス画像の第２の決定方法を説明するための図である。
【図１０】従来のビジュアルコミュニケーション端末と伝送路の説明図である。
【符号の説明】
１００…ビジュアルコミュニケーションサービスシステム、５０−１，５０−２…移動体端末、６０…伝送路、６１−１，６１−２…無線基地局（ＭＳＢ）、６２−１，６２−２…移動交換局（ＭＳＣ）、６３−１、６３−２…関門移動交換局（ＧＭＳＣ）、６４…回線網、６５…関門局（ＧＷ）、６６…アプリケーションサービスプロバイダ（ＡＳＰ）、５００，５００Ａ，５００Ｂ…端末の信号処理系、５０１…マイクロフォン、５０２…カメラ回路、５０３…前処理回路、５０４…ビデオ圧縮符号化器、５０５…音声圧縮符号化器、５０６…マルチプレクサ（ＭＵＸ）、５０７…伝送回路、５０８…受信回路、５０９…デマルチプレクサ（ＤｅＭＵＸ）、５１０…ビデオ復号化器、５１１…音声復号化器、５１２…画像合成装置、５１３…表示回路、５１４…スピーカ、５１５…ＧＵＩインタフェース（Ｉ／Ｆ）回路、５１６…ＣＰＵ、５０３１１…メインサーチ範囲抽出部、５０３１２…サブサーチ範囲抽出部、５０３２１…メイン２値化部、５０３２２…サブ２値化部、５０３３１…メインパターンマッチング部、５０３３２…サブパターンマッチング部、５０３４１…メインリファレンスメモリ部、５０３４２…サブリファレンスメモリ部。
【図１】
2004241871.tif 000003
【図２】
2004241871.tif 000004
【図３】
2004241871.tif 000005
【図４】
2004241871.tif 000006
【図５】
2004241871.tif 000007
【図６】
2004241871.tif 000008
【図７】
2004241871.tif 000009
【図８】
2004241871.tif 000010
【図９】
2004241871.tif 000011
【図１０】
2004241871.tif 000012