(57)【要約】【課題】テレビ会議等のようなリアルタイム双方通信において、静止画データ・動画データ双方の品質を落とさず、ユーザの負担も軽減することを目的とする。【解決手段】信回線の伝送帯域での伝送可能レートと動画データの目標ビットレートとの差分領域を利用して静止画データを転送する。このような構成により、テレビ会議等のようなリアルタイム双方通信において、静止画データ・動画データ双方の品質を落とさず、ユーザが取得したい静止画データを取得できるようにすることを目的とする。【選択図】図１
2010114791.tif 000002
【特許請求の範囲】
【請求項１】
他の動画データ通信装置とリアルタイムで双方向の動画データ通信を行う動画データ通信装置であって、
第１の動画データを入力する画像入力部と、
前記第１の動画データを符号化する動画符号化部と、
前記第１の動画データから静止画データを取得するために用いる条件情報を受け付ける画像取得条件受付部と、
前記画像取得条件受付部によって取得された条件情報を用いて、前記第１の動画データの中から静止画データを検出する静止画データ検出処理部と、
静止画データを指定された符号化レートで符号化する静止画符号化部と、
前記動画符号化部で符号化された動画データと共に送信する前記静止画符号化部で符号化された静止画データの送信量を制御する画像送信制御部と、
前記画像送信制御部で制御された割合で、前記静止画符号化部で符号化された静止画データと前記動画符号化部で符号化された動画データを前記他の動画データ通信装置へ送信する画像送信部と、
前記他の動画データ通信装置が受信した本来の符号化レートより低レートで符号化された複数の静止画データからユーザが欲する静止画データを特定するための静止画データ特定情報を前記他の動画データ通信装置から取得する静止画データ特定情報取得部と、
前記静止画データ特定情報を用いて、前記静止画データ特定情報で特定される静止画データを複数の前記静止画データの中から取得する特定静止画データ取り出し部と、
を備えたことを特徴とする動画データ通信装置。
【請求項２】
前記動画データ通信装置は、前記他の動画データ通信装置から第２の動画データ、静止画データを受信する画像受信部と、
前記他の動画データ通信装置から受信した前記第２の動画データを復号化する動画復号化部と、
前記他の動画データ通信装置から受信した静止画データを復号化する静止画復号化部と
前記第２の動画データと前記静止画データとを合わせて表示する画像表示部と、
を備えたことを特徴とする動画データ通信装置。
【請求項３】
前記動画データ通信装置と前記他の動画データ通信装置とが行うリアルタイム双方向の動画データ通信は、所定の帯域幅で行われており、
前記画像送信制御部は、通信回線における所定の帯域幅と、実際に動画データを符号化した際に発生する符号量の差分帯域を利用して静止画データを動画データと同時に前記他の動画データ通信装置へ送信することを特徴とする請求項１記載の動画データ通信装置。
【請求項４】
前記動画データ通信装置は、ユーザおよび他の動画データ通信装置からの入力を受け付ける画像取得条件受付部を備え、
前記条件情報は、前記画像取得条件受付部でユーザおよび他の動画データ通信装置の双方から入力を受け付けることが可能な構成をした請求項１記載の動画データ通信装置。
【請求項５】
前記静止画データ検出処理部は、前記条件情報を用いて、前記第１の動画データの中から条件に合う複数の静止画データを取得することを特徴とする請求項１記載の動画データ通信装置。
【請求項６】
前記静止画データ特定情報取得部は、前記他の動画データ通信装置が受信し、前記他の動画データ通信装置の画面に表示されている前記静止画データ検出処理部で検出された複数の静止画データから前記他の動画データ通信装置のユーザが選択した静止画データを特定するための静止画データ特定情報を前記他の動画データ通信装置から取得することを特徴とする請求項１記載の動画データ通信装置。
【請求項７】
前記静止画符号化部は、前記他の動画データ通信装置のユーザが、前記静止画データ特定情報で指定した静止画データを所望の符号化レートで再度符号化することを特徴とする請求項１記載の動画データ通信装置。
【請求項８】
前記静止画符号化部は、前記静止画データ検出処理部から静止画データの符号化を指示された場合と前記特定静止画データ取り出し部から静止画データの符号化を指示された場合とで静止画データの符号化レートを切り替えることを特徴とする請求項１記載の動画データ通信装置。
【請求項９】
前記画像取得条件受付部は、複数の条件情報を取得することが可能であり、
前記画像取得条件受付部は、取得した複数の前記条件情報を個々の情報として、前記静止画データ検出処理部へ送る機能と、複数の前記条件情報をすべてまとめて１つの情報として静止画データ検出処理部へ送る機能と、を持ち、前記２つの機能を選択可能とした請求項４記載の動画データ通信装置。
【請求項１０】
前記動画符号化部は、静止画データと動画データと同時に前記他の動画データ通信装置へ送信する場合、動画データの符号化レートを下げることも可能な構成をした請求項１記載の動画データ通信装置。
【請求項１１】
他の動画データ通信装置とリアルタイムで双方向の動画データ通信を行う動画データ通信方法であって、
第１の動画データを入力する画像入力部と、
前記第１の動画データを符号化する動画符号化部と、
前記第１の動画データから静止画データを取得するために用いる条件情報を受け付ける画像取得条件受付部と、
前記画像取得条件受付部によって取得された条件情報を用いて、前記第１の動画データの中から静止画データを検出する静止画データ検出処理部と、
静止画データを指定された符号化レートで符号化する静止画符号化部と、
前記動画符号化部で符号化された動画データと共に送信する前記静止画符号化部で符号化された静止画データの送信量を制御する画像送信制御部と、
前記画像送信制御部で制御された割合で、前記静止画符号化部で符号化された静止画データと前記動画符号化部で符号化された動画データを前記他の動画データ通信装置へ送信する画像送信部と、
前記他の動画データ通信装置が受信した本来の符号化レートより低レートで符号化された複数の静止画データからユーザが欲する静止画データを特定するための静止画データ特定情報を前記他の動画データ通信装置から取得する静止画データ特定情報取得部と、
前記静止画データ特定情報を用いて、前記静止画データ特定情報で特定される静止画データを複数の前記静止画データの中から取得する特定静止画データ取り出し部と、
を備えた装置を用いてデータを送信することを特徴とする動画データ通信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データの送受信を行うテレビ会議等に用いられる画像データ伝送装置およびその伝送方法に関するものである。
【背景技術】
【０００２】
受信した動画データの中から静止画データを取得する場合、送受信の間を結ぶ通信回線の伝送帯域に制限があったときであっても、受信側で常に高品質の静止画データを取得することが出来るという技術がある。通常、受信した動画データの中から静止画データを取得する場合、動画データの品質が符号化により劣化しているときには、高画質な静止画データが得られない。しかし、伝送帯域に制限がある中で動画データの送受信を行う場合に、静止画データを取得する命令があったときには、動画データの符号化レートを低減し、かつ符号化動画データの伝送レートを低減する。このような構成にすることで、受信側で常に高品質の静止画データを取得することが出来る技術である。
【０００３】
具体的には、テレビ会議中において、顕微鏡写真や医療における患部の写真や書面画面等の静止画データを受信側で入手したい場合、受信側のユーザ等から静止画取得命令が指示される。静止画取得命令があると、復号された動画データから該当する静止画データの時刻情報を取得する。受信側装置はこの時刻情報を送信側装置へ送信する。送信側装置は、受信した時刻情報から、指定された時刻の画像あるいはその近辺の画像を取り出し、取り出した静止画データを符号化する。符号化した静止画データを受信側装置へ送信し、受信側装置は、符号化された静止画データを復号した後、表示する。
【０００４】
このような従来の技術としては、例えば特許文献１に記載されたものが知られている。
【特許文献１】特開２００４−７０６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術では、静止画データを送信する際に伝送帯域に制限があった場合、一時的に動画データの伝送レートを低減する必要があり、どうしても動画データの画質が下がってしまう。
【０００６】
また、上記従来技術では、取得したい静止画データの時刻情報をもとに動画データの中からユーザが欲する静止画データの取り出しを行う。しかし、時刻情報だけでは必ずしもユーザが欲していた静止画データが取得できるとは限らない。そして、送られてきて初めてその静止画データが欲していた画像かどうかが判断できる。つまり、もし、ユーザが欲していた静止画データと異なる静止画データが送られてきた場合、再度、新たな時刻情報を送信しなければならないことになる。この場合、何度も時刻情報と静止画データのやり取りを繰り返すことになり、無駄なやり取りが増えてしまう。
【０００７】
本発明は、上記の従来課題を解決するものであり、テレビ会議等のようなリアルタイム双方通信において、静止画データ・動画データ双方の品質を落とさず、ユーザの負担も軽減することを目的とする。さらには無駄な送受信を繰り返さずに、ユーザが取得したい静止画データを簡単に取得できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明である動画データ通信装置は、他の動画データ通信装置とリアルタイムで双方向の動画データ通信を行う動画データ通信装置であって、第１の動画データを入力する画像入力部と、前記第１の動画データを符号化する動画符号化部と、前記第１の動画データから静止画データを取得するために用いる条件情報を受け付ける画像取得条件受付部と、前記画像取得条件受付部によって取得された条件情報を用いて、前記第１の動画データの中から静止画データを検出する静止画データ検出処理部と、静止画データを指定された符号化レートで符号化する静止画符号化部と、前記動画符号化部で符号化された動画データと共に送信する前記静止画符号化部で符号化された静止画データの送信量を制御する画像送信制御部と、前記画像送信制御部で制御された割合で、前記静止画符号化部で符号化された静止画データと前記動画符号化部で符号化された動画データを前記他の動画データ通信装置へ送信する画像送信部と、前記他の動画データ通信装置が受信した本来の符号化レートより低レートで符号化された複数の静止画データからユーザが欲する静止画データを特定するための静止画データ特定情報を前記他の動画データ通信装置から取得する静止画データ特定情報取得部と、前記静止画データ特定情報を用いて、前記静止画データ特定情報で特定される静止画データを複数の前記静止画データの中から取得する特定静止画データ取り出し部とを備え、前記画像送信制御部で、通信回線における所定の帯域幅と、実際に動画データを符号化した際に発生した符号量との差分を求め、その差分の帯域を利用して静止画データを分割して送信することで、動画データの画質を下げることなく、動画データと静止画データを同時に前記他の動画データ通信装置に送信することを可能とした構成をしている。
【発明の効果】
【０００９】
本発明によれば、通信回線の伝送帯域での伝送可能レートと動画データの目標ビットレートとの差分領域を利用して静止画データを転送する。このような構成により、テレビ会議等のようなリアルタイム双方通信において、静止画データ・動画データ双方の品質を落とさず、ユーザが取得したい静止画データを取得できるようにすることを目的とする。
【００１０】
また、動画データの中から取得した複数の静止画データを本来の符号化レートより低レートで符号化した静止画データを順次送信する。そして、送信した複数の静止画データからユーザが選択した静止画データを特定するための情報である静止画データ特定情報を受け取る。さらに、受け取った静止画データのみを高画質な状態でユーザに再度送ることで、受信側のユーザは自分自身で欲する静止画データを選択することができるいう効果が得られる。また、送信データの間違いによる無駄な送受信を繰り返さずに、かつユーザに負担をかけることなく取得したい静止画データを簡単に取得できるという効果が得られる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００１２】
（実施形態１）
図１は、本発明の実施の形態における動画データ通信装置の構成を示すブロック図である。
【００１３】
本実施の形態では、他の動画データ通信装置とリアルタイムで双方向の動画データ通信を行う動画データ通信装置の一例を挙げて説明する。
【００１４】
図１に示すように、本動画データ通信装置にはカメラなどで取得した動画データが入力される。入力された動画データはまず画像入力部１に入力される。画像入力部１では静止画データを作成するために動画データを動画データ画像格納領域に一時的に格納する処理を行う。また同時に、入力された動画データは動画符号化部２に送られる。動画符号化部２では動画データの符号化処理を行う。ここでは、動画像を圧縮符号化する方式として、ＭＰＥＧ−２（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  ２）やＨ．２６４方式などを利用する。
【００１５】
次に、本発明では動画データのほかに静止画データを受信側が取得できるような機能を有している。
【００１６】
そこでまず、本動画データ通信装置は、画像取得条件受付部４を有している。画像取得条件受付部４は、他の動画データ通信装置が取得したい静止画データの条件情報を受け取り、条件を整理して静止画データ検出処理部５へ送る処理を行う。画像取得条件受付部４は、複数の条件情報を取得することが可能である。複数の条件情報が入力された場合、それぞれの条件にあった静止画データを検出するように、複数の条件情報を個々の情報として静止画データ検出処理部５へ送る機能を有する。またそしての条件情報をすべて満たした静止画データを検出するように、複数の条件情報を１つの条件情報としてまとめて静止画データ検出処理部５へ送る機能も有する。そして、これらの機能は選択可能な構成をしている。なお、画像取得条件受付部４は、他の動画データ通信装置からだけでなく、本動画データ通信装置側からも画像の条件情報の入力可能な構成をしている。このように、受信側・送信側の双方で入力可能な構成にすることで、受信側から条件情報の入力方法が分からないため条件情報の入力が困難な場合、画面を通じて入力方法を教えることも可能だが、代わりに送信側で条件情報を入力することも可能となる。
【００１７】
次に静止画データ検出処理部５では画像取得条件受付部４より送られてきた画像の条件情報を元に、画像入力部１で一時的に格納しておいた動画データ格納領域の中から条件と一致する画像の検出処理を行う。また、条件と一致した画像を検出したらその画像を静止画データ格納領域へ格納し、データの格納位置を次に説明する静止画符号化部６へ送る。なお、動画データ格納領域内に画像の条件情報と一致する画像が複数存在する場合、一致する画像すべてを静止画データ格納領域へ格納する。
【００１８】
図２は、動画データ格納領域と検出データ格納領域に関するイメージ図である。図２を用いて、動画データ格納領域と検出データ格納領域のデータの流れについて説明する。画像入力部１において、カメラなどで取得した入力画像を動画データ格納領域のＢａｎｋ０から順に格納していく。そして、静止画データ検出処理部５で、動画データ格納領域の中から条件と一致した画像を検出したら、その画像を特定番号が付いた検出データ格納領域へ格納する。複数存在する場合は、見つけた順に格納しておく。ここでの特定番号は、後で説明する受信側にあたる他の動画データ通信装置のユーザが欲する画像を特定する際に使用する。
【００１９】
また、静止画データを検出する際に使用する条件情報とは、例えば「笑顔」、「泣き顔」などの顔の表情や画像を特定するためのキーワードを指す。このようなキーワードを用いて実際、画像を検出する方法としては、以下のような方法がある。まず、ユーザの顔部分を含む画像データからユーザの顔領域を抽出する。そして、抽出された顔領域のうち、ユーザの顔を構成する少なくとも一つ以上の顔器官の輪郭位置を抽出する。さらに、抽出された輪郭のうち、顔器官の上端及び下端の輪郭を取得する。そして、各輪郭の開き状態及び各輪郭の曲がり状態に基づいて、ユーザの表情を推定する。このような方法を用いて画像検出を行う。
【００２０】
次に本動画データ通信装置は、静止画符号化部６を有している。静止画符号化部６では、静止画データの符号化処理を行うが、静止画データ検出処理部５と、後で説明する特定静止画データ取り出し部１３の指示により、異なった符号化レートで静止画の符号化処理を行う。具体的には、静止画データ検出処理部５からの符号化指示の場合は、取得した静止画データの雰囲気が受信側のユーザに分かればよいのであまり高画質な静止画データを送る必要はない。したがって、この場合は、本来の符号化レートより低レートで符号化するように指示する。また、特定静止画データ取り出し部１３からの符号化指示の場合は、受信側のユーザが先に送った複数の静止画データで一番欲している静止画データなので、高画質で符号化するように指示する。そして、それぞれの指示に基づいて静止画の符号化処理を行う。ここでは、静止画像を圧縮符号化する方式として、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）などを利用してもよい。
【００２１】
また本動画データ通信装置は、画像送信制御部７を有している。画像送信制御部７では、動画符号化部２、静止画符号化部６のそれぞれで符号化されたデータを通信回線へ送信する際の送信データ量を制御する処理を行う。通信回線の伝送帯域が制限されている場合は、図３に示すように、動画データの符号化レートは、その伝送帯域を考慮して発生符号量が大きくなりすぎないように目標ビットレートを設定する。そして、その目標付近のビットレートになるようにレート制御を行い、発生符号量を制御する。しかし、入力画像によっては突然大量の符号量が発生することがあるため、符号量は目標に対して上下することがある。そのため、目標ビットレートは伝送回線における最大転送可能符号量より低めに設定され、動画データの送信が停止してしまわないようになっている。このような構成をしているため、通信回線における伝送帯域から動画データを伝送するために必要な帯域分を差し引いても、使用できる帯域が残る場合がある。そこで、この空いている帯域を利用することで、動画データの画質を下げることなく静止画データを送信するようにする。
【００２２】
画像送信制御部７にはまず、動画データの符号化結果と１ピクチャ単位の発生符号量が送られてくる。画像送信制御部７は、通信回線の伝送帯域での伝送可能ビット量から動画データの発生符号量を減算し、本来使用可能な帯域のうち未使用分の帯域を求め、その帯域内に収まるだけの静止画データを画像送信部８へ送る処理を行う。画像送信部８は、動画データと上記のように分割して送られてきた静止画データを、通信回線を通じて他の動画データ通信装置に送信する。
【００２３】
図４は図３をもとに、ある特定時間における動画データの発生符号量と静止画データ転送用として利用可能なビット量を示したものである。時刻ｔの時点で、まず静止画データ転送用として利用可能なビット量分だけ静止画データを送っていく。そして、静止画データ転送用として割り当てられたビット量より、１枚の静止画データの符号量が大きかった場合は、時刻（ｔ＋１）での静止画データ転送用として割り当てられた分を利用して静止画データを送っていく。
【００２４】
このような構成をすることで、静止画データを送るために動画データの品質を落とすことなく、空いている帯域を有効的に利用し、動画データ・静止画データを同時に他の動画データ通信装置に送信することができる。
【００２５】
また、本動画データ通信装置は、静止画データ検出処理部５で検出した複数の静止画データを本来の画質より低レートで符号化して、他の動画データ通信装置へ転送する。そして、この複数の静止画データの中から受信側のユーザが一番欲する静止画データを再度、高画質な状態で送る。
【００２６】
上記処理を行うにあたり、本動画データ通信装置は、静止画データ特定情報取得部１２と特定静止画データ取り出し部１３を有する。
【００２７】
静止画データ特定情報取得部１２は、送信側が送った複数の静止画データから受信側のユーザが欲する静止画データを特定するための特定情報を受け取り、特定静止画データ取り出し部１３へ特定情報を通知する処理を行う。特定静止画データ取り出し部１３はその特定情報を元に、検出データ格納領域に格納されている静止画データを検出する。なお、ここでの特定情報とは、検出データ格納領域に順に付けられている特定番号のことを指す。
【００２８】
このように、条件にあった静止画データを検出した分だけ、相手側のユーザに送信する。そして、送信した複数の静止画データから相手側のユーザが欲する静止画データを再度、高画質な状態で送り直す。このような構成により、データの取り間違いなどによる無駄なデータの送受信を繰り返さずに、かつユーザに負担をかけることなく取得したい静止画データを簡単に取得できるという効果が得られる。
【００２９】
また画像表示するための手段として、他の動画データ通信装置より送られてきた動画データを復号化する動画復号化部９、静止画データを復号化する静止画復号化部１０、これらデータを表示する画像表示部１１を有する。
【００３０】
図５は、動画データ通信装置の受信側における動画データ・静止画データの表示イメージを示したものである。受信側のモニタにはまず受信した動画データが表示される。そして静止画データが送られてきた場合は、特定番号と共に順に静止画データを画面の下部に表示していく。受信側にあたる他の動画データ通信装置のユーザは、モニタに表示された静止画データを見て、その中から欲しい静止画データの特定番号を送信側に通知する。
【００３１】
以上のように構成された動画データ通信装置について、以下、その動作例を説明する。
【００３２】
図６は、実施の形態１における動画データ通信装置の処理を示したものである。まず、受信側は、動画データの中から静止画データとして取得したい画像の条件、例えば「笑顔」や「泣き顔」等といった画像取得条件を送信側へ送る（Ｓ００１）。送信側は、受け取った画像取得条件をもとに静止画データの検出を行いながら、条件にあった画像が検出されるまでは動画データを受信側へ送信する（Ｓ００２）。そして条件にあった画像が検出されたら静止画データと動画データ双方を受信側へ送信する（Ｓ００３）。受信側は、送られてきた静止画データの中から欲しい画像を選択し、その静止画データ特定情報として特定番号を送信側へ送る（Ｓ００４）。そして送信側は特定番号を受け取り、その特定番号で指定された画像を高画質で符号化し、再度、受信側に送り直す（Ｓ００５）。
【００３３】
また、図７、図８は送信側・受信側に分けて処理の流れを示したものである。
【００３４】
図７に示したように送信側ではまず、他の動画データ通信装置より動画データより静止画データを取得するために必要な静止画データ取得条件を受け付ける（Ｓ１０１）。また、同時に動画データを取得し、その動画データの符号化を行う（Ｓ１０２、Ｓ１０３）。次に、取得した動画データの中から条件情報を用いて静止画データの検出を行う（Ｓ１０４）。条件情報にあった静止画データを検出した場合、静止画データを格納する（Ｓ１０５）。図９は、静止画データ検出を行う静止画データ検出処理部５の処理を示したものである。具体的には、動画データ格納領域から所望の静止画データが存在するかどうかを検索する（Ｓ３０１）。そして条件情報にあったデータを検出した場合、動画データ格納領域内の所望のデータを検出データ格納領域へ転送する（Ｓ３０２、Ｓ３０３）。そして、静止画符号化部６へ検出したデータを格納した位置（ここでいう位置とは、図２で説明した特定番号を指す）と取得したデータとを本来の符号化レートより低レートで符号化して欲しいという符号化情報を通知する（Ｓ３０４）。そして、動画データ格納領域内の次のバンクに移り、同様に検索していく処理を繰り返す。
【００３５】
続いて、静止画データ検出処理部５から受け取った符号化情報をもとに、取得した静止画データを本来の符号化レートより低レートで符号化する（Ｓ１０６）。そして、動画データと静止画データを他の動画データ通信装置へ送信する（Ｓ１０７）。図１０は、動画データと静止画データを他の動画データ通信装置へ送信する際の送信制御を行う画像送信制御部７の処理を示したものである。まず画像送信制御部７では動画データと静止画データを同時に送る必要があるか確認を行う（Ｓ４０１）。もし、静止画データを送る必要がない場合、動画データを順に画像送信部８へ転送する（Ｓ４０２）。動画データと静止画データを同時に送信する場合、まず、動画符号化部２から動画データの符号化結果と１ピクチャ毎の発生符号量を取得する（Ｓ４０３）。そして、１ピクチャ分の動画データを画像送信部８へ送る（Ｓ４０４）。次に通信回線の伝送帯域で伝送可能なビット量から先ほどの１ピクチャ分の発生符号量を減算し差分を算出する（Ｓ４０５）。そして、差分分の静止画符号化結果を画像送信部８へ送る（Ｓ４０６）。つまり、静止画データは分割して送信するようにする。そして画像送信部８は、画像送信制御部７によって送信量が制御された動画データと静止画データを、通信回線を通じて他の動画データ通信装置へ転送する。
【００３６】
次に送信側は、静止画データを特定するための静止画特定情報を取得する（Ｓ１０８）。静止画特定情報とは、先に送った本来の符号化レートより低レートで符号化された複数の静止画データから、他の動画データ通信装置のユーザが欲する静止画データを特定するための情報である。取得した静止画データ特定情報を用いて、静止画データ特定情報で特定される静止画データを検出データ格納領域から取得し、その静止画データを高画質な状態になるようなレート（第２の符号化レート）で符号化する（Ｓ１０９、Ｓ１１０）。図１１は、特定情報を用いて、受信側のユーザが欲する静止画データを取り出す処理を行う特定静止画データ取り出し部１３の処理を示したものである。具体的には、まず受信側にあたる他の動画データ送信装置より、取り出すデータの特定情報（ここでは検出データ格納領域に付加してある特定番号を指す）を取得する（Ｓ５０１）。そして、検出データ格納領域の中から、取得した特定番号が存在するか検索を行う（Ｓ５０２）。同一特定番号を検出した場合、静止画符号化部６へ検出したデータを格納した位置と取得した静止画データとを本来の高画質な状態で符号化して欲しいという符号化情報を通知する（Ｓ５０３、Ｓ５０４）。なお、ここでいう位置とは、図２で説明した特定番号を指す。さらに、同一の特定番号が無かった場合、所望のデータが存在しないまたは特定番号の通知間違いといったなんらかのエラー通知を行う（Ｓ５０５）（ここでいう位置とは、図２で説明した特定番号を指す）。
【００３７】
そして最後に、先に説明したように画像送信制御部７で静止画データと動画データの送信量を制御しながら静止画データを動画データと同時に、他の動画データ通信装置へ送信する（Ｓ１１１）。
【００３８】
次に受信側の処理の流れについて、図８に示したように受信側ではまず、取得したい静止画データの条件情報を送信側へ通知する（Ｓ２０１）。その後、送信側から動画と条件情報と一致した静止画データを受信する（Ｓ２０２）。そして、それぞれを復号化してデータを表示する（Ｓ２０３）。受信側のユーザは、送られてきた複数の静止画データから欲する静止画データを選択し、その静止画データ特定情報を送信側へ通知する（Ｓ２０４、Ｓ２０５）。その後、しばらくして動画データと共に欲した静止画データが送られてくる。そしてその静止画データを保存する（Ｓ２０６、Ｓ２０７）。
【００３９】
本実施の形態は、所定の帯域幅と実際に動画データを符号化した際に発生した符号量との差分帯域を利用して、他の動画データ通信装置のユーザが選択した静止画データを他の動画データ通信装置へ送信する。そして、本実施の形態は、このような構成によって、動画データの画質を下げることなく静止画データを他の動画データ通信装置のユーザに送信することができるという効果を奏する。
【００４０】
また、本実施の形態は、条件情報と一致した複数の静止画データを一度、簡易情報として他の動画データ通信装置のユーザに送る。そして、その中からユーザが一番欲する静止画データを再度、高画質な状態で送る。本実施の形態は、このような構成によって、画像の取得間違いによる無駄データの送受信を繰り返さずに済むという効果も奏する。
【００４１】
また、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記実施の形態に限定されないのはもちろんである。
【００４２】
本実施の形態は、条件情報と一致した複数の静止画データを送る際、本来の符号化レートより低レート、つまりある固定レートで静止画データを符号化するように記載している。しかし、本実施の形態は、動画データを符号化後、その発生符号量を考慮して一緒に送る静止画データの符号化レートを動的に変える方法も考えられる。具体的には、複数の静止画データを送る際の静止画符号化レートに関して、符号化レートの上限・下限と許容範囲を設ける。そして、通信回線における所定の帯域幅と実際に動画データを符号化した際に発生した符号量との差分を算出する。その後、その差分内で静止画データを送れるような符号化レートで静止画を符号化するようにする。例えば、差分が上限の値より低く、許容範囲内に収まっているのならその差分分で収まる符号化レートで静止画を符号化する。また、差分の値が大きく、帯域が十分空いていても最初に検出した複数のデータから、ある特定の時刻の静止画のみ高画質で送るのも違和感があるため、その場合は上限値で静止画を符号化するようにする。また、差分が下限値よりも低い場合は、下限値で静止画を符号化するようにする。このように、最初に検出した複数の静止画データを送る際、通信回線の伝送帯域を考慮して、静止画データの符号化レートを動的に変えることも可能である。
【００４３】
また、これ以外にリアルタイム双方向通信を行う機能を備えた携帯情報端末装置、または携帯電話機などの情報機器、その他の装置に上記実施の形態を組み合わせるとしてもよい。
【００４４】
上記実施の形態における動画データ通信装置は、動画データ通信方法としてもよいし、動画データ通信プログラムや動画データ通信プログラムを記録した記録媒体としてもよい。さらに、単一の半導体基板に作り込んだＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ）等の集積回路としてもよい。ＬＳＩとする場合は、図１に記載されている各処理部がＬＳＩの構成要素となりうる。
【産業上の利用可能性】
【００４５】
本発明は、通信回線の伝送帯域での伝送可能レートと動画データの目標ビットレートとの差分領域を利用して静止画データを転送する。そして、このような構成にしたことにより、静止画データ・動画データ双方の品質を落とさず、ユーザが取得したい静止画データを取得できるという効果を有する。そして、テレビ会議のようなリアルタイム双方向通信を行う機能を備えた携帯情報端末装置、または携帯電話機などの情報機器、その他の装置に利用することが可能である。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施の形態における動画データ通信装置の構成を示すブロック図
【図２】動画データ格納領域と検出データ格納領域に関する図
【図３】静止画・動画データの送信方法を示した図
【図４】特定時間の動画データの発生符号量と静止画データ転送用として利用可能なビット量を示した図
【図５】動画データ通信装置の受信側の画像表示を示した図
【図６】動画データ通信装置の処理の流れを示した図
【図７】動画データ通信装置の送信側のフローチャート
【図８】動画データ通信装置の受信側のフローチャート
【図９】動画データ通信装置の静止画データ検出処理部の処理を示した図
【図１０】動画データ通信装置の画像送信制御部の処理を示した図
【図１１】動画データ通信装置の特定静止画データ取り出し部の処理を示した図
【符号の説明】
【００４７】
１    画像入力部
２    動画符号化部
３    画像受信部
４    画像取得条件受付部
５    静止画データ検出処理部
６    静止画符号化部
７    画像送信制御部
８    画像送信部
９    動画復号化部
１０    静止画復号化部
１１    画像表示部
１２    静止画データ特定情報取得部
１３    特定静止画データ取り出し部
【図１】
2010114791.tif 000003
【図２】
2010114791.tif 000004
【図３】
2010114791.tif 000005
【図４】
2010114791.tif 000006
【図５】
2010114791.tif 000007
【図６】
2010114791.tif 000008
【図７】
2010114791.tif 000009
【図８】
2010114791.tif 000010
【図９】
2010114791.tif 000011
【図１０】
2010114791.tif 000012
【図１１】
2010114791.tif 000013