(57)【要約】【課題】動画像データを受信するときに通信エラーが発生しても、不良な表示状態が伝搬することを少なくすることで高品質を図ることが可能な動画像表示装置および動画像表示方法を提供する。【解決手段】フレームデータがスライスに分割され、スライスがマクロブロックに分割され、マクロブロックのデータをブロックデータとして受信する無線部３１および無線制御部３２と、ブロックデータが復号化可能な正常ブロックデータか否かを検出するＨ．３２４部３３と、正常ブロックデータを復号化してスライス単位で画像処理部３６内へ格納し、表示部へ表示する画像処理部３６およびＱｏＳ部３４とを有し、ＱｏＳ部３４は、ブロックデータが復号化不能な不良ブロックデータと判断されると、不良ブロックデータに対応する正常ブロックデータが含まれるスライスを、不良ブロックデータが含まれるスライスと入れ換えたフレームデータとするよう画像処理部３６へ指示する。【選択図】図１
2007166479.tif 000002
【特許請求の範囲】
【請求項１】
フレームデータとしての基準となる原画像データおよび１以上のフレーム間予測画像データからなる動画像データを復号化して表示する動画像表示装置において、
前記フレームデータがスライスに分割され、前記スライスがマクロブロックに分割され、前記マクロブロックのデータをブロックデータとして送信側装置から受信する受信部と、前記ブロックデータが復号化可能な正常ブロックデータか否かを検出する通信エラー検出部と、
前記正常ブロックデータを復号化してスライス単位で格納部へ格納し、表示部へ表示する動画像処理部とを備え、
前記動画像処理部は、ブロックデータが前記通信エラー検出部からの通知により復号化不能な不良ブロックデータと判断されると、前記格納部から前記不良ブロックデータに対応する正常ブロックデータが含まれるスライスを読み込み、前記不良ブロックデータが含まれるスライスと入れ換えたフレームデータとする交替制御を行う機能を備えたことを特徴とする動画像表示装置。
【請求項２】
前記動画像処理部は、前記不良ブロックデータが含まれるフレームデータのサイズが、所定値より大きいときに、前記交替制御を行う機能を備えたことを特徴とする請求項１記載の動画像表示装置。
【請求項３】
前記動画像処理部は、前記不良ブロックデータが含まれるフレームデータのサイズが、所定値以下であるときに、次のフレームデータの送信を原画像データとして前記送信側装置に要求する機能を備えたことを特徴とする請求項１または２記載の動画像表示装置。
【請求項４】
前記動画像処理部は、不良ブロックデータが、フレームデータ内に複数あり、かつそれぞれが異なるスライスであるときには、次のフレームデータの送信を原画像データとして前記送信側装置に要求する機能を備えたことを特徴とする請求項１から３のいずれかの項に記載の動画像表示装置。
【請求項５】
フレームデータとしての基準となる原画像データおよび１以上のフレーム間予測画像データからなる動画像データのそれぞれのフレームデータがスライスに分割され、前記スライスがマクロブロックに分割されたブロックデータを送信側装置から受信する受信部と、
前記ブロックデータが復号化可能な正常ブロックデータか否かを検出する通信エラー検出部と、
前記正常ブロックデータを復号化してスライス単位で格納部へ格納し、表示部へ表示する動画像処理部とを備えた動画像表示装置の動画像表示方法において、
前記動画像処理部は、ブロックデータが前記通信エラー検出部からの通知により復号化不能な不良ブロックデータと判断されると、前記格納部から前記不良ブロックデータに対応する正常ブロックデータが含まれるスライスを読み込み、前記不良ブロックデータが含まれるスライスと入れ換えたフレームデータとする交替制御を行うことを特徴とする動画像表示装置の動画像表示方法。
【請求項６】
前記動画像処理部が、前記不良ブロックデータが含まれるフレームデータのサイズが、所定値より大きいときに、前記交替制御を行うことを特徴とする請求項５記載の動画像表示装置の動画像表示方法。
【請求項７】
前記動画像処理部が、前記不良ブロックデータが含まれるフレームデータのサイズが、所定値以下であるときに、次のフレームデータの送信を原画像データとして前記送信側装置に要求することを特徴とする請求項５または６記載の動画像表示装置の動画像表示方法。
【請求項８】
前記動画像処理部が、不良ブロックデータが、フレームデータ内に複数あり、かつそれぞれが異なるスライスであるときには、次のフレームデータの送信を原画像データとして前記送信側装置に要求することを特徴とする請求項５から７のいずれかの項に記載の動画像表示装置の動画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラや映像ファイルなどから動画像データを受信して表示する動画像表示装置および動画像表示方法に関する。
【背景技術】
【０００２】
近年、テレビ会議システムや、テレビ電話機能を有する携帯電話機や、動画送信機能を備えたコードレス電話機の子機など、動画像と音声とを同時に送受信することで、遠方にいる者との会話が行えるようにしたシステムなどが実用化されている。
【０００３】
一般に、動画像データは、時間的に連続した複数の静止画像から構成されていると見なすことができる。例えば、ＭＰＥＧ画像圧縮方式では、動画像データは、原画像であるＩフレーム（フレーム内符号化画像）と、フレーム間予測画像であるＰフレーム（フレーム間順方向予測符号化画像）とＢフレーム（双方向予測符号化画像）とで構成されていて、動画像データの時間方向における冗長性の削減が行われている。
【０００４】
また、動画像データは、ＶＯＤ（Ｖｉｄｅｏ  ｏｎ  ｄｅｍａｎｄ：ビデオオンデマンド）システムなどのランダムジャンプを実現するためや、データ通信を行っている最中に通信エラーが発生した場合などのリカバリのために、周期的にＩフレームが現れるような構成となっている。
【０００５】
また、例えば、Ｐフレームを受信しようとして通信エラーなどにより正しく受信できないときは、Ｐフレームの再送を送信元に要求する。しかし、送信元側がＰフレームの再送が不可能な状態である場合には、受信側は、それ以降のＰフレームを受信しても連続した動画像として再生することができないため原画像であるＩフレームを要求する。
【０００６】
通信エラーの発生の元が一時的なものである場合には、通信エラーの原因が除かれた状態で、受信側は要求したＩフレームを受信することで、引き続いて動画像の再生を行うことができる。
【０００７】
しかし、通信エラーの発生の元が一時的でない場合には、Ｐフレームよりデータ容量の大きいＩフレームを再送しても、通信に要する時間がＰフレームと比較して長いため、更に通信エラーとなってしまう確率が高い。特に送信側と受信側とが無線通信で接続された場合には、通信に要する時間が長ければ長い程、その傾向は顕著である。
【０００８】
このような動画像データを受信するときに通信エラーが発生した場合に、動画像データ補正することで、品質の高い再生画像とすることができる（例えば特許文献１参照）。
【０００９】
所定の画素（ブロック）に分割された入力画像データに誤りが検出されると、誤りが検出されたブロックのデータ、および誤り伝播のある他のブロックのデータを、隣接するブロックのデータの近似相関性を利用して画素が滑らかに変化するように補正して再生画像データとするものがある。
【００１０】
また、画像の動き情報に基づいて、画像の一部のブロックを転送し耐伝送エラーを向上させる方法がある（例えば非特許文献１参照）。
【特許文献１】特開平７−１５４７９６号公報
【非特許文献１】Ｓ．Ｗｏｒｒａｌｌ，Ａ．Ｈ．Ｓａｄｋａ，Ｐ．Ｓｗｅｅｎｅｙ，Ａ．Ｍ．Ｋｏｎｄｏｚ、「Ｍｏｔｉｏｎ  Ａｄａｐｔｉｖｅ  Ｉｎｔｒａ  Ｒｅｆｒｅｓｈ  ｆｏｒ  ＭＰＥＧ−４」、ＩＥＥ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｌｅｔｔｅｒｓ，９ｔｈ  Ｎｏｖｅｍｂｅｒ  ２０００，Ｖｏｌ．３６，Ｎｏ．２３，ｐｐ．１９２４−１９２５
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかし、特許文献１に記載の画像通信方式では、誤りが検出されたブロックの補正の元を隣接するブロックのデータとし、これの近似相関性を利用して補正し再生画像データとしているため、誤りが検出されたブロックでは近似的に補正できたとしても、その画像データに続く画像データでは徐々に正しい画像データとの差が大きくなる可能性がある。
【００１２】
そこで、本発明の目的は、動画像データを受信するときに通信エラーが発生しても、不良な表示状態が伝搬することを少なくすることで高品質を図ることが可能な動画像表示装置および動画像表示方法を提供することにある。
【課題を解決するための手段】
【００１３】
本発明は、フレームデータとしての基準となる原画像データおよび１以上のフレーム間予測画像データからなる動画像データを復号化して表示する動画像表示装置において、前記フレームデータがスライスに分割され、前記スライスがマクロブロックに分割され、前記マクロブロックのデータをブロックデータとして送信側装置から受信する受信部と、前記ブロックデータが復号化可能な正常ブロックデータか否かを検出する通信エラー検出部と、前記正常ブロックデータを復号化してスライス単位で格納部へ格納し、表示部へ表示する動画像処理部とを有し、前記動画像処理部は、ブロックデータが前記通信エラー検出部からの通知により復号化不能な不良ブロックデータと判断されると、前記格納部から前記不良ブロックデータに対応する正常ブロックデータが含まれるスライスを読み込み、前記不良ブロックデータが含まれるスライスと入れ換えたフレームデータとする交替制御を行う機能を備えたことを特徴とする。
【発明の効果】
【００１４】
本発明は、マクロブロック単位で不良となったときに、スライス単位で格納部に格納されているものと入れ替える補正を行うことで、動画像データを受信するときに通信エラーが発生しても、不良な表示状態が伝搬することを少なくして高品質を図ることが可能である。
【発明を実施するための最良の形態】
【００１５】
本願の第１の発明は、フレームデータとしての基準となる原画像データおよび１以上のフレーム間予測画像データからなる動画像データを復号化して表示する動画像表示装置において、フレームデータがスライスに分割され、スライスがマクロブロックに分割され、前記マクロブロックのデータをブロックデータとして送信側装置から受信する受信部と、ブロックデータが復号化可能な正常ブロックデータか否かを検出する通信エラー検出部と、正常ブロックデータを復号化してスライス単位で格納部へ格納し、表示部へ表示する動画像処理部とを備え、動画像処理部は、ブロックデータが通信エラー検出部からの通知により復号化不能な不良ブロックデータと判断されると、格納部から不良ブロックデータに対応する正常ブロックデータが含まれるスライスを読み込み、不良ブロックデータが含まれるスライスと入れ換えたフレームデータとする交替制御を行う機能を備えたことを特徴としたものである。
【００１６】
フレームデータは、まずスライスに分割され、このスライスはマクロブロックに分割される。受信部は、動画像データを送信する送信側装置からこのマクロブロックのデータをブロックデータとして受信する。そして画像処理部が、このブロックデータを復号化して
格納部へ格納し、表示部に表示する。受信部でこのブロックデータを受信するときに通信エラー検出部からの通知により復号化不能な不良ブロックデータと判断された場合、不良ブロックデータが復号化できないため、スライスのどの部分に相当するかが判別できない。従って、動画像処理部は、まずこの不良ブロックデータが含まれるスライスの代わりに、格納部から不良ブロックデータに相当する正常ブロックデータが含まれるスライスを読み込み、次に不良ブロックデータが含まれるスライスと入れ換えたフレームデータとする交替制御を行う。つまりマクロブロック単位で不良となったときに、スライス単位で格納部に格納されているものと入れ替える補正を行う。そうすることで、マクロブロックが不良となったために、フレームデータの基準となる原画像データの再送を送信側装置に要求して、再度通信エラーが発生することで動画像が停止してしまうような事態が回避できる。また、入れ換えたブロックデータは前回表示したものであるので、比較的その差異は少ない。従って、使用者に対して違和感なく動画像データの連続性を維持することができる。
【００１７】
本願の第２の発明は、動画像処理部は、不良ブロックデータが含まれるフレームデータのサイズが、所定値より大きいときに、交替制御を行う機能を備えたことを特徴としたものである。
【００１８】
フレームデータのサイズが大きいときには、所定サイズ毎に分割して送信されるマクロブロックは、画像全体に対する占有面積の割合が相対的に小さい。つまり通信エラーにより不良ブロックデータとなったときに、不良ブロックデータを含むフレームデータのサイズが所定サイズよりも大きいときに交替制御を行うことで、その不良ブロックデータが含まれるスライスを入れ換えても動画像としては使用者には目立たないので、より効果的に補正を行うことができる。
【００１９】
本願の第３の発明は、動画像処理部は、不良ブロックデータが含まれるフレームデータのサイズが、所定値以下であるときに、次のフレームデータの送信を原画像データとして送信側装置に要求する機能を備えたことを特徴としたものである。
【００２０】
フレームデータのサイズが小さいときには、所定サイズ毎に分割して送信されるマクロブロックは、相対的に画像全体に対する占有面積の割合が大きい。つまり通信エラーにより不良ブロックデータとなったときに、不良ブロックデータを含むフレームデータのサイズが所定サイズ未満であるときに交替制御を行うと使用者にとっては不自然な動きに見えるおそれがある。従って、次のフレームデータの送信を基準となる原画像データとして送信側装置に要求することで、影響の度合いを抑制することができる。また原画像データの送信を要求しても、フレームデータが所定値以下ということは、フレームデータのサイズが比較的に小さいものなので、通信エラーの発生の確率も小さい。
【００２１】
本願の第４の発明は、動画像処理部は、不良ブロックデータが、フレームデータ内に複数あり、かつそれぞれが異なるスライスであるときには、次のフレームデータの送信を原画像データとして送信側装置に要求する機能を備えたことを特徴としたものである。
【００２２】
不良ブロックデータが複数フレームデータ内にあり、かつそれぞれが異なるスライスであるときには、スライス単位での交替制御を行うと、フレームデータに対して大きく補正を行うことになる。そうなると、使用者にとっては不自然な動きに見えるおそれがある。従って、次のフレームデータの送信を基準とする原画像データとして送信側装置に要求することで、影響の度合いを抑制することができる。
【００２３】
本願の第５の発明は、フレームデータとしての基準となる原画像データおよび１以上のフレーム間予測画像データからなる動画像データのそれぞれのフレームデータがスライス
に分割され、スライスがマクロブロックに分割されたブロックデータを送信側装置から受信する受信部と、ブロックデータが復号化可能な正常ブロックデータか否かを検出する通信エラー検出部と、正常ブロックデータを復号化してスライス単位で格納部へ格納し、表示部へ表示する動画像処理部とを備えた動画像表示装置の動画像表示方法において、動画像処理部は、ブロックデータが通信エラー検出部からの通知により復号化不能な不良ブロックデータと判断されると、格納部から不良ブロックデータに対応する正常ブロックデータが含まれるスライスを読み込み、不良ブロックデータが含まれるスライスと入れ換えたフレームデータとする交替制御を行うことを特徴としたものである。
【００２４】
フレームデータは、まずスライスに分割され、このスライスはマクロブロックに分割される。受信部は、動画像データを送信する送信側装置からこのマクロブロックのデータをブロックデータとして受信する。そして画像処理部が、このブロックデータを復号化して格納部へ格納し、表示部に表示する。受信部でこのブロックデータを受信するときに通信エラー検出部からの通知により復号化不能な不良ブロックデータと判断された場合、不良ブロックデータは復号化できないため、スライスのどの部分に相当するかが判別できない。従って、動画像処理部は、まずこの不良ブロックデータが含まれるスライスの代わりに、格納部から不良ブロックデータに相当する正常ブロックデータが含まれるスライスを読み込み、次に不良ブロックデータが含まれるスライスと入れ換えたフレームデータとする交替制御を行う。つまりマクロブロック単位で不良となったときに、スライス単位で格納部に格納されているものと入れ替える補正を行う。そうすることで、マクロブロックが不良となったために、フレームデータの基準となる原画像データの再送を送信側装置に要求して、再度通信エラーが発生することで動画像が停止してしまうような事態が回避できる。また、入れ換えたブロックデータは前回表示したものであるので、比較的その差異は少ない。従って、使用者に対して違和感なく動画像データの連続性を維持することができる。
【００２５】
本願の第６の発明は、動画像処理部が、不良ブロックデータが含まれるフレームデータのサイズが、所定値より大きいときに、交替制御を行うことを特徴としたものである。
【００２６】
フレームデータのサイズが大きいときには、所定サイズ毎に分割して送信されるマクロブロックは、画像全体に対する占有面積の割合が相対的に小さい。つまり通信エラーにより不良ブロックデータとなったときに、不良ブロックデータを含むフレームデータのサイズが所定サイズよりも大きいときに交替制御を行うことで、その不良ブロックデータが含まれるスライスを入れ換えても動画像としては使用者には目立たないので、より効果的に補正を行うことができる。
【００２７】
本願の第７の発明は、動画像処理部が、不良ブロックデータが含まれるフレームデータのサイズが、所定値以下であるときに、次のフレームデータの送信を原画像データとして送信側装置に要求することを特徴したものである。
【００２８】
フレームデータのサイズが小さいときには、所定サイズ毎に分割して送信されるマクロブロックは、相対的に画像全体に対する占有面積の割合が大きい。つまり通信エラーにより不良ブロックデータとなったときに、不良ブロックデータを含むフレームデータのサイズが所定サイズ未満であるときに交替制御を行うと使用者にとっては不自然な動きに見えるおそれがある。従って、次のフレームデータの送信を基準となる原画像データとして送信側装置に要求することで、影響の度合いを抑制することができる。また原画像データの送信を要求しても、フレームデータが所定値以下ということは、フレームデータのサイズが比較的に小さいものなので、通信エラーの発生の確率も小さい。
【００２９】
本願の第８の発明は、動画像処理部が、不良ブロックデータが、フレームデータ内に複
数あり、かつそれぞれが異なるスライスであるときには、次のフレームデータの送信を原画像データとして送信側装置に要求することを特徴としたものである。
【００３０】
不良ブロックデータが複数フレームデータ内にあり、かつそれぞれが異なるスライスであるときには、スライス単位での交替制御を行うと、フレームデータに対して大きく補正を行うことになる。そうなると、使用者にとっては不自然な動きに見えるおそれがある。従って、次のフレームデータの送信を基準とする原画像データとして送信側装置に要求することで、影響の度合いを抑制することができる。
【００３１】
（実施の形態）
本発明の実施の形態に係る動画像復号化装置を、コードレス電話機の子機を例に図１に基づいて説明する。図１は、本発明の実施の形態に係る動画像復号化装置を説明するコードレス電話機の構成図である。なお図１においては主要な構成のみを図示している。また図１３は同コードレス電話機の外観を示す図である。本例では図１３に示すように、コードレス電話機は電話回線Ｔを介して他の動画像通信装置と通信可能である。
【００３２】
図１と図１３に示すように、コードレス電話機１０は、親機２０と子機３０とがＴＤＭＡ（Ｔｉｍｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）無線により通信している。親機２０は、電話回線Ｔと接続されたモデム部２１と、モデム部２１に接続された無線制御部２２と、無線制御部２２に接続された無線部２３とを備えている。
【００３３】
モデム部２１は、無線制御部２２から入力したデータを電話回線Ｔへ変調して信号を送信したり、電話回線Ｔからの信号を復調して無線制御部２２へデータを出力したりする。またモデム部２１は、通信相手装置のモデム部間でトレーニングを行うことで伝送速度（データ転送レート）を変更することができる。
【００３４】
無線制御部２２は、モデム部２１からのデータを子機３０との無線通信手順に準拠したパケットデータとして生成し無線部２３へ出力したり、無線部２３からのパケットデータをモデム部２１へ出力したりする機能を備えている。
【００３５】
無線部２３は、無線制御部２２からの入力したパケットデータを変調してアンテナ２３ａから送信したり、またはアンテナ２３ａからの電波を復調して無線制御部２２へパケットデータとして出力したりする。
【００３６】
子機３０は、無線部３１と、無線制御部３２と、Ｈ．３２４部３３と、ＱｏＳ部（Ｑｕａｌｉｔｙ  ｏｆ  Ｓｅｒｖｉｃｅ）３４と、音声処理部３５と、画像処理部３６とを備えている。
【００３７】
無線部３１は、無線制御部３２から入力したデータを変調してアンテナ３１ａを介して親機２０との電波を送信する送信部として機能する。また、無線部３１は、親機２０からの電波を受信して復調してデータとして無線制御部３２へ出力する受信部として機能を備えている。
【００３８】
無線制御部３２は、無線部３１とＨ．３２４部３３とに接続され、Ｈ．３２４部３３からのデータを親機２０との無線通信手順に準拠したパケットデータとして生成し無線部３１へ出力したり、無線部３１からのパケットデータを入力してＨ．３２４部３３へ出力する。また、無線制御部３２は、親機２０と通信を行うに当たって、無線系の異常を検出してＱｏＳ部３４へ通知する通信エラー検出部としての機能を備えている。
【００３９】
Ｈ．３２４部３３は、アナログ電話を使ったテレビ会議用の画像圧縮方法で、ＩＴＵ（
Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ）−Ｔにより勧告された規格「Ｈ．３２４」に準拠したプロトコルの制御を行う機能を備えている。また、Ｈ．３２４部３３は、無線制御部３２が検出する通信エラー通知や、通信相手からの通信エラー通知をＱｏＳ部３４へ通知する。
【００４０】
ＱｏＳ部３４は、動画像データを生成したり復号化したりする画像処理部３６を制御する。またＱｏＳ部３４は、Ｈ．３２４部３３からの通信エラー通知により動画像データであるフレームデータの補正を行う制御部として機能する。
【００４１】
音声処理部３５は、マイク３７から入力した音声信号を音声データに変換して画像処理部３６へ出力する。また音声処理部３５は、画像処理部３６からの音声データを音声信号に変換してスピーカ３８へ出力する。
【００４２】
画像処理部３６は、カメラ４０から入力した画像データおよび音声処理部３５から入力した音声データを符号化して、フレームデータとしての基準となる原画像データおよび１以上のフレーム間予測画像データからなる動画像データを生成してＨ．３２４部３３へ出力する。またＨ．３２４部３３からの動画像データを復号化して表示部３９へ出力する。この画像処理部３６とＱｏＳ部３４とで動画像処理部として機能する。
【００４３】
この動画像データは、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）画像圧縮方式では、原画像であるＩフレームと、フレーム間予測画像データであるＰフレームと、Ｂフレームとで構成される。画像処理部３６は、このＩフレームと、Ｐフレームと、Ｂフレームとで構成される符号化された動画像データを復号化して表示部３９へ出力する。
【００４４】
子機３０におけるＱｏＳ部３４は、子機３０で動作するＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）上で動作するアプリケーションプログラムである。また、Ｈ．３２４部３３および画像処理部３６は、このＯＳのドライバである。
【００４５】
以上のように構成される本発明の実施の形態に係るコードレス電話機１０の子機３０の動作を図２から図１１に基づいて説明する。まずは、子機３０のＱｏＳ部３４が実行する動画像処理手順の動作を図２に基づいて説明する。図２は、子機３０のＱｏＳ部３４が実行する動画像処理手順の動作を説明するフローチャートである。
【００４６】
図２に示すように「動画像処理手順」は、まずＱｏＳ部３４は、親機２０を介して無線部３１が受信したパケットが新しいフレームの開始か否かを判断する（Ｓ１００）。新しいフレームである場合には、エラーカウンタを「０」に設定する（Ｓ１１０）。Ｓ１００にて、続きのフレームであると判断された場合には、Ｓ１２０へ移行する。
【００４７】
ＱｏＳ部３４は、パケットを受信する際に、通信エラーが発生していたか否かを判断する（Ｓ１２０）。この通信エラーは、Ｈ．３２４部３３からＱｏＳ部３４へ通知される。通信エラーが発生した場合には、エラーカウンタをカウントアップする（Ｓ１３０）。そして「動画像データリカバリ手順」を実行する（Ｓ１４０）。
【００４８】
Ｓ１２０にて、通信エラーが発生していない場合にはＳ１５０へ移行して、「動画像処理手順」を終了する。
【００４９】
次に、図２のＳ１４０にて実行される「動画像データリカバリ手順」について、図３に基づいて詳細に説明する。図３は、子機３０のＱｏＳ部３４が実行する動画像データリカバリ手順の動作を説明するフローチャートである。
【００５０】
図３に示すように、ＱｏＳ部３４は、通信エラーによりパケットが受信できなかったことが、同一フレーム内で２回未満か否かを判断する。この判断は、ＱｏＳ部３４がエラーカウンタの値が２未満か否かで決定することができる（Ｓ２００）。
【００５１】
Ｓ２００にて同一フレーム内で１回しか通信エラーが発生していないと判断されると、ＱｏＳ部３４は、そのフレームのサイズが閾値（所定サイズ）より大きいか否かを判断する（Ｓ２１０）。フレームのサイズが閾値より大きい場合には、ＱｏＳ部３４はフレームの補正を行うよう画像処理部３６に指示する（Ｓ２２０）。
【００５２】
Ｓ２００にて、同一フレーム内での通信エラーによりパケットが受信できなかったことが、２回以上である場合、およびＳ２１０にてフレームのサイズが閾値以下である場合には、通信相手にＩフレームの送信を要求する（Ｓ２３０）。
【００５３】
ここで、Ｓ２２０にて行われるフレームの補正について、図４から図９に基づいて詳細に説明する。図４は、スライスとマクロブロックを説明する図である。図５は、フレームデータのフォーマットを説明する図である。図６（Ａ）は、Ｈ．３２４部３３が備えた受信データバッファを説明する図、（Ｂ）は画像処理部３６が備えた画像データ展開用バッファを説明する図、（Ｃ）は、画像処理部３６が備えた画像表示用バッファを説明する図である。図７は、通信エラーが発生したときの受信データバッファの状態を説明する図である。図８は、通信エラーが発生したときのフレームデータの補正を説明する図である。図９から図１１は、送信側装置と子機３０との間での通信の状態を説明するシーケンスチャートである。
【００５４】
フレームは、フレームデータとして処理されるときに、ＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ）−Ｔにより勧告された規格「Ｈ．３２４」では、複数のスライスと呼ばれる単位に分割されている。例えば、図４に示す画像では、６つのスライスに分割されている。またこのスライスは、１２のマクロブロックに分割されている。つまりフレームデータは７２のマクロブロックの集合体である。
【００５５】
フレームデータは、図５に示すようなフォーマットで構成されている。先頭は、ピクチャヘッダである。ピクチャヘッダには、このフレームデータがＩフレームか、Ｂフレームか、またはＰフレームかなどを識別する情報が格納されている。次に、スライスヘッダが配置される。スライスヘッダは、続くデータがスライスの先頭であることを示す。そしてこのスライスに含まれるマクロブロックのデータとして、マクロブロックヘッダとブロックデータとが一対となって交互に配置される。そして１つのスライスが終了すると、またスライスヘッダを先頭に、マクロブロックヘッダとブロックデータとが続く。
【００５６】
パケットは、このフレームデータを親機２０の無線制御部２２と子機３０の無線制御部３２とで通信されるサイズに、フォーマットとは関係なく等分割して送受信される。つまりフレームデータが分割されたパケットを、子機３０の無線部３１および無線制御部３２が受信してＨ．３２４部３３へ出力すると、Ｈ．３２４部３３は内部に備えた受信データバッファに格納してフレームデータとして再構築するのである。
【００５７】
ここで、Ｈ．３２４部３３が備えた受信データバッファと、画像処理部３６が備えた画像データ展開用バッファおよび画像表示用バッファの構成を図６に基づいて説明する。
【００５８】
本実施の形態では、図４に示すように１フレームを６つのスライスと１２のマクロブロクに分割しているが、符号化されたフレームデータは、表示されるときに使用されるフレ
ームデータよりは符号化され圧縮された状態である。従って図６（Ａ）に示すように、Ｈ．３２４部３３の受信データバッファは、１つのブロックデータのサイズが同じ容量とすると、横６×縦４ほどの領域しか確保する必要がない。Ｈ．３２４部３３は、無線制御部３２から受信したパケットのデータを入力すると、この受信データバッファに順次格納する。フレームデータは、スライスヘッダによりスライスの位置（番号）は判別できる。しかし、１スライス中のマクロブロックは、それぞれが可変長符号化されているため、そのスライスのどの位置のマクロブロックに相当するかは判別ができない。従って、受信データバッファは、１番目のスライスでは「１」から「６」まで、２番目のスライスでは復号化した後のマクロブロックの先頭である「１３」から始まることになる。
【００５９】
そして、Ｈ．３２４部３３は、受信データバッファに１フレームデータの格納を終えると、画像処理部３６へ順次出力する。画像処理部３６では、Ｈ．３２４部３３からのフレームデータを復号化して画像データ展開用バッファに格納する。図６（Ｂ）に示すように復号化することでフレームデータのサイズは大きくなるので、画像データ展開用バッファは、Ｈ．３２４部３３の受信データバッファよりも容量が大きい領域が確保されている。本実施の形態では、図４に示すように１フレームを６つのスライスと１２のマクロブロクに分割しているので、画像データ展開用バッファは横１２×縦６のマクロブロックの領域が確保されている。
【００６０】
そして、図６（Ｃ）に示すように、画像処理部３６によるフレームデータの復号化が完了すると、画像処理部３６は、画像データ展開用バッファからフレームデータを画像表示用バッファに転送することで表示部３９が画像表示用バッファのデータを読み込んで表示する。
【００６１】
このように受信データバッファと、画像データ展開用バッファと、画像表示用バッファとが構成されている。例えばＰフレームを受信中に、図７に示すように、受信データバッファ「１４」に格納されるマクロブロックのパケットが通信エラーとなって受信できなくなり、このマクロブロックのデータが不良ブロックデータとなったとする。しかしパケットは、通信エラーが発生したマクロブロックのデータが受信データバッファに格納できなくても、フレームデータの最後のマクロブロックの転送が終了するまで継続して受信されて、そのデータはＨ．３２４部３３の受信データバッファに格納される。Ｈ．３２４部３３は、受信データバッファに順次受信したパケットのデータを格納しながら、画像処理部３６へ転送する。
【００６２】
図８に示すように、画像処理部３６では、受信したフレームデータの復号化を行い画像データ展開用バッファへ展開して格納する。まず画像データ展開用バッファのマクロブロック「１」から「１２」までのスライス１を展開して格納する。そしてスライス２のマクロブロック「１３」および「１４」を展開して、受信データバッファ「１４」に相当するマクロブロック「１５」を展開するときに、通信エラーが発生して受信できなかったので、展開ができない。従って、マクロブロック「１５」以降は、このマクロブロック「１５」のブロックデータを参照して復号化されるため展開ができない。そして、スライス３のマクロブロック「２５」から「３６」と順次展開して格納する。
【００６３】
画像処理部３６は、ブロックデータが通信エラーのために展開が不可能となったときに、前回に表示されたフレームが格納されている画像表示用バッファから同じ位置のスライスを読み込んで入れ替える。つまり、スライス２のマクロブロック「１５」が展開できないので、このマクロブロック「１５」が含まれるスライス２を、画像表示用バッファから読み込み、画像データ展開用バッファに書き込む補正を行う。
【００６４】
そして、補正が終わったら、画像処理部３６は、この画像データ展開用バッファのデー
タを、画像表示用バッファに書き込むことで、表示部３９が補正されたデータを表示する。
【００６５】
前回に表示されたフレームの同じ位置のスライスに入れ替える補正を行うことで、通信エラーとなって復号化できなくなったスライスを近似的に復元することができる。従って、この復元されたフレームに続くＰフレームまたはＢフレームへの影響を少なくすることができる。また、マクロブロックが不良となったために、次のフレームデータの送信を、基準となるＩフレームで送信するよう親機２０を介して送信側装置に要求して、再度通信エラーが発生することで動画像が停止してしまうような事態が回避できる。このようにして、図３に示す「動画像データリカバリ手順」のＳ２２０での補正を行っている。
【００６６】
次に、このフレームの補正を子機３０が行うときの例を、図９に基づいて親機２０を介して通信相手と通信する手順に沿って説明する。
【００６７】
図９に示すように、送信側装置からフレームの開始となるパケット番号０のパケットが送信される。このパケット番号０は、電話回線Ｔを介して親機２０が受信し、電波を介して子機３０が受信する。そして無線部３１・無線制御部３２を介してＨ．３２４部３３に入力され、受信データバッファへ格納された後、画像処理部３６へ転送される（Ｓ３００）。次に、パケット番号１のパケットが送信側装置から送信され、同様に子機３０の受信データバッファに格納された後、画像処理部３６へ転送される（Ｓ３１０）。そしてパケット番号５のパケットを送信側装置が送信しようとしたときに、通信エラーにより親機２０まで到達できない状態となる（Ｓ３２０）。
【００６８】
送信側装置は、次のパケット番号６のパケットを送信する（Ｓ３３０）。しかし、Ｈ．３２４部３３は、パケット番号５を受信していないのに、パケット番号６のパケットが先に到達したことにより、ＱｏＳ部３４に通信エラーを通知すると共に、パケット番号５のパケットの再送要求を送信側装置に送信する（Ｓ３４０，Ｓ３５０）。
【００６９】
パケット番号５の再送要求を受信した送信側装置は、もうすでにそのデータを破棄してしまって、再送ができないときには、パケット番号５がないことを意味する再送不可の通知を子機３０へ通知する。この再送不可の通知を受信したＨ．３２４部３３は、ＱｏＳ部３４へ送信側装置の再送失敗を通知する（Ｓ３６０）。
【００７０】
ＱｏＳ部３４は、パケットの受信に関して通信エラーが発生し、かつ再送も不可能となったことで、「動画像データリカバリ手順」を実行する（図３参照）。ここでは、同一フレーム内の再送失敗回数がまだ１回なので、Ｓ２００での判断はＳ２１０へ移行する。そして受信しているフレームデータのサイズが閾値より大きいときに、Ｓ２２０へ移行してフレームの補正を行うことになる（Ｓ３７０）。そこでＱｏＳ部３４は、画像処理部３６へフレームの補正を行う旨の通知であるエラー発生通知を出力してフレームの補正を指示する（Ｓ３８０）。
【００７１】
この閾値は、フレームデータに占めるマクロブロックの割合を判断するためのものである。つまり閾値よりフレームデータのサイズが大きいということは、通信エラーが発生してマクロブロックが１つ欠落してスライスを入れ替えたとしても、フレームサイズが大きいので、相対的に画像全体に対する占める割合が小さいものと判断できる。従って、スライス単位で補正を行って表示を行ったとしても、使用者に不自然さを与えることが少ない。また、続くＰフレームまたはＢフレームへの影響も少ない。
【００７２】
送信側装置は、引き続いてパケット番号７のパケットを、親機２０を介して子機３０へ送信する（Ｓ３９０）。
【００７３】
最後に送信側装置から１フレームの最終パケットであるパケット番１０のパケットが送信され、子機３０が受信する（Ｓ４００）。子機３０のＨ．３２４部３３は、画像処理部３６に復号化の開始を指示する通知を行う（Ｓ４１０）。そして前述したような通信エラーが発生したマクロブロックのスライスを入れ替えるフレームの補正を行う（Ｓ４２０）。
【００７４】
次に、通信エラーが発生したフレームデータのサイズが閾値以下であった場合の子機３０の動作を図１０に基づいて説明する。なお図１０においては、Ｓ３００からＳ３６０までは、図９と同じなので説明は省略する。
【００７５】
図１０に示すように、ＱｏＳ部３４は、パケットの受信に関して通信エラーが発生し、かつ再送も不可能となったことで、「動画像データリカバリ手順」を実行する（図３参照）。ここでは、同一フレーム内の再送失敗回数がまだ１回なので、Ｓ２００での判断はＳ２１０へ移行する。そして受信しているフレームデータのサイズが閾値以下と判断された場合は、ＱｏＳ部３４は、Ｓ２３０へ移行して次のフレームデータの送信を送信側装置に要求することになる（Ｓ５００）。そのときに原画像データであるＩフレームを要求するようＨ．３２４部３３に通知する（Ｓ５１０）。そしてＨ．３２４部３３は、画像処理部３６へ展開用データバッファへのバッファ中止を通知する（Ｓ５２０）。
【００７６】
Ｉフレームでの送信を要求された送信側装置は、新たな画像をＩフレームで送信する（Ｓ５３０）。そして全てのフレームデータを受信し終えるとＱｏＳ部３４は、画像処理部３６に復号化開始を通知する（Ｓ５４０）。
【００７７】
このように、フレームデータのサイズが閾値以下である場合には、通信エラーが発生してマクロブロックが１つ欠落してスライスを入れ替えると、フレームサイズが小さいので入れ替えるスライスがフレームデータに示す割合が相対的に大きいものと判断できる。従って、スライス単位で補正を行って表示を行うと、使用者に不自然さを与えてしまうおそれがある。また、続くＰフレームまたはＢフレームへの影響も大きいおそれがある。従って、マクロブロックが全体に占める割合に応じて、次のフレームデータを原画像データであるＩフレームで送信することを送信側装置に要求することで、使用者に不自然さを与えてしまうことを回避できる。
【００７８】
次に、通信エラーとなったマクロブロックが複数スライスとなってしまった場合の子機３０の動作を図１１に基づいて説明する。なお図１１においては、フレームデータを受信中に１回目の通信エラーが発生するところまでは、図９におけるＳ３００からＳ３６０までは同じなので説明は省略する。
【００７９】
図１１に示すように、送信側装置からパケット番号８のパケットが送信されるが、親機２０と子機３０との間の通信エラーにより子機３０には到達せず、２回目の再送で到達したものとする（Ｓ６００）。
【００８０】
親機２０と子機３０との間で再送を行っている内に、送信側装置からパケット番号９のパケットが送信される（Ｓ６１０）。ところが親機２０では、パケット番号８のパケットを子機３０へ再送するために、まだバッファに格納した状態であったため、パケット番号９のパケットがバッファオーバランとなってしまう（Ｓ６２０）。このバッファオーバランは、親機２０の無線制御部２２の送信データバッファの容量に応じて発生するものであり、複数パケット分の容量を備えていれば防止できるものである。本実施の形態では、便宜上、１パケット分のみの送信データバッファとしている。
【００８１】
送信側装置は、パケット番号９のパケットを送信し終えているので、引き続いてパケット番号１０のパケットを送信する。そしてパケット番号１０のパケットを受信した親機２０は、子機３０へ転送する（Ｓ６３０）。
【００８２】
Ｈ．３２４部３３は、パケット番号９のパケットを受信していないのに、パケット番号１０のパケットを受信したことでＱｏＳ部３４へ通信エラーを通知する（Ｓ６４０）。そして送信側装置にパケット番号９の再送の要求を送信する（Ｓ６５０）。
【００８３】
パケット番号９の再送要求を受信した送信側装置は、もうすでにそのデータを破棄してしまって再送ができないので、パケット番号９がないことを意味する再送不可の通知を子機３０へ通知する。この再送不可の通知を受信したＨ．３２４部３３は、ＱｏＳ部３４へ送信側装置の再送失敗を通知する（Ｓ６６０）。
【００８４】
ＱｏＳ部３４は、パケットの受信に関して通信エラーが発生し、かつ再送も不可能となったことで、「動画像データリカバリ手順」を実行する（図３参照）。ここでは、同一フレーム内の再送失敗回数が２回目となったことで複数マクロブロックが欠落することになるので、ＱｏＳ部３４は、Ｓ２３０へ移行して次のフレームデータの送信を送信側装置に要求することになる（Ｓ６７０）。そのときに原画像データであるＩフレームを要求するようＨ．３２４部３３に通知する（Ｓ６８０）。そしてＨ．３２４部３３は、画像処理部３６へ展開用データバッファへのバッファ中止を通知する（Ｓ６９０）。
【００８５】
Ｉフレームでの送信を要求された送信側装置は、新たな画像をＩフレームで送信する（Ｓ７００）。そして全てのフレームデータを受信し終えるとＱｏＳ部３４は、画像処理部３６に復号化開始を通知する（Ｓ７１０）。
【００８６】
このように、フレームデータで複数のマクロブロックが通信エラーとなって欠落した場合、複数のスライスに渡ってしまう可能性が高い。そうなると、スライス単位で補正を行うと、使用者に不自然さを与えてしまうおそれがある。また、続くＰフレームまたはＢフレームへの影響も大きいおそれがある。従って、マクロブロックが全体に占める割合に応じて、次のフレームデータを原画像データであるＩフレームで送信することを送信側装置に要求することで、使用者に不自然さを与えてしまうことを回避できる。
【００８７】
ところで、送信側装置から送信されるフレームデータは、誤った状態のまま子機３０へ到達し、表示されることがある。これは親機２０と子機３０との間は無線環境で通信されているため、パケットは親機２０から子機３０へ到達するが、そのパケットの一部が破壊され、複数ビットが破壊されることで子機３０の無線制御部３２のエラー検出機能の通信エラーの検出を通過してしまう状態である。
【００８８】
このような状態のＩフレーム、ＢフレームまたはＰフレームを表示すると破壊されたマクロブロックの部分は異常な表示となる。またそのフレームに続くＢフレームやＰフレームでは、その影響を受け更に異常な表示が拡大し、次のＩフレームまでその状態は継続される。
【００８９】
そこで、送信側装置において、マクロブロック単位で送信するときに、部分的にフレーム内符号化を行ったＩマクロブロックとして送信する。このＩマクロブロックは、送信側装置で、１フレームに対してランダムに、かつ均等に割り振られるのが望ましい。図１２は送信側装置でマクロブロックをＩマクロブロックとして送信するときの状態を説明する図であり、例えば６のスライスと１２のマクロブロックで構成されるフレームデータの場合には、最初のフレームではマクロブロック「１４」をＩマクロブロックとする。次のフレームではマクロブロック「７０」をＩマクロブロックとする。そして次は、マクロブロ
ック「３５」をＩマクロブロックとするように、ランダムに割り振る。そして７２フレームを送り終えることで、全てのマクロブロックに割り振りが終わるように均等に割り振る。全ての割り振りが完了する７２フレームの次の７３フレーム目では、最初からマクロブロック「１４」をＩマクロブロックとする。
【００９０】
そうすることで、無線通信でのマクロブロックのブロックデータが破壊されても、破壊されたマクロブロックに、このＩマクロブロックが割り振られれば、それ以降のフレームを表示するときに、異常な表示の状態が伝搬してしまうことが防止できる。
【産業上の利用可能性】
【００９１】
本発明は、動画像データを受信するときに通信エラーが発生しても、不良な表示状態が伝搬することを少なくすることで高品質を図ることが可能なので、ビデオカメラや映像ファイルなどから動画像データを受信して表示する動画像表示装置および動画像表示方法に好適である。
【図面の簡単な説明】
【００９２】
【図１】本発明の実施の形態に係る動画像復号化装置を説明するコードレス電話機の構成図
【図２】子機のＱｏＳ部が実行する動画像処理手順の動作を説明するフローチャート
【図３】子機のＱｏＳ部が実行する動画像データリカバリ手順の動作を説明するフローチャート
【図４】スライスとマクロブロックを説明する図
【図５】フレームデータのフォーマットを説明する図
【図６】（Ａ）Ｈ．３２４部が備えた受信データバッファを説明する図、（Ｂ）画像処理部が備えた画像データ展開用バッファを説明する図、（Ｃ）画像処理部が備えた画像表示用バッファを説明する図
【図７】通信エラーが発生したときの受信データバッファの状態を説明する図
【図８】通信エラーが発生したときのフレームデータの補正を説明する図
【図９】送信側装置と子機との間での通信の状態を説明するシーケンスチャート
【図１０】送信側装置と子機との間での通信の状態を説明するシーケンスチャート
【図１１】送信側装置と子機との間での通信の状態を説明するシーケンスチャート
【図１２】送信側装置でマクロブロックをＩマクロブロックとして送信するときの状態を説明する図
【図１３】本発明の実施の形態に係るコードレス電話機の外観を示す図
【符号の説明】
【００９３】
１０    コードレス電話機
２０    親機
２１    モデム部
２２    無線制御部
２３    無線部
２３ａ    アンテナ
３０    子機
３１    無線部
３１ａ    アンテナ
３２    無線制御部
３３    Ｈ．３２４部
３４    ＱｏＳ部
３５    音声処理部
３６    画像処理部
３７    マイク
３８    スピーカ
３９    表示部
４０    カメラ
【図１】
2007166479.tif 000003
【図２】
2007166479.tif 000004
【図３】
2007166479.tif 000005
【図４】
2007166479.tif 000006
【図５】
2007166479.tif 000007
【図６】
2007166479.tif 000008
【図７】
2007166479.tif 000009
【図８】
2007166479.tif 000010
【図９】
2007166479.tif 000011
【図１０】
2007166479.tif 000012
【図１１】
2007166479.tif 000013
【図１２】
2007166479.tif 000014
【図１３】
2007166479.tif 000015