(57)【要約】【課題】画像データの伝送の際に通信状態が悪化した場合であっても、重要な表示領域については表示を中断させることなく当該伝送に係るデータ量を軽減し、且つデータ量軽減の解除に伴う表示画像の切り替え時にはユーザに違和感を感じさせない連続的な切り替えを行うことができるデータ送信端末装置、データ受信端末装置、及び動画像送信システムを提供すること。【解決手段】受信端末装置との間で送受信される動画像データの通信状態に基づいて判定されたデータ削減の要／不要が示された判定信号を受信する通信機1012と、前記判定信号に応じて前記動画像データのデータ削減処理を実行して削減動画像データを生成する画像データ削減装置1011と、前記画像データ削減装置1011から出力された動画像データを前記受信端末装置に送信する通信機1012と、をデータ送信端末装置に備えさせる。【選択図】      図１Ａ
2010157778.tif 000002
【特許請求の範囲】
【請求項１】
動画像データを送信するデータ送信端末装置であって、
受信端末装置との間で送受信される前記動画像データの通信状態の検出を行う通信状態検出部と、
前記通信状態検出部により検出された前記通信状態に応じて前記動画像データのデータ削減処理を実行して削減動画像データを生成するデータ量調節部と、
前記データ量調節部から出力された画像データを前記受信端末装置に送信する送信部と、
を備えることを特徴とするデータ送信端末装置。
【請求項２】
前記データ量調節部は、前記動画像データの中から所定のデータを主要データ部として抽出するデータ抽出部を含み、前記通信状態検出部により検出された通信状態が所定の通信状態よりも悪い場合には、前記動画像データのうち前記抽出部により抽出されなかったデータについては間引き処理を行うことを特徴とする請求項１に記載のデータ送信端末装置。
【請求項３】
前記データ抽出部は、前記動画像データの中から色差データを除去したデータを前記主要データ部として抽出し、又は前記動画像データの表示画像のうち所定の領域に対応するデータを前記主要データ部として抽出することを特徴とする請求項２に記載のデータ送信端末装置。
【請求項４】
前記通信状態検出部により検出された前記通信状態が、前記所定の通信状態よりも悪い通信状態から、前記所定の通信状態よりも良好な状態に遷移した場合、前記データ量調節部は、前記動画像データのデータ削減処理における削減量を漸次低下させることを特徴とする請求項２に記載のデータ送信端末装置。
【請求項５】
前記動画像データのうち前記抽出部により前記主要データ部として抽出されなかったデータを補正処理する補正部を含み、
前記データ量調節部は、前記動画像データのデータ削減処理における削減量を漸次低下させる際、前記主要データ部と前記補正処理されたデータとを出力することを特徴とする請求項４に記載のデータ送信端末装置。
【請求項６】
前記データ量調節部は、
前記画像データにおける所定の高周波数成分を除去するローパスフィルタと、
前記ローパスフィルタにより所定の高周波数成分が除去された画像データを圧縮処理する圧縮処理部と、
を含むことを特徴とする請求項１に記載のデータ送信端末装置。
【請求項７】
前記データ量調節部は、前記ローパスフィルタにより除去する周波数成分の設定を行うフィルタ設定部を含み、
前記フィルタ設定部は、前記通信状態検出部により検出された前記通信状態が前記所定の通信状態よりも悪い通信状態から、前記所定の通信状態よりも良好な状態に遷移した場合、前記除去する周波数成分の値を漸次低下させることを特徴とする請求項６に記載のデータ送信端末装置。
【請求項８】
前記データ量調節部は、前記通信状態検出部により検出された通信状態が前記所定の通信状態よりも悪い場合には、前記データ抽出部により抽出された主要データ部のみを出力することを特徴とする請求項１に記載のデータ送信端末装置。
【請求項９】
動画像データを受信する受信端末装置であって、
前記動画像データの通信状態の検出を行う通信状態検出部と、
前記通信状態検出部による検出結果に基づいて、当該通信に係るデータのデータ量削減を指示する判定信号を生成する判定部と、
前記判定部により生成された前記判定信号を、前記動画像データの送信端末装置に送信する通信部と、
を備えることを特徴とするデータ受信端末装置。
【請求項１０】
送信端末装置と、前記送信端末装置から送信される動画像データを受信する受信端末装置と、を具備する動画像送信システムであって、
前記受信端末装置は、
前記動画像データの通信状態の検出を行う通信状態検出部と、
前記通信状態検出部による検出結果に基づいて、当該通信に係るデータのデータ量削減を指示する判定信号を生成する判定部と、
前記判定部により生成された前記判定信号を、前記送信端末装置に送信する通信部と、
を備え、
前記送信端末装置は、
前記受信端末装置から送信された判定信号を受信する判定信号受信部と、
前記判定信号に基づいて、前記動画像データのデータ削減処理を実行して削減動画像データを生成するデータ量調節部と、
前記データ量調節部から出力された画像データを前記受信端末装置に送信する送信部と、
を備えることを特徴とする動画像送信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル信号の動画像データを伝送するデータ送信端末装置、データ受信端末装置、及び動画像送信システムに関する。
【背景技術】
【０００２】
従来より、所定の対象物を撮影して動画像データをリアルタイムで生成・表示するシステムが種々提案されている。このようなシステムによれば、ユーザは、前記動画像データをリアルタイムで参照しながら前記所定の対象物に対して何らかの処置を加える操作を行うことが可能となる。
【０００３】
ところで、上述したようなシステムにおいて、動画像データを生成する画像処理回路が例えば数フレーム分の時間に相当する処理遅延時間を有している場合、表示に係る動画像に映されている状況と現実の状況との間にズレが生じてしまう。このようなケースにおいては、上述したような所定の対象物に対して処置を加える操作には非常な危険性が伴う。
【０００４】
さらに、画像信号の伝送に無線通信等を介する場合には、伝送エラーに対応した再送が必要となる為、伝送に時間を要して動画像データの表示が遅れてしまう事態や伝送しきれずに動画像データの表示が不可能となる事態も生じる。
【０００５】
このような事情を鑑みて、伝送の際にデータ量を減らして遅延時間を短縮する技術やデータ量を減らした場合であっても実際の表示にあまり影響を与えないようにする技術が提案されている。このような技術に関連する技術として、例えば特許文献１には次のような技術が開示されている。
【０００６】
すなわち、特許文献１には、一方の端末のマイクからの使用者の音声データとカメラで撮像された動画像データを圧縮装置で圧縮し、多重化装置で多重化して、データバッファで蓄積し、第１通信装置から通信回線を経て対向端末の第２通信装置に送信した後、受信した音声データと動画像データを対向端末のデータバッファで蓄積した後に分離装置で音声データと動画像データとを分離し、伸張装置で伸張し、伸張装置が動画像データにエラー発生を検出すると、伸張装置は画像バッファに対してエラーしたブロックの１つ前のフレームの同じ位置のブロックのデータの表示を行わせるＴＶ会議画像データ制御システムが開示されている。この特許文献１に開示されたＴＶ会議画像データ制御システムによれば、動画像データにエラーが発生しても、端末のディスプレイに表示される動画像の乱れを使用者に見せることなく会議を継続することが可能となる。
【０００７】
また、特許文献２には、可変長復号部がフレーム符号化モードを復号し、エラー検出部が可変長復号部による復号中に画像データのエラーを検出し、受信間隔測定部がフレーム符号化モードに基づいてキーフレームの受信間隔（ランダムアクセス間隔）を測定し、切替制御部がエラーの有無、フレーム符号化モードおよびランダムアクセス間隔に基づいてスイッチの接続／切断を制御することにより、表示部に表示される画像を切り替える画像受信装置が開示されている。この特許文献２に開示された画像受信装置によれば、画像データにエラーが検出された場合に、受信側での自律的な制御により見やすい画像を表示することが可能となる。
【特許文献１】特開平１１−３３１７９５号公報
【特許文献２】特開２００３−２８４０６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、特許文献１及び特許文献２に開示されている技術は、いずれも画像データの伝送が遅延した際に、表示する画像データを代替の画像データに切り替える技術である。このような表示切り替えは、当然ながら不連続的な切り替えとなる為、ユーザにとって見苦しい表示となる。さらには、本来表示すべき画像データを他の画像データに切り替えてしまう為、ユーザは本来確認すべき画像データを確認することができない。
【０００９】
本発明は、前記の事情に鑑みて為されたものであり、画像データの伝送の際に通信状態が悪化した場合であっても、重要な表示領域については表示を中断させることなく当該伝送に係るデータ量を軽減し、且つデータ量軽減の解除に伴う表示画像の切り替え時にはユーザに違和感を感じさせない連続的な切り替えを行うことができるデータ送信端末装置、データ受信端末装置、及び動画像送信システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記の目的を達成するために、本発明の第１の態様によるデータ送信端末装置は、
動画像データを送信するデータ送信端末装置であって、
受信端末装置との間で送受信される前記動画像データの通信状態の検出を行う通信状態検出部と、
前記通信状態検出部により検出された前記通信状態に応じて前記動画像データのデータ削減処理を実行して削減動画像データを生成するデータ量調節部と、
前記データ量調節部から出力された画像データを前記受信端末装置に送信する送信部と、
を備えることを特徴とする。
【００１１】
前記の目的を達成するために、本発明の第２の態様によるデータ受信端末装置は、
動画像データを受信する受信端末装置であって、
前記動画像データの通信状態の検出を行う通信状態検出部と、
前記通信状態検出部による検出結果に基づいて、当該通信に係るデータのデータ量削減を指示する判定信号を生成する判定部と、
前記判定部により生成された前記判定信号を、前記動画像データの送信端末装置に送信する通信部と、
を備えることを特徴とする。
【００１２】
前記の目的を達成するために、本発明の第１の態様による動画像送信システムは、
送信端末装置と、前記送信端末装置から送信される動画像データを受信する受信端末装置と、を具備する動画像送信システムであって、
前記受信端末装置は、
前記動画像データの通信状態の検出を行う通信状態検出部と、
前記通信状態検出部による検出結果に基づいて、当該通信に係るデータのデータ量削減を指示する判定信号を生成する判定部と、
前記判定部により生成された前記判定信号を、前記送信端末装置に送信する通信部と、
を備え、
前記送信端末装置は、
前記受信端末装置から送信された判定信号を受信する判定信号受信部と、
前記判定信号に基づいて、前記動画像データのデータ削減処理を実行して削減動画像データを生成するデータ量調節部と、
前記データ量調節部から出力された画像データを前記受信端末装置に送信する送信部と、
を備えることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、画像データの伝送の際に通信状態が悪化した場合であっても、重要な表示領域については表示を中断させることなく当該伝送に係るデータ量を軽減し、且つデータ量軽減の解除に伴う表示画像の切り替え時にはユーザに違和感を感じさせない連続的な切り替えを行うことができるデータ送信端末装置、データ受信端末装置、及び動画像送信システムを提供することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態に係るデータ送信端末装置、データ受信端末装置、及び動画像送信システムについて、図面を参照して説明する。
【００１５】
［第１実施形態］
図１Ａは、本発明の第１実施形態に係る動画像送信システムにおけるデータ送信装置の一構成例を示す図である。図１Ｂは、本発明の第１実施形態に係る動画像送信システムにおけるデータ受信装置の一構成例を示す図である。
【００１６】
図１Ａ及び図１Ｂに示すように、本第１実施形態に係る動画像送信システムは、データ送信装置１００１と、データ受信装置１００２と、を具備する。
【００１７】
前記データ送信装置１００１は、画像データ削減装置１０１１と、送信機１０１２と、を有する。前記画像データ削減装置１０１１は、画像データ分離装置１０２１と、選択装置１０２２と、撮像素子（不図示）と、を備える。前記選択装置１０２２は、緩和装置１０３１と、セレクタ１０３４と、を備える。前記緩和装置１０３１は、カウンタ１０３２と、演算装置１０３３と、を備える。
【００１８】
前記画像データ削減装置１０１１は、例えばＲＧＢ形式やＹＣｒＣｂ形式の画像データのデータ量を削減する装置であり、詳細には次のような処理を行う。
【００１９】
前記画像データ分離装置１０２１は、画像データを輝度データと色データとに分離して前記選択装置１０２２へ出力する。すなわち、前記画像データ分離装置１０２１は、ＹＣｒＣｂ形式の画像データが入力された場合には、当該画像データを輝度データＹと色データＣｒ及びＣｂとに分離する。なお、ＲＧＢ形式の画像データが入力された場合には、前記画像データ分離装置１０２１は、まず当該画像データをＹＣｒＣｂ形式に変換した後、輝度データＹと色データＣｒ及びＣｂとに分離する。
【００２０】
前記選択装置１０２２は、入力される判定信号に応じて次のような動作を行う。
【００２１】
（ｉ）“データ量の削減を指示する旨の判定信号”が入力された場合
前記セレクタ１０３４は、前記画像データ分離装置１０２１から出力されたデータのうち輝度データのみを選択して出力する。
【００２２】
（ｉｉ）“データ量の削減は不要である旨の判定信号”が入力された場合
前記セレクタ１０３４は、前記画像データ分離装置１０２１から出力されたデータのうち輝度データ及び色データの両方を出力する。つまり、この場合には画像データのデータ量を削減しない。
【００２３】
以上説明したように、前記選択装置１０２２は、通常時は輝度データＹと色データＣｒ，Ｃｂとにより構成されるカラー情報を伝送する。一方、通信状態が悪化する等してデータ量の削減が望まれる場合には、前記選択装置１０２２は、輝度データＹのみ（白黒情報）を伝送する。従って、通信状態が悪化する等して前記前記選択装置１０２２によりデータ量の削減処理が行われる場合には、カラー画像と白黒画像との表示切り替えが行われる。
【００２４】
前記緩和装置１０３１は、カラー画像と白黒画像との表示切り替えを、視覚的により自然な表示切り替えとする為の装置であり、カウンタ１０３２と演算装置１０３３とを備える。
【００２５】
前記カウンタ１０３２は、“データ量の削減は不要である旨の判定信号”が入力されるとカウントアップを開始する。なお、カウンタ１０３２は、データ量の削減を指示する旨の判定信号が入力されるとカウント値をリセットする。
【００２６】
前記演算装置１０３３は、前記カウンタ１０３２のカウント値に応じて、入力された色データの値に所定の係数を乗じて出力する。この所定の係数は、０から１の範囲で、前記カウンタ１０３２のカウント値が大きくなるにつれて大きな値となる特性を有する係数である。
【００２７】
以上説明したような前記緩和装置１０３１による動作により、白黒画像からカラー画像への表示切り替え時には、色データの値が或る程度の時間をかけて徐々に所定の値に復帰する。これにより、白黒画像からカラー画像への表示切り替えが、視覚的により自然な表示切り替えとなり、ユーザに見苦しさを与えることがない。
【００２８】
なお、本第１実施形態においては、緩和装置１０３１をデータ送信装置１００１に設ける例を示したが、データ受信装置１００２における画像データ復元装置１０１４に緩和装置１０３１を設けても勿論よい。
【００２９】
前記送信機１０１２は、前記選択装置１０２２から出力されたデータを、データ受信装置１００２に送信する送信機である。また、前記送信機１０１２は、データ受信装置１００２から送信された判定信号の受信処理も行う。なお、データ受信装置１００２から送信された判定信号は、前記画像データ削減装置１０１１におけるデータ量削減の要／不要を示す判定信号である。
【００３０】
以上説明したように、データ送信装置１００１は、撮像素子（不図示）が受光して生成した電気信号をデジタル化して得られた画像データ、又は該画像データに対して判定信号に応じて画像データ削減装置１０１１によりデータ量を削減する処理を施した削減画像データを、送信機１０１２によってデータ受信装置１００２に送信する。
【００３１】
前記データ受信装置１００２は、受信機１０１３と、画像データ復元装置１０１４と、判定装置１０１５と、画像処理部（不図示）と、を有する。
【００３２】
前記受信機１０１３は、データ送信装置１００１により送信された画像データ／削減画像データを受信する受信機である。
【００３３】
前記画像データ復元装置１０１４は、前記受信機１０１３により受信した画像データ／削減画像データを保持し、表示切り替えの際に利用する。画像データ／削減画像データは、画像処理部（不図示）により所定の画像処理を施された後、表示手段（不図示）により表示される。
【００３４】
前記判定装置１０１５は、削減画像データの劣化状況から通信状態を判定し、該判定結果に基づいて判定信号を生成して受信機１０１３に出力する。前記判定信号は、受信機１０１３によってデータ送信装置１００１に送信される。詳細には、前記判定装置１０１５は次のように動作する。
【００３５】
（通信状態が良好であると判定した場合）
前記判定装置１０１５は、“データ量の削減は不要である旨の判定信号”を生成する。
【００３６】
（通信状態が良好でないと判定した場合）
前記判定装置１０１５は、“データ量の削減を指示する旨の判定信号”を生成する。
【００３７】
なお、通信状態の判定方法としては、具体的には、例えばエラー訂正符号によるエラー検出を用いた判定方法や、再送の繰り返しによって画像データがフレーム分伝送しきれなかった等の情報の検出することによる判定方法を挙げることができる。
【００３８】
以上説明したように、本第１実施形態によれば、画像データの伝送の際に通信状態が悪化した場合であっても、重要な表示領域については表示を中断させることなく当該伝送に係るデータ量を軽減し、且つデータ量軽減の解除に伴う表示画像の切り替え時にはユーザに違和感を感じさせない連続的な切り替えを行うことができるデータ送信端末装置、データ受信端末装置、動画像送信システムを提供することができる。
【００３９】
なお、本第１実施形態においては、判定信号を判定装置１０１５に生成させているが、データ受信装置１００２に伝送後のデータに基づいて判定信号を生成しなければならないわけではない。従って、データ送信装置１００１に判定信号を生成する為の装置を別途設ける構成としても勿論よい。
【００４０】
［第２実施形態］
図２Ａは、本発明の第２実施形態に係る動画像送信システムにおけるデータ送信装置の一構成例を示す図である。図２Ｂは、本発明の第２実施形態に係る動画像送信システムにおけるデータ受信装置の一構成例を示す図である。
【００４１】
図２Ａ及び図２Ｂに示すように、本第２実施形態に係る動画像送信システムは、データ送信装置２００１と、データ受信装置２００２と、を具備する。
【００４２】
前記データ送信装置２００１は、画像データ削減装置２０１１と、送信機２０１２と、を有する。前記画像データ削減装置２０１１は、画像データ分離装置２０２１と、選択装置２０２２と、撮像素子（不図示）と、を備える。前記選択装置２０２２は、緩和装置２０３１と、セレクタ２０３４と、変則選択装置２０３５と、を備える。前記緩和装置２０３１は、カウンタ２０３２と、演算装置２０３３と、を備える。
【００４３】
前記画像データ削減装置２０１１は、詳細には次のような処理を行う。
【００４４】
前記画像データ分離装置２０２１は、入力された画像データを、表示領域によって分離処理し、該分離処理により生成した画像データを出力する。具体的には、前記画像データ分離装置２０２１は、画像データを、例えば表示領域における中央部の領域と周辺部の領域とに分離処理する。
【００４５】
なお、画像データの分離処理においては、上述したように中央部の領域と周辺部の領域とに分離処理する以外にも、右部の領域と左部の領域とに分離処理してもよいし、或いは上部の領域と下部の領域とに分離処理しても勿論よい。また、画像データのフォーマットは特に規定されない。
【００４６】
なお、詳細は後述するが、前記画像データ分離装置２０２１により分離処理された画像データは、データ受信装置２００２の判定装置２１０５によって、重要領域画像データ又は非重要領域画像データとして判定される。そして、前記判定装置２１０５は、この判定結果を示す第二の判定信号を生成して出力する。この第二の判定信号は、受信機２０１３によってデータ送信装置２００１に送信され、送信機２０１２により受信されて当該画像データ削減装置２０２１に入力される。
【００４７】
さらに、前記判定装置２０１５は、画像データの劣化状況から通信状態を判定し、該判定結果に基づいて、前記画像データ削減装置２０１１におけるデータ量削減の要／不要を示す判定信号を生成して受信機２０１３に出力する。前記判定信号は、受信機２０１３によってデータ送信装置２００１に送信され、送信機２０１２により受信されて当該画像データ削減装置２０２１に入力される。具体的には、前記判定装置２０１５は次のように動作する。
【００４８】
（通信状態が良好であると判定した場合）
前記判定装置２０１５は、データ量の削減は不要である旨の判定信号を生成する。
【００４９】
（通信状態が良好でないと判定した場合）
前記判定装置２０１５は、データ量の削減を指示する旨の判定信号を生成する。
【００５０】
なお、通信状態の判定方法としては、具体的には、例えばエラー訂正符号によるエラー検出を用いた判定方法や、再送の繰り返しによって画像データがフレーム分伝送しきれなかった等の情報の検出することによる判定方法を挙げることができる。
【００５１】
以下、前記選択装置２０２２による動作について詳細に説明する。前記選択装置２０２２は、入力される判定信号に応じて次のような動作を行う。
【００５２】
（ｉ）“データ量の削減を指示する旨の判定信号”が入力された場合
前記セレクタ２０３４は、前記画像データ分離装置２０２１により分離処理された画像データのうち、第二の判定信号に基づいて、前記判定装置２０１５により重要領域画像データとして判定されたデータのみを選択して削減画像データとして出力する。
【００５３】
（ｉｉ）“データ量の削減は不要である旨の判定信号”が入力された場合
前記セレクタ２０３４は、入力された画像データを削減せずに出力する。すなわち、前記選択装置２０２２は、重要領域画像データ及び非重要領域画像データの双方を出力する。
【００５４】
上述の動作により、通常時は全ての画像情報を伝送する（画像データを削減せずに伝送する）が、通信状態が悪化する等により伝送に係るデータ量を削減する必要が生じた場合には、画像データのうち重要な表示領域のみをリアルタイムで伝送・表示する。
【００５５】
ところで、通信状態が悪化する等して前記選択装置２０２２によりデータ量の削減処理が行われた場合であって、その後に通信状態が良好な状態に戻った場合には、重要領域画像のみの表示画像から通常の表示画像への表示切り替えを行わなければならない。本第２実施形態においては、この表示切り替え時にユーザに見苦しさを与えないように次のような表示切り替えを行う。
【００５６】
前記緩和装置２０３１は、上述した表示切り替えを、視覚的により自然な表示切り替えとする為の装置であり、カウンタ２０３２と演算装置２０３３とを備える。
【００５７】
前記カウンタ２０３２は、“データ量の削減は不要である旨の判定信号”が入力されるとカウントアップを開始する。なお、カウンタ２０３２は、“データ量の削減を指示する旨の判定信号”が入力されるとカウント値をリセットする。
【００５８】
前記演算装置２０３３は、前記カウンタ２０３２のカウント値に応じて、入力された非重要領域画像データの値に所定の係数を乗じて出力する。この所定の係数は、０から１の範囲で、前記カウンタ２０３２のカウント値が大きくなるにつれて大きな値となる特性を有する係数である。
【００５９】
前記緩和装置２０３１による上述の動作により、非重要領域画像を復帰させる表示切り替え時には、徐々に（視覚的に自然に）削減されていた非重要領域の画像が浮かび上がるような表示画像となる。
【００６０】
なお、本第２実施形態においては、緩和装置２０３１をデータ送信装置２００１に設ける例を示したが、データ受信装置１００２における画像データ復元装置２０１４に緩和装置２０３１を設けても勿論よい。
【００６１】
前記送信機２０１２は、前記選択装置２０２２から出力されたデータを、データ受信装置２００２に送信する送信機である。前記送信機２０１２は、データ受信装置２００２から送信された判定信号の受信処理も行う。なお、データ受信装置２００２から送信された判定信号は、前記画像データ削減装置２０１１におけるデータ量削減の要／不要の判定信号である。
【００６２】
以上説明したように、データ送信装置２００１は、撮像素子（不図示）が受光して生成した電気信号をデジタル化して得られた画像データ、又は該画像データに対して判定信号及び第二の判定信号に応じて画像データ削減装置２０１１によりデータ量を削減する処理を施した削減画像データを、送信機２０１２によってデータ受信装置１００２に送信する。
【００６３】
前記データ受信装置２００２は、受信機２０１３と、画像データ復元装置２０１４と、判定装置２０１５と、画像処理部（不図示）と、を有する。
【００６４】
前記受信機２０１３は、データ送信装置２００１により送信された削減画像データを受信する受信機である。また、前記受信機２０１３は、判定装置２０１５から出力された判定信号及び第二の判定信号を、データ送信装置２００１に送信する。
【００６５】
前記画像データ復元装置２０１４は、前記受信機２０１３により受信した画像データ／削減画像データを保持し、表示切り替えの際に利用する。画像データ／削減画像データは、画像処理部（不図示）により所定の画像処理を施された後、表示手段（不図示）により表示される。
【００６６】
前記判定装置２０１５は、判定信号及び第二の判定信号を生成して出力する。前記判定信号の生成処理については上述した通りである。以下、第二の判定信号の生成処理について詳細に説明する。
【００６７】
前記判定装置２０１５は、前記画像データ分離装置２０２１により分離処理された各々の画像データを、例えば輝度レベルや変化量等に基づいて、重要領域画像データ又は非重要領域画像データとして判定し、該判定結果を示す第二の判定信号を生成する。
【００６８】
より詳細には、例えば、輝度データがとり得る最小値或いは最大値付近で一様に分布している場合には、当該領域において黒潰れあるいは白飛びが発生している可能性があり、当該領域は非重要領域であると判定することができる。
【００６９】
また、予め重要な画像パターンを記憶させた記憶部を備えさせ、その重要な画像パターンとのマッチングを行うことで重要領域の判定を行ってもよい。さらには、ノイズ検出を行い、ノイズが多く含まれる領域は重要領域ではないと判定してもよい。
【００７０】
また、必ずしも画像情報に基づいて重要領域の判定をしなければいけないわけではない。例えば内視鏡のように、食道のような管状の部分を撮影するケースでは、管状の部分を管の中心軸の方向に撮影している。このような場合、表示画像の周辺部を非重要領域と判定することができる。このように撮影位置に応じて重要領域の判断を行う方法を挙げることもできる。
【００７１】
なお、本第２実施形態においては、第二の判定信号を判定装置２０１５に生成させているが、データ受信装置２００２に伝送後のデータに基づいて第二の判定信号を生成しなければならないわけではない。従って、データ送信装置２００１に第二の判定信号を生成する為の装置を別途設ける構成としても勿論よい。
【００７２】
以上説明したように、本第２実施形態によれば、画像データの伝送の際に通信状態が悪化した場合であっても、重要な表示領域については表示を中断させることなく当該伝送に係るデータ量を軽減し、且つデータ量軽減の解除に伴う表示画像の切り替え時にはユーザに違和感を感じさせない連続的な切り替えを行うことができる動画像送信システムを提供することができる。
【００７３】
なお、以上説明したデータ削減方法は、通信状態が悪い場合には伝送に係る画像データの一部（非重要領域データ）を一時的に完全に消失させる方法である。しかしながら、画像データの一部（非重要領域データ）を完全に消失させず、フレームレートを落として表示させ続けることも可能である。
【００７４】
（変形例）
本変形例では、前記変則選択装置２０３５は、“データ量の削減を指示する旨の判定信号”が入力された場合、削減画像データとして、重要領域画像データの出力と共に、非重要領域画像データも所定の周期ごとに出力する。
【００７５】
この動作により、重要領域画像データについてはリアルタイムで、且つ非重要領域画像データについては所定の周期で、データ送信装置２００１からデータ受信装置２００２に伝送されて表示される。
【００７６】
なお、前記画像データ復元装置２０１４は、“データ量の削減を指示する旨の判定信号”が入力された場合には、所定の周期ごとに受信する非重要領域画像データをメモリ２０３６に格納し、削減画像データ中に非重要領域画像データが含まれていない際には前記メモリ２０３６に格納した直近の非重要領域画像データを利用する。
【００７７】
以上説明したように、本変形例に係る動画像送信システムでは、通信状態が悪い場合、重要領域をリアルタイムに伝送／表示させつつ、非重要領域を駒落としして（間引いて）伝送／表示させる。
【００７８】
［第３実施形態］
図３Ａは、本発明の第３実施形態に係る動画像送信システムにおけるデータ送信端末装置の一構成例を示す図である。図３Ｂは、本発明の第３実施形態に係る動画像送信システムにおけるデータ受信端末装置の一構成例を示す図である。
【００７９】
図３Ａ及び図３Ｂに示すように、本第３実施形態に係る動画像送信システムは、データ送信装置３００１と、データ受信装置３００２と、を具備する。
【００８０】
前記データ送信装置３００１は、画像データ削減装置３０１１と、送信機３０１２と、を有する。前記画像データ削減装置３０１１は、ＬＰＦ(ロウパスフィルタ)３０２１と、画像圧縮装置３０２２と、緩和装置３０３１と、撮像素子（不図示）と、を備える。前記緩和装置３０３１は、カウンタ３０３２と、演算装置３０３３と、を備える。
【００８１】
画像データ削減装置３０１１は、例えばＲＧＢ形式やＹＣｒＣｂ形式の画像データのデータ量を削減する装置であり、前記ＬＰＦ３０２１による処理及び前記画像圧縮装置３０２２による処理で削減画像データを生成して出力する。
【００８２】
前記ＬＰＦ３０２１は、入力された画像データに対して、後述する緩和装置３０３１から入力されるＬＰＦ係数を掛け合わせて出力する。
【００８３】
前記画像圧縮装置３０２２は、例えばＪＰＥＧ等の画像圧縮方式により、画像データを圧縮処理する。なお、前記ＬＰＦ３０２１により高周波成分がカットされた画像データは高い圧縮率で圧縮処理を施すことができる。
【００８４】
前記緩和装置３０３１は、後述する表示切り替えを、視覚的により自然な表示切り替えとする為の装置であり、カウンタ３０３２と演算装置３０３３とを備える。
【００８５】
前記カウンタ３０３２は、“データ量の削減は不要である旨の判定信号”が入力されるとカウントアップを開始する。なお、カウンタ３０３２は、“データ量の削減を指示する旨の判定信号”が入力されるとカウント値をリセットする。
【００８６】
前記演算装置３０３３は、入力された判定信号及び前記カウンタ３０３２のカウント値に応じて前記ＬＰＦ係数を設定して前記ＬＰＦ３０２１へ出力する。
【００８７】
（ｉ）“データ量の削減を指示する旨の判定信号”が入力された場合
前記演算装置３０３３は、画像データの高周波成分をカットするような値の係数を設定して前記ＬＰＦ３０２１へ出力する。
【００８８】
（ｉｉ）“データ量の削減は不要である旨の判定信号”が入力された場合
前記演算装置３０３３は、入力された画像データをそのまま出力するような係数を設定して前記ＬＰＦ３０２１へ出力する。
【００８９】
つまり、前記ＬＰＦ３０２１は、通常時は入力された画像データをそのまま前記画像圧縮装置３０２２に出力し、通信状態の悪化等によりデータ量を減らす必要が生じた場合には高周波成分をカットした削減画像データを生成して画像圧縮装置３０２２に出力することになる。
【００９０】
ところで、通信状態が悪化する等して前記画像データ削減装置３０１１によりデータ量の削減処理が行われた場合であって、その後に通信状態が良好な状態に戻った場合には、高い圧縮率で圧縮処理された削減画像データから、圧縮処理を施さない通常の画像データへの表示切り替えを行わなければならない。本第３実施形態においては、この表示切り替え時にユーザに見苦しさを与えないように次のような表示切り替えを行う。
【００９１】
すなわち、前記演算装置３０３３は、前記カウンタ３０３２によるカウント値が大きくなるにつれて、徐々に画像データの高周波成分をカットする特性からカットしない特性へと変化させていくようにＬＰＦ係数を設定する。この動作により、通信状態の悪化等で高圧縮率で圧縮処理されていた画像データから、圧縮処理を施さない通常の画像データへの表示切り替えが徐々に（視覚的に自然に）行われる。
【００９２】
なお、本第３実施形態においては、緩和装置３０３１をデータ送信装置３００１に設ける例を示したが、データ受信装置３００２における画像データ復元装置３０１４に緩和装置３０３１を設けても勿論よい。
【００９３】
前記送信機３０１２は、前記画像圧縮装置３０２２から出力されたデータを、データ受信装置３００２に送信する送信機である。前記送信機３０１２は、データ受信装置３００２から送信された判定信号の受信処理も行う。なお、データ受信装置３００２から送信される判定信号は、前記画像データ削減装置３０１１におけるデータ量削減の要／不要の判定信号である。
【００９４】
以上説明したように、データ送信装置３００１は、撮像素子（不図示）が受光して生成した電気信号をデジタル化して得られた画像データ、又は該画像データに対して判定信号に応じて画像データ削減装置３０１１によりデータ量を削減する処理を施した削減画像データを、送信機３０１２によってデータ受信装置３００２に送信する。
【００９５】
前記データ受信装置３００２は、受信機３０１３と、画像データ復元装置３０１４と、判定装置３０１５と、画像処理部（不図示）と、を有する。
【００９６】
前記受信機３０１３は、データ送信装置３００１により送信された削減画像データを受信する受信機である。また、前記受信機３０１３は、判定装置３０１５から出力された判定信号を、データ送信装置３００１に送信する。なお、受信機３０１３により受信した画像データ／削減画像データは、画像処理部（不図示）により所定の画像処理を施された後、表示手段（不図示）により表示される。
【００９７】
前記画像データ復元装置３０１４は、前記画像圧縮装置３０２２により圧縮処理された画像データに対して、当該画像圧縮方式に対応した画像伸張処理を施す。また、前記画像データ復元装置３０１４は、前記受信機３０１３により受信した画像データ／削減画像データを保持し、表示切り替えの際に利用する。
【００９８】
前記判定装置３０１５は、削減画像データの劣化状況から通信状態を判定し、該判定結果に基づいて判定信号を生成して受信機３０１３に出力する。前記判定信号は、受信機３０１３によってデータ送信装置３００１に送信される。具体的には、前記判定装置３０１５は次のように動作する。
【００９９】
（通信状態が良好であると判定した場合）
前記判定装置３０１５は、“データ量の削減は不要である旨の判定信号”を生成する。
【０１００】
（通信状態が良好でないと判定した場合）
前記判定装置３０１５は、“データ量の削減を指示する旨の判定信号”を生成する。
【０１０１】
なお、通信状態の判定方法としては、具体的には、例えばエラー訂正符号によるエラー検出を用いた判定方法や、再送の繰り返しによって画像データがフレーム分伝送しきれなかった等の情報の検出することによる判定方法を挙げることができる。
【０１０２】
以上説明したように、本第３実施形態によれば、画像データの伝送の際に通信状態が悪化した場合であっても、重要な表示領域については表示を中断させることなく当該伝送に係るデータ量を軽減し、且つデータ量軽減の解除に伴う表示画像の切り替え時にはユーザに違和感を感じさせない連続的な切り替えを行うことができる動画像送信システムを提供することができる。
【０１０３】
（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【０１０４】
（１）  画像データのデータ量を削減して削減画像データを生成して出力する画像データ削減装置と、前記削減画像データの送信、及びデータ量の削減の要／不要を指示する判定信号の受信を行う送信機と、を備えるデータ送信装置と、
前記削減画像データの受信及び前記判定信号の送信を行う受信機と、通信状態に応じて前記判定信号を生成して出力する判定装置と、を備えるデータ受信装置と、
を具備し、
前記画像データ削減装置は、画像データを輝度データと色データとに分離する画像データ分離装置と、輝度データ及び色データのうち少なくとも何れか一方を前記判定信号に基づいて選択して削減画像データとして出力する選択装置と、を備えることを特徴とする動画像伝送システム。
【０１０５】
（対応する実施形態）
この（１）に記載の動画像伝送システムに関する実施形態は、第１実施形態が対応する。
【０１０６】
（作用効果）
通信状態が悪化した際には、輝度データのみを伝送する等により伝送に係るデータ量を軽減し、データ再送の機会を増大させることができる。
【０１０７】
（２）  画像データのデータ量を削減して削減画像データを生成して出力する画像データ削減装置と、前記削減画像データの送信、及びデータ量の削減の要／不要を指示する判定信号の受信を行う送信機と、を備えるデータ送信装置と、
前記削減画像データの受信及び前記判定信号の送信を行う受信機と、通信状態に応じて前記判定信号を生成し、且つ画像データの撮像対象に応じて被写界領域における削減部位を指示する第二の判定信号を生成する判定装置と、を備えるデータ受信装置と、
を具備し、
画像データ削減装置は、画像データを、被写界中央部を示す中央部データと被写界周辺部を示す周辺部データとに分離する画像データ分離装置と、前記判定信号及び第二の判定信号に基づいて前記削減画像データを生成して出力する選択装置と、を備えることを特徴とする動画像伝送システム。
【０１０８】
（対応する実施形態）
この（２）に記載の動画像伝送システムに関する実施形態は、第２実施形態が対応する。
【０１０９】
（作用効果）
通信状態が悪化した際には、画像データの被写界中央部のみ或いは被写界周辺部のみを伝送することで伝送に係るデータ量を軽減し、再送の機会を増大させることができる。
【０１１０】
（３）  前記画像データ削減装置は、前記判定装置により生成された判定信号が画像データの削減を行わない指示の判定信号である場合に、削減画像データから画像データへの復元処理を漸次実行する表示切り替え緩和装置を備えることを特徴とする（１）又は（２）に記載の動画像伝送システム。
【０１１１】
（対応する実施形態）
この（３）に記載の動画像伝送システムに関する実施形態は、第１実施形態及び第２実施形態が対応する。
【０１１２】
（作用効果）
悪かった通信状態が良好になり、削減されていた画像データの一部が再び伝送され始めると、表示切り替え緩和装置によって、当該伝送に係るデータが徐々に表示に反映される。つまり、画像データの削減が解除された際に、表示画像が急激に変化することが抑制されるので、ユーザにとって見苦しくない表示が実現する。
【０１１３】
（４）  判定信号の指示内容が変化した時点からカウントを開始するカウンタと、
前記カウンタのカウント値に応じて、画像データの値を漸次所定の値に変化させる演算を行う演算装置と、
を備えることを特徴とする（３）に記載の動画像伝送システム。
【０１１４】
（対応する実施形態）
この（４）に記載の動画像伝送システムに関する実施形態は、第１実施形態及び第２実施形態が対応する。
【０１１５】
（作用効果）
判定信号が変化するとカウンタはカウントを開始し、演算装置はカウンタのカウント値に応じて画像データに対して所定の演算を行う。つまり、カウンタのカウント値から判定信号の変化後の経過時間を計測し、該経過時間に応じて画像データの値を徐々に所定の値に変化させていくことができる。
【０１１６】
（５）  前記画像データ削減装置は、前記中央部データ或いは前記周辺部のみが削減画像データとして選択されている状況下において、所定のフレーム間隔で、前記中央部データ及び前記周辺部データの双方を出力する変則選択装置を備え、
前記データ受信装置は、中央部データ及び周辺部データのうち削減画像データとして選択されていない方のデータを格納するメモリを備えることを特徴とする（２）に記載の動画像伝送システム。
【０１１７】
（対応する実施形態）
この（２）に記載の動画像伝送システムに関する実施形態は、第２実施形態が対応する。
【０１１８】
（作用効果）
中央部データ或いは周辺部データが削減画像データとして選択されている状況下において、画像データ削減装置に備えられた変則選択装置によって、所定のフレーム間隔で、中央部データ及び周辺部データの両方のデータが画像データ削減装置から出力される。前記データ受信装置に備えられたメモリによって、中央部データ及び周辺部データのうち削減画像データとして選択されていない方のデータを貯える。つまり、通信状態が悪化している状況下においても、何フレームかに１回の割合で、画像データを全て伝送する。また、毎フレーム伝送されないデータについては、伝送された時点のデータを表示し続ける。
【０１１９】
（６）  画像データのデータ量を削減して削減画像データを出力する画像データ削減装置と、前記削減画像データの送信、及びデータ量の削減の要／不要を指示する判定信号の受信を行う送信機と、を備えるデータ送信装置と、
前記削減画像データの受信、及び前記判定信号の送信を行う受信機と、通信状態に基づいて前記判定信号を生成する判定装置と、を備えるデータ受信装置と、
を具備し、
前記画像データ削減装置は、前記判定信号に基づいて画像データの高周波成分を除去するローパスフィルタと、画像データの空間周波数に応じた画像圧縮処理を行う画像圧縮装置と、を備え、
データ受信装置は、前記画像圧縮装置に対応した画像伸張装置を備えることを特徴とする動画像伝送システム。
【０１２０】
（対応する実施形態）
この（６）に記載の動画像伝送システムに関する実施形態は、第３実施形態が対応する。
【０１２１】
（作用効果）
データ受信装置に備えられた判定装置により、受信データに基づいて通信状態が判定されて判定信号が生成され、該判定信号はデータ送信装置に送信される。データ送信装置では、前記判定信号に基づいてローパスフィルタにより画像データの削減処理が行われ、更に画像圧縮装置によって空間周波数に応じた画像圧縮が行われた削減画像データが、送信機によってデータ受信装置へ伝送される。データ受信装置では、前記画像データ復元装置において、削減画像データが伸張されて画像データが復元される。つまり、通信状態が悪化した場合等には、ローパスフィルタを機能させて高圧縮処理が可能な画像データとすることで、伝送に係るデータ量を軽減し、再送の機会を増大させることができる。
【０１２２】
（７）  前記画像データ削減装置は、前記判定装置により生成された判定信号が画像データの削減を行わない指示の判定信号である場合に、削減画像データから画像データへの復元処理を漸次実行する表示切り替え緩和装置を備えることを特徴とする（６）に記載の動画像伝送システム。
【０１２３】
（対応する実施形態）
この（７）に記載の動画像伝送システムに関する実施形態は、第３実施形態が対応する。
【０１２４】
（作用効果）
悪かった通信状態が良好になると、表示切り替え緩和装置により、ローパスフィルタの係数が徐々に変化する。つまり、画像データの削減が解除された際に、表示画像が急激に変化することが抑制されるので、ユーザにとって見苦しくない表示が実現する。
【０１２５】
（８）  前記表示切り替え緩和装置は、
判定信号の指示内容が変化した時点からカウントを開始するカウンタと、
前記カウンタのカウント値に応じてローパスフィルタの係数を決定する演算装置と、
を備えることを特徴とする（７）に記載の動画像伝送システム。
【０１２６】
（対応する実施形態）
この（８）に記載の動画像伝送システムに関する実施形態は、第３実施形態が対応する。
【０１２７】
（作用効果）
悪かった通信状態が良好になると、表示切り替え緩和装置により、ローパスフィルタの係数が徐々に変化する。つまり、画像データの削減が解除された際に、表示画像が急激に変化することが抑制されるので、ユーザにとって見苦しくない表示が実現する。
【０１２８】
以上、第１実施形態乃至第３実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で、種々の変形及び応用が可能なことは勿論である。
【０１２９】
さらに、上述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図面の簡単な説明】
【０１３０】
【図１Ａ】本発明の第１実施形態に係る動画像送信システムにおけるデータ送信装置の一構成例を示す図である。
【図１Ｂ】本発明の第１実施形態に係る動画像送信システムにおけるデータ受信装置の一構成例を示す図である。
【図２Ａ】本発明の第２実施形態に係る動画像送信システムにおけるデータ送信装置の一構成例を示す図である。
【図２Ｂ】本発明の第２実施形態に係る動画像送信システムにおけるデータ受信装置の一構成例を示す図である。
【図３Ａ】本発明の第３実施形態に係る動画像送信システムにおけるデータ送信装置の一構成例を示す図である。
【図３Ｂ】本発明の第３実施形態に係る動画像送信システムにおけるデータ受信装置の一構成例を示す図である
【符号の説明】
【０１３１】
１００１…データ送信装置、  １００２…データ受信装置、  １０１１…画像データ削減装置、  １０１２…送信機、  １０１３…受信機、  １０１４…画像データ復元装置、  １０１５…判定装置、  １０２１…画像データ分離装置、  １０２２…選択装置、  １０３１…緩和装置、  １０３２…カウンタ、  １０３３…演算装置、  １０３４…セレクタ、  ２００１…データ送信装置、  ２００２…データ受信装置、  ２０１１…画像データ削減装置、  ２０１２…送信機、  ２０１３…受信機、  ２０１４…画像データ復元装置、  ２０１５…判定装置、  ２０２１…画像データ分離装置、  ２０２２…選択装置、  ２０３１…緩和装置、  ２０３２…カウンタ、  ２０３３…演算装置、  ２０３４…セレクタ、  ２０３５…変則選択装置、  ２０３６…メモリ、  ２１０５…判定装置、  ３００１…データ送信装置、  ３００２…データ受信装置、  ３０１１…画像データ削減装置、  ３０１２…送信機、  ３０１３…受信機、  ３０１４…画像データ復元装置、  ３０１５…判定装置、  ３０２１…ＬＰＦ、  ３０２２…画像圧縮装置、  ３０３１…緩和装置、  ３０３２…カウンタ、  ３０３３…演算装置。
【図１Ａ】
2010157778.tif 000003
【図１Ｂ】
2010157778.tif 000004
【図２Ａ】
2010157778.tif 000005
【図２Ｂ】
2010157778.tif 000006
【図３Ａ】
2010157778.tif 000007
【図３Ｂ】
2010157778.tif 000008