(57)【要約】【課題】ユーザが関心を示した表示画面の特定の領域を高画質にすることができる画像伝送システム及び画像伝送方法を提供する。【解決手段】送信側のエンコーダ１２が、画像データを入力して符号化データを受信側に送信すると、受信側のデコーダ２３が符号化データを画像像データに復号し、その画像が再生表示部２４に表示される。視線検出部２５が画像を観察するユーザ３１の視線３２を検出すると、受信側のエンコーダ２２はユーザの関心領域情報を生成する。この関心領域情報は送信側のパラメータ決定部１６に送り込まれる。パラメータ決定部は、関心領域を動き補償するためのブロックサイズとして、関心領域以外の領域を動き補償するためのブロックサイズよりも小さいサイズのものを含む複数のブロックサイズを決定する。【選択図】図１
2007274621.tif 000002
【特許請求の範囲】
【請求項１】
伝送路を介して相互に接続される送信側装置と受信側装置とを備えた画像伝送システムであって、
前記送信側装置は、
画像データを入力し、時系列的に先のフレームをブロックに分割し、ブロックごとにフレーム間の動きを予測し、動き補償されたフレームの画像データと時系列的に後のフレームの画像データとの差分を符号化して符号化データを出力するエンコーダと、
前記エンコーダから出力された符号化データを前記受信側装置へ送信するとともに、前記受信側装置から関心領域情報を受信する第１の送受信制御部と、
前記第１の送受信制御部によって受信された前記関心領域情報に基づいて、前記エンコーダが動き補償に用いるブロックサイズを決定するパラメータ決定部とを含み、
前記受信側装置は、
前記送信側装置から送信された前記符号化データを受信するとともに、前記送信側装置へ前記関心領域情報を送信する第２の送受信制御部と、
前記第２の送受信制御部で受信された符号化データを画像データに復号するデコーダと、
前記デコーダで復号された前記画像データに従って画像を表示する再生表示部と、
前記再生表示部の画面を観察するユーザの視線を検出する視線検出部と、
前記視線検出部で検出された前記視線に基づいて、前記ユーザが関心を示した表示画面の関心領域を求め、その関心領域情報を前記送信側装置へ送信する前記関心領域情報として前記第２の送受信制御部に加える関心領域情報生成部とを含み、
前記パラメータ決定部は、前記関心領域を動き補償するためのブロックサイズとして、前記関心領域以外の領域を動き補償するためのブロックサイズよりも小さいサイズのものを含む複数のブロックサイズを決定し、前記エンコーダは前記領域ごとに決定された前記ブロックサイズに応じて符号化するように構成した、画像伝送システム。
【請求項２】
送信側装置から伝送路を介して受信側装置に画像を伝送する画像伝送方法であって、
前記送信側装置が、画像データを入力し、時系列的に先のフレームをブロックに分割し、ブロックごとにフレーム間の動きを予測し、動き補償されたフレームの画像データと時系列的に後のフレームの画像データとの差分を符号化して符号化データを前記受信側装置に送信するステップと、
前記送信側装置から送信された前記符号化データを、前記受信側装置が受信するステップと、
前記受信側装置が前記符号化データを画像データに復号し、復号された前記画像データに従って画像を表示するステップと、
前記画像の表示画面を観察するユーザの視線を検出し、検出された前記視線に基づいて、前記ユーザが関心を示した表示画面の関心領域を求め、その関心領域情報を生成するステップと、
前記関心領域情報を前記受信側装置が送信して前記送信側装置が受信するステップと、
前記送信側装置が前記関心領域情報に基づいて、前記動き補償に用いるブロックのサイズを決定するステップとを含み、
前記ブロックのサイズを決定するステップは、前記関心領域を動き補償するためのブロックサイズとして、前記関心領域以外の領域を動き補償するためのブロックサイズよりも小さいサイズのものを含む複数のブロックサイズを決定し、
前記符号化データを出力するステップは、前記領域ごとに決定された前記ブロックサイズに応じて符号化するようにした、画像伝送方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データの圧縮／伸長に係り、特に、テレビ電話、テレビ会議システム、監視カメラなどに好適な画像伝送システム及び画像伝送方法に関する。
【背景技術】
【０００２】
画像圧縮の国際標準であるＭＰＥＧ規格に準拠した画像伝送システムを、テレビ電話、テレビ会議システム、監視カメラなどのアプリケーションとして用いる場合、画像データの圧縮（符号化）及び伸長（復号）によって生じる処理遅延時間が問題となる。図６は、例えば、下記の特許文献１に記載されたテレビ会議システムの概略構成を示すブロック図である。図６において、カメラ６１から出力される画像データ（デジタルデータ）Ｖは、画像圧縮伸長装置６２で圧縮され、その圧縮データが、伝送路６３を介して、画像圧縮伸長装置６４に送信される。画像圧縮伸長装置６４は圧縮データを受信し、この圧縮データを伸長して再生表示部６５に加える。このように、画像圧縮技術を応用することによって、非圧縮での伝送と比較して、数十分の１のビットレートで伝送することが可能になる。
【特許文献１】特開平７−１１１６４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、ネットワークなどのように伝送路の容量が限られている場合には、限られたビットレートで画像圧縮を行わなければならない。そこで、ネットワークに負荷をかけずに限定されたビットレートで最適な画質の画像を提供する方策として、例えば、２パスエンコード、すなわち符号化を行うデータに対して画像の情報量が多いシーンと少ないシーンとを２度にわたって解析することにより、全体のビットレートの増減を調節する技術がある。しかし、この技術は圧縮処理時間、すなわち処理遅延時間が長くなってしまい、カメラによる入力画像とその受信画像との間にタイムラグが生じることになり、リアルタイム性が要求されるテレビ会議システムにおいてはその役目を果たすことが難しくなる。
【０００４】
一方、ＭＰＥＧ規格に準拠した画像伝送システムをテレビ会議や監視カメラシステムなどのアプリケーションとして用いる場合、ＭＰＥＧ方式では各ブロックの量子化ステップは、それぞれのブロックを構成する量子化係数の内容、言い換えれば画像の絵柄によって決まる。このことにより、画面内の一部により多くの符号を割り当てることができないので、テレビ会議システムにおいて特定の会議参加者の挙動を他の参加者よりも鮮明に映して視聴したり、監視カメラシステムにおいて監視画像内の特定の領域をピックアップして鮮明に映して監視したりすることができないという問題があった。
【０００５】
本発明は上記の事情を考慮してなされたもので、映像を観察又は監視するユーザが関心を示した表示画面の特定の領域を、ネットワークに負荷をかけずに高画質にすることができる画像伝送システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために、本発明は、伝送路を介して相互に接続される送信側装置と受信側装置とを備えた画像伝送システムであって、
前記送信側装置は、
画像データを入力し、時系列的に先のフレームをブロックに分割し、ブロックごとにフレーム間の動きを予測し、動き補償されたフレームの画像データと時系列的に後のフレームの画像データとの差分を符号化して符号化データを出力するエンコーダと、
前記エンコーダから出力された符号化データを前記受信側装置へ送信するとともに、前記受信側装置から関心領域情報を受信する第１の送受信制御部と、
前記第１の送受信制御部によって受信された前記関心領域情報に基づいて、前記エンコーダが動き補償に用いるブロックサイズを決定するパラメータ決定部とを含み、
前記受信側装置は、
前記送信側装置から送信された前記符号化データを受信するとともに、前記送信側装置へ前記関心領域情報を送信する第２の送受信制御部と、
前記第２の送受信制御部で受信された符号化データを画像データに復号するデコーダと、
前記デコーダで復号された前記画像データに従って画像を表示する再生表示部と、
前記再生表示部の画面を観察するユーザの視線を検出する視線検出部と、
前記視線検出部で検出された前記視線に基づいて、前記ユーザが関心を示した表示画面の関心領域を求め、その関心領域情報を前記送信側装置へ送信する前記関心領域情報として前記第２の送受信制御部に加える関心領域情報生成部とを含み、
前記パラメータ決定部は、前記関心領域を動き補償するためのブロックサイズとして、前記関心領域以外の領域を動き補償するためのブロックサイズよりも小さいサイズのものを含む複数のブロックサイズを決定し、前記エンコーダは前記領域ごとに決定された前記ブロックサイズに応じて符号化するように構成される。
【０００７】
また、本発明は、送信側装置から伝送路を介して受信側装置に画像を伝送する画像伝送方法であって、
前記送信側装置が、画像データを入力し、時系列的に先のフレームをブロックに分割し、ブロックごとにフレーム間の動きを予測し、動き補償されたフレームの画像データと時系列的に後のフレームの画像データとの差分を符号化して符号化データを前記受信側装置に送信するステップと、
前記送信側装置から送信された前記符号化データを、前記受信側装置が受信するステップと、
前記受信側装置が前記符号化データを画像データに復号し、復号された前記画像データに従って画像を表示するステップと、
前記画像の表示画面を観察するユーザの視線を検出し、検出された前記視線に基づいて、前記ユーザが関心を示した表示画面の関心領域を求め、その関心領域情報を生成するステップと、
前記関心領域情報を前記受信側装置が送信して前記送信側装置が受信するステップと、
前記送信側装置が前記関心領域情報に基づいて、前記動き補償に用いるブロックのサイズを決定するステップとを含み、
前記ブロックのサイズを決定するステップは、前記関心領域を動き補償するためのブロックサイズとして、前記関心領域以外の領域を動き補償するためのブロックサイズよりも小さいサイズのものを含む複数のブロックサイズを決定し、
前記符号化データを出力するステップは、前記領域ごとに決定された前記ブロックサイズに応じて符号化するようにする。
【発明の効果】
【０００８】
本発明によれば、送信側装置が画像データのフレームをブロックに分割し、ブロックごとに動き補償したフレーム間の画像データの差分を符号化して受信側装置に送信すると、受信側装置が符号化データを復号して画面表示させてユーザの視線を検出し、この視線から表示画面内におけるユーザの関心領域を求め、その関心領域情報を送信側装置に返信すると、送信側装置では関心領域情報に対応する関心領域を動き補償するブロックサイズとして、関心領域以外の領域のブロックサイズよりも小さいサイズのものを含む複数のブロックサイズを決定するとともに、領域ごとに最適なものを切り替えて用いるようにしたので、画像を観察又は監視するユーザが関心を示した表示画面の特定の領域を、ネットワークに負荷をかけずに高画質にすることができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明を図面に示す好適な実施の形態に基づいて詳細に説明する。図１は本発明に係る画像伝送システムの一実施の形態の構成を示すブロック図であり、特に、双方向伝送システムを示したものである。ここに示した双方向通信システムは、ネットワークを介してそれぞれカメラの画像データを送受信して、相互に観察することを可能にしたシステムであり、同一に構成された装置がネットワークに接続されている。そこで、ネットワークに接続された一方を送信側装置、他方を受信側装置として説明することとする。なお、本明細書では符号化をエンコード、復号をデコードとも称し、さらに、符号化器をエンコーダ、復号器をデコーダとも称することとする。
【００１０】
図１において、送信側装置は、カメラ１１と、このカメラ１１から出力された画像データをＨ．２６４などの符号化方式で符号化し、さらに、検出された視線に基づいてユーザの関心領域情報を生成するエンコーダ１２と、受信側装置から送信された符号化データを復号するデコーダ１３と、このデコーダ１３で復号された画像データを画面表示する再生表示部１４と、この再生表示部１４の画面を観察するユーザの視線を検出して、視線情報（以下、単に視線とも言う）をエンコーダ１２に加える視線検出部１５と、受信側装置から送信された関心領域情報を判断してエンコーダ１２のエンコードパラメータを変更するパラメータ決定部１６と、エンコーダ１２でエンコードされた画像データ及びエンコーダ１２で生成された関心領域情報を、ネットワークａを介して、受信側装置に送信するとともに、受信側装置から送信されてきた画像データ及び関心領域情報を受信し、このうちの画像データをデコーダ１３に加え、関心領域情報をフィードバック情報としてパラメータ決定部１６に加える送受信制御部１７とを備えている。
【００１１】
受信側装置は、送信側装置と同様に、カメラ２１と、このカメラ２１から出力された画像データをＨ．２６４などの符号化方式で符号化し、さらに、検出された視線に基づいてユーザの関心領域情報を生成するエンコーダ２２と、送信側装置から送信された符号化データを復号するデコーダ２３と、このデコーダ２３で復号された画像データを画面表示する再生表示部２４と、この再生表示部２４の画面を観察するユーザの視線を検出して、視線情報をエンコーダ２２に加える視線検出部２５と、送信側装置から送信された関心領域情報を判断してエンコーダ２２のエンコードパラメータを変更するパラメータ決定部２６と、エンコーダ２２でエンコードされた画像データ及びエンコーダ２２で生成された関心領域情報を、ネットワークａを介して、送信側装置に送信するとともに、送信側装置から送信されてきた画像データ及び関心領域情報を受信し、このうちの画像データをデコーダ２３に加え、関心領域情報をフィードバック情報としてパラメータ決定部２６に加える送受信制御部２７とを備えている。
【００１２】
上記のように構成された画像伝送システムの動作について、送信側装置から符号化された画像データを受信側装置に送信し、受信側装置から観察者の関心領域情報を送信側装置に返信する場合を例にして説明する。カメラ１１は、例えば、デジタル化された画像データを出力してエンコーダ１２に加える。エンコーダ１２は画像データをＨ．２６４などの符号化方式でエンコードして送受信制御部１７に加える。送受信制御部１７はエンコードされた画像データを、ネットワークａを介して、送受信制御部２７に送信する。
【００１３】
送受信制御部２７は送信側装置から送信されてきた画像データを受信してデコーダ２３に加える。デコーダ２３はこれに加えられた画像データを復号して再生表示部２４に加える。これによりカメラ１１によって撮影された映像が再生表示部２４にて再生、表示される。
【００１４】
次に、再生表示部２４に表示された映像を観察するユーザ（以下観察者とも言う）が、表示画面の特定の領域に注目した場合、視線検出部２５は観察者の視線が表示画面のどの領域に向いているかを検出し、視線情報をエンコーダ２２に加える。エンコーダ２２は視線情報に基づいてユーザの関心領域を求める機能を有し、関心領域情報を送受信制御部２７に加える。送受信制御部２７は関心領域情報を、ネットワークａを介して、送受信制御部１７に送信する。送受信制御部１７は関心領域情報を受信して、フィードバック情報としてパラメータ決定部１６に加える。パラメータ決定部１６は、観察者の関心領域が高画質になるように、エンコーダ１２のエンコードパラメータを決定する。エンコーダ１２はパラメータ決定部１６で決定されたエンコードパラメータを用いて画像データをエンコードして符号化データを送受信制御部１７に加える。送受信制御部１７はその符号化データを、ネットワークａを介して、送受信制御部２７に送信する。送受信制御部２７は送信された符号化データを受信してデコーダ２３に加える。デコーダ２３は自身に加えられた符号化データを復号して再生表示部２４に加える。
【００１５】
ここで、視線検出部２５によるユーザの視線検出、その視線情報に基づくエンコーダ２２の関心領域情報の生成、送受信制御部１７、２７における関心領域情報の送受信は定期的に行われる。そして、関心領域情報に応じてパラメータ決定部１６がエンコーダ１２のエンコードパラメータを変更することにより、受信側の再生表示部２４の表示画面上で、観察者が関心を示した特定の領域が高画質にされた映像が提供されることになる。
【００１６】
図２は本発明の一実施の形態の主要な構成要素の配置状態を示した図である。図中、画像圧縮伸長装置１００は、図１に示したエンコーダ１２、デコーダ１３、パラメータ決定部１６及び送受信制御部１７を含み、画像圧縮伸長装置２００は図１に示したエンコーダ２２、パラメータ決定部２６及び送受信制御部２７を含んでいる。視線検出部１５及び２５は、例えば、特開平８−３４０５３４号公報に開示されたように、赤外光を放射して眼球の角膜を照明することにより、角膜の表面で反射した赤外光によって形成される角膜反射像をイメージセンサ上に結像させるようにした複数のカメラを含み、それらのカメラで撮像された画像に基づいて、視聴者の瞳の方向の検出を可能にしたものである。このうち、視線検出部１５は再生表示部１４の本体の上部に装着され、視線検出部２５は再生表示部２４の本体の上部に装着されている。
【００１７】
図２において、送信側のカメラ１１で撮影された画像データは画像圧縮伸長装置１００に供給されて符号化される。その符号化データは、ネットワークａを介して、画像圧縮伸長装置２００に送信される。画像圧縮伸長装置２００は符号化データを受信して画像データに復号して再生表示部２４に加える。これによってカメラ１１で撮影された映像が再生表示部２４に画面表示される。再生表示部２４の本体の上部に装着された視線検出部２５は、再生表示部２４に表示された画面を見ているユーザ３１の瞳の方向、すなわち視線３２を検出する。視線検出部２５の視線情報は画像圧縮伸長装置２００にフィードバックされる。
【００１８】
画像圧縮伸長装置２００はフィードバックされた視線情報に基づいて、ユーザ３１の関心領域情報を生成し、ネットワークａを介して、画像圧縮伸長装置１００に送信する。画像圧縮伸長装置１００は関心領域情報を受信し、この関心領域情報に基づいて、カメラ１１から供給された画像データをエンコードしてビットストリームを生成する。このとき、画像圧縮伸長装置１００は、関心領域を動き補償するためのブロックサイズとして、関心領域以外の領域を動き補償するためのブロックサイズよりも小さいサイズのものを含む複数のブロックサイズを決定し、領域ごとに決定されたブロックサイズの中から最適なものを切り替えて用いる。画像圧縮伸長装置１００で生成されたビットストリームは、ネットワークａを介して、画像圧縮伸長装置２００に送信される。画像圧縮伸長装置２００はビットストリームを受信して、これをデコードして再生表示部２４に加える。これによって、ユーザ３１が関心を示した表示画面の特定の領域を高画質にすることができる。
【００１９】
図３はエンコーダ１２の詳細な構成を示すブロック図であり、一例として、Ｈ．２６４エンコーダを示している。図３において、デジタルの画像データを入力する入力部４１には、フレーム内モードとフレーム間モードとを切り替えるモード切替部４２のフレーム内モード側入力端が接続されるとともに、減算部５１の被減算入力端が接続されている。減算部５１の出力端がモード切替部４２のフレーム間モード側入力端に接続されている。モード切替部４２の共通の出力端には、データを整数に変換する変換部４３を介して、量子化部４４の入力端が接続されている。量子化部４４は連続するデータを適当な間隔で代表値に置き換えるもので、その出力端には代表値の番号を符号化して出力するエントロピー符号化部５２の入力端が接続されている。
【００２０】
また、量子化部４４の出力端には逆量子化部４５及び逆変換部４６が順に接続され、さらに、逆変換部４６の出力端には符号化雑音（高周波成分）を除去するループフィルタ４７の入力端が接続されている。ループフィルタ４７の出力端にはフレームメモリ４８が接続されている。一方、前述した入力部４１の出力端には、古いフレームから新しいフレームへの動き補償フレーム間予測を行う順方向フレーム間予測と、連続する３つのフレームの中間のフレームの動き補償フレーム間予測にその前後のフレームを用いる双方向フレーム間予測とを行って動きベクトルを検出する動き予測部４９が接続されている。この動き予測部４９の出力端には動き補償部５０が接続されている。この動き補償部５０はフレームメモリ４８に保存されている画像を動き予測部４９で検出された動きベクトルによって動き補償するもので、その出力端が前述した減算部５１の減算入力端に接続されている。また、エンコード機能の他に、視線検出部１５の視線情報に基づいてユーザ３１の関心領域情報を生成する関心領域情報生成部５３を備えている。
【００２１】
上記のように構成されたエンコーダ１２の動作について以下に説明する。初めに、モード切替部４２はフレーム内予測モード側に接続されており、入力部４１によって入力された画像データの最初のフレームを含むイントラ符号化フレームは変換部４３に入力されて整数変換される。続いて、量子化部４４による量子化により代表値に置き換えられた後、エントロピー符号化部５２で符号化されて圧縮画像のビットストリームとして出力される。また、量子化部４４で量子化された後のイントラ符号化フレームの画像データは、逆量子化部４５で逆量子化され、続いて逆変換部４６で逆整数変換された後、ループフィルタ４７で符号化雑音を除去するようにフィルタ処理されてフレームメモリ４８に格納される。
【００２２】
次に、入力部４１から続いて入力される画像データに対して、動き予測部４９により順方向フレーム間予測及び双方向フレーム間予測が行われ、その結果、動きベクトルが検出されて動き補償部５０に加えられる。動き補償部５０はフレームメモリ４８に格納されている画像、すなわち参照画像フレームを動き予測部４９で検出された動きベクトルで動き補償して出力する。そして、入力部４１から新たに入力される原画像フレームと、動き補償された参照画像フレームとの差分が減算部５１で演算される。このとき、モード切替部４２はフレーム間モード側に切り替えられている。したがって、減算部５１で演算されたフレームの差分が変換部４３で整数変換され、続いて、量子化部４４による量子化により代表値に置き換えられた後、エントロピー符号化部５２で符号化されて圧縮画像のビットストリームとして出力される。
【００２３】
なお、ループフィルタ４７としては、エンコーダ１２及びデコーダ２３において、再構成画像作成時のデブロックフィルタが用いられる。これによって、デコードされた画像のブロックノイズを低減させることができる。また、エントロピー符号化部５２においては、ベースラインプロファイル及びＸプロファイルではＶＬＣ（Variable Length Coding：可変長符号化）ベースの符号を用いる。具体的には指数ゴロム符号と、それを応用したＣＡＶＬＣ（Context-based Adaptive Variable Length Coding）である。メインプロファイルではＶＬＣベースの符号に加えてＣＡＢＡＣ（Context -based Adaptive Binary Arithmetic Coding）という算術符号を用いる。
【００２４】
次に、動き予測部４９について説明する。動き予測部４９が動き予測に用いるブロックサイズは、ＭＰＥＧ−４で用いられる１６×１６や８×８だけではなく、多くのブロック形状（例えば、１６×１６、１６×８、８×１６、８×８、８×４、４×８、４×４の大小７種類）を用いる。１６×１６のブロック内に複雑な部分と平坦な部分とがある場合には、ブロックサイズを変えて予測に用いる。動き予測部４９は高画質、高圧縮の代償として多くの処理量を必要とし、符号化／復号共に負荷がかかる処理である。
【００２５】
ここで、動き予測部４９が動き予測に用いるブロックサイズ及びその種類はパラメータ決定部１６によって決定される。すなわち、送受信制御部１７で受信されたユーザ３１の関心領域情報が制御パラメータとしてパラメータ決定部１６に加えられる。パラメータ決定部１６はこの制御パラメータにしたがって動き予測部４９のエンコードパラメータ、すなわち動き予測に用いるブロックサイズ及びその種類を決定する。
【００２６】
図４（ａ）はユーザの視線の中心と関心領域との関係を示した図であり、図４（ｂ）は関心領域と動き予測に用いるブロックサイズ及びその種類との関係を示す図表である。図３の関心領域情報生成部５３に対応する受信側のエンコーダ２２に含まれる関心領域情報生成部は、図４（ａ）に示したように、ユーザの視線の中心（△印）を関心領域の中心としてそれぞれ正方形の関心領域ａ、ｂ、ｃを設定する。この関心領域ａ、ｂ、ｃに関する情報がユーザの関心領域情報として、受信側装置から送信側装置に返信されてパラメータ決定部１６に加えられる。パラメータ決定部１６は、図４（ｂ）に示したように、関心領域ａに対して７種類のブロックサイズ（１６×１６、１６×８、８×１６、８×８、８×４、４×８、４×４）のすべてを使用するように設定し、関心領域ａを除く関心領域ｂに対して４種類のブロックサイズ（１６×１６、１６×８、８×１６、８×８）を使用するように設定し、関心領域ｂを除く関心領域ｃに対して２種類のブロックサイズ（１６×１６、８×８）を使用するように設定し、関心領域ｃ以外の領域に対して１種類のブロックサイズ（１６×１６）を使用するように設定する。
【００２７】
動き予測部４９は、関心領域ａ、ｂ、ｃに対応したモードパラメータに基づいてエンコード作業を行う。このように、ユーザの視線の中心から離れた領域ほど、原画像のエンコード時における動き予測のサイズを限定することにより、必要以上に詳細な精度で画像データを送信することが抑止され、演算量も抑えることができる。
【００２８】
なお、受信側装置のデコーダ２３は、エンコーダ１２に対応させてビットストリームを画像データに復元して再生表示部２４に加えるもので、図３に示したエンコーダから容易に実現可能であるので、その構成及び動作については説明を省略する。
【００２９】
図５はパラメータ決定部１６の具体的な処理手順を示すフローチャートである。ここで、最初のステップＳ１０１ではエンコードを行うパラメータの初期値を決定し、次のステップＳ１０２に遷移してエンコード開始の指令を与える。次に、ステップＳ１０３に遷移し、送受信制御部１７からの受信タイミングを待って関心領域情報を受信する。次に、ステップＳ１０４に遷移して視線の中心に差異があるか否か、すなわち、関心領域情報からエンコードパラメータの変更が必要か否かを判断する。変更が必要と判断された場合にはステップＳ１０５に遷移して、関心領域情報からエンコードのパラメータを決定し、ステップＳ１０２に遷移してエンコードを実行するように指令を与える。ステップＳ１０４で変更が必要でないと判断された場合にはエンコードパラメータを変更せずにステップＳ１０２に遷移してエンコードを実行するように指令を与え、以下、ステップＳ１０３以下で同様の処理を繰り返す。
【００３０】
このようにして、受信側の視線検出部２５で検出された視線から、関心領域を判断し、関心領域情報を送信側にフィードバックしてエンコードパラメータをダイナミックに決定することにより、必要以上に詳細な精度で画像データを送信することが抑止され、演算量も削減することができる。
【００３１】
以上の説明によって明らかなように、本実施の形態によれば、受信側の視線検出部で検出された視線からユーザの関心領域を判断し、その判定結果に基づいて関心領域が鮮明になるように、送信側のエンコーダをダイナミックに制御するので、映像を観察又は監視するユーザが関心を示した表示画面の特定の領域を、ネットワークに負荷をかけずに高画質にすることができる画像伝送システム及び画像伝送方法が提供される。
【００３２】
なお、上記の実施の形態では、視線検出部１５の視線情報に基づいて関心領域情報を生成する関心領域情報生成部５３をエンコーダ１２の内部に設けたが、エンコーダ１２の外部に設けても上述したと同様な動作をさせることができる。
【産業上の利用可能性】
【００３３】
本発明は、映像を観察又は監視するユーザが関心を示した表示画面の特定の領域を、ネットワークに負荷をかけずに高画質にすることができるので、映像情報をリアルタイムで圧縮伝送するＭＰＥＧ伝送システム、双方向画像伝送システム、テレビ会議システム、映像中継システムなどに応用することが可能である。
【図面の簡単な説明】
【００３４】
【図１】本発明に係る画像伝送システムの一実施の形態の構成を示すブロック図である。
【図２】本発明の一実施の形態の主要な構成要素の配置状態を示した図である。
【図３】本発明の一実施の形態を構成するエンコーダの詳細な構成を示すブロック図である。
【図４】本発明の一実施の形態の動作を説明するために、ユーザの関心領域と、動き予測のブロックサイズ及びその種類との関係を示した図及び図表である。
【図５】本発明の一実施の形態の動作を説明するために、パラメータ決定部の具体的な処理手順を示すフローチャートである。
【図６】従来のテレビ会議システムの概略構成を示すブロック図である。
【符号の説明】
【００３５】
１１、２１  カメラ
１２、２２  エンコーダ
１３、２３  デコーダ
１４、２４  再生表示部
１５、２５  視線検出部
１６、２６  パラメータ決定部
１７、２７  送受信制御部
４１  入力部
４２  モード切替部
４３  変換部
４４  量子化部
４５  逆量子化部
４６  逆変換部
４８  フレームメモリ
４９  動き予測部
５０  動き補償部
５１  減算部
５２  エントロピー符号化部
５３  関心領域情報生成部
１００、２００  画像圧縮伸長装置
ａ  ネットワーク
【図１】
2007274621.tif 000003
【図２】
2007274621.tif 000004
【図３】
2007274621.tif 000005
【図４】
2007274621.tif 000006
【図５】
2007274621.tif 000007
【図６】
2007274621.tif 000008