(57)【要約】【課題】送信側で取得された動画像に基づいて、受信側において、常に、良好な品質の静止画像を取得することができる画像伝送装置を提供すること。【解決手段】動画像送信端の動画像取得部１で取得された動画像は動画像符号化部２でＭＰＥＧ等の符号化をされ、通信回線を経て、動画像受信端に送られる。動画像受信端では、受信した動画像を復号して、動画像表示部１２上に表示する。動画像受信端において、静止画取得命令１４がなされると、時刻情報が動画像復号部１１から取得され、動画像送信端の静止画像取得部４に送られる。該静止画像取得部４は、同時刻の静止画像を動画像蓄積部３から読み出し、静止画像符号化部５でＪＰＥＧ等の静止画符号化をして、動画像受信端へ送る。動画像受信端では、該静止画像を復号して静止画像表示部１６に表示する。この結果、動画像受信端は、高品質の静止画像を取得することができる。【選択図】　　　図１
2004007066.tif 000002
【特許請求の範囲】
【請求項１】
動画像を入力する動画像入力手段と、
該動画像を蓄積する蓄積手段と、
該蓄積手段に蓄積された動画像から静止画像を読み込む静止画像読み込み手段と、
該読み込まれた静止画像を符号化する静止画像符号化手段と、
該蓄積手段に蓄積された動画像から動画像を符号化する動画像符号化手段と、
該動画像符号化手段で符号化された動画像と、静止画像符号化手段で符号化された静止画像を伝送する伝送手段とを具備したことを特徴とする画像伝送装置。
【請求項２】
請求項１に記載の画像伝送装置において、
前記動画像を蓄積する蓄積手段には、リングバッファを用い、常に時間的に最新の画像情報から過去一定量の動画像を蓄積することができるようにしたことを特徴とする画像伝送装置。
【請求項３】
請求項１に記載の画像伝送装置において、
前記静止画像符号化手段に引き渡す画像データは、前記蓄積手段に蓄積されている画像のうち、指定された時刻に最も近い時刻の画像とすることを特徴とする画像伝送装置。
【請求項４】
動画像を入力する動画像入力手段と、
該動画像を蓄積する蓄積手段と、
該蓄積手段に蓄積された動画像から動画像を符号化する動画像符号化手段と、
該蓄積手段に蓄積されている動画像情報から指定された画像を静止画として読み込む静止画像蓄積手段と、
該静止画像蓄積手段に蓄積された静止画像を読み込む静止画像読み込み手段と、
該読み込まれた静止画像を符号化する静止画像符号化手段と、
該動画像符号化手段で符号化された動画像と、静止画像符号化手段で符号化された静止画像を伝送する伝送手段とを具備したことを特徴とする画像伝送装置。
【請求項５】
請求項１ないし４のいずれかに記載の画像伝送装置において、
動画像および静止画像の符号化処理を制御する情報を入力する手段をさらに具備したことを特徴とする画像伝送装置。
【請求項６】
請求項１ないし４のいずれかに記載の画像伝送装置において、
前記静止画像読み込み手段は、前記制御情報を用いて、指定された静止画像を読み込むことを特徴とする画像伝送装置。
【請求項７】
請求項６に記載の画像伝送装置において、
前記制御情報は、通信回線を経由した動画像受信端から送られてきた制御情報であることを特徴とする画像伝送装置。
【請求項８】
請求項１ないし７のいずれかに記載の画像伝送装置において、
前記動画像入力手段に入力する前記動画像を取得するカメラと、
該カメラを制御する手段をさらに具備し、
該カメラの制御は動画像送信端からも受信端からも行うことができることを特徴とする画像伝送装置。
【請求項９】
請求項１または４に記載の画像伝送装置において、
前記伝送手段の伝送レートを制御する伝送レート制御手段をさらに具備し、
該伝送レート制御手段は、前記符号化された動画像と静止画像を同時に送信する際に、それぞれの伝送レートを制御することを特徴とする画像伝送装置。
【請求項１０】
請求項８に記載の画像伝送装置において、
前記伝送レート制御手段は、画像受信端から通知された通信状態情報に応じて前記伝送レートを決定することを特徴とする画像伝送装置。
【請求項１１】
請求項９または１０に記載の画像伝送装置において、
前記伝送レート制御手段は、前記伝送レートの合計が指定された値となるように伝送レートを決定することを特徴とする画像伝送装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像伝送装置に関し、特に受信側が必要に応じて高品質の静止画を取得することのできるテレビ会議等に用いて好適な画像伝送装置に関する。
【０００２】
【従来の技術】
従来から、動画像を双方向に送受信できる画像伝送装置、例えばテレビ会議システムが提案されている。このテレビ会議システムにおいて、受信側が静止画を取得できるようにした従来装置の一例を、図７を参照して説明する。
【０００３】
テレビ会議システムの送信側（動画像送信端）は、ビデオカメラ等の動画像取得部３１と動画像符号化部３２を有している。一方、受信側（動画像受信端）は、通信回線を経て送られてきた動画像を受信し復号する動画像復号部４１、復号された動画像を表示する動画像表示部４２、静止画取得命令４３、該静止画取得命令４３を基に静止画を取得する静止画像取得部４４、および静止画像表示部４５を有している。
【０００４】
このような構成のテレビ会議システムにおいて、動画像送信端の動画像取得部３１は動画像を取得し、取得された動画像情報は動画像符号化部３２でＭＰＥＧ等の符号化をされ、通信回線へ送出される。動画像受信端の動画像復号部４１は、受信した符号化情報を復号し、動画像表示部４２へ送出する。動画像表示部４２は、該復号された動画像を表示する。
【０００５】
静止画像取得部４４は、静止画取得命令４３を受けると、前記動画像復号部４１で復号された動画像の中から指定された動画像情報を取り出し、静止画像表示部４５に送出する。静止画像表示部４５は受け取った静止画像を表示する。
【０００６】
【発明が解決しようとする課題】
しかしながら、前記した従来システムでは、動画像送信端から送られてくる動画像の品質、換言すれば動画像受信端で受信した動画像の品質が、動画像符号化部３２における動画像の符号化により既に劣化している場合には、前記静止画像取得部４４が指定した動画像を動画像復号部４１で復号された動画像の中から取り出しても、良好な品質の静止画像を取得することはできないという問題があった。
【０００７】
本発明の目的は、前記した従来技術の問題を解消し、送信側の動画像符号化の影響を受けずに、受信側において、常に、良好な品質の静止画像を取得することができる画像伝送装置を提供することにある。
【０００８】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、動画像を入力する動画像入力手段と、該動画像を蓄積する蓄積手段と、該蓄積手段に蓄積された動画像から静止画像を読み込む静止画像読み込み手段と、該読み込まれた静止画像を符号化する静止画像符号化手段と、該蓄積手段に蓄積された動画像から動画像を符号化する動画像符号化手段と、該動画像符号化手段で符号化された動画像と、静止画像符号化手段で符号化された静止画像を伝送する伝送手段とを具備した点に第１の特徴がある。
【０００９】
この特徴によれば、動画像入力手段から入力された動画像のうちの任意の画像を静止画像圧縮することができ、良好な品質の静止画像を伝送手段から送出することができるようになる。
【００１０】
また、本発明は、前記蓄積手段に蓄積されている動画像情報から指定された画像を静止画として読み込む静止画像蓄積手段をさらに具備した点に第２の特徴がある。この特徴によれば、静止画像の画像サイズ、フォーマット、または蓄積枚数を、動画像のそれらとは独立に、任意に設定することが可能になる。
【００１１】
また、本発明は、受信端から送られてきた制御情報を用いて前記静止画像の時刻または空間を指定するようにした点に第３の特徴がある。この特徴によれば、受信側は、受信している動画像の中から任意の時刻または空間の画像を指定して、その画像の静止画像、換言すれば良好な品質の静止画像を取得することができるようになる。
【００１２】
また、本発明は、受信端から制御できる動画像を取得するカメラをさらに具備した点に第４の特徴がある。この特徴によれば、受信側は、動画像を見ながら、被写体の任意の位置を指定できるようになり、送信側の手を煩わさずに所望の位置の画像を取得することができるようになる。
【００１３】
さらに、本発明は、前記伝送手段の伝送レートを制御する伝送レート制御手段をさらに具備し、該伝送レート制御手段は、前記符号化された動画像と静止画像を同時に送信する際に、それぞれの伝送レートを制御するようにした点に第５の特徴がある。
【００１４】
この特徴によれば、動画像と静止画像に適合した伝送レートで伝送できるようになる。また、例えば通信回線の伝送帯域に制限がある場合に、該伝送帯域に適合した伝送レートで動画像伝送および静止画伝送が行えるようになる。
【００１５】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態のテレビ会議システムの概略の構成を示すブロック図である。
【００１６】
テレビカメラ等の動画像取得部１で取得された動画像は、動画像蓄積部３に動画像を取得した時刻情報と共に蓄積される。該動画像蓄積部３には１または複数フレームの画像を蓄積することができる。さらに動画像符号化部２では動画像蓄積部３に蓄積された動画像を例えばＭＰＥＧなどの方式で符号化する。動画像符号化部２で符号化された動画像情報は、通信回線を経て動画像受信端へ伝送される。動画像受信端で受信された動画像情報は動画像復号部１１で復号され、動画像表示部１２で表示される。
【００１７】
さて、テレビ会議中において、顕微鏡写真や医療における患部の写真や書面画面等の画像情報を受信側で入手したい場合が生じる。このような対象が静止状態で内容を確認する必要のある画像の場合、該画像情報を動画像符号化により送受信すると、画質が不十分な場合がある。良好な画質の画像情報を入手する時には、静止画取得命令１４が、例えば受信側のユーザ等から指示される。時刻情報取得部１３は、該静止画取得命令１４の入力があると、動画像復号部１１に対して、最新の復号した動画像の時刻情報の取得を行う。該時刻情報取得部１３は、次に、前記時刻情報を通信回線を経て動画像送信端の静止画像取得部４へ送出する。
【００１８】
静止画像取得部４は、指定された時刻の画像あるいはその近辺の画像を前記動画像蓄積部３から取り出し、静止画像符号化部５へ送る。該静止画像符号化部５は、受け取った画像に対して、ＪＰＥＧ等の静止画符号化を施し、通信回路へ送出する。該静止画符号化は、リアルタイムで伝送しなくてはならない動画像符号化とは異なり、ＪＰＥＧ等の静止画像符号化では発生符号量に制限がないため、画質の劣化を小さく抑えることができる。なお、前記時刻情報に代えて、何らかの識別情報を利用するようにしても良い。
【００１９】
動画像受信端は、静止画像符号化された画像情報を受け取り、静止画像復号部１５で復号する。復号された静止画像は、静止画像表示部１６に表示される。動画像送信端では、ユーザによってローカルまたはリモートのカメラ制御命令６を出すことができる。ローカルのカメラ制御命令が出された時には、動画像取得部１を構成するテレビカメラの方向および／またはズームが制御される。リモートのカメラ制御命令が出された時には、動画像受信端に設けられている動画像取得部（図示されていない）のテレビカメラの方向および／またはズームが制御される。カメラの制御により、前記静止画の撮影位置、画像の拡大、縮小（ズーム）を任意に操作することができる。
【００２０】
したがって、本実施形態によれば、動画像蓄積部３に蓄積された画像から静止画像を読み出して、静止画像符号化をすることができるので、受信側は品質の良い静止画を取得することができるようになる。
【００２１】
なお、図１のブロック図は一方向の伝送システムの構成図を示すものであるが、テレビ会議システムは一般に双方向に通信できるシステムであるので、図１の送信側および受信側の設備を逆にしたシステムがさらに一系統併設されることになる。
【００２２】
図２は本発明の第２実施形態の構成を示すブロック図であり、図１と同じ符号は同一または同等物を示す。本実施形態では、動画像蓄積部３で蓄積された動画像から静止画符号化のための画像を取得して静止画像蓄積部１８に蓄積する。これにより、第１実施形態では動画像および静止画像用に蓄積する画像は共通であったため、それぞれで任意の画像サイズ、フォーマット、または蓄積枚数を取ることができなかったが、本実施形態では、動画像蓄積部３に蓄積する動画像の画像サイズ、フォーマット、または蓄積枚数と、静止画像蓄積部１８に蓄積する静止画像の画像サイズ、フォーマット、または蓄積枚数とを任意に設定することが可能になる。
【００２３】
なお、動画像蓄積部３の画像と静止画像蓄積部１８の画像とで、画像サイズもしくはフォーマットを変更する場合には、その間に何らかの変換手段を必要とすることになる。
【００２４】
第１実施形態と本実施形態との差異を具体的に説明する。例えば、静止画像の取得として、時間的に遡って過去ｎ秒（例えば、ｎ＝３〜５）までに対応できるようにする場合には、第１実施形態においては、動画像蓄積部３に最新の画像から過去ｎ秒に相当する画像までを蓄積しておく必要がある。しかし、もし動画像の画像サイズに対して静止画像の画像サイズを小さく設定するような場合には、静止画像蓄積部１８に小さい画像サイズの静止画像を過去ｎ秒分蓄積し、動画像蓄積部３には動画像符号化に必要な少数の最新の画像のみを蓄積するようにすれば良いので、動画像蓄積部３における蓄積量は小さく抑えることができ、結果として全体での蓄積量を低減することが可能になる。
【００２５】
図３は、前記動画像受信端の表示画面の表示例を示す。表示画面には、（ａ）の「ビデオ通信システム」画面と、（ｂ）の「カメラコントロール」画面と、（ｃ）の「ＪＰＥＧイメージ」画面とが同時に開かれる。「ビデオ通信システム」画面中の‘ＪＰＥＧキャプチャ’ボタンは図１の静止画取得命令１４に相当し、該ＪＰＥＧキャプチャボタンをクリックすれば、前記静止画取得命令をすることができる。さらに、「カメラコントロール」画面中の「ローカル」、「リモート」を指定してカメラコントロールボタンを操作すれば、該動画像送信端または受信端に設けられている動画像取得部のテレビカメラ（図示せず）を左右前後に移動させると共に、ズームインまたはズームアウトの操作をすることができる。これらのボタンは、図１のカメラ制御命令６に相当する。
【００２６】
動画像は、「ビデオ通信システム」画面の受信画面に、また前記ＪＰＥＧキャプチャボタンを操作することにより得られた静止画像は、受信静止画面に映出することができる。該静止画像は、（ｃ）の「ＪＰＥＧイメージ」画面に拡大して映出することができる。停止ボタンは画像の送信を停止命令するボタンであり、終了ボタンはソフトを終了するボタンである。なお、前記動画像送信端の表示画面も、図３と同様であることは明らかである。また、本システムにおける静止画符号化方式は、ＪＰＥＧに限られるものではなく、任意の静止画符号化方式で代用されることが可能である。
【００２７】
次に、本発明の第３実施形態を、図４を参照して説明する。この実施形態が前記第１実施形態と異なる所は、動画像送信端に、符号化制御部７、動画像符号化制御部８および静止画像符号化制御部９を設けた点であり、他の構成は第１実施形態と同一または同等である。前記動画像符号化制御部８は、動画像の符号化レートおよび伝送レートを制御し、前記静止画像符号化制御部９は、静止画像の符号化および伝送レートを制御する。また、前記符号化制御部７は、該動画像符号化制御部８と静止画像符号化制御部９の両方を制御する。
【００２８】
静止画取得命令１４がなされ、時刻情報取得部１３が動画像復号部１１から取得した時刻情報を通信回線を経て動画像送信端へ伝送すると、該時刻情報は静止画像取得部４と符号化制御部７で受信される。そうすると、静止画像取得部４は、前記第１実施形態と同様に、指定された時刻の画像を動画像蓄積部３から取り出し、静止画像符号化部５へ送る。該静止画像符号化部５は、受け取った画像に対して、ＪＰＥＧ等の静止画符号化を施し、通信回路へ送出する。
【００２９】
一方、符号化制御部７は、該時刻情報により静止画の取得命令がなされたと判断し、動画像符号化制御部８と静止画像符号化制御部９に対して、それぞれ動画像と静止画像の符号化レートおよび伝送レートを制御する。
【００３０】
この制御の一例を、図５を参照して説明する。図５では、横軸は時間、縦軸は伝送レートを示す。いま、時刻ｔ１に静止画取得命令がなされたとすると、符号化制御部７は、符号化静止画伝送を開始し、符号化静止画伝送レートを制御する指令を静止画像符号化制御部９に行う。一方、動画像符号化制御部８には、動画像符号化レートを低減し、かつ符号化動画像伝送レートを低減する指令を行う。これにより、静止画像の伝送レートと動画像の伝送レートが制限され、送受信端の間を結ぶ通信回線の伝送帯域に制限がある場合に、静止画伝送を行っても、動画像の受信再生が停止してしまうのを防止することができるようになる。なお、符号化静止画伝送レートと符号化動画像伝送レートの和が、静止画取得命令前の伝送レート程度になるように制御するのが好ましい。時刻ｔ２で、静止画伝送が終了すると、符号化制御部７は、符号化動画像伝送レートを静止画取得命令前の伝送レートに復旧する。
【００３１】
以上のように、この実施形態によれば、前記通信回線の伝送帯域に制限がある場合に、静止画伝送により動画像の受信再生が停止してしまうのを防止することができるようになる。なお、前記静止画像及び／または動画像の伝送レートに、音声情報の伝送レートも加味して、それぞれの伝送レートを決定するようにしてもよい。
【００３２】
次に、本発明の第４実施形態を、図６を参照して説明する。この実施形態が、前記第３実施形態と異なる所は、動画像受信端に通信状態取得部１７を設けた点にあり、他の構成は第３実施形態と同一または同等である。
【００３３】
該通信状態取得部１７は、静止画取得命令１４がされた時の、ビットレート（スループット）、パケットロス率、および受信した信号の揺らぎ（ジッタ）等の通信状態を取得する。そして、該通信状態を符号化制御部７へ伝達する。符号化制御部７は、該通信状態により、静止画伝送時の符号化静止画伝送レートと符号化動画像伝送レートの和を制御する。例えば、前記ビットレートが大、パケットロス率が大、または信号の揺らぎが大になれば、前記伝送レートの和を小にする制御をする。
【００３４】
このように、この実施形態によれば、実際の回線通信状態を、動画像および静止画像の符号化レートおよび伝送レートに反映させることが可能になる。
【００３５】
【発明の効果】
以上の説明から明らかなように、請求項１の発明によれば、動画像取得部で取得された動画像から静止画像を取り出して静止画像符号化し、該静止画像符号化した画像情報を受信側に伝送できるようになるので、品質の良い静止画像を受信側に提供できるようになる。この発明は、例えばテレビ会議中において、顕微鏡写真や医療における患部の写真や書面画面等の画像情報を、高精度で受信側に送る場合等に使用すると好適である。
【００３６】
また、請求項２の発明によれば、常に時間的に最新の画像情報から過去一定量の動画像を蓄積でき、これらの動画像から静止画像を読み込むことができるようになる。請求項３の発明によれば、指定された時刻に最も近い時刻の画像を静止画像として読み込むことができるようになる。
【００３７】
また、請求項４の発明によれば、静止画像の画像サイズ、フォーマット、または蓄積枚数を、動画像のそれらとは独立に、任意に設定することが可能になる。請求項５，６の発明によれば、制御信号を用いて静止画像を指定することができるようになり、操作性が向上する。
【００３８】
また、請求項７の発明によれば、受信側から簡単な操作で静止画像を指定できるようになり、受信側は送信側の手を煩わすことなく所望の静止画像を取得することができるようになる。
【００３９】
請求項８の発明によれば、カメラが被写体を映す位置を簡単な操作で変更することができ、また受信側からも該位置の変更を指令できるようになる。
【００４０】
請求項９〜１１の発明によれば、符号化動画像、静止画像等の伝送レートを、それぞれの画像等に合った伝送レート、あるいは通信回線の伝送帯域等に適合した伝送レートで伝送できるようになる。
【図面の簡単な説明】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】本発明の第２の実施形態の構成を示すブロック図である。
【図３】動画像受信端の表示部の表示例を示す図である。
【図４】本発明の第３の実施形態の構成を示すブロック図である。
【図５】符号化画像の伝送レートの制御例を示す説明図である。
【図６】本発明の第４の実施形態の構成を示すブロック図である。
【図７】従来システムの構成を示すブロック図である。
【符号の説明】
１・・・動画像取得部、２・・・動画像符号化部、３・・・動画像蓄積部、４・・・静止画像取得部、５・・・静止画像符号化部、６・・・カメラ制御命令、７・・・符号化制御部、８・・・動画像符号化制御部、９・・・静止画像符号化制御部、１１・・・動画像復号部、１２・・・動画像表示部、１３・・・時刻情報取得部、１４・・・静止画取得命令、１５・・・静止画像復号部、１６・・・静止画像表示部、１７・・・通信状態取得部、１８・・・静止画像蓄積部。
【図１】
2004007066.tif 000003
【図２】
2004007066.tif 000004
【図３】
2004007066.tif 000005
【図４】
2004007066.tif 000006
【図５】
2004007066.tif 000007
【図６】
2004007066.tif 000008
【図７】
2004007066.tif 000009