(57)【要約】【課題】ネットワーク転送時の負荷を大きくすることなく高解像度の動画を表示することができる動画転送システム及びテレビ会議システムを提供する。【解決手段】４個の撮像ユニットから同期して低解像度のフレーム画の撮像信号が読み出され、送信側通信部からインターネットを介して受信ステーションの受信側通信部に転送される。受信側通信部から出力された低解像度の画像データに基づいて動きベクトル，差分が算出され、これらを用いて超解像処理部により超解像度の画像データが生成される。この画像データに基づいてＬＣＤに超解像度の画像が表示される。この一連のシーケンスが３０回／秒の速度で繰り返され、超解像度の動画がＬＣＤに３０フレーム／秒で表示される。【選択図】図６
2008252640.tif 000002
【特許請求の範囲】
【請求項１】
同じ被写体を同期して動画撮影する複数個の動画撮影装置と、
前記動画撮影装置の各々から出力される画像を互いに送信タイミングを同期して一斉に通信ネットワークを介して送信する送信側通信部と、
前記送信側通信部から通信ネットワークを介して送られてきた各動画撮影装置毎の画像を受信する受信側通信部と、
同じタイミングで受信した各画像間の差分を算出する差分演算部と、
前記各動画撮影装置毎に受信した撮影時間が異なる複数個の画像に基づいて動きベクトルを求める動きベクトル演算部と、
前記差分と動きベクトルに基づいて同じタイミングで受信した複数個の画像を超解像処理することにより、各動画撮影装置毎に撮影された画像よりも高解像度の画像を生成する超解像処理部と、
前記超解像処理部から出力された高解像度の画像により動画を表示する表示部と
からなることを特徴とする動画転送システム。
【請求項２】
前記動画撮影装置による動画撮影が行なわれている間に、前記被写体から発せられる音声を取得して音声信号を出力するマイクロフォンと、
前記音声信号を通信ネットワークを介して送信する音声用送信側通信部と、
前記音声用送信側通信部から通信ネットワークを介して送られてきた音声信号を受信する音声用受信側通信部と、
前記表示部に表示される動画に同期して、前記音声信号に基づいて音声を出力するスピーカと
を設けたことを特徴とする請求項１記載の動画転送システム。
【請求項３】
前記請求項１または２記載の動画転送システムを用い、互いに隔てられた少なくとも２箇所の間で会議を行なうことを特徴とするテレビ会議システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画を転送する動画転送システム及びテレビ会議システムに関するものである。
【背景技術】
【０００２】
高解像度の画像をビデオカメラで撮影してインターネットやローカルエリアネットワークなどの通信ネットワークを介して送信し、テレビ会議を行なうシステムが知られている（例えば特許文献１）。
【０００３】
また、１台のカメラではカバーすることができない広い範囲を複数個のデジタルカメラ（マルチカメラ）で分担して動画撮影し、各デジタルカメラから得られる動画を合成してスクリーンに投影するマルチカメラシステムが知られている（例えば特許文献２）。
【特許文献１】特開２００４−５３８７２４
【特許文献２】特開２００５−２２９３６９
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記特許文献１に記載されているように、高解像度の画像によってテレビ会議などを行ないたいという要望は従来からある。ところが、高解像度の画像はデータ量が大きいため、ネットワーク転送時の負荷が大きくなるという問題がある。また、上記特許文献２に記載されているマルチカメラシステムで画像の解像度を向上させるには、やはり個々のカメラの撮影解像度を上げる必要があるため、ネットワーク転送時の負荷が大きくなるという問題がある。
【０００５】
本発明は、上記のような問題点を解決するためになされたもので、ネットワーク転送時の負荷を大きくすることなく高解像度の動画を表示することができる動画転送システム及びテレビ会議システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の動画転送システムは、同じ被写体を同期して動画撮影する複数個の動画撮影装置と、前記動画撮影装置の各々から出力される画像を互いに送信タイミングを同期して一斉に通信ネットワークを介して送信する送信側通信部と、前記送信側通信部から通信ネットワークを介して送られてきた各動画撮影装置毎の画像を受信する受信側通信部と、同じタイミングで受信した各画像間の差分を算出する差分演算部と、前記各動画撮影装置毎に受信した撮影時間が異なる複数個の画像に基づいて動きベクトルを求める動きベクトル演算部と、前記差分と動きベクトルに基づいて同じタイミングで受信した複数個の画像を超解像処理することにより、各動画撮影装置毎に撮影された画像よりも高解像度の画像を生成する超解像処理部と、前記超解像処理部から出力された高解像度の画像により動画を表示する表示部とからなることを特徴とする。
【０００７】
前記動画撮影装置による動画撮影が行なわれている間に、前記被写体から発せられる音声を取得して音声信号を出力するマイクロフォンと、前記音声信号を通信ネットワークを介して送信する音声用送信側通信部と、前記音声用送信側通信部から通信ネットワークを介して送られてきた音声信号を受信する音声用受信側通信部と、前記表示部に表示される動画に同期して、前記音声信号に基づいて音声を出力するスピーカとを設けたことを特徴とする。
【０００８】
本発明のテレビ会議システムは、上記動画転送システムを用い、互いに隔てられた少なくとも２箇所の間で会議を行なうことを特徴とする。
【発明の効果】
【０００９】
本発明の動画転送システム及びテレビ会議システムによれば、複数個の動画撮影装置により同じ被写体を同期して動画撮影するとともに、この動画を通信ネットワークを介して送信し、同じタイミングで受信した各画像間の差分を算出するとともに各動画撮影装置毎の撮影時間が異なる複数個の画像に基づいて動きベクトルを求め、前記差分と動きベクトルに基づいて同じタイミングで受信した複数個の画像を超解像処理することにより、各動画撮影装置毎に撮影された画像よりも高解像度の画像を作成し、この得られた画像により動画を表示するようにしたので、ネットワーク転送時の負荷を大きくすることなく高解像度の動画を表示することができる。
【００１０】
動画撮影装置による動画撮影が行なわれている間に被写体から発せられる音声を取得して音声信号を通信ネットワークを介して送信し、表示部に表示される高解像度の動画に同期して、受信した音声信号に基づいて音声を出力するので、臨場感のある会議を行なうことができる。
【発明を実施するための最良の形態】
【００１１】
本発明の動画転送システム１０は、図１に示すように、送信時の負荷が少ない低解像度の多眼カメラ１１を用いて被写体を動画撮影しながらリアルタイムに送信する送信ステーション１２と、インターネット１３を介して送信ステーション１２から送られてきた動画を受信して超解像度変換処理を行ない、超解像度の動画を表示部である液晶ディスプレイ（ＬＣＤ）１４に表示する受信ステーション１５とからなる。
【００１２】
送信ステーション１２は、多眼カメラ１１と、会議などで参加者の発言を集音するマイクロフォン１６と、多眼カメラ１１から出力される動画像データと、マイクロフォン１６から出力される音声データとをインターネット１３を介して受信ステーション１５へ送信する送信部１７とからなる。
【００１３】
受信ステーション１５は、送信ステーション１２からインターネット１３を介して送られてくる動画像データと音声データとを受信する受信部１８と、動画像データに基づいて動画を表示するＬＣＤ１４と、音声データに基づいて音声を出力するスピーカ１９とからなる。
【００１４】
送信ステーション１２の構成を示す図２において、多眼カメラ１１は、４個の動画撮影装置である撮像ユニットＵ１〜Ｕ４からなる。撮像ユニットＵ１〜Ｕ４は、それぞれ同じ構造をしており、光学ユニット２１，ＣＣＤ２２及び信号処理部２３からなる。光学ユニット２１は、フォーカスレンズを含む撮影レンズと、絞りとからなり、それぞれモータにて駆動される。
【００１５】
ＣＣＤ２２は、比較的画素数が少なく（例えば３２０×２４０ピクセル）、光学ユニット２１によって受光面に結像される光学像を光電変換して、低解像度のフレーム画の撮像信号を例えば３０フレーム／秒のフレームレートで出力する。
【００１６】
信号処理部２３は、ＣＣＤ２２から出力された撮像信号を増幅してからデジタルの画像データに変換する。信号処理部２３から出力される画像データに基づいて光学ユニット２１の各モータが駆動され、ピント合わせと明るさ調節が行なわれる。
【００１７】
送信部１７は、５個の送信側通信部２４〜２８を備えている。送信側通信部２４はマイクロフォン１６用であり、送信側通信部２５〜２８は撮像ユニットＵ１〜Ｕ４用である。送信側通信部２４〜２８は、インターネット１３を介して受信ステーション１５の受信側通信部３２〜３６（図３参照）と、それぞれ一対一で常時接続されている。
【００１８】
マイクロフォン１６から出力される音声信号は、音声信号処理部２９にてエンコードと圧縮処理が施されてデジタルの音声データに変換され、送信側通信部２４によりインターネット１３を介して受信ステーション１５の受信側通信部３２（図３参照）に送信される。
【００１９】
撮像ユニットＵ１〜Ｕ４から出力される画像データは、送信側通信部２５〜２８によりそれぞれインターネット１３を介して受信ステーション１５の受信側通信部３３〜３６（図３参照）に送信される。撮像ユニットＵ１〜Ｕ４から出力される画像データは、低解像度であるから、送信時の負荷が少なくて済み、高速度でストリーミング転送される。
【００２０】
撮像ユニットＵ１〜Ｕ４は、タイミングジェネレータ（ＴＧ）３０によって同期され、同じタイミングで撮像信号の読み出しが行なわれる。また、送信側通信部２４〜２８の送信タイミングもＴＧ３０によって同期され、４個の画像データ及び音声データが同期して送信される。ＴＧ３０はＣＰＵ３１によって制御される。
【００２１】
受信ステーション１５の構成を示す図３において、受信部１８は、５個の受信側通信部３２〜３６を備えている。受信側通信部３２は音声データ用であり、受信側通信部３３〜３６は画像データ用である。
【００２２】
受信側通信部３２〜３６は、ＴＧ３７によって同期がとられ、ＴＧ３７はＣＰＵ３８によって制御される。受信側通信部３２から出力された音声データは、音声データ処理部３９によりデコードされ、音声がスピーカ１９にて出力される。
【００２３】
受信側通信部３３から出力された画像データは、フレームメモリ４０に一時的に記憶されると同時に加算器４１に入力される。フレームメモリ４０に記憶された画像データは、１フレーム分の時間だけ遅れて加算器４１に入力される。
【００２４】
加算器４１は、受信側通信部３３から出力されたばかりの現在の画像（以下、現画像ともいう）と、フレームメモリ３４に一時的に記憶された直前の画像（以下、前画像ともいう）とを同時に動き算出器４２に対して出力する。なお、フレームメモリ４０に前画像が記憶されていない場合、すなわち撮影開始時には、加算器４１は、現画像のみを動き算出器４２に対して出力する。
【００２５】
動き算出器４２は、現画像４３を前画像４４（図４参照）と比較して、周知の空間的局所最適化法により動きベクトルを算出する。同様にして、受信側通信部３４〜３６から出力された画像データから、それぞれの動きベクトルが算出される。
【００２６】
受信側通信部３３〜３６から出力された画像データは、差分算出部４５にも入力される。撮像ユニットＵ１〜Ｕ４の撮影領域は、図４に破線で示すように、少しずつずれているが、破線の内側の領域は共通に撮影された領域である。差分算出部４５は、周知のように、同時に入力された画像データの画像４６〜４９（図４参照）の共通の領域間の相違（差分）を算出する。
【００２７】
４個の現画像の画像データとともに４個の動き算出器４２によって算出された各動きベクトルと差分算出部４５によって算出された差分が超解像処理部５０に入力される。超解像処理部５０は、同時に入力された差分及び４個の動きベクトルを用いて、４個の画像データを周知の超解像処理することにより、共通の領域５１が超解像度となる画像５２の画像データを生成してＬＣＤドライバ５３に出力する。なお、画像５２の領域５１の解像度は、撮像ユニットＵ１〜Ｕ４から出力される画像データの４倍の例えば１２８０×９６０ピクセルである。
【００２８】
本実施形態における「超解像処理」を簡単に説明する。周知のように、複数の低解像度画像（Ｎ次元ベクトル）Ｙ(k)（k=1,2,…,K）（Ｙ(k)は動画像データ中のフレーム番号kの１枚の画像データを表わす）と、超解像画像（Ｍ（＞Ｎ）次元ベクトル）ｘとの関連の最も単純なモデルは、Ｍ×Ｎ行列Ｈ(k)（k=1,2,…,K）を用いて、Y(k)＝Ｈ(k) ｘの式で与えられる。すなわち、超解像画像ｘは、この式において、Y(k)からｘを求めるという逆問題を解くことで求められる。この逆問題はバックプロジェクション法により解かれるが、その際に用いられる評価モデルの構築にパラメータとして動きベクトルと差分が用いられる。また、超解像処理の別の手法として、複数枚画像のずれを動きベクトルと差分から求めて、畳み込み演算によって求める方法もある。
【００２９】
超解像処理部５０から出力された画像データに基づいてＬＣＤドライバ５３が駆動され、ＬＣＤ１４に超解像度の画像５４が表示される。この画像５４は、３０フレーム／秒のフレームレートで書き換えられ、ＬＣＤ１４に動画が表示される。また、この動画に同期してスピーカ１９から音声が出力される。
【００３０】
このように構成された動画転送システム１０の作用について図６のフローチャートを参照して説明する。送信ステーション１２の多眼カメラ１１が動画撮影を開始すると、撮像ユニットＵ１〜Ｕ４から同期してフレーム画の撮像信号が読み出され（ｓｔ１）、これらのフレーム画の画像データ（例えば３２０×２４０ピクセル）が同期して送信側通信部２５〜２８からインターネット１３を介して受信ステーション１５の受信側通信部３３〜３６に転送される（ｓｔ２）。
【００３１】
撮像ユニットＵ１〜Ｕ４から出力されたフレーム画の画像データは、低解像度であるから、送信に要する負荷が少なく、高速な画像転送が行なわれる。また、画像データと同期してマイクロフォン１６から出力された音声信号が音声信号処理部２９を経て送信側通信部２４からインターネット１３を介して受信側通信部３２に送信される。
【００３２】
受信側通信部３３〜３６から出力された低解像度の画像データに基づいて動きベクトルが算出されるとともに（ｓｔ３）、差分が算出され（ｓｔ４）、これらを用いて超解像処理部５０により共通の領域５１が超解像度の画像データ（例えば１２８０×９６０ピクセル）が生成される（ｓｔ５）。この画像データに基づいてＬＣＤ１４に超解像度の画像５４が表示される（ｓｔ６）。なお、画像５４の周辺部は、超解像度ではないが、静止した背景の目立たない部分であるから実害はない。
【００３３】
ステップ１からステップ６までの一連のシーケンスが３０回／秒の速度で繰り返され、超解像度の動画がＬＣＤ１４に３０フレーム／秒で表示される。
【００３４】
以上説明した実施形態では、送信ステーションから受信ステーションに一方的に画像及び音声を転送する動画転送システムであったが、本発明はこれに限定されることなく、例えば、Ａ会議場及びＢ会議場に送信ステーション及び受信ステーションをそれぞれ設けることにより、Ａ会議場とＢ会議場との間で超解像度画像によるテレビ会議を行なうことができる。
【００３５】
上記実施形態では、フレームレートを３０フレーム／秒としたが、本発明はこれに限定されることなく、例えば６０フレーム／秒としてもよい。また、上記の解像度等の数値は一例であって、本発明はこれらの数値に限定されないのは勿論である。
【図面の簡単な説明】
【００３６】
【図１】本発明の実施形態である動画転送システムを概略的に示す説明図である。
【図２】送信ステーションを概略的に示すブロック図である。
【図３】受信ステーションを概略的に示すブロック図である。
【図４】撮像ユニットから出力される画像データに基づいて差分，動きベクトルの算出が行なわれる様子を模式的に示す説明図である。
【図５】超解像度変換された画像と、この画像がＬＣＤに表示された状態を示す説明図である。
【図６】本実施形態の主なシーケンスを示すフローチャートである。
【符号の説明】
【００３７】
１０  動画転送システム
１１  多眼カメラ
１２  送信ステーション
１３  インターネット
１４  ＬＣＤ
１５  受信ステーション
２４〜２８  送信側通信部
３０，３７  ＴＧ
３１，３８  ＣＰＵ
３２〜３６  受信側通信部
４０  フレームメモリ
４１  加算器
４２  動き算出器
４５  差分算出部
５０  超解像処理部
Ｕ１〜Ｕ４  撮像ユニット
【図１】
2008252640.tif 000003
【図２】
2008252640.tif 000004
【図３】
2008252640.tif 000005
【図４】
2008252640.tif 000006
【図５】
2008252640.tif 000007
【図６】
2008252640.tif 000008