(57)【要約】【課題】広角レンズを用いて撮影された動画像を再生する端末装置の利便性を高める。【解決手段】動画像を再生する端末装置（7）と、広角レンズにより全方位の動画像を撮影する撮像装置（1）と、撮像装置が撮影した動画像を端末装置へ配信するサーバ装置（12）とを備える。サーバ装置は、撮像装置が撮影した動画像を構成するフレームデータ群の各フレームデータが表す画像を複数の領域に分割する分割処理および各領域の画像を正像に変換する正像処理を実行する演算部（14）と、撮像装置からのフレームデータ群を蓄積し且つ正像処理が施された部分データ群を領域別に蓄積する記憶部（15）と、端末装置から要求された動画像のフレームデータ群および当該動画像に関し端末装置から要求された領域の部分データ群を記憶部から選択して送信する制御部（13）とを有する。【選択図】図１
2009088850.tif 000002
【特許請求の範囲】
【請求項１】
動画像を再生する端末装置と、広角レンズにより全方位の動画像を撮影する撮像装置と、前記撮像装置が撮影した動画像を前記端末装置へ配信するサーバ装置とを備え、
前記撮像装置は、自装置が撮影した動画像を構成するフレームデータ群を前記サーバ装置へ送信する制御部を有し、
前記サーバ装置は、前記撮像装置からの各フレームデータが表す画像を複数の領域に分割する分割処理および各領域の画像を正像に変換する正像処理を実行する演算部と、前記撮像装置からのフレームデータ群を蓄積し且つ前記正像処理が施された部分データ群を領域別に蓄積する記憶部と、前記端末装置から要求された動画像のフレームデータ群および当該動画像に関し前記端末装置から要求された領域の部分データ群を前記記憶部から選択して送信する制御部とを有し、
前記端末装置は、再生すべき動画像の識別情報および該動画像に関しユーザから指定された領域の識別情報を前記サーバ装置へ送信する制御部を有することを特徴とする動画像配信システム。
【請求項２】
前記サーバ装置の制御部は、前記端末装置が再生する動画像に前記複数の領域を重畳して表示するためのデータを前記端末装置へ送信し、
前記端末装置の制御部は、動画像を再生するとき、前記サーバ装置からの前記データを用いて当該動画像に前記複数の領域を重畳して表示することを特徴とする請求項１記載の動画像配信システム。
【請求項３】
前記サーバ装置の制御部は、前記分割処理において当該画像をメッシュ状に分割することを特徴とする請求項１又は２記載の動画像配信システム。
【請求項４】
広角レンズにより撮影した全方位の動画像を構成するフレームデータ群をサーバ装置へ蓄積し、
前記フレームデータ群の各フレームデータが表す画像を複数の領域に分割する分割処理および各領域の画像を正像に変換する正像処理を前記サーバ装置により実行し、
前記正像処理が施された部分データ群を領域別に前記サーバ装置へ蓄積し、
端末装置により再生すべき動画像の識別情報を前記サーバ装置へ送信し、
前記識別情報に対応する動画像のフレームデータ群を前記サーバ装置から前記端末装置へ送信し、
前記サーバ装置から送信されたフレームデータ群を前記端末装置により再生し、
前記端末装置により再生された動画像に関しユーザから指定された領域の識別情報を前記サーバ装置へ送信し、
前記指定された領域の識別情報に対応する部分データ群を前記サーバ装置から前記端末装置へ送信し、
前記サーバ装置から送信された部分データ群を前記端末装置により再生することを特徴とする動画像配信方法。
【請求項５】
前記端末装置が再生する動画像に前記複数の領域を重畳して表示するためのデータを前記サーバ装置から前記端末装置へ送信し、
前記端末装置により動画像を再生するとき、前記サーバ装置からの前記データを用いて当該動画像に前記複数の領域を重畳して表示することを特徴とする請求項４記載の動画像配信方法。
【請求項６】
前記サーバ装置による前記分割処理において当該画像をメッシュ状に分割することを特徴とする請求項４又は５記載の動画像配信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタル撮影した動画像を配信する技術に関し、特に、広角レンズを用いて撮影された全方位の動画像を配信する技術に関する。
【背景技術】
【０００２】
ディジタル撮影により得られた画像データをインターネットにより配信する、いわゆるWebカメラを用いたシステムがある。このシステムにおいて、配信対象の画像データは、それを撮影したWebカメラ装置あるいは別途設けられたサーバ装置に記憶される。画像データを閲覧しようとするユーザは、端末により、Webカメラ装置あるいはサーバ装置にアクセスし、所望の画像データを受信する。
【０００３】
ところで、カメラ装置のレンズに平面レンズを用いた場合、得られる画像は平面画像であることから、画像の取り扱いが簡便である。しかしながら、平面レンズによる１回あたりの撮像範囲は比較的狭い。そのため、例えば、雲台に設けられたステッピングモータによりカメラを回転あるいは上下させることで、撮像範囲が補償される。後述の特許文献１には、携帯端末が、遠隔に設けられた可動型のWebカメラの方向をモータ制御する方法が記載されている。
【０００４】
また、カメラ装置のレンズとして、魚眼レンズのような広角レンズが用いられることがある。魚眼レンズを用いた場合、１回の撮影で１８０°四方の範囲をカバーできるため、平面レンズの場合のようにカメラを頻繁に動かす必要はない。後述の特許文献２には、魚眼レンズを採用したディジタルカメラが記載されている。同文献に記載のディジタルカメラは、魚眼レンズで撮影した静止画を、カメラ裏面のディスプレイに平面画像として表示するものである。
【特許文献１】特開平１１−２９５７８３号公報
【特許文献２】特開２００６−２７９７３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
配信システムのカメラ装置に平面レンズを用いた場合、前述したように、撮像範囲を広げるために、ステッピングモータによりカメラを頻繁に動かす必要がある。そのため、ユーザ端末に同期した複雑なモータ制御が必要になることから、撮影の処理時間を短縮し難く、配信を待つユーザにストレスが生じるという不都合がある。
【０００６】
一方、魚眼レンズを用いた場合、１回あたりの撮影範囲は拡大されるが、撮影された全方位画像には歪みが現れるため、その歪んだ像を正像に変換する必要がある。特に、動画像の場合、映像を滞りなく再生するために、正像への変換を迅速に行うことが求められる。上記特許文献２に記載の方法は、魚眼レンズにより撮影した画像の処理に関するものであるが、撮影される画像は静止画であり、動画像については想定されていない。
【０００７】
本発明は、上記課題に鑑みてなされたものであり、その目的は、広角レンズを用いて撮影された動画像を再生する端末装置の利便性を高める技術を提供することにある。
【課題を解決するための手段】
【０００８】
本発明に係る動画像配信システムは、動画像を再生する端末装置と、広角レンズにより全方位の動画像を撮影する撮像装置と、前記撮像装置が撮影した動画像を前記端末装置へ配信するサーバ装置とを備え、前記撮像装置は、自装置が撮影した動画像を構成するフレームデータ群を前記サーバ装置へ送信する制御部を有し、前記サーバ装置は、前記撮像装置からの各フレームデータが表す画像を複数の領域に分割する分割処理および各領域の画像を正像に変換する正像処理を実行する演算部と、前記撮像装置からのフレームデータ群を蓄積し且つ前記正像処理が施された部分データ群を領域別に蓄積する記憶部と、前記端末装置から要求された動画像のフレームデータ群および当該動画像に関し前記端末装置から要求された領域の部分データ群を前記記憶部から選択して送信する制御部とを有し、前記端末装置は、再生すべき動画像の識別情報および該動画像に関しユーザから指定された領域の識別情報を前記サーバ装置へ送信する制御部を有する。
【０００９】
本発明に係る動画像配信方法は、広角レンズにより撮影した全方位の動画像を構成するフレームデータ群をサーバ装置へ蓄積し、前記フレームデータ群の各フレームデータが表す画像を複数の領域に分割する分割処理および各領域の画像を正像に変換する正像処理を前記サーバ装置により実行し、前記正像処理が施された部分データ群を領域別に前記サーバ装置へ蓄積し、端末装置により再生すべき動画像の識別情報を前記サーバ装置へ送信し、前記識別情報に対応する動画像のフレームデータ群を前記サーバ装置から前記端末装置へ送信し、前記サーバ装置から送信されたフレームデータ群を前記端末装置により再生し、前記端末装置により再生された動画像に関しユーザから指定された領域の識別情報を前記サーバ装置へ送信し、前記指定された領域の識別情報に対応する部分データ群を前記サーバ装置から前記端末装置へ送信し、前記サーバ装置から送信された部分データ群を前記端末装置により再生するという方法である。
【発明の効果】
【００１０】
本発明によれば、動画像を再生する端末装置が全方位画像の正像処理を行うことは不要となる。また、ユーザは、端末装置が再生した動画像から所望の領域を正像により閲覧することができる。したがって、端末装置の利便性が高められる。
【発明を実施するための最良の形態】
【００１１】
図１に、本発明に係る動画像配信システムの実施形態の構成を示す。システム100において、Webカメラ装置1、携帯端末7および画像演算サーバ12は、インターネットを含む通信網20に接続されている。
【００１２】
Webカメラ装置1は、魚眼レンズ3により動画像を撮影する撮像素子2を備える。撮像素子2には電荷結合素子（CCD）などを使用することができる。信号処理部5は、撮像素子2が出力した動画像のアナログ信号をディジタル信号に変換し、それを記憶部6へ格納する。記憶部6に格納されるディジタル信号は、動画像を構成する一連の静止画データであり、本発明における一連のフレームデータに対応するものである。制御部4は、Webカメラ装置1の制御機能および通信網20に対する通信機能を具備し、記憶部6に格納されたフレームデータを画像演算サーバ12へ送信する。このとき送信されるフレームデータには、各フレームを識別するためのフレーム情報が付加される。
【００１３】
携帯端末7は、動画像のデータを記憶する記憶部11と、記憶部11のデータに対応する動画像を表示する表示器9と、操作ボタンのキー部10と、これらを制御する制御部8とを備える。制御部4は、通信網20に対する通信機能を具備しており、キー部10での入力操作によりユーザから指定された動画像のデータを画像演算サーバ12から取得する。
【００１４】
画像演算サーバ12は、動画像のデータを記憶する記憶部15と、Webカメラ装置1からのフレームデータに後述の分割処理および正像処理を施す演算部14と、通信網20に対する通信機能を具備する制御部13とを備える。
【００１５】
演算部14は、ソフトウェアにより構成されていてもよいし、専用のディジタルプロセッサ（DSP）であってもよい。制御部13は、Webカメラ装置1から受信した動画像のフレームデータを前述のフレーム情報と共に記憶部15へ格納する。演算部14は、フレーム情報を参照して、記憶部15から１フレーム分のフレームデータを順次抽出する。そして、抽出した各フレームデータが表す画像を所定の領域に分割する分割処理を行う。
【００１６】
画像演算サーバ12が受信したフレームデータは、魚眼レンズ3で撮像された全方位の画像データであるため、図２に示すように、像に歪みが現れる。図２に示す全方位画像は、撮像対象の領域aの部分bの集合を魚眼レンズ3により等角度撮影して得られる画像である。全方位画像において、魚眼レンズ3のレンズ面cからの距離が離れた部分（b）ほど、像が縮小されるので歪みが強くなる。
【００１７】
演算部14は、フレームデータが表す全方位画像に前述の分割処理を行った後、分割された各領域の画像の歪みを補正する正像処理を行う。そして、正像処理を施した部分データを、その領域を識別するための情報を付加したうえで記憶部15へ格納する。記憶部15には、動画像を構成するフレームデータ群と、各フレームデータから得られた領域別の部分データ群とが蓄積される。前者のフレームデータは、魚眼レンズ3による歪みを含んだ全体画像のデータであり、後者の部分データは、正像処理により歪みが補正された部分画像のデータである。
【００１８】
ここで、図３を参照して、演算部14によるフレームデータの分割処理について説明する。図３は、メッシュ状に分割された全方位画像の一例を示すものである。図示の全方位画像は、水平方向および垂直方向に等間隔に分割された撮像対象領域（図２：a）を魚眼レンズ3により投影した画像と考えることができる。図３の全方位画像において、任意の分割領域は「Sm,n」で識別され、撮像対象領域は全部で（M+N）個に分割される。演算部14は、領域Sm,nごとに正像処理を行う。
【００１９】
図４に、携帯端末7における動画像の表示例を示す。図示の例は、図３の画像と同様なものが携帯端末7の表示器9に表示され、その画像中の領域S6,7にカーソルがある状態を表す。図４の画像は、メッシュ状の分割領域を表示するためのデータをフレームデータに重畳することにより得られる画像である。分割領域を表示器9に表示するためのデータは、フレームデータと共に画像演算サーバ12から供給される。
【００２０】
携帯端末7のユーザは、表示器9の画面において、ある領域の動画像を拡大して閲覧したい場合、キー部10の「←」、「→」、「↑」、「↓」といった方向キーにより所望の領域にカーソルを移動させ、「Enter」キーを押下することで、閲覧したい領域を指定することができる。
【００２１】
図５に示すフローチャートを参照して、システム100における画像演算サーバ12の動作を説明する。画像演算サーバ12は、Webカメラ装置1から、魚眼レンズ3を用いて撮影された動画像の一連のフレームデータ群を受信すると（ステップA1）、それらを記憶部15へ保存する（ステップA2）。画像演算サーバ12は、記憶部15に保存されたフレームデータ群から１フレーム分のデータを順次読み出す（ステップA3）。そして、読み出す都度、そのフレームデータが表す全方位画像を複数の領域に分割する（ステップA4）。具体的には、全方位画像が図３に示すような態様で分割される。
【００２２】
画像演算サーバ12は、分割された各領域の画像の歪みを補正する正像処理を行い（ステップA5）、処理済みの領域の部分データを記憶部15へ順次保存する（ステップA6）。このとき、画像演算サーバ12は、記憶部15へ保存すべき部分データ群に、それらの領域を識別するための前述の「Sm,n」（図３）のようなＩＤを付加する。
【００２３】
画像演算サーバ12は、携帯端末7から動画像の配信要求を受けるとき、配信要求のメッセージと共に、その動画像のＩＤ情報を受信する（ステップA7）。画像演算サーバ12は、受信したＩＤ情報に対応する動画像のフレームデータ群を記憶部15から読み出して携帯端末7へ順次送信する（ステップA8）。また、画像演算サーバ12は、フレームデータ群を送信するとき、携帯端末7の表示器9に図３のような分割領域を表示するためのデータを併せて送信する。
【００２４】
その後、画像演算サーバ12は、配信した動画像に関し、携帯端末7から領域指定のメッセージおよびその領域のＩＤ情報を受信した場合（ステップA9：Yes）、受信したＩＤ情報に対応する領域の部分データ群を記憶部15から読み出し、携帯端末7へ送信する（ステップA10）。
【００２５】
さらにその後、携帯端末7から画像演算サーバ12に対し、上記の動画像の関する全体画像の配信要求、あるいは、別の動画像の配信要求が送られた場合（ステップA11：Yes）、画像演算サーバ12は、要求された動画像のフレームデータ群を送信する（ステップA8）。
【００２６】
次に、図６に示すフローチャートを参照して、上記画像演算サーバ12に対する携帯端末7の動作を説明する。携帯端末7は、ユーザにより動画像の再生指示が入力されたことを認識すると（ステップB1）、画像演算サーバ12に対し、指示された動画像の配信を要求するためのメッセージと共に、その動画像のＩＤ情報を送信する（ステップB2）。
【００２７】
携帯端末7は、上記要求に応じて画像演算サーバ12から送信された動画像のフレームデータ群および分割領域を表示するためのデータを受信し、それらを記憶部11へ保存する（ステップB3）。そして、記憶部11から順次読み出したフレームデータを動画像として表示器9に表示する（ステップB4）。このとき表示器9に表示される画面例を図７に示す。図７に示すように、携帯端末7の表示器9には、動画像にメッシュ状の分割領域が重ねられた画面が表示される（ステップB5）。なお、動画像の再生時に自動的に分割領域を表示することに替えて、ユーザのキー入力に応じて分割領域の表示をON/OFFするようにしてもよい。
【００２８】
携帯端末7は、表示器9の画面に対するユーザのキー操作に応じて、画面上のカーソル位置を移動させる（ステップB6）。また、表示器9に表示中の動画像に関し、ユーザから閲覧領域が指定された場合（ステップB7：Yes）、携帯端末7は、その領域のＩＤ情報を画像演算サーバ12へ送信する（ステップB8）。
【００２９】
ここで、図８及び図９に沿って、携帯端末7におけるカーソル位置の移動および閲覧領域の指定について例を挙げる。図８より、いま、画面上のカーソルが領域S8,8にあるとする（a）。この状態で、ユーザが「→」のキーを１回押下すると、右方の領域S8,9にカーソルが移動する（b）。さらに、ユーザが「↓」のキーを１回押下すると、カーソルが下方の領域S9,9へ移動する（c）。
【００３０】
また、図９より、例えば領域S2,9を拡大して閲覧しようとする場合、ユーザは、その領域S2,9にカーソルを合わせた状態で「Enter」のキーを押下する（d）。携帯端末7の制御部8は、「Enter」キーの押下を認識すると、現時点のカーソル位置に対応する領域（S2,9）を閲覧領域のＩＤ情報として画像演算サーバ12へ通知する。
【００３１】
携帯端末7は、通知したＩＤ情報に対応した領域の部分データ群を画像演算サーバ12から受信し、それらを記憶部11へ保存する（ステップB9）。そして、記憶部11から順次読み出した部分データを、表示器9に適合する表示サイズに調整したうえで表示する（ステップB10,B11）。これにより、図９に示すように、閲覧指定した領域S2,9の動画像が、歪みが補正され且つ拡大された状態で表示器9に表示される（e）。
【００３２】
携帯端末7は、指定した領域（S2,9）が表示された状態で、ユーザから、全体画像へ戻す指示あるいは別の動画像の再生指示が入力された場合（ステップB12：Yes）、指示された動画像のＩＤ情報を画像演算サーバ12へ通知する（ステップB2）。
【００３３】
本発明の実施形態によれば、魚眼レンズ3により撮影された動画像の正像処理を画像演算サーバ12により行うことから、携帯端末7が正像処理を行うことは不要となる。これにより、端末での正像処理に起因する動画像の再生遅延を回避することができる。また、ユーザは、携帯端末7が再生した動画像から所望の領域を正像により閲覧することができる。携帯端末7によりユーザが閲覧領域を選択するとき、メッシュ状の分割領域が動画像に重畳して表示されることから、領域の選択が簡便となる。
【００３４】
上記実施形態では、携帯端末7に表示されている動画像から単一の領域が指定されたが、指定可能な領域は、分割領域１つ分に限らず、隣接する複数の分割領域により構成されてもよい。また、分割の形式は、水平方向または垂直方向の何れか一方による分割、あるいは、部分的に重なり合う複数の円形領域による分割等、メッシュ状以外のものであってもよい。さらにまた、Webカメラ装置1のレンズは魚眼レンズ3に限らず、全方位画像を撮影可能であれば、他の仕様の広角レンズであってもよい。
【図面の簡単な説明】
【００３５】
【図１】本発明の実施形態のシステム構成を示すブロック図である。
【図２】本発明の実施形態における魚眼レンズ及び撮像対象領域に関する説明図である。
【図３】本発明の実施形態における全方位画像の分割処理に関する説明図である。
【図４】本発明の実施形態における携帯端末に関する説明図である。
【図５】本発明の実施形態における画像演算サーバの動作手順を示すフローチャートである。
【図６】本発明の実施形態における携帯端末の動作手順を示すフローチャートである。
【図７】本発明の実施形態における携帯端末の画面表示に関する説明図である。
【図８】本発明の実施形態における携帯端末の画面表示に関する説明図である。
【図９】本発明の実施形態における携帯端末の画面表示に関する説明図である。
【符号の説明】
【００３６】
100：システム、1：Webカメラ装置、2：撮像素子、3：魚眼レンズ、4：制御部、5：信号処理部、6：記憶部、7：携帯端末、8：制御部、9：表示器、10：キー部、11：記憶部、12：画像演算サーバ、13：制御部、14：演算部、15：記憶部
【図１】
2009088850.tif 000003
【図２】
2009088850.tif 000004
【図３】
2009088850.tif 000005
【図４】
2009088850.tif 000006
【図５】
2009088850.tif 000007
【図６】
2009088850.tif 000008
【図７】
2009088850.tif 000009
【図８】
2009088850.tif 000010
【図９】
2009088850.tif 000011