(57)【要約】【課題】複数のウェブカメラから取込んだ画像情報を利用形態に応じた品質レベルを確保しつつ高速配信をすること【解決手段】画像情報を格子状画像要素に小分割し、前回配信したものと分割単位で輝度部分を比較判断して、変化分の分割単位のみを配信する。変化の比較にあたっては、画像要素毎に比較する方法のほか、個々輝度の合計値を比較するアルゴリズムで単純化することや、小分割部分の変化の履歴を考慮して比較精度を変える方法をとりいれることで画質と高速性の調和をはかる。また、画像パケット配信にあたって、順次同報と並列同報を組合せ、テストパケットにより複数クライアント端末への配信完了時間をシミュレーションした上で送信することにより、全クライアント端末への配信完了時間を極小におさえ、動画の動きの品質を確保する。【選択図】        図１
2005020375.tif 000002
【特許請求の範囲】
【請求項１】
キャプチャーした対象画像を格子状に小分割し、小分割された格子状画像要素毎に、前回配信した画像と、その画像要素の輝度情報を比較して、あらかじめ設定した基準値の範囲内であれば、その格子部分の画像変化を無かったものとみなし、その部分の配信を省略することにより、全体画像の配信実効スピードを上げる方法
【請求項２】
請求項１の処理である格子状画像要素毎の輝度比較を行うに際して、格子状画面の各画像要素点毎の比較でなく、各画像要素点のバイト単位で表された輝度データを、格子状画像要素全体に対し合計値計算のアルゴリズムで集計し、その集計値を用いて基準値と比較することで、多少の誤差を認容しながらも変化の検出の実効性を確保してつつ、比較の速度を上げることにより全体画像の配信実効スピードを上げる方法
【請求項３】
請求項１または請求項２の処理である格子状画像要素毎の輝度比較を行うに際して、格子状画像要素毎に、変化の有無の履歴をとり、前回変化のあった格子状画像要素、あるいは変化回数の大きい格子状画像要素部分については今回も変化の可能性が高いので、その部分の変化の検出にあたって比較基準を厳しくすることにより、変化の検出精度を上げて動画の品質を確保する方法
【請求項４】
画像サーバが同一画像情報を複数のクライアント端末へ配信するにあたって、同時配信要求のあったクライアント端末配信アドレスリストを画像配信要求の度に作り上げ、そのリストを元に、テストパケットにより全クライアント端末へ配信し終えるのに最短時間となるパスルート、順次同報、並列同報の組合せを計算して、サーバから送信、それを受けたクライアント端末はプログラムの中に組込まれたパケット転送機能を用いて、最短配信リストに従って順次配信することで、全体として実効速度を上げる方法
【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
本発明は、電子計算機にネットワークを介して接続しているクライアント端末への画像情報配信に関するものである。
【０００２】
【従来の技術】
動画またはコマ送り準動画を配信するにあたって、直前に配信した画像と比較し、画像が全体として同じであれば配信を省略して、動画の動きをスムーズにするものは存在するか、あるいは存在しなくとも容易に想定できる。しかしカラー画像の場合のように比較情報量が大きく、画像の変化の比較に時間を要する一方、本来無視できる画像変化であっても全体画像データを配信している形態が多い。このように変化検知厳密性を重視して、わずかな変化でも画像情報を配信しているためネットワークでパケット輻輳になり、結果としてクライアント端末への配信が遅れて、動画の動きがスムーズ性を欠くことになる。
【０００３】
動画の変化の差分のみを配信して、配信データ量を少なくし、ネットワークを流れるパケット速度確保を図るものは存在する。しかしその差分の発生した画面の位置を特定して配信・描画しなければならず、描画アルゴリズムが複雑になり、結果的に描画速度の低下を招く。
【０００４】
順次同報によるパケット配信技術は、緊急連絡等あらかじめ定められた複数多数の連絡先に対し、電話による順繰り送り連絡の形態をビジネスプロセスモデルとして、コンピュータパケット通信においても容易に想定可能である。しかし刻々トラフィックが変化するインターネットの中では、あらかじめ定められた配信リストに従って順次同報を行うことは途中のパスルートで輻輳が発生した場合、配信の遅れが生じやすい。
【０００５】
【発明が解決しようとする課題】
解決しようとする第１の課題は、動画の変化を無視できる程の微細なものは極力無視し、用途に応じた厳密性の程度に応じて動画の動きの実効性を確保できる範囲内で、余分な画像データの配信を省略することである。
【０００６】
第２の課題は、画像の変化の認知を判断するアルゴリズムを極力単純化し、動画の実効性を損なわない範囲で、厳密性より迅速性を優先させることである。
【０００７】
第３の課題は、画像の変化の認知を判断する際に厳密性より迅速性を優先させつつも、画像変化の頻度の高い部分は変化検出基準を高めることにより、動画の動きの品質を確保することである。
【０００８】
第４の課題は、パケット順次同報などを併用しつつ、サーバ回線に集中するパケットの輻輳を軽減しながら、画像データを要求している各クライアントへ、その時のインターネットのトラフィックに応じて最短時間で配信することである。
【０００９】
【課題を解決するための手段】
請求項１の発明は、第１の課題を解決するため、配信画像データを格子状に分けて、直前の配信画像と格子単位毎に比較し、あらかじめ定められた変化の基準内であれば、その格子分の配信を取りやめることで、全体画像として高速配信することを特徴とする。
また、第２の課題を解決するため、画像変化の比較に際し、色彩を含めた画像情報全てを比較するのではなく、視覚が敏感に反応する輝度情報のみに限定することにより、比較アルゴリズムを単純化して高速処理することを特徴とする。
【００１０】
請求項２の発明は、第２の課題を迅速性の面でより効果的に解決するため、画像の変化を検知するアルゴリズムを個々の画像要素点を比較していくのではなく、個々の画像要素点の輝度の合計値を比較することでアルゴリズムを単純化し、マクロ的に変化の有無を捉えることを特徴とする。
【００１１】
請求項３の発明は、第３の課題を解決するため、格子状画像要素毎に、変化の有無の履歴をとり、変化頻度の高い部分の比較基準を厳しくすることにより、動画の動きの品質を確保することを特徴とする。
【００１２】
請求項４の発明は、第４の課題を解決するため、順次同報をひとつの選択肢としつつ並列同報処理と組み合わせて、全要求クライアントに配信完了する時間を計算して、配信順序を最短化することを特徴とする。
【００１３】
【発明の実施の形態】
以下、発明の実施形態を図面を参照して説明する。
【００１４】
図１は、画像データ配信のシステム構成を示したものである。図１において１１は画像サーバ、１２はウェブカメラである。１３はウェブカメラから取り込んだ画像を格子状画像要素（以下格子状画像要素という）に分割した概念図である。１４は前回配信した画像とその格子状画像要素、１５はインターネットなどのネットワーク、１６は画像転送の概念、１７は画像配信を要求したクライアント端末である。１８は格子状に分割された画像要素を輝度とそれ以外の色彩要素に変換する概念図である。
【００１５】
まず、図１・１２のウェブカメラからキャプチャーした画像を、１１の画像サーバでｍ行、ｎ列の格子状の画像要素に分割する（１３）。そして、画像形式を輝度信号を要素とするＹＵＶ方式に変換する（１８）。なおキャプチャした画像形式がもともとＹＵＶ方式のウェブカメラもあり、その場合は変換する必要がないことは無論である。
【００１６】
次に直前に配信した画像（１４）と格子状画像要素毎に、例えばＧ１１とＧ１１’とを比較する。比較は画素の全てを対象にするのではなく、輝度Ｙのみを比較して、比較処理時間を短縮する。人の視覚は色彩よりも輝度に敏感に反応する特性があることからＹＵＶ圧縮方式が考案されたことを考えても、輝度のみの比較による画像変化の判断の妥当性がある。
【００１７】
また、輝度Ｙの前回配信分との比較にあたって、格子状画像要素毎に輝度Ｙ全部のチェックサムなどの一定のアルゴリズムに従った値でひとまず比較計算し、全く一致するか、あらかじめ定められた値の範囲であればその格子状に対応する画像部分は変化なしとみなすことも処理時間を高速化する方法である。
【００１８】
更に、格子状画像要素毎に、変化の有無の履歴をとり、前回変化のあった格子状画像要素、あるいは変化回数の大きい格子状画像要素部分については今回も変化の可能性が高いとみなし、その部分の変化の検出にあたって比較基準を厳しくすることにより、変化の可能性の高い部分にコンピュータ処理資源を優先的に割り当てる。
【００１９】
以上の変化検出アルゴリズムを経て、変化のあると認められた格子状画像要素のデータのみを、要求クライアント端末へ配信し、クライアント端末ではその変化部分のみを再描画する。（図１・１６、１７）。
【００２０】
図２は、複数のクライアント端末から画像配信要求があった場合の全端末への配信完了時間の短縮方法を示したものである。  ここで２１は画像サーバ、２２はウェブカメラである。２３はインターネットなどのネットワークで２４、２６、２７は画像配信要求のあったクライアント端末、２５はジャバアプレットなどサーバへアクセス時ダウンロードされたプログラムである。
【００２１】
画像サーバ２１へクライアント端末２４、２６、２７から画像配信要求があったとする。
ここで画像サーバ２１は配信要求のあったクライアント端末にあらかじめ配信されたジャバアプレットなどのプログラムとテストパケットで交信して、その応答時間をもとにどのような順次配信ルートがよいか、あるいはサーバ側の回線トラフィックの状況によっては一部を順次同報ではなく並列同報配信したほうが良いかシミュレーションし、全クライアント端末へ行き渡る配信最短時間を計算した上で、順次同報と並列同報配信の組合せでクライアントへ画像情報を配信する。
【００２２】
【発明の効果】
以上説明したように、請求項１の発明では利用形態に応じて、画像品質の程度を選択できるようにし、画像品質の要求と配信速度の接点を調整して利用者の満足度の極大化が可能である。
【００２３】
請求項２の発明では、００２２に説明した効果に加え、変化検出のアルゴリズムを単純化・簡略化することによって画像品質劣化の許容範囲内において配信速度の向上が可能である。
【００２４】
請求項３の発明では、画像の変化の履歴を活用し、変化の頻度の高い部分の画質を上げることにより、００２２の効果をより向上させることができる。
【００２５】
請求項４の発明では、サーバへの接続パケットが輻輳した場合に、あらかじめ最短時間の配信ルート・手順を計算して順次同報配信を行うことにより、全体としての配信時間短縮が期待できる。
【図面の簡単な説明】
【図１】
画像を格子状に分割して配信するシステム構成図である。
【図２】複数のクライアント端末から配信要求があった場合の配信ルート決定を示す概念図である。
【符号の説明】
１１    画像サーバ
１２    ウェブカメラ
１３    キャプチャーした画像とその格子状画像要素
１４    前回配信した画像とその格子状画像要素
１５    インターネットなどのネットワーク
１６    画像要素配信
１７    配信要求クライアント端末
１８    画像要素の表示形式変換
２１    画像サーバ
２２    ウェブカメラ
２３    インターネットなどのネットワーク
２４    配信要求クライアント端末
２５    ジャバアプレットなどサーバへアクセス時ダウンロードされたプログラム
２６    配信要求クライアント端末のうち並列同報配信されるもの
２７    配信要求クライアント端末のうち順次同報配信されるもの
【図１】
2005020375.tif 000003
【図２】
2005020375.tif 000004