(57)【要約】【課題】  動画再生において、ブラウザの標準デコード機能のみを使用することにより、端末依存の少ない作成環境を提供し、かつ圧縮率を上げて、滑らかな動画再生を実現する。【解決手段】  クライアント端末２で再生されるべき動画の圧縮データを作成してウェブサーバ１に格納しておく際に、動画を構成する各フレームについて順に、ＪＰＥＧブロック単位で、ＪＰＥＧ圧縮を施して、ＪＰＥＧ圧縮静止画データ１２に連ねる。但し、フレーム間で動き補償を採用し、前フレームから利用できるデータについては、ＪＰＥＧ圧縮静止画データ１２に連ねず、画像復元用圧縮情報１３にその旨を記述する。ブラウザ２１で解釈される表示プログラム１１は、作成されたＪＰＥＧ圧縮静止画データ１２から元の動画を再構成するように記述されている。表示プログラム１１は、クライアント端末２にダウンロードされて実行され、よって動画が表示画面２２に表示される。【選択図】  図１
2015228581.tif 000002
【特許請求の範囲】
【請求項１】
クライアント端末にブラウザにより表示させたい、複数フレームで構成された動画のデータをブロックに分割してブロックごとに、前フレームに同一情報が存在するか否かを判定するステップと、
存在しない各ブロックについては、前記ブラウザに標準搭載された静止画デコーダに対応した手法でエンコードして連ねて静止画圧縮データとして用意すると共に、各ブロックについて存否の情報を画像復元用情報に記述してエンコードすることにより画像復元用圧縮情報を用意するステップと、
前記ブラウザが解釈可能な記述言語により記述された表示プログラムであって、前記画像復元用圧縮情報及び前記静止画圧縮データをデコードしてそれぞれ前記画像復元用情報及び静止画データを得た後、前記画像復元用情報に記述された各ブロックに係る存否の情報から、各ブロックについて、“存”の場合には、前記前フレーム内の情報を採用し、“否”の場合には前記静止画データ内の対応するブロックの画像データを採用することにより、前記複数フレームで構成された動画のデータを再構成するように記述された表示プログラムを用意するステップと、
前記ブラウザにより前記表示プログラムを実行し、前記クライアント端末に前記動画を再生するステップと、
を備えることを特徴とする動画再生方法。
【請求項２】
前記画像復元用情報に前記存否の情報を記述する際、存在する各ブロックについては、前記前フレームとの位置関係の動きベクトルを記述し、
前記“存”の場合には、前記動きベクトルに基づいて前記前フレーム内の情報を採用することを特徴とする請求項１に記載の動画再生方法。
【請求項３】
前記ブラウザに標準搭載された静止画デコーダは、ＪＰＥＧデコーダであることを特徴とする請求項１又は２に記載の動画再生方法。
【請求項４】
前記ブロックは、ＪＰＥＧエンコーダの処理単位である８画素×８画素としたことを特徴とする請求項３に記載の動画再生方法。
【請求項５】
前記画像復元用情報に含める前記存否の情報及び前記動きベクトルの情報を、画像情報のＲＧＢ値に任意に対応させ、前記画像復元用情報をＰＮＧ方式によりエンコードして画像復元用圧縮情報を用意することを特徴とする請求項２に記載の動画再生方法。
【請求項６】
前記前フレームに同一情報が存在するか否かの判定にあっては、同一情報の存在を判定する範囲を、所定のｎ×ｎブロック（ｎは、２ｋ（ｋは１以上の整数））から、ｋを減少させつつ、狭めていくことを特徴とする請求項１に記載の動画再生方法。
【請求項７】
前記同一情報が存在すると判定された範囲の情報を、前記画像復元用情報に含めることを特徴とする請求項６に記載の動画再生方法。
【請求項８】
前記記述言語は、ＨＴＭＬ５であることを特徴とする請求項１に記載の動画再生方法。
【請求項９】
アルファチャンネルとしての画像の透明度に係る情報をエンコードして透明度情報用圧縮情報を用意し、前記表示プログラムは、前記透明度情報用圧縮情報をデコードし、前記静止画圧縮データから動画を再構成する際に、前記透明度に係る情報を組み込んで再構成することを特徴とする請求項１に記載の動画再生方法。
【請求項１０】
前記静止画圧縮データは、前記クライアント端末が扱える静止画の容量に応じて複数枚に分けて用意することを特徴とする請求項１に記載の動画再生方法。
【請求項１１】
前記静止画圧縮データ、前記画像復元用圧縮情報、及び前記プログラムは、前記クライアント端末とネットワークを介して接続されたウェブサーバに格納しておくことを特徴とする請求項１に記載の動画再生方法。
【請求項１２】
所定のブラウザを備えたクライアント端末と、そのクライアント端末とネットワークを介して接続されたウェブサーバとを備えた動画再生システムであって、
前記ウェブサーバは、
複数フレームで構成された動画のデータをブロックに分割して、前フレームに同一情報が存在しない各ブロックについて、前記ブラウザに標準搭載された静止画デコーダに対応した手法でエンコードして連ねることにより作成した静止画圧縮データと、
各ブロックについて存否の情報を画像復元用情報に記述してエンコードすることにより用意した画像復元用圧縮情報と、
前記ブラウザが解釈可能な記述言語により記述され、前記クライアント端末にダウンロードされて前記ブラウザで実行されるプログラムであって、前記画像復元用圧縮情報及び前記静止画圧縮データをデコードしてそれぞれ前記画像復元用情報及び静止画データを得た後、前記画像復元用情報に記述された各ブロックに係る存否の情報から、各ブロックについて、“存”の場合には、前記前フレーム内の情報を採用し、“否”の場合には前記静止画データ内の対応するブロックの画像データを採用することにより、前記複数フレームで構成された動画のデータを再構成して前記クライアント端末に表示させるプログラムと、
を備えていることを特徴とする動画再生システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画再生方法及び動画再生システムに関し、特に、ブラウザに標準搭載された静止画デコード機能を利用した動画再生方法及び動画再生システムに関する。
【背景技術】
【０００２】
インターネットの普及に伴って、インターネット上に提供された情報を、ブラウザという閲覧専用ソフトウェアにより各人の端末で自由に閲覧できるようになっている。特に、昨今、通信技術及び情報圧縮符号化技術双方の進歩に伴って、画像、特に動画像を何ら停滞なくスムーズに閲覧できる状況になっている。
【０００３】
ここで、インターネット上の動画を、通信速度及び情報量の観点から、ブラウザにより十分に支障なく閲覧できるようにするため、ブラウザに、例えばＭＰＥＧ（Moving Picture Experts Group）４やH.264規格等の高機能のデコーダをプラグインにより組み込んだり、同様機能を専用のアプリケーションとして組み込んだりすることが一般的である（例えば、特許文献１参照（段落［００２９］第１行〜第２行、［００３０］第１１行〜第１４行等））。なお、特許文献１においては、動画情報はクライアント端末側に確保しておくシステムとなっているが、一般的には、動画情報もインターネット上のウェブサーバに提供されるものである。
【０００４】
上述したプラグイン等の手法は、ブラウザの標準装備のデコード機能（ＪＰＥＧ（Joint Photographic Experts Group）デコード機能、ＰＮＧ（Portable Network Graphics）デコード機能を越えて、時間軸方法の情報量削減により、実質的に動画再生を可能とするものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−２８８６７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述したプラグイン等の手法は、端末のハードウェアに依存した付加的な手法であり汎用化を求めたものではない。また、昨今急速に普及しているスマートフォンにあっては、自動再生ができず、また、ウェブページ上の一部分に再生したり、複数の動画を同時に再生することができない。
【０００７】
一方、例えば、例えばMotion JPEGのように、標準装備のＪＰＥＧデコード機能を、動画を構成する各フレームに適用すると共に、それらをJavaScript（登録商標）のプログラムにより連番で表示することにより、いわゆるパラパラ動画として再生することもできる。しかしながら、このような手法では、時間軸方向の冗長情報の削減が行われていないために圧縮率が低く、転送路の通信速度によっては十分であるとは限らない。また、H.264等の高機能デコーダ処理をJavaScriptによりブラウザに組み込むことも考えられるが、この場合、ハードウェアアクセラレーションが使用できず、十分な速度を保証できないという課題がある。
【０００８】
本発明は上述のような事情から為されたものであり、本発明の目的は、再生端末依存の少ない汎用性を目的としてブラウザに標準搭載されている静止画デコーダを利用して圧縮動画を再生しても、動画用デコーダを利用したときと同様に、支障なく滑らかに再生できる動画再生方法及び動画再生システムを提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の動画再生方法は、クライアント端末にブラウザにより表示させたい、複数フレームで構成された動画のデータをブロックに分割してブロックごとに、前フレームに同一情報が存在するか否かを判定するステップと、存在しない各ブロックについては、前記ブラウザに標準搭載された静止画デコーダに対応した手法でエンコードして連ねて静止画圧縮データとして用意すると共に、各ブロックについて存否の情報を画像復元用情報に記述してエンコードすることにより画像復元用圧縮情報を用意するステップと、前記ブラウザが解釈可能な記述言語により記述された表示プログラムであって、前記画像復元用圧縮情報及び前記静止画圧縮データをデコードしてそれぞれ前記画像復元用情報及び静止画データを得た後、前記画像復元用情報に記述された各ブロックに係る存否の情報から、各ブロックについて、“存”の場合には、前記前フレーム内の情報を採用し、“否”の場合には前記静止画データ内の対応するブロックの画像データを採用することにより、前記複数フレームで構成された動画のデータを再構成するように記述された表示プログラムを用意するステップと、前記ブラウザにより前記表示プログラムを実行し、前記クライアント端末に前記動画を再生するステップと、を備えることを要旨とする。
【００１０】
ここで、特に、前記画像復元用情報に前記存否の情報を記述する際、存在する各ブロックについては、前記前フレームとの位置関係の動きベクトルを記述し、前記“存”の場合には、前記動きベクトルに基づいて前記前フレーム内の情報を採用する。
【００１１】
好適には、前記ブラウザに標準搭載された静止画デコーダは、ＪＰＥＧデコーダである。そのとき、前記ブロックは、ＪＰＥＧエンコーダの処理単位である８画素×８画素である。
【００１２】
また、好適には、前記画像復元用情報に含める前記存否の情報及び前記動きベクトルの情報を、画像情報のＲＧＢ値に任意に対応させ、前記画像復元用情報をＰＮＧ方式によりエンコードして画像復元用圧縮情報を用意する。
【００１３】
また、好適には、前記前フレームに同一情報が存在するか否かの判定にあっては、同一情報の存在を判定する範囲を、所定のｎ×ｎブロック（ｎは、２ｋ（ｋは１以上の整数））から、ｋを減少させつつ、狭めていく。このとき、前記同一情報が存在すると判定された範囲の情報を、前記画像復元用情報に含めることができる。
【００１４】
また、特に、前記記述言語は、ＨＴＭＬ５である。
【００１５】
また、アルファチャンネルとしての画像の透明度に係る情報をエンコードして透明度情報用圧縮情報を用意し、前記表示プログラムは、前記透明度情報用圧縮情報をデコードし、前記静止画圧縮データから動画を再構成する際に、前記透明度に係る情報を組み込んで再構成することもできる。
【００１６】
また、前記静止画圧縮データは、前記クライアント端末が扱える静止画の容量に応じて複数枚に分けて用意することがある。
【００１７】
典型的には、前記静止画圧縮データ、前記画像復元用圧縮情報、及び前記プログラムは、前記クライアント端末とネットワークを介して接続されたウェブサーバに格納しておく。
【００１８】
また、上記目的を達成するため、本発明の動画再生システムは、所定のブラウザを備えたクライアント端末と、そのクライアント端末とネットワークを介して接続されたウェブサーバとを備えた動画再生システムであって、前記ウェブサーバは、複数フレームで構成された動画のデータをブロックに分割して、前フレームに同一情報が存在しない各ブロックについて、前記ブラウザに標準搭載された静止画デコーダに対応した手法でエンコードして連ねることにより作成した静止画圧縮データと、各ブロックについて存否の情報を画像復元用情報に記述してエンコードすることにより用意した画像復元用圧縮情報と、前記ブラウザが解釈可能な記述言語により記述され、前記クライアント端末にダウンロードされて前記ブラウザで実行されるプログラムであって、前記画像復元用圧縮情報及び前記静止画圧縮データをデコードしてそれぞれ前記画像復元用情報及び静止画データを得た後、前記画像復元用情報に記述された各ブロックに係る存否の情報から、各ブロックについて、“存”の場合には、前記前フレーム内の情報を採用し、“否”の場合には前記静止画データ内の対応するブロックの画像データを採用することにより、前記複数フレームで構成された動画のデータを再構成して前記クライアント端末に表示させるプログラムと、を備えていることを要旨とする。
【発明の効果】
【００１９】
本発明の動画再生方法及び動画再生システムによれば、圧縮動画情報をブラウザでデコードして動画を再生する処理において、ブラウザの標準デコード機能のみを使用することにより、圧縮動画情報提供側に、端末依存の少ない作成環境を提供でき、かつ十分に圧縮率を上げて、滑らかな動画再生を実現できる。
【００２０】
すなわち、ブラウザによりクライアント端末に動画を表示する際、動画デコーダのプラグイン等を利用せず、ブラウザに標準搭載されている静止画デコーダを利用することにより、事前の手数を軽減すると共に汎用性を高め、かつ、かかる静止画デコーダを利用するにしても、パラパラ漫画のようにそのまま１枚１枚デコードして動画として出力するのではなく、元の動画の情報を静止画の情報とみなす際に、フレーム間の動き補償を採用して動画情報を圧縮静止画像としているとしているので、表示速度も担保される。
【００２１】
また、前記前フレームに同一情報が存在するか否かの判定にあっては、同一情報の存在を判定する範囲を、所定のｎ×ｎブロック（ｎは、２ｋ（ｋは１以上の整数））から、ｋを減少させつつ、狭めていくようにすれば、上記効果に加えて、静止画圧縮データ及び画像復元用圧縮情報の作成処理は簡素化できるし、画像復元用圧縮情報の情報量はより少なくなる。
【００２２】
また、アルファチャンネルとしての画像の透明度に係る情報をエンコードして透明度情報用圧縮情報を用意し、前記表示プログラムは、前記透明度情報用圧縮情報をデコードし、前記静止画圧縮データから動画を再構成する際に、前記透明度に係る情報を組み込んで再構成すれば、例えば、複数の動画を重ねて再生できる。
【図面の簡単な説明】
【００２３】
【図１】本発明の動画再生方法及び動画再生システムにおける実施形態の概要を説明するための図である。
【図２】本発明の動画再生方法及び動画再生システムにおける第１実施形態で行われる、いわゆるフレーム間動き補償付き動画構成画像ＪＰＥＧ圧縮方式の採用により、ＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３を作成する手順を示すフローチャートである。
【図３】第１実施形態におけるＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３を作成する処理を説明するための図である。
【図４】本発明の動画再生方法及び動画再生システムの第１実施形態における、クライアント端末２のブラウザ２１がダウンロードして実行解釈する、図２の作成手順に対応した表示プログラム１１の処理内容を示すフローチャートである。
【図５】本発明の動画再生方法及び動画再生システムにおける第２実施形態で行われる、いわゆるフレーム間動き補償付き動画構成画像ＪＰＥＧ圧縮方式の採用により、ＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３を作成する手順を示すフローチャートである。
【図６】第１実施形態におけるＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３を作成する処理を説明するための図である。
【図７】本発明の動画再生方法及び動画再生システムにおける第３実施形態を説明するための図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。  
図１は、本発明の動画再生方法及び動画再生システムにおける実施形態の概要を説明するための図であり、そこで、まず、同図（ａ）は、動画表示システムの一例を示しており、情報参照者が所有するクライアント端末２が、インターネット３を介して情報提供者側のウェブサーバ１と通信可能となっている。
【００２５】
クライアント端末２は、少なくとも、各種テキスト情報や静止画及び動画を表示可能な表示画面２２と、ページ記述言語で記述されたプログラムを読み込んで解釈し、それに応じて表示画面２２に各種テキスト情報や静止画及び動画を表示するブラウザ２１と呼ばれるソフトウェアを備えている。なお、本発明において、ブラウザ２１が解釈可能なページ記述言語は、少なくともＨＴＭＬ（Hyper Text Markup Language）５規格に準拠した言語である。また、ここでは、本発明に直接関わる構成のみを上げたが、クライアント端末２は、その他、ブラウザ２１を含む各種ソフトウェアを実行可能なプロセッサや、メモリ、及び表示画面２２の表示制御を行う専用の処理部等のハードウェアを備えているが、ここでは省略している。
【００２６】
クライアント端末２の例としては、例えば、パーソナルコンピュータや、いわゆるスマートフォン等の携帯情報端末である。なお、スマートフォンの場合には、いわゆる３Ｇ回線やＬＴＥ（Long Term Evolution）、ＷｉＭＡＸ（登録商標）等の３．９Ｇ回線を介してインターネット３に接続したり、無線ＬＡＮルータに対してＷｉ−Ｆｉ（登録商標）で通信して直接インターネット３に接続したりする態様がある。
【００２７】
一方、ウェブサーバ１は、少なくとも、表示プログラム１１、ＪＰＥＧ圧縮静止画データ１２、及び画像復元用圧縮情報１３を備えている。まず、ＪＰＥＧ圧縮静止画データ１２は、クライアント端末２のようにインターネット３に接続された複数の端末に表示されること意図して作成された動画情報を、後述するフレーム間動き補償付き動画構成画像ＪＰＥＧ圧縮方式により圧縮符号化して得られたデータであり、後に詳述するように複数のフレームで構成された動画情報が上記特定の処理操作により静止画のＪＰＥＧ圧縮データとして作成されたものである。
【００２８】
また、画像復元用圧縮情報１３は、後に詳述するように、フレーム間動き補償付き動画構成画像ＪＰＥＧ圧縮方式により動画を静止画として扱うよう変換する際の変換及び動き補償の情報を圧縮符号化したものあり、クライアント端末２側で、ＪＰＥＧ圧縮静止画データ１２が伸長され動画再構成される際に参照されるものである。なお、この画像復元用圧縮情報１３は、単に、例えばbase64形式のバイナリデータとしてもよいが、情報量削減とブラウザ２１において標準で処理可能という観点からは、画像とみなしてＰＮＧ形式により圧縮処理を施したＰＮＧ画像データとして構成することが好適である。
【００２９】
また、表示プログラム１１は、クライアント端末２のブラウザ２１により解釈可能な言語で記述されたプログラムであり、クライアント端末２においてブラウザ２１が解釈を行うことにより、画像復元用圧縮情報１３を参照しつつＪＰＥＧ圧縮静止画データ１２を元の動画に復元して、他のテキスト情報と共に、クライアント端末２の表示画面２２に表示するためのものである。具体的には、表示プログラム１１は、ＨＴＭＬ５に準拠した記述言語とJavaScriptにより記述されている。
【００３０】
なお、表示プログラム１１、ＪＰＥＧ圧縮静止画データ１２、及び画像復元用圧縮情報１３は、ウェブサーバ１とは別の端末により作成され、完成後、ウェブサーバ１にアップロードされるのが一般的である。また、表示プログラム１１、ＪＰＥＧ圧縮静止画データ１２、画像復元用圧縮情報１３は、この例のように同一のウェブサーバに格納される必要はなく、例えば、表示プログラム１１と、ＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３とは別のサーバに格納されていてもよい。
【００３１】
図１（ｂ）は、本発明の動画再生方法及び動画再生システムにおける実施形態で行われる、いわゆるフレーム間動き補償付き動画構成画像ＪＰＥＧ圧縮方式の採用により、ＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３を作成する手順を示すフローチャートである。
【００３２】
一般的に、情報提供者側は、任意のウェブサーバに、情報参照者側に参照してもらいたい静止画及び動画を圧縮した状態で格納しておくのであるが、本発明の実施形態にあっては、動画データを圧縮したものとしてＪＰＥＧ圧縮静止画データ１２を作成すると共に、付随情報として画像復元用圧縮情報１３を作成する。
【００３３】
そこで、この作成方法の要点としては、複数のフレームで構成される動画データを各フレームにつき８画素×８画素のブロックに分割し、ブロックごとにＪＰＥＧ圧縮方式を採用して圧縮符号化し、それらを順に並べてＪＰＥＧ圧縮静止画像とみなすと共に、フレーム間では動き補償の概念を採用し、注目ブロックについて、前フレームに同一の情報があれば、当該ブロックについて圧縮データは作成せずに、前フレームの情報を利用する。各ブロックについて、前フレームの情報を利用するか否かの情報等が画像復元用圧縮情報１３に記述される。このように、ＪＰＥＧ圧縮方式を採用することによりブラウザ２１に標準搭載のデコーダで処理することが可能となり、併せて、動きベクトルによる動き補償も採用しているので圧縮率を向上させて情報量を削減している。但し、ブラウザ２１での処理負担を考慮して、差分圧縮処理は行わない。
【００３４】
少し具体的には、図１（ｂ）に示すように、動画を構成する各フレームについて、ＪＰＥＧ圧縮ブロック単位で、前フレームの一部と一致しているか否かを判定し、一致している場合には、その注目ブロックに対応させて、画像復元用情報に、“前フレーム画像利用”の旨とその動きベクトルを記述し、一致していない場合は、注目ブロックに対してＪＰＥＧ圧縮を施して、ＪＰＥＧ圧縮静止画データ１２の一部として連ねると共に、“圧縮画像あり”の旨を画像復元用情報に記述する（ステップＳ１１）。最後のフレームまで処理してＪＰＥＧ圧縮静止画データ１２と画像復元用情報が完成したら、画像復元用情報についてはＰＮＧ形式で圧縮して画像復元用圧縮情報１３を作成する（ステップＳ１２）。情報提供者は、このようにしてＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３を作成してウェブサーバ１に格納する。
【００３５】
なお、ＪＰＥＧ圧縮処理においては、量子化処理が含まれており、上述の同一であるか否か判定では、その誤差を考慮する必要がある。加えて、同一でない場合に発生する符号量を勘案すると、その誤差がある程度大きくなった場合でも、同一であると判定した方がよい場合もある。そのため、同一か否かの判定においては、ＪＰＥＧ圧縮処理の量子化係数からＲＤＯ（Rate Distortion Optimization）のλパラメータを決定し、同一と判定した場合と、判定しなかった場合のコストを計算し、小さい方を選択するのが好適である。具体的には、かかるコストは、あるモードで符号化した場合の、元画像との二乗誤差と、発生する符号量から、コスト＝λ×符号量＋二乗誤差、で計算できる。これにより、同一と判定した方がコストが小さかった場合に、同一であると判定するのが符号量と画質のバランスの観点から好適である。
【００３６】
図１（ｃ）は、クライアント端末２のブラウザ２１がダウンロードして実行解釈する、同図（ｂ）の処理手順に対応した表示プログラム１１の処理内容の概要を示すフローチャートである。表示プログラム１１は、前述のように、作成したＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３の作成方針に応じて、情報提供者側が作成する、ＨＴＭＬ５に準拠した記述言語とJavaScriptにより記述されたプログラムである。
【００３７】
そこで、概要としては、同図に示すように、画像復元用圧縮情報１３をウェブサーバ１からダウンロードしてデコード処理を施して画像復元用情報を回復すると共に（ステップＳ２１）、ＪＰＥＧ圧縮静止画データ１２をダウンロードする（ステップＳ２２）。そして、画像復元用情報を参照して、各ブロックについて、“前フレーム画像利用”であれば、画像復元用情報内の対応する動きベクトルの情報に基づき、前フレームのデータからデコード済みの画像データを取得し、“前フレーム画像利用”でなれば、注目ブロックとして採用すべき情報が、ダウンロードしたＪＰＥＧ圧縮静止画データ１２内にあることになるので、ＪＰＥＧ圧縮静止画データ１２内から次のブロックに係る情報を注目ブロックに係る情報として読み出してきてデコード処理を行うことにより画像データを取得し、このように択一的に得られた画像データを注目ブロックに係る画像データとし、動画のフレーム内の画像データとして配置することにより動画のフレームを再構成して動画を表示する（ステップＳ２３）。
【００３８】
図１（ｄ）は、ブラウザ２１の処理手順の概要を示すフローチャートである。クライアント端末２の所有者、すなわち情報参照者が、起動されているブラウザ２１に対して、参照したいサイトのＵＲＬ（Uniform Resource Locator）を入力したり、リンク情報に対して起動をかけると、ブラウザ２１は、それにより特定されたウェブサーバ１から表示プログラム１１をダウンロードし（ステップＳ３１）、そしてそれを実行する（ステップＳ３２）。表示プログラム１１は、前述のように図１（ｃ）に示されたような処理を行うプログラムであるから、ブラウザ２１がそれを実行すると、表示画面２２上に動画が表示されることとなる。
【００３９】
＜第１実施形態＞
図２は、本発明の動画再生方法及び動画再生システムにおける第１実施形態で行われる、いわゆるフレーム間動き補償付き動画構成画像ＪＰＥＧ圧縮方式の採用により、ＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３を作成する手順を示すフローチャートである。図３は、ＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３を作成する処理を説明するための図である。
【００４０】
前述の概要説明のように、複数のフレームで構成された動画データをＪＰＥＧ圧縮された静止画として扱うべく、先頭フレームから順次、ＪＰＥＧの処理単位である８画素×８画素で構成されるブロック単位で処理を進めていく。そこで、まず、動き補償を担保すべく、前フレームと注目フレームＣＢとの関係から、動きベクトルＭＶを決定する（ステップＳ１１１）。動きベクトルＭＶは、前フレームＰＦの画像と注目フレームＣＦとの間の画素値の二乗誤差に基づいて決定できる。そして、決定された動きベクトルＭＶに基づき、注目フレームＣＦの注目ブロックＣＢは、前フレームＰＦの一部と同一か否かを判定する（ステップＳ１１２）。この判定の結果、前フレームＰＦ内に同一とみなされる部分があると判定される（肯定判定）と、その注目ブロックＣＢについて、“前フレーム画像利用”の旨と、求めた動きベクトルＭＶ（図３（ａ））の情報を、画像復元用情報に記述し（ステップＳ１１３）、ステップＳ１１６に移行する。なお、ステップＳ１１３における記述の形式は、注目ブロック特定情報と、それに対応する“前フレーム画像利用”の情報及び動きベクトルＭＶの情報とを、静止画のＲ、Ｇ、Ｂの各値に、任意に、しかし取り決めて割り当てることにより、画像復元用情報全体をＰＮＧ形式で圧縮した後に伸長復元したときにも、それらの情報が認識できるようにする。
【００４１】
一方、ステップＳ１１２において、前フレームＰＦ内に同一とみなされる部分がないと判定された（否定判定）場合には、その注目ブロックＣＢに対してＪＰＥＧ圧縮を施し、得られた圧縮データを、図３（ｂ）に示すように、ＪＰＥＧ圧縮静止画データ１２の一部として連ねる（ステップＳ１１４）。ここでのＪＰＥＧ圧縮処理は、一般的な処理である。すなわち、離散コサイン変換処理と、量子化処理と、ハフマン符号化や算術符号化等のエントロピー符号化処理とを含む。そして、その注目ブロックＣＢについて、“圧縮画像あり”の旨を画像復元用情報に記述し（ステップＳ１１５）、ステップＳ１１６に移行する。なお、ステップＳ１１５における記述の形式は、注目ブロック特定情報と、それに対応する“圧縮画像あり”の情報を、静止画のＲ、Ｇ、Ｂの各値に、任意に、しかし取り決めて割り当てることにより、画像復元用情報全体をＰＮＧ形式で圧縮した後に伸長復元したときにも、それらの情報が認識できるようにする。
【００４２】
ステップＳ１１６においては、注目ブロックＣＢが一フレーム内の最後のブロックかを判定し、最後のブロックでない場合（否定判定）には、次のブロックをポイントして（ステップＳ１１７）、ステップＳ１１２に戻る。一方、最後のブロックであった場合（肯定判定）には、最後のフレームか否かを判定する（ステップＳ１１８）。当該ステップにおいて、最後のフレームではない場合（否定判定）には、次のフレームをポイントして（ステップＳ１１９）、ステップＳ１１１に戻る。一方、最後のフレームであった場合（肯定判定）には、この時点でＪＰＥＧ圧縮静止画データ１２は完成したのでステップＳ１２０に移行する。ステップＳ１２０においては、完成した画像復元用情報をＰＮＧ形式で圧縮して画像復元用圧縮情報１３を作成する。このように作成されたＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３は、前述のようにウェブサーバ１に格納される。
【００４３】
なお、ステップＳ１１４においてＪＰＥＧ圧縮により得られた圧縮画像データを静止画の一部として順に連ねていく際に、想定するクライアント端末２の静止画１枚の容量を越えた場合には、複数枚の静止画としてＪＰＥＧ圧縮静止画データ１２を構成する。
【００４４】
図４は、本発明の動画再生方法及び動画再生システムの第１実施形態における、クライアント端末２のブラウザ２１がダウンロードして実行解釈する、図２の作成手順に対応した表示プログラム１１の処理内容を示すフローチャートである。すなわち、表示プログラム１１としては、用意したＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３の作成方法に対応して、以下のような処理として記述する。
【００４５】
まず、情報参照者が所有するクライアント端末２の表示画面２２に表示させたい情報として、動画以外のテキスト等の情報があれば、それらを表示する（ステップＳ２１１）。次に、画像復元用圧縮情報１３をウェブサーバ１からダウンロードしてデコード処理を施して画像復元用情報を回復すると共に（ステップＳ２１２）、ＪＰＥＧ圧縮静止画データ１２をダウンロードしてデコード処理を施して静止画データとして得る（ステップＳ２１３）。
【００４６】
そして以降の処理で動画を再構成すべく、デコード処理で得られた画像復元用情報内の各ブロックに対応させた各情報を参照していく。すなわち、画像復元用情報を参照し（ステップＳ２１４）、注目ブロックＣＢが“前フレーム画像利用”か否かを判定する（ステップＳ２１５）。注目ブロックＣＢが“前フレーム画像利用”であれば（肯定判定）、画像復元用情報内の対応する動きベクトルＭＶの情報に基づき、前フレームＰＦのデータからデコード済みの画像データを取得する（ステップＳ２１６）。
【００４７】
一方、注目ブロックＣＢが“前フレーム画像利用”でないのであれば（ステップＳ２１５において否定判定）、注目ブロックＣＢとして採用すべき情報が、ステップＳ２１３においてデコードされて得られた静止画データ内の次のブロックのところにあることになるので、その画像データを採取する（ステップＳ２１７）。
【００４８】
そして、ステップＳ２１８において、ステップＳ２１６で得られた前フレームからのデコード済みの画像データか、又は、ステップＳ２１７で得られた、デコードされた静止画データ内の次のブロックのところにある画像データを、注目ブロックＣＢに係る画像データとし、動画のフレーム内に配置して再構成する（ステップＳ２１９）。
【００４９】
ここで、上述のように、画像データを選択的に動画のフレーム内のデータとして採用する具体的手法について説明する。ＨＴＭＬ５においては、canvasというタグが用意されており、当該タグにより規定した描画領域にJavaScriptにより任意の描画等の処理を行うことにより、既定の画像ではなく、創作的に動画を構成することが可能となっている。canvasタグは、例えば、<canvas id=”canvas” width=”600” height=”480”>という記述である。この具体例では600画素×480画素の描画領域が用意される。これへの画像の記述は、JavaScriptの例えばdrawimage APIにより行える。それにより、本発明では、canvasタグに規定された描画領域に、描画領域に再構成された１つ前のフレームの情報であってフレームバッファに格納された情報から、動きベクトルＭＶに基づき特定されるブロック画像データと、ＪＰＥＧ圧縮静止画データ１２内にある情報を新たにデコードして得られたブロック画像データとから、選択的に配置可能となる。
【００５０】
次に、上述の選択的取得により、１フレーム分が完成したか否かを判定し（ステップＳ２１９）、完成していない場合（否定判定）には、次のブロックを注目ブロックＣＢとし（ステップＳ２２０）、ステップＳ２１４に戻る。一方、１フレーム完成の場合には、フレームバッファを介して表示画面２２への表示処理を行う（ステップＳ２２１）。次に、ステップＳ２２２において、画像復元用情報内の最後のブロックに係る情報に到達したか否かを判定し、到達していない場合（否定判定）には、ステップＳ２２０に移行し、一方、到達した場合（肯定判定）には処理を終了する。以上の処理により、canvasタグにより規定した描画領域に、情報提供者がエンコード前に用意した動画を表示することが可能となる。
【００５１】
以上で説明した第１実施形態によれば、ブラウザ２１によりクライアント端末２に動画を表示する際、動画デコーダのプラグイン等を利用せず、ブラウザ２１に標準搭載されている静止画デコーダを利用することにより、事前の手数を軽減すると共に汎用性を高め、かつ、かかる静止画デコーダを利用するにしても、パラパラ漫画のようにそのまま１枚１枚デコードして動画として出力するのではなく、元の動画の情報を静止画の情報とみなす際に、フレーム間の動き補償を採用して動画情報を圧縮静止画像としているとしているので、表示速度も担保される。ただし、フレーム間の差分圧縮処理まで含めるとデコード処理が重くなるので含めないこととしている。
【００５２】
＜第２実施形態＞
上述の第１実施形態においては、前フレームを利用できるか否かの判断の単位は、最小ブロック（ＪＰＥＧ圧縮の基本単位である８画素×８画素のブロック）であるが、前フレーム内の利用できる範囲は大きくとれればとれるほど好ましい。２ブロック×２ブロックや４ブロック×４ブロックの範囲で一致しているならば、その大きさで処理することが好ましい。そうすればＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３の作成処理は簡素化できるし、画像復元用圧縮情報１３の情報量はより少なくなる。従って、この第２実施形態では、ブロックの大きさを３階層にして４分木処理を行う。なお、ブロックの大きさを３階層にしたが、それに限られることはない。
【００５３】
図５は、ＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３の作成において、ブロックの大きさを３階層にし、４分木処理を行う、第２実施形態におけるフローチャートである。図６は、第２実施形態におけるＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３を作成する処理を説明するための図である。
【００５４】
この第２実施形態においては、前述のように、また図６（ａ）に示すように、処理ブロックの大きさを３階層にする。すなわち、まず注目ブロックＣＢを４×４ブロックとし、一致しなければ注目ブロックＣＢを２×２ブロックとし、それでも一致しなければ注目ブロックＣＢを１×１ブロックとする。
【００５５】
具体的には、図５を参照して、まず、動き補償を担保すべく、前フレームと注目フレームＣＢとの関係から、動きベクトルＭＶを決定する（ステップＳ１２１）。そして、決定された動きベクトルＭＶに基づき、注目フレームＣＦ内の注目４×４ブロックＣＢは、前フレームＰＦの一部と同一か否かを判定する（ステップＳ１２２）。この判定の結果、前フレームＰＦ内に同一とみなされる部分があると判定される（肯定判定）と、その注目４×４ブロックＣＢについて、“前フレーム画像利用”の旨、参照サイズ（この場合４×４）、及び求めた動きベクトルＭＶの情報を、画像復元用情報に記述し（ステップＳ１２３）、ステップＳ１３４に進む。なお、ステップＳ１２３における記述の形式は、注目ブロック特定情報と、それに対応する“前フレーム画像利用”の情報、参照サイズの情報、及び動きベクトルＭＶの情報とを、静止画のＲ、Ｇ、Ｂの各値に任意に、しかし取り決めて割り当てることにより、画像復元用情報全体をＰＮＧ形式で圧縮した後に伸長復元したときにも、それらの情報が認識できるようにする。
【００５６】
一方、ステップＳ１２２において、前フレームＰＦ内に同一とみなされる部分がないと判定された（否定判定）場合には、次に、注目４×４ブロックＣＢ内の注目２×２ブロックＣＢは、前フレームＰＦの一部と同一か否かを判定する（ステップＳ１２４）。この判定の結果、前フレームＰＦ内に同一とみなされる部分があると判定される（肯定判定）（特に、図６（ｂ）に示す場合）と、その注目２×２ブロックＣＢについて、“前フレーム画像利用”の旨、参照サイズ（この場合２×２）、及び求めた動きベクトルＭＶ（図６（ｂ））の情報を、画像復元用情報に記述し（ステップＳ１２５）、ステップＳ１３２に進む。
【００５７】
一方、ステップＳ１２４において、前フレームＰＦ内に同一とみなされる部分がないと判定された（否定判定）場合には、次に、注目２×２ブロックＣＢ内の注目１×１ブロックＣＢは、前フレームＰＦの一部と同一か否かを判定する（ステップＳ１２６）。この判定の結果、前フレームＰＦ内に同一とみなされる部分があると判定される（肯定判定）と、その注目１×１ブロックＣＢについて、“前フレーム画像利用”の旨、参照サイズ（この場合１×１）、及び求めた動きベクトルＭＶの情報を、画像復元用情報に記述し（ステップＳ１２７）、ステップＳ１３０に進む。
【００５８】
一方、ステップＳ１２７において、前フレームＰＦ内に同一とみなされる部分がないと判定された（否定判定）場合には、その注目１×１ブロックＣＢに対してＪＰＥＧ圧縮を施し、得られた圧縮データを、図３（ｂ）に示す第１実施形態と同様に、ＪＰＥＧ圧縮静止画データ１２の一部として連ねる（ステップＳ１２８）。そして、その注目１×１ブロックＣＢについて、“圧縮画像あり”の旨を画像復元用情報に記述し（ステップＳ１２９）、ステップＳ１３０に進む。なお、ステップＳ１２９における記述の形式は、注目ブロック特定情報と、それに対応する“圧縮画像あり”の情報を、静止画のＲ、Ｇ、Ｂの各値に任意に、しかし取り決めて割り当てることにより、画像復元用情報全体をＰＮＧ形式で圧縮した後に伸長復元したときにも、それらの情報が認識できるようにする。
【００５９】
ステップＳ１３０においては、注目１×１ブロックＣＢが注目２×２ブロック内の最後の１×１ブロックかを判定し、最後の１×１ブロックでない場合（否定判定）には、次の１×１ブロックをポイントして（ステップＳ１３１）、ステップＳ１２６に戻る。一方、最後の１×１ブロックであった場合（肯定判定）には、ステップＳ１３２に進む。ステップＳ１３２においては、注目２×２ブロックＣＢが注目４×４ブロック内の最後の２×２ブロックかを判定し、最後の２×２ブロックでない場合（否定判定）には、次の２×２ブロックをポイントして（ステップＳ１３３）、ステップＳ１２４に戻る。一方、最後の２×２ブロックであった場合（肯定判定）には、ステップＳ１３４に進む。ステップＳ１３４においては、注目４×４ブロックＣＢが注目フレームＣＦ内の最後の４×４ブロックかを判定し、最後の４×４ブロックでない場合（否定判定）には、次の４×４ブロックをポイントして（ステップＳ１３５）、ステップＳ１２２に戻る。一方、最後の４×４ブロックであった場合（肯定判定）には、ステップＳ１３６に進む。
【００６０】
ステップＳ１３６においては、注目フレームＣＦが最後のフレームか否かを判定する。当該ステップにおいて、最後のフレームではない場合（否定判定）には、次のフレームをポイントして（ステップＳ１３７）、ステップＳ１２１に戻る。一方、最後のフレームであった場合（肯定判定）には、この時点でＪＰＥＧ圧縮静止画データ１２は完成したのでステップＳ１３８に移行する。ステップＳ１３８においては、完成した画像復元用情報をＰＮＧ形式で圧縮して画像復元用圧縮情報１３を作成する。このように作成されたＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３は、前述のようにウェブサーバ１に格納される。
【００６１】
なお、ステップＳ１２８においてＪＰＥＧ圧縮により得られた圧縮画像データを静止画の一部として順に連ねていく際に、想定するクライアント端末２の静止画１枚の容量を越えた場合には、第１実施形態と同様、複数枚の静止画としてＪＰＥＧ圧縮静止画データ１２を構成する。
【００６２】
次に、図５に示した、第２実施形態におけるＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３の作成手順に対応した表示プログラム１１の処理内容は、第１実施形態における図２の内容と図４の内容の対応関係から当業者には自明であると考えるので詳述は省略する。簡単には、図４におけるステップＳ２１５の否定判定の部分がブロックの階層に応じて階層処理となる。
【００６３】
以上で説明した第２実施形態によれば、第１実施形態に効果に加えて、ＪＰＥＧ圧縮静止画データ１２及び画像復元用圧縮情報１３の作成処理は簡素化できるし、画像復元用圧縮情報１３の情報量はより少なくなる。
【００６４】
＜第３実施形態＞
図７は、本発明の動画再生方法及び動画再生システムにおける第３実施形態を説明するための図である。この第３実施形態は、上述の第１及び第２実施形態の変形態様であり、具体的には、透明度情報を導入する。すなわち、同図に示すように、第３実施形態に係るウェブサーバ１ｂには、表示プログラム１１、ＪＰＥＧ圧縮静止画データ１２、及び画像復元用圧縮情報１３に加えて、透明度情報用圧縮情報１４を用意する。この透明度情報用圧縮情報１４は、画像復元用圧縮情報１３と同様、ＰＮＧ形式でエンコードした圧縮情報であり、透明度情報をアルファチャンネルとして与えることができる。そして、表示プログラム１１においては、透明度情報用圧縮情報１４を、ＪＰＥＧ圧縮静止画データ１２と同じ動きベクトルでデコードすることにより、ＪＰＥＧ圧縮静止画データ１２から動画を再構成する際に、透明度情報を組み込んで再構成するように記述する。
【００６５】
このように透明度情報を採用すれば、クライアント端末２の表示画面２２に複数の動画を再生する場合に、それぞれに透明度情報を与えるようにすれば、複数の動画を重ねて再生できるようになる。
【００６６】
なお、上述した各実施形態にあっては、動画データを静止画のデータとして圧縮符号化する方式としてＪＰＥＧを採用したが、画像復元用圧縮情報１３と同様に、ＰＮＧ方式も採用でき、すなわちＰＮＧ圧縮静止画データを用意することもできる。
【産業上の利用可能性】
【００６７】
本発明の動画再生方法は、例えば、スマートフォンに動画を再生する場合に採用できる。
【符号の説明】
【００６８】
１  ウェブサーバ
１１  表示プログラム
１２  ＪＰＥＧ圧縮静止画データ
１３  画像復元用圧縮情報
１４  透明度情報用圧縮情報
２  クライアント端末
２１  ブラウザ
２２  表示画面
３  インターネット
ＭＶ  動きベクトル
ＣＢ  注目ブロック
ＣＦ  注目フレーム
【図１】
2015228581.tif 000003
【図２】
2015228581.tif 000004
【図３】
2015228581.tif 000005
【図４】
2015228581.tif 000006
【図５】
2015228581.tif 000007
【図６】
2015228581.tif 000008
【図７】
2015228581.tif 000009