(57)【要約】【課題】  シーンチェンジを含む動画像の再生品質を向上する。【解決手段】  画像処理装置１００において、入力部１１０は動画として表示される所定の複数の原画像を取得する。シーンチェンジ検出部１２０は取得した原画像列に含まれるシーンチェンジを検出する。画像合成部１５０は、シーンチェンジ前後の原画像を合成して合成画像を生成する。ストリーム生成部１７０は、シーンチェンジを挟む原画像の間に、生成した合成画像を挿入して、取得した原画像と合成画像とからなる動画再生用のデータストリームを生成する。【選択図】  図１
2006197256.tif 000002
【特許請求の範囲】
【請求項１】
連続する複数の原画像を取得する画像入力部と、
前記複数の原画像のうちの二つがシーンチェンジを挟むときこれを検出するシーンチェンジ検出部と、
前記シーンチェンジを挟む二つの原画像に基づいて合成画像を生成する合成画像生成部と、
前記複数の原画像と、前記合成画像とを含む再生用データストリームを生成するストリーム生成部とを含み、
前記ストリーム生成部は、前記合成画像を前記シーンチェンジを挟む二つの原画像の間に挿入して前記データストリームを生成することを特徴とする画像処理装置。
【請求項２】
連続する複数の原画像を取得する画像入力部と、
前記複数の原画像のうちの二つがシーンチェンジを挟むときこれを検出するシーンチェンジ検出部と、
前記複数の原画像のうち前記シーンチェンジの前後いずれかにおける二以上の原画像に基づいて補間画像を生成する補間画像生成部と、
前記複数の原画像と、前記補間画像とを含む再生用データストリームを生成するストリーム生成部とを含み、
前記ストリーム生成部は、前記補間画像を前記シーンチェンジを挟む二つの原画像の間に挿入して前記データストリームを生成することを特徴とする画像処理装置。
【請求項３】
連続する複数の原画像を取得する画像入力部と、
前記複数の原画像のうちの二つがシーンチェンジを挟むときこれを検出するシーンチェンジ検出部と、
前記複数の原画像のうち前記シーンチェンジの前後いずれかにおける二以上の原画像に基づいて補間画像を生成する補間画像生成部と、
前記シーンチェンジの前における二以上の原画像に基づく補間画像と、前記シーンチェンジの後における二以上の原画像に基づく補間画像とに基づいて合成画像を生成する合成画像生成部と、
前記複数の原画像と、前記合成画像とを含む再生用データストリームを生成するストリーム生成部とを含み、
前記ストリーム生成部は、前記補間画像を前記シーンチェンジを挟む二つの原画像の間に挿入して前記データストリームを生成することを特徴とする画像処理装置。
【請求項４】
前記データストリームにおいて、前記合成画像の表示間隔は前記原画像の表示間隔よりも短く設定されていることを特徴とする請求項１または３のいずれかに記載の画像処理装置。
【請求項５】
前記データストリームにおいて、前記補間画像の表示間隔は前記原画像の表示間隔よりも短く設定されていることを特徴とする請求項２に記載の画像処理装置。
【請求項６】
連続する複数の原画像を取得する画像入力部と、
前記複数の原画像のうちの二つがシーンチェンジを挟むときこれを検出するシーンチェンジ検出部と、
前記複数の原画像と、複数のモードから選択した一つのモードに従って新たに生成した画像とを含む再生用データストリームを生成するストリーム生成部とを含み、
前記ストリーム生成部は、前記新たに生成した画像を前記シーンチェンジを挟む二つの原画像の間に挿入して前記データストリームを生成することを特徴とする画像処理装置。
【請求項７】
前記複数の原画像のうち、隣接する二つの原画像であって前記シーンチェンジを挟まないものについて対応情報データを生成する対応情報データ生成部をさらに含み、
前記ストリーム生成部は、前記対応情報データをさらに含めて前記データストリームを生成することを特徴とする請求項１から６のいずれかに画像処理装置。
【請求項８】
前記シーンチェンジ検出部は、前記原画像のうち連続する二つの原画像の差が所定の上限値と下限値の間にある場合に、前記シーンチェンジがあったと判定することを特徴とする請求項１から７のいずれかに記載の画像処理装置。
【請求項９】
前記シーンチェンジ検出部は、連続する二つの原画像間において、動画の意味内容上の連続性が維持されながら、かつ前記連続する二つの原画像間の変化が大きい場合をシーンチェンジとして検出することを特徴とする請求項１から７のいずれかに記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理技術に関し、特に動画像データの符号化装置に関する。
【背景技術】
【０００２】
インターネット技術の発展は、高速かつ大容量の通信を可能にした。これにより、ユーザは比較的情報量の多い動画コンテンツを、インターネット配信等により容易に楽しむことができるようになった。旧来のテレビ放送等の受信やＤＶＤ（デジタル多目的ディスク）等の記録メディアからの再生に加え、たとえばこのようなインターネットを通じた動画配信等、ユーザが動画コンテンツを楽しむことができる環境の多様性は近年飛躍的に高まっている。動画データを効率的に扱う方法として、ユーザの主観に基づいてシーンチェンジを検出する技術等が提案されている（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開２００４−１９４１９７号公報
【０００４】
ユーザが動画コンテンツを様々なメディアで当たり前のように視聴できる環境が整備された現在、次に追求されるべきは、ユーザに対していかに高品質のコンテンツを提供できるかという点にあることは疑う余地がない。コンテンツ品質の追求こそが、今後デジタル文化がさらなる発展をとげるための鍵を握るともいえる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明者は以上の課題に基づき本発明をなしたもので、その目的は、動画コンテンツの再生品質を高めることにある。
【課題を解決するための手段】
【０００６】
本発明のある態様の画像処理装置は、連続する複数の原画像を取得する画像入力部と、複数の原画像のうちの二つがシーンチェンジを挟むときこれを検出するシーンチェンジ検出部と、シーンチェンジを挟む二つの原画像に基づいて合成画像を生成する合成画像生成部と、複数の原画像と、合成画像とを含む再生用データストリームを生成するストリーム生成部とを含み、ストリーム生成部は、合成画像をシーンチェンジを挟む二つの原画像の間に挿入してデータストリームを生成することを特徴とする。
【０００７】
「シーンチェンジ」は必ずしも客観的に決まるものではなく、ある程度画像に差がある場合にシーンチェンジがあったと考えてよい。シーンチェンジを含む動画を再生した場合、視聴者は映像の流れが断絶したような印象を受ける場合があるが、この態様では、シーンチェンジを挟む原画像の間に合成画像を挿入したデータストリームが生成されるため、再生した際映像の断絶感を緩和することができる。
【０００８】
本発明の別の態様も画像処理装置に関する。この態様の画像処理装置は、上述した態様の画像処理装置の合成画像生成部に代えて、複数の原画像のうちシーンチェンジの前後いずれかにおける二以上の原画像に基づいて補間画像を生成する補間画像生成部を備え、ストリーム生成部は、合成画像に代えて補間画像をシーンチェンジを挟む二つの原画像の間に挿入してデータストリームを生成する。
【０００９】
本発明のさらに別の態様も画像処理装置に関し、最初に述べた態様の画像処理装置の合成画像生成部に代えて、複数の原画像のうちシーンチェンジの前後いずれかにおける二以上の原画像に基づいて補間画像を生成する補間画像生成部と、シーンチェンジの前における二以上の原画像に基づく補間画像及びシーンチェンジの後における二以上の原画像に基づく補間画像に基づいて合成画像を生成する合成画像生成部とを備え、ストリーム生成部は、この合成画像生成部が生成した合成画像を、シーンチェンジを挟む二つの原画像の間に挿入してデータストリームを生成する。
【００１０】
これらの態様においても、シーンチェンジを挟む原画像の間に補間画像もしくは合成画像を挿入した状態で再生用のデータストリームが生成されるため、最初に述べた態様と同様に、シーンチェンジを含む動画の品質を向上させることができる。
【００１１】
データストリームにおいて合成画像や補間画像の表示間隔が原画像の表示間隔よりも短く設定されていてもよい。この場合、たとえばハイフレームレート化されたディスプレイ等の性能を十分に引き出し、よりなめらかなシーンチェンジを実現するための動画ストリームを生成できる。
【００１２】
本発明のさらに別の態様も画像処理装置に関し、連続する複数の原画像を取得する画像入力部と、複数の原画像のうちの二つがシーンチェンジを挟むときこれを検出するシーンチェンジ検出部と、複数の原画像と、複数のモードから選択した一つのモードに従って新たに生成した画像とを含む再生用データストリームを生成するストリーム生成部とを含み、ストリーム生成部は、これらの新たに生成した画像を前記シーンチェンジを挟む二つの原画像の間に挿入してデータストリームを生成する。これにより、最初に述べた態様と同様に、シーンチェンジを含む動画の品質を向上させることができる。
【００１３】
本発明の画像処理装置はさらに複数の原画像のうち、隣接する二つの原画像であってシーンチェンジを挟まないものについて対応情報データを生成する対応情報データ生成部を含んでもよく、ストリーム生成部は、対応情報データをさらに含めてデータストリームを生成してもよい。これにより、既述のごとくシーンチェンジを含む動画の画像品質を向上させつつ、原画像のストリームを圧縮することも可能となる。なお、本明細書においては、特に言及しない限り「フレーム」と「画像」の語を区別せずに用いる。
【００１４】
以上のいずれの態様においても、シーンチェンジ検出部は、連続する二つの原画像の差が所定の上限値と下限値の間にある場合に、シーンチェンジがあったと判定してもよい。また、シーンチェンジ検出部は、連続する二つの原画像間において、動画の意味内容上の連続性が維持されながら、かつ連続する二つの原画像間の変化が大きい場合をシーンチェンジとして検出してもよい。
【００１５】
以上の各構成、工程を任意に入れ替えたり、表現をコンピュータプログラム、記録媒体等に変更したものもまた、本発明として有効である。
【発明を実施するための最良の形態】
【００１６】
（実施形態１）
本発明の一実施形態である画像処理装置は、シーンチェンジを含む動画の各フレームを原画像として取得し、ハイフレームレート表示に対応したディスプレイ等で再生するのに適した動画像再生用のデータストリームを生成する。本実施形態では、１秒間に３０枚の割合で動画として表示される一連の画像を原画像として扱うが、原画像は必ずしもこれに限定する必要はない。シーンチェンジについては、画像間の差が大きい場合にシーンチェンジがあったと考えればよい。以後言及するシーンチェンジの検出においては、例えば、両原画像の、位置的に対応しあう画素値の差の絶対値や二乗の総和の大きさと所定のしきい値を比べてシーンチェンジを検出することができる。
【００１７】
ここで、所定のしきい値は上限値と下限値からなり、上記の差の値がこの上限値以上かつ下限値以下のいずれかの値である場合に、シーンチェンジがあったと判定されることが望ましい。一般にシーンチェンジには、二つの類型が考えられるためである。すなわち、シーンチェンジとは、狭義には、例えば人物の画像から突然風景の画像に切り替わるような、動画の表示内容における意味上の連続性が切断されるものをさす。この場合はシーンチェンジを挟む原画像の内容は当然全く異なり、上述した原画像間の差が非常に大きくなる。一方、例えばある人物がドアを開けて室外に出て行く様子など表す場合も広義にはシーンチェンジであるといえる。このように表示内容の意味上の連続性が一定程度に維持されるタイプのシーンチェンジにおいては、原画像間の差はある程度大きくなるとはいえ、上述した狭義のシーンチェンジに比べればその差の程度は小さい。
【００１８】
本発明は、シーンチェンジ時における動画像の断絶感解消をその目的の一つとしていることに鑑みれば、本発明においてシーンチェンジとして検出されるべきは主に後者のタイプの、動画の意味内容上の連続性が維持されながら、かつ連続する二つの原画像間の変化が大きい場合のシーンチェンジである。意味内容上の断絶があり、シーンが完全に変わる場合、すなわち前者のタイプのシーンチェンジでは、むしろ動画像の連続感を維持しない方がよい場合も多いためである。上述の通り、前者のタイプのシーンチェンジは、後者のタイプに比べ原画像間の差が大きいことから、シーンチェンジ判定用のしきい値に、単純に画像間の差が所定の値以上であるかどうかを判別するための下限値に加えて、上限値を導入することで検出されるシーンチェンジのタイプを後者に制限しやすくなる。しきい値はその上限値、下限値ともに実験により定めればよい。シーンチェンジの検出に関する以上の考察は本明細書を通じて有効である。
【００１９】
図１は、本実施形態における画像処理装置１００の構成を示す。画像処理装置１００の各構成要素は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされた本図の構成要素を実現するプログラム、そのプログラムを格納するハードディスクなどの記憶ユニット、ネットワーク接続用インターフェースを中心にハードウエアとソフトウエアの任意の組合せによって実現されるが、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。以下説明する各図は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。
【００２０】
画像処理装置１００は原画像を取得する入力部１１０と、上述の方法でシーンチェンジを検出するシーンチェンジ検出部１２０と、ユーザ等による画像処理装置１００の動作モードに関する設定を格納したモードテーブル１３０と、モードテーブル１３０における設定に応じて取得した原画像の振り分けを行うモード決定部１４０と、所定の画像を合成して合成画像を生成する画像合成部１５０と、所定の原画像を外挿補間して補間画像を生成する補間画像生成部１６０と、原画像と、合成画像や補間画像からなる再生用の画像データストリームを生成するストリーム生成部１７０を含む。画像合成部１５０は、所定の原画像や補間画像を、例えばαブレンディングにより合成して合成画像を生成する。
【００２１】
画像処理装置１００は三つの動作モードを有する。ユーザは図示しないモード入力部を介して、自己の選択したモードを入力する。モードに関するユーザの選択はモードテーブル１３０に格納される。各動作モードの違いにより、画像処理装置１００が最終的に生成するデータストリームの内容が変わってくる。具体的な差異点の詳細は以下に述べていくが、いずれのモードにおいても、画像処理装置１００がシーンチェンジを含む原画像列に基づいて、画質を向上した再生用のデータストリームを生成するという点においては区別がない。従って、どのモードを設定するかは、ユーザが例えば再生されたデータストリームの見た目の嗜好等に応じて定めればよい。
【００２２】
第１のモードは、合成画像モードともいうべきモードであり、ストリーム生成部１７０は最終的にシーンチェンジ前後の原画像の合成画像を含む再生用データストリームを生成する。第２のモードは補間画像モードともいうべきモードであり、シーンチェンジ直前の２枚の原画像を用いて補間画像生成し、これを含んだ再生用データストリームを生成する。第３のモードは複合モードである。すなわち、シーンチェンジ直前の２枚の原画像に基づく補間画像と、シーンチェンジ直後の２枚の原画像に基づく補間画像とを合成し、生成された合成画像を含む再生用データストリームが生成される。
【００２３】
第１のモードでは、まず入力部１１０が取得した原画像は検出部１２０に送られる。検出部１２０はシーンチェンジを挟む原画像のペアを検出し、どの原画像の間にシーンチェンジがあるかを示す情報（以下「シーンチェンジ情報」と呼ぶ）と原画像とをモード決定部１４０とストリーム生成部１７０のそれぞれに送る。モード決定部１４０は、モードテーブル１３０を参照して、動作モードを確認する。ここでは、現在第１のモードが設定されており、その場合モード決定部は１４０は、シーンチェンジ情報に基づいてシーンチェンジを挟む原画像の対を画像合成部１５０に送る。
【００２４】
画像合成部１５０は、モード決定部１４０から受け取った原画像の対にαブレンディングを施し、所定数の合成画像を生成する。生成した合成画像はストリーム生成部１７０に送られる。ストリーム生成部１７０は、原画像、シーンチェンジ情報、合成画像に基づいて動画再生用のデータストリームを生成する。この、データストリームでは、シーンチェンジを挟む原画像の間に、原画像の表示間隔より短い表示間隔で合成画像が挿入されている。
【００２５】
図２は、図１の入力部１１０が取得する原画像を示す図である。１秒間に３０枚のレートで動画像として表示される原画像をＫＦｉと表記する（ｉは非負整数）。同図ではＫＦ２２とＫＦ２３の間にシーンチェンジがあることが示されている。Ｔｓ（ｓは非負数）は各画像の表示タイミングを示す。すなわちＴ０はＫＦ０の表示タイミングを示し、ＴｓとＴｓ＋１の間には１／３０秒の差がある。例えばＫＦ１５の表示タイミングＴ１５はＴ０から０．５秒後、ＫＦ３０の表示タイミングＴ３０はＴ０から１秒後となる。
【００２６】
図３は、図２の原画像列に基づいて、画像処理装置１００の第１のモードにより、ストリーム生成部１７０が生成するデータストリームの構造を示す図である。図２同様、原画像をＫＦｉで表す。さらに合成画像をＣＦｊで表す（ｊは非負整数）。また、各画像の表示タイミングを示す情報として、画像の直後にＴｓが付される。Ｔｓの意味については図２と同様である。このデータストリームは、ＫＦ０、ＫＦ１・・・ＫＦ２２をそれぞれＴ０、Ｔ１、Ｔ２２のタイミングで表示すべきことと、シーンチェンジを挟むＫＦ２２とＫＦ２３の間では、合成画像であるＣＦ１、ＣＦ２、・・・ＣＦ９がそれぞれＴ２２．１、Ｔ２２．２、・・・Ｔ２２．９のタイミングで表示されるべきことを示している。つまり、ストリーム生成部１７０は、合成画像の表示間隔が原画像のそれよりも短くなっているデータストリームを生成する。
【００２７】
図４は、図３のデータストリームを再生した場合の画像列を示す図である。同図では、シーンチェンジを挟む原画像であるＫＦ２２とＫＦ２３の間では、合成画像であるＣＦ１乃至ＣＦ１０が、原画像の表示間隔の１０分の１の表示間隔で表示されることが示されている。これを、毎秒３０枚を超す画像の再生能力を持つハイフレームレートのディスプレイ等で再生することで、シーンチェンジ前後に合成画像が多数表示されるため、ＫＦ２２とＫＦ２３の画像間の差が大きいことに起因するユーザの見た目上の画像の断絶感を緩和でき、シーンチェンジを含む動画像の再生品質が向上する。
【００２８】
本実施形態に係る画像処理装置１００の、第２のモードにおいては、入力部１１０及び検出部１２０の動作は第１の動作モードと同様である。モード決定部１４０がモードテーブル１３０を参照した結果、第２の動作モードであると判定された場合、モード決定部１４０はシーンチェンジの直前の２枚の原画像と補間画像生成部１６０に送る。
【００２９】
補間画像生成部１６０は、シーンチェンジの直前の２枚の原画像を時間軸の順方向に外挿補間して所定数の補間画像を生成し、ストリーム生成部１７０へ送る。ストリーム生成部１７０は、原画像、シーンチェンジ情報、補間画像に基づいて動画再生用のデータストリームを生成する。この、データストリームでは、シーンチェンジを挟む原画像の間に、原画像の表示間隔より短い表示間隔で外挿補間画像が挿入されている。
【００３０】
図５は図２の原画像列に基づいて、本実施例の画像処理装置１００の第２の動作モードで生成されるデータストリームの構造を示す図である。図３との違いのみ説明する。図５では、補間画像をＥＦｋ（ｋは非負整数）で表す。図５に示すように、ストリーム生成部１７０は、図３の合成画像ＣＦ１、・・・ＣＦ９に代えて、補間画像ＥＦ１、・・・ＥＦ９が、シーンチェンジを挟むＫＦ２２とＫＦ２３の間に、ＫＦｉの表示間隔より短い間隔で挿入されたデータストリームを生成する。従って、第２の動作モードによって生成されたデータストリームを再生した画像は、図４に示した第１の動作モードに係る再生画像列の、合成画像を補間画像で置き換えたものとなる。これをハイフレームレートの機器で再生すれば、シーンチェンジの前後に補間画像が多数挿入されて表示され、第１の動作モード同様、動画像の見た目の画質を向上できる。なお、この第２の動作モードにおいては、シーンチェンジ直前の原画像ではなく、直後の原画像２枚に基づいて外挿補間画像を生成してもよい。
【００３１】
本実施形態に係る画像処理装置１００の、第３のモードにおいても、入力部１１０および検出部１２０の動作は上記第１のモード及び第２のモードと同様である。モード決定部１４０は、モードテーブル１３０を参照し、第３の動作モードであることを確認すると、シーンチェンジの直前にある２枚の原画像と直後にある２枚の原画像とを補間画像生成部１６０へ送る。
【００３２】
補間画像生成部１６０は、シーンチェンジの直前の２枚の原画像を時間軸の順方向に外挿補間して所定数の補間画像を生成し、また、シーンチェンジ直後の２枚の原画像を時間軸の逆方向に外挿補間して所定数の補間画像を生成する。これらの補間画像は画像合成部１５０に送られる。画像合成部１５０は、シーンチェンジ前の原画像に基づいた補間画像と、シーンチェンジ後の原画像に基づいた補間画像のうち時間的に対応するもの同士を、αブレンディングにより合成して合成画像を生成する。生成した合成画像はストリーム生成部１７０へ送られる。ストリーム生成部１７０は、原画像、シーンチェンジ情報、合成画像に基づいて、図３に示す第１のモードによるデータストリームと同様のデータストリームを生成する。ただし、この第３のモードにおいては、合成画像の生成の方法が第１のモードと異なるのは上述の通りである。このデータストリームに基づいて動画像を再生すれば、シーンチェンジを挟むキーフレーム間に合成画像を挿入して表示できるため、第１および第２のモードと同様の視覚上の効果が得られる。
【００３３】
以上の構成に基づく画像処理装置１００の動作を説明する。図６は、第１の実施形態における画像処理装置１００の動作を示すフローチャートの一例である。入力部１１０は原画像を取得する（Ｓ１０）。シーンチェンジ検出部１２０は、シーンチェンジを検出し（Ｓ１２）、原画像とシーンチェンジ情報をモード決定部１４０およびストリーム生成部１７０に送る（Ｓ１４）。モード決定部１４０は、モードテーブル１３０を参照して、第１の動作モードの場合はシーンチェンジを挟む２枚の原画像を画像合成部１５０に送り、画像合成部１５０が合成画像を生成する（Ｓ１６の１、Ｓ１８）。第２の動作モードの場合は、シーンチェンジ直前の２枚の原画像を補間画像生成部１６０に送り、補間画像生成部１６０が補間画像を生成する（Ｓ１６の２、Ｓ２０）。第３の動作モードの場合は、シーンチェンジ直前の２枚の原画像および直後の２枚の原画像をそれぞれ補間画像生成部１６０へ送り、それぞれの画像対から補間画像を生成する（Ｓ１６の３、Ｓ２２）。それらの補間画像は画像合成部１５０に送られ合成画像が生成される（Ｓ２４）。ストリーム生成部１７０は、シーンチェンジ検出部１２０から受け取った原画像とシーンチェンジ情報及び画像合成部１５０から受け取った合成画像もしくは補間画像生成部１６０から受け取った補間画像を利用してデータストリームを生成する（Ｓ２６）。
【００３４】
（実施形態２）
本発明の他の実施形態である画像処理装置は、毎秒３０フレームの動画から０．５秒おきの間隔で抽出したフレームを原画像として取得し、その各原画像間の対応情報ファイルを生成する構成を備える。これにより例えばネットワークを介した伝送に適するように動画データを圧縮しつつ、一方で、シーンチェンジ時の画像の断絶感の緩和をはかる。もとになる動画と抽出される原画像の表示間隔の関係は当然上記には限定されない。
【００３５】
図７は第２の実施形態における画像処理装置２００の構成を示す図である。本実施形態の画像処理装置２００は、図１に示した第１の実施形態の画像処理装置１００に加えて対応情報データ生成部２１０を備える。対応情報データ生成部は隣接する原画像間のマッチング計算を行い、原画像間の対応点に関するデータを生成する。対応情報データの生成には、本願出願人が特許第２９２７３５０号で開示する、画素同士の対応関係を取得する手法を用いるのが好適であるが、それに限られない。その他の構成については、図１の画像処理装置１００と図７の画像処理装置２００の間に差異がないため説明は省略する。
【００３６】
第２の実施形態に係る画像処理装置２００も、第１の実施形態に係る画像処理装置１００と同様の三つの動作モードを有する。まず、第１の動作モードにおいては、入力部１１０は毎秒３０フレームの動画から０．５秒おきに抽出されたフレームを原画像として取得する。シーンチェンジ検出部１２０はこれら原画像からシーンチェンジを検出し、原画像とシーンチェンジ情報を対応情報データ生成部２１０とモード決定部１４０とに送る。モード決定部１４０はモードテーブル１３０を参照し、第１の動作モードを確認するとシーンチェンジ前後の原画像を画像合成部１５０へと送る。画像合成部１５０はαブレンディングによりこれらの受け取った原画像から所定数の合成画像を生成し、ストリーム生成部１７０へと送る。
【００３７】
一方、対応情報データ生成部２１０では、検出部１２０から受け取った原画像の対応情報データを生成する。ただし、シーンチェンジ情報に基づき、シーンチェンジを挟む２枚の原画像についてはマッチング計算をスキップし、対応情報データを生成しない。後述するとおり、対応情報データは、原画像間の中間画像を生成して動画を再生するために用いられるが、シーンチェンジを挟む原画像について、対応情報データを利用して中間画像を生成すれば、意図しないモーフィングのような画像を生成することとなり、所期の動画再生の妨げとなるためである。対応情報データ生成部２１０が生成した対応情報データ、各原画像およびシーンチェンジ情報はその後ストリーム生成部１７０へと送られる。
【００３８】
ストリーム生成部１７０は、画像合成部１５０から受け取った合成画像および対応情報データ生成部２１０から受け取った対応情報データ、原画像、シーンチェンジ情報を利用して、動画再生用のデータストリームを生成する。データストリームの構造については後述する。
【００３９】
図８は、第２の実施形態の画像処理装置２００に入力される原画像を模式的に示す図である。既述の通り、本実施形態においては、毎秒３０フレームの動画から０．５秒おきに抽出したフレームを原画像とする。すなわち、図２で言えば、ＫＦ０、ＫＦ１５、ＫＦ３０・・・に相当する画像が原画像として入力される。図８はその様子を示し、ＫＦ１５とＫＦ３０の間にシーンチェンジが存在するものとする。画像に付されるＴｓの意味は図２と同様である。
【００４０】
図９は、図８の原画像に基づいて画像処理装置２００の第１の動作モードによってストリーム生成部１７０が生成するデータストリームの構造を示す。第１の動作モードでは、ストリーム生成部１７０は、原画像と、シーンチェンジを挟まない原画像間の対応点情報と、シーンチェンジを挟む画像間に挿入される合成画像からなるデータストリームを生成する。
【００４１】
図９において、ＫＦｉ、ＣＦｊ、Ｔｓについては図３と同様である。また、ＫＦｉとＫＦｉ＋αの対応情報データをＭｉ，ｉ＋αで示す。同図のとおり、それぞれＴ０、Ｔ１５のタイミングで表示されるＫＦ０、ＫＦ１５にそれらの間の対応情報データＭ０，１５が続いている。後述するが、対応情報データＭ０，１５は、ＫＦ０とＫＦ１５の間の中間画像を生成するために用いられる。その後に１４枚の合成画像ＣＦ１、ＣＦ２、・・・ＣＦ１４と、それぞれの表示タイミングであるＴ１６、Ｔ１７、・・・Ｔ２９が交互に続く。さらに、その後にＫＦ３０とその表示タイミングＴ３０，ＫＦ４５とＴ４５、ＫＦ３０とＫＦ４５の間の対応情報データＭ３０，４５が配されている。なお、ストリーム生成部１７０の生成するデータストリームは、その内容が原画像、対応点情報、合成画像からなるものであれば、配列の順番については必ずしも図９の通りである必要はない。
【００４２】
図１０は、図９のデータストリームに基づいて再生される動画の画像列を示す図である。なお、動画再生に当たっては、対応情報データを利用し、原画像を補間して原画像間の中間画像を生成するための構成を備える動画再生装置等が必要となる。中間画像はＩＦｌ（ｌは非負整数）で表す。ＫＦｉ、ＣＦｊ、Ｔｓの意味については図８等と同様である。
【００４３】
図１０は、ＫＦ０がＴ０のタイミングで表示され、ＩＦ１乃至ＩＦ１４がＴ１乃至Ｔ１４のタイミングで表示されることを示す。その後、ＫＦ１５がＴ１５のタイミングで表示され、シーンチェンジを挟むため中間画像の生成されないＫＦ１５とＫＦ３０の間については、合成画像であるＣＦ１乃至ＣＦ１４がＴ１６乃至Ｔ２９のタイミングで表示される。つまり、毎秒３０フレームのレートで、ＫＦ０、ＩＦ１、ＩＦ２、・・・ＩＦ１４、ＫＦ１５、ＣＦ１、ＣＦ２、・・・ＣＦ１４、ＫＦ３０・・・という順番で画像が再生される。
【００４４】
以上の画像処理装置２００によれば、動画から抽出した原画像と、対応情報データ、合成画像のみを含むデータストリームを伝送し、受信側で、オリジナル同様の動画を再生することが可能となり、動画像データ量の圧縮効果が著しい。その一方で、不自然なマッチングを回避すべき、シーンチェンジ前後の原画像間については、合成画像を挿入することで、シーンチェンジにより生じる動画再生時の違和感を軽減することもできる。特に、マッチングをスキップして中間画像の生成を行わない場合、間に何の画像も挿入しなければシーンチェンジによる断絶感は一層大きくなるが、合成画像の挿入によりそれを回避できる。なお、データストリームを受け取る側が合成画像生成部に相当する構成を備えていれば、データストリームに合成画像を含めて送信する代わりに、単に合成画像を生成する命令のみを含めてもよい。これにより伝送データの圧縮率を向上させられる。データを受け取って再生する側で、シーンチェンジ前後に合成画像を表示できるため、画質も維持できる。
【００４５】
第２の実施形態に係る画像処理装置２００の第２の動作モードにおいて、入力部１１０、検出部１２０および対応情報データ生成部２１０の動作は、第１の動作モードと同様である。モード決定部１４０はモードテーブル１３０を参照し、第２の動作モードを確認すると、シーンチェンジ直前の２枚の原画像を補間画像生成部１６０へ送る。補間画像生成部１６０は受け取った原画像を時間軸の順方向に外挿補間して所定数の補間画像を生成し、ストリーム生成部１７０へと送る。
【００４６】
ストリーム生成部１７０は、補間画像生成部１６０から受け取った補間画像および対応情報データ生成部２１０から受け取った対応情報データ、原画像、シーンチェンジ情報を利用して、動画再生用のデータストリームを生成する。
【００４７】
図１１は、図第２の実施形態に係る画像処理装置２００が、第２の動作モードで生成するデータストリームの構造を示す図である。図９との違いのみ説明する。図１１では、補間画像をＥＦｋ（ｋは非負整数）で表す。すなわち、図９の合成画像ＣＦ１、・・・ＣＦ１４に代えて、図１１では、補間画像ＥＦ１、・・・ＥＦ１４が、Ｍ０，１５とＫＦ３０の間に挿入されている。これを再生すれば、図１０に示した第１の動作モードに係る再生画像列の、合成画像を補間画像で置き換えたものが得られ、第１の動作モードと同様の効果が生ずる。なお、この第２の動作モードにおいては、シーンチェンジ直前の原画像ではなく、直後の原画像２枚に基づいて外挿補間画像を生成してもよい。
【００４８】
第２の実施形態に係る画像処理装置２００の、第３の動作モードにおいても、入力部１１０、検出部１２０および対応情報データ生成部２１０の動作は上記第１のモード及び第２のモードと同様である。モード決定部１４０は、モードテーブル１３０を参照し、第３の動作モードであることを確認すると、シーンチェンジの直前にある２枚の原画像と直後にある２枚の原画像とを補間画像生成部１６０へ送る。
【００４９】
補間画像生成部１６０は、シーンチェンジの直前の２枚の原画像を時間軸の順方向に外挿補間して所定数の補間画像を生成し、また、シーンチェンジ直後の２枚の原画像を時間軸の逆方向に外挿補間して所定数の補間画像を生成する。これらの補間画像は画像合成部１５０に送られる。画像合成部１５０は、シーンチェンジ前の原画像に基づいた補間画像と、シーンチェンジ後の原画像に基づいた補間画像のうち時間的に対応するもの同士を、αブレンディングにより合成して合成画像を生成する。生成した合成画像はストリーム生成部１７０へ送られる。ストリーム生成部１７０は、補間画像生成部１６０から受け取った補間画像および対応情報データ生成部２１０から受け取った対応情報データ、原画像、シーンチェンジ情報を利用して、図９に示す第１の動作モードによるデータストリームと同様のデータストリームを生成する。ただし、この第３の動作モードにおいては、合成画像の生成の方法が第１のモードと異なるのは既述の通りである。このデータストリームに基づいて動画像を再生すれば、図１０に示した、第１の動作モードによる再生画像列と同様の画像が得られ、第１および第２のモードと同様の効果を生ずる。
【００５０】
以上第２の実施実施形態では、毎秒３０フレームの表示能力を有するディスプレイで再生するための動画ストリームを生成すべく、生成する中間画像や合成画像、補間画像の表示タイミングもそのように設定されているが、ハイフレームレート対応のディスプレイ等での再生が可能な環境にあれば、これらの画像の生成枚数を増加させ、表示間隔を短くしてより高品質の動画をえることも可能である。
【図面の簡単な説明】
【００５１】
【図１】本発明の一実施形態に係る画像処理装置の構成図である。
【図２】図１の画像処理装置が取得する原画像を示す図である。
【図３】図１の画像処理装置が生成するデータストリームを示す図である。
【図４】図３のデータストリームに基づいて再生された画像を示す図である。
【図５】図１の画像処理装置が生成する別のデータストリームを示す図である。
【図６】図１の画像処理装置の処理を示すフローチャートである。
【図７】本発明の別の実施形態に係る画像処理装置の構成図である。
【図８】図７の画像処理装置が取得する原画像を示す図である。
【図９】図７の画像処理装置が生成するデータストリームを示す図である。
【図１０】図９のデータストリームに基づいて再生された画像を示す図である。
【図１１】図７の画像処理装置が生成する別のデータストリームを示す図である。
【符号の説明】
【００５２】
１００、２００  画像処理装置、  １１０  入力部、  １２０  シーンチェンジ検出部、  １３０  モードテーブル、  １４０  モード決定部、  １５０  画像合成部、  １６０  補間画像生成部、  １７０  ストリーム生成部１７０、  ２１０  対応情報データ生成部。
【図１】
2006197256.tif 000003
【図２】
2006197256.tif 000004
【図３】
2006197256.tif 000005
【図４】
2006197256.tif 000006
【図５】
2006197256.tif 000007
【図６】
2006197256.tif 000008
【図７】
2006197256.tif 000009
【図８】
2006197256.tif 000010
【図９】
2006197256.tif 000011
【図１０】
2006197256.tif 000012
【図１１】
2006197256.tif 000013