(57)【要約】【課題】再生画像の画質向上を図る。【解決手段】再生装置１０は、取得部１１と、復号部１２と、合成部１３と、を含む。取得部１１は、原画像データに互いに異なる変換処理を行って生成された第１の画像データおよび第２の画像データの少なくとも一方に、非可逆な符号化を行って生成された第１の符号化データおよび第２の符号化データを含む伝送情報を取得する。復号部１２は、前記第１の符号化データおよび前記第２の符号化データを復号し、第１の復号データおよび第２の復号データを生成する。合成部１３は、第１の復号データと第２の復号データとの画素位置が互いに一致するように変換し、合成して再生画像データを生成する。【選択図】図５
2016076758.tif 000002
【特許請求の範囲】
【請求項１】
原画像データに互いに異なる変換処理を行って生成された第１の画像データおよび第２の画像データの少なくとも一方に、非可逆な符号化を行って生成された第１の符号化データおよび第２の符号化データを含む伝送情報を取得する取得部と、
前記第１の符号化データおよび前記第２の符号化データを復号し、第１の復号データおよび第２の復号データを生成する復号部と、
前記第１の復号データと前記第２の復号データとの画素位置が互いに一致するように変換し、合成して再生画像データを生成する合成部と、
を備える再生装置。
【請求項２】
前記合成部は、
前記第１の復号データおよび前記第２の復号データの少なくとも一方に、前記変換処理および前記変換処理の逆変換処理の少なくとも一方を行うことによって、前記第１の復号データと前記第２の復号データとの画素位置が互いに一致するように変換する、請求項１に記載の再生装置。
【請求項３】
前記取得部は、
前記第１の符号化データおよび前記第２の符号化データの各々に行われた前記変換処理を示す変換情報をさらに含む補助情報と、を含む前記伝送情報を取得し、
前記合成部は、
前記変換情報に基づいて、前記第１の復号データおよび前記第２の復号データの少なくとも一方に、前記変換処理および前記変換処理の逆変換処理の少なくとも一方を行うことによって、前記第１の復号データと前記第２の復号データとの画素位置が互いに一致するように変換する、請求項１に記載の再生装置。
【請求項４】
前記変換処理および前記逆変換処理は、切出、縮小、拡大、回転、反転、画素移動、画素値変換、の少なくとも１つである、請求項１に記載の再生装置。
【請求項５】
前記補助情報は、重み付け係数を含み、
前記合成部は、
前記第１の復号データと前記第２の復号データとの画素位置が互いに一致するように変換し、前記重み付け係数を用いて、画素位置が互いに一致するように変換された前記第１の復号データの画素値と前記第２の復号データの画素値との重み付け平均値を合成後の各画素の画素値とした前記再生画像データを生成する、
請求項３に記載の再生装置。
【請求項６】
前記合成部は、前記第１の復号データと前記第２の復号データとの画素位置が互いに一致するように変換し、画素位置が互いに一致するように変換された前記第１の復号データに含まれる各画素の画素値と前記第２の復号データに含まれる各画素の画素値との中間値を、合成後の各画素の画素値とした前記再生画像データを生成する、
請求項１に記載の再生装置。
【請求項７】
原画像データに互いに異なる変換処理を行い、前記原画像データを第１の画像データおよび第２の画像データに変換する変換部と、
前記第１の画像データおよび前記第２の画像データの少なくとも一方に、非可逆な符号化を行い、第１の符号化データおよび第２の符号化データを生成する符号化部と、
前記第１の符号化データおよび前記第２の符号化データを含む伝送情報を出力する出力部と、
を備える符号化装置。
【請求項８】
前記符号化部は、
互いに異なる符号化方式で前記第１の画像データおよび前記第２の画像データを符号化する、請求項７に記載の符号化装置。
【請求項９】
前記変換処理を示す変換情報を含む補助情報を生成する生成部を備え、
前記出力部は、前記第１の符号化データ、前記第２の符号化データ、および前記補助情報を含む前記伝送情報を出力する、
請求項７に記載の符号化装置。
【請求項１０】
前記変換部は、前記原画像データに互いに異なる非可逆の前記変換処理を行い、前記原画像データを前記第１の画像データおよび前記第２の画像データに変換する、請求項７に記載の符号化装置。
【請求項１１】
原画像データに互いに異なる変換処理を行って生成された第１の画像データおよび第２の画像データの少なくとも一方に、非可逆な符号化を行って生成された第１の符号化データおよび第２の符号化データを含む伝送情報を取得するステップと、
前記第１の符号化データおよび前記第２の符号化データを復号し、第１の復号データおよび第２の復号データを生成するステップと、
前記第１の復号データと前記第２の復号データとの画素位置が互いに一致するように変換し、合成して再生画像データを生成するステップと、
を含む再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、再生装置、符号化装置、および再生方法に関する。
【背景技術】
【０００２】
符号化データをセグメントファイルに分割し、ダウンロードするファイルを伝送状態や回線速度などに応じて切り替えて配信する、アダプティブストリーミングが知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１３−５０９８１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来では、符号化歪の異なるファイルを連続して再生することとなり、再生画像の画質劣化が生じていた。
【０００５】
本発明が解決しようとする課題は、再生画像の画質向上を図ることができる、再生装置、符号化装置、および再生方法を提供することである。
【課題を解決するための手段】
【０００６】
実施形態の再生装置は、取得部と、復号部と、合成部と、を備える。取得部は、原画像データに互いに異なる変換処理を行って生成された第１の画像データおよび第２の画像データの少なくとも一方に、非可逆な符号化を行って生成された第１の符号化データおよび第２の符号化データを含む伝送情報を取得する。復号部は、前記第１の符号化データおよび前記第２の符号化データを復号し、第１の復号データおよび第２の復号データを生成する。合成部は、前記第１の復号データと前記第２の復号データとの画素位置が互いに一致するように変換し、合成して再生画像データを生成する。
【図面の簡単な説明】
【０００７】
【図１】実施の形態の符号化装置の模式図。
【図２】変換部の模式図。
【図３】切出の説明図。
【図４】符号化処理の手順を示すフローチャート。
【図５】再生装置の機能的構成を示す模式図。
【図６】合成部の模式図。
【図７】再生処理の手順を示すフローチャート。
【図８】変換部の模式図。
【図９】合成部の模式図。
【図１０】変換部の模式図。
【図１１】合成部の模式図。
【図１２】合成部の模式図。
【図１３】画像再生システムの機能的構成を示す図。
【図１４】ハードウェア構成を示すブロック図。
【発明を実施するための形態】
【０００８】
（第１の実施の形態）
−符号化装置−
図１は、本実施の形態の符号化装置２０の機能的構成を示す模式図である。
【０００９】
符号化装置２０は、原画像データを符号化する。原画像データは、動画像データである。
【００１０】
符号化装置２０は、変換部２１と、符号化部２２と、生成部２３と、出力部２４と、を含む。変換部２１、符号化部２２、生成部２３、および出力部２４の一部またはすべては、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
【００１１】
変換部２１は、原画像データに互いに異なる変換処理を行い、原画像データを第１の画像データおよび第２の画像データに変換する。すなわち、第１の画像データと、第２の画像データは、原画像データに異なる変換処理を行うことによって得られたデータである。なお、第１の画像データおよび第２の画像データの一方を、原画像データとしてもよい。また、変換部２１は、原画像データに異なる変換処理を行うことで、２種類の入力画像データ（第１の画像データ、第２の画像データ）を生成してもよい。
【００１２】
また、変換部２１は、原画像データに施した変換処理を示す変換情報を生成部２３へ出力する。
【００１３】
変換処理は、可逆な公知の変換処理であってもよいし、非可逆な公知の変換処理であってもよい。非可逆な変換処理は、変換と逆変換によって完全に元に戻らない変換処理を含む。
【００１４】
変換処理は、例えば、切出、縮小、拡大、回転、反転、画素移動、および画素値変換、の少なくとも１つである。
【００１５】
切出は、原画像データの一部を切り出す処理である。具体的には、原画像データの各フレームの一部を切り出す処理である。回転は、原画像データの各フレームの画像を所定方向（例えば、時計回り、反時計回り）に所定角度回転させる処理である。反転は、原画像データの各フレームの画像を反転させる処理である。画素移動は、原画像データの各フレームの画素の画素位置を左右または上下方向にＭ画素（Ｍは整数）ずらす処理である。
【００１６】
画素値変換は、色変換（例えば、ＲＧＢ系の色空間をＣＭＹＫの色空間へ変換する色変換）や、ガンマ変換、ウェーブレット（Ｗａｖｅｌｅｔ）変換、ＢＴ．２０２０をＢＴ．７０９に変換する色空間変換、画素ビット長の１０ビットから８ビットに縮退する変換処理、などである。
【００１７】
なお、原画像データにおける、変換処理対象の信号は、輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ全体でもよいし、色差信号Ｃｂ、Ｃｒのみでもよい。また、原画像データの色形式は限定されず、ＲＧＢ、ＹＵＶなどの何れであってもよい。
【００１８】
本実施の形態では、変換部２１は、変換処理として切出を行う場合を、一例として説明する。
【００１９】
図２は、符号化装置２０における変換部２１の模式図である。図２に示す例では、変換部２１は、切出部３０を含む。本実施の形態では、変換部２１は、原画像データを、第１の画像データとして符号化部２２へ出力する。また、変換部２１の切出部３０は、原画像データから各フレームの一部を切り出す切出を行ない、切出した画像データを、第２の画像データとして符号化部２２へ出力する。また、切出部３０は、切出し時の切出条件を示す情報を、変換情報として、生成部２３へ出力する。切出条件は、原画像データの各フレームにおける切出し開始位置、および大きさを含む。
【００２０】
図３は、切出部３０による切出の説明図である。図３における外側の長方形は、原画像データの各フレームＰを表し、図３における左上の頂点を原点（０，０）とする座標系を有する。切出部３０は、原画像データの各フレームＰ内における、座標（ｘ，ｙ）で表される切出位置ＰＡ１を開始位置とする、予め定めた大きさの領域（図３中、ｗｉｄｔｈ、ｈｉｇｈｔで表される領域）ＰＡを切り出す。そして、切出部３０は、原画像データのフレーム毎に切出した領域ＰＡからなる画像データを、第２の画像データとして符号化部２２へ出力する。
【００２１】
図２に戻り、変換部２１は、切出部３０によって原画像データから切出された第２の画像データを符号化部２２へ出力する。また、変換部２１は、原画像データを第１の画像データとして符号化部２２へ出力する。また、変換部２１は、変換情報を生成部２３へ出力する。本実施の形態では、変換情報は、各フレームにおける切出位置（ｘ，ｙ）と、切出領域の大きさと、を含む。なお、切出領域の大きさを示す情報は、第２の画像データのシステム情報に含ませ、変換情報は、切出領域の大きさを示す情報を含まない形態であってもよい。
【００２２】
ここで、ＪＰＥＧ、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣといった一般的な画像符号化方式においては、１６×１６画素単位といった２のべき乗のブロック単位に符号化処理が行われる。また、同じく変換処理も、４×４画素、８×８画素といった２のべき乗のブロック単位のため、符号化歪が、これらの単位で生じる傾向がある。
【００２３】
そこで、変換部２１の切出部３０は、原画像データにおける第２の画像データの切出位置（ｘ，ｙ）を、これらのブロック単位からずらして切出すことが好ましい。この処理により、後述する再生装置側で符号化歪を打ち消すことができる。
【００２４】
具体的には、原画像データの色差フォーマットが、４：２：０フォーマットであったとする。この場合、二つの色差信号Ｃｂ、Ｃｒは、輝度信号Ｙの縦、横とも半分の画素数しかない。このため、この場合、切出部３０は、例えば、原画像データからの切出位置（ｘ，ｙ）のｘ，ｙの値を４Ｎ+２（Ｎ＞＝０の整数）とすればよい。
【００２５】
原画像データの色差フォーマットが、４：２：２フォーマットであったとする。この場合、二つの色差信号Ｃｂ、Ｃｒは、輝度信号Ｙの横に半分の画素になる。このため、この場合、切出部３０は、切出位置（ｘ，ｙ）におけるｘを４Ｎ+２（Ｎ＞＝０の整数）とし、ｙを２Ｎ+１（Ｎ＞＝０の整数）とすればよい。
【００２６】
また、原画像データの色差フォーマットが４：４：４フォーマットであったとする。この場合、二つの色差信号Ｃｂ、Ｃｒは、輝度信号と同じ画素数になる、このため、この場合、切出部３０は、切出位置（ｘ，ｙ）のｘ，ｙの値を、２Ｎ+１（Ｎ＞＝０の整数）とすればよい。
【００２７】
なお、本実施の形態では、変換部２１は、原画像データを、第１の画像データとして符号化部２２へ出力し、原画像データに対して切出を行うことによって切出した画像データを、第２の画像データとして符号化部２２へ出力する場合を説明する。しかし、変換部２１は、原画像データに対して、互いに異なる変換処理を行うことによって、原画像データを第１の画像データおよび第２の画像データに変換すればよい。このため、変換部２１は、原画像データを第１の画像データとして出力する形態に限定されず、原画像データに、第２の画像データとは異なる変換処理を施して第１の画像データとして出力してもよい。
【００２８】
図１に戻り、符号化部２２は、変換部２１から第１の画像データを受け付ける。また、符号化部２２は、変換部２１から第２の画像データを受け付ける。符号化部２２は、第１の画像データおよび第２の画像データの少なくとも一方に、非可逆な符号化を行い、第１の符号化データおよび第２の符号化データを生成する。
【００２９】
本実施の形態では、符号化部２２は、第１の符号化部２５と、第２の符号化部２６と、を含む。第１の符号化部２５および第２の符号化部２６は、同じ符号化方式を用いた符号化を行ってもよいし、異なる符号化方式を用いた符号化を行ってもよい。但し、第１の符号化部２５および第２の符号化部２６の少なくとも一方は、非可逆な符号化を行う。
【００３０】
第１の符号化部２５および第２の符号化部２６の行う符号化方式は、公知の符号化方式であり、限定されない。符号化部２２（第１の符号化部２５、第２の符号化部２６）の行う符号化方式は、例えば、ＪＰＥＧ、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化方式である。
【００３１】
なお、異なる符号化方式とは、符号化条件が異なる場合を含む。例えば、符号化部２２は、符号化データの内部に記述されるパラメータを変更することで、異なる符号化条件の符号化データ（第１の符号化データ、第２の符号化データ）を生成してもよい。
【００３２】
例えば、第１の符号化データと第２の符号化データの符号化フレームレートが異なっていてもよい。
【００３３】
ここで、動画像符号化方式においては、ランダムアクセス性を実現するために、時間的、周期的にイントラフレームを挿入する符号化構造が取られる。このため、符号化部２２は、イントラフレームが挿入される位置や周期を変えることで、符号化方式の異なる第１の符号化データと第２の符号化データを生成してもよい。
【００３４】
また、動画像符号化方式においては、時間的に過去と未来の双方から予測を行うことが可能な双方向予測フレームが用いられる場合もある。このため、符号化部２２は、その時の双方向予測のフレームの枚数や双方向予測フレームの時間的な位置を異なるものとすることによって、符号化方式の異なる第１の符号化データと第２の符号化データとを生成してもよい。
【００３５】
さらに、Ｈ．２６４／ＡＶＣやＨ．２６５／ＨＥＶＣといったより柔軟な参照画像間の予測構造をとれる符号化方式においては、階層Ｂ構造や階層Ｐ構造と言われるような参照、非参照の符号化画像と量子化パラメータの重み付けによって、符号化効率を向上させることができる。このため、符号化部２２は、異なる階層構造を用いたり、時間的な階層構造や周期を異なるものとすることによって、符号化方式の異なる第１の符号化データと第２の符号化データとを生成してもよい。
【００３６】
なお、符号化部２２は、１つの符号化方式を用いるのみではなく、複数の符号化方式を組み合わせて用いても良い。
【００３７】
第１の符号化部２５は、変換部２１から受け付けた第１の画像データを符号化し、第１の符号化データを生成する。また、第１の符号化部２５は、第１の符号化データの復号時に用いる第１の画質情報を生成部２３へ出力する。第１の画質情報は、例えば、第１の符号化部２５が符号化時に生成した局部復号画像と第１の画像データとの標準偏差情報などを含む。
【００３８】
第２の符号化部２６は、変換部２１から受け付けた第２の画像データを符号化し、第２の符号化データを生成する。また、第２の符号化部２６は、第２の符号化データの復号時に用いる第２の画質情報を生成部２３へ出力する。第２の画質情報は、例えば、第２の符号化部２６が符号化時に生成した局部復号画像と第２の画像データとの標準偏差情報などを含む。
【００３９】
なお、本実施の形態では、変換部２１は、原画像データに互いに異なる変換処理を行うことによって、２種類の入力画像データ（第１の画像データ、第２の画像データ）を出力する場合を説明する。
【００４０】
しかし、変換部２１は、原画像データに互いに異なる変換処理を行うことによって、３種類以上の入力画像データを符号化部２２へ出力してもよい。
【００４１】
この場合には、符号化部２２は、受け付けた入力画像データの種類の数に応じた符号化部を含む構成とすればよい。例えば、変換部２１から受け付けた入力画像データが３種類である場合には、符号化部２２は、３つの符号化部（第１の符号化部２５、第２の符号化部２６、および第３の符号化部（図示省略）を備えた構成とすればよい。
【００４２】
生成部２３は、変換部２１から変換情報を受け付ける。また、生成部２３は、第１の符号化部２５から第１の画質情報を受け付ける。また、生成部２３は、第２の符号化部２６から第２の画質情報を受け付ける。
【００４３】
生成部２３は、補助情報を生成し、出力部２４へ出力する。補助情報は、後述する再生装置における再生画像データの生成時に用いる情報である。本実施の形態では、補助情報は、変換情報と、合成情報と、を含む。
【００４４】
なお、補助情報は、少なくとも変換情報を含む情報であればよく、合成情報を含まない形態であってもよい。すなわち、後述する再生装置側で、合成情報を符号化データ（第１の符号化データ、第２の符号化データ）などから取得または算出できる場合には、補助情報は、合成情報を含まない形態であってもよい。
【００４５】
合成情報は、後述する再生装置における、第１の復号データと第２の復号データとの合成時に必要な情報である。再生装置が行う合成は、詳細は後述するが、第１の復号データと第２の復号データとの画素位置が一致するように変換し合成する処理である。
【００４６】
合成情報は、具体的には、重み付け係数または重み付け係数の算出に用いる量子化パラメータなどを含む。
【００４７】
重み付け係数は、第１の復号データと第２の復号データとの合成時に用いる。具体的には、重み付け係数は、第１の復号データの各画素の画素値と、第２の復号データの対応する各画素位置の各画素の画素値と、の合成時に、各画素の画素値に与える重み付け係数である。
【００４８】
生成部２３は、例えば、式（１）〜式（４）を用いて重み付け係数Ｗを算出する。
【００４９】
【数１】
2016076758.tif 000003
【００５０】
式（１）〜式（４）中、ｄ１は、第１の符号化部２５が符号化時に生成した局部復号信号である。ｄｏｒｇ１は、第１の画像データである。σ１は、第１の符号化部２５が生成した第１の画質情報で、第１の符号化データの符号化歪の標準偏差を示す。ｄ２は、第２の符号化部２６が符号化時に生成した局部復号信号である。ｄｏｒｇ２は、第２の画像データである。σ２は、第２の符号化部２６が生成した第２の画質情報で第２の符号化データの符号化歪の標準偏差を示す。
【００５１】
また、式（１）〜式（４）中、ｄ（ｘ，ｙ）は、重み付け平均値となる再生画像信号を示す。第１引数が、水平方向の画素位置を示し、第２引数が、垂直方向の画素位置を示す。ｗは、水平方向の画像サイズ、ｈは垂直方向の画像サイズを示す。
【００５２】
式（２）に示すように、生成部２３は、二つの標準偏差の二乗、つまり分散（σ１2、σ２2）の逆数の比によって、重み付け係数Ｗを算出する。これは、原画像データを画像変換および符号化した符号化データ（第１の符号化データ、第２の符号化データ）の誤差である符号化歪が、ガウス分布であると仮定し、これらを復号した第１の復号データおよび第２の復号データの誤差分布をそれぞれの分散で正規化して平均することで、誤差の削減を狙ったためである。
【００５３】
なお、上述したように、符号化部２２が３種類以上の入力画像データを受け付け、符号化部２２が３つ以上の符号化部（第１の符号化部２５、第２の符号化部２６、第ｉの符号化部（ｉは整数））を含む場合には、生成部２３は、式（５）〜式（６）を用いて重み付け係数Ｗおよび重み付け平均値ｄを算出すればよい。
【００５４】
【数２】
2016076758.tif 000004
【００５５】
式（５）〜式（６）中、ｄ（ｘ，ｙ）は、重み付け平均値となる再生画像信号を示す。ｄｉは、符号化部２２に含まれる第ｉ番目の復号符号部が生成した局部復号信号である。ｉは、１以上の整数である。σiは、第ｉ番目の符号化部が生成した符号化データを復号した復号データと、原画像データと、の標準偏差を示す。
【００５６】
なお、生成部２３は、他の方式により重み付け係数Ｗを算出してもよい。
【００５７】
ここで、Ｈ．２６４／ＡＶＣやＨ．２６５／ＨＥＶＣの量子化器の設計では、量子化パラメータとＰＳＮＲ（歪率）とが比例関係になることが知られている。この場合、原画像データと復号データとの標準偏差を求める必要がない。
【００５８】
このため、生成部２３は、符号化部２２による符号化方式がＨ．２６４／ＡＶＣやＨ．２６５／ＨＥＶＣである場合には、式（７）および式（８）を用いて、重み付け係数Ｗを算出する。
【００５９】
【数３】
2016076758.tif 000005
【００６０】
式（７）および式（８）中、ＱＰｉは、第ｉ番目の符号化部の量子化パラメータを示す。Ｗｉは、重み付け係数を示す。αは、原画像データに依存する変数である。
【００６１】
この場合、生成部２３は、重み付け係数と、変数αと、を合成情報として生成すればよい。なお、量子化パラメータＱＰｉは、符号化データに含まれる情報のため、合成情報に含める必要はない。また、量子化パラメータＱＰｉが、複数の符号化部（第１の符号化部２５、第２の符号化部２６、第ｉの符号化部）で同一である場合、重み係数は同一になるため、合成情報に含める必要はない。
【００６２】
なお、重み付け係数Ｗは、後述する再生装置側で算出してもよい。この場合には、例えば、上記式（７）および式（８）等を用いて、再生装置側で重み付け係数を算出してもよい。
【００６３】
出力部２４は、符号化部２２から第１の符号化データ、および第２の符号化データを受け付ける。出力部２４は、生成部２３から補助情報を受け付ける。
【００６４】
出力部２４は、伝送情報を再生装置へ出力する。伝送情報は、第１の符号化データと、第２の符号化データと、を少なくとも含む。なお、上述したように、符号化部２２が３つ以上の符号化部を含む場合には、出力部２４は、３つ以上の符号化データを受け付ける。この場合には、符号化部２２は、これらの３つ以上の符号化データを少なくとも含む伝送情報を出力する。
【００６５】
伝送情報は、更に、補助情報を含んでいてもよい。
【００６６】
図４は、符号化装置２０が実行する符号化処理の手順を示すフローチャートである。
【００６７】
まず、変換部２１が、原画像データに互いに異なる変換処理を行い、第１の画像データおよび第２の画像データに変換する（ステップＳ１００）。次に、符号化部２２が、第１の画像データおよび第２の画像データの各々を符号化し、第１の符号化データおよび第２の符号化データを生成する（ステップＳ１０２）。
【００６８】
次に、生成部２３が、補助情報を生成する（ステップＳ１０４）。次に、出力部２４が、第１の符号化データ、および第２の符号化データを少なくとも含む伝送情報を生成する（ステップＳ１０６）。そして、出力部２４は、伝送情報を出力し（ステップＳ１０８）、本ルーチンを終了する。
【００６９】
−再生装置−
図５は、本実施の形態の再生装置１０の機能的構成を示す模式図である。
【００７０】
再生装置１０は、符号化装置２０から伝送情報を受け付け、再生画像データを生成し、再生する。
【００７１】
再生装置１０は、取得部１１と、復号部１２と、合成部１３と、補助情報復号部１６と、を含む。取得部１１、復号部１２、合成部１３、および補助情報復号部１６の一部またはすべては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
【００７２】
取得部１１は、符号化装置２０から伝送情報を取得する。上述したように、伝送情報は、第１の符号化データおよび第２の符号化データを少なくとも含む。また、伝送情報は、更に、補助情報を含んでいてもよい。
【００７３】
上述したように、第１の符号化データおよび第２の符号化データは、原画像データに互いに異なる変換処理を行って生成された第１の画像データおよび第２の画像データの少なくとも一方に、非可逆な符号化を行って生成されたデータである。
【００７４】
取得部１１は、ＩＳＯベースファイルフォーマットやＭＰＥＧ−２  ＴＳ等のシステム情報を復号し、伝送情報から第１の符号化データおよび第２の符号化データを取り出す。そして、取得部１１は、第１の符号化データおよび第２の符号化データを復号部１２へ出力する。
【００７５】
また、取得部１１は、受け付けた伝送情報に補助情報が含まれる場合には、補助情報を補助情報復号部１６へ出力する。
【００７６】
復号部１２は、第１の符号化データおよび第２の符号化データを復号し、第１の復号データおよび第２の復号データを生成する。
【００７７】
復号部１２は、第１の復号部１４、および第２の復号部１５を含む。
【００７８】
第１の復号部１４は、第１の符号化データを復号し、第１の復号データを生成する。第１の復号部１４は、第１の復号データを合成部１３へ出力する。第２の復号部１５は、第２の符号化データを復号し、第２の復号データを生成する。第２の復号部１５は、第２の復号データを合成部１３へ出力する。
【００７９】
なお、第１の復号部１４は、第１の符号化データが、原画像データを第１の画像データとし、該第１の画像データを符号化したデータである場合、復号した第１の復号データを、更に、外部（公知の表示装置など）へ出力してもよい。
【００８０】
なお、本実施の形態では、伝送情報に含まれる符号化データは、第１の符号化データ、および第２の符号化データ、の２種類である場合を説明する。
【００８１】
しかし、伝送情報に含まれる符号化データは、３種類以上であってもよい。この場合には、復号部１２は、伝送情報に含まれる符号化データの種類の数に応じた復号部を含む構成とすればよい。伝送情報に３種類の符号化データが含まれる場合には、復号部１２は、３つの復号部（第１の復号部１４、第２の復号部１５、第３の復号部（図示省略））を備えた構成とすればよい。
【００８２】
補助情報復号部１６は、取得部１１から補助情報を受け付ける。補助情報復号部１６は、補助情報に含まれる、変換情報と、合成情報と、を合成部１３へ出力する。なお、補助情報が符号化されている場合には、補助情報復号部１６は、補助情報を復号し、復号した補助情報に含まれる、変換情報と、合成情報と、を合成部１３へ出力する。
【００８３】
合成部１３は、第１の復号データと第２の復号データとの画素位置が互いに一致するように変換し、合成して再生画像データを生成する。
【００８４】
合成部１３は、第１の復号データと第２の復号データとの画素位置が互いに一致するように変換（変換処理）し、合成して再生画像データを生成する。この変換処理（変換）は、符号化装置２０で、該第１の復号データおよび第２の復号データに対応する原画像データに施された変換処理を示す。
【００８５】
上述したように、変換処理は、非可逆な変換処理である。また、上述したように、変換処理は、例えば、切出、縮小、拡大、回転、反転、画素移動、フォーマット変換処理、および画素値変換、の少なくとも１つである。
【００８６】
本実施の形態では、第１の復号データおよび第２の復号データに対応する原画像データに施された変換処理が切出である場合を、一例として説明する。
【００８７】
図６は、再生装置１０における合成部１３の模式図である。図６に示す例では、合成部１３は、切出部１５０と、加算部１６０と、を含む。
【００８８】
切出部１５０は、補助情報復号部１６から受け付けた補助情報に含まれる変換情報を読取る。例えば、変換情報が、切出し時の切出条件を示す情報（原画像データの各フレームにおける切出し開始位置、および大きさ）を含むとする。この場合、切出部１５０は、第１の復号データの各フレームから、読取った切出し開始位置および大きさの画像を切り出す。切出部１５０は、この切出した画像データを、変換処理を施した第１の復号データとして用いる。この処理により、切出部１５０は、第１の復号データと第２の復号データとの画素位置が互いに一致するように変換する。
【００８９】
加算部１６０は、第２の復号データと、切出部１５０が変換処理を施した第１の復号データと、を合成し、再生画像データを生成する。
【００９０】
詳細には、合成部１３の加算部１６０は、重み付け係数Ｗを用いて、画素位置が互いに一致するように変換された第１の復号データの画素値と第２の復号データの画素値との重み付け平均値を合成後の各画素の画素値とした、再生画像データを生成する。
【００９１】
更に詳細には、加算部１６０は、第２の復号データと、切出部１５０が変換処理を施した第１の復号データと、合成情報に含まれる重み付け係数Ｗと、を用いて、画素位置が互いに一致するように変換された第１の復号データの画素値と第２の復号データの画素値との重み付け平均値を合成後の各画素の画素値とした、再生画像データを生成する。
【００９２】
具体的には、加算部１６０は、切出部１５０で変換処理された（切出された）第１の復号データの各画素位置の画素の画素値に重み付け係数Ｗを乗算した値と、第２の復号データの対応する各画素位置の画素の画素値に「１−Ｗ」を乗算した値と、の重み付け平均値を、合成後の各画素の画素値とした、再生画像データを生成する。なお、重み付け係数Ｗは、０以上１以下の実数である。また、上記「１−Ｗ」のＷは、重み付け係数Ｗである。
【００９３】
そして、合成部１３は、生成した再生画像データを出力する。
【００９４】
なお、合成部１３は、第１の復号データと第２の復号データとの画素位置が互いに一致するように変換し、画素位置が互いに一致するように変換された第１の復号データに含まれる各画素の画素値と第２の復号データに含まれる各画素の画素値との中間値を、合成後の各画素の画素値とした再生画像データを生成してもよい。
【００９５】
具体的には、合成部１３の加算部１６０は、切出部１５０で変換処理された（切出された）第１の復号データの各画素位置の画素の画素値と、第２の復号データの対応する各画素位置の画素の画素値と、の各画素位置の画素毎の画素値の平均値（中間値）を、合成後の各画素の画素値とした再生画像データを生成してもよい。
【００９６】
なお、合成部１３の加算部１６０による加算方法としては、重み付け平均値や単純平均値を用いる以外に、ロバスト推定値と呼ばれる手法を適用してもよい。例えば、加算部１６０は、切出部１５０で変換処理された（切出された）第１の復号データの各画素位置の画素の画素値と、第２の復号データの対応する各画素位置の画素の画素値と、の中央値（サンプル数が奇数なら真ん中の値、偶数なら真ん中の二つの平均）を用いてもよい。
【００９７】
次に、再生装置１０が実行する再生処理の手順を説明する。図７は、再生装置１０が実行する再生処理の手順を示すフローチャートである。
【００９８】
まず、取得部１１が、符号化装置２０から伝送情報を取得する（ステップＳ２００）。復号部１２は、第１の符号化データおよび第２の符号化データを復号し、第１の復号データおよび第２の復号データを生成する（ステップＳ２０２）。
【００９９】
次に、合成部１３が、第１の復号データと第２の復号データとの画素位置が互いに一致するように変換し、合成して再生画像データを生成する（ステップＳ２０４）。そして、本ルーチンを終了する。
【０１００】
以上説明したように、本実施の形態では、符号化装置２０は、変換部２１と、符号化部２２と、出力部２４と、を備える。変換部２１は、原画像データに互いに異なる変換処理を行い、原画像データを第１の画像データおよび第２の画像データに変換する。符号化部２２は、第１の画像データおよび第２の画像データの少なくとも一方に、非可逆な符号化を行い、第１の符号化データおよび第２の符号化データを生成する。出力部２４は、第１の符号化データおよび第２の符号化データを含む伝送情報を出力する。
【０１０１】
このように、第１の符号化データおよび第２の符号化データは、少なくとも一方を非可逆な符号化を行って生成された符号化データである。また、第１の符号化データおよび第２の符号化データの、符号化前のデータである第１の画像データおよび第２の画像データは、同じ原画像データに、異なる変換処理を施すことによって生成された画像データである。
【０１０２】
ここで、非可逆な符号化には、符号化歪が生じることが知られている。このため、第１の符号化データと第２の符号化データには、異なる符号化歪が生じる。本実施の形態では、符号化装置２０は、同じ原画像データから生成した、これらの異なる符号化歪の生じた第１の符号化データと第２の符号化データとを含む伝送情報を再生装置１０へ出力する。
【０１０３】
このため、符号化装置２０は、画質向上した再生画像データを生成可能な、伝送情報を生成することができる。従って、本実施の形態の符号化装置２０は、再生画像の画質向上を図ることができる。
【０１０４】
また、本実施の形態の再生装置１０は、取得部１１と、復号部１２と、合成部１３と、を含む。取得部１１は、原画像データに互いに異なる変換処理を行って生成された第１の画像データおよび第２の画像データの少なくとも一方に、非可逆な符号化を行って生成された第１の符号化データおよび第２の符号化データを含む伝送情報を取得する。復号部１２は、第１の符号化データおよび第２の符号化データを復号し、第１の復号データおよび第２の復号データを生成する。合成部１３は、第１の復号データと第２の復号データとの画素位置が互いに一致するように変換し、合成して再生画像データを生成する。
【０１０５】
このように、再生装置１０は、同じ原画像データから生成した、異なる符号化歪の生じた第１の符号化データと第２の符号化データとを含む伝送情報を取得する。そして、合成部１３は、これらの符号化データを復号した第１の復号データと前記第２の復号データとの画素位置が互いに一致するように変換し、合成して再生画像データを生成する。
【０１０６】
このように、再生装置１０は、異なる符号化歪を含む第１の復号データと第２の復号データとを合成することで、符号化歪を除去し、画質向上した再生画像データを生成することができる。
【０１０７】
従って、本実施の形態の再生装置１０は、再生画像データの画質向上を図ることができる。
【０１０８】
（第２の実施の形態）
本実施の形態では、変換処理が縮小である場合を説明する。
【０１０９】
−符号化装置−
図１は、本実施の形態の符号化装置２０Ａの機能的構成を示す模式図である。
【０１１０】
符号化装置２０Ａは、原画像データを符号化する。符号化装置２０Ａは、変換部２１Ａと、符号化部２２と、生成部２３と、出力部２４と、を含む。変換部２１Ａ、符号化部２２、生成部２３、および出力部２４の一部またはすべては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
【０１１１】
符号化装置２０Ａは、変換部２１に代えて変換部２１Ａを備えた以外は、符号化装置２０と同様の構成である。
【０１１２】
変換部２１Ａは、変換部２１と同様に、原画像データに互いに異なる変換処理を行い、原画像データを第１の画像データおよび第２の画像データに変換する。すなわち、第１の画像データと、第２の画像データは、原画像データに異なる変換処理を行うことによって得られたデータである。なお、第１の画像データおよび第２の画像データの一方を、原画像データとしてもよい。また、変換部２１Ａは、原画像データに異なる変換処理を行うことで、２種類の入力画像データ（第１の画像データ、第２の画像データ）を生成してもよい。
【０１１３】
本実施の形態では、変換部２１Ａは、変換処理として縮小を行う場合を、一例として説明する。
【０１１４】
図８は、符号化装置２０Ａにおける変換部２１Ａの模式図である。図８に示す例では、変換部２１Ａは、縮小部３０Ａを含む。本実施の形態では、変換部２１Ａは、原画像データを、第１の画像データとして符号化部２２へ出力する。また、変換部２１Ａの縮小部３０Ａは、原画像データの画像サイズを縮小し、第２の画像データとして符号化部２２へ出力する。
【０１１５】
なお、原画像データにおける縮小対象は、輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ全体でもよいし、色差信号Ｃｂ、Ｃｒのみでもよい。
【０１１６】
また、変換部２１Ａは、画像サイズの縮小率を変換情報として、生成部２３へ出力する。符号化部２２、生成部２３、および出力部２４の処理は、第１の実施の形態と同様である。
【０１１７】
すなわち、符号化装置２０Ａの符号化部２２が、第１の画像データおよび第２の画像データを符号化し第１の符号化データおよび第２の符号化データを生成する。次に、生成部２３が、補助情報を生成する。次に、出力部２４が、第１の符号化データおよび第２の符号化データを少なくとも含む伝送情報を生成する。そして、出力部２４は、伝送情報を出力する。
【０１１８】
−再生装置−
図５は、本実施の形態の再生装置１０Ａの機能的構成を示す模式図である。
【０１１９】
再生装置１０Ａは、符号化装置２０Ａから伝送情報を受け付け、再生画像データを生成し、再生する。
【０１２０】
再生装置１０Ａは、取得部１１と、復号部１２と、合成部１３Ａと、補助情報復号部１６と、を含む。取得部１１、復号部１２、合成部１３Ａ、および補助情報復号部１６の一部またはすべては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
【０１２１】
再生装置１０Ａは、合成部１３に代えて合成部１３Ａを備えた以外は、第１の実施の形態の再生装置１０と同様の構成である。
【０１２２】
すなわち、再生装置１０Ａの取得部１１は、符号化装置２０Ａから伝送情報を取得する。そして、再生装置１０Ａの復号部１２は、伝送情報に含まれる第１の符号化データおよび第２の符号化データを復号し、第１の復号データおよび第２の復号データを生成する。そして、復号部１２は、第１の復号データおよび第２の復号データを合成部１３Ａへ出力する。また、合成部１３Ａは、補助情報復号部１６から、変換情報と、合成情報と、を受け付ける。
【０１２３】
合成部１３Ａは、合成部１３と同様に、第１の復号データと第２の復号データとの画素位置が互いに一致するように変換し、合成して再生画像データを生成する。
【０１２４】
本実施の形態では、第１の復号データおよび第２の復号データに対応する原画像データに施された変換処理が縮小である場合を、一例として説明する。
【０１２５】
図９は、再生装置１０Ａにおける合成部１３Ａの模式図である。図９に示す例では、合成部１３Ａは、拡大部１５０Ａと、加算部１６０Ａと、を含む。
【０１２６】
拡大部１５０Ａは、補助情報復号部１６から受け付けた補助情報に含まれる変換情報を読取る。例えば、変換情報が、縮小率を含むとする。この場合、拡大部１５０Ａは、第１符号化データおよび第２符号化データに対応する原画像データに施された変換処理の逆変換処理を行う。本実施の形態では、合成部１３Ａは、縮小の逆の拡大を行う。
【０１２７】
すなわち、合成部１３Ａの拡大部１５０Ａは、変換情報に含まれる縮小率から、該縮小率の逆の拡大率を算出する。そして、拡大部１５０Ａは、第２の復号データの画像サイズを、算出した拡大率で拡大する。拡大部１５０Ａは、この拡大した画像データを、逆変換処理を施した第２の復号データとして用いる。この処理により、拡大部１５０Ａは、第１の復号データと第２の復号データとの画素位置が互いに一致するように変換する。
【０１２８】
拡大部１５０Ａによる拡大対象は、第２の復号データの輝度信号Ｙ、色差信号Ｃｂ、Ｃｒ全体でもよいし、色差信号Ｃｂ、Ｃｒのみでもよい。また、第１の復号データおよび第１の復号データは、ＲＧＢデータであってもよい。
【０１２９】
なお、拡大部１５０Ａは、第１の復号データおよび第２の画像データの少なくとも一方に、拡大または縮小を行うことによって、第１の復号データと第２の復号データとの画素位置が一致するように変換してもよい。
【０１３０】
加算部１６０Ａは、拡大部１５０Ａが拡大を施した第２の復号データと、第１の復号データと、を合成し、再生画像データを生成する。
【０１３１】
詳細には、加算部１６０Ａは、第１の実施の形態の加算部１６０と同様に、合成情報に含まれる重み付け係数Ｗを用いて、画素位置が互いに一致するように変換された第１の復号データの画素値と第２の復号データの画素値との重み付け平均値を合成後の各画素の画素値とした、再生画像データを生成する。
【０１３２】
また、加算部１６０Ａは、第１の実施の形態の加算部１６０と同様に、画素位置が互いに一致するように変換された第１の復号データに含まれる各画素の画素値と第２の復号データに含まれる各画素の画素値との中間値や、平均値や、ロバスト推定値などを用いて、再生画像データを生成してもよい。
【０１３３】
以上説明したように、本実施の形態では、符号化装置２０Ａの変換部２１Ａは、変換処理として縮小を行う。また、再生装置１０Ａの合成部１３Ａ（拡大部１５０Ａ）は、第１の復号データおよび第２の画像データ少なくとも一方に、拡大または縮小を行うことによって、第１の復号データと第２の復号データとの画素位置が一致するように変換する。
【０１３４】
このように、変換処理として縮小を用いた場合についても、第１の実施の形態と同様に、符号化装置２０Ａは、画質向上した再生画像データを生成可能な、伝送情報を生成することができる。従って、本実施の形態の符号化装置２０Ａは、再生画像の画質向上を図ることができる。
【０１３５】
また、本実施の形態の再生装置１０Ａは、異なる符号化歪を含む第１の復号データと第２の復号データとを合成することで、符号化歪を除去し、画質向上した再生画像データを生成することができる。
【０１３６】
従って、本実施の形態の再生装置１０Ａは、再生画像データの画質向上を図ることができる。
【０１３７】
なお、本実施の形態では、符号化装置２０Ａの変換部２１Ａは、原画像データを第１の画像データとして出力し、原画像データを縮小して第２の画像データを生成する場合を説明した。しかし、変換部２１Ａは、原画像データに、異なる縮小条件による縮小を行うことによって、原画像データから第１の画像データと第２の画像データとを生成してもよい。
【０１３８】
また、本実施の形態では、再生装置１０Ａの合成部１３Ａが逆変換処理として第２の復号データを拡大する形態を説明した。しかし、合成部１３Ａは、第１の復号データおよび第２の復号データの双方に、逆変換処理または変換処理を行ってもよい。
【０１３９】
なお、本実施の形態では、符号化装置２０Ａの変換部２１Ａが変換処理として縮小を行い、再生装置１０Ａの合成部１３Ａが逆変換処理として拡大を行う形態を説明したが、変換部２１Ａは他の変換処理を行ってもよく、合成部１３Ａは該他の変換処理および他の逆変換処理の少なくとも一方を行ってもよい。
【０１４０】
例えば、符号化装置２０Ａの縮小部３０Ａは、縮小に代えて、原画像データを回転する回転を行ってもよい。例えば、縮小部３０Ａは、原画像データの各フレームの画像を時計回りに９０°、１８０°、または２７０°に回転する回転を行ってもよい。そして、縮小部３０Ａは、回転した原画像データを、第２の画像データとして出力してもよい。
【０１４１】
また、縮小部３０Ａは、変換情報として、回転角度および回転方向を出力すればよい。
【０１４２】
この場合、再生装置１０Ａの拡大部１５０Ａは、変換情報に基づいて、第２の復号データに該回転の逆の逆回転を行えばよい。例えば、拡大部１５０Ａは、第２の復号データの各フレームの画像を反時計回りに９０°、１８０°、または２７０°に回転する回転を行えばよい。
【０１４３】
また、符号化装置２０Ａの縮小部３０Ａは、縮小に代えて、原画像データの各フレームの画像を反転する反転を行ってもよい。例えば、縮小部３０Ａは、原画像データの各フレームの画像を、左右、上下、または上下左右に反転する反転を行ってもよい。そして、縮小部３０Ａは、反転した原画像データを、第２の画像データとして出力してもよい。また、縮小部３０Ａは、変換情報として、反転方向を出力すればよい。
【０１４４】
この場合、再生装置１０Ａの拡大部１５０Ａは、変換情報に基づいて、第２の復号データに該反転の逆の逆反転を行えばよい。例えば、拡大部１５０Ａは、第２の復号データの各フレームの画像を、逆の反転方向（左右、上下、または上下左右）に反転する反転を行えばよい。
【０１４５】
また、符号化装置２０Ａの縮小部３０Ａは、縮小に代えて、原画像データの各フレームの画素の画素位置を左右または上下方向にＭ画素（Ｍは整数）ずらす、画素移動を行ってもよい。この場合、縮小部３０Ａは、各フレームの外にはみ出した画素を、反対側に移動させればよい。
【０１４６】
すなわち、縮小部３０Ａは、各フレームの画素の画素位置を左右方向にずらす場合には、画面（フレーム）の水平方向の大きさをｗｉｄｔｈとし、水平方向の画素位置をｘとすると、（ｘ＋Ｍ＋ｗｉｄｔｈ）％ｗｉｄｔｈの位置にずらす。
【０１４７】
また、縮小部３０Ａは、各フレームの画素の画素位置を上下方向にずらす場合には、画面（フレーム）の垂直方向の大きさをｈｅｉｇｈｔとし、垂直方向の画素位置をｙとすると、（ｙ＋Ｍ＋ｈｅｉｇｈｔ）％ｈｅｉｇｈｔの位置にずらす。
【０１４８】
ここで、“％”は、除算により余りを求める整数演算を示す。
【０１４９】
この場合、再生装置１０Ａの拡大部１５０Ａは、縮小に代えて、ずらした画素位置を元に戻すために、画面（フレーム）上の画素を左右、あるいは上下方向に−Ｍ画素ずらす処理を行えばよい。この時、Ｍの値は、切出位置（図３参照）と同様に、符号化処理の単位とずらした値を用いることが好ましい。
【０１５０】
すなわち、原画像データの色差フォーマットが、４：２：０フォーマットであったとする。この場合、二つの色差信号Ｃｂ、Ｃｒは、輝度信号Ｙの縦、横とも半分の画素数しかない。このため、この場合、例えば、原画像データからずらす位置は、４Ｎ+２（Ｎ＞＝０の整数）とすればよい。
【０１５１】
原画像データの色差フォーマットが、４：２：２フォーマットであったとする。この場合、二つの色差信号Ｃｂ、Ｃｒは、輝度信号Ｙの横に半分の画素になる。このため、左右方向にずらす場合、原画像データからずらす位置は４Ｎ+２（Ｎ＞＝０の整数）とし、上下方向にずらす場合、原画像データからずらす位置は、２Ｎ+１（Ｎ＞＝０の整数）とすればよい。
【０１５２】
また、原画像データの色差フォーマットが４：４：４フォーマットであったとする。この場合、二つの色差信号Ｃｂ、Ｃｒは、輝度信号と同じ画素数になる、このため、この場合、左右方向にずらす場合、上下方向にずらす場合、ともに、原画像データからずらす位置は、２Ｎ+１（Ｎ＞＝０の整数）にしてもよい。
【０１５３】
また、拡大部１５０Ａは、符号化装置２０Ａの縮小部３０Ａに対応して、画素ビット長の伸長（例えば８ビットから１０ビットへの伸長）や、縮退（例えば、１０ビットから８ビットへの縮退）を行ってもよい。
【０１５４】
（第３の実施の形態）
本実施の形態では、変換処理が、ダウンサンプリング処理による縮小、色変換（例えば、ＲＧＢ系の色空間をＣＭＹＫの色空間へ変換する色変換）、ガンマ変換、ウェーブレット（Ｗａｖｅｌｅｔ）変換、ＢＴ．２０２０をＢＴ．７０９に変換する色空間変換、画素ビット長の１０ビットから８ビットに縮退する変換処理、などである場合を説明する。
【０１５５】
−符号化装置−
図１は、本実施の形態の符号化装置２０Ｂの機能的構成を示す模式図である。
【０１５６】
符号化装置２０Ｂは、原画像データを符号化する。符号化装置２０Ｂは、変換部２１Ｂと、符号化部２２と、生成部２３と、出力部２４と、を含む。変換部２１Ｂ、符号化部２２、生成部２３、および出力部２４の一部またはすべては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
【０１５７】
符号化装置２０Ｂは、変換部２１に代えて変換部２１Ｂを備えた以外は、符号化装置２０と同様の構成である。
【０１５８】
変換部２１Ｂは、変換部２１と同様に、原画像データに互いに異なる変換処理を行い、原画像データを第１の画像データおよび第２の画像データに変換する。すなわち、第１の画像データと、第２の画像データは、原画像データに異なる変換処理を行うことによって生成されたデータである。なお、第１の画像データおよび第２の画像データの一方を、原画像データとしてもよい。また、変換部２１Ｂは、原画像データに異なる変換処理を行うことで、２種類の入力画像データ（第１の画像データ、第２の画像データ）を生成してもよい。
【０１５９】
本実施の形態では、変換部２１Ｂは、変換処理として、Ｗａｖｅｌｅｔ変換、カラーガンマ変換、ＢＴ．２０２０をＢＴ．７０９に変換する色空間変換、および画素ビット長の１０ビットから８ビットへの縮退などの画素値変換や、ダウンサンプリング処理による縮小を行う場合を、一例として説明する。
【０１６０】
図１０は、符号化装置２０Ｂにおける変換部２１Ａの模式図である。図１０に示す例では、変換部２１Ｂは、変換処理部３０Ｂを含む。本実施の形態では、変換処理部３０Ｂは、原画像データを、第１の画像データとして符号化部２２へ出力する。また、変換部２１Ｂの変換処理部３０Ｂは、原画像データに、Ｗａｖｅｌｅｔ変換、カラーガンマ変換、ＢＴ．２０２０をＢＴ．７０９に変換する色空間変換、画素ビット長の１０ビットから８ビットに縮退する処理、およびダウンサンプリング処理による縮小の何れかの変換処理を行い、第２の画像データとして符号化部２２へ出力する。
【０１６１】
また、変換部２１Ｂは、変換処理部３０Ｂが行った変換処理を示す変換情報を、生成部２３へ出力する。符号化部２２、生成部２３、および出力部２４の処理は、第１の実施の形態と同様である。
【０１６２】
すなわち、符号化装置２０Ｂの符号化部２２が、第１の画像データおよび第２の画像データの各々を符号化し第１の符号化データおよび第２の符号化データを生成する。次に、生成部２３が、補助情報を生成する。次に、出力部２４が、第１の符号化データ、および第２の符号化データを少なくとも含む伝送情報を生成する。そして、出力部２４は、伝送情報を出力する。
【０１６３】
−再生装置−
図５は、本実施の形態の再生装置１０Ｂの機能的構成を示す模式図である。
【０１６４】
再生装置１０Ｂは、符号化装置２０Ｂから伝送情報を受け付け、再生画像データを生成し、再生する。
【０１６５】
再生装置１０Ｂは、取得部１１と、復号部１２と、合成部１３Ｂと、補助情報復号部１６と、を含む。取得部１１、復号部１２、合成部１３Ｂ、および補助情報復号部１６の一部またはすべては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
【０１６６】
再生装置１０Ｂは、合成部１３に代えて合成部１３Ｂを備えた以外は、第１の実施の形態の再生装置１０と同様の構成である。
【０１６７】
すなわち、再生装置１０Ｂの取得部１１は、符号化装置２０Ｂから伝送情報を取得する。そして、再生装置１０Ｂの復号部１２は、伝送情報に含まれる第１の符号化データおよび第２の符号化データを復号し、第１の復号データおよび第２の復号データを生成する。そして、復号部１２は、第１の復号データおよび第２の復号データを合成部１３Ｂへ出力する。また、合成部１３Ｂは、補助情報復号部１６から、変換情報と、合成情報と、を受け付ける。
【０１６８】
合成部１３Ｂは、合成部１３と同様に、第１の復号データと第２の復号データとの画素位置が互いに一致するように変換し、合成して再生画像データを生成する。
【０１６９】
本実施の形態では、第１の復号データおよび第２の復号データに対応する原画像データに施された変換処理が、Ｗａｖｅｌｅｔ変換、カラーガンマ変換、ＢＴ．２０２０をＢＴ．７０９に変換する色空間変換、画素ビット長の１０ビットから８ビットに縮退する処理、およびダウンサンプリング処理による縮小の何れかである場合を、一例として説明する。
【０１７０】
図１１は、再生装置１０Ｂにおける合成部１３Ｂの模式図である。図１１に示す例では、合成部１３Ｂは、変換処理部４０Ｂと、加算部４１Ｂと、逆変換処理部４２Ｂと、加算部４５Ｂと、逆変換処理部４３Ｂと、減算部４４Ｂと、を含む。
【０１７１】
合成部１３Ｂで受け付けた第１の復号データは、変換処理部４０Ｂおよび減算部４４Ｂに入力される。変換処理部４０Ｂは、符号化装置２０Ｂの変換処理部３０Ｂと同じ変換処理を行う。変換処理部４０Ｂは、変換処理した第１の復号データを、加算部４１Ｂおよび逆変換処理部４３Ｂへ出力する。
【０１７２】
逆変換処理部４３Ｂは、変換処理部４０Ｂから受け付けた、変換処理された第１の復号データに、変換処理部３０Ｂで行った変換処理とは逆の変換処理である逆変換処理を施し、減算部４４Ｂへ出力する。
【０１７３】
この逆変換処理は、変換処理部３０Ｂで行った変換処理の逆変換処理である。
【０１７４】
具体的には、符号化装置２０Ｂの変換処理部３０Ｂで原画像データに施した変換処理が、ダウンサンプリング処理による縮小であったとする。この場合、この変換処理の逆変換処理は、アップサンプリング処理による拡大である。
【０１７５】
また、符号化装置２０Ｂの変換処理部３０Ｂで原画像データに施した変換処理がカラーガンマ変換であったとする。この場合、この変換処理の逆変換処理は、逆カラーガンマ処理である。
【０１７６】
また、符号化装置２０Ｂの変換処理部３０Ｂで原画像データに施した変換処理がＢＴ．２０２０をＢＴ．７０９に変換する色空間変換であったとする。この場合、この変換処理の逆変換処理は、ＢＴ．７０９からＢＴ．２０２０に戻す色空間の逆変換処理である。
【０１７７】
また、符号化装置２０Ｂの変換処理部３０Ｂで原画像データに施した変換処理が、画素ビット長を１０ビットから８ビットに縮退する処理であったとする。この場合、この変換処理の逆変換処理は、画素ビット長を８ビットから１０ビットに伸長する処理である。
【０１７８】
減算部４４Ｂは、復号部１２から受け付けた第１の復号データと、逆変換処理部４３Ｂから受け付けた、変換処理、および逆変換処理を施された第１の復号データと、の差分をとり、加算部４５Ｂへ出力する。
【０１７９】
一方、加算部４１Ｂは、変換処理部４０Ｂから受け付けた、変換処理された第１の復号データと、復号部１２から受け付けた第２の復号データと、合成情報に含まれる重み付け係数Ｗと、を用いて、重み付け平均値を用いることにより、これらの復号データを合成し、逆変換処理部４２Ｂへ出力する。
【０１８０】
具体的には、加算部４１Ｂは、復号部１２から受け付けた第２の復号データの各画素位置の画素の画素値に重み付け係数Ｗを乗算した値と、変換処理された第１の復号データの対応する各画素位置の画素の画素値に「１−Ｗ」を乗算した値と、の重み付け平均値を、合成後の各画素の画素値とすることで、合成する。
【０１８１】
逆変換処理部４２Ｂは、加算部４１Ｂから受け付けた、重み付け平均した（合成された）復号データに、変換処理部３０Ｂで行った変換処理とは逆変換処理を施し、加算部４５Ｂへ出力する。
【０１８２】
加算部４５Ｂは、減算部４４Ｂから受け付けた差分と、逆変換処理部４２Ｂから受け付けた復号データと、を加算し、再生画像データを生成し、出力する。
【０１８３】
以上説明したように、本実施の形態の再生装置１０Ｂは、第１の復号画像データに、原画像データに施した変換処理と同じ変換処理を行い、第２の復号画像データとの重み付け平均を行う。また、第１の復号画像データと、変換処理を施した第１の復号画像データにさらに逆変換処理を施したものと、の差分をとる。そして、さらに、この差分と、重み付け平均と、を加算し、再生画像データを生成する。
【０１８４】
このため、本実施の形態の再生装置１０Ｂでは、上記実施の形態の効果に加えて更に、逆変換処理にともなう誤差を抑制することができる。このため、本実施の形態では、上記実施の形態の効果に加えて、再生画像データの更なる画質向上を図ることができる。
【０１８５】
（第４の実施の形態）
本実施の形態では、第３の実施の形態における再生装置１０Ｂに代えて、再生装置１０Ｃを用いる場合を説明する。
【０１８６】
−再生装置−
図５は、本実施の形態の再生装置１０Ｃの機能的構成を示す模式図である。
【０１８７】
再生装置１０Ｃは、符号化装置２０Ｂ（図５、図１０参照）から伝送情報を受け付け、再生画像データを生成し、再生する。
【０１８８】
再生装置１０Ｃは、取得部１１と、復号部１２と、合成部１３Ｃと、補助情報復号部１６と、を含む。取得部１１、復号部１２、合成部１３Ｃ、および補助情報復号部１６の一部またはすべては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
【０１８９】
再生装置１０Ｃは、合成部１３に代えて合成部１３Ｃを備えた以外は、第１の実施の形態の再生装置１０と同様の構成である。
【０１９０】
すなわち、再生装置１０Ｃの取得部１１は、符号化装置２０Ｂから伝送情報を取得する。そして、再生装置１０Ｃの復号部１２は、伝送情報に含まれる第１の符号化データおよび第２の符号化データを復号し、第１の復号データおよび第２の復号データを生成する。そして、復号部１２は、第１の復号データおよび第２の復号データを合成部１３Ｃへ出力する。また、合成部１３Ｃは、補助情報復号部１６から、変換情報と、合成情報と、を受け付ける。
【０１９１】
合成部１３Ｃは、合成部１３と同様に、第１の復号データと第２の復号データとの画素位置が互いに一致するように変換し、合成して再生画像データを生成する。
【０１９２】
本実施の形態では、第１の復号データおよび第２の復号データに対応する原画像データに施された変換処理が、Ｗａｖｅｌｅｔ変換である場合を、一例として説明する。
【０１９３】
図１２は、再生装置１０Ｃにおける合成部１３Ｃの模式図である。図１２に示す例では、合成部１３Ｃは、変換処理部４６Ｃと、加算部４７Ｃと、逆変換処理部４８Ｃと、を含む。
【０１９４】
変換処理部４６Ｃは、復号部１２から受け付けた第１の復号データを、合成情報を用いて、符号化装置２０Ｂで原画像データに施した変換処理と同じ二次元Ｗａｖｅｌｅｔ変換を行う。この変換処理によって、変換処理部４６Ｃは、第１の復号データを、ＬＬ（Ｌｏｗ−Ｌｏｗ）成分と、ＬＨ（Ｌｏｗ−Ｈｉｇｈ）成分と、ＨＨ（Ｈｉｇｈ−Ｈｉｇｈ）成分に分解し、ＬＬ成分を加算部４７Ｃへ出力し、ＬＨ成分、ＨＬ成分、ＨＨ成分を逆変換処理部４８Ｃへ出力する。
【０１９５】
加算部４７Ｃは、変換処理部４６Ｃから受け付けたＬＬ成分と、復号部１２から受け付けた第２の復号データと、合成情報に含まれる重み付け係数Ｗと、を用いて、重み付け平均を行い、逆変換処理部４８Ｃへ出力する。
【０１９６】
具体的には、加算部４７Ｃは、変換処理部４６Ｃから受け付けた変換処理された第１の復号データのＬＬ成分の各画素位置の画素の画素値に「１−Ｗ」（Ｗは重み付け係数）を乗算した値と、復号部１２から受け付けた第２の復号データの対応する各画素位置の画素の画素値に重み付け係数Ｗを乗算した値と、の重み付け平均を、逆変換処理部４８Ｃへ出力する。
【０１９７】
逆変換処理部４８Ｃは、加算部４７Ｃからの出力と、変換処理部４６Ｃから受け付けたＬＨ成分、ＨＬ成分、ＨＨ成分と、を入力として、逆Ｗａｖｅｌｅｔ変換を行い、再生画像データとして出力する。
【０１９８】
以上説明したように、本実施の形態の再生装置１０Ｂでは、原画像データに施す変換処理としてＷａｖｅｌｅｔ変換を行う。そして、再生装置１０Ｃでは、第１の復号データや第２の復号データに、原画像データに施した変換処理と同じＷａｖｅｌｅｔ変換や、該Ｗａｖｅｌｅｔ変換の逆Ｗａｖｅｌｅｔ変換などを行うことによって、再生画像データを生成する。
【０１９９】
Ｗａｖｅｌｅｔ変換は、ほぼ誤差なく変換処理、および逆変換処理が可能である。このため、本実施の形態の再生装置１０Ｃは、上記実施の形態の合成部１３Ｂ（図１１参照）の構成をとることなく、図１２に示す簡易な構成で、逆変換処理にともなう誤差を抑制することができる。このため、本実施の形態では、上記実施の形態の効果に加えて、再生画像データの更なる画質向上を図ることができる。
【０２００】
（第５の実施の形態）
本実施の形態では、画像再生システムを説明する。
【０２０１】
図１３は、本実施の形態の画像再生システム６０の機能的構成を示す図である。
【０２０２】
画像再生システム６０は、オーディオ・ビジュアルデータに関するアダプティブストリーミングシステムである。
【０２０３】
画像再生システム６０は、サーバ部６１と、クライアント部６２と、を備える。サーバ部６１とクライアント部６２とは、データや信号授受可能に接続されている。
【０２０４】
サーバ部６１は、原画像データとして、オーディオ・ビジュアルデータ等のマルチメディアデータを受け付け、この原画像データを符号化した符号化データとしてのストリーミングデータファイルと、ストリーミングデータファイルの構成に関する情報を記録した制御データファイルと、を出力する。
【０２０５】
サーバ部６１は、生成部６３と、第１蓄積部６４と、第２蓄積部６５と、を含む。生成部６３は、オーディオ・ビジュアルデータ等のマルチメディアデータを原画像データとして受け付ける。生成部６３は、上記実施の形態で説明した符号化装置２０、符号化装置２０Ａ、または符号化装置２０Ｂを含む。
【０２０６】
生成部６３は、受け付けた原画像データから、伝送情報および補助情報を生成する。生成部６３による伝送情報および補助情報の生成は、上記実施の形態で説明した、符号化装置２０、符号化装置２０Ａ、または符号化装置２０Ｂにより行う。生成部６３は、伝送情報を第１蓄積部６４へ出力し、補助情報を第２蓄積部６５へ出力する。
【０２０７】
第２蓄積部６５は、生成部６３から受け付けた補助情報を含む制御データを蓄積する。第２蓄積部６５は、クライアント部６２からの要求に応じて、この制御データを含む制御データファイルをクライアント部６２へ出力する。
【０２０８】
第１蓄積部６４は、生成部６３から受け付けた伝送情報を含むストリーミングデータを蓄積する。第１蓄積部６４は、クライアント部６２からの要求に応じて、ストリーミングデータを含むストリーミングデータファイルをクライアント部６２へ出力する。
【０２０９】
クライアント部６２は、サーバ部６１から制御データファイルをダウンロードし、サーバ部６１のストリーミングデータファイルにアクセスして、オーディオ・ビジュアルデータ等のマルチメディアデータを再生する。
【０２１０】
クライアント部６２は、受信部６６と、再生部６７と、受信制御部６８と、を含む。
【０２１１】
受信制御部６８は、制御データファイルをサーバ部６１からダウンロードし、ストリーミングデータファイルの構成を解析し、解析結果を受信部６６に送る。
【０２１２】
受信部６６は、受信制御部６８から受け付けた解析結果を元に、伝送状態と、再生部６７からの要求と、に基づいて、サーバ部６１にストリーミングデータファイルを要求する。そして、受信部６６は、サーバ部６１からダウンロードしたストリーミングデータを、再生部６７に出力する。
【０２１３】
再生部６７は、オーディオ・ビジュアルデータ等のマルチメディアデータを再生する。再生部６７は、上記実施の形態で説明した、再生装置１０、再生装置１０Ａ、再生装置１０Ｂ、または再生装置１０Ｃを含む。
【０２１４】
再生部６７は、ストリーミングデータファイルに含まれる伝送情報と、制御データファイルに含まれる補助情報を用いて、再生画像データを生成し、再生する。なお、再生画像データの生成は、再生装置１０、再生装置１０Ａ、再生装置１０Ｂ、または再生装置１０Ｃで行う。
【０２１５】
本実施の形態の画像再生システム６０は、サーバ部６１側に符号化装置２０、符号化装置２０Ａ、または符号化装置２０Ｂを備え、クライアント部６２側に、再生装置１０、再生装置１０Ａ、再生装置１０Ｂ、または再生装置１０Ｃを備える。
【０２１６】
従って、本実施の形態の画像再生システム６０では、再生画像データの画質向上を図ることができる。
【０２１７】
（第６の実施の形態）
本実施の形態では、上記実施の形態で説明した、再生装置１０、再生装置１０Ａ、再生装置１０Ｂ、再生装置１０Ｃ、符号化装置２０、符号化装置２０Ａ、符号化装置２０Ｂ、サーバ部６１、およびクライアント部６２のハードウェア構成について説明する。図１４は、再生装置１０、再生装置１０Ａ、再生装置１０Ｂ、再生装置１０Ｃ、符号化装置２０、符号化装置２０Ａ、符号化装置２０Ｂ、サーバ部６１、およびクライアント部６２のハードウェア構成を示すブロック図である。
【０２１８】
再生装置１０、再生装置１０Ａ、再生装置１０Ｂ、再生装置１０Ｃ、符号化装置２０、符号化装置２０Ａ、符号化装置２０Ｂ、サーバ部６１、およびクライアント部６２は、通信インタフェース（ＩＦ）８３、ＣＰＵ８０、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）８１、及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）８２等がバス８４により相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。
【０２１９】
ＣＰＵ８０は、再生装置１０、再生装置１０Ａ、再生装置１０Ｂ、再生装置１０Ｃ、符号化装置２０、符号化装置２０Ａ、符号化装置２０Ｂ、サーバ部６１、およびクライアント部６２の各々における、全体の処理を制御する演算装置である。ＲＡＭ８２は、ＣＰＵ８０による各種処理に必要なデータを記憶する。ＲＯＭ８１は、ＣＰＵ８０による各種処理を実現するプログラム等を記憶する。通信インタフェース（ＩＦ）８３は、外部装置と通信回線を介して接続し、接続した外部装置との間でデータを送受信するためのインタフェースである。
【０２２０】
なお、再生装置１０、再生装置１０Ａ、再生装置１０Ｂ、再生装置１０Ｃ、符号化装置２０、符号化装置２０Ａ、符号化装置２０Ｂ、サーバ部６１、およびクライアント部６２で実行される処理を実行するためのプログラムは、ＲＯＭ８１等に予め組み込んで提供される。
【０２２１】
なお、再生装置１０、再生装置１０Ａ、再生装置１０Ｂ、再生装置１０Ｃ、符号化装置２０、符号化装置２０Ａ、符号化装置２０Ｂ、サーバ部６１、およびクライアント部６２で実行される処理を実行するためのプログラムは、再生装置１０、再生装置１０Ａ、再生装置１０Ｂ、再生装置１０Ｃ、符号化装置２０、符号化装置２０Ａ、符号化装置２０Ｂ、サーバ部６１、およびクライアント部６２にインストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供するように構成してもよい。
【０２２２】
また、再生装置１０、再生装置１０Ａ、再生装置１０Ｂ、再生装置１０Ｃ、符号化装置２０、符号化装置２０Ａ、符号化装置２０Ｂ、サーバ部６１、およびクライアント部６２で実行される処理を実行するためのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、再生装置１０、再生装置１０Ａ、再生装置１０Ｂ、再生装置１０Ｃ、符号化装置２０、符号化装置２０Ａ、符号化装置２０Ｂ、サーバ部６１、およびクライアント部６２で実行される処理を実行するためのプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。
【０２２３】
再生装置１０、再生装置１０Ａ、再生装置１０Ｂ、再生装置１０Ｃ、符号化装置２０、符号化装置２０Ａ、符号化装置２０Ｂ、サーバ部６１、およびクライアント部６２で実行される処理を実行するためのプログラムは、上述した各部を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ８０が、ＲＯＭ８１等から各種プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上述した機能構成が主記憶装置上に生成されるようになっている。
【０２２４】
以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変換を行うことができる。これらの実施の形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０２２５】
１０、１０Ａ、１０Ｂ、１０Ｃ  再生装置
１１  取得部
１２  復号部
１３、１３Ａ、１３Ｂ、１３Ｃ  合成部
１４  第１の復号部
１５  第２の復号部
２０、２０Ａ、２０Ｂ  符号化装置
２１、２１Ａ、２１Ｂ  変換部
２２  符号化部
２３  生成部
【図１】
2016076758.tif 000006
【図２】
2016076758.tif 000007
【図３】
2016076758.tif 000008
【図４】
2016076758.tif 000009
【図５】
2016076758.tif 000010
【図６】
2016076758.tif 000011
【図７】
2016076758.tif 000012
【図８】
2016076758.tif 000013
【図９】
2016076758.tif 000014
【図１０】
2016076758.tif 000015
【図１１】
2016076758.tif 000016
【図１２】
2016076758.tif 000017
【図１３】
2016076758.tif 000018
【図１４】
2016076758.tif 000019