(57)【特許請求の範囲】
【請求項１】
入力画像を複数に分割した部分領域毎の複雑さを示す複雑度と、前記複雑度を用いて、予め設定された空間方向又は時間方向の標本軸において前記入力画像を不等間隔で標本化した不等間隔標本化画像とが不等間隔標本化装置から入力されると共に、前記複雑度を用いて、前記不等間隔標本化画像から復元画像を復元する画像復元装置であって、
前記標本軸の方向に連続した全ての前記部分領域を通過する走査線毎に、前記複雑度から、予め設定された標本点の数だけ、前記複雑度が高い部分領域では標本点が多く、かつ、前記複雑度が低い部分領域では前記標本点が少なくなるように、前記復元画像における標本点の座標と前記不等間隔標本化画像における標本点の座標との対応関係を算出する対応関係算出手段と、
前記対応関係算出手段が算出した対応関係に基づいて、前記不等間隔標本化画像における標本点の座標に対応する画素の画素値を、前記復元画像における標本点の座標に対応する画素の画素値として、前記復元画像を復元する画像復元手段と、
を備え、
前記複雑度が電子透かしとして付加された前記不等間隔標本化画像が入力されると共に、当該不等間隔標本化画像から前記複雑度を検出する電子透かし検出手段をさらに備えることを特徴とする画像復元装置。
【請求項２】
入力画像を複数に分割した部分領域毎の複雑さを示す複雑度と、前記複雑度を用いて、予め設定された空間方向又は時間方向の標本軸において前記入力画像を不等間隔で標本化した不等間隔標本化画像とが不等間隔標本化装置から入力されると共に、前記複雑度を用いて、前記不等間隔標本化画像から復元画像を復元する画像復元装置であって、
前記標本軸の方向に連続した全ての前記部分領域を通過する走査線毎に、前記複雑度から、予め設定された標本点の数だけ、前記複雑度が高い部分領域では標本点が多く、かつ、前記複雑度が低い部分領域では前記標本点が少なくなるように、前記復元画像における標本点の座標と前記不等間隔標本化画像における標本点の座標との対応関係を算出する対応関係算出手段と、
前記対応関係算出手段が算出した対応関係に基づいて、前記不等間隔標本化画像における標本点の座標に対応する画素の画素値を、前記復元画像における標本点の座標に対応する画素の画素値として、前記復元画像を復元する画像復元手段と、
を備え、
前記不等間隔標本化装置から、前記入力画像を２以上の前記標本軸で標本化した不等間隔標本化画像と、前記標本軸毎に算出された複雑度とが入力され、
前記対応関係算出手段は、
前記標本軸毎に前記対応関係を、当該標本軸毎に算出された複雑度から算出する２以上の対応関係算出部と、
前記２以上の対応関係算出部が算出した対応関係を合成する対応関係合成部と、をさらに備え、
前記画像復元手段は、
前記対応関係合成部が合成した対応関係に基づいて、前記２以上の標本軸で標本化した不等間隔標本化画像から、前記復元画像を復元することを特徴とする画像復元装置。
【請求項３】
コンピュータを、請求項１又は請求項２に記載の画像復元装置として機能させるための画像復元プログラム。
【請求項４】
入力画像を複数に分割した部分領域毎の複雑さを示す複雑度と、前記複雑度を用いて、予め設定された空間方向又は時間方向の標本軸において前記入力画像を不等間隔で標本化した不等間隔標本化画像とが不等間隔標本化装置から入力されると共に、前記複雑度を用いて、前記不等間隔標本化画像から復元画像を復元する画像復元装置であって、
前記標本軸の方向に連続した全ての前記部分領域を通過する走査線毎に、前記複雑度から、予め設定された標本点の数だけ、前記複雑度が高い部分領域では標本点が多く、かつ、前記複雑度が低い部分領域では前記標本点が少なくなるように、前記復元画像における標本点の座標と前記不等間隔標本化画像における標本点の座標との対応関係を算出する対応関係算出手段と、
前記対応関係算出手段が算出した対応関係に基づいて、前記不等間隔標本化画像における標本点の座標に対応する画素の画素値を、前記復元画像における標本点の座標に対応する画素の画素値として、前記復元画像を復元する画像復元手段と、
を備える画像復元装置をｋ台直列に接続した多次元画像復元装置であって、
第１の画像復元装置は、前記不等間隔標本化画像としてｋ次元画像が入力されると共に、当該ｋ次元画像を、予め設定された空間方向又は時間方向の第１標本軸で復元し、
第ｋの画像復元装置は、第ｋ−１の不等間隔標本化装置によって復元された復元画像が入力されると共に、当該復元画像を、第ｋ標本軸の方向に復元することを特徴とする多次元画像復元装置（但し、ｋは２以上の整数）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像が複数に分割された部分領域毎の複雑さを示す複雑度を用いて、不等間隔で標本化された不等間隔標本化画像から復元画像を復元する技術に関する。
【背景技術】
【０００２】
従来から、画像の解像度を変換する技術として、最近傍法（ニアレストネイバー法）、双一次法（バイリニア法）、双三次法（バイキュービック法）等の補間処理に基づく技術が知られている。
【０００３】
また、解像度が低い低解像度画像を解像度が高い高解像度画像に変換する技術として、時間方向に各画素乃至ブロックの移動量を入力画像（低解像度画像）から推定し、推定された移動量と複数時点の画像群とに基づいて高解像度画像を生成する超解像技術がある（例えば、特許文献１，２参照）。
【０００４】
また、エッジ等の空間的な画像特徴を適応的に判断しつつ補間値を生成することで、線形補間よりも鮮鋭な画質の高解像度画像を生成する超解像技術がある（例えば、非特許文献１参照）。さらに、視覚的に重要な領域の解像度を損なわぬように、空間的に不均等な画像変形を行うseam carving法がある（例えば、非特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１２７２４１号公報（特許第３８３７５７５号公報）
【特許文献２】特開２００８−１０９３７５号公報
【非特許文献】
【０００６】
【非特許文献１】松本信幸、井田孝，“フレーム内再構成型超解像の領域適応処理による高画質化の検討，” 電子情報通信学会技術報告，Ｖｏｌ．１０８，  Ｎｏ．４，ｐｐ．３１−３６（２００８）．
【非特許文献２】Shai Avidan, Ariel Shamir,“Seam Carving for Content-Aware Image Resizing,”ACM Trans.Graph.26,3,10.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、前記した従来技術では、以下で述べるような様々な問題がある。
最近傍法、双一次法、双三次法等の補間処理に基づく技術を用いて、入力された高解像度画像を低解像度画像に変換し、この低解像度画像を高解像度画像にさらに再変換して出力した場合を考える。この場合、入力された高解像度画像に含まれていた画像情報の高周波成分、すなわち、細かい模様に関する情報が失われ、再変換した高解像度画像がぼけてしまう。
【０００８】
また、特許文献１，２及び非特許文献１に記載の超解像技術では、時間方向に各画素乃至ブロックの移動量を入力画像から推定し、画像特徴に応じた複雑な非線形演算により補間値を生成する必要があり、演算量が大きくなる。
【０００９】
また、非特許文献２に記載のseam carving法では、視覚的に重要な部分の解像度や形状を保持したまま非線形的な写像を行って画像サイズを変形するものであり、復元に必要な変形の度合等を記述する方法が与えられておらず、元の画像を復元することは考慮されていない。すなわち、非特許文献２に記載のseam carving法では、非線形な写像で変形されたものを復元するための逆写像が必要になるが、この非線形な逆写像の情報は、元の画像における全標本点の情報であるため、その情報量が大きくなるという問題がある。
【００１０】
そこで、本発明は、簡易な演算で、情報量が少ない変形パラメータを用いて、不等間隔標本化画像から、鮮明な復元画像を復元する技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
前記した課題を解決するため、本願第１発明に係る画像復元装置は、入力画像を複数に分割した部分領域毎の複雑さを示す複雑度と、前記複雑度を用いて、予め設定された空間方向又は時間方向の標本軸において前記入力画像を不等間隔で標本化した不等間隔標本化画像とが不等間隔標本化装置から入力されると共に、前記複雑度を用いて、前記不等間隔標本化画像から復元画像を復元する画像復元装置であって、対応関係算出手段と、画像復元手段と、を備え、前記複雑度が電子透かしとして付加された前記不等間隔標本化画像が入力されると共に、当該不等間隔標本化画像から前記複雑度を検出する電子透かし検出手段をさらに備えることを特徴とする。
【００１２】
かかる構成によれば、画像復元装置は、対応関係算出手段によって、前記標本軸の方向に連続した全ての前記部分領域を通過する走査線毎に、前記複雑度から、予め設定された標本点の数だけ、前記複雑度が高い部分領域では標本点が多く、かつ、前記複雑度が低い部分領域では前記標本点が少なくなるように、前記復元画像における標本点の座標と前記不等間隔標本化画像における標本点の座標との対応関係を算出する。この複雑度は、不等間隔標本化画像を復元するときに必要となる変形パラメータであり、部分領域毎に算出する情報である。つまり、複雑度は、全標本点の情報である従来の変形パラメータに比べて、その情報量が少ない。
【００１３】
また、画像復元装置は、画像復元手段によって、前記対応関係算出手段が算出した対応関係に基づいて、前記不等間隔標本化画像における標本点の座標に対応する画素の画素値を、前記復元画像における標本点の座標に対応する画素の画素値として、前記復元画像を復元する。ここで、不等間隔標本化画像は、入力画像で複雑な部分は細かく標本化され、かつ、入力画像で単純な部分は粗く標本化されたものである。つまり、画像復元装置は、等間隔で標本化された画像を復元したときに比べて、同程度の情報量で細かな表現がされた復元画像を復元できる。さらに、画像復元装置は、１次元での復元処理を行うことから、その演算が簡易である。さらに、画像復元装置は、複雑度の存在を隠蔽することができる。
【００１４】
なお、不等間隔の標本化とは、標本点同士の間隔が異なるように標本化することを言い、必ずしも全標本点の間隔が異ならなくとも良い。
また、等間隔の標本化とは、全標本点の間隔が等しくなるように標本化することを言う。
【００１７】
また、前記した課題を解決するため、本願第２発明に係る画像復元装置は、前記不等間隔標本化装置から、前記入力画像を２以上の前記標本軸で標本化した不等間隔標本化画像と、前記標本軸毎に算出された複雑度とが入力され、前記対応関係算出手段は、前記標本軸毎に前記対応関係を、当該標本軸毎に算出された複雑度から算出する２以上の対応関係算出部と、前記２以上の対応関係算出部が算出した対応関係を合成する対応関係合成部と、さらに備え、前記画像復元手段は、前記対応関係合成部が合成した対応関係に基づいて、前記２以上の標本軸で標本化した不等間隔標本化画像から、前記復元画像を復元することを特徴とする。
【００１８】
かかる構成によれば、画像復元装置は、２以上の標本軸で標本化した不等間隔標本化画像についても、復元処理を１回行うだけで復元画像を復元できるので、その演算が簡易である。
【００１９】
また、前記した課題を解決するため、本願第３発明に係る画像復元プログラムは、コンピュータを、前記の画像復元装置として機能させる。
【００２２】
また、前記した課題を解決するため、本願第４発明に係る多次元画像復元装置は、入力画像を複数に分割した部分領域毎の複雑さを示す複雑度と、前記複雑度を用いて、予め設定された空間方向又は時間方向の標本軸において前記入力画像を不等間隔で標本化した不等間隔標本化画像とが不等間隔標本化装置から入力されると共に、前記複雑度を用いて、前記不等間隔標本化画像から復元画像を復元する画像復元装置であって、前記標本軸の方向に連続した全ての前記部分領域を通過する走査線毎に、前記複雑度から、予め設定された標本点の数だけ、前記複雑度が高い部分領域では標本点が多く、かつ、前記複雑度が低い部分領域では前記標本点が少なくなるように、前記復元画像における標本点の座標と前記不等間隔標本化画像における標本点の座標との対応関係を算出する対応関係算出手段と、前記対応関係算出手段が算出した対応関係に基づいて、前記不等間隔標本化画像における標本点の座標に対応する画素の画素値を、前記復元画像における標本点の座標に対応する画素の画素値として、前記復元画像を復元する画像復元手段と、を備える画像復元装置をｋ台直列に接続した多次元画像復元装置であって、第１の画像復元装置は、前記不等間隔標本化画像としてｋ次元画像が入力されると共に、当該ｋ次元画像を、予め設定された空間方向又は時間方向の第１標本軸で復元し、第ｋの画像復元装置は、第ｋ−１の不等間隔標本化装置によって復元された復元画像が入力されると共に、当該復元画像を、第ｋ標本軸の方向に復元することを特徴とする（但し、ｋは２以上の整数）。
【００２３】
かかる構成によれば、多次元画像復元装置は、標本点の情報である従来の変形パラメータに比べて、情報量が少ない複雑度を用いる。また、多次元画像復元装置は、等間隔で標本化された画像を復元したときに比べて、同程度の情報量で細かな表現がされた復元画像を復元できる。さらに、多次元画像復元装置は、１次元での復元処理をｋ回繰り返すだけなので、その演算が簡易である。
【００２４】
前記したｋは、標本化の次元数を示すものであり、２以上の整数である。
ここで、ｋ＝２の場合、入力画像（２次元画像）としては、例えば、静止画像がある。また、ｋ＝３の場合、入力画像（３次元画像）としては、例えば、動画像又は立体静止画像がある。さらに、ｋ＝４の場合、入力画像（４次元画像）としては、例えば、立体動画像がある。
【発明の効果】
【００２５】
本発明によれば、以下のような優れた効果を奏する。
本願第４発明によれば、簡易な演算で、情報量が少ない変形パラメータを用いて、不等間隔標本化画像から、鮮明な復元画像を復元できる。
【００２６】
本願第１発明によれば、複雑度の存在を隠蔽することができ、画像復元装置をデスクランブル装置として用いる場合に特に好ましい。
本願第２発明によれば、復元画像の合成を１回で済ませることができ、演算量を低減できる。
【図面の簡単な説明】
【００２７】
【図１】本発明における画像変形復元システムの概略を説明する図である。
【図２】等間隔での標本化を説明する図であり、（ａ）は等間隔の標本化の概念図であり、（ｂ）は等間隔で標本化された画像を示す図である。
【図３】本発明における変形画像を説明する図であり、（ａ）は不等間隔の標本化の概念図であり、（ｂ）は変形画像を示す図である。
【図４】図１の画像復元装置の構成を示すブロック図である。
【図５】本発明における複雑度と標本点とを説明する図であり、（ａ）は複雑度を説明する図であり、（ｂ）は標本点の座標の算出を説明する図であり、（ｃ）は標本点の座標の補間を説明する図である。
【図６】図５（ａ）の最上段の部分領域における標本点の座標の算出を説明する図であり、（ａ）は複雑度と部分領域位置との関係を示す図であり、（ｂ）は複雑度と画素領域位置との関係を示す図である。
【図７】図５（ａ）の最上段の部分領域における標本点の座標の算出を説明する図であり、（ａ）は累計複雑度と画素位置との関係を示す図であり、（ｂ）は累計複雑度から算出した標本点の座標を説明する図である。
【図８】図５（ａ）の最下段の部分領域における標本点の座標の算出を説明する図であり、（ａ）は複雑度と部分領域位置との関係を示す図であり、（ｂ）は複雑度と画素領域位置との関係を示す図である。
【図９】図５（ａ）の最下段の部分領域における標本点の座標の算出を説明する図であり、（ａ）は累計複雑度と画素位置との関係を示す図であり、（ｂ）は累計複雑度から算出した標本点の座標を説明する図である。
【図１０】図４の画像復元装置による復元処理の概略を示す図である。
【図１１】図４の画素値補間手段の第１例を説明する図である。
【図１２】図４の画素値補間手段の第２例を説明する図である。
【図１３】図４の画像復元装置の動作を説明するフローチャートである。
【図１４】図４の画像復元装置の変形例１を示すブロック図である。
【図１５】図４の画像復元装置の変形例２を示すブロック図である。
【図１６】図４の画像復元装置の変形例３を示すブロック図である。
【図１７】本発明の第２実施形態に係る画像復元装置の構成を示すブロック図である。
【図１８】本発明の第３実施形態に係る画像復元装置の構成を示すブロック図である。
【図１９】本発明において、３次元画像の部分領域を示す図である。
【図２０】図１９の３次元画像において、中央の部分領域の拡大図である。
【図２１】図２０を上面視した図である。
【図２２】図２０を右側面視した図である。
【図２３】図１８の画像変形装置による補間処理を説明する図である。
【図２４】本発明の第４実施形態に係る画像復元装置の構成を示すブロック図である。
【発明を実施するための形態】
【００２８】
［画像変形復元システムの概略］
以下、図１を参照して、本発明における画像変形復元システム１の概略について説明する。図１に示すように、画像変形復元システム１は、画像変形装置２と、画像復元装置３とを備える。また、画像変形復元システム１は、図示を省略したネットワーク又は放送波を介して、画像変形装置２と、画像復元装置３とが接続されている。
【００２９】
画像変形装置２は、入力された入力画像の変形パラメータ（複雑度）を算出すると共に、変形パラメータを用いて、標本軸の方向に入力画像を不等間隔で標本化して変形画像（不等間隔標本化画像）を生成する。なお、画像変形装置２の詳細は、省略する。
【００３０】
画像復元装置３は、画像変形装置２から変形画像と変形パラメータとが入力されると共に、変形パラメータを用いて、変形画像から復元画像を復元する。具体的には、画像復元装置３は、変形パラメータから入力画像と変形画像との標本点の座標の対応関係を算出し、この対応関係に基づいて、標本軸の方向に変形画像から復元画像を復元する。ここで、画像変形装置２の標本軸と画像復元装置３の標本軸とは、同一方向であることが好ましい。なお、画像復元装置３の詳細は、後記する。
【００３１】
入力画像は、任意の画像であり、例えば、２次元画像、３次元画像又は４次元画像である。ここで、例えば、入力画像を２次元画像として説明する。
変形画像は、入力画像から、不等間隔の標本化により生成した画像であり、入力画像と同じ次元数となる。なお、変形画像が、請求項に記載の不等間隔標本化画像に相当する。
【００３２】
変形パラメータは、変形画像から復元画像を復元するときに必要となるパラメータであり、入力画像における部分領域毎の模様（濃淡変化）の複雑さを示す複雑度である。
復元画像は、変形パラメータを用いて、変形画像から復元された画像である。
【００３３】
＜変形画像の具体例＞
以下、図２，図３を参照し、変形画像の具体例について、従来の等間隔で標本化した画像と比べながら説明する。また、図２（ａ）及び図３（ａ）では、標本化の間隔（つまり、標本点同士の間隔）を、格子の大きさで示している。つまり、格子が小さくなる程、細かい標本化を行うことを示し、格子が大きくなる程、粗い標本化を行うことを示す。なお、この格子は説明のために図示したものであり、この格子が復元画像に付加されるわけでない。
【００３４】
また、図２及び図３に示すように、この具体例の画像は、左上部分が背景（例えば、空及び雲）で、これ以外の部分が被写体（例えば、建物を含めた街の風景）である。従って、この画像は、左上部分が単純な模様となっており、これ以外の部分が複雑な模様となっている。
【００３５】
等間隔の標本化では、図２（ａ）に示すように、各格子が同じ大きさであることから、画像の複雑さに関係なく、模様が複雑な部分でも、模様が単純な部分でも同一の間隔で標本化を行う。また、等間隔で標本化した画像は、図２（ｂ）に示すように、画像に含まれる被写体及び背景が、変形することなく描写されている。
【００３６】
一方、本発明における不等間隔の標本化では、図３（ａ）に示すように、模様が複雑な部分では細かい標本化を行い（格子が小さい）、模様が単純な部分では粗い標本化を行う（格子が大きい）。そして、この変形画像を復元した復元画像は、等間隔で標本化された画像を復元したときに比べ、同程度の情報量で細かな表現が可能となる。なお、この変形画像は、図３（ｂ）に示すように、例えば、被写体が背景を埋めるように変形する。
【００３７】
（第１実施形態）
［画像復元装置の構成］
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。図４に示すように、画像復元装置３は、写像復元手段（対応関係算出手段）３１と、画像復元手段３３とを備える。
【００３８】
以下、入力画像をＩ０（［ｘ０，ｙ０］Ｔ）、又は、単にＩ０とする。なお、ｘ０は水平座標、ｙ０は垂直座標であり、いずれも画素単位とする。入力画像の幅をＸ０画素、高さをＹ０画素とする。ここで、上付きＴは、転置を示す。
また、変形画像をＪ（［ｕ，ｖ］Ｔ）、又は、単にＪとする。なお、ｕは水平座標、ｖは垂直座標であり、いずれも画素単位とする。また、変形画像の幅をＵ画素、高さをＶ画素とする。
また、復元画像をＩ（［ｘ，ｙ］Ｔ）、又は、単にＩとする。なお、ｘは水平座標、ｙは垂直座標であり、いずれも画素単位とする。また、復元画像の幅をＸ画素、高さをＹ画素とする。
【００３９】
また、画像復元装置３では、例えば、復元画像Ｉが、入力画像Ｉ０を、スケーリングを除いて近似するように予め設定される。ここで、予め設定される、水平方向及び垂直方向のスケーリングを、正定数α及び正定数βとする。すなわち、α＝Ｘ／Ｘ０、及び、β＝Ｙ／Ｙ０である。このとき、復元画像Ｉと入力画像Ｉ０との間には、水平座標ｘ＝水平座標αｘ０、及び、垂直座標ｙ＝垂直座標βｙ０との対応関係を有する。なお、例えば、復元画像Ｉと入力画像Ｉ０との各画素のアスペクト比が同一、かつ、復元画像Ｉと入力画像Ｉ０との全体のアスペクト比が同一の場合、正定数α＝正定数β＞０である。また、例えば、復元画像Ｉと入力画像Ｉ０とにおいて、水平解像度と垂直解像度とが同一の場合、正定数α＝正定数β＝１である。さらに、入力画像Ｉ０に対し復元画像Ｉが拡大される場合には正定数α＞１かつ正定数β＞１であり、入力画像Ｉ０に対し復元画像Ｉが縮小されるときは０＜正定数α＜１かつ０＜正定数β＜１である。
【００４０】
また、入力画像Ｉ０は、図１の画像変形装置２によって、水平方向にＭ個、垂直方向にＮ個、合計Ｍ×Ｎ個の部分領域に分割（等分）され、この部分領域毎に複雑度が算出されるとして説明する。ここで、水平方向にｍ番目（ｍ＝０，１，・・・，Ｍ−１）で、垂直方向にｎ番目（ｎ＝０，１，・・・，Ｎ−１）の部分領域をＢｍ，ｎとする。
【００４１】
写像復元手段３１は、標本点補間手段３１ａを備えると共に、入力された変形パラメータ（複雑度）に基づいて、復元画像Ｉにおける標本点の座標と、変形画像Ｊにおける標本点の座標との対応関係を算出する。なお、写像復元手段３１が、請求項に記載の対応関係算出手段に相当する。
【００４２】
ここで、例えば、復元画像Ｉにおける標本点の座標［ｘ，ｙ］Ｔから、変形画像Ｊにおける標本点の座標［ｕ，ｖ］Ｔを対応付ける式（１）が定義できる。
【００４３】
【数１】
0005410232.tif 000002
【００４４】
また、例えば、変形画像Ｊにおける標本点の座標［ｕ，ｖ］Ｔから、復元画像Ｉにおける標本点の座標［ｘ，ｙ］Ｔを対応付ける式（２）が定義できる。
【００４５】
【数２】
0005410232.tif 000003
【００４６】
以下、式（２）を用いる場合で、走査線を水平方向とした第１例と、走査線を垂直方向とした第２例とをそれぞれ説明する。ここでは、図５（ａ）に示すように、入力画像Ｉ０が、水平方向に４分割（Ｍ＝４）され、垂直方向に３分割（Ｎ＝３）されたとして説明する。
【００４７】
なお、垂直位置がｎにおける走査線Ｓｎは、部分領域Ｂｍ，ｎの代表点を標本軸の方向に通過するものである。このとき、各部分領域Ｂｍ，ｎには、予め代表点を設定しておく。この代表点は、例えば、各部分領域Ｂｍ，ｎの中心点としても良く、各部分領域Ｂｍ，ｎの頂点（例えば、右上、左上、右下、左下）等の任意の点としても良い。
【００４８】
＜走査線が水平方向：第１例＞
まず、前提として、複雑度Ｃｍ，ｎに基づいて、標本点の座標を算出する手法を説明する。この場合、図１の画像変形装置２は、水平方向で連続した部分領域Ｂｍ，ｎについて、その代表点を水平方向（標本軸の方向）に通過する走査線Ｓｎを生成する。ここで、走査線Ｓｎの長さは、復元画像Ｉの幅Ｘと同一とする。そして、図１の画像変形装置２は、走査線Ｓｎ上におけるｕ番目（ｕ＝０，・・・，Ｕ−１）の標本点の座標ｘｎ（ｕ）を以下のように算出する（但し、０≦ｘｎ（ｕ）≦Ｘ−１）。なお、Ｕは走査線Ｓｎの一本に予め設定された標本点の数である。
【００４９】
まず、複雑度Ｃｍ，ｎに基づき、複雑度の関数ｃｎ（ｘ）を下記の式（３）のように定義する。
【００５０】
【数３】
0005410232.tif 000004
【００５１】
図６を参照して、式（３）を説明する。図６（ａ）は、ｎを固定しつつｍを変化させた場合の複雑度Ｃｍ，ｎの例であり、図５（ｂ）の最上段の走査線Ｓｎに対応する。ここで、式（３）右辺において、下記の式（４）の項「Ｍ・ｘ／Ｘ」の小数点以下を切り捨てた値が、複雑度Ｃｍ，ｎの第一インデックス（ｍ方向）となり、図６（ｂ）の関数が得られる。すなわち、図６（ｂ）のグラフは、図６（ａ）のグラフを、横軸方向にＸ／Ｍ倍にスケーリング（引き伸ばし）した後、零次ホールドを適用したものとなる。このため、図６（ａ）の横軸の「部分領域位置ｍ」が、図６（ｂ）の横軸の「画素位置ｘ」に変化する。
【００５２】
【数４】
0005410232.tif 000005
【００５３】
次に、図７（ａ）に示すように、複雑度の関数ｃｎ（ｘ）をｘ＝０からｘ方向に定積分し、下記の式（５）で表される累計複雑度の関数ａｎ（ｘ）とする。
【００５４】
【数５】
0005410232.tif 000006
【００５５】
さらに、図７（ｂ）に示すように、ｕ＝０，１，・・・，Ｕ−１に対して、ａｎ（ｘ）＝ｕを満たすｘをξｎ（ｕ）とする。最後に、下記の式（６）に示すように、ξｎ（ｕ）の小数点以下を切り捨てて、標本点の座標ｘｎ（ｕ）とする。
【００５６】
【数６】
0005410232.tif 000007
【００５７】
以上より、図１の画像変形装置２は、式（３）から式（６）を用いることで、走査線Ｓｎ毎に、標本点の数Ｕだけ、複雑度Ｃｍ，ｎが高い部分領域Ｂｍ，ｎでは標本点が多く、かつ、複雑度Ｃｍ，ｎが低い部分領域Ｂｍ，ｎでは標本点が少なくなるように、標本点の座標ｘｎ（ｕ）を算出する。言い換えると、図１の画像変形装置２は、全ての走査線Ｓｎについて、同数の標本点を割り振ることになる。
【００５８】
ここで、図５（ａ）の最上段の各部分領域Ｂ０，ｎについて、標本点の座標ｘｎ（ｕ）の計算例を説明する。このとき、標本点の数Ｕを１２とする。この場合、図６（ａ）に示すように、複雑度の関数ｃｎ（ｘ）の値は、６，２，３，１となる。また、この複雑度の関数ｃｎ（ｘ）に零次ホールドを適用すると、図６（ｂ）のようになる。
【００５９】
そして、複雑度の関数ｃｎ（ｘ）を式（６）により定積分すると、図７（ａ）の累計複雑度の関数ａｎ（ｘ）が得られる。なお、図７（ａ）では、累計複雑度の関数ａｎ（ｘ）の傾きが複雑度Ｃｍ，ｎを示す。さらに、図７（ｂ）に示すように、累計複雑度の関数ａｎ（ｘ）とｕ（０，・・・，１１）の水平線との交点から垂線を延ばす。さらに、この垂線が横軸と交わるｘをξｎ（ｕ）とし、このξｎ（ｕ）の小数点以下を切り捨てた後、標本点の座標ｘｎ（ｕ）とする。
【００６０】
同様に、図５（ａ）の最下段の各部分領域Ｂ２，ｎについて、標本点の座標ｘｎ（ｕ）の計算例を説明する。図８（ａ）に示すように、複雑度の関数ｃｎ（ｘ）の値は、１，１，３，１となる。また、この複雑度の関数ｃｎ（ｘ）に零次ホールドを適用すると、図８（ｂ）のようになる。
【００６１】
そして、複雑度の関数ｃｎ（ｘ）を式（６）により定積分すると、図９（ａ）の累計複雑度の関数ａｎ（ｘ）が得られる。さらに、図９（ｂ）に示すように、累計複雑度の関数ａｎ（ｘ）とｕ（０，・・・，１１）の水平線との交点から垂線を延ばす。さらに、この垂線が横軸と交わるｘをξｎ（ｕ）とし、このξｎ（ｕ）の小数点以下を切り捨てた後、標本点の座標ｘｎ（ｕ）とする。
【００６２】
例えば、図５（ａ）の最上段の各部分領域Ｂ０，ｎでは、複雑度Ｃ０，ｎは、６，２，３，１で合計１２となる。一方、図５（ａ）の最下段の各部分領域Ｂ２，ｎでは、複雑度Ｃ２，ｎは、１，１，３，１で合計６となる。つまり、この例では、入力画像の上側が複雑な模様で、下側が単純な模様と言える。この場合、模様が複雑な箇所の標本点を単純に多くすると、上側の画素数が下側の画素数より多くなる逆台形状のような歪な形状の変形画像になる。このような歪んだ変形画像は、画像処理の際に不都合を生じることが多い。しかし、図１の画像変形装置２は、式（５）を用いることから、複雑度Ｃｍ，ｎの合計値に関わらす、各走査線Ｓｎの標本点の数を等しくでき（図５の例では１２個）、画像処理に都合が良い、正方形、長方形状等の整った形状の変形画像を生成できる。
【００６３】
以上をまとめると、写像復元手段３１は、下記の式（７）で表される対応関係を用いて、走査線Ｓｎ毎に、標本点の数Ｕだけ、複雑度Ｃｍ，ｎが高い部分領域Ｂｍ，ｎでは標本点が多く、かつ、複雑度Ｃｍ，ｎが低い部分領域Ｂｍ，ｎでは標本点が少なくなるように、変形画像Ｊにおける標本点の座標を算出する（図１０（ａ）参照）。
【００６４】
【数７】
0005410232.tif 000008
【００６５】
続いて、写像復元手段３１は、標本点補間手段３１ａによって、式（７）で算出した標本点の座標を、零次補間又は線形補間等の補間処理によって走査線Ｓｎの間に補間する（図１０（ｂ）参照）。ここで、標本点補間手段３１ａは、標本点の座標が小数点を含む場合、その小数点を切り捨て、切り上げ又は四捨五入を行い、標本点の座標を整数にしても良い。
【００６６】
例えば、図５（ｃ）では、算出した標本点の座標を黒丸で図示し、補間した標本点の座標を白丸で図示した。ここで、最上段、上から二番目及び最下段の走査線Ｓｎ上にある白丸は、零次外挿によって補間したものである。また、それ以外の走査線Ｓｎ上にある白丸は、線形内挿によって補間したものである。この例では、小数画素位置の標本点に対しては、四捨五入処理を行っている。このように、標本点の座標を補間するので、画像復元装置３は、変形画像Ｊからより鮮明な復元画像Ｉを復元できる。その後、この対応関係の関数ｇと、変形画像Ｊにおける標本点の座標とを画像復元手段３３に出力する。
【００６７】
＜走査線が垂直方向：第２例＞
この場合、図１の画像変形装置２は、垂直方向で連続した部分領域Ｂｍ，ｎについて、その代表点を垂直方向（標本軸の方向）に通過する走査線Ｔｍを生成する。ここで、走査線Ｔｍの長さは、入力画像Ｉ（ｘ，ｙ）の高さＹと同一とする。そして、図１の画像変形装置２は、走査線Ｔｍ上におけるｖ番目（ｖ＝０，・・・，Ｖ−１）の標本点の座標ｙｍ（ｖ）を以下のように算出する（但し、０≦ｙｍ（ｖ）≦Ｙ−１）。なお、Ｖは走査線Ｔｍの一本に予め設定された標本点の数である。
【００６８】
まず、複雑度Ｃｍ，ｎに基づき、複雑度の関数ｄｍ（ｙ）を下記の式（８）のように定義する。
【００６９】
【数８】
0005410232.tif 000009
【００７０】
ここで、式（８）右辺において、下記の式（９）の項「Ｎ・ｙ／Ｙ」の小数点以下を切り捨てた値が、複雑度Ｃｍ，ｎの第二インデックス（ｎ方向）となる。
【００７１】
【数９】
0005410232.tif 000010
【００７２】
次に、複雑度の関数ｄｍ（ｙ）をｙ＝０からｙ方向に定積分し、下記の式（１０）で表される累計複雑度の関数ｂｍ（ｙ）とする。
【００７３】
【数１０】
0005410232.tif 000011
【００７４】
さらに、ｖ＝０，１，・・・，Ｖ−１に対して、ｂｍ（ｙ）＝ｖを満たすｙをηｍ（ｖ）とする。最後に、下記の式（１１）に示すように、ηｍ（ｖ）の小数点以下を切り捨てて、標本点の座標ｙｍ（ｖ）とする。
【００７５】
【数１１】
0005410232.tif 000012
【００７６】
従って、図１の画像変形装置２は、式（８）から式（１１）を用いることで、走査線Ｔｍ毎に、標本点の数Ｖだけ、複雑度Ｃｍ，ｎが高い部分領域Ｂｍ，ｎでは標本点が多く、かつ、複雑度Ｃｍ，ｎが低い部分領域Ｂｍ，ｎでは標本点が少なくなるように、標本点の座標ｙｍ（ｖ）を算出する。言い換えると、図１の画像変形装置２は、全ての走査線Ｔｍについて、同数の標本点を割り振ることになる。
【００７７】
以上をまとめると、写像復元手段３１は、下記の式（１２）で表される対応関係を用いて、走査線Ｔｍ毎に、標本点の数Ｖだけ、複雑度Ｃｍ，ｎが高い部分領域Ｂｍ，ｎでは標本点が多く、かつ、複雑度Ｃｍ，ｎが低い部分領域Ｂｍ，ｎでは標本点が少なくなるように、変形画像Ｊにおける標本点の座標を算出する。
【００７８】
【数１２】
0005410232.tif 000013
【００７９】
続いて、写像復元手段３１は、標本点補間手段３１ａによって、式（１２）で算出した標本点の座標を、零次補間又は線形補間等の補間処理によって走査線Ｔｍの間に補間する。ここで、写像復元手段３１は、標本点の座標が小数点を含む場合、その小数点を切り捨て、切り上げ又は四捨五入を行い、標本点の座標を整数にしても良い。その後、写像復元手段３１は、この対応関係の関数ｇと、変形画像Ｊにおける標本点の座標とを画像復元手段３３に出力する。
【００８０】
図４に戻り、画像復元装置３の構成について説明を続ける。
画像復元手段３３は、画素値補間手段３３ａを備えると共に、図１の画像変形装置２から変形画像と、写像復元手段３１から対応関係の関数ｇと変形画像Ｊにおける標本点の座標とが入力される。
【００８１】
まず、画像復元手段３３は、復元画像Ｉの全画素に「未定義」を示す値（例えば、ヌル値）を割り当てる。また、画像復元手段３３は、対応関係の関数ｇに基づいて、入力された変形画像Ｊにおける標本点の座標［ｕ，ｖ］を、復元画像Ｉにおける標本点の座標［ｘ，ｙ］に変換する。そして、画像復元手段３３は、下記の式（１３）に示すように、変形画像Ｊにおける標本点の座標に対応する画素の画素値Ｊ（［ｕ，ｖ］）を、復元画像Ｉにおける標本点の座標に対応する画素の画素値Ｉ（ｇ（［ｘ，ｙ］））とする。
【数１３】
0005410232.tif 000014
【００８２】
つまり、画像復元手段３３は、画素値が割り当てられた復元画像Ｉを生成し、これを出力する（図１０（ｃ）参照）。ここで、画素値補間手段３３ａは、復元画像Ｉにおいて、画素値が割り当てられていない画素に対して補間処理を行い、その画素に画素値を割り当てる（図１０（ｄ）参照）。例えば、画素値補間手段３３ａは、復元画像Ｉにおいて、画素値が「未定義」を示す画素に対し、画素値を算出した画素を用いて、補間処理によって画素値を補間する。この場合、画素値補間手段３３ａは、一次補間、最近傍補間、双一次補間、双三次補間等の補間処理を行う。
【００８３】
＜変形画像を基準とした補間処理：第１例＞
以下、図１１及び図１２を参照し、画素値補間手段３３ａによる補間処理の第１例及び第２例を説明する（適宜図４参照）。なお、図１１では、復元画像Ｉにおいて画素値を補間したい画素を黒丸で図示し、変形画像Ｊの画素を白丸で図示した。図１１に示すように、画素値補間手段３３ａは、画素値を補間したい画素（注目点）の上下左右に位置する合計４画素から、双一次補間により画素値を求める。この場合、画素値補間手段３３ａは、下記の式（１４）を用いて、画素値を補間しても良い。
【００８４】
【数１４】
0005410232.tif 000015
【００８５】
なお、式（１４）では、Ｉ００〜Ｉ１１が復元画像における上下左右の４画素の画素値を示し、Ｉが変形画像における画素の画素値を示す。また、式（１４）では、ｐが注目点となる画素から上側の画素Ｉ００，Ｉ０１までの長さ、ｑが注目点となる画素から下側の画素Ｉ１０，Ｉ１１までの長さである。さらに、式（１４）では、ｒが注目点を通過する水平線と注目点左側の画素Ｉ００，Ｉ１０の線分との交点から注目点までの長さ、ｓが注目点を通過する水平線と注目点右側の画素Ｉ０１，Ｉ１１の線分との交点から注目点までの長さである。
【００８６】
＜復元画像を基準とした補間処理：第２例＞
図１２に示すように、画素値補間手段３３ａは、画素値を補間したい画素（注目点）の上下左右に位置する合計４画素から、双一次補間により画素値を求める。この場合、画素値補間手段３３ａは、下記の式（１５）を用いて、画素値を補間しても良い。なお、図１２では、復元画像Ｉにおいて画素値を補間したい画素を白丸で図示し、変形画像Ｊの画素を黒丸で図示した。
【００８７】
【数１５】
0005410232.tif 000016
【００８８】
なお、式（１５）では、Ｊ００〜Ｊ１１が変形画像における上下左右の４画素の画素値を示し、Ｉが復元画像における画素の画素値を示す。また、式（１５）では、ｐが注目点となる画素から上側の画素Ｊ００，Ｊ０１までの長さ、ｑが注目点となる画素から下側の画素Ｊ１０，Ｊ１１までの長さである。さらに、式（１５）では、ｒが注目点を通過する水平線と注目点左側の画素Ｊ００，Ｊ１０の線分との交点から注目点までの長さ、ｓが注目点を通過する水平線と注目点右側の画素Ｊ０１，Ｊ１１の線分との交点から注目点までの長さである。
【００８９】
［画像復元装置の動作］
以下、図１３を参照し、図４の画像復元装置の動作について、説明する。まず、画像復元装置３は、写像復元手段３１によって、式（７）又は式（１２）で表される対応関係の関数ｇ等の対応関係を算出し、変形画像Ｊにおける標本点の座標を算出する（ステップＳ１）。
【００９０】
ステップＳ１の処理に続いて、画像復元装置３は、標本点補間手段３１ａによって、変形画像Ｊにおける標本点の座標を補間する（ステップＳ２）。また、画像復元装置３は、画像復元手段３３によって、対応関係の関数ｇ等の対応関係に基づいて、変形画像Ｊにおける標本点の座標を復元画像Ｉにおける標本点の座標に変換し、その画素の画素値を、復元画像Ｉにおける画素の画素値として算出する（ステップＳ３）。そして、画像復元装置３は、画素値補間手段３３ａによって、復元画像Ｉにおける画素の画素値を補間し、復元画像Ｉとして出力する（ステップＳ４）。
【００９１】
以上のように、本発明の第１実施形態に係る画像復元装置３によれば、模様が複雑な部分について細かい標本化を行い、かつ、模様が単純な部分では粗い標本化を行った変形画像を復元する。このため、画像復元装置３によれば、従来の等間隔で標本化を行った画像に比べ、同程度の情報量で細かく表現された復元画像を復元できる。また、画像復元装置３によれば、変形パラメータが部分領域Ｂｍ，ｎ毎の情報であることから、従来の全標本点の情報に比べ、その情報量を少なくできる。さらに、画像復元装置３によれば、標本軸方向（１次元）の簡易な演算で変形画像を復元でき、演算負荷を軽減できる。これによって、画像復元装置３は、従来の等間隔の標本化された画像を復元する場合に比べて、効率的な変形画像の復元を可能とする。
【００９２】
ここで、画像復元装置３は、変形パラメータが無ければ、変形画像を復元できない。このため、画像復元装置３は、変形パラメータをデスクランブル鍵とするデスクランブル装置として用いることもできる。また、例えば、画像復元装置３は、画像を復号する画像復号装置、又は、画像の解像度を変換する解像度変換装置として利用できる。
【００９３】
なお、第１実施形態では、標本軸を水平方向又は垂直方向として説明したが、これに限定されない。例えば、標本軸は、斜め方向等の空間方向の軸としても良く、入力画像を動画像としたときは、フレーム画像間又はフィールド画像間の時間方向の軸としても良い。
【００９４】
なお、第１実施形態では、写像復元手段３１が、写像として、対応関係の関数ｇと、変形画像Ｊにおける標本点の座標とを画像復元手段３３に出力することとしたが、これに限定されない。例えば、Ｃ言語等における関数へのポインタを用いる場合、又は、代表的な引数値に対して関数出力値を予め計算しておいたルックアップテーブルを用いる場合等の実装方法に応じて任意に変更できる。例えば、写像復元手段３１が、写像として、対応関係の関数ｇを画像復元手段３３に出力しても良く、対応関係の関数ｇから求めた標本点の座標値を画像復元手段３３に出力しても良い。
【００９５】
なお、第１実施形態では、本発明に係る画像復元装置を独立した装置として説明したが、本発明では、一般的なコンピュータの演算装置、記憶装置等を、前記した各手段として協調動作させるプログラムによっても実現できる。このプログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布しても良い。
【００９６】
（変形例１）
以下、図４の画像復元装置３の各変形例について、具体的に説明する。
図１４に示すように、本発明の変形例１に係る画像復元装置３は、電子透かし検出手段３４をさらに備える。この場合、この電子透かし検出手段３４は、変形パラメータが電子透かしとして付加された変形画像が入力される。そして、電子透かし検出手段３４は、変形画像から変形パラメータを電子透かしとして検出し、検出した変形パラメータを写像復元手段３１に出力し、変形パラメータが抜き出された変形画像を画像復元手段３３に出力する。これによって、画像復元装置３は、変形パラメータの存在を隠蔽することができ、画像復元装置３をデスクランブル装置として用いる場合、特に好ましい。
【００９７】
（変形例２）
図１５に示すように、本発明の変形例２に係る画像復元装置３は、逆多重化手段３５と変形画像復号手段３６と、変形パラメータ復号手段３７とをさらに備える。
【００９８】
逆多重化手段３５は、符号化された変形パラメータと符号化された変形画像とが多重化された多重化信号が、入力される。また、逆多重化手段３５は、この多重化信号を逆多重化し、符号化された変形パラメータと、符号化された変形画像とを分離する。そして、逆多重化手段３５は、符号化された変形画像を変形画像復号手段３６に出力し、符号化された変形パラメータを変形パラメータ復号手段３７に出力する。ここで、例えば、多重化信号には、符号化された変形画像と変形パラメータとを区別するための付加的情報（例えば、ヘッダ情報としてのビット列又は同期用のビット列）が、付加されている。
【００９９】
変形画像復号手段３６は、逆多重化手段３５からの符号化された変形画像を復号し、その変形画像を画像復元手段３３に出力する。例えば、変形画像復号手段３６は、静止画用のＪＰＥＧ（Joint Photographic Experts Group）及びＰＮＧ（Portable Network Graphics）、動画像用のＭＰＥＧ（Moving Picture Experts Group）−２、ＭＰＥＧ−４、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４、Ｍｏｔｉｏｎ  ＪＰＥＧ及びＷｉｎｄｏｗｓ（登録商標）  Ｍｅｄｉａ等のデコーダを用いることができる。
【０１００】
変形パラメータ復号手段３７は、逆多重化手段３５からの符号化された変形パラメータを復号し、その変形パラメータを写像復元手段３１に出力する。ここで、変形パラメータ復号手段３７が用いる手法、アルゴリズム、及び、符号化のパラメータは任意である。例えば、変形パラメータ復号手段３７は、座標情報の間引き、及び、ハフマン符号化等のデコーダを用いることができる。
【０１０１】
（変形例３）
図１６に示すように、本発明の変形例３に係る画像復元装置３は、写像復元手段３１が、変形パラメータ逆多重化部３１１と、Ｌ個の部分写像復元部（対応関係算出部）３１３Ａ〜３１３Ｌと、写像合成部（対応関係合成部）３１５とを備える（適宜図４参照）。
【０１０２】
変形パラメータ逆多重化部３１１は、第１標本軸から第Ｌ標本軸までの変形パラメータが多重化された変形パラメータが、図１の画像変形装置２から入力される。また、変形パラメータ逆多重化部３１１は、多重化された変形パラメータから、第１標本軸の変形パラメータから第Ｌ標本軸の変形パラメータまでをそれぞれ分離する。そして、変形パラメータ逆多重化部３１１は、第１標本軸の変形パラメータを第１の部分写像復元部３１３Ａに出力し、第２標本軸の変形パラメータを第２の部分写像復元部３１３Ｂに出力し、第Ｌ標本軸の変形パラメータを第Ｌの部分写像復元部３１３Ｌに出力する。なお、Ｌは、標本化の次元数を示すものであり、２以上の整数である。
【０１０３】
第１の部分写像復元部３１３Ａは、変形パラメータ逆多重化部３１１からの第１標本軸の変形パラメータを用いて、第１標本軸の方向における対応関係を算出する。そして、第１の部分写像復元部３１３Ａは、第１標本軸の方向における対応関係を写像合成部３１５に出力する。なお、第１の部分写像復元部３１３Ａは、図４の写像復元手段と同様に対応関係を算出するため、その説明を省略する。
【０１０４】
また、第２の部分写像復元部３１３Ｂは、第１の部分写像復元部３１３Ａと同様に第２標本軸の方向における対応関係を算出し、写像合成部３１５に出力する。さらに、第Ｌの部分写像復元部３１３Ｌは、第１の部分写像復元部３１３Ａと同様に第Ｌ標本軸の方向における対応関係を算出し、写像合成部３１５に出力する。なお、Ｌ個の部分写像復元部３１３Ａ〜３１３Ｌが、請求項に記載の対応関係算出部に相当する。
【０１０５】
写像合成部３１５は、Ｌ個の部分写像復元部３１３Ａ〜３１３Ｌのそれぞれから入力された対応関係を合成して、図４の画像復元手段３３に出力する。ここで、写像合成部３１５は、例えば、下記の式（１６）を用いて、対応関係を合成する。なお、式（１６）では、ｇは合成した対応関係（写像）を示し、ｇＬは各次元（各標本軸）の対応関係を示す。
【０１０６】
【数１６】
0005410232.tif 000017
【０１０７】
画像復元手段３３（図４参照）は、写像合成部３１５から入力された対応関係に基づいて、Ｌ個の標本軸で標本化した不等間隔標本化画像から復元画像を復元する。なお、画像復元手段３３の復元処理は、図４の画像復元手段３３と同様であるため、その説明を省略する。これによって、画像復元装置３は、Ｌ個の標本軸で標本化した不等間隔標本化画像についても、復元処理を１回行うだけで復元画像を復元できるので、その演算が簡易である。
【０１０８】
（第２実施形態）
［画像復元装置の構成］
以下、図１７を参照し、本発明の第２実施形態に係る画像復元装置の構成について、説明する。図１７に示すように、画像復元装置（多次元画像復元装置）２００は、図４の画像復元装置３を２台直列に接続したものであり、第１の画像復元装置３Ａと、第２の画像復元装置３Ｂと、変形パラメータ逆多重化手段３８とを備える。なお、画像復元装置２００は、請求項６において、ｋ＝２の場合に相当する。
【０１０９】
ここでは、第１標本軸を水平方向とし、第２標本軸を垂直方向として説明する。また、入力画像は、２次元画像（２次元静止画像）である。なお、図１７では、第１の画像復元装置３Ａ及び第２の画像復元装置３Ｂの各手段は、その図示を省略した。
【０１１０】
変形パラメータ逆多重化手段３８は、図１の画像変形装置２から、第１標本軸（水平方向）の変形パラメータと、第２標本軸（垂直方向）の変形パラメータとが多重化された変形パラメータが入力される。また、変形パラメータ逆多重化手段３８は、多重化された変形パラメータから、第１標本軸の変形パラメータと第２標本軸の変形パラメータとを分離する。そして、変形パラメータ逆多重化手段３８は、第１標本軸の変形パラメータを第１の画像復元装置３Ａに出力し、第２標本軸の変形パラメータを第２の画像復元装置３Ｂに出力する。
【０１１１】
第１の画像復元装置３Ａは、変形パラメータ逆多重化手段３８から第１標本軸の変形パラメータと、図１の画像変形装置２から変形画像とが入力される。そして、第１の画像復元装置３Ａは、第１標本軸の変形パラメータを用いて、この変形画像を第１標本軸の方向で復元する。さらに、第１の画像復元装置３Ａは、復元した復元画像を、第２の画像復元装置３Ｂに出力する。
【０１１２】
第２の画像復元装置３Ｂは、変形パラメータ逆多重化手段３８から第２標本軸の変形パラメータと、第１の画像復元装置３Ａから復元画像とが入力される。そして、第２の画像復元装置３Ｂは、第２標本軸の変形パラメータを用いて、この復元画像を第２標本軸の方向で復元する。さらに、第２の画像復元装置３Ｂは、復元した復元画像を出力する。
【０１１３】
以上のように、本発明の第２実施形態に係る画像復元装置２００によれば、図４の画像復元装置３と同様の効果を奏する。さらに、画像復元装置２００によれば、簡易な１次元の復元処理を２回繰り返すだけで２次元画像を復元でき、演算負荷を軽減できる。
【０１１４】
なお、第２実施形態では、第１標本軸を水平方向とし、第２標本軸を垂直方向として説明したが、これに限定されない。例えば、第１標本軸及び第２標本軸が空間方向の軸であるときは、両軸が交われば良い。また、例えば、第１標本軸及び第２標本軸のうち、その一方を空間方向の軸とし、他方を時間方向の軸としても良い。
【０１１５】
なお、１次元の場合（ｋ＝１の場合）、前記した部分領域の分割を１次元の数直線の分割とし、式（７）又は式（１２）の関数ｇの代わりに、式（６）又は式（１１）のｘｎ（ｕ）（１次元なので、ｎ＝０）をそのまま標本点の位置として用いても良い。
【０１１６】
（第３実施形態）
［画像復元装置の構成］
以下、図１８を参照し、本発明の第３実施形態に係る画像復元装置の構成について、説明する。図１８に示すように、画像復元装置（多次元画像復元装置）３００は、図４の画像復元装置３を３台直列に接続したものであり、第１の画像復元装置３Ａと、第２の画像復元装置３Ｂと、第３の画像復元装置３Ｃと、変形パラメータ逆多重化手段３８Ｂとを備える。なお、画像復元装置３００は、請求項６において、ｋ＝３の場合に相当する。
【０１１７】
ここで、第１標本軸を水平方向とし（図１９〜図２２のｘ方向）、第２標本軸を垂直方向（図１９〜図２２のｙ方向）とし、第３標本軸を奥行方向（図１９〜図２２のｚ方向）として説明する。また、入力画像は、３次元画像（立体静止画像）である。なお、図１８では、第１の画像変形装置２Ａ、第２の画像変形装置２Ｂ及び第３の画像変形装置２Ｃの各手段は、その図示を省略した。また、第１の画像復元装置３Ａ及び第２の画像復元装置３Ｂは、図１７の各装置と同様のものであるため、説明を省略する。
【０１１８】
変形パラメータ逆多重化手段３８Ｂは、図１の画像変形装置２から、第１標本軸（水平方向）の変形パラメータと、第２標本軸（垂直方向）の変形パラメータと、第３標本軸（奥行方向）の変形パラメータとが多重化された変形パラメータが入力される。また、変形パラメータ逆多重化手段３８Ｂは、多重化された変形パラメータから、第１標本軸の変形パラメータと第２標本軸の変形パラメータと第３標本軸の変形パラメータとを分離する。そして、変形パラメータ逆多重化手段３８Ｂは、第１標本軸の変形パラメータを第１の画像復元装置３Ａに出力し、第２標本軸の変形パラメータを第２の画像復元装置３Ｂに出力し、第３標本軸の変形パラメータを第３の画像復元装置３Ｃに出力する。
【０１１９】
第３の画像復元装置３Ｃは、変形パラメータ逆多重化手段３８Ｂから第３標本軸の変形パラメータと、第２の画像復元装置３Ｂから復元画像とが入力される。そして、第３の画像復元装置３Ｃは、第３標本軸の変形パラメータを用いて、この復元画像を第３標本軸の方向で復元する。さらに、第３の画像復元装置３Ｃは、復元した復元画像を出力する。
【０１２０】
＜３次元画像の部分領域、走査線及び標本点の補間＞
以下、図１９〜図２３を参照し、３次元画像の部分領域、走査線及び標本点の補間について、詳細に説明する。入力画像が３次元画像であることから、第１の画像復元装置３Ａは、図１９に示すように、入力画像（３次元画像）を立方体又は直方体状の部分領域に分割する。なお、図２０は、図１９の中央に位置する部分領域の拡大図である。また、図１９及び図２０では、説明を簡易にするため、部分領域の一部のみを図示した。
【０１２１】
また、第１の画像復元装置３Ａは、図２０に示すように、この部分領域毎に、第１標本軸（水平方向）の複雑度から標本点の座標を算出する。図２０の例では、左上手前側の部分領域ＢＬ１の複雑度が５であり、左下手前側の部分領域ＢＬ２の複雑度が２であり、右上手前側の部分領域ＢＬ３の複雑度が２であり、右下手前側の部分領域ＢＬ４の複雑度が３である。また、図２０の例では、走査線Ｓ１〜Ｓ４の一本あたりの標本点の数Ｕを５とする。なお、奥側の部分領域ＢＬ５〜ＢＬ８については、説明を簡易にするため、複雑度の図示を省略した。
【０１２２】
まず、第１の画像復元装置３Ａは、部分領域ＢＬ１〜ＢＬ８の代表点（例えば、中心点）を水平方向に通過する走査線Ｓ１〜Ｓ４毎に、標本点の座標を算出する。ここで、走査線Ｓ１は、図２１，図２２に示すように、部分領域ＢＬ１，ＢＬ３の中心点を水平方向に通過する。また、走査線Ｓ２は、部分領域ＢＬ２，ＢＬ４の中心点を水平方向に通過する。そして、走査線Ｓ３は、部分領域ＢＬ５，ＢＬ７の中心点を水平方向に通過する。さらに、走査線Ｓ４は、部分領域ＢＬ６，ＢＬ８の中心点を水平方向に通過する。
【０１２３】
なお、図２１は図２０を上面視した図（図２０の黒矢印の方向からの図）であり、図２２は、図２０を右側面視した図（図２０の白矢印の方向からの図）である。ここで、図２２では、走査線Ｓ１〜Ｓ４は、右側面視すると、点のように見える。
【０１２４】
また、第１の画像復元装置３Ａは、図２３に示すように、標本点の座標を算出する。なお、図２３では、算出した標本点を黒丸で図示し、補間した標本点を白丸で図示した。具体的には、図２３（ｂ）に示すように、第１の画像復元装置３Ａは、２本の走査線Ｓ１，Ｓ２の間の走査線Ｓ５上に、補間処理によって、５個の標本点の座標を補間する。また、図２３（ｃ）に示すように、第１の画像復元装置３Ａは、２本の走査線Ｓ３，Ｓ２の間の走査線Ｓ６上に、補間処理によって、５個の標本点の座標を補間する。さらに、図２３（ｄ）に示すように、第１の画像復元装置３Ａは、２本の走査線Ｓ５，Ｓ６の間の走査線Ｓ７上に、補間処理によって、５個の標本点の座標を補間する。
【０１２５】
図１９〜図２３では、第１の画像復元装置３Ａによって標本点を水平方向に補間する例を説明した。また、同様の手順にて、第２の画像復元装置３Ｂによって標本点を垂直方向に補間し、第３の画像復元装置３Ｃによって標本点を奥行方向に補間するので、その説明は省略する。
【０１２６】
以上のように、本発明の第３実施形態に係る画像復元装置３００によれば、図４の画像復元装置３と同様の効果を奏する。さらに、画像復元装置３００によれば、簡易な１次元の復元処理を３回繰り返すだけで３次元画像を復元でき、演算負荷を軽減できる。
【０１２７】
（第４実施形態）
［画像復元装置の構成］
以下、図２４を参照し、本発明の第４実施形態に係る画像復元装置の構成について、説明する。図２４に示すように、画像復元装置（多次元画像復元装置）４００は、図４の画像復元装置３を４台直列に接続したものであり、第１の画像復元装置３Ａと、第２の画像復元装置３Ｂと、第３の画像復元装置３Ｃと、第４の画像復元装置３Ｄと、変形パラメータ逆多重化手段３８Ｃとを備える。なお、画像復元装置４００は、請求項６において、ｋ＝４の場合に相当する。
【０１２８】
ここで、第１標本軸を水平方向とし、第２標本軸を垂直方向とし、第３標本軸を奥行方向とし、第４標本軸を時間方向として説明する。また、入力画像は、４次元画像（立体動画像）である。なお、図２４では、第１の画像復元装置３Ａ、第２の画像復元装置３Ｂ、第３の画像復元装置３Ｃ及び第４の画像復元装置３Ｄの各手段は、その図示を省略した。また、第１の画像復元装置３Ａ、第２の画像復元装置３Ｂ及び第３の画像復元装置３Ｃは、図１８の各装置と同様のものであるため、説明を省略する。
【０１２９】
変形パラメータ逆多重化手段３８Ｃは、図１の画像変形装置２から、第１標本軸（水平方向）の変形パラメータと、第２標本軸（垂直方向）の変形パラメータと、第３標本軸（奥行方向）の変形パラメータと、第４標本軸（時間方向）の変形パラメータとが多重化された変形パラメータが入力される。また、変形パラメータ逆多重化手段３８Ｃは、多重化された変形パラメータから、第１標本軸の変形パラメータと第２標本軸の変形パラメータと第３標本軸の変形パラメータと第４標本軸の変形パラメータとを分離する。そして、変形パラメータ逆多重化手段３８Ｃは、第１標本軸の変形パラメータを第１の画像復元装置３Ａに出力し、第２標本軸の変形パラメータを第２の画像復元装置３Ｂに出力し、第３標本軸の変形パラメータを第３の画像復元装置３Ｃに出力し、第４標本軸の変形パラメータを第４の画像復元装置３Ｄに出力する。
【０１３０】
第４の画像復元装置３Ｄは、変形パラメータ逆多重化手段３８Ｃから第４標本軸の変形パラメータと、第３の画像復元装置３Ｃから復元画像とが入力される。そして、第４の画像復元装置３Ｄは、第４標本軸の変形パラメータを用いて、この復元画像を第４標本軸の方向で復元する。さらに、第４の画像復元装置３Ｄは、復元した復元画像を出力する。
【０１３１】
以上のように、本発明の第４実施形態に係る画像復元装置４００によれば、図４の画像復元装置３と同様の効果を奏する。さらに、画像復元装置４００によれば、簡易な１次元の復元処理を４回繰り返すだけで４次元画像を復元でき、演算負荷を軽減できる。
【符号の説明】
【０１３２】
１  画像変形復元システム
２  画像変形装置
３  画像復元装置
３Ａ  第１の画像復元装置
３Ｂ  第２の画像復元装置
３Ｃ  第３の画像復元装置
３Ｄ  第４の画像復元装置
３１  写像復元手段（対応関係算出手段）
３１ａ  標本点補間手段
３１１  変形パラメータ逆多重化部
３１３Ａ〜３１３Ｌ  部分写像復元部（対応関係算出部）
３１５  写像合成部（対応関係合成部）
３３  画像復元手段
３３ａ  画素値補間手段
３４  電子透かし検出手段
３５  逆多重化手段
３６  変形画像復号手段
３７  変形パラメータ復号手段
３８，３８Ｂ，３８Ｃ  変形パラメータ逆多重化手段
２００  画像復元装置（多次元画像復元装置）
３００  画像復元装置（多次元画像復元装置）
４００  画像復元装置（多次元画像復元装置）
【図１】
0005410232.tif 000018
【図２】
0005410232.tif 000019
【図３】
0005410232.tif 000020
【図４】
0005410232.tif 000021
【図５】
0005410232.tif 000022
【図６】
0005410232.tif 000023
【図７】
0005410232.tif 000024
【図８】
0005410232.tif 000025
【図９】
0005410232.tif 000026
【図１０】
0005410232.tif 000027
【図１１】
0005410232.tif 000028
【図１２】
0005410232.tif 000029
【図１３】
0005410232.tif 000030
【図１４】
0005410232.tif 000031
【図１５】
0005410232.tif 000032
【図１６】
0005410232.tif 000033
【図１７】
0005410232.tif 000034
【図１８】
0005410232.tif 000035
【図１９】
0005410232.tif 000036
【図２０】
0005410232.tif 000037
【図２１】
0005410232.tif 000038
【図２２】
0005410232.tif 000039
【図２３】
0005410232.tif 000040
【図２４】
0005410232.tif 000041