(57)【特許請求の範囲】
【請求項１】
二次元画像を画像変換して、立体画像表示を行うための画像を作成する画像変換装置であって、
輝度値に対する移動量の関係を示す関数で、特異点を除き、一次導関数の値が０以上から０よりも小さい値に切り替わる転換点を有し、輝度値０から転換点までの範囲においては、常に一次導関数の値が０以上であるとともに、該範囲の少なくとも一部においては、一次導関数の値が０よりも大きく、輝度値が転換点の輝度値を超えると、常に一次導関数の値が０より小さくなる関数のデータを記憶する記憶手段と、
変換対象の二次元画像における各ピクセルの輝度値を、記憶手段に記憶された関数に従い変換した移動量に基づき、ピクセルの水平方向の左方向又は右方向に移動して、移動先のピクセルの輝度値を移動された輝度値とする輝度値変換手段で、複数の輝度値が１つのピクセルの移動先となった場合には、最も移動量の大きい輝度値をそのピクセルの輝度値とする輝度値変換手段と、
を有することを特徴とする画像変換装置。
【請求項２】
輝度値変換手段により輝度値を変換した際に、輝度値の移動先とならなかったピクセルである無輝度ピクセルがある場合には、水平方向に隣接するピクセルの輝度値により補間を行う補間手段で、該無輝度ピクセルの左右に隣接するピクセルに輝度値が存在する場合には、移動量の小さい輝度値を該無輝度ピクセルの輝度値とする補間手段を有することを特徴とする請求項１に記載の画像変換装置。
【請求項３】
二次元画像を画像変換して、立体画像表示を行うための画像を作成する画像変換装置であって、
輝度値に対する移動量の関係を示す関数で、特異点を除き、一次導関数の値が０以上から０よりも小さい値に切り替わる転換点を有し、輝度値０から転換点までの範囲においては、常に一次導関数の値が０以上であるとともに、該範囲の少なくとも一部においては、一次導関数の値が０よりも大きく、輝度値が転換点の輝度値を超えると、常に一次導関数の値が０より小さくなる関数のデータを記憶する記憶手段と、
変換対象の二次元画像の各ピクセルについて、輝度値に最小単位の輝度値を加算する加算手段と、
加算手段により加算が行われた二次元画像の各輝度値を関数に適用可能に正規化する正規化手段と、
正規化手段により正規化された二次元画像における各ピクセルの輝度値を、記憶手段に記憶された関数に従い変換した移動量に基づき、ピクセルの水平方向の左方向又は右方向に移動して、移動先のピクセルの輝度値を移動された輝度値とする輝度値変換手段で、複数の輝度値が１つのピクセルの移動先となった場合には、最も移動量の大きい輝度値をそのピクセルの輝度値とする輝度値変換手段と、
輝度値変換手段により輝度値を変換した際に、輝度値の移動先とならなかったピクセルである無輝度ピクセルがある場合には、水平方向に隣接するピクセルの輝度値により補間を行う補間手段で、該無輝度ピクセルの左右に隣接するピクセルに輝度値が存在する場合には、移動量の小さい輝度値を該無輝度ピクセルの輝度値とする補間手段と、
輝度値変換手段により輝度値が変換された二次元画像の各ピクセルの輝度値に上記正規
化とは逆の処理を行う逆正規化手段と、
逆正規化手段により上記正規化とは逆の処理がされた二次元画像の各ピクセルの輝度値に最小単位の輝度値を減算する減算手段と、
を有することを特徴とする画像変換装置。
【請求項４】
上記関数における一次導関数の値が０以上から０よりも小さい値に切り替わる転換点における輝度値は、適正露出の範囲に対応する輝度値よりも大きいことを特徴とする請求項１又は２又は３に記載の画像変換装置。
【請求項５】
画像変換装置が、変換前の初期画像を変換対象の二次元画像として、画像変換を行うとともに、画像変換後の二次元画像を変換対象の二次元画像として、画像変換を行って、多眼像を作成することを特徴とする請求項１又は２又は３又は４に記載の画像変換装置。
【請求項６】
二次元画像を画像変換して、立体画像表示を行うための画像を作成する画像変換方法であって、
変換対象の二次元画像における各ピクセルの輝度値を、輝度値に対する移動量の関係を示す関数で、特異点を除き、一次導関数の値が０以上から０よりも小さい値に切り替わる転換点を有し、輝度値０から転換点までの範囲においては、常に一次導関数の値が０以上であるとともに、該範囲の少なくとも一部においては、一次導関数の値が０よりも大きく、輝度値が転換点の輝度値を超えると、常に一次導関数の値が０より小さくなる関数に従い変換した移動量に基づき、ピクセルの水平方向の左方向又は右方向に移動して、移動先のピクセルの輝度値を移動された輝度値とする輝度値変換工程で、複数の輝度値が１つのピクセルの移動先となった場合には、最も移動量の大きい輝度値をそのピクセルの輝度値とする輝度値変換工程と、
輝度値変換工程において輝度値を変換した際に、輝度値の移動先とならなかったピクセルである無輝度ピクセルがある場合には、水平方向に隣接するピクセルの輝度値により補間を行う補間手段で、該無輝度ピクセルの左右に隣接するピクセルに輝度値が存在する場合には、移動量の小さい輝度値を該無輝度ピクセルの輝度値とする補間工程と、
を有することを特徴とする画像変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像変換装置及び方法に関するものであり、特に、二次元画像から三次元画像（立体画像）表示用の画像を作成する画像変換装置及び方法に関するものである。
【背景技術】
【０００２】
従来から、三次元画像を表示するための方法として種々の方法が存在するが、例えば、右眼用の画像を撮影するための撮影装置と、左眼用の画像を撮影するための撮影装置とによって、右眼用の画像と左眼用の画像をそれぞれ同時に撮影し、右眼用の画像を右眼に入力させ、左眼用の画像を左眼に入力させる方法がある。
【０００３】
また、平面画像を立体画像に変換する方式として、特許文献１に示すように、平面画像が、観察者の右眼および左眼に対し、注視する平面画像内の位置により輻輳角が変化しないまたはおよそ変化しない曲面に投影されているよう知覚可能な、該平面画像を変形して、発生する一対または複数対のステレオ画像を発生させるものが存在する。
【特許文献１】特開２００１−１７５８８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上記の右眼用の画像と左眼用の画像をそれぞれ撮影する方法では、右眼用の画像と左眼用の画像とを同時に撮影しなければならず、この方法では、ある１つの二次元画像がある場合に、この二次元画像から三次元画像表示を行うことができなかった。
【０００５】
また、上記特許文献１に記載の方法によれば、自然な立体感を出すことはできるが、迫力ある三次元画像を表示することができないという問題があった。
【０００６】
そこで、本発明は、二次元画像から三次元画像表示を行うための画像変換を行って、二次元画像に基づき三次元画像表示を行うことができ、特に、迫力のある三次元画像を表示することができる画像変換装置及び方法を提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明は上記問題点を解決するために創作されたものであって、第１には、二次元画像を画像変換して、立体画像表示を行うための画像を作成する画像変換装置であって、輝度値に対する移動量の関係を示す関数で、特異点を除き、一次導関数の値が０以上から０よりも小さい値に切り替わる転換点を有し、輝度値０から転換点までの範囲においては、常に一次導関数の値が０以上であるとともに、該範囲の少なくとも一部においては、一次導関数の値が０よりも大きく、輝度値が転換点の輝度値を超えると、常に一次導関数の値が０より小さくなる関数のデータを記憶する記憶手段と、変換対象の二次元画像における各ピクセルの輝度値を、記憶手段に記憶された関数に従い変換した移動量に基づき、ピクセルの水平方向の左方向又は右方向に移動して、移動先のピクセルの輝度値を移動された輝度値とする輝度値変換手段で、複数の輝度値が１つのピクセルの移動先となった場合には、最も移動量の大きい輝度値をそのピクセルの輝度値とする輝度値変換手段と、を有することを特徴とする。
【０００８】
この第１の構成の画像変換装置においては、記憶手段に、輝度値に対する移動量の関係を示す関数で、特異点を除き、一次導関数の値が０以上から０よりも小さい値に切り替わる転換点を有し、輝度値０から転換点までの範囲においては、常に一次導関数の値が０以上であるとともに、該範囲の少なくとも一部においては、一次導関数の値が０よりも大きく、輝度値が転換点の輝度値を超えると、常に一次導関数の値が０より小さくなる関数のデータを記憶しているので、輝度値変換手段が、変換対象の二次元画像における各ピクセルの輝度値を、記憶手段に記憶された関数に従い変換した移動量に基づき、ピクセルの水平方向の左方向又は右方向に移動して、移動先のピクセルの輝度値を移動された輝度値とする。そして、該輝度値変換手段は、複数の輝度値が１つのピクセルの移動先となった場合には、最も移動量の大きい輝度値をそのピクセルの輝度値とする。このように輝度値を変換することにより、輝度値を変換した二次元画像と、変換対象となった二次元画像とでステレオ画像を構成することができ、これらのステレオ画像により立体画像を表示することが可能となる。また、上記のように輝度値を変換することにより得た二次元画像と変換対象となった二次元画像とでステレオ画像を構成して三次元画像を表示することにより、積極的に両眼視差を形成して三次元画像を表示するので、迫力のある三次元画像を表示することができる。また、輝度値を移動させる際に、上記のように、転換点を超える範囲で一次導関数が０よりも小さい関数に従い移動させるので、適正露出を超えた輝度値のピクセル（画素）が含まれる画像であっても、該ピクセルの移動量を抑えることにより、該ピクセルが立体的に過度に強調されて手前に浮き上がって見えてしまうことがない。例えば、ハレーションを起こした領域が手前に浮き上がって見えてしまうのを防止することができる。
【０００９】
なお、なお、上記第１の構成を以下の構成としてもよい。すなわち、「二次元画像を画像変換して、立体画像表示を行うための画像を作成する画像変換装置であって、輝度値に対する移動量の関係を示す関数で、特異点を除き、一次導関数の値が０以上から０よりも小さい値に切り替わる転換点を有し、輝度値０から転換点までの範囲においては、常に一次導関数の値が０以上であるとともに、該範囲の少なくとも一部においては、一次導関数の値が０よりも大きく、輝度値が転換点の輝度値を超えると、常に一次導関数の値が０より小さくなる関数のデータを記憶する記憶手段と、変換対象の二次元画像における各ピクセルの輝度値を、記憶手段に記憶された関数に従い変換した移動量に基づき、ピクセルの水平方向の左方向又は右方向に移動して、移動先のピクセルの輝度値を移動された輝度値とする輝度値変換手段で、複数の輝度値が１つのピクセルの移動先となった場合には、最も移動量の大きい輝度値をそのピクセルの輝度値とする輝度値変換手段と、輝度値変換手段により輝度値を変換した際に、輝度値の移動先とならなかったピクセルである無輝度ピクセルについて、水平方向に隣接するピクセルの輝度値により補間を行う補間手段で、該無輝度ピクセルの左右に隣接するピクセルに輝度値が存在する場合には、移動量の小さい輝度値を該無輝度ピクセルの輝度値とする補間手段と、を有することを特徴とする画像変換装置。」としてもよい。
【００１０】
また、上記第１の構成を以下の構成としてもよい。すなわち、「二次元画像を画像変換して、立体画像表示を行うための画像を作成する画像変換装置であって、輝度値に対する移動量の関係を示す関数で、特異点を除き、一次導関数の値が０以上から０よりも小さい値に切り替わる転換点を有し、輝度値０から転換点までの範囲においては、常に一次導関数の値が０以上であるとともに、該範囲の少なくとも一部においては、一次導関数の値が０よりも大きく、輝度値が転換点の輝度値を超えると、常に一次導関数の値が０より小さくなる関数のデータを記憶する記憶部（記憶装置としてもよい）と、変換対象の二次元画像における各ピクセルの輝度値を、記憶手段に記憶された関数に従い変換した移動量に基づき、ピクセルの水平方向の左方向又は右方向に移動して、移動先のピクセルの輝度値を移動された輝度値とする輝度値変換手段で、複数の輝度値が１つのピクセルの移動先となった場合には、最も移動量の大きい輝度値をそのピクセルの輝度値とする制御部（制御装置としてもよい）と、を有することを特徴とする画像変換装置。」としてもよい。
【００１１】
また、上記第１の構成を以下の構成としてもよい。すなわち、「二次元画像を画像変換して、立体画像表示を行うための画像を作成する画像変換装置であって、輝度値に対する移動量の関係を示す関数で、特異点を除き、一次導関数の値が０以上から０よりも小さい値に切り替わる転換点を有し、輝度値０から転換点までの範囲においては、常に一次導関数の値が０以上であるとともに、該範囲の少なくとも一部においては、一次導関数の値が０よりも大きく、輝度値が転換点の輝度値を超えると、常に一次導関数の値が０より小さくなる関数のデータを記憶する記憶部（記憶装置としてもよい）と、変換対象の二次元画像における各ピクセルの輝度値を、記憶手段に記憶された関数に従い変換した移動量に基づき、ピクセルの水平方向の左方向又は右方向に移動して、移動先のピクセルの輝度値を移動された輝度値とする輝度値変換手段で、複数の輝度値が１つのピクセルの移動先となった場合には、最も移動量の大きい輝度値をそのピクセルの輝度値とする輝度値変換処理と、輝度値変換手段により輝度値を変換した際に、輝度値の移動先とならなかったピクセルである無輝度ピクセルについて、水平方向に隣接するピクセルの輝度値により補間を行う補間手段で、該無輝度ピクセルの左右に隣接するピクセルに輝度値が存在する場合には、移動量の小さい輝度値を該無輝度ピクセルの輝度値とする補間処理とを行う制御部（制御装置としてもよい）と、を有することを特徴とする画像変換装置。」としてもよい。
【００１２】
また、第２には、上記第１の構成において、輝度値変換手段により輝度値を変換した際に、輝度値の移動先とならなかったピクセルである無輝度ピクセルがある場合には、水平方向に隣接するピクセルの輝度値により補間を行う補間手段で、該無輝度ピクセルの左右に隣接するピクセルに輝度値が存在する場合には、移動量の小さい輝度値を該無輝度ピクセルの輝度値とする補間手段を有することを特徴とする。このようにして、輝度値の移動先とならなかったピクセルである無輝度ピクセルについて、輝度値の補間を行うことができる。
【００１３】
また、第３には、二次元画像を画像変換して、立体画像表示を行うための画像を作成する画像変換装置であって、輝度値に対する移動量の関係を示す関数で、特異点を除き、一次導関数の値が０以上から０よりも小さい値に切り替わる転換点を有し、輝度値０から転換点までの範囲においては、常に一次導関数の値が０以上であるとともに、該範囲の少なくとも一部においては、一次導関数の値が０よりも大きく、輝度値が転換点の輝度値を超えると、常に一次導関数の値が０より小さくなる関数のデータを記憶する記憶手段と、変換対象の二次元画像の各ピクセルについて、輝度値に最小単位の輝度値を加算する加算手段と、加算手段により加算が行われた二次元画像の各輝度値を関数に適用可能に正規化する正規化手段と、正規化手段により正規化された二次元画像における各ピクセルの輝度値を、記憶手段に記憶された関数に従い変換した移動量に基づき、ピクセルの水平方向の左方向又は右方向に移動して、移動先のピクセルの輝度値を移動された輝度値とする輝度値変換手段で、複数の輝度値が１つのピクセルの移動先となった場合には、最も移動量の大きい輝度値をそのピクセルの輝度値とする輝度値変換手段と、輝度値変換手段により輝度値を変換した際に、輝度値の移動先とならなかったピクセルである無輝度ピクセルがある場合には、水平方向に隣接するピクセルの輝度値により補間を行う補間手段で、該無輝度ピクセルの左右に隣接するピクセルに輝度値が存在する場合には、移動量の小さい輝度値（「移動量の大きい輝度値とは水平方向に反対側の輝度値」としてもよい）を該無輝度ピクセルの輝度値とする補間手段と、輝度値変換手段により輝度値が変換された二次元画像の各ピクセルの輝度値に上記正規化とは逆の処理を行う逆正規化手段と、逆正規化手段により上記正規化とは逆の処理がされた二次元画像の各ピクセルの輝度値に最小単位の輝度値を減算する減算手段と、を有することを特徴とする。
【００１４】
この第３の構成の画像変換装置においては、まず、加算手段が、変換対象の二次元画像の各ピクセルについて、輝度値に最小単位の輝度値を加算し、その後、正規化手段が、加算手段により加算が行われた二次元画像の各輝度値を関数に適用可能に正規化する。例えば、各ピクセルの輝度値を輝度値の最大可能値で除算する。その後、輝度値変換手段が、正規化手段により正規化された二次元画像における各ピクセルの輝度値を、記憶手段に記憶された関数に従い変換した移動量に基づき、ピクセルの水平方向の左方向又は右方向に移動して、移動先のピクセルの輝度値を移動された輝度値とする。その際、複数の輝度値が１つのピクセルの移動先となった場合には、最も移動量の大きい輝度値をそのピクセルの輝度値とする。なお、輝度値変換手段により輝度値を変換した際に、輝度値の移動先とならなかったピクセルである無輝度ピクセルがある場合には、水平方向に隣接するピクセルの輝度値により補間を行う。その際、該無輝度ピクセルの左右に隣接するピクセルに輝度値が存在する場合には、移動量の小さい輝度値を該無輝度ピクセルの輝度値とする。その後、逆正規化手段が、輝度値変換手段により輝度値が変換された二次元画像の各ピクセルの輝度値に上記正規化とは逆の処理を行い、減算手段が、逆正規化手段により上記正規化とは逆の処理がされた二次元画像の各ピクセルの輝度値に最小単位の輝度値を減算する。このように輝度値を変換することにより、輝度値を変換した二次元画像と、変換対象となった二次元画像とでステレオ画像を構成することができ、これらのステレオ画像により立体画像を表示することが可能となる。また、上記のように輝度値を変換することにより得た二次元画像と変換対象となった二次元画像とでステレオ画像を構成して三次元画像を表示することにより、積極的に両眼視差を形成して三次元画像を表示するので、迫力のある三次元画像を表示することができる。また、輝度値を移動させる際に、上記のように、転換点を超える範囲で一次導関数が０よりも小さい関数に従い移動させるので、適正露出を超えた輝度値のピクセルが含まれる画像であっても、該ピクセルの移動量を抑えることにより、該ピクセルが立体的に過度に強調されて手前に浮き上がって見えてしまうことがない。例えば、ハレーションを起こした領域が手前に浮き上がって見えてしまうのを防止することができる。
【００１５】
また、第４には、上記第１から第３までのいずれかの構成において、上記関数における一次導関数の値が０以上から０よりも小さい値に切り替わる転換点における輝度値は、適正露出の範囲に対応する輝度値よりも大きいことを特徴とする。
【００１６】
また、第５には、上記第１から第４までのいずれかの構成において、画像変換装置が、変換前の初期画像を変換対象の二次元画像として、画像変換を行うとともに、画像変換後の二次元画像を変換対象の二次元画像として、画像変換を行って、多眼像を作成することを特徴とする。このように多眼像を作成して、多眼像における隣接する２つの画像の一方を観察者の右眼と左眼の一方に入力し、他方を右眼と左眼の他方に入力することにより、立体画像を表示することができる。
【００１７】
なお、上記第５の構成を以下の構成としてもよい。すなわち、「上記画像変換装置が、変換前の初期画像を変換対象の二次元画像とした変換画像で、輝度値の移動に際して左方向に移動させた左移動変換画像と、変換前の初期画像を変換対象の二次元画像とした変換画像で、輝度値の移動に際して右方向に移動させた右移動変換画像と、該左移動変換画像を変換対象の二次元画像とした変換画像で、輝度値の移動に際して左方向に移動させた第２左移動変換画像と、該右移動変換画像を変換対象の二次元画像とした変換画像で、輝度値の移動に際して右方向に移動させた第２右移動変換画像と、を作成して、変換前の初期画像とともに多眼像を形成可能とすることを特徴とする請求項１又は２又は３又は４に記載の画像変換装置。」としてもよい。
【００１８】
また、上記第１から第５までのいずれかの構成において、上記二次元画像が、静止画又は動画であることを特徴とするものとしてもよい。
【００１９】
また、第６には、二次元画像を画像変換して、立体画像表示を行うための画像を作成する画像変換方法であって、変換対象の二次元画像における各ピクセルの輝度値を、輝度値に対する移動量の関係を示す関数で、特異点を除き、一次導関数の値が０以上から０よりも小さい値に切り替わる転換点を有し、輝度値０から転換点までの範囲においては、常に一次導関数の値が０以上であるとともに、該範囲の少なくとも一部においては、一次導関数の値が０よりも大きく、輝度値が転換点の輝度値を超えると、常に一次導関数の値が０より小さくなる関数に従い変換した移動量に基づき、ピクセルの水平方向の左方向又は右方向に移動して、移動先のピクセルの輝度値を移動された輝度値とする輝度値変換工程で、複数の輝度値が１つのピクセルの移動先となった場合には、最も移動量の大きい輝度値をそのピクセルの輝度値とする輝度値変換工程と、輝度値変換工程において輝度値を変換した際に、輝度値の移動先とならなかったピクセルである無輝度ピクセルがある場合には、水平方向に隣接するピクセルの輝度値により補間を行う補間手段で、該無輝度ピクセルの左右に隣接するピクセルに輝度値が存在する場合には、移動量の小さい輝度値（「移動量の大きい輝度値とは水平方向に反対側の輝度値」としてもよい）を該無輝度ピクセルの輝度値とする補間工程と、を有することを特徴とする。
【００２０】
この第６の構成の画像変換方法においては、輝度値変換工程において、変換対象の二次元画像における各ピクセルの輝度値を、輝度値に対する移動量の関係を示す関数で、特異点を除き、一次導関数の値が０以上から０よりも小さい値に切り替わる転換点を有し、輝度値０から転換点までの範囲においては、常に一次導関数の値が０以上であるとともに、該範囲の少なくとも一部においては、一次導関数の値が０よりも大きく、輝度値が転換点の輝度値を超えると、常に一次導関数の値が０より小さくなる関数に従い変換した移動量に基づき、ピクセルの水平方向の左方向又は右方向に移動して、移動先のピクセルの輝度値を移動された輝度値とする。そして、該輝度値変換工程において、複数の輝度値が１つのピクセルの移動先となった場合には、最も移動量の大きい輝度値をそのピクセルの輝度値とする。その後、補間工程において、輝度値変換工程において輝度値を変換した際に、輝度値の移動先とならなかったピクセルである無輝度ピクセルがある場合には、水平方向に隣接するピクセルの輝度値により補間を行う。その際、該無輝度ピクセルの左右に隣接するピクセルに輝度値が存在する場合には、移動量の小さい輝度値を該無輝度ピクセルの輝度値とする。このように輝度値を変換することにより、輝度値を変換した二次元画像と、変換対象となった二次元画像とでステレオ画像を構成することができ、これらのステレオ画像により立体画像を表示することが可能となる。また、上記のように輝度値を変換することにより得た二次元画像と変換対象となった二次元画像とでステレオ画像を構成して三次元画像を表示することにより、積極的に両眼視差を形成して三次元画像を表示するので、迫力のある三次元画像を表示することができる。また、輝度値を移動させる際に、上記のように、転換点を超える範囲で一次導関数が０よりも小さい関数に従い移動させるので、適正露出を超えた輝度値のピクセルが含まれる画像であっても、該ピクセルの移動量を抑えることにより、該ピクセルが立体的に過度に強調されて手前に浮き上がって見えてしまうことがない。例えば、ハレーションを起こした領域が手前に浮き上がって見えてしまうのを防止することができる。
【００２１】
また、第７の構成として以下の構成としてもよい。すなわち、「二次元画像を画像変換して、立体画像表示を行うための画像を作成する画像変換方法であって、変換対象の二次元画像の各ピクセルについて、輝度値に最小単位の輝度値を加算する加算工程と、加算工程において加算が行われた二次元画像の各輝度値を関数に適用可能に正規化する正規化工程と、正規化工程において正規化された二次元画像における各ピクセルの輝度値を、輝度値に対する移動量の関係を示す関数で、特異点を除き、一次導関数の値が０以上から０よりも小さい値に切り替わる転換点を有し、輝度値０から転換点までの範囲においては、常に一次導関数の値が０以上であるとともに、該範囲の少なくとも一部においては、一次導関数の値が０よりも大きく、輝度値が転換点の輝度値を超えると、常に一次導関数の値が０より小さくなる関数に従い変換した移動量に基づき、ピクセルの水平方向の左方向又は右方向に移動して、移動先のピクセルの輝度値を移動された輝度値とする輝度値変換工程で、複数の輝度値が１つのピクセルの移動先となった場合には、最も移動量の大きい輝度値をそのピクセルの輝度値とする輝度値変換工程と、輝度値変換工程において輝度値を変換した際に、輝度値の移動先とならなかったピクセルである無輝度ピクセルがある場合には、水平方向に隣接するピクセルの輝度値により補間を行う補間工程で、該無輝度ピクセルの左右に隣接するピクセルに輝度値が存在する場合には、移動量の小さい輝度値（「移動量の大きい輝度値とは水平方向に反対側の輝度値」としてもよい）を該無輝度ピクセルの輝度値とする補間工程と、輝度値変換工程において輝度値が変換された二次元画像の各ピクセルの輝度値に上記正規化とは逆の処理を行う逆正規化工程と、逆正規化工程において上記正規化とは逆の処理がされた二次元画像の各ピクセルの輝度値に最小単位の輝度値を減算する減算工程と、を有することを特徴とする。」としてもよい。
【００２２】
また、第８の構成として以下の構成としてもよい。すなわち、「上記関数における一次導関数の値が０以上から０よりも小さい値に切り替わる転換点における輝度値は、適正露出の範囲に対応する輝度値よりも大きいことを特徴とする請求項６又は７に記載の画像変換方法。」としてもよい。
【００２３】
また、第９の構成として、以下の構成としてもよい。すなわち、「上記画像変換方法において、変換前の初期画像を変換対象の二次元画像として、画像変換を行うとともに、画像変換後の二次元画像を変換対象の二次元画像として、画像変換を行って、多眼像を作成することを特徴とする請求項６又は７又は８に記載の画像変換方法。」としてもよい。
【００２４】
また、第９の構成を以下の構成としてもよい。すなわち、「上記画像変換方法により、変換前の初期画像を変換対象の二次元画像とした変換画像で、輝度値の移動に際して左方向に移動させた左移動変換画像と、変換前の初期画像を変換対象の二次元画像とした変換画像で、輝度値の移動に際して右方向に移動させた右移動変換画像と、該左移動変換画像を変換対象の二次元画像とした変換画像で、輝度値の移動に際して左方向に移動させた第２左移動変換画像と、該右移動変換画像を変換対象の二次元画像とした変換画像で、輝度値の移動に際して右方向に移動させた第２右移動変換画像と、を作成して、変換前の初期画像とともに多眼像を形成可能とすることを特徴とする請求項６又は７又は８に記載の画像変換方法。」としてもよい。
【００２５】
また、第１０の構成として、以下の構成としてもよい。すなわち、「上記二次元画像が、静止画又は動画であることを特徴とする請求項６又は７又は８又は９に記載の画像変換方法。」としてもよい。
【００２６】
また、第１１の構成として以下の構成としてもよい。すなわち、「立体画像を表示するための立体画像表示装置であって、上記第１から第５までのいずれかの構成の画像変換装置又は上記第６から第１０までのいずれかの構成の画像変換方法により作成された二次元画像と、変換対象となった二次元画像とで構成されたステレオ画像を表示することにより、立体画像を表示することを特徴とする立体画像表示装置。」としてもよい。
【００２７】
また、第１２の構成として以下の構成としてもよい。すなわち、「立体画像を表示するための立体画像表示方法であって、上記第１から第５までのいずれかの構成の画像変換装置又は上記第６から第１０までのいずれかの構成の画像変換方法により作成された二次元画像と、変換対象となった二次元画像とで構成されたステレオ画像を表示することにより、立体画像を表示することを特徴とする立体画像表示方法。」としてもよい。
【発明の効果】
【００２８】
本発明に基づく画像変換装置及び画像変換方法によれば、輝度値に対する移動量の関係を示す関数で、特異点を除き、一次導関数の値が０以上から０よりも小さい値に切り替わる転換点を有し、輝度値０から転換点までの範囲においては、常に一次導関数の値が０以上であるとともに、該範囲の少なくとも一部においては、一次導関数の値が０よりも大きく、輝度値が転換点の輝度値を超えると、常に一次導関数の値が０より小さくなる関数に従い変換した移動量に基づき、ピクセルの水平方向の左方向又は右方向に移動して、移動先のピクセルの輝度値を移動された輝度値とするので、このように輝度値を変換することにより、輝度値を変換した二次元画像と、変換対象となった二次元画像とでステレオ画像を構成することができ、これらのステレオ画像により立体画像を表示することが可能となる。また、上記のように輝度値を変換することにより得た二次元画像と変換対象となった二次元画像とでステレオ画像を構成して三次元画像を表示することにより、積極的に両眼視差を形成して三次元画像を表示するので、迫力のある三次元画像を表示することができる。また、輝度値を移動させる際に、上記のように、転換点を超える範囲で一次導関数が０よりも小さい関数に従い移動させるので、適正露出を超えた輝度値のピクセルが含まれる画像であっても、該ピクセルの移動量を抑えることにより、該ピクセルが立体的に過度に強調されて手前に浮き上がって見えてしまうことがない。例えば、ハレーションを起こした領域が手前に浮き上がって見えてしまうのを防止することができる。
【発明を実施するための最良の形態】
【００２９】
本発明においては、二次元画像から三次元画像表示を行うための画像変換を行って、二次元画像に基づき三次元画像表示を行うことができる画像変換装置及び方法を提供するという目的を以下のようにして実現した。
【００３０】
本発明に基づく画像変換装置１０は、図１に示すように構成され、入力部２０と、出力部３０と、記憶部４０と、ＣＰＵ８０とを有している。
【００３１】
ここで、入力部２０は、変換対象の二次元画像データを入力するための入力装置で、画像データ記憶装置９０に接続されている。また、出力部３０は、変換処理された画像データを出力するための出力装置で、画像表示装置１００に接続されている。
【００３２】
また、記憶部４０は、プログラム格納部５０と、データ格納部６０とが設けられ、プログラム格納部５０は、画像変換装置１０の動作を制御するための各種プログラムが格納されていて、主として、図３に示すフローチャートに示す各動作を行うためのプログラムが格納されている。
【００３３】
また、データ格納部６０には、各種データが格納されており、特に、関数テーブル（記憶手段）７０が設けられている。
【００３４】
この関数テーブル７０は、輝度（Ｄ）と移動量（ｙ）との関係を規定する関数で、特異点を除き、輝度値０から転換点までの範囲においては、常に一次導関数の値が０以上であるとともに、該範囲の少なくとも一部においては、一次導関数の値が０よりも大きく（つまり、正）、輝度値が転換点の輝度値を超えると、常に一次導関数の値が０より小さく（つまり、負）となる関数のデータを格納している。
【００３５】
ここで、関数テーブル７０の例を示すと、図２に示すように構成され、関数テーブル７０には、図２の（ａ）に示す関数データＫ１のデータが設けられている。関数データＫ１は、図２（ａ）に示すように、輝度値（Ｄ）を横軸とし、移動量（ｙ）を縦軸としたグラフにより表され、輝度値が０から上昇するに従い移動量が上昇し、ある輝度値（転換点（変曲点としてもよい）Ｐ）（この転換点Ｐでは、移動量は１．０となっている）を過ぎると、輝度値が上昇するに従い移動量が下降する。つまり、輝度値が上昇するに従い転換点Ｐまでは一次導関数の値が０より大きく（転換点Ｐにおいては、一次導関数の値は０）が、転換点Ｐを過ぎると一次導関数の値が０より小さくなる。なお、関数データＫ１においては、二次導関数は常に０未満となっている。この関数データＫ１としては、例えば、二次関数の放物線が挙げられる。
【００３６】
なお、関数データＫ１において、転換点Ｐの輝度値は、適正露出の範囲に対応する輝度値よりも大きい値であり、通常、適正露出は輝度値の中心値（図２の例では０．５）となるので、少なくとも、転換点Ｐの輝度値は０．５よりも大きい値とする。また、例えば、適正露出の範囲の上限を０．６とする場合には、転換点Ｐの輝度値は、０．６よりも大きい値とする。
【００３７】
なお、関数テーブル７０に格納する関数データは、関数データＫ１でなくともよく、輝度値０から転換点までの範囲においては、常に一次導関数の値が０以上であるとともに、該範囲の少なくとも一部においては、一次導関数の値が０よりも大きく、輝度値が転換点の輝度値を超えると、常に一次導関数の値が０より小さくとなる関数であればよい。
【００３８】
例えば、図２（ｂ）に示す関数データＫ２のように、輝度値０から特異点Ｑ（この特異点Ｑでは、移動量は１．０となっている）までは、一次導関数が０より大きく、特異点Ｑから転換点Ｐまでは、一次導関数が０となっており、輝度値が転換点Ｐにおける輝度値よりも大きくなると、一次導関数が０より小さくなる。つまり、輝度値０から転換点の輝度値までは、一次導関数は０以上であるが、輝度値０から特異点Ｑの輝度値までは、一次導関数は０より大きくなっている。なお、輝度値０から特異点Ｑの輝度値までの範囲内と、特異点Ｑの輝度値から転換点Ｐまでの範囲内と、転換点Ｐの輝度値から輝度値１．０までの範囲では、二次導関数は０となっている。
【００３９】
また、例えば、図２（ｃ）に示す関数データＫ３のように、輝度値０から特異点Ｑ（この特異点Ｑでは、移動量は１．０となっている）までは、一次導関数が０より大きく、特異点Ｑから転換点Ｐまでは、一次導関数が０となっており、輝度値が転換点Ｐにおける輝度値よりも大きくなると、一次導関数が０より小さくなる。つまり、輝度値０から転換点の輝度値までは、一次導関数は０以上であるが、輝度値０から特異点Ｑの輝度値までは、一次導関数は０より大きくなっている。なお、二次導関数に関しては、輝度値０から特異点Ｑの輝度値までの範囲内では、０より大きく、特異点Ｑの輝度値から転換点Ｐまでの範囲内では、０であり、転換点Ｐの輝度値から輝度値１．０までの範囲では、０より大きくなっている。
【００４０】
上記の関数データＫ２、Ｋ３においても、輝度値０から転換点までの範囲においては、常に一次導関数の値が０以上であるとともに、該範囲の少なくとも一部においては、一次導関数の値が０よりも大きく、輝度値が転換点の転換点を超えると、常に一次導関数の値が０より小さくなっている。
【００４１】
以上のように、転換点を超える範囲で一次導関数の値を０よりも小さくするのは、適正露出を超えた輝度値のピクセルが含まれる画像の場合には、転換点を超える範囲で一次導関数の値を０よりも小さくしないと、適正露出を超えた輝度値のピクセルの移動量が大きくなり、該ピクセルが立体的に強調されてしまい、適切な立体表示を行うことができないからである。例えば、ハレーションが発生している画像においては、転換点を超える範囲で一次導関数の値を０よりも小さくしないと、そのハレーションを起こした領域におけるピクセルの移動量が大きくなり、その領域が立体的に強調されてしまって、ハレーションを起こした領域が手前に浮き上がって見えてしまうので、転換点を超える範囲で一次導関数の値を０よりも小さくすることにより、その領域におけるピクセルの移動量を小さくして、強調されないようにするのである。
【００４２】
なお、コンピュータグラフィック画像のように、適正露出を超えた輝度値のピクセルの割合が極端に小さい場合には、輝度値に対する移動量との関係を示す関数において、特異点を除き、一次導関数が常に０以上で、かつ、二次導関数が０以下であり、輝度値における少なくとも一部の範囲内において、常に一次導関数が０よりも大きい関数とすればよい。また、該範囲内において、常に二次導関数が０より小さいものとしてもよい。つまり、コンピュータグラフィック画像のように、適正露出を超えた輝度値のピクセルの割合が極端に小さい場合には、上記特許請求の範囲における「輝度値に対する移動量の関係を示す関数で、特異点を除き、一次導関数の値が０以上から０よりも小さい値に切り替わる転換点を有し、輝度値０から転換点までの範囲においては、常に一次導関数の値が０以上であるとともに、該範囲の少なくとも一部においては、一次導関数の値が０よりも大きく、輝度値が転換点の輝度値を超えると、常に一次導関数の値が０より小さくなる関数」を「輝度値に対する移動量の関係を示す関数で、特異点を除き、一次導関数が常に０以上で、かつ、二次導関数が０以下であり、輝度値における少なくとも一部の範囲内において、常に一次導関数が０よりも大きい関数」とすればよい。また、該範囲内において、常に二次導関数が０より小さいものとしてもよい。
【００４３】
また、ＣＰＵ８０は、画像変換装置１０における各部の動作を制御するものであり、制御装置、演算装置、主記憶装置としての機能を有し、特に、プログラム格納部５０に格納された各プログラムに従い動作し、特に、以下に示すフローチャートに示すように動作する。
【００４４】
また、画像変換装置１０の入力部２０には、画像データ記憶装置９０が接続される。この画像データ記憶装置９０は、二次元画像のデータを記憶する装置で、この画像データ記憶装置９０から二次元画像のデータが入力部２０に入力される。
【００４５】
また、画像変換装置１０の出力部３０には、画像表示装置１００が接続される。この画像表示装置１００は、ステレオ画像を表示することにより立体画像表示を行う装置であり、出力部３０からは、もとの二次元画像データと、画像変換された画像データとが画像表示装置１００に送られて、これらの画像データにより、画像表示装置１００において三次元画像表示が行われる。
【００４６】
なお、画像変換装置１０と、画像データ記憶装置９０と、画像表示装置１００とで、立
体画像表示システム５が構成される。
【００４７】
次に、上記構成の画像変換装置１０の動作について、図３〜図７等を利用して説明する。
【００４８】
まず、変換対象の二次元画像データを画像データ記憶装置９０から入力する。つまり、入力部２０において、二次元画像データを受信し、ＣＰＵ８０に送られる。ＣＰＵ８０は、送られた二次元画像データを一旦データ格納部６０に格納しておく。画像データ記憶装置９０から入力された二次元画像が、変換前の初期画像となる。
【００４９】
次に、変換対象の二次元画像の各ピクセルの輝度値に対して、最小単位の輝度値を加算する（Ｓ１１、加算工程）。例えば、輝度値が０〜２５６の範囲内で規定されている場合に、最小単位の輝度値が１の場合には、この１を加算することにより、輝度値を１〜２５７とする。このように最小単位の輝度値を加算するのは、後の工程で、無輝度ピクセルを検出する場合に支障とならないようにするためである。なお、ステップＳ１１において、輝度値を加算するためのプログラムとこれに従い動作するＣＰＵ８０が、上記加算手段として機能する。
【００５０】
次に、変換対象の二次元画像の各ピクセルの輝度値を正規化する（Ｓ１２、正規化工程）。すなわち、輝度値の最大値を１とする。つまり、輝度値の最大可能値で除算することにより正規化を行う。例えば、ステップＳ１１において、輝度値を加算することにより、輝度値が１〜２５７の範囲とした場合には、各ピクセルの輝度値に対して、最大可能値である２５７で除算して輝度値の最大可能値を１とする。これは、関数グラフにおいて、輝度値の最大値を１としているので、この関数グラフに適用可能なように輝度値の最大可能値を１とするのである。なお、ステップＳ１２において、輝度値を正規化するためのプログラムとこれに従い動作するＣＰＵ８０が、上記正規化手段として機能する。
【００５１】
次に、関数データに基づき、各ピクセルの輝度値を水平方向に移動させる（Ｓ１３、輝度値変換工程）。つまり、各ピクセルにおいて、当該ピクセルの輝度値から関数データにより移動量を算出する。この算出された移動量に従い、輝度値を移動させて、従前の輝度値に上書きして、輝度値を変換する。
【００５２】
つまり、関数データを示すＤに輝度値を入力し、算出されたｙの値により移動量を決定する。なお、ｙの値が小数点以下の値を持つ場合には、四捨五入、切り上げ、切り捨て等して小数点以下の値を処理することにより、整数の値とする。そして、輝度値をその輝度値のピクセルから、算出された整数の値に基づく個数分のピクセルを移動させる。例えば、算出されたｙの値が２．３で、四捨五入により移動量２が算出された場合には、輝度値をそのピクセルから２つ分水平方向に移動させる。
【００５３】
なお、各ピクセルの輝度値を移動させることにより、移動先のピクセルに複数の輝度値が重なった場合には、移動量の最も大きい輝度値により上書きする。つまり、移動量の最も大きい輝度値をそのピクセルの輝度値とする。
【００５４】
また、移動させる輝度値は、ステップＳ１２において正規化した値とし、また、移動方向を水平方向のいずれとするか（すなわち、左方向とするか、右方向とするか）は、予め決定しておく。例えば、左方向に移動させる場合には、変換された二次元画像を右眼用に用い、変換前の二次元画像を左眼用に用いる。また、右方向に移動させる場合には、変換された二次元画像を左眼用に用い、変換前の二次元画像を右眼用に用いる。
【００５５】
左方向に移動する場合を図示して説明すると、図４のＷ１に示すように、各ピクセルＰ２１〜Ｐ２５の輝度値（正規化後の輝度値）が、Ｙ−Ｐ２１〜Ｙ−Ｐ２５とした場合に、関数により移動量を算出した結果、ピクセルＰ２１については、移動量が１ピクセル分で、ピクセルＰ２２については、移動量が２ピクセル分で、ピクセルＰ２３については、移動量が１ピクセル分で、ピクセルＰ２４については、移動量が２ピクセル分で、ピクセルＰ２５については、移動量が１ピクセル分であるとする。
【００５６】
すると、ピクセルＰ２４については、輝度値をＹ−Ｐ２５とし、ピクセルＰ２５については、輝度値をＹ−Ｐ２６（ピクセルＰ２６から移動してきた値）とする。また、ピクセルＰ２２については、ピクセルＰ２３から移動した輝度値とピクセルＰ２４から移動した輝度値とが重なるが、ピクセルＰ２４から移動した輝度値の方が移動量が大きいので、このピクセルＰ２４の輝度値Ｙ−Ｐ２４をピクセルＰ２２の輝度値とする。
【００５７】
よって、図４のＷ１の状態から関数に基づく輝度値の移動を行うことにより、図４のＷ２の状態となる。
【００５８】
また、ピクセルＰ２１やピクセルＰ２３については、結果として移動先とならなかったピクセルであり、いわゆる無輝度ピクセルである。この無輝度ピクセルの処理の方法については後述する。
【００５９】
なお、ステップＳ１３において、輝度値を移動するためのプログラムとこれに従い動作するＣＰＵ８０が、上記輝度値変換手段として機能する。
【００６０】
次に、ステップＳ１３で各ピクセルの輝度値を移動させた後の二次元画像において、無輝度ピクセルが存在するか否かを判定する（Ｓ１４）。
【００６１】
そして、無輝度ピクセルが存在すると判定された場合には、輝度値の補間を行う（Ｓ１５、補間工程）。つまり、基本的に、水平方向に隣接する（つまり、左右に隣接する）ピクセルの輝度値をその無輝度ピクセルの輝度値とするが、無輝度ピクセルの水平方向の両側のピクセルのうち、輝度値の移動量の少ないピクセル（つまり、移動量の大きいピクセルとは水平方向に反対側のピクセル）の輝度値を当該無輝度ピクセルの輝度値とする。
【００６２】
例えば、図４のＷ２の状態においては、ピクセルＰ２３は無輝度ピクセルであり、水平方向の両側のピクセルＰ２２、Ｐ２４のうち、ピクセルＰ２４の方が移動量が少ない（つまり、ピクセルＰ２２の輝度値Ｙ−Ｐ２４の移動量は２ピクセルで、ピクセルＰ２４の輝度値Ｙ−Ｐ２５の移動量は１ピクセルである）ので、ピクセルＰ２４の輝度値Ｙ−Ｐ２５を無輝度ピクセルＰ２３の輝度値とする（図４のＷ３参照）。
【００６３】
なお、無輝度ピクセルの水平方向の両側のピクセルの移動量が整数値では同じ場合でも、整数値化する前の値を比較して、移動量を比較すればよい。
【００６４】
また、無輝度ピクセルの水平方向の両側のピクセルの移動量が整数値で同じ場合や、整数値化する前の値においても移動量が同じ場合に、左右のいずれかのピクセルの輝度値をその無輝度ピクセルの輝度値としてもよい。また、その場合に、右隣のピクセルとするか左隣のピクセルとするかを予め決定しておいてもよい。また、輝度値の移動に際して、左方向に移動させる場合には、右隣（又は左隣）のピクセルの輝度値とし、右方向に移動させる場合には、左隣（又は右隣）のピクセルの輝度値とするように、移動方向によって決定してもよい。
【００６５】
また、無輝度ピクセルの左右に隣接するピクセルのうち一方のみに輝度値がある場合には、その輝度値をその無輝度ピクセルの輝度値とする。
【００６６】
例えば、図４のＷ２において、無輝度ピクセルＰ２１については、右隣のみしか輝度値がないので、ピクセルＰ２１の輝度値は、ピクセルＰ２２の輝度値Ｙ−Ｐ２４とする（図４のＷ３参照）。
【００６７】
よって、２つの無輝度ピクセルが水平方向に連続する場合には、無機度ピクセルに隣接するピクセルで輝度値があるピクセルの輝度値をその無輝度ピクセルの輝度値とする。例えば、輝度値の移動後に、図５のＷ１１に示すように、ピクセルＰ２２とピクセルＰ２３が無輝度ピクセルとなった場合には、無輝度ピクセルＰ２２については、隣接するピクセルで輝度値があるのは、ピクセルＰ２１のみであるので、輝度値Ｙ−Ｐ２４を無輝度ピクセルＰ２２の輝度値とする。また、同様に、無輝度ピクセルＰ２３については、隣接するピクセルで輝度値があるのは、ピクセルＰ２４のみであるので、輝度値Ｙ−Ｐ２５を無輝度ピクセルＰ２３の輝度値とする。以上のようにして、図５のＷ１２に示すように、輝度値の補間が行われる。
【００６８】
また、無輝度ピクセルが水平方向に３つ以上連続する場合には、両側から順次隣接するピクセルの輝度値を無輝度ピクセルの輝度値とし、最後に残った無輝度ピクセルについては、その隣接する水平方向のピクセルの輝度値の移動量に従い決定する。
【００６９】
例えば、輝度値の移動後に、図６のＷ２１に示すように、無輝度ピクセルがピクセルＰ２２〜ピクセルＰ２４まで３つ連続した場合に、まず、ピクセルＰ２２については、ピクセルＰ２１の輝度値Ｙ−Ｐ２４をその輝度値とし、ピクセルＰ２４については、ピクセル
Ｐ２５の輝度値Ｙ−Ｐ２６をその輝度値とし（図６のＷ２２参照）、ピクセルＰ２３については、輝度値Ｙ−Ｐ２４の移動量と輝度値Ｙ−Ｐ２６の移動量に従い決定する。つまり、移動量の小さい輝度値をピクセルＰ２３の輝度値とする。図６のＷ２３は、輝度値Ｙ−Ｐ２６の移動量の方が小さいとして、輝度値Ｙ−Ｐ２６により補間を行った場合を示している。なお、移動量が同じ場合の処理は、上記と同様である。
【００７０】
なお、上記のように輝度値の補間を行うためのプログラムとこれに従い動作するＣＰＵ８０が、上記補間手段として機能する。
【００７１】
ステップＳ１５における輝度値の補間を行ったら、ステップＳ１６に移行する。一方、ステップＳ１４の判定において、無輝度ピクセルが存在しないと判定された場合には、輝度値の補間を行うことなくステップＳ１６に移行する。
【００７２】
ステップＳ１６においては、各ピクセルの輝度値に対して、正規化と逆の処理を行う（Ｓ１６、逆正規化工程）。つまり、上記ステップＳ１２においては、正規化に際して輝度値の最大値で除算する処理を行っているので、このステップＳ１６では、輝度値の最大値で乗算する処理を行う。例えば、上記の例で、輝度値の最大値が２５７の場合には、この２５７の値を各ピクセルの輝度値に乗算する。なお、ステップＳ１６において、正規化と逆の処理を行うためのプログラムとこれに従い動作するＣＰＵ８０が、上記逆正規化手段として機能する。
【００７３】
次に、各ピクセルにおいて、輝度値（つまり、正規化と逆の処理を行った輝度値）から最小単位の輝度値を減算する処理を行う（Ｓ１７、減算工程）。つまり、上記ステップＳ１１と逆の処理を行う。なお、ステップＳ１７において、輝度値の減算を行うためのプログラムとこれに従い動作するＣＰＵ８０が、上記減算手段として機能する。以上のようにして、二次元画像データに対する画像変換処理が行われる。
【００７４】
上記の説明において、図４〜図６は、縦方向のある位置の水平方向に並んだピクセルにおける処理の例を示すもので、他の位置においても同様の処理を行う。
【００７５】
なお、上記の画像変換に際しては、各ピクセルの輝度値に対する処理を行うが、各ピクセルの他のデータ、例えば、色差のデータはそのままとする。つまり、上記の画像変換において、各ピクセルについて、輝度値を加算（Ｓ１１）、正規化（Ｓ１２）、移動（Ｓ１３）、補間（Ｓ１５）、正規化と逆の処理（Ｓ１６）、減算（Ｓ１７）を行ったが、各ピクセルにおける輝度値以外のデータ、例えば、色差のデータは変換せずにそのままとする。
【００７６】
画像変換された二次元画像データと、もとの二次元画像データとでステレオ画像が構成されるので、画像変換された二次元画像データと、もとの二次元画像データとは、ともに、出力部３０から画像表示装置１００に出力する。
【００７７】
画像表示装置１００においては、ステレオ画像を表示することにより、三次元画像を表示させる。つまり、上記ステップＳ１３における輝度値の水平方向の移動に際して、左方向に移動させた場合には、画像変換後の画像データは、右眼用画像となり、もとの二次元画像は左眼用画像となるので、画像変換後の画像が観察者の右眼に入り、もとの二次元画像が観察者の左眼に入るようにする（図７参照）。
【００７８】
一方、上記ステップＳ１３における輝度値の水平方向の移動に際して、右方向に移動させた場合には、画像変換後の画像データは、左眼用画像となり、もとの二次元画像は右眼用画像となるので、画像変換後の画像が観察者の左眼に入り、もとの二次元画像が観察者
の右眼に入るようにする（図７参照）。
【００７９】
なお、観察者の効き眼についての情報を入力する等して観察者の効き眼の情報を保持しておき、原画像としての二次元画像を効き眼に入力し、変換画像を効き眼と異なる眼に入力するようにしてもよい。このように、原画像としての二次元画像を観察者の効き眼に入力して表示するので、原画像と変換画像とからなるステレオ画像のうち、観察者は原画像を主として見ることになるため、撮影者が撮影した原画像を積極的に生かすことができ、撮影者の撮影意図を十分に観察者に伝えることができる。
【００８０】
なお、この場合に、上記ステップＳ１３において輝度値を移動させる際に、移動方向を水平方向のいずれとするか（すなわち、左方向とするか、右方向とするか）は、効き眼についての情報に従う。つまり、左方向に移動させる場合には、変換画像を右眼用に用い、変換前の二次元画像を左眼用に用い、一方、右方向に移動させる場合には、変換画像を左眼用に用い、変換前の二次元画像を右眼用に用いるので、効き眼が右眼の場合には、右眼に原画像としての二次元画像を入力し、左眼に変換画像を入力することから、右方向に移動させ、一方、効き眼が左眼の場合には、左眼に原画像としての二次元画像を入力し、右眼に変換画像を入力することから、左方向に移動させる。
【００８１】
本実施例においては、上記のように画像変換することにより得た二次元画像と、変換対象となった二次元画像とでステレオ画像を構成して三次元画像を表示することにより、積極的に両眼視差を形成して三次元画像を表示するので、迫力のある三次元画像を表示することができる。
【００８２】
また、輝度値を移動させる際に、上記のように、転換点を超える範囲で一次導関数が０よりも小さい関数に従い移動させるので、適正露出を超えた輝度値のピクセルが含まれる画像であっても、該ピクセルの移動量を抑えることにより、該ピクセルが立体的に過度に強調されて手前に浮き上がって見えてしまうことがない。例えば、ハレーションを起こした領域が手前に浮き上がって見えてしまうのを防止することができる。
【００８３】
なお、上記のように画像変換して得た二次元画像データに対して、さらに、上記の方法で画像変換を行なうことにより、多眼像を形成して三次元画像表示に用いてもよい。
【００８４】
例えば、もとの二次元画像データに対して、左方向に移動させた画像変換を行うとともに、右方向に移動させた画像変換を行って、２つの変換画像を作成し、各変換画像をもとにしてさらに変換画像を作成して、多眼像を作成し、多眼像における隣接する２つの画像の一方を観察者の右眼と左眼の一方に入力し、他方を右眼と左眼の他方に入力することにより、立体画像を表示することができる。
【００８５】
つまり、変換前の初期画像である二次元画像に対して上記の画像変換を行って（つまり、上記ステップＳ１１〜Ｓ１７の処理を行う。なお、ステップＳ１３においては左方向に輝度値を移動させる）、左移動変換画像を作成し、その後、この左移動変換画像に対して上記の画像変換を行って（つまり、上記ステップＳ１１〜Ｓ１７の処理を行う。なお、ステップＳ１３においては左方向に輝度値を移動させる）、第２左移動変換画像を作成する。また、同様に、もとの二次元画像に対して上記の画像変換を行って（つまり、上記ステップＳ１１〜Ｓ１７の処理を行う。なお、ステップＳ１３においては右方向に輝度値を移動させる）、右移動変換画像を作成し、その後、この右移動変換画像に対して上記の画像変換を行って（つまり、上記ステップＳ１１〜Ｓ１７の処理を行う。なお、ステップＳ１３においては右方向に輝度値を移動させる）、第２右移動変換画像を作成する。以上のようにして、変換前の初期画像である二次元画像を含めた５つの画像を多眼像として三次元画像表示するようにする。
【００８６】
なお、変換後の二次元画像に対して上記の画像変換を繰り返すことにより、５つよりも多くの画像を用いて多眼像としてもよく、また、少なくとも３つ以上の画像により多眼像を形成すればよい。
【００８７】
なお、上記の画像変換の処理の対象となる画像は、二次元画像であればよく、静止画でも動画でもよい。つまり、動画の場合には、動画を構成する各二次元画像に上記の画像変換を行うことになる。
【図面の簡単な説明】
【００８８】
【図１】本発明の実施例に基づく画像変換装置とこれを含む立体画像表示システムの構成を示すブロック図である。
【図２】関数テーブルに格納された関数データの例を示す説明図である。
【図３】画像変換装置の動作を示すフローチャートである。
【図４】画像変換装置の動作を示す説明図である。
【図５】画像変換装置の動作を示す説明図である。
【図６】画像変換装置の動作を示す説明図である。
【図７】立体画像表示を行う場合の画像の適用例を示す説明図である。
【符号の説明】
【００８９】
５  立体画像表示システム
１０  画像変換装置
２０  入力部
３０  出力部
４０  記憶部
５０  プログラム格納部
６０  データ格納部
７０  関数テーブル
８０  ＣＰＵ
１００  画像表示装置
【図１】
0004918425.tif 000002
【図２】
0004918425.tif 000003
【図３】
0004918425.tif 000004
【図４】
0004918425.tif 000005
【図５】
0004918425.tif 000006
【図６】
0004918425.tif 000007
【図７】
0004918425.tif 000008