(57)【要約】【課題】ＩＰ方式画像を多眼式画像に変換し、ＩＰ方式画像を、多眼式画像を用いるアプリケーションに適用する。【解決手段】画像変換装置１に備えた変換部１３のＧＦ変換部２１は、平面投影法を用いた変換規則の式（２）：ｆ（ｓ，ｔ，ｕ，ｖ）＝ｇ（ｕ，ｖ，ｍａｘ（ｓ）−ｓ，ｍａｘ（ｔ）−ｔ）に従って、ＩＰ方式画像Ｇを構成する視点位置画像Ｇ（ｍａｘ（ｓ）−ｓ，ｍａｘ（ｔ）−ｔ）における画素位置（ｕ，ｖ）の画素値をメモリ１２から読み出し、読み出した画素値を、多眼式画像Ｆを構成する視点位置画像Ｆ（ｕ，ｖ）における画素位置（ｓ，ｔ）の画素値としてメモリ１４に格納する。これにより、メモリ１４には多眼式画像Ｆが格納される。この多眼式画像Ｆは、メモリ１２に格納された変換元のＩＰ方式画像Ｇに対応する画像である。【選択図】図５
2015133548.tif 000002
【特許請求の範囲】
【請求項１】
ＩＰ（インテグラルフォトグラフィ）方式画像が、インテグラル撮影に用いるマイクロレンズアレーを構成する複数の要素レンズのそれぞれに対応した視点位置画像により構成され、多眼式画像が、多視点撮影に用いる複数のカメラのそれぞれに対応する視点位置画像により構成される場合の、前記ＩＰ方式画像と前記多眼式画像との間で画像変換を行う画像変換装置であって、
前記インテグラル撮影にて得られた前記ＩＰ方式画像、または前記多視点撮影にて得られた前記多眼式画像が格納されたメモリと、
所定の変換規則に従って、前記メモリに格納された一方の方式の画像を構成する視点位置画像における所定の画素位置の画素値を読み出し、前記読み出した画素値を、他の方式の画像を構成する視点位置画像における所定の画素位置の画素値として前記メモリに格納し、前記一方の方式の画像を前記他の方式の画像に変換する変換部とを備え、
前記所定の変換規則は、前記一方の方式の画像を構成する全ての視点位置画像における同じ画素位置の画素値と、前記他の方式の画像を構成する全ての視点位置画像のうちの１つの視点位置画像における画素値とが対応し、かつ、前記一方の方式の画像を構成する視点位置画像内における画素の画素位置と、前記他の方式の画像内における視点位置画像の視点位置とが対応するように定義されている、ことを特徴とする画像変換装置。
【請求項２】
請求項１に記載の画像変換装置において、
前記ＩＰ方式画像を構成する視点位置画像の視点位置を（ｓ，ｔ）とし、前記ＩＰ方式画像を構成する視点位置画像の画素の画素位置を（ｕ，ｖ）とし、前記ＩＰ方式画像を構成する視点位置画像内の画素値をｇ（ｕ，ｖ，ｓ，ｔ）とし、前記多眼式画像を構成する視点位置画像の視点位置を（ｕ，ｖ）とし、前記多眼式画像を構成する視点位置画像の画素の画素位置を（ｓ，ｔ）とし、前記多眼式画像を構成する視点位置画像内の画素値をｆ（ｓ，ｔ，ｕ，ｖ）とし、前記ｕ，ｖ，ｓ，ｔのそれぞれを０から始まる整数とし、ｍａｘ（ｓ）を前記ｓの最大値とし、ｍａｘ（ｔ）を前記ｔの最大値とした場合に、
前記変換部は、
平面投影法を用いた前記所定の変換規則の数式：
ｆ（ｓ，ｔ，ｕ，ｖ）＝ｇ（ｕ，ｖ，ｍａｘ（ｓ）−ｓ，ｍａｘ（ｔ）−ｔ）
に従って、前記メモリに格納されたＩＰ方式画像を構成する視点位置画像における所定の画素位置の画素値を読み出し、前記読み出した画素値を、多眼式画像を構成する視点位置画像における所定の画素位置の画素値として前記メモリに格納し、前記ＩＰ方式画像を前記多眼式画像に変換する、ことを特徴とする画像変換装置。
【請求項３】
請求項１に記載の画像変換装置において、
前記ＩＰ方式画像を構成する視点位置画像の視点位置を（ｓ，ｔ）とし、前記ＩＰ方式画像を構成する視点位置画像の画素の画素位置を（ｕ，ｖ）とし、前記ＩＰ方式画像を構成する視点位置画像内の画素値をｇ（ｕ，ｖ，ｓ，ｔ）とし、前記多眼式画像を構成する視点位置画像の視点位置を（ｕ，ｖ）とし、前記多眼式画像を構成する視点位置画像の画素の画素位置を（ｓ，ｔ）とし、前記多眼式画像を構成する視点位置画像内の画素値をｆ（ｓ，ｔ，ｕ，ｖ）とし、前記ｕ，ｖ，ｓ，ｔのそれぞれを０から始まる整数とし、ｍａｘ（ｕ）を前記ｕの最大値とし、ｍａｘ（ｖ）を前記ｖの最大値とした場合に、
前記変換部は、
平面投影法を用いた前記所定の変換規則の数式：
ｇ（ｕ，ｖ，ｓ，ｔ）＝ｆ（ｓ，ｔ，ｍａｘ（ｕ）−ｕ，ｍａｘ（ｖ）−ｖ）
に従って、前記メモリに格納された多眼式画像を構成する視点位置画像における所定の画素位置の画素値を読み出し、前記読み出した画素値を、ＩＰ方式画像を構成する視点位置画像における所定の画素位置の画素値として前記メモリに格納し、前記多眼式画像を前記ＩＰ方式画像に変換する、ことを特徴とする画像変換装置。
【請求項４】
請求項１に記載の画像変換装置において、
前記ＩＰ方式画像を構成する視点位置画像の視点位置を（ｓ，ｔ）とし、前記ＩＰ方式画像を構成する視点位置画像の画素の画素位置を（ｕ，ｖ）とし、前記ＩＰ方式画像を構成する視点位置画像内の画素値をｇ（ｕ，ｖ，ｓ，ｔ）とし、前記多眼式画像を構成する視点位置画像の視点位置を（ｕ，ｖ）とし、前記多眼式画像を構成する視点位置画像の画素の画素位置を（ｓ，ｔ）とし、前記多眼式画像を構成する視点位置画像内の画素値をｆ（ｓ，ｔ，ｕ，ｖ）とし、前記ｕ，ｖ，ｓ，ｔのそれぞれを０から始まる整数とし、ｍａｘ（ｓ）を前記ｓの最大値とし、ｍａｘ（ｔ）を前記ｔの最大値とし、０と前記ｕの最大値との間の中央値をｕcとし、前記ＩＰ方式画像を構成する視点位置画像の視点位置（ｓ，ｔ）からみて、前記多眼式画像を構成する視点位置画像における視点位置の座標値ｕと視点位置の座標値ｕcとがつくる角度をθとし、０と前記ｖの最大値との間の中央値をｖcとし、前記ＩＰ方式画像を構成する視点位置画像の視点位置（ｓ，ｔ）からみて、前記多眼式画像を構成する視点位置画像における視点位置の座標値ｖと視点位置の座標値ｖcとがつくる角度をφとした場合に、
前記変換部は、
球面投影法を用いた前記所定の変換規則の数式：
ｆ（ｓ，ｔ，ｕ，ｖ）＝ｇ（ｕ，ｖ，（ｍａｘ（ｓ）−ｓ）／ｃｏｓθ，（ｍａｘ（ｔ）−ｔ）／ｃｏｓφ）
に従って、前記メモリに格納されたＩＰ方式画像を構成する視点位置画像における所定の画素位置の画素値を読み出し、前記読み出した画素値を、多眼式画像を構成する視点位置画像における所定の画素位置の画素値として前記メモリに格納し、前記ＩＰ方式画像を前記多眼式画像に変換する、ことを特徴とする画像変換装置。
【請求項５】
請求項１に記載の画像変換装置において、
前記ＩＰ方式画像を構成する視点位置画像の視点位置を（ｓ，ｔ）とし、前記ＩＰ方式画像を構成する視点位置画像の画素の画素位置を（ｕ，ｖ）とし、前記ＩＰ方式画像を構成する視点位置画像内の画素値をｇ（ｕ，ｖ，ｓ，ｔ）とし、前記多眼式画像を構成する視点位置画像の視点位置を（ｕ，ｖ）とし、前記多眼式画像を構成する視点位置画像の画素の画素位置を（ｓ，ｔ）とし、前記多眼式画像を構成する視点位置画像内の画素値をｆ（ｓ，ｔ，ｕ，ｖ）とし、前記ｕ，ｖ，ｓ，ｔのそれぞれを０から始まる整数とし、ｍａｘ（ｕ）を前記ｕの最大値とし、ｍａｘ（ｖ）を前記ｖの最大値とし、０と前記ｕの最大値との間の中央値をｕcとし、前記ＩＰ方式画像を構成する視点位置画像の視点位置（ｓ，ｔ）からみて、前記多眼式画像を構成する視点位置画像における視点位置の座標値ｕと視点位置の座標値ｕcとがつくる角度をθとし、０と前記ｖの最大値との間の中央値をｖcとし、前記ＩＰ方式画像を構成する視点位置画像の視点位置（ｓ，ｔ）からみて、前記多眼式画像を構成する視点位置画像における視点位置の座標値ｖと視点位置の座標値ｖcとがつくる角度をφとした場合に、
前記変換部は、
球面投影法を用いた前記所定の変換規則の数式：
ｇ（ｕ，ｖ，ｓ，ｔ）＝ｆ（ｓ，ｔ，（ｍａｘ（ｕ）−ｕ）／ｃｏｓθ，（ｍａｘ（ｖ）−ｖ）／ｃｏｓφ）
に従って、前記メモリに格納された多眼式画像を構成する視点位置画像における所定の画素位置の画素値を読み出し、前記読み出した画素値を、ＩＰ方式画像を構成する視点位置画像における所定の画素位置の画素値として前記メモリに格納し、前記多眼式画像を前記ＩＰ方式画像に変換する、ことを特徴とする画像変換装置。
【請求項６】
コンピュータを、請求項１から５までのいずれか一項に記載の画像変換装置として機能させるための画像変換プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元空間を表現する画像の方式を変換する画像変換装置及びプログラムに関する。
【背景技術】
【０００２】
従来、３次元空間の奥行方向の前後関係を把握するための撮影手法として、多視点撮影及びインテグラル撮影が知られている（例えば、非特許文献１を参照）。多視点撮影は、複数のカメラを用いて視差のある複数の画像を同時に撮影する手法であり、インテグラル撮影は、マイクロレンズアレー（フライアイレンズ）を使用して１台のカメラで複数の画像を同時に撮影する手法である。
【０００３】
前者の多視点撮影の考え方によれば、近年実用化されている２眼立体カメラは、多視点撮影のカメラを２個に限定したものとみなすことができる。多視点撮影は、映画「マトリックス」の銃弾をよけるシーンで採用されて有名になり、その後、３次元空間の奥行きを効果的に表現する手法として多用されている。以下、多視点撮影によって得られる画像を「多眼式画像」という。
【０００４】
一方、後者のインテグラル撮影は、立体テレビとしてよりも、ライトフィールドカメラのリフォーカス機能、または奥行を計測するためのパッシブセンサ（パッシブセンサではないが、現在は、例えば、ＫＩＮＥＣＴ（登録商標）に代表される赤外線方式のアクティブセンサが一般的である）として、早期の実用化が可能であると予測される。以下、インテグラル撮影によって得られる画像を「ＩＰ（Integral Photography：インテグラルフォトグラフィ）方式画像」という。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】小池崇文、“光線空間のサンプリングに基づいた多眼式立体ディスプレイ及びインテグラルフォトグラフィ立体ディスプレイの測定”、［online］、２００９年３月６日、フラットパネルディスプレイの人間工学シンポジウム２００９、［平成２５年１１月２１日検索］、インターネット＜ＵＲＬ：http://home.jeita.or.jp/device/lirec/symposium/fpd_2009/doc/4e_koike.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このような撮影手法によって得られた３次元空間を表現する多眼式画像及びＩＰ方式画像は、様々なアプリケーションの入力画像として用いられる。例えば、マトリックスカメラ、及び本出願と同一の出願人により出願され、本出願の出願時に未公開の特願２０１３−１０３４６２号に記載された被写界深度ボケ評価装置等を用いたアプリケーションでは、多眼式画像が入力される。ライトフィールドカメラ及び立体テレビ等を用いたアプリケーションでは、ＩＰ方式画像が入力される。
【０００７】
また、被写体の大きさ、応用分野等に依存して、多眼式画像を用いた方が都合のよい場合があり、一方で、ＩＰ方式画像を用いた方が都合のよい場合もある。
【０００８】
このように、従来は、多視点撮影により得られた多眼式画像は、多眼式画像を入力するアプリケーションのみに用いられ、インテグラル撮影により得られたＩＰ方式画像は、ＩＰ方式画像を入力するアプリケーションのみに用いられていた。このため、アプリケーションに入力する画像を得るために、特定の撮影手法を採用する必要があり、様々な撮影手法により得られた画像を様々なアプリケーションに適用することができないという問題があった。
【０００９】
すなわち、多眼式画像は、ＩＰ方式画像を用いるアプリケーションに適用することができず、また、ＩＰ方式画像は、多眼式画像を用いるアプリケーションに適用することができないという問題があった。
【００１０】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、ＩＰ方式画像を多眼式画像に変換し、または／及び多眼式画像をＩＰ方式画像に変換可能な画像変換装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
前記目的を達成するために、請求項１の画像変換装置は、ＩＰ（インテグラルフォトグラフィ）方式画像が、インテグラル撮影に用いるマイクロレンズアレーを構成する複数の要素レンズのそれぞれに対応した視点位置画像により構成され、多眼式画像が、多視点撮影に用いる複数のカメラのそれぞれに対応する視点位置画像により構成される場合の、前記ＩＰ方式画像と前記多眼式画像との間で画像変換を行う画像変換装置であって、前記インテグラル撮影にて得られた前記ＩＰ方式画像、または前記多視点撮影にて得られた前記多眼式画像が格納されたメモリと、所定の変換規則に従って、前記メモリに格納された一方の方式の画像を構成する視点位置画像における所定の画素位置の画素値を読み出し、前記読み出した画素値を、他の方式の画像を構成する視点位置画像における所定の画素位置の画素値として前記メモリに格納し、前記一方の方式の画像を前記他の方式の画像に変換する変換部とを備え、前記所定の変換規則が、前記一方の方式の画像を構成する全ての視点位置画像における同じ画素位置の画素値と、前記他の方式の画像を構成する全ての視点位置画像のうちの１つの視点位置画像における画素値とが対応し、かつ、前記一方の方式の画像を構成する視点位置画像内における画素の画素位置と、前記他の方式の画像内における視点位置画像の視点位置とが対応するように定義されている、ことを特徴とする。
【００１２】
また、請求項２の画像変換装置は、請求項１に記載の画像変換装置において、前記ＩＰ方式画像を構成する視点位置画像の視点位置を（ｓ，ｔ）とし、前記ＩＰ方式画像を構成する視点位置画像の画素の画素位置を（ｕ，ｖ）とし、前記ＩＰ方式画像を構成する視点位置画像内の画素値をｇ（ｕ，ｖ，ｓ，ｔ）とし、前記多眼式画像を構成する視点位置画像の視点位置を（ｕ，ｖ）とし、前記多眼式画像を構成する視点位置画像の画素の画素位置を（ｓ，ｔ）とし、前記多眼式画像を構成する視点位置画像内の画素値をｆ（ｓ，ｔ，ｕ，ｖ）とし、前記ｕ，ｖ，ｓ，ｔのそれぞれを０から始まる整数とし、ｍａｘ（ｓ）を前記ｓの最大値とし、ｍａｘ（ｔ）を前記ｔの最大値とした場合に、前記変換部が、平面投影法を用いた前記所定の変換規則の数式：ｆ（ｓ，ｔ，ｕ，ｖ）＝ｇ（ｕ，ｖ，ｍａｘ（ｓ）−ｓ，ｍａｘ（ｔ）−ｔ）に従って、前記メモリに格納されたＩＰ方式画像を構成する視点位置画像における所定の画素位置の画素値を読み出し、前記読み出した画素値を、多眼式画像を構成する視点位置画像における所定の画素位置の画素値として前記メモリに格納し、前記ＩＰ方式画像を前記多眼式画像に変換する、ことを特徴とする。
【００１３】
また、請求項３の画像変換装置は、請求項１に記載の画像変換装置において、前記ＩＰ方式画像を構成する視点位置画像の視点位置を（ｓ，ｔ）とし、前記ＩＰ方式画像を構成する視点位置画像の画素の画素位置を（ｕ，ｖ）とし、前記ＩＰ方式画像を構成する視点位置画像内の画素値をｇ（ｕ，ｖ，ｓ，ｔ）とし、前記多眼式画像を構成する視点位置画像の視点位置を（ｕ，ｖ）とし、前記多眼式画像を構成する視点位置画像の画素の画素位置を（ｓ，ｔ）とし、前記多眼式画像を構成する視点位置画像内の画素値をｆ（ｓ，ｔ，ｕ，ｖ）とし、前記ｕ，ｖ，ｓ，ｔのそれぞれを０から始まる整数とし、ｍａｘ（ｕ）を前記ｕの最大値とし、ｍａｘ（ｖ）を前記ｖの最大値とした場合に、前記変換部が、平面投影法を用いた前記所定の変換規則の数式：ｇ（ｕ，ｖ，ｓ，ｔ）＝ｆ（ｓ，ｔ，ｍａｘ（ｕ）−ｕ，ｍａｘ（ｖ）−ｖ）に従って、前記メモリに格納された多眼式画像を構成する視点位置画像における所定の画素位置の画素値を読み出し、前記読み出した画素値を、ＩＰ方式画像を構成する視点位置画像における所定の画素位置の画素値として前記メモリに格納し、前記多眼式画像を前記ＩＰ方式画像に変換する、ことを特徴とする。
【００１４】
また、請求項４の画像変換装置は、請求項１に記載の画像変換装置において、前記ＩＰ方式画像を構成する視点位置画像の視点位置を（ｓ，ｔ）とし、前記ＩＰ方式画像を構成する視点位置画像の画素の画素位置を（ｕ，ｖ）とし、前記ＩＰ方式画像を構成する視点位置画像内の画素値をｇ（ｕ，ｖ，ｓ，ｔ）とし、前記多眼式画像を構成する視点位置画像の視点位置を（ｕ，ｖ）とし、前記多眼式画像を構成する視点位置画像の画素の画素位置を（ｓ，ｔ）とし、前記多眼式画像を構成する視点位置画像内の画素値をｆ（ｓ，ｔ，ｕ，ｖ）とし、前記ｕ，ｖ，ｓ，ｔのそれぞれを０から始まる整数とし、ｍａｘ（ｓ）を前記ｓの最大値とし、ｍａｘ（ｔ）を前記ｔの最大値とし、０と前記ｕの最大値との間の中央値をｕcとし、前記ＩＰ方式画像を構成する視点位置画像の視点位置（ｓ，ｔ）からみて、前記多眼式画像を構成する視点位置画像における視点位置の座標値ｕと視点位置の座標値ｕcとがつくる角度をθとし、０と前記ｖの最大値との間の中央値をｖcとし、前記ＩＰ方式画像を構成する視点位置画像の視点位置（ｓ，ｔ）からみて、前記多眼式画像を構成する視点位置画像における視点位置の座標値ｖと視点位置の座標値ｖcとがつくる角度をφとした場合に、前記変換部が、球面投影法を用いた前記所定の変換規則の数式：ｆ（ｓ，ｔ，ｕ，ｖ）＝ｇ（ｕ，ｖ，（ｍａｘ（ｓ）−ｓ）／ｃｏｓθ，（ｍａｘ（ｔ）−ｔ）／ｃｏｓφ）に従って、前記メモリに格納されたＩＰ方式画像を構成する視点位置画像における所定の画素位置の画素値を読み出し、前記読み出した画素値を、多眼式画像を構成する視点位置画像における所定の画素位置の画素値として前記メモリに格納し、前記ＩＰ方式画像を前記多眼式画像に変換する、ことを特徴とする。
【００１５】
また、請求項５の画像変換装置は、請求項１に記載の画像変換装置において、前記ＩＰ方式画像を構成する視点位置画像の視点位置を（ｓ，ｔ）とし、前記ＩＰ方式画像を構成する視点位置画像の画素の画素位置を（ｕ，ｖ）とし、前記ＩＰ方式画像を構成する視点位置画像内の画素値をｇ（ｕ，ｖ，ｓ，ｔ）とし、前記多眼式画像を構成する視点位置画像の視点位置を（ｕ，ｖ）とし、前記多眼式画像を構成する視点位置画像の画素の画素位置を（ｓ，ｔ）とし、前記多眼式画像を構成する視点位置画像内の画素値をｆ（ｓ，ｔ，ｕ，ｖ）とし、前記ｕ，ｖ，ｓ，ｔのそれぞれを０から始まる整数とし、ｍａｘ（ｕ）を前記ｕの最大値とし、ｍａｘ（ｖ）を前記ｖの最大値とし、０と前記ｕの最大値との間の中央値をｕcとし、前記ＩＰ方式画像を構成する視点位置画像の視点位置（ｓ，ｔ）からみて、前記多眼式画像を構成する視点位置画像における視点位置の座標値ｕと視点位置の座標値ｕcとがつくる角度をθとし、０と前記ｖの最大値との間の中央値をｖcとし、前記ＩＰ方式画像を構成する視点位置画像の視点位置（ｓ，ｔ）からみて、前記多眼式画像を構成する視点位置画像における視点位置の座標値ｖと視点位置の座標値ｖcとがつくる角度をφとした場合に、前記変換部が、球面投影法を用いた前記所定の変換規則の数式：ｇ（ｕ，ｖ，ｓ，ｔ）＝ｆ（ｓ，ｔ，（ｍａｘ（ｕ）−ｕ）／ｃｏｓθ，（ｍａｘ（ｖ）−ｖ）／ｃｏｓφ）に従って、前記メモリに格納された多眼式画像を構成する視点位置画像における所定の画素位置の画素値を読み出し、前記読み出した画素値を、ＩＰ方式画像を構成する視点位置画像における所定の画素位置の画素値として前記メモリに格納し、前記多眼式画像を前記ＩＰ方式画像に変換する、ことを特徴とする。
【００１６】
さらに、請求項６の画像変換プログラムは、コンピュータを、請求項１から５までのいずれか一項に記載の画像変換装置として機能させることを特徴とする。
【発明の効果】
【００１７】
以上のように、本発明によれば、ＩＰ方式画像を多眼式画像に変換することができるから、ＩＰ方式画像を、多眼式画像を用いるアプリケーションに適用することが可能となる。また、多眼式画像をＩＰ方式画像に変換することができるから、多眼式画像を、ＩＰ方式画像を用いるアプリケーションに適用することが可能となる。したがって、様々な撮影手法にて得られたＩＰ方式画像または多眼式画像を、あらゆるアプリケーションに適用することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】多視点撮影の原理を説明する図である。
【図２】インテグラル撮影の原理を説明する図である。
【図３】本発明の実施形態による画像変換装置の概要を説明する図である。
【図４】本発明の実施形態による画像変換装置の構成を示すブロック図である。
【図５】変換部の構成を示すブロック図である。
【図６】ＩＰ方式画像Ｇの構成を説明する図である。
【図７】多眼式画像Ｆの構成を説明する図である。
【図８】ＩＰ方式画像Ｇの画素値ｇ（ｕ，ｖ，ｓ，ｔ）を説明する図である。
【図９】多眼式画像Ｆの画素値ｆ（ｓ，ｔ，ｕ，ｖ）を説明する図である。
【図１０】ＩＰ方式画像Ｇを多眼式画像Ｆに変換する処理の概念を示す模式図である。
【図１１】ＩＰ方式画像Ｇを多眼式画像Ｆに変換する際の平面投影法を模式的に示す断面図である。
【図１２】平面投影法を用いてＩＰ方式画像Ｇを多眼式画像Ｆに変換する変換規則において、視点位置の関係を説明する図である。
【図１３】平面投影法を用いてＩＰ方式画像Ｇを多眼式画像Ｆに変換する変換規則において、画素位置の関係を説明する図である。
【図１４】ＧＦ変換部の処理を示すフローチャートである。
【図１５】ＦＧ変換部の処理を示すフローチャートである。
【図１６】ＩＰ方式画像Ｇを多眼式画像Ｆに変換する際の球面投影法を模式的に示す断面図である。
【発明を実施するための形態】
【００１９】
本発明の実施形態を説明する前に、多眼式画像及びＩＰ方式画像を撮影する原理についてそれぞれ説明する。図１は、多視点撮影の原理を説明する図である。視点位置の異なるｎ個（ｎ＞１）のカメラ５を用いて被写体４を同時に撮影することにより、多眼式画像Ｆが得られる。
【００２０】
多眼式画像Ｆは、複数のカメラ５のそれぞれに対応する視差のある画像群であり、立体情報が含まれる。一般に、ｎが大きいほど、立体情報を詳細に得ることができ、最も小さいｎ＝２とした場合のカメラ５は二眼式カメラである。
【００２１】
図２は、インテグラル撮影の原理を説明する図である。ＩＰ方式画像Ｇの撮影においては、図１に示した多眼式画像Ｆの撮影と異なり、使用するカメラ８は１台である。カメラ８と被写体４との間にマイクロレンズアレー６を配置し、１台のカメラ８を用いて被写体４を撮影することにより、ＩＰ方式画像Ｇが得られる。
【００２２】
ＩＰ方式画像Ｇは、マイクロレンズアレー６を構成する複数の要素レンズ７のそれぞれに対応する画像からなる。マイクロレンズアレー６はフライアイレンズとも呼ばれ、１個の要素レンズ７にて得られる画像は、魚眼レンズを用いて得られる画像に近い。
【００２３】
ＩＰ方式画像Ｇと中心射影方式を用いて得られる通常のカメラの画像とを比較すると、ＩＰ方式画像Ｇは歪んでいるように見える。これは、魚眼レンズで採用される等距離射影方式または等立体角射影方式によるものであり、必ずしも歪みにより情報が劣化しているとは限らない。また、１個の要素レンズ７にてカバーできる画角は、多眼式画像Ｆよりも小さいが、ＩＰ方式画像Ｇは、１個の要素レンズ７の口径が小さいため、被写界深度が深くてボケが少ないという利点がある。
【００２４】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。図１及び図２に示したように、一般に、多眼式画像Ｆでは視点位置を定義できるが、ＩＰ方式画像Ｇでは視点位置を定義することができない。本発明の実施形態による画像変換装置は、ＩＰ方式画像Ｇの視点位置を仮に設定し、多眼式画像Ｆにおける視点位置の画像とＩＰ方式画像Ｇにおける視点位置の画像との間で画素を対応付けた変換規則に従って、近似的な計算を行い、異なる方式の画像に相互変換する。
【００２５】
〔画像変換装置の概要〕
まず、本発明の実施形態による画像変換装置の概要について説明する。図３は、画像変換装置の概要を説明する図である。この画像変換装置１は、多眼式画像Ｆを入力し、多眼式画像ＦをＩＰ方式画像Ｇに変換し、ＩＰ方式画像Ｇをアプリケーション３へ出力する。また、画像変換装置１は、ＩＰ方式画像Ｇを入力し、ＩＰ方式画像Ｇを多眼式画像Ｆに変換し、多眼式画像Ｆをアプリケーション２へ出力する。
【００２６】
具体的には、画像変換装置１は、コンピュータメモリに多眼式画像ＦまたはＩＰ方式画像Ｇをロードし、予め設定された変換法に従って、一方の画像を他方の画像に変換し、コンピュータメモリに格納する。画像の変換法には、例えば平面投影法、球面投影法があり、変換法は、変換後の画像の用途に応じてオペレータによって選択される。このようにして変換された画像は、アプリケーション２，３の入力データとして使用され、または、ファイルとして保存される。
【００２７】
アプリケーション２は、多眼式画像Ｆを入力して動作するアプリケーションであり、アプリケーション３は、ＩＰ方式画像Ｇを入力して動作するアプリケーションである。
【００２８】
このように、画像変換装置１において、多眼式画像ＦがＩＰ方式画像Ｇに変換されることにより、多眼式画像Ｆを、ＩＰ方式画像Ｇを用いるアプリケーション３に適用することができる。また、ＩＰ方式画像Ｇが多眼式画像Ｆに変換されることにより、ＩＰ方式画像Ｇを、多眼式画像Ｆを用いるアプリケーション２に適用することができる。したがって、多眼式画像Ｆ及びＩＰ方式画像Ｇの使用範囲をそれぞれ拡大することができ、使い勝手の良いアプリケーション２，３を実現することができる。
【００２９】
尚、画像変換装置１は、多眼式画像Ｆを入力してＩＰ方式画像Ｇに変換する機能、及びＩＰ方式画像Ｇを入力して多眼式画像Ｆに変換する機能の両方を有する場合もあるし、前者の機能のみを有する場合もあり、また、後者の機能のみを有する場合もあり得る。
【００３０】
〔画像変換装置の構成〕
次に、図３に示した画像変換装置１の構成について説明する。図４は、画像変換装置１の構成を示すブロック図である。この画像変換装置１は、入力部１１、メモリ１２，１４、変換部１３及び出力部１５を備えている。
【００３１】
入力部１１は、ＩＰ方式画像Ｇまたは多眼式画像Ｆを入力し、入力した画像を変換元の画像としてメモリ１２に格納する。これにより、メモリ１２には、変換元の画像としてＩＰ方式画像Ｇまたは多眼式画像Ｆが格納される。
【００３２】
変換部１３は、メモリ１２からＩＰ方式画像Ｇまたは多眼式画像Ｆを読み出し、所定の変換法による変換規則に従って画像変換を行い、変換後の画像をメモリ１４に格納する。これにより、メモリ１４には、変換後の画像として多眼式画像ＦまたはＩＰ方式画像Ｇが格納される。
【００３３】
出力部１５は、メモリ１４から多眼式画像ＦまたはＩＰ方式画像Ｇを読み出し、読み出した画像を変換後の画像として出力する。
【００３４】
〔変換部の構成〕
図５は、図４に示した変換部１３の構成を示すブロック図である。この変換部１３は、ＧＦ変換部２１及びＦＧ変換部２２を備えている。ＧＦ変換部２１は、ＩＰ方式画像Ｇを多眼式画像Ｆに変換するための所定の変換法による変換規則に従って、メモリ１２からＩＰ方式画像Ｇにおける所定の画素位置の画素値を読み出し、読み出した画素値を、多眼式画像Ｆにおける所定の画素位置の画素値として、メモリ１４に格納する。これにより、メモリ１４には、変換後の画像として多眼式画像Ｆが格納される。
【００３５】
ＦＧ変換部２２は、多眼式画像ＦをＩＰ方式画像Ｇに変換するための所定の変換法による変換規則に従って、メモリ１２から多眼式画像Ｆにおける所定の画素位置の画素値を読み出し、読み出した画素値を、ＩＰ方式画像Ｇにおける所定の画素位置の画素値として、メモリ１４に格納する。これにより、メモリ１４には、変換後の画像としてＩＰ方式画像Ｇが格納される。
【００３６】
〔ＩＰ方式画像Ｇ、多眼式画像Ｆ〕
図６は、ＩＰ方式画像Ｇの構成を説明する図である。ＩＰ方式画像Ｇは、複数の視点位置画像Ｇ（ｓ，ｔ）により構成される。視点位置画像Ｇ（ｓ，ｔ）は、マイクロレンズアレー６を構成する複数の要素レンズ７（図２を参照）のそれぞれに対応した画像であり、ＩＰ方式画像Ｇの視点位置を要素レンズ７に設定した場合の画像でもある。
【００３７】
（ｓ，ｔ）は、ＩＰ方式画像Ｇにおけるｘ−ｙ平面上の視点位置を示す座標（要素レンズ位置座標）である。座標値ｓ＝０，１，・・・，Ｓとし、座標値ｔ＝０，１，・・・，Ｔとする。Ｓはｓの最大値（Ｓ＝ｍａｘ（ｓ））であり、Ｔはｔの最大値（Ｔ＝ｍａｘ（ｔ））である。また、マイクロレンズアレー６を構成する要素レンズ７の数は、（Ｓ＋１）×（Ｔ＋１）である。
【００３８】
つまり、図６のＩＰ方式画像Ｇは、（Ｓ＋１）×（Ｔ＋１）個の視点位置画像Ｇ（ｓ，ｔ）により構成される。また、１個の視点位置画像Ｇ（ｓ，ｔ）は、画素数（Ｕ＋１）×（Ｖ＋１）の画素により構成される。このＵ及びＶは、後述の図７に示す多眼式画像Ｆの視点位置における座標値の最大値として用いられる。
【００３９】
図７は、多眼式画像Ｆの構成を説明する図である。多眼式画像Ｆは、複数の視点位置画像Ｆ（ｕ，ｖ）により構成される。視点位置画像Ｆ（ｕ，ｖ）は、複数のカメラ５（図１を参照）のそれぞれに対応した画像であり、多眼式画像Ｆの視点位置がカメラ５のそれぞれに設定された画像である。
【００４０】
（ｕ，ｖ）は、多眼式画像Ｆにおけるｘ−ｙ平面上の視点位置を示す座標である。座標値ｕ＝０，１，・・・，Ｕとし、座標値ｖ＝０，１，・・・，Ｖとする。Ｕはｕの最大値（Ｕ＝ｍａｘ（ｕ））であり、Ｖはｖの最大値（Ｖ＝ｍａｘ（ｖ））である。また、カメラ５の数は、（Ｕ＋１）×（Ｖ＋１）である。
【００４１】
つまり、図７の多眼式画像Ｆは、（Ｕ＋１）×（Ｖ＋１）個の視点位置画像Ｆ（ｕ，ｖ）により構成される。また、１個の視点位置画像Ｆ（ｕ，ｖ）は、画素数（Ｓ＋１）×（Ｔ＋１）の画素により構成される。このＳ及びＴは、図６に示したＩＰ方式画像Ｇの視点位置における座標値の最大値として用いられる。
【００４２】
したがって、ＩＰ方式画像Ｇを構成する視点位置画像Ｇ（ｓ，ｔ）の画素数（Ｕ＋１）×（Ｖ＋１）は、多眼式画像Ｆを構成する視点位置画像Ｆ（ｕ，ｖ）の数に相当し、多眼式画像Ｆを構成する視点位置画像Ｆ（ｕ，ｖ）の画素数（Ｓ＋１）×（Ｔ＋１）は、ＩＰ方式画像Ｇを構成する視点位置画像Ｇ（ｓ，ｔ）の数に相当する。
【００４３】
尚、図６に示した構成のＩＰ方式画像Ｇと図７に示した構成の多眼式画像Ｆとの間で画像変換ができるように、ＩＰ方式画像Ｇと多眼式画像Ｆとの間の変換規則が定義される。変換規則の詳細については後述する。
【００４４】
図８は、ＩＰ方式画像Ｇの画素値ｇ（ｕ，ｖ，ｓ，ｔ）を説明する図である。ＩＰ方式画像Ｇの画素値ｇ（ｕ，ｖ，ｓ，ｔ）は、図６に示した視点位置画像Ｇ（ｓ，ｔ）における画素位置（ｕ，ｖ）の画素値を示す。画素値ｇ（ｕ，ｖ，ｓ，ｔ）において、括弧内の（ｕ，ｖ）は画素位置であり、（ｓ，ｔ）は視点位置である。
【００４５】
図８の中央を参照して、ＩＰ方式画像Ｇを構成する視点位置画像Ｇ（ｓ，ｔ）において、当該画像内の画素値はｇ（ｕ，ｖ，ｓ，ｔ）であり、左下、右下、左上及び右上の画素値はそれぞれｇ（０，０，ｓ，ｔ）、ｇ（Ｕ，０，ｓ，ｔ）、ｇ（０，Ｖ，ｓ，ｔ）及びｇ（Ｕ，Ｖ，ｓ，ｔ）である。
【００４６】
例えば、図８の左下を参照して、ＩＰ方式画像Ｇを構成する視点位置画像Ｇ（０，０）において、当該画像内の画素値はｇ（ｕ，ｖ，０，０）であり、左下、右下、左上及び右上の画素値はそれぞれｇ（０，０，０，０）、ｇ（Ｕ，０，０，０）、ｇ（０，Ｖ，０，０）及びｇ（Ｕ，Ｖ，０，０）である。同様に、図８の右下を参照して、ＩＰ方式画像Ｇを構成する視点位置画像Ｇ（Ｓ，０）において、当該画像内の画素値はｇ（ｕ，ｖ，Ｓ，０）であり、左下、右下、左上及び右上の画素値はそれぞれｇ（０，０，Ｓ，０）、ｇ（Ｕ，０，Ｓ，０）、ｇ（０，Ｖ，Ｓ，０）及びｇ（Ｕ，Ｖ，Ｓ，０）である。
【００４７】
図９は、多眼式画像Ｆの画素値ｆ（ｓ，ｔ，ｕ，ｖ）を説明する図である。多眼式画像Ｆの画素値ｆ（ｓ，ｔ，ｕ，ｖ）は、図７に示した視点位置画像Ｆ（ｕ，ｖ）における画素位置（ｓ，ｔ）の画素値を示す。画素値ｆ（ｓ，ｔ，ｕ，ｖ）において、括弧内の（ｓ，ｔ）は画素位置であり、（ｕ，ｖ）は視点位置である。
【００４８】
図９の中央を参照して、多眼式画像Ｆを構成する視点位置画像Ｆ（ｕ，ｖ）において、当該画像内の画素値はｆ（ｓ，ｔ，ｕ，ｖ）であり、左下、右下、左上及び右上の画素値はそれぞれｆ（０，０，ｕ，ｖ）、ｆ（Ｓ，０，ｕ，ｖ）、ｆ（０，Ｔ，ｕ，ｖ）及びｆ（Ｓ，Ｔ，ｕ，ｖ）である。
【００４９】
例えば、図９の左下を参照して、多眼式画像Ｆを構成する視点位置画像Ｆ（０，０）において、当該画像内の画素値はｆ（ｓ，ｔ，０，０）であり、左下、右下、左上及び右上の画素値はそれぞれｆ（０，０，０，０）、ｆ（Ｓ，０，０，０）、ｆ（０，Ｔ，０，０）及びｆ（Ｓ，Ｔ，０，０）である。同様に、図９の右下を参照して、多眼式画像Ｆを構成する視点位置画像Ｆ（Ｕ，０）において、当該画像内の画素値はｆ（ｓ，ｔ，Ｕ，０）であり、左下、右下、左上及び右上の画素値はそれぞれｆ（０，０，Ｕ，０）、ｆ（Ｓ，０，Ｕ，０）、ｆ（０，Ｔ，Ｕ，０）及びｆ（Ｓ，Ｔ，Ｕ，０）である。
【００５０】
〔変換部の処理（ＧＦ変換部２１）〕
次に、図５に示したＧＦ変換部２１の処理について説明する。前述のとおり、ＧＦ変換部２１は、所定の変換規則に従って、ＩＰ方式画像Ｇを多眼式画像Ｆに変換する。ここで、所定の変換規則は、後述する図１２及び図１３に示すように、ＩＰ方式画像Ｇを構成する全ての視点位置画像における同じ画素位置の画素値と、多眼式画像Ｆを構成する全ての視点位置画像のうちの１つの視点位置画像における画素値とが対応し、かつ、ＩＰ方式画像Ｇの視点位置画像内の画素位置（ＩＰ方式画像Ｇにおける画素位置）と、多眼式画像Ｆ内の視点位置画像の視点位置（多眼式画像Ｆにおける視点位置画像位置）とが対応するように定義された規則である。
【００５１】
図１０は、ＩＰ方式画像Ｇを多眼式画像Ｆに変換する処理の概念を示す模式図である。図１０の左側に示すＩＰ方式画像Ｇは変換元の画像であり、右側に示す多眼式画像Ｆは、ＩＰ方式画像Ｇの画素を平面に投影することにより得られる変換後の画像である。ＩＰ方式画像Ｇは、複数の視点位置画像Ｇ（ｓ，ｔ）により構成され、多眼式画像Ｆは、複数の視点位置画像Ｆ（ｕ，ｖ）により構成され、ＩＰ方式画像Ｇの１画素が多眼式画像Ｆの１画素に投影される。
【００５２】
したがって、両者の画像におけるある１点の画素値は、図８及び図９に示したように、（ｓ，ｔ，ｕ，ｖ）の４次元の変数で指定することができる。尚、図１０の左側に示すＩＰ方式画像Ｇの拡大図αにおいて、１個の要素レンズ７に対応する丸印が１個の視点位置画像Ｇ（ｓ，ｔ）に相当する。
【００５３】
ＧＦ変換部２１による変換処理は、ＩＰ方式画像Ｇを構成する視点位置画像Ｇ（ｓ，ｔ）の画素毎に光線を発してこれを追跡し、視点位置画像Ｇ（ｓ，ｔ）の１画素と多眼式画像Ｆを構成する視点位置画像Ｆ（ｕ，ｖ）の１画素とが対応する両画像の配置において（後述する図１１に示す距離ｄの配置）、多眼式画像Ｆの平面に投影される像を求める処理をいう。多眼式画像Ｆの平面に投影された像が変換後の画像である。これにより、図２に示したインテグラル撮影にてＩＰ方式画像Ｇを得たにも関わらず、図１に示した多視点撮影にて撮影したような画像を得ることができる。
【００５４】
図１０において、ＩＰ方式画像Ｇから多眼式画像Ｆへ向けて放射状に出力されている矢印の集合が、視点位置画像Ｇ（ｓ，ｔ）の各画素から発せられる光線に相当し、１個の矢印が１画素から発せられる光線に相当する。そして、多眼式画像Ｆを構成する複数の視点位置画像Ｆ（ｕ，ｖ）のうちの１つの視点位置画像に、１本の矢印の光線が投影される。
【００５５】
すなわち、ＧＦ変換部２１は、視点位置画像Ｇ（ｓ，ｔ）の１画素と視点位置画像Ｆ（ｕ，ｖ）の１画素とが対応するように、ＩＰ方式画像Ｇを構成する視点位置画像Ｇ（ｓ，ｔ）における所定の画素位置の画素値を、多眼式画像Ｆを構成する視点位置画像Ｆ（ｕ，ｖ）における所定の画素位置の画素値に設定し、ＩＰ方式画像Ｇを多眼式画像Ｆに変換する。
【００５６】
尚、図１０は、理想的な変換処理の模式図を示している。このため、図１０に示した多眼式画像Ｆの理想的な視点位置画像をＦ（ｕ’，ｖ’）とすると、これを実際の視点位置画像Ｆ（ｕ，ｖ）とみなすことができる。以下、多眼式画像Ｆの視点位置画像はＦ（ｕ’，ｖ’）ではなくＦ（ｕ，ｖ）として説明する。
【００５７】
次に、ＧＦ変換部２１の変換処理に用いる変換法として、平面投影法及び球面投影法を挙げて説明する。
【００５８】
（平面投影法）
まず、平面投影法について説明する。図２を参照して、ＩＰ方式画像Ｇは、マイクロレンズアレー６を介して、カメラ８に備えた平面形状の撮像素子上に投影される光線の強さを記録したものであるといえる。マイクロレンズアレー６の要素レンズ７を１つの点であるとすると、光線の強さ及び方向を記録していると考えることができる。
【００５９】
このＩＰ方式画像Ｇを多眼式画像Ｆに変換するために、図１０に示したように、光線を追跡していき、マイクロレンズアレー６と正対する位置に配置した平面に投影される像を求める。マイクロレンズアレー６と平面との間に一定以上の距離（後述する図１１に示す距離ｄ）があれば、異なる複数の視点の画像のそれぞれを分離して多眼式画像Ｆを導くことができる。得られた多眼式画像Ｆは、中心付近には歪みがほとんどなく、周辺には大きな歪みが生じる。
【００６０】
これに対し、光線を逆に追跡することにより、多眼式画像ＦをＩＰ方式画像Ｇに変換することができる。
【００６１】
（球面投影法）
次に、球面投影法について説明する。投影のために３次元空間に配置する面を、図２に示したマイクロレンズアレー６に対応するＩＰ方式画像Ｇの中心位置を中心とした球面とする。ＩＰ方式画像Ｇを多眼式画像Ｆに変換するために、図１０に示したように、光線を追跡していき、球面に配置した平面に投影される像を求める。球の中心から球面との間に一定以上の半径（後述する図１６に示す距離ｄ）があれば、複数の異なる視点の画像のそれぞれを分離して多眼式画像Ｆを導くことができる。得られた多眼式画像Ｆの要素画像である視点位置画像Ｆ（ｕ，ｖ）は、魚眼レンズのように歪んだ画像となるが、平面投影法に比べ、中心付近の歪みと周辺付近の歪みとの差が小さくなる。
【００６２】
これに対し、光線を逆に追跡することにより、多眼式画像ＦをＩＰ方式画像Ｇに変換することができる。
【００６３】
（平面投影法を用いた変換処理）
次に、平面投影法を用いた変換処理について説明する。図１１は、ＩＰ方式画像Ｇを多眼式画像Ｆに変換する際の平面投影法を模式的に示す断面図である。ＩＰ方式画像Ｇ及び多眼式画像Ｆについて、二次元の視点位置（ｓ，ｔ）（ｕ，ｖ）を断面にして、１次元の視点位置（ｓ）（ｕ）で示したものである。尚、視点位置（ｓ）を（ｔ）に置き換え、また、視点位置（ｕ）を（ｖ）に置き換えることができる。
【００６４】
図１１において、線Ｇ上の視点位置（ｓ）には、１個の要素レンズ７によって取得した視点位置画像Ｇ（ｓ）が記録されている。画像変換のためには、視点位置（ｓ）から光線を発してこれを追跡する。そして、３次元空間中の線Ｇから所定距離ｄだけ離れた位置に線Ｆを配置する。この線Ｆに投影される像を記録すると、多眼式画像Ｆに近似する画像群となる。尚、図１１は断面図であるから、Ｆ，Ｇを線で表してあるが、実際のＦ，Ｇは面である。
【００６５】
ここで、所定距離ｄは、ＩＰ方式画像Ｇの画素を多眼式画像Ｆの画素に投影したときに、ＩＰ方式画像Ｇを構成する視点位置画像Ｇ（ｓ，ｔ）の画素を、多眼式画像Ｆを構成する全ての視点位置画像Ｆ（ｕ，ｖ）のそれぞれに振り分けて分離することが可能な距離とする。
【００６６】
距離ｄを適切に設定することにより、被写体４が撮影されたＩＰ方式画像Ｇは、視点位置画像Ｆ（ｕ，ｖ）のそれぞれに分離される。
【００６７】
これを数式で表すと以下のとおりとなる。
［数１］
ｆ（ｓ，ｕ）＝ｇ（ｕ，ｍａｘ（ｓ）−ｓ）  ・・・（１）
ここで、ｆ，ｇはそれぞれ線Ｆ，Ｇ上の画素値を示し、ｍａｘ（ｓ）はｓの最大値Ｓである。ｍａｘ（ｓ）とｓとの間の差を計算し、ｍａｘ（ｓ）を基準にしてｓを反転させるのは、多眼式画像Ｆが鏡像となるのを避けるためである。
【００６８】
これに対し、多眼式画像ＦからＩＰ方式画像Ｇに変換するためには、線Ｆ上の、ある視点位置（ｕ）から光線を発して線Ｇ上の視点位置（ｓ）に入光する像を求める。光線の方向が定義されていないため、多眼式画像Ｆの視点位置（ｕ）からは放射状に光線が発せられるが、追跡するのは、視点位置（ｓ）を通過する光線のみでよい。つまり、求める光線は、視点位置（ｕ）と視点位置（ｓ）とを結ぶ直線上を通る。
【００６９】
（平面投影法を用いた変換処理の詳細／ＧＦ変換部２１）
次に、平面投影法を用いたＧＦ変換部２１の処理について詳細に説明する。前述のとおり、ＧＦ変換部２１は、視点位置画像Ｇ（ｓ，ｔ）の１画素と視点位置画像Ｆ（ｕ，ｖ）の１画素とが対応する所定の変換規則に従って、ＩＰ方式画像Ｇを構成する視点位置画像Ｇ（ｓ，ｔ）における所定の画素位置の画素値をメモリ１２から読み出し、読み出した画素値を、多眼式画像Ｆを構成する視点位置画像Ｆ（ｕ，ｖ）における所定の画素位置の画素値としてメモリ１４に格納することにより、ＩＰ方式画像Ｇを多眼式画像Ｆに変換する。
【００７０】
ＧＦ変換部２１の処理の詳細を説明する前に、所定の変換規則について説明する。この変換規則は、ＩＰ方式画像Ｇを構成する視点位置画像Ｇ（ｓ，ｔ）の１画素から光線を発して、対応する平面に投影することにより、多眼式画像Ｆを構成する視点位置画像Ｆ（ｕ，ｖ）の１画素を得る際の、視点位置画像Ｇ（ｓ，ｔ）の１画素と視点位置画像Ｆ（ｕ，ｖ）の１画素との間の対応関係を定義したデータである。変換規則は、投影法に応じて予め設定されている。
【００７１】
図１２は、平面投影法を用いてＩＰ方式画像Ｇを多眼式画像Ｆに変換する変換規則において、視点位置の関係を説明する図である。
【００７２】
図１２に示すように、変換元の視点位置画像Ｇ（ｓ，ｔ）内の画素位置に応じて、当該画素が投影される変換後の視点位置画像Ｆ（ｕ，ｖ）の視点位置が異なる。図１２の上段に示すように、変換元の視点位置画像Ｇ（ｓ，ｔ）内の画素位置が左下の場合、すなわち画素座標が（０，０，ｓ，ｔ）の場合、この画素は、変換後の視点位置画像Ｆ（０，０）における所定位置の画素に対応する。
【００７３】
また、図１２の中段に示すように、変換元の視点位置画像Ｇ（ｓ，ｔ）内の画素位置が右上の場合、すなわち画素座標が（Ｕ，Ｖ，ｓ，ｔ）の場合、この画素は、変換後の視点位置画像Ｆ（Ｕ，Ｖ）における所定位置の画素に対応する。
【００７４】
したがって、平面投影法を用いてＩＰ方式画像Ｇを多眼式画像Ｆに変換する変換規則では、図１２の下段に示すように、変換元の視点位置画像Ｇ（ｓ，ｔ）内の画素座標が（ｕ，ｖ，ｓ，ｔ）の場合、この画素は、変換後の視点位置画像Ｆ（ｕ，ｖ）における所定位置の画素に対応する。
【００７５】
図１３は、平面投影法を用いてＩＰ方式画像Ｇを多眼式画像Ｆに変換する変換規則において、画素位置の関係を説明する図であり、図１２に示した変換後の視点位置画像Ｆ（ｕ，ｖ）における所定位置を示している。ＩＰ方式画像Ｇの画素ａ，ｂ，ｃ，ｄ，ｅは、それぞれ視点位置画像Ｇ（０，０）、Ｇ（Ｓ，０）、Ｇ（０，Ｔ）、Ｇ（Ｓ，Ｔ）、Ｇ（ｓc，ｔc）内で同じ画素位置の画素であるとする。例えば、図１２の上段及び中段に示したとおりである。ｓcは０〜Ｓの中央値、ｔcは０〜Ｔの中央値を示す。
【００７６】
図１３に示すように、変換元の視点位置画像Ｇ（０，０）内の画素ａは、変換後の視点位置画像Ｆ（ｕ，ｖ）内の右上の画素、すなわち画素座標が（Ｓ，Ｔ，ｕ，ｖ）の画素に対応する。また、変換元の視点位置画像Ｇ（Ｓ，０）内の画素ｂは、変換後の視点位置画像Ｆ（ｕ，ｖ）内の左上の画素、すなわち画素座標が（０，Ｔ，ｕ，ｖ）の画素に対応する。
【００７７】
同様に、変換元の視点位置画像Ｇ（０，Ｔ）内の画素ｃは、変換後の視点位置画像Ｆ（ｕ，ｖ）内の右下の画素、すなわち画素座標が（Ｓ，０，ｕ，ｖ）の画素に対応する。また、変換元の視点位置画像Ｇ（Ｓ，Ｔ）内の画素ｄは、変換後の視点位置画像Ｆ（ｕ，ｖ）内の左下の画素、すなわち画素座標が（０，０，ｕ，ｖ）の画素に対応する。このように、変換元の視点位置画像Ｇ（ｓc，ｔc）の画素ｅは、変換後の視点位置画像Ｆ（ｕ，ｖ）における画素座標が（Ｓ−ｓc，Ｔ−ｔc，ｕ，ｖ）の画素に対応する。
【００７８】
したがって、平面投影法を用いてＩＰ方式画像Ｇを多眼式画像Ｆに変換する変換規則では、変換後の多眼式画像Ｆを基準とすると、変換元の視点位置画像Ｇ（Ｓ−ｓ，Ｔ−ｔ）における画素座標（ｕ，ｖ，Ｓ−ｓ，Ｔ−ｔ）の画素が、変換後の視点位置画像Ｆ（ｕ，ｖ）における画素位置（ｓ，ｔ，ｕ，ｖ）の画素に対応する。
【００７９】
この変換規則を数式で表すと以下のとおりとなる。
［数２］
ｆ（ｓ，ｔ，ｕ，ｖ）＝ｇ（ｕ，ｖ，ｍａｘ（ｓ）−ｓ，ｍａｘ（ｔ）−ｔ）
・・・（２）
ここで、ｍａｘ（ｓ）はｓの最大値Ｓであり、ｍａｘ（ｔ）はｔの最大値Ｔである。ｍａｘ（ｓ）とｓとの間の差を計算し、ｍａｘ（ｓ）を基準にしてｓを反転させると共に、ｍａｘ（ｔ）とｔとの間の差を計算し、ｍａｘ（ｔ）を基準にしてｔを反転させるのは、多眼式画像Ｆが鏡像となるのを避けるためである。
【００８０】
図１４は、ＧＦ変換部２１の処理を示すフローチャートである。メモリ１２には、変換元のＩＰ方式画像Ｇが格納されているものとする。ＧＦ変換部２１は、ＩＰ方式画像Ｇを多眼式画像Ｆに変換するオペレータからの指示を入力すると、座標値を初期化するため、ｓ＝０，ｔ＝０，ｕ＝０，ｖ＝０を設定する（ステップＳ１４０１）。
【００８１】
そして、ＧＦ変換部２１は、ステップＳ１４０２〜ステップＳ１４０７を繰り返すことで、ＩＰ方式画像Ｇを構成する視点位置画像Ｇ（０，０）〜Ｇ（Ｓ，Ｔ）における同じ画素位置（ｕ，ｖ）の画素値をメモリ１２からそれぞれ読み出し、多眼式画像Ｆを構成する視点位置画像Ｆ（ｕ，ｖ）における各画素位置（０，０）〜Ｇ（Ｓ，Ｔ）に設定する（図１２、図１３を参照）。
【００８２】
ＧＦ変換部２１は、座標値ｓ，ｔについて、最大値を基準にして反転させる以下の演算を行い、新たな座標値ｓ’，ｔ’を設定する（ステップＳ１４０２）。
［数３］
ｓ’＝ｍａｘ（ｓ）−ｓ＝Ｓ−ｓ
ｔ’＝ｍａｘ（ｔ）−ｔ＝Ｔ−ｔ      ・・・（３）
【００８３】
ＧＦ変換部２１は、ＩＰ方式画像Ｇの画素値ｇ（ｕ，ｖ，ｓ’，ｔ’）をメモリ１２から読み出す（ステップＳ１４０３）。すなわち、ＧＦ変換部２１は、ＩＰ方式画像Ｇの視点位置画像Ｇ（ｓ’，ｔ’）における画素位置（ｕ，ｖ）の画素値ｇ（ｕ，ｖ，ｓ’，ｔ’）をメモリ１２から読み出す。
【００８４】
最初はｓ＝０，ｔ＝０，ｕ＝０，ｖ＝０であるから、視点位置画像Ｇ（Ｓ，Ｔ）における画素位置（０，０）の画素値（図１２の上段を参照）が読み出され、ステップＳ１４０７からステップＳ１４０２に戻るとｓ＝１，ｔ＝０，ｕ＝０，ｖ＝０であるから、視点位置画像Ｇ（Ｓ−１，Ｔ）における画素位置（０，０）の画素値が読み出される。そして、ｓ＝Ｓ，ｔ＝０，ｕ＝０，ｖ＝０のとき、視点位置画像Ｇ（０，Ｔ）における画素位置（０，０）の画素値が読み出される。
【００８５】
ＧＦ変換部２１は、ステップＳ１４０３にて読み出したＩＰ方式画像Ｇの画素値ｇ（ｕ，ｖ，ｓ’，ｔ’）を、多眼式画像Ｆの視点位置画像Ｆ（ｕ，ｖ）における画素値ｆ（ｓ，ｔ，ｕ，ｖ）に設定する（ステップＳ１４０４）。すなわち、ｆ（ｓ，ｔ，ｕ，ｖ）＝ｇ（ｕ，ｖ，ｓ’，ｔ’）に設定する。
【００８６】
ＧＦ変換部２１は、ステップＳ１４０４にて設定した多眼式画像Ｆの画素値ｆ（ｓ，ｔ，ｕ，ｖ）をメモリ１４に格納する（ステップＳ１４０５）。
【００８７】
最初はｓ＝０，ｔ＝０，ｕ＝０，ｖ＝０であるから、視点位置画像Ｆ（０，０）における画素位置（０，０）の画素値（図１２の上段及び図１３を参照）、すなわち画素値ｆ（０，０，０，０）が格納される。そして、ステップＳ１４０７からステップＳ１４０２に戻るとｓ＝１，ｔ＝０，ｕ＝０，ｖ＝０であるから、視点位置画像Ｆ（０，０）における画素位置（１，０）の画素値ｆ（１，０，０，０）が格納される。そして、ｓ＝Ｓ，ｔ＝０，ｕ＝０，ｖ＝０のとき、視点位置画像Ｆ（０，０）における画素位置（Ｓ，０）の画素値ｆ（Ｓ，０，０，０）が格納される。
【００８８】
ＧＦ変換部２１は、座標値ｓに１を加えて（ｓ＝ｓ＋１）インクリメントし（ステップＳ１４０６）、座標値ｓが座標値ｓの最大値Ｓよりも大きいか否かを判定する（ステップＳ１４０７）。
【００８９】
ＧＦ変換部２１は、ステップＳ１４０７において、座標値ｓがその最大値Ｓよりも大きくないと判定した場合（ステップＳ１４０７：Ｎ）、ステップＳ１４０２へ移行する。一方、ＧＦ変換部２１は、ステップＳ１４０７において、座標値ｓがその最大値Ｓよりも大きいと判定した場合（ステップＳ１４０７：Ｙ）、座標値ｓ＝０を設定し（ステップＳ１４０８）、座標値ｔに１を加えて（ｔ＝ｔ＋１）インクリメントし（ステップＳ１４０９）、座標値ｔが座標値ｔの最大値Ｔよりも大きいか否かを判定する（ステップＳ１４１０）。
【００９０】
ＧＦ変換部２１は、ステップＳ１４１０において、座標値ｔがその最大値Ｔよりも大きくないと判定した場合（ステップＳ１４１０：Ｎ）、ステップＳ１４０２へ移行する。一方、ＧＦ変換部２１は、ステップＳ１４１０において、座標値ｔがその最大値Ｔよりも大きいと判定した場合（ステップＳ１４１０：Ｙ）、ステップＳ１４１１へ移行する。
【００９１】
これにより、ＩＰ方式画像Ｇから、多眼式画像Ｆにおける１つの視点位置画像Ｆ（ｕ，ｖ）への変換処理が完了する。最初はｓ＝０〜Ｓ，ｔ＝０〜Ｔ，ｕ＝０，ｖ＝０であるから、多眼式画像Ｆにおける１つの視点位置画像Ｆ（０，０）への変換処理が完了する。
【００９２】
ＧＦ変換部２１は、ステップＳ１４１０から移行して、座標値ｔ＝０を設定し（ステップＳ１４１１）、座標値ｕに１を加えて（ｕ＝ｕ＋１）インクリメントし（ステップＳ１４１２）、座標値ｕが座標値ｕの最大値Ｕよりも大きいか否かを判定する（ステップＳ１４１３）。
【００９３】
ＧＦ変換部２１は、ステップＳ１４１３において、座標値ｕがその最大値Ｕよりも大きくないと判定した場合（ステップＳ１４１３：Ｎ）、ステップＳ１４０２へ移行する。一方、ＧＦ変換部２１は、ステップＳ１４１３において、座標値ｕがその最大値Ｕよりも大きいと判定した場合（ステップＳ１４１３：Ｙ）、座標値ｕ＝０を設定し（ステップＳ１４１４）、座標値ｖに１を加えて（ｖ＝ｖ＋１）インクリメントし（ステップＳ１４１５）、座標値ｖが座標値ｖの最大値Ｖよりも大きいか否かを判定する（ステップＳ１４１６）。
【００９４】
ＧＦ変換部２１は、ステップＳ１４１６において、座標値ｖがその最大値Ｖよりも大きくないと判定した場合（ステップＳ１４１６：Ｎ）、ステップＳ１４０２へ移行する。一方、ＧＦ変換部２１は、ステップＳ１４１６において、座標値ｖがその最大値Ｖよりも大きいと判定した場合（ステップＳ１４１６：Ｙ）、処理を終了する。
【００９５】
これにより、ＩＰ方式画像Ｇから、多眼式画像Ｆにおける全ての視点位置画像Ｆ（０，０）〜Ｆ（Ｕ，Ｖ）への変換処理が完了する。
【００９６】
〔変換部の処理（ＦＧ変換部２２）〕
次に、図５に示したＦＧ変換部２２の処理について説明する。前述のとおり、ＦＧ変換部２２は、所定の変換方式に従って、多眼式画像ＦをＩＰ方式画像Ｇに変換する。ここで、所定の変換規則は、多眼式画像Ｆを構成する全ての視点位置画像における同じ画素位置の画素値と、ＩＰ方式画像Ｇを構成する全ての視点位置画像のうちの１つの視点位置画像における画素値とが対応し、かつ、多眼式画像Ｆの視点位置画像内の画素位置（多眼式画像Ｆにおける画素位置）と、ＩＰ方式画像Ｇ内の視点位置画像の視点位置（ＩＰ方式画像Ｇにおける視点位置画像位置）とが対応するように定義された規則である。
【００９７】
図１０では、ＧＦ変換部２１における変換処理の概念について説明したが、ＦＧ変換部２２の変換処理はＧＦ変換部２１の逆の処理であるから、その概念を同様に説明することができる。
【００９８】
図１０を参照して、ＦＧ変換部２２による変換処理は、多眼式画像Ｆを構成する視点位置画像Ｆ（ｕ，ｖ）の画素毎に光線を発してこれを追跡し、視点位置画像Ｆ（ｕ，ｖ）の１画素とＩＰ方式画像Ｇを構成する視点位置画像Ｇ（ｓ，ｔ）の１画素とが対応する両画像の配置において（図１１に示した距離ｄの配置）、ＩＰ方式画像Ｇの平面に投影される像を求める処理をいう。ＩＰ方式画像Ｇの平面に投影された像が、変換後の画像である。これにより、図１に示した多視点撮影にて多眼式画像Ｆを得たにも関わらず、図２に示したインテグラル撮影にて撮影したような画像を得ることができる。
【００９９】
ＦＧ変換部２２の変換処理に用いる変換法として、ＧＦ変換部２１と同様に、前述した平面投影法及び球面投影法を用いることができる。
【０１００】
（平面投影法を用いた変換処理の詳細／ＦＧ変換部２２）
次に、平面投影法を用いたＦＧ変換部２２の処理について詳細に説明する。前述のとおり、ＦＧ変換部２２は、視点位置画像Ｆ（ｕ，ｖ）の１画素と視点位置画像Ｇ（ｓ，ｔ）の１画素とが対応する所定の変換規則に従って、多眼式画像Ｆを構成する視点位置画像Ｆ（ｕ，ｖ）における所定の画素座標の画素値をメモリ１２から読み出し、読み出した画素値を、ＩＰ方式画像Ｇを構成する視点位置画像Ｇ（ｓ，ｔ）における所定の画素座標の画素値としてメモリ１４に格納することにより、多眼式画像ＦをＩＰ方式画像Ｇに変換する。
【０１０１】
この変換規則は、ＧＦ変換部２１が用いる変換規則の逆の対応関係が定義されている。具体的には、変換規則は、多眼式画像Ｆを構成する視点位置画像Ｆ（ｕ，ｖ）の１画素から光線を発し、対応する平面に投影することにより、ＩＰ方式画像Ｇを構成する視点位置画像Ｇ（ｓ，ｔ）の１画素を得る際の、視点位置画像Ｆ（ｕ，ｖ）の１画素と視点位置画像Ｇ（ｓ，ｔ）の１画素との間の対応関係を定義したデータであり、投影法に応じて予め設定されている。
【０１０２】
この変換規則を数式で表すと以下のとおりとなる。
［数４］
ｇ（ｕ，ｖ，ｓ，ｔ）＝ｆ（ｓ，ｔ，ｍａｘ（ｕ）−ｕ，ｍａｘ（ｖ）−ｖ）
・・・（４）
ここで、ｍａｘ（ｕ）はｕの最大値Ｕであり、ｍａｘ（ｖ）はｖの最大値Ｖである。ｍａｘ（ｕ）とｕとの間の差を計算し、ｍａｘ（ｕ）を基準にしてｕを反転させると共に、ｍａｘ（ｖ）とｖとの間の差を計算し、ｍａｘ（ｖ）を基準にしてｖを反転させるのは、ＩＰ方式画像Ｇが鏡像となるのを避けるためである。
【０１０３】
図１５は、ＦＧ変換部２２の処理を示すフローチャートである。メモリ１２には、変換元の多眼式画像Ｆが格納されているものとする。ＦＧ変換部２２は、多眼式画像ＦをＩＰ方式画像Ｇに変換するオペレータからの指示を入力すると、座標値を初期化するため、ｕ＝０，ｖ＝０，ｓ＝０，ｔ＝０を設定する（ステップＳ１５０１）。
【０１０４】
そして、ＦＧ変換部２２は、ステップＳ１５０２〜ステップＳ１５０７を繰り返すことで、多眼式画像Ｆを構成する視点位置画像Ｆ（０，０）〜Ｆ（Ｕ，Ｖ）における同じ画素位置（ｓ，ｔ）の画素値をメモリ１２からそれぞれ読み出し、ＩＰ方式画像Ｇを構成する視点位置画像Ｇ（ｓ，ｔ）における各画素位置（０，０）〜Ｆ（Ｕ，Ｖ）に設定する。
【０１０５】
ＦＧ変換部２２は、座標値ｕ，ｖについて、最大値を基準にして反転させる以下の演算を行い、新たな座標値ｕ’，ｖ’を設定する（ステップＳ１５０２）。
［数５］
ｕ’＝ｍａｘ（ｕ）−ｕ＝Ｕ−ｕ
ｖ’＝ｍａｘ（ｖ）−ｖ＝Ｖ−ｖ      ・・・（５）
【０１０６】
ＦＧ変換部２２は、多眼式画像Ｆの画素値ｆ（ｓ，ｔ，ｕ’，ｖ’）をメモリ１２から読み出す（ステップＳ１５０３）。すなわち、ＦＧ変換部２２は、多眼式画像Ｆの視点位置画像Ｆ（ｕ’，ｖ’）における画素位置（ｓ，ｔ）の画素値ｆ（ｓ，ｔ，ｕ’，ｖ’）をメモリ１２から読み出す。
【０１０７】
ＦＧ変換部２２は、ステップＳ１５０３にて読み出した多眼式画像Ｆの画素値ｆ（ｓ，ｔ，ｕ’，ｖ’）を、ＩＰ方式画像Ｇの視点位置画像Ｇ（ｓ，ｔ）における画素値ｇ（ｕ，ｖ，ｓ，ｔ）に設定する（ステップＳ１５０４）。すなわち、ｇ（ｕ，ｖ，ｓ，ｔ）＝ｆ（ｓ，ｔ，ｕ’，ｖ’）に設定する。
【０１０８】
ＦＧ変換部２２は、ステップＳ１５０４にて設定したＩＰ方式画像Ｇの画素値ｇ（ｕ，ｖ，ｓ，ｔ）をメモリ１４に格納する（ステップＳ１５０５）。
【０１０９】
ＦＧ変換部２２は、座標値ｕに１を加えて（ｕ＝ｕ＋１）インクリメントし（ステップＳ１５０６）、座標値ｕが座標値ｕの最大値Ｕよりも大きくなるまで（ステップＳ１５０７）、ステップＳ１５０２〜ステップＳ１５０６の処理を繰り返す。
【０１１０】
ＦＧ変換部２２は、ステップＳ１５０７から移行して、座標値ｕ＝０を設定し（ステップＳ１５０８）、座標値ｖに１を加えて（ｖ＝ｖ＋１）インクリメントし（ステップＳ１５０９）、座標値ｖが座標値ｖの最大値Ｖよりも大きくなるまで（ステップＳ１５１０）、ステップＳ１５０２〜ステップＳ１５０９の処理を繰り返す。
【０１１１】
これにより、多眼式画像Ｆから、ＩＰ方式画像Ｇにおける１つの視点位置画像Ｇ（ｓ，ｔ）への変換処理が完了する。最初はｕ＝０〜Ｕ，ｖ＝０〜Ｖ，ｓ＝０，ｔ＝０であるから、ＩＰ方式画像Ｇにおける１つの視点位置画像Ｇ（０，０）への変換処理が完了する。
【０１１２】
ＦＧ変換部２２は、ステップＳ１５１０から移行して、座標値ｖ＝０を設定し（ステップＳ１５１１）、座標値ｓに１を加えて（ｓ＝ｓ＋１）インクリメントし（ステップＳ１５１２）、座標値ｓが座標値ｓの最大値Ｓよりも大きくなるまで（ステップＳ１５１３）、ステップＳ１５０２〜ステップＳ１５１２の処理を繰り返す。
【０１１３】
ＦＧ変換部２２は、ステップＳ１５１３から移行して、座標値ｓ＝０を設定し（ステップＳ１５１４）、座標値ｔに１を加えて（ｔ＝ｔ＋１）インクリメントし（ステップＳ１５１５）、座標値ｔが座標値ｔの最大値Ｔよりも大きくなるまで（ステップＳ１５１６）、ステップＳ１５０２〜ステップＳ１５１５の処理を繰り返し、処理を終了する。
【０１１４】
これにより、多眼式画像Ｆから、ＩＰ方式画像Ｇにおける全ての視点位置画像Ｇ（０，０）〜Ｇ（Ｓ，Ｔ）への変換処理が完了する。
【０１１５】
以上のように、本発明の実施形態の画像変換装置１によれば、変換部１３のＧＦ変換部２１は、平面投影法を用いた変換規則の前記式（２）：ｆ（ｓ，ｔ，ｕ，ｖ）＝ｇ（ｕ，ｖ，ｍａｘ（ｓ）−ｓ，ｍａｘ（ｔ）−ｔ）に従って、ＩＰ方式画像Ｇを構成する視点位置画像Ｇ（ｍａｘ（ｓ）−ｓ，ｍａｘ（ｔ）−ｔ）における画素位置（ｕ，ｖ）の画素値をメモリ１２から読み出し、読み出した画素値を、多眼式画像Ｆを構成する視点位置画像Ｆ（ｕ，ｖ）における画素位置（ｓ，ｔ）の画素値としてメモリ１４に格納することにより、ＩＰ方式画像Ｇを多眼式画像Ｆに変換するようにした。
【０１１６】
これにより、ＩＰ方式画像Ｇを多眼式画像Ｆに変換するから、ＩＰ方式画像Ｇを、多眼式画像Ｆを用いるアプリケーションに適用することが可能となる。
【０１１７】
また、本発明の実施形態の画像変換装置１によれば、変換部１３のＦＧ変換部２２は、平面投影法を用いた変換規則の前記式（４）：ｇ（ｕ，ｖ，ｓ，ｔ）＝ｆ（ｓ，ｔ，ｍａｘ（ｕ）−ｕ，ｍａｘ（ｖ）−ｖ）に従って、多眼式画像Ｆを構成する視点位置画像Ｆ（ｍａｘ（ｕ）−ｕ，ｍａｘ（ｖ）−ｖ）における画素位置（ｓ，ｔ）の画素値をメモリ１２から読み出し、読み出した画素値を、ＩＰ方式画像Ｇを構成する視点位置画像Ｇ（ｓ，ｔ）における画素位置（ｕ，ｖ）の画素値としてメモリ１４に格納することにより、多眼式画像ＦをＩＰ方式画像Ｇに変換するようにした。
【０１１８】
これにより、多眼式画像ＦをＩＰ方式画像Ｇに変換するから、多眼式画像Ｆを、ＩＰ方式画像Ｇを用いるアプリケーションに適用することが可能となる。
【０１１９】
被写体４の大きさまたは画像の応用分野に依存して、多眼式画像Ｆで記録した方が都合のよい場合があり、また、ＩＰ方式画像Ｇで記録した方が都合のよい場合もある。本発明の実施形態では、立体テレビまたはリフォーカス機能のような３次元形状情報を利用する応用分野において、都合のよい形式の画像を用いることができる。
【０１２０】
例えば、ＩＰ立体テレビにフルＣＧの画像を表示する場合にはＩＰ方式画像Ｇが必要になる。この場合、ＩＰ方式画像Ｇを直接レンダリングするのではなく、多眼式画像Ｆをレンダリングした後に、本発明の実施形態による画像変換装置１を用いて、多眼式画像ＦをＩＰ方式画像Ｇに変換する。これにより、処理時間を削減することができる。ＩＰ方式画像Ｇを構成する視点位置画像Ｇ（ｓ，ｔ）の枚数は、多眼式画像Ｆを構成する視点位置画像Ｆ（ｕ，ｖ）の枚数に比較して通常はかなり多いからである。多眼式画像Ｆをレンダリングすることにより、例えば１／１００程度までレンダリング時間を削減することができる。
【０１２１】
（球面投影法を用いた変換処理）
次に、球面投影法を用いた変換処理について説明する。図１６は、ＩＰ方式画像Ｇを多眼式画像Ｆに変換する際の球面投影法を模式的に示す断面図である。球面投影法では、平面投影法と異なり、多眼式画像Ｆの面が視点位置（ｕ，ｖ）の面上にあり、当該面の中心点とＩＰ方式画像Ｇの中心点ｃとの間の距離が一定値ｄになるように、多眼式画像Ｆが配置される。
【０１２２】
つまり、多眼式画像Ｆの面は、ＩＰ方式画像Ｇの中心点ｃを中心とする半径ｄの球面上にある。したがって、平面投影法では視点位置（ｕ，ｖ）は直交座標系であったが、球面投影法では視点位置（ｕ，ｖ）は極座標系である。
【０１２３】
ＩＰ方式画像Ｇを多眼式画像Ｆに変換するためには、平面投影法と同様に、視点位置（ｓ）すなわち視点位置の座標値ｓから光線を発してこれを追跡する。そして、３次元空間中の線Ｇから距離ｄだけ離れた位置に配置された線Ｆに投影される像を予測して記録する。これにより、多眼式画像Ｆに近似する画像群が形成される。
【０１２４】
これを数式で表すと以下のとおりとなる。
［数６］
ｆ（ｓ，ｕ）＝ｇ（ｕ，（ｍａｘ（ｓ）−ｓ）／ｃｏｓθ）      ・・・（６）
ここで、ｆ，ｇはそれぞれ線Ｆ，Ｇ上の画素値を示す。尚、図１６は断面図であるから、Ｆ，Ｇを線で表してあるが、実際のＦ，Ｇは面である。θは、ＩＰ方式画像Ｇの視点位置（ｓ）からみて、多眼式画像Ｆの視点位置（ｕ）と視点位置（ｕc）とがつくる角度（−π／２〜π／２）を示す。ｕcは、０〜Ｕの中央値であり、線Ｇに対向する線Ｆにおける視点位置の座標値である。ｍａｘ（ｓ）とｓとの間の差を計算し、ｍａｘ（ｓ）を基準にしてｓを反転させるのは、多眼式画像Ｆが鏡像になるのを避けるためである。
【０１２５】
尚、前記式（６）において、（ｍａｘ（ｓ）−ｓ）／ｃｏｓθがｍａｘ（ｓ）＝Ｓを超える場合、変換元のＩＰ方式画像Ｇの視点位置は存在せず画像情報がないことから、変換は行われず、変換先の多眼式画像Ｆの当該画素位置は空白（ｎｕｌｌ）となる。後述する式（７）において、（ｍａｘ（ｓ）−ｓ）／ｃｏｓθがｍａｘ（ｓ）＝Ｓを超える場合、及び（ｍａｘ（ｔ）−ｔ）／ｃｏｓφがｍａｘ（ｔ）＝Ｔを超える場合も同様である。また、後述する式（８）において、（ｍａｘ（ｕ）−ｕ）／ｃｏｓθがｍａｘ（ｕ）＝Ｕを超える場合、及び（ｍａｘ（ｖ）−ｖ）／ｃｏｓφがｍａｘ（ｖ）＝Ｖを超える場合、変換元の多眼式画像Ｆの視点位置は存在せず画像情報がないことから、変換は行われず、ＩＰ方式画像Ｇの当該画素位置は空白（ｎｕｌｌ）となる。
【０１２６】
これに対し、多眼式画像ＦからＩＰ方式画像Ｇに変換するためには、線Ｆ上の、ある視点位置（ｕ）から光線を発して線Ｇ上の視点位置（ｓ）に入光する像を求める。
【０１２７】
したがって、ＧＦ変換部２１は、以下の式に示す変換規則に従って、ＩＰ方式画像Ｇを構成する視点位置画像Ｇ（ｓ，ｔ）における所定の画素位置の画素値をメモリ１２から読み出し、読み出した画素値を、多眼式画像Ｆを構成する視点位置画像Ｆ（ｕ，ｖ）における所定の画素位置の画素値としてメモリ１４に格納することにより、ＩＰ方式画像Ｇを多眼式画像Ｆに変換する。
［数７］
ｆ（ｓ，ｔ，ｕ，ｖ）＝ｇ（ｕ，ｖ，（ｍａｘ（ｓ）−ｓ）／ｃｏｓθ，（ｍａｘ（ｔ）−ｔ）／ｃｏｓφ）                                ・・・（７）
【０１２８】
ここで、θは、ＩＰ方式画像Ｇの視点位置（ｓ，ｔ）からみて、多眼式画像Ｆの視点位置（ｕ）と視点位置（ｕc）とがつくる角度、すなわち多眼式画像Ｆを構成する視点位置画像Ｆ（ｕ，ｖ）における視点位置の座標値ｕと視点位置の座標値ｕcとがつくる角度（−π／２〜π／２）を示す。ｕcは、０〜Ｕの中央値であり、線Ｇに対向する線Ｆにおける視点位置の座標値である。φは、ＩＰ方式画像Ｇの視点位置（ｓ，ｔ）からみて、多眼式画像Ｆの視点位置（ｖ）と視点位置（ｖc）がつくる角度、すなわち多眼式画像Ｆを構成する視点位置画像Ｆ（ｕ，ｖ）における視点位置の座標値ｖと視点位置の座標値ｖcとがつくる角度（−π／２〜π／２）を示す。ｖcは、０〜Ｖの中央値であり、線Ｇに対向する線Ｆにおける視点位置の座標値である。ｍａｘ（ｓ）とｓとの間の差を計算し、ｍａｘ（ｓ）を基準にしてｓを反転させると共に、ｍａｘ（ｔ）とｔとの間の差を計算し、ｍａｘ（ｔ）を基準にしてｔを反転させるのは、多眼式画像Ｆが鏡像になるのを避けるためである。
【０１２９】
また、ＦＧ変換部２２は、以下の式に示す変換規則に従って、多眼式画像Ｆを構成する視点位置画像Ｆ（ｕ，ｖ）における所定の画素位置の画素値をメモリ１２から読み出し、読み出した画素値を、ＩＰ方式画像Ｇを構成する視点位置画像Ｇ（ｓ，ｔ）における所定の画素位置の画素値としてメモリ１４に格納することにより、多眼式画像ＦをＩＰ方式画像Ｇに変換する。
［数８］
ｇ（ｕ，ｖ，ｓ，ｔ）＝ｆ（ｓ，ｔ，（ｍａｘ（ｕ）−ｕ）／ｃｏｓθ，（ｍａｘ（ｖ）−ｖ）／ｃｏｓφ）                                ・・・（８）
【０１３０】
ここで、ｍａｘ（ｕ）とｕとの間の差を計算し、ｍａｘ（ｕ）を基準にしてｕを反転させると共に、ｍａｘ（ｖ）とｖとの間の差を計算し、ｍａｘ（ｖ）を基準にしてｖを反転させるのは、ＩＰ方式画像Ｇが鏡像になるのを避けるためである。
【０１３１】
以上のように、本発明の実施形態の画像変換装置１によれば、変換部１３のＧＦ変換部２１は、球面投影法を用いた変換規則の前記式（７）：ｆ（ｓ，ｔ，ｕ，ｖ）＝ｇ（ｕ，ｖ，（ｍａｘ（ｓ）−ｓ）／ｃｏｓθ，（ｍａｘ（ｔ）−ｔ）／ｃｏｓφ）に従って、ＩＰ方式画像Ｇを構成する視点位置画像Ｇ（（ｍａｘ（ｓ）−ｓ）／ｃｏｓθ，（ｍａｘ（ｔ）−ｔ）／ｃｏｓφ）における画素位置（ｕ，ｖ）の画素値をメモリ１２から読み出し、読み出した画素値を、多眼式画像Ｆを構成する視点位置画像Ｆ（ｕ，ｖ）における画素位置（ｓ，ｔ）の画素値としてメモリ１４に格納することにより、ＩＰ方式画像Ｇを多眼式画像Ｆに変換するようにした。
【０１３２】
これにより、平面投影法を用いた場合と同様に、ＩＰ方式画像Ｇを多眼式画像Ｆに変換するから、ＩＰ方式画像Ｇを、多眼式画像Ｆを用いるアプリケーションに適用することが可能となる。
【０１３３】
また、本発明の実施形態の画像変換装置１によれば、変換部１３のＦＧ変換部２２は、球面投影法を用いた変換規則の前記式（８）：ｇ（ｕ，ｖ，ｓ，ｔ）＝ｆ（ｓ，ｔ，（ｍａｘ（ｕ）−ｕ）／ｃｏｓθ，（ｍａｘ（ｖ）−ｖ）／ｃｏｓφ）に従って、多眼式画像Ｆを構成する視点位置画像Ｆ（（ｍａｘ（ｕ）−ｕ）／ｃｏｓθ，（ｍａｘ（ｖ）−ｖ）／ｃｏｓφ）における画素位置（ｓ，ｔ）の画素値をメモリ１２から読み出し、読み出した画素値を、ＩＰ方式画像Ｇを構成する視点位置画像Ｇ（ｓ，ｔ）における画素位置（ｕ，ｖ）の画素値としてメモリ１４に格納することにより、多眼式画像ＦをＩＰ方式画像Ｇに変換するようにした。
【０１３４】
これにより、多眼式画像ＦをＩＰ方式画像Ｇに変換するから、平面投影法を用いた場合と同様に、多眼式画像Ｆを、ＩＰ方式画像Ｇを用いるアプリケーションに適用することが可能となる。
【０１３５】
尚、本発明の実施形態による画像変換装置１のハードウェア構成としては、通常のコンピュータを使用することができる。画像変換装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。画像変換装置１に備えた入力部１１、変換部１３及び出力部１５の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【０１３６】
以上、本発明の実施形態による画像変換装置１について、平面投影法を用いた場合と球面投影法を用いた場合とについて説明したが、いずれの場合も、２次元画像を立体的に表現する立体テレビ、ライトフィールドカメラの分野等で有用である。
【０１３７】
また、ＩＰ方式画像Ｇまたは多眼式画像Ｆのような２次元の画像群を３次元情報として取り扱う技術は、立体テレビまたはリフォーカスの画像処理の分野に活用される。視差のある画像（視差画像）としてＩＰ方式画像Ｇまたは多眼式画像Ｆの形式で記録された３次元情報は、コンピュータで画像処理し取り扱い易い形式に変換して応用される。本発明の実施形態により、アプリケーション２，３が入力する視差画像の形式を限定する必要がなく、広い分野で応用される。
【符号の説明】
【０１３８】
１  画像変換装置
２，３  アプリケーション
４  被写体
５，８  カメラ
６  マイクロレンズアレー
７  要素レンズ
１１  入力部
１２，１４  メモリ
１３  変換部
１５  出力部
２１  ＧＦ変換部
２２  ＦＧ変換部
【図１】
2015133548.tif 000003
【図２】
2015133548.tif 000004
【図３】
2015133548.tif 000005
【図４】
2015133548.tif 000006
【図５】
2015133548.tif 000007
【図６】
2015133548.tif 000008
【図７】
2015133548.tif 000009
【図８】
2015133548.tif 000010
【図９】
2015133548.tif 000011
【図１０】
2015133548.tif 000012
【図１１】
2015133548.tif 000013
【図１２】
2015133548.tif 000014
【図１３】
2015133548.tif 000015
【図１４】
2015133548.tif 000016
【図１５】
2015133548.tif 000017
【図１６】
2015133548.tif 000018