(57)【特許請求の範囲】
【請求項１】
１つの集光手段につき複数の光電変換手段を備えた単位画素を、複数有する撮像手段と、
前記撮像手段によって撮像され、前記複数の光電変換手段のそれぞれから読み出された信号にそれぞれ対応する撮像信号を単位画素ごとに記録する記録手段と、を備え、
前記記録手段は、前記撮像信号を得たそれぞれの光電変換手段の対応する１つの集光手段に対する相対位置の識別を可能とする識別情報を、前記撮像信号のそれぞれに関連付けて記録することを特徴とする撮像装置。
【請求項２】
前記記録手段は、前記単位画素における前記複数の光電変換手段の撮像信号ごとに、別々の識別情報を関連付けて記録することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記識別情報は、それぞれの光電変換手段の、前記単位画素における位置関係を示す位置情報を含むことを特徴とする請求項１に記載の撮像装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の撮像装置のそれぞれの光電変換手段における撮像信号と、該撮像信号にそれぞれ関連付けられた識別情報とを用いて立体視用の画像信号の生成を行うことを特徴とする画像信号処理装置。
【請求項５】
前記識別情報は、それぞれの光電変換手段の、前記単位画素における位置関係を示す位置情報を含むことを特徴とする請求項４に記載の画像信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体視用の撮像信号の取得、及び、画像信号の生成を行うための技術に関するものである。
【背景技術】
【０００２】
近年、３Ｄシネマや、３Ｄディスプレイなど、立体映像、及び、立体映像関連機器の普及が急速に進んでいる。立体映像の撮影は、従来、フイルムカメラなどでも行われてきたが、デジタルカメラやデジタルビデオカメラ等のデジタル撮像装置の普及に伴い、立体映像を生成するための元となる画像も、これらのデジタル撮像装置を用いて撮影されるようになってきている。
【０００３】
立体映像を鑑賞する仕組みとしては、対象物を左目で見た像、及び右目で見た像に対応するように、左右方向に視差を持たせた「右目画像」と「左目画像」を用意し、「右目画像」を右目で、「左目画像」を左目で見るようにする、というものが一般的である。その方法としては、視差バリア方式、レンチキュラ方式などを用いて鑑賞対象の映像を視差分割する方法や、左右で特性の異なるフィルタを介して、左目と右目に異なる映像を入射させるなどの方法が知られている。
【０００４】
一方、立体映像として鑑賞することができる画像の撮影方法として、異なる視点の画像を同時に撮影する、という方法がある。
【０００５】
特許文献１に記載の固体撮像素子は、固体撮像素子上に複数の微小レンズが形成されており、この複数の微小レンズの各々に近接して、対を成すフォトダイオードが、少なくとも１対配置されているものである。このフォトダイオード対のうち、一方のフォトダイオードの出力から第１の画像信号を得て、また、他方のフォトダイオードの出力から第２の画像信号を得る。特許文献１においては、このようにして得た第１、及び第２の画像信号を、前述の「左目画像」、「右目画像」として用いることで、立体映像を鑑賞することが可能である、と記載されている。
【０００６】
特許文献２に記載の固体撮像素子は、やはり、固体撮像素子上に複数の微小レンズが形成され、この微小レンズの各々に対し、フォトダイオードが複数配置される構成である。また、特許文献２に特徴的な構成として、１つの微小レンズに対応して配置された複数のフォトダイオード同士が、それぞれゲートを介して接続されている。したがって、隣り合うフォトダイオード同士の信号を、画素内で加算するか、非加算のまま読みだすか、を制御することを可能としている。
【０００７】
特許文献２では、上記のような構成の固体撮像素子を用いて、撮像信号、及び、撮像装置の焦点検出信号を得ている。通常の撮影時は全フォトダイオードの信号を加算して、撮像信号を生成する。焦点検出の際には、視差を持たせた信号を得る必要があるが、左右に視差を持たせた信号を得るためには、上下方向に隣接したフォトダイオード同士を接続すればよい。また、上下に視差を持たせた信号を得るためには、左右方向に隣接したフォトダイオード同士を接続すればよい。このような構成の固体撮像素子を使用し、被写体像のパターンに応じて、その被写体像の焦点検出に適した、フォトダイオード同士の加算の組合せを使用して、精度よく焦点検出を行う、といった使い方が提示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開昭５８−２４１０５号公報
【特許文献２】特開２００７−３２５１３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
撮像装置によって生成された画像信号は、一般に、紙などの媒体に印刷されるか、あるいは、テレビやモニタ、プロジェクタ等の表示装置に表示して観賞される。これは、２Ｄ画像においても３Ｄ画像においても同様である。
【００１０】
立体映像を鑑賞するには、上記で述べたように、左右方向に視差を持たせた画像を、それぞれ対応する目で見る必要がある。したがって、背景技術で述べたいずれの方式にしても、左目で鑑賞するための「左目画像」と、右目で鑑賞するための「右目画像」を用意する必要がある。
【００１１】
先行技術文献では、固体撮像素子上に複数の微小レンズが形成され、その微小レンズの各々に対し、フォトダイオードが複数配置される構成の固体撮像素子について説明されている。また、このような構成の固体撮像素子を用いることで、立体映像として表示可能な、「左目画像」と「右目画像」の各々に用いることのできる、複数の撮像信号を得ることが可能である、と記述されている。
【００１２】
しかしながら、先行技術文献に記載されている発明では、「左目画像」と「右目画像」を得ることができても、その画像を表示する際に、「左目画像」と「右目画像」との間の視差が、立体像として鑑賞することができない方向となってしまう場合がある。
【００１３】
すなわち、特許文献１に記載の技術においては、対を成すフォトダイオードを、設計時にどのように配置するかによって、撮影された画像の持つ視差の方向が、予め決定されてしまう。
【００１４】
あるいは、特許文献２に記載の技術においては、撮影された画像の持つ視差の方向は、被写体像に応じて選択されたフォトダイオードの加算の組合せによって、フォトダイオードから信号を読み出す際に決定されてしまう。つまり、撮像装置から読み出された信号から生成される「左目画像」と「右目画像」は、信号の読み出しを行う以前にあらかじめ定められた、一方向の視差のみしか持ち得ない。
【００１５】
したがって、撮影された画像を鑑賞する際、画像の持つ視差の方向と、鑑賞者の両目の視差の方向とが一致しない場合には、鑑賞者は、その画像を立体像として認識することが不可能である。たとえば、左右方向に視差を持たせた画像を、正位置から９０度回転して表示させてしまった場合、２つの画像につけられた視差の方向が、左右方向ではなく上下方向となるため、立体像として鑑賞できなくなってしまうので、問題である。
【００１６】
本発明は上述した課題に鑑みてなされたものであり、その目的は、撮像装置を用いて撮影した撮像信号をもとに、どのような向きで表示させても、立体像として鑑賞するために適した方向の視差を持つ画像を生成、及び、表示可能とすることである。
【課題を解決するための手段】
【００１７】
本発明に係わる撮像装置は、１つの集光手段につき複数の光電変換手段を備えた単位画素を、複数有する撮像手段と、前記撮像手段によって撮像され、前記複数の光電変換手段のそれぞれから読み出された信号にそれぞれ対応する撮像信号を単位画素ごとに記録する記録手段と、を備え、前記記録手段は、前記撮像信号を得たそれぞれの光電変換手段の対応する１つの集光手段に対する相対位置の識別を可能とする識別情報を、前記撮像信号のそれぞれに関連付けて記録することを特徴とする。
【発明の効果】
【００１８】
本発明によれば、撮像装置を用いて撮影した撮像信号をもとに、どのような向きで表示させても、立体像として鑑賞するために適した方向の視差を持つ画像を生成し、表示することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態における撮像装置の全体構成を示すブロック図。
【図２】本発明の一実施形態における、撮像装置と、固体撮像装置の構成、及び、画像信号の表示角度と、画像信号の生成に使用する、単位画素あたりの信号の組合せを説明する概略図。
【図３】本発明の一実施形態における、固体撮像素子の単位画素の構成例を示す概略図。
【図４】本発明の一実施形態における、記録手段によって記録される撮像信号とタグの配列を示す概念図。
【図５】本発明の一実施形態の変形例における、固体撮像素子の単位画素の構成例を示す概略図。
【発明を実施するための形態】
【００２０】
以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の一実施形態における撮像装置の全体構成を示すブロック図である。図１において、１は、レンズや絞りなどの光学部材からなる、光学系である。２は、後述の固体撮像素子の露光時間を制御するために、固体撮像素子の遮光を行う、メカニカルシャッタである。３は、照射された光を電気信号に変換し、撮像信号として出力する、固体撮像素子である。本実施形態における、固体撮像素子の詳細については後述する。
【００２１】
５は、固体撮像素子３を動作させるために、駆動回路６に対して必要な信号を発生するタイミング信号発生回路である。６は、光学系１、メカニカルシャッタ２及び固体撮像素子３の駆動回路である。７は、撮影した撮像信号に必要な各種補正等の信号処理を行い、また、信号処理された撮像信号から画像信号を生成する信号処理回路である。８は、信号処理された撮像信号・画像信号を記憶する画像メモリである。９は、撮像装置から取り外し可能な記録媒体である。
【００２２】
また、１０は、信号処理された撮像信号を記録媒体９に記録する記録回路である。１１は、信号処理された画像信号を表示する画像表示装置である。１２は、画像表示装置１１に画像信号を表示する表示回路である。１３は、撮像装置全体を制御するシステム制御部である。
【００２３】
１４は、不揮発性メモリ（ＲＯＭ）である。不揮発性メモリ１４には、システム制御部１３で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、及び、画像信号の各種補正に用いるデータを記憶しておく。
【００２４】
１５は、揮発性メモリ（ＲＡＭ）である。揮発性メモリ１５には、不揮発性メモリ１４に記憶されたプログラム、制御データ及び補正データを転送して記憶しておき、システム制御部１３が撮像装置を制御する際に使用する。１６は、撮像装置の電源オン／オフ状態を制御するスイッチＳ０である。１７は、撮像装置が撮影動作を行うための、各種撮影準備動作の開始を指示するスイッチＳ１である。１８は、撮像装置の撮影動作開始を指示するスイッチＳ２である。
【００２５】
なお、前述の撮像装置の構成は、あくまでも本発明を実施するために必要な構成の一例であり、本発明はこの実施形態に限定されない。例えば、上述の例では、撮像手段、及び記録手段を１つの装置に組み込んだ、撮像装置について述べたが、撮像装置と記録装置とを個別に備え、撮像装置で取得した撮像信号を、記録装置で記録するようにしてもよい。また、その他の構成要素についても、その要旨の範囲内で種々の変形及び変更が可能である。
【００２６】
次に、本実施形態における、撮像装置に組み込まれた固体撮像素子の構成について説明する。図２（Ｂ）は、本実施形態における、固体撮像素子の全体構成の一例を示す概略図である。
【００２７】
ここで、撮像装置に組み込まれた固体撮像素子を撮像装置正面から見たときの、撮像装置の底面に対して平行な軸をｘ軸、撮像装置の底面に対して鉛直な軸をｙ軸と規定する。ここでは、一例として、固体撮像素子の長辺側が、撮像装置の底面に平行になるように組み込まれることを前提に、長辺に平行な軸をｘ軸、短辺に平行な軸をｙ軸としている。
【００２８】
本実施形態における固体撮像素子は、図２（Ｂ）に示すように、２次元平面である撮像面上に行列状に配列された、複数の単位画素から成る（単位画素を複数有する）。図２（Ｂ）に破線で示した各々の単位画素は、破線内に記載されるアドレスで表されるものとする。例えば、０列目、１行目の単位画素のアドレスは（０，１）、Ｎ列目、Ｍ行目の単位画素のアドレスは（Ｎ，Ｍ）で表される。
【００２９】
図２（Ｂ）に破線で示した各々の単位画素は、照射された光を電気信号に変換して蓄積し、出力する。単位画素の詳細な構成の一例を、以下に説明する。
【００３０】
図３は、本実施形態における、固体撮像素子の単位画素の構成例を示す概略図である。各単位画素を構成する、光を電気信号に変換する光電変換手段である、フォトダイオードＰＤと、光をフォトダイオードＰＤに集光させる集光手段である、マイクロレンズＭＬの、大まかな配置を示している。
【００３１】
図３に示すように、各々の単位画素には、複数のフォトダイオードＰＤと、各単位画素に対応するマイクロレンズＭＬが配される。ここでは、一例として、１つのマイクロレンズＭＬに対して、ＰＤ（０，０）、ＰＤ（１，０）、ＰＤ（０，１）、ＰＤ（１，１）の、４つのＰＤが配された単位画素を図示している。
【００３２】
以上が、本発明を実施することが可能である固体撮像素子の構成の一例である。しかし、上記の固体撮像素子の構成は、あくまでも本発明を実施するために必要な構成の一例である。実際には、１集光手段あたり、複数の光電変換手段を持つような構成の固体撮像素子であればよく、本発明は前述の実施形態に限定されずに、その要旨の範囲内で種々の変形及び変更が可能である。
【００３３】
なお、１画素に含まれる複数の光電変換手段の間に、複数の方向の視差を持たせるために、フォトダイオードＰＤの数は３つ以上であることが好ましい。
【００３４】
次に、上記の固体撮像素子から読みだした撮像信号を記録する、記録手段について、図２（Ｂ）、図２（Ｄ１）、図２（Ｄ２）、図２（Ｄ３）、および、図４を用いて説明する。
【００３５】
図２（Ｄ１）、図２（Ｄ２）、図２（Ｄ３）は、図２（Ｂ）に破線で示した複数の単位画素のうち、１つの単位画素に含まれる複数のＰＤの配列を簡易に図示したものであり、図３に示した単位画素に等しい。ただし、ここでは簡略化のためにＭＬを記載していない。
【００３６】
まず、１つの単位画素に対応する複数のフォトダイオードＰＤの各々に対して、個々のＰＤを特定することが可能となる様に、識別情報として別々のタグを持たせる。たとえば、識別情報として、単位画素内の各フォトダイオードの位置関係に関する情報（位置情報）を含んだタグを、個々のＰＤごとに持たせる。ここでは、例として、個々のＰＤに対して、各単位画素に対応する画素群ごとに、ｘ軸方向の位置ｘ、ｙ軸方向の位置ｙに関するタグ情報を、（ｘ，ｙ）のように持たせる場合について説明する。たとえば、図３に示すように、ＰＤ（０，０）に対して（０，０）のタグ、ＰＤ（１，０）に対して（１，０）のタグ、ＰＤ（０，１）に対して（０，１）のタグ、ＰＤ（１，１）に対して（１，１）のタグを持たせる。
【００３７】
また、単位画素を構成する複数のＰＤの各々に、識別のための記号をつけ、その記号をタグとして用いてもよい。例えば、左下のＰＤ（０，０）には“ＬＤ”、右上のＰＤ（１，１）には“ＲＵ”などといった識別記号をつけ、これをタグとして用いてもよい。
【００３８】
撮像手段は、固体撮像素子に撮像信号を蓄積させたのち、固体撮像素子から、各ＰＤ（ＰＤ（０，０）、ＰＤ（１，０）、ＰＤ（０，１）、ＰＤ（１，１））の撮像信号をすべて個別に読み出す。ここで、読みだされたＰＤ（０，０） の撮像信号をＳｉｇ（０，０）、ＰＤ（１，０） の撮像信号をＳｉｇ（１，０） 、ＰＤ（０，１） の撮像信号をＳｉｇ（０，１）、ＰＤ（１，１）の撮像信号をＳｉｇ（１，１）と呼ぶこととする。
【００３９】
図４は、本実施形態における、記録手段によって記録される撮像信号とタグの配列を示す概念図である。ここでは、Ｎ列目、Ｍ行目の単位画素に含まれる、複数のＰＤから得た撮像信号と、それらに識別情報として付与されるタグを例に、記録手段の記録するデータについて説明する。
【００４０】
記録手段は、読みだされた各ＰＤの撮像信号に対して、前述したＰＤごとのタグを付与し、撮像信号のレベルとタグとを関連付けて保存する。ここでは、図４（Ａ）に示すように、ＰＤ（０，０） の撮像信号Ｓｉｇ（０，０）にタグ（０，０）、ＰＤ（１，０） の撮像信号Ｓｉｇ（１，０）にタグ（１，０） 、ＰＤ（０，１） の撮像信号Ｓｉｇ（０，１）にタグ（０，１）、ＰＤ（１，１）の撮像信号Ｓｉｇ（１，１）にタグ（１，１）をそれぞれ付与し保存している。ここまでが、Ｎ列目、Ｍ行目の単位画素から得た撮像信号を記録したデータである。このようなデータを、固体撮像素子から読みだしたすべての単位画素について記録する。
【００４１】
なお、前述したＰＤごとのタグには、上記の識別情報に加えて、更に、図２（Ｂ）の各単位画素を表す破線の中に示した、各単位画素のアドレス情報を付与してもよい。あるいは、図４（Ｂ）に示すように、単位画素ごとのデータに対して、各単位画素のアドレス情報を付与してもよい。
【００４２】
また、図４（Ｃ）に示すように、単位画素に含まれるＰＤの撮像信号を、すべての単位画素について同じ順序で記録したデータにおける、信号の格納順序を示すタグを、すべての撮像信号を記録したデータの先頭に記録するようにしてもよい。あるいは、図４（Ｄ）に示すように、異なる単位画素に含まれる、共通の識別情報を持ったＰＤから得たすべての撮像信号をまとめて保存し、その先頭に、共通の識別情報をタグとして記録するようにしてもよい。
【００４３】
各ＰＤから得た撮像信号に対してこのようなタグ情報を付与しておくことで、撮像信号を任意の画像処理手段や表示手段で使用する際に、どの撮像信号が、どのアドレスの単位画素から得られたものであるか容易に特定することが可能となる。また、所定の単位画素から得た複数の撮像信号の各々が、どのような位置関係で配列されたＰＤ群のうち、どのＰＤから得られたものであるか、容易に特定することが可能となる。
【００４４】
以上のような構成を持った撮像装置によって撮像された撮像信号を用いることで、画像信号をどのような回転角度で表示しても、立体映像として鑑賞可能な画像を生成することができる。
【００４５】
ここで、上記タグ情報を付与して保存された撮像信号から、様々な画像の回転角について立体視に適した（立体視用）画像対を得るための、撮像信号の使用例について説明する。なお、本実施形態における撮像装置の例では、撮像信号から表示用の画像信号を得るための画像信号生成手段として、図１に示した信号処理回路７を用いる。その他の例としては、外部の画像信号生成手段（画像信号処理装置）において、画像信号の生成を行うようにしてもよい。
【００４６】
図２（Ｃ１）、図２（Ｃ２）、図２（Ｃ３）は、画像表示装置上で表示する際の、画像の回転角度と、その時に表示される画像とを示した概略図である。図２（Ｃ１）、図２（Ｃ２）、図２（Ｃ３）に示す第１の画像信号、第２の画像信号は、図２（Ｂ）に示した固体撮像素子を組み込んだ、図２（Ａ）に示す撮像装置で撮像・記録した撮像信号から生成した、左目画像、右目画像に対応する、視差を持った画像対である。この画像対を、表示装置に回転角度０°で表示したときの、画像対のｘ軸に重なりあう軸を、表示装置の基準軸ｘｖ（図中には一点鎖線で示す。）とする。また、表示装置の基準軸ｘｖからの、表示画像の回転角度をθｖとする。回転角度θｖは、たとえば、画像の表示を行うプログラムが指示する、回転角度を示すパラメータや、表示装置の使用者の指示に基づき入力装置などを介して入力された、回転角度を示すパラメータより取得する。
【００４７】
図２（Ｄ１）、図２（Ｄ２）、図２（Ｄ３）は、本実施形態における、視差を持った画像対の、各々の画像信号を生成する際に使用する、撮像信号の組合せを、各信号に対応するＰＤの配置に対応させて示した概略図である。
【００４８】
画像信号を生成する際は、単位画素内に含まれる複数のＰＤによる撮像信号を、タグ情報に基づいて、ｘｖ軸に対して直交するような直線によって分割される複数のＰＤごとにグルーピングする。その上で、各群の撮像信号から、１つの画像を構成する画像信号を生成することで、ｘ軸方向に異なる視差を持つ第１、第２の画像を得る様にする。
【００４９】
まず、図２（Ｂ）に示した構成の撮像装置で撮影した撮像信号をもとに生成した画像を、横位置で表示するときの例について、説明する。図２（Ｃ１）のように表示画像の回転角度θｖ＝０°のときは、図２（Ｄ１）に実線で示したように、ＰＤ（０，０）とＰＤ（０，１）を第１のＰＤ群とし、第１のＰＤ群による撮像信号を用いて第１の画像信号を生成する。また、ＰＤ（１，０）とＰＤ（１，１）を第２のＰＤ群とし、第２のＰＤ群による撮像信号を用いて第２の画像信号を生成する。このようにして得た第１の画像信号によって第１の画像を構成し、また、第２の画像信号によって第２の画像を構成することで、ｘ軸方向に異なる視差を持つ第１、第２の画像を得る様にする。
【００５０】
このようにして得た第１、及び第２の画像を、前述の「左目画像」、「右目画像」として用いることで、画像を横位置で表示した際に、立体視するのに好適な視差方向を持った画像となる。
【００５１】
横位置表示であっても、θｖ＝１８０°（前述の場合とは逆位置での表示）の場合には、ＰＤ（１，０）とＰＤ（１，１）を第１のＰＤ群として第１の画像信号を生成し、また、ＰＤ（０，０）とＰＤ（０，１）を第２のＰＤ群として第２の画像信号を生成すればよい。
【００５２】
次に、図２（Ｂ）に示した構成の撮像装置で撮影した撮像信号をもとに生成した画像を、縦位置で表示するときの例について、説明する。図２（Ｃ２）のように表示画像の回転角度θｖ＝９０°のときは、図２（Ｄ２）に実線で示したように、ＰＤ（０，０）とＰＤ（１，０）を第２のＰＤ群とし、第２のＰＤ群による撮像信号を用いて第２の画像信号を生成する。また、ＰＤ（０，１）とＰＤ（１，１）を第１のＰＤ群とし、第１のＰＤ群による撮像信号を用いて第１の画像信号を生成する。このようにして得た第１の画像信号によって第１の画像を構成し、また、第２の画像信号によって第２の画像を構成することで、ｙ軸方向に異なる視差を持つ第１、第２の画像信号を得る様にする。
【００５３】
このようにして得た第１、及び第２の画像を、前述の「左目画像」、「右目画像」として用いることで、画像を横位置で表示した際に、立体視するのに好適な視差方向を持った画像となる。
【００５４】
縦位置表示であっても、θｖ＝２７０°（前述の場合とは逆位置での表示）の場合には、ＰＤ（０，０）とＰＤ（１，０）を第１のＰＤ群として第１の画像信号を生成し、また、ＰＤ（０，１）とＰＤ（１，１）を第２のＰＤ群として第２の画像信号を生成すればよい。
【００５５】
最後に、図２（Ｂ）に示した構成の撮像装置で撮影した撮像信号をもとに生成した画像を、ななめ位置で表示するときについて、説明する。図２（Ｃ３）のように表示画像の回転角度θｖ＝４５°のときは、図２（Ｄ３）に実線で示したように、ＰＤ（０，１）を第１のＰＤ群とし、第１のＰＤ群による撮像信号を用いて第１の画像信号を生成する。また、ＰＤ（１，０）を第２のＰＤ群とし、第２のＰＤ群による撮像信号を用いて第２の画像信号を生成する。このようにして得た第１の画像信号によって第１の画像を構成し、また、第２の画像信号によって第２の画像を構成することで、ななめ方向に異なる視差を持つ第１、第２の画像信号を得る様にする。この時、縦位置時や横位置時に比べて、使用できる撮像信号の数が少なくなってしまうため、各ＰＤ群による信号に所望のゲインをかけて使用してもよい。例えば、ここでは、縦位置時や横位置時に比べて、使用できる撮像信号の数が１／２となるため、縦位置時や横位置時に使用する、複数の撮像信号の加算結果と同等の信号レベルが得られるよう、更に２倍程度のゲインをかけるようにしてもよい。
【００５６】
このようにして得た第１、及び第２の画像信号を、前述の「左目画像」、「右目画像」として用いることで、画像をななめ位置で表示した際に、立体視するのに好適な視差を持った画像となる。
【００５７】
ななめ位置での表示であっても、θｖ＝２２５°（前述の場合とは逆位置での表示）の場合には、ＰＤ（０，１）を第２のＰＤ群として第２の画像信号を生成し、また、ＰＤ（１，０）を第１のＰＤ群として第１の画像信号を生成すればよい。
【００５８】
更に、ななめ位置での表示であっても、θｖ＝３１５°の場合には、ＰＤ（０，０）を第１のＰＤ群として第１の画像信号を生成し、また、ＰＤ（１，１）を第２のＰＤ群として第２の画像信号を生成すればよい。θｖ＝１３５°の場合には、ＰＤ（１，１）を第１のＰＤ群として第１の画像信号を生成し、ＰＤ（０，０）を第２のＰＤ群として第２の画像信号を生成すればよい。
【００５９】
尚、ここまでは、θｖがある所定の角度であった場合を例に説明したが、グルーピングの切り替えを行う角度に幅を持たせるようにしてもよい。例えば、θｖの角度に応じて、第１、第２の画像に対し、最もｘｖ軸に対して平行に近い方向に視差を持たせるよう、各々の画像信号の生成に使用する撮像信号を選択するようにする。
【００６０】
具体的な例としては、
０≦θｖ≦２２．５°（回転角０°付近）  …θｖ＝０°として扱い、画像信号を生成する
２２．５°＜θｖ＜６７．５°（右回転時の回転角４５°付近）  …θｖ＝４５°として扱い、画像信号を生成する
６７．５°≦θｖ≦１１２．５°（右回転時の回転角９０°付近）  …θｖ＝９０°として扱い、画像信号を生成する
１１２．５°＜θｖ＜１５７．５°（右回転時の回転角１３５°付近）  …θｖ＝１３５°として扱い、画像信号を生成する
１５７．５°≦θｖ≦２０２．５°（回転角１８０°付近）  …θｖ＝１８０°として扱い、画像信号を生成する
２０５．５°＜θｖ＜２４７．５°（右回転時の回転角２２５°付近）  …θｖ＝２２５°として扱い、画像信号を生成する
２４７．５°≦θｖ≦２９２．５°（右回転時の回転角２７０°付近）  …θｖ＝２７０°として扱い、画像信号を生成する
２９２．５°＜θｖ＜３３７．５°（右回転時の回転角３１５°付近）  …θｖ＝３１５°として扱い、画像信号を生成する
３３７．５°≦θｖ≦３６０°（回転角０°付近）  …θｖ＝０°として扱い、画像信号を生成する
とすればよい。
【００６１】
ここまでは、図３に示したように、単位画素あたり、４つのＰＤが２×２の行列状に配置された、固体撮像素子を用いた構成を例に説明した。しかし、このような使い方をする場合、固体撮像素子の単位画素は、できるだけ多数のフォトダイオードが配されていることが望ましい。なぜならば、図５に示すように、多数のフォトダイオードが配されているほど、第１、第２の画像信号の生成に使用する第１、第２のＰＤ群の各々を、多数のＰＤから自由に選択することができるためである。したがって、「左目画像」と「右目画像」との間に設ける視差の方向を、より子細に調整することが可能となる。
【００６２】
図５において、表示装置の基準軸ｘｖに対して、表示画像をθｖ°だけ回転させて表示する場合を例に説明する。表示装置の基準軸ｘｖに直交し、ＭＬを通過した光の重心を通る軸をｙｖ軸と定義する。このとき、単位画素に含まれる複数のＰＤのうち、ｙｖ軸によって分割された領域の一方に含まれるＰＤを第１のＰＤ群とし、他方の領域に含まれるＰＤを、第２のＰＤ群とする。各々のＰＤ群は、図中に実線で示している。
【００６３】
各ＰＤから得た撮像信号に付与されたタグに基づいて、第１のＰＤ群に含まれるＰＤから得た撮像信号を選択し、第１の画像信号を生成する。同様に、第２のＰＤ群に含まれるＰＤから得た撮像信号を選択し、第２の画像信号を生成する。
【００６４】
これによって、第１、第２の画像間に設ける視差の方向を、より子細に決定することが可能となり、表示装置に表示させた画像を回転させた際に、立体像として鑑賞するための、更に好適な画像を得ることができる。
【００６５】
以上に示した実施形態、及び変形例は、それぞれ、あくまでも本発明を実施するうえで好適と考えられる形態の一例である。本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【図１】
0005785398.tif 000002
【図２】
0005785398.tif 000003
【図３】
0005785398.tif 000004
【図４】
0005785398.tif 000005
【図５】
0005785398.tif 000006