(57)【特許請求の範囲】
【請求項１】
３Ｄ画像データと前記３Ｄ画像データの撮影時の撮影条件を表す撮影条件情報が対応付けて記録されている記録媒体から読み出された前記３Ｄ画像データと前記撮影条件情報を取得する取得手段と、
前記３Ｄ画像データの表示条件を表す表示条件情報と、前記撮影条件情報とに基づいて、視差補正後の前記３Ｄ画像データに対応する３Ｄ画像を表示部に表示した際の、視聴者からその３Ｄ画像までの前記表示部の表示面に垂直な方向の距離である表示距離が、前記３Ｄ画像データを撮影した際の、被写体と、前記３Ｄ画像データのうちの左目用の画像データを撮影する左目用撮影装置の位置と前記３Ｄ画像データのうちの右目用の画像データを撮影する右目用撮影装置の位置を結ぶ直線との距離である撮影距離と同一になるように、前記３Ｄ画像データの視差を補正する視差制御手段と、
前記視差制御手段により視差が補正された前記３Ｄ画像データに基づいて、３Ｄ画像を前記表示部に表示させる表示制御手段と
を備える画像処理装置。
【請求項２】
前記取得手段により取得された前記３Ｄ画像データの視差と前記表示条件情報を用いて、前記取得手段により取得された前記３Ｄ画像データの前記表示距離を算出する表示距離算出手段と、
前記視差、前記表示距離算出手段により算出された前記表示距離、前記表示条件情報、および前記撮影条件情報を用いて、前記撮影距離を算出する撮影距離算出手段と
をさらに備える
請求項１に記載の画像処理装置。
【請求項３】
前記撮影条件情報は、
前記左目用撮影装置と前記右目用撮影装置との間隔である撮影装置間隔と、
前記左目用撮影装置および前記右目用撮影装置の画角と、
前記左目用撮影装置の光軸と前記右目用撮影装置の光軸の交点を通る、前記左目用撮影装置の位置と前記右目用撮影装置の位置を結ぶ直線への垂線と、前記左目用撮影装置または前記右目用撮影装置の光軸とのなす角である輻輳角と
を含み、
前記表示条件情報は、
前記視聴者の両眼間隔と、
前記視聴者から前記表示面までの前記表示面に垂直な方向の距離である視距離と、
前記表示面の前記視差の方向の幅である画面幅と
を含む
請求項２に記載の画像処理装置。
【請求項４】
前記視差を検出する視差検出手段
をさらに備える
請求項３に記載の画像処理装置。
【請求項５】
前記視差検出手段は、前記輻輳角が０ではない場合、前記輻輳角と前記画角に基づいて前記３Ｄ画像データを台形補正し、台形補正後の前記３Ｄ画像データの視差を検出する
請求項４に記載の画像処理装置。
【請求項６】
前記撮影条件情報を用いて前記撮影距離を算出する撮影距離算出手段
をさらに備える
請求項１に記載の画像処理装置。
【請求項７】
前記撮影条件情報は、
前記左目用撮影装置と前記右目用撮影装置との間隔である撮影装置間隔と、
前記左目用撮影装置および前記右目用撮影装置の画角と、
前記左目用撮影装置の光軸と前記右目用撮影装置の光軸の交点を通る、前記左目用撮影装置の位置と前記右目用撮影装置の位置を結ぶ直線への垂線と、前記左目用撮影装置または前記右目用撮影装置の光軸とのなす角である輻輳角と、
前記撮影距離に関する情報と
を含み、
前記表示条件情報は、
前記視聴者の両眼間隔と、
前記視聴者から前記表示面までの前記表示面に垂直な方向の距離である視距離と、
前記表示面の前記視差の方向の幅である画面幅と
を含み、
前記撮影距離算出手段は、前記撮影距離に関する情報に基づいて前記撮影距離を算出する
請求項６に記載の画像処理装置。
【請求項８】
前記撮影距離に関する情報は、前記左目用撮影装置または前記右目用撮影装置における焦点距離、もしくは、前記左目用撮影装置または前記右目用撮影装置におけるズーム率の少なくとも一方である
請求項７に記載の画像処理装置。
【請求項９】
画像処理装置が、
３Ｄ画像データと前記３Ｄ画像データの撮影時の撮影条件を表す撮影条件情報が対応付けて記録されている記録媒体から読み出された前記３Ｄ画像データと前記撮影条件情報を取得する取得ステップと、
前記３Ｄ画像データの表示条件を表す表示条件情報と、前記撮影条件情報とに基づいて、視差補正後の前記３Ｄ画像データに対応する３Ｄ画像を表示部に表示した際の、視聴者からその３Ｄ画像までの前記表示部の表示面に垂直な方向の距離である表示距離が、前記３Ｄ画像データを撮影した際の、被写体と、前記３Ｄ画像データのうちの左目用の画像データを撮影する左目用撮影装置の位置と前記３Ｄ画像データのうちの右目用の画像データを撮影する右目用撮影装置の位置を結ぶ直線との距離である撮影距離と同一になるように、前記３Ｄ画像データの視差を補正する視差制御ステップと、
前記視差制御ステップの処理により視差が補正された前記３Ｄ画像データに基づいて、３Ｄ画像を前記表示部に表示させる表示制御ステップと
を含む画像処理方法。
【請求項１０】
コンピュータに、
３Ｄ画像データと前記３Ｄ画像データの撮影時の撮影条件を表す撮影条件情報が対応付けて記録されている記録媒体から読み出された前記３Ｄ画像データと前記撮影条件情報を取得する取得ステップと、
前記３Ｄ画像データの表示条件を表す表示条件情報と、前記撮影条件情報とに基づいて、視差補正後の前記３Ｄ画像データに対応する３Ｄ画像を表示部に表示した際の、視聴者からその３Ｄ画像までの前記表示部の表示面に垂直な方向の距離である表示距離が、前記３Ｄ画像データを撮影した際の、被写体と、前記３Ｄ画像データのうちの左目用の画像データを撮影する左目用撮影装置の位置と前記３Ｄ画像データのうちの右目用の画像データを撮影する右目用撮影装置の位置を結ぶ直線との距離である撮影距離と同一になるように、前記３Ｄ画像データの視差を補正する視差制御ステップと、
前記視差制御ステップの処理により視差が補正された前記３Ｄ画像データに基づいて、３Ｄ画像を前記表示部に表示させる表示制御ステップと
を含む処理を実行させるためのプログラム。
【請求項１１】
３Ｄ画像データと前記３Ｄ画像データの撮影時の撮影条件を表す撮影条件情報が対応付けて記録されている記録媒体から読み出された前記３Ｄ画像データと前記撮影条件情報を取得する取得手段と、
前記３Ｄ画像データの表示条件を表す表示条件情報と、前記撮影条件情報とに基づいて、前記３Ｄ画像データの視差を補正する視差制御手段と、
前記視差制御手段により視差が補正された前記３Ｄ画像データに基づいて、３Ｄ画像を表示部に表示させる表示制御手段と
を備え、
前記撮影条件情報は、
前記３Ｄ画像データのうちの左目用の画像データを撮影する左目用撮影装置と右目用の画像データを撮影する右目用撮影装置との間隔である撮影装置間隔と、
前記左目用撮影装置の光軸と前記右目用撮影装置の光軸の交点を通る、前記左目用撮影装置の位置と前記右目用撮影装置の位置を結ぶ直線への垂線と、前記左目用撮影装置または前記右目用撮影装置の光軸とのなす角である輻輳角と
を含み、
前記表示条件情報は、
視聴者の両眼間隔と、
前記表示部のドットピッチと
を含み、
前記視差制御手段は、前記輻輳角が０である場合、前記両眼間隔から前記撮影装置間隔を減算して前記ドットピッチを除算し、その結果得られる画素数分だけ前記３Ｄ画像データの視差を補正する
画像処理装置。
【請求項１２】
画像処理装置が、
３Ｄ画像データと前記３Ｄ画像データの撮影時の撮影条件を表す撮影条件情報が対応付けて記録されている記録媒体から読み出された前記３Ｄ画像データと前記撮影条件情報を取得する取得ステップと、
前記３Ｄ画像データの表示条件を表す表示条件情報と、前記撮影条件情報とに基づいて、前記３Ｄ画像データの視差を補正する視差制御ステップと、
前記視差制御ステップの処理により視差が補正された前記３Ｄ画像データに基づいて、３Ｄ画像を表示部に表示させる表示制御ステップと
を含み、
前記撮影条件情報は、
前記３Ｄ画像データのうちの左目用の画像データを撮影する左目用撮影装置と右目用の画像データを撮影する右目用撮影装置との間隔である撮影装置間隔と、
前記左目用撮影装置の光軸と前記右目用撮影装置の光軸の交点を通る、前記左目用撮影装置の位置と前記右目用撮影装置の位置を結ぶ直線への垂線と、前記左目用撮影装置または前記右目用撮影装置の光軸とのなす角である輻輳角と
を含み、
前記表示条件情報は、
視聴者の両眼間隔と、
前記表示部のドットピッチと
を含み、
前記視差制御ステップの処理では、前記輻輳角が０である場合、前記両眼間隔から前記撮影装置間隔を減算して前記ドットピッチを除算し、その結果得られる画素数分だけ前記３Ｄ画像データの視差を補正する
画像処理方法。
【請求項１３】
コンピュータに、
３Ｄ画像データと前記３Ｄ画像データの撮影時の撮影条件を表す撮影条件情報が対応付けて記録されている記録媒体から読み出された前記３Ｄ画像データと前記撮影条件情報を取得する取得ステップと、
前記３Ｄ画像データの表示条件を表す表示条件情報と、前記撮影条件情報とに基づいて、前記３Ｄ画像データの視差を補正する視差制御ステップと、
前記視差制御ステップの処理により視差が補正された前記３Ｄ画像データに基づいて、３Ｄ画像を表示部に表示させる表示制御ステップと
を含み、
前記撮影条件情報は、
前記３Ｄ画像データのうちの左目用の画像データを撮影する左目用撮影装置と右目用の画像データを撮影する右目用撮影装置との間隔である撮影装置間隔と、
前記左目用撮影装置の光軸と前記右目用撮影装置の光軸の交点を通る、前記左目用撮影装置の位置と前記右目用撮影装置の位置を結ぶ直線への垂線と、前記左目用撮影装置または前記右目用撮影装置の光軸とのなす角である輻輳角と
を含み、
前記表示条件情報は、
視聴者の両眼間隔と、
前記表示部のドットピッチと
を含み、
前記視差制御ステップの処理では、前記輻輳角が０である場合、前記両眼間隔から前記撮影装置間隔を減算して前記ドットピッチを除算し、その結果得られる画素数分だけ前記３Ｄ画像データの視差を補正する
ステップを含む処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、より自然な３Ｄ画像を表示することができるようにした画像処理装置および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
映画等のコンテンツとしては２Ｄ画像が主流であるが、最近では、３Ｄ画像が注目を集めている。
【０００３】
３Ｄ画像を再生する再生装置は、例えば２台のカメラにより同時に撮影された各画像を交互に表示する。このとき、ユーザは、例えば、画像の切り替えに同期したシャッタ付き眼鏡を装着し、１台目のカメラで撮影された画像を左目だけで見て、２台目のカメラで撮影された画像を右目だけで見る。これにより、ユーザは３Ｄ画像を見ることができる。
【０００４】
また、３Ｄ画像を再生する再生装置としては、３Ｄ画像に対してテロップを合成して表示する装置もある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１０−３２７４３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このような３Ｄ画像を再生する再生装置では、記録されている３Ｄ画像がそのまま表示されるが、撮影条件と表示条件が対応していない場合、３Ｄ画像の表示面に垂直な方向の表示位置が３Ｄ画像の撮像時の被写体の撮像面に垂直な方向の位置と大きく異なることなどによって、不自然な３Ｄ画像が表示されてしまう。
【０００７】
即ち、従来の３Ｄ画像を再生する再生装置では、３Ｄ画像の撮影条件を認識することができないので、撮影条件と表示条件に適するように３Ｄ画像を表示することができず、自然な３Ｄ画像を表示することが困難である。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、より自然な３Ｄ画像を表示することができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の第１の側面の画像処理装置は、３Ｄ画像データと前記３Ｄ画像データの撮影時の撮影条件を表す撮影条件情報が対応付けて記録されている記録媒体から読み出された前記３Ｄ画像データと前記撮影条件情報を取得する取得手段と、前記３Ｄ画像データの表示条件を表す表示条件情報と、前記撮影条件情報とに基づいて、視差補正後の前記３Ｄ画像データに対応する３Ｄ画像を表示部に表示した際の、視聴者からその３Ｄ画像までの前記表示部の表示面に垂直な方向の距離である表示距離が、前記３Ｄ画像データを撮影した際の、被写体と、前記３Ｄ画像データのうちの左目用の画像データを撮影する左目用撮影装置の位置と前記３Ｄ画像データのうちの右目用の画像データを撮影する右目用撮影装置の位置を結ぶ直線との距離である撮影距離と同一になるように、前記３Ｄ画像データの視差を補正する視差制御手段と、前記視差制御手段により視差が補正された前記３Ｄ画像データに基づいて、３Ｄ画像を前記表示部に表示させる表示制御手段とを備える画像処理装置である。
【００１０】
本発明の第１の側面の画像処理方法およびプログラムは、本発明の第１の側面の画像処理装置に対応する。
【００１１】
本発明の第１の側面においては、３Ｄ画像データと前記３Ｄ画像データの撮影時の撮影条件を表す撮影条件情報が対応付けて記録されている記録媒体から読み出された前記３Ｄ画像データと前記撮影条件情報が取得され、前記３Ｄ画像データの表示条件を表す表示条件情報と、前記撮影条件情報とに基づいて、視差補正後の前記３Ｄ画像データに対応する３Ｄ画像を表示部に表示した際の、視聴者からその３Ｄ画像までの前記表示部の表示面に垂直な方向の距離である表示距離が、前記３Ｄ画像データを撮影した際の、被写体と、前記３Ｄ画像データのうちの左目用の画像データを撮影する左目用撮影装置の位置と前記３Ｄ画像データのうちの右目用の画像データを撮影する右目用撮影装置の位置を結ぶ直線との距離である撮影距離と同一になるように、前記３Ｄ画像データの視差が補正され、視差が補正された前記３Ｄ画像データに基づいて、３Ｄ画像が前記表示部に表示される。
【００１２】
本発明の第２の側面の画像処理装置は、３Ｄ画像データと前記３Ｄ画像データの撮影時の撮影条件を表す撮影条件情報が対応付けて記録されている記録媒体から読み出された前記３Ｄ画像データと前記撮影条件情報を取得する取得手段と、前記３Ｄ画像データの表示条件を表す表示条件情報と、前記撮影条件情報とに基づいて、前記３Ｄ画像データの視差を補正する視差制御手段と、前記視差制御手段により視差が補正された前記３Ｄ画像データに基づいて、３Ｄ画像を表示部に表示させる表示制御手段とを備え、前記撮影条件情報は、前記３Ｄ画像データのうちの左目用の画像データを撮影する左目用撮影装置と右目用の画像データを撮影する右目用撮影装置との間隔である撮影装置間隔と、前記左目用撮影装置の光軸と前記右目用撮影装置の光軸の交点を通る、前記左目用撮影装置の位置と前記右目用撮影装置の位置を結ぶ直線への垂線と、前記左目用撮影装置または前記右目用撮影装置の光軸とのなす角である輻輳角とを含み、前記表示条件情報は、視聴者の両眼間隔と、前記表示部のドットピッチとを含み、前記視差制御手段は、前記輻輳角が０である場合、前記両眼間隔から前記撮影装置間隔を減算して前記ドットピッチを除算し、その結果得られる画素数分だけ前記３Ｄ画像データの視差を補正する画像処理装置である。
【００１３】
本発明の第２の側面の画像処理方法およびプログラムは、本発明の第２の側面の画像処理装置に対応する。
【００１４】
本発明の第２の側面においては、３Ｄ画像データと前記３Ｄ画像データの撮影時の撮影
条件を表す撮影条件情報が対応付けて記録されている記録媒体から読み出された前記３Ｄ
画像データと前記撮影条件情報が取得され、前記３Ｄ画像データの表示条件を表す表示条
件情報と、前記撮影条件情報とに基づいて、前記３Ｄ画像データの視差が補正される。具体的には、前記撮影条件情報は、前記３Ｄ画像データのうちの左目用の画像データを撮影する左目用撮影装置と右目用の画像データを撮影する右目用撮影装置との間隔である撮影装置間隔と、前記左目用撮影装置の光軸と前記右目用撮影装置の光軸の交点を通る、前記左目用撮影装置の位置と前記右目用撮影装置の位置を結ぶ直線への垂線と、前記左目用撮影装置または前記右目用撮影装置の光軸とのなす角である輻輳角とを含み、前記表示条件情報は、視聴者の両眼間隔と、前記表示部のドットピッチとを含み、前記輻輳角が０である場合、前記両眼間隔から前記撮影装置間隔を減算して前記ドットピッチを除算し、その結果得られる画素数分だけ前記３Ｄ画像データの視差が補正される。視差が補正された前記３Ｄ画像データに基づいて、３Ｄ画像が表示部に表示される。
【発明の効果】
【００１６】
本発明の第１および第２の側面によれば、より自然な３Ｄ画像を表示することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明を適用した記録システムの第１実施の形態の構成例を示すブロック図である。
【図２】カメラ１１における撮影条件を表すパラメータを示す図である。
【図３】３Ｄ画像データの表示条件を表すパラメータを示す図である。
【図４】撮影距離と表示距離との関係を示す図である。
【図５】撮影距離と表示距離との関係を示す他の図である。
【図６】記録装置の記録制御処理を説明するフローチャートである。
【図７】図１の記録媒体を再生する再生システムの構成例を示すブロック図である。
【図８】表示距離の算出方法を説明する図である。
【図９】図７の再生装置の画像処理を説明するフローチャートである。
【図１０】図１の記録媒体を再生する再生システムの他の構成例を示すブロック図である。
【図１１】３Ｄ画像データの補正方法について説明する図である。
【図１２】図１０の再生装置の画像処理を説明するフローチャートである。
【図１３】本発明を適用した記録システムの第２実施の形態の構成例を示すブロック図である。
【図１４】図１３の記録媒体を再生する再生システムの構成例を示すブロック図である。
【図１５】図１４の再生装置の画像処理を説明するフローチャートである。
【図１６】本発明を適用した記録システムの第３実施の形態の構成例を示すブロック図である。
【図１７】図１６の記録媒体を再生する再生システムの構成例を示すブロック図である。
【図１８】図１７の視差制御部による視差の補正を説明する図である。
【図１９】図１７の再生装置の画像処理を説明するフローチャートである。
【図２０】コンピュータの一実施の形態の構成例を示す図である。
【発明を実施するための形態】
【００１８】
＜第１実施の形態＞
［記録装置の第１実施の形態の構成例］
図１は、本発明を適用した記録システムの第１実施の形態の構成例を示すブロック図である。
【００１９】
図１の記録システム１は、カメラ１１（左目用撮影装置）、カメラ１２（右目用撮影装置）、および記録装置１０により構成される。記録システム１では、カメラ１１およびカメラ１２により同時に撮影された画像を３Ｄ画像として記録媒体１３に記録する。
【００２０】
具体的には、カメラ１１は、カメラ１２と所定の間隔だけ離れた位置に配置される。カメラ１１は、カメラ１２と同期し、カメラ１２と同時に、カメラ１２と同一の撮影条件で撮影を行う。カメラ１１は、その結果得られる画像データを３Ｄ画像のうちの左目用の画像の画像データとして記録装置１０に供給する。また、カメラ１１は、撮影時の撮影条件を表す情報である撮影条件情報を記録装置１０に供給する。
【００２１】
カメラ１２は、カメラ１１と所定の間隔だけ離れた位置に配置される。カメラ１２は、カメラ１１と同期し、カメラ１１と同時に、カメラ１１と同一の撮影条件で撮影を行う。カメラ１２は、その結果得られる画像データを３Ｄ画像のうちの右目用の画像の画像データとして記録装置１０に供給する。
【００２２】
なお、ここでは、撮影条件情報がカメラ１１から記録装置１０に入力されるようにするが、撮影条件情報は、カメラ１１とカメラ１２の少なくとも一方から記録装置１０に入力されればよい。
【００２３】
記録装置１０は、画像取得部２１、撮影条件取得部２２、および記録制御部２３により構成される。
【００２４】
記録装置１０の画像取得部２１は、カメラ１１から入力される左目用の画像データとカメラ１２から入力される右目用の画像データを取得する。画像取得部２１は、左目用の画像データと右目用の画像データを３Ｄ画像の画像データ（以下、３Ｄ画像データという）として記録制御部２３に供給する。
【００２５】
撮影条件取得部２２は、カメラ１１から入力される撮影条件情報を取得し、記録制御部２３に供給する。
【００２６】
記録制御部２３は、画像取得部２１から供給される３Ｄ画像データと、撮影条件取得部２２から供給される撮影条件情報を対応付けて記録媒体１３に記録させる。
【００２７】
[撮影条件情報の説明]
図２乃至図５は、図１の記録システム１において３Ｄ画像データとともに記録される撮影条件情報を説明する図である。
【００２８】
図２は、カメラ１１における撮影条件を表すパラメータを示す図である。
【００２９】
図２に示すように、カメラ１１における撮影条件を表すパラメータとしては、カメラ１１とカメラ１２の間隔であるカメラ間隔（撮影装置間隔）ｄｃ、カメラ１１の画角α、輻輳角γ、光軸交点までの距離Ｌｃ、撮影距離Ｌｂ、仮想画面幅Ｗ´などがある。
【００３０】
なお、輻輳角γとは、カメラ１１の光軸とカメラ１２の光軸の交点を通る、カメラ１１の位置とカメラ１２の位置を結ぶ直線への垂線と、カメラ１１の光軸とのなす角である。
【００３１】
また、光軸交点までの距離Ｌｃとは、カメラ１１の光軸とカメラ１２の光軸の交点と、カメラ１１の位置とカメラ１２の位置を結ぶ直線との距離である。また、撮影距離Ｌｂとは、被写体と、カメラ１１の位置とカメラ１２の位置を結ぶ直線との距離である。仮想画面幅Ｗ´とは、カメラ１１から光軸上に視距離Ｌｓ（後述する図３）だけ被写体側に向かった位置に垂直な面の画角α内の幅である。
【００３２】
なお、図示は省略するが、カメラ１２における撮影条件を表すパラメータも、カメラ１１がカメラ１２に代わるだけで、カメラ１１における撮影条件を表すパラメータと同様である。
【００３３】
図３は、記録媒体１３に記録されている３Ｄ画像データの表示条件を表すパラメータを示す図である。
【００３４】
図３に示すように、表示条件を表すパラメータとしては、視聴者の両眼間隔ｄｅ、視角β、視距離Ｌｓ、画面幅Ｗ、左目用の画面と右目用の画面の水平方向のずれである視差Ｈｃなどがある。
【００３５】
なお、視距離Ｌｓとは、視聴者から表示面までの表示面に垂直な方向（以下、奥行方向という）の距離であり、画面幅Ｗは、表示面の視差Ｈｃの方向の幅、即ち表示面の水平方向の幅である。
【００３６】
以上のような撮影条件および表示条件を表すパラメータを用いると、視聴者の目から３Ｄ画像までの奥行方向の距離である表示距離Ｌｄは、以下の式（１）で表される。
【００３７】
【数１】
0005446949.tif 000002
【００３８】
従って、図４および図５に示すように、画面幅Ｗが、撮影距離Ｌｂと表示距離Ｌｄとの関係に影響を及ぼす。
【００３９】
具体的には、図４のグラフにおいて横軸は撮影距離Ｌｂを表し、縦軸は表示距離Ｌｄを表している。また、図５のグラフにおいて横軸は撮影距離Ｌｂを表し、縦軸はＬｄ/Ｌｂを表している。さらに、図４および図５のグラフ上の各種の線は、それぞれ、画像倍率（Magnification of image）ａ２が0.1,0.5,1,1.2,2,5,10のときを表している。
【００４０】
図４および図５に示すように、画像倍率ａ２が１である場合、即ち、画面幅Ｗが仮想画面幅Ｗ´と同一である場合、撮影距離Ｌｂと表示距離Ｌｄは同一となる。しかしながら、画像倍率ａ２が１ではない場合、撮影距離Ｌｂと表示距離Ｌｄは異なり、表示される３Ｄ画像が不自然な画像となる。
【００４１】
そこで、記録装置１０は、撮影条件情報として、カメラ間隔ｄｃ、画角α、および輻輳角γを３Ｄ画像データとともに記録媒体１３に記録する。これにより、後述するように、記録媒体１３を再生する再生装置において、画像倍率ａ２が１ではない場合であっても、撮影距離Ｌｂと表示距離Ｌｄが同一となるように、視差Ｈｃを補正することができる。その結果、より自然な３Ｄ画像を表示することができる。
【００４２】
なお、視差Ｈｃが両眼間隔ｄｅより大きい場合、左目と右目の焦点が合わず、３Ｄ画像は見えない。また、ここでは、撮影条件情報に含まれるカメラ間隔ｄｃは、長さ単位（例えば、ミリメートル）で表されるものとする。
【００４３】
［記録装置の処理の説明］
図６は、記録装置１０の記録制御処理を説明するフローチャートである。この記録制御処理は、画像データおよび撮影条件情報が入力されたとき開始される。
【００４４】
ステップＳ１において、画像取得部２１は、カメラ１１から入力される左目用の画像データとカメラ１２から入力される右目用の画像データを３Ｄ画像データとして取得する。そして、画像取得部２１は、その３Ｄ画像データを記録制御部２３に供給する。
【００４５】
ステップＳ２において、撮影条件取得部２２は、カメラ１１から入力される撮影条件情報を取得し、記録制御部２３に供給する。
【００４６】
ステップＳ３において、記録制御部２３は、画像取得部２１から供給される３Ｄ画像データと撮影条件取得部２２から供給される撮影条件情報を対応付けて記録媒体１３に記録させ、処理を終了する。
【００４７】
以上のように、記録装置１０は、３Ｄ画像データに対応付けて撮影条件情報を記録媒体１３に記録させるので、３Ｄ画像データに対応付けて撮影条件情報を提供することができる。
【００４８】
［再生システムの構成例］
図７は、図１の記録媒体１３を再生する再生システムの構成例を示すブロック図である。
【００４９】
図７の再生システム４０は、再生装置（画像処理装置）５０と表示装置５１により構成される。再生システム４０は、記録媒体１３に記録されている撮影条件情報に基づいて、表示距離Ｌｄが撮影距離Ｌｂと同一になるように３Ｄ画像データの視差Ｈｃを補正し、補正後の３Ｄ画像データに基づいて３Ｄ画像を表示する。
【００５０】
具体的には、再生装置５０は、読出制御部６１、画像取得部６２、視差検出部６３、表示条件保持部６４、表示奥行き算出部（表示距離算出手段）６５、撮影条件取得部６６、実空間奥行き算出部（撮影距離算出手段）６７、視差制御部６８、および表示制御部６９により構成される。
【００５１】
読出制御部６１は、記録媒体１３から３Ｄ画像データと、それに対応する撮影条件情報を読み出す。読出制御部６１は、３Ｄ画像データを画像取得部６２に供給し、撮影条件情報を撮影条件取得部６６に供給する。
【００５２】
画像取得部６２は、読出制御部６１から供給される３Ｄ画像データを取得し、視差検出部６３と視差制御部６８に供給する。
【００５３】
視差検出部６３は、画像取得部６２から供給される３Ｄ画像データに基づいて、画素等の所定の単位ごとの視差を検出し、その視差を画素単位で表す視差マップを生成する。視差検出部６３は、視差マップを表示奥行き算出部６５、実空間奥行き算出部６７、および視差制御部６８に供給する。
【００５４】
表示条件保持部６４は、３Ｄ画像の表示条件を表す情報である表示条件情報として、視距離Ｌｓ、両眼間隔ｄｅ、画面幅Ｗ、および表示装置５１のドットピッチを保持している。なお、ここでは、表示条件情報は、長さを表す単位（例えば、ミリメートル）で表されるものとする。また、表示条件情報は、予め設定されていてもよいし、ユーザ入力により設定されたり、図示せぬ検出装置により検出されたりしてもよい。表示条件保持部６４は、保持している表示条件情報を表示奥行き算出部６５、実空間奥行き算出部６７、および視差制御部６８に供給する。
【００５５】
表示奥行き算出部６５は、視差検出部６３からの視差マップと、表示条件保持部６４からの表示条件情報とを用いて、記録媒体１３に記録されている３Ｄ画像データに基づいて３Ｄ画像を表示した際の表示距離Ｌｄを算出する。この算出方法については、後述する図８を参照して説明する。表示奥行き算出部６５は、算出された表示距離Ｌｄを実空間奥行き算出部６７に供給する。
【００５６】
撮影条件取得部６６は、読出制御部６１から供給される撮影条件情報を取得し、実空間奥行き算出部６７および視差制御部６８に供給する。
【００５７】
実空間奥行き算出部６７は、視差検出部６３からの視差マップ、表示条件保持部６４からの表示条件情報、表示奥行き算出部６５からの表示距離Ｌｄ、および撮影条件取得部６６からの撮影条件情報を用いて式（１）を演算し、撮影距離Ｌｂを求める。
【００５８】
具体的には、実空間奥行き算出部６７は、撮影条件情報に含まれるカメラ間隔ｄｃと表示条件情報に含まれる両眼間隔ｄｅを用いてカメラ間隔比（Camera separation ratio）ａ１を算出する。また、実空間奥行き算出部６７は、撮影条件情報に含まれるカメラ間隔ｄｃと輻輳角γとを用いて、光軸交点までの距離Ｌｃを算出する。さらに、実空間奥行き算出部６７は、撮影条件情報に含まれる画角αと表示条件情報に含まれる視距離Ｌｓを用いて仮想画面幅Ｗ´を算出し、その仮想画面幅Ｗ´と表示条件情報に含まれる画面幅Ｗを用いて画像倍率ａ２を算出する。また、実空間奥行き算出部６７は、視差マップが表す画素単位の視差に表示装置５１のドットピッチを乗算し、長さ単位の視差Ｈｃを得る。
【００５９】
そして、実空間奥行き算出部６７は、表示距離Ｌｄ、表示条件情報に含まれる視距離Ｌｓおよび両眼間隔ｄｅ、並びに算出されたカメラ間隔比ａ１、画像倍率ａ２、光軸交点までの距離Ｌｃ、および視差Ｈｃを用いて式（１）を演算する。その結果、実空間奥行き算出部６７は撮影距離Ｌｂを得る。実空間奥行き算出部６７は、撮影距離Ｌｂを視差制御部６８に供給する。
【００６０】
視差制御部６８は、視差検出部６３からの視差マップ、表示条件保持部６４からの表示条件情報、撮影条件取得部６６からの撮影条件情報、および実空間奥行き算出部６７からの撮影距離Ｌｂに基づいて、表示距離Ｌｄが撮影距離Ｌｂと同一になるための視差Ｈｃの補正量を画素単位で求める。
【００６１】
具体的には、視差制御部６８は、実空間奥行き算出部６７と同様に、撮影条件情報および表示条件情報を用いてカメラ間隔比ａ１、画像倍率ａ２、および光軸交点までの距離Ｌｃを算出する。また、視差制御部６８は、表示距離Ｌｄを実空間奥行き算出部６７からの撮影距離Ｌｂにする。そして、視差制御部６８は、その表示距離Ｌｄ、実空間奥行き算出部６７からの撮影距離Ｌｂ、表示条件情報に含まれる視距離Ｌｓおよび両眼間隔ｄｅ、並びに算出されたカメラ間隔比ａ１、画像倍率ａ２、および光軸交点までの距離Ｌｃを用いて式（１）を演算する。その結果、視差制御部６８は、表示距離Ｌｄが撮影距離Ｌｂと同一になるための視差Ｈｃを得る。そして、視差制御部６８は、その長さ単位の視差Ｈｃから表示装置５１のドットピッチを除算した結果得られる画素単位の視差Ｈｃと視差マップが表す画素単位の視差Ｈｃの差分を、画素単位の視差Ｈｃの補正量とする。
【００６２】
視差制御部６８は、画素単位の視差Ｈｃの補正量に基づいて、画像取得部６２から供給される３Ｄ画像データの視差Ｈｃを補正する。具体的には、視差制御部６８は、視差Ｈｃの補正量だけ、左目用の画像データと右目用の画像データの表示位置の間隔をずらす。視差制御部６８は、補正後の３Ｄ画像データを表示制御部６９に供給する。
【００６３】
表示制御部６９は、視差制御部６８から供給される３Ｄ画像データに基づいて３Ｄ画像を表示装置５１に表示させる。具体的には、表示制御部６９は、３Ｄ画像データを構成する左目用の画像データに対応する左目用の画像と、右目用の画像データに対応する右目用の画像を交互に表示装置５１に表示させる。このとき、ユーザは、例えば、左目用の画像と右目用の画像の切り替えに同期したシャッタ付き眼鏡を装着し、左目用の画像を左目だけで見て、右目用の画像を右目だけで見る。これにより、ユーザは３Ｄ画像を見ることができる。
【００６４】
［表示距離の算出方法の説明］
図８は、図７の表示奥行き算出部６５における表示距離Ｌｄの算出方法を説明する図である。
【００６５】
図８に示すように、表示距離Ｌｄと視距離Ｌｓの差分と、表示距離Ｌｄの比は、視差Ｈｃと両眼間隔ｄｅの比と同一である。従って、表示奥行き算出部６５は、表示条件情報に含まれる視距離Ｌｓおよび両眼間隔ｄｅ、並びに視差検出部６３からの視差マップが表す画素単位の視差に表示装置５１のドットピッチを乗算した結果得られる長さ単位の視差Ｈｃを用いて式（２）を演算し、表示距離Ｌｄを算出する。
【００６６】
【数２】
0005446949.tif 000003
【００６７】
［再生装置の処理の説明］
図９は、図７の再生装置５０の画像処理を説明するフローチャートである。この再生装置５０は、例えば、ユーザにより記録媒体１３に記録されている３Ｄ画像データの再生が指令されたとき開始される。
【００６８】
ステップＳ１１において、読出制御部６１は、記録媒体１３から３Ｄ画像データを読み出し、３Ｄ画像データを画像取得部６２に供給する。
【００６９】
ステップＳ１２において、画像取得部６２は、読出制御部６１から供給される３Ｄ画像データを取得し、視差検出部６３と視差制御部６８に供給する。
【００７０】
ステップＳ１３において、視差検出部６３は、画像取得部６２から供給される３Ｄ画像データに基づいて、画素等の所定の単位ごとの視差を検出し、その視差を画素単位で表す視差マップを生成する。視差検出部６３は、視差マップを表示奥行き算出部６５、実空間奥行き算出部６７、および視差制御部６８に供給する。
【００７１】
ステップＳ１４において、表示奥行き算出部６５は、視差検出部６３からの視差マップが表す視差に表示装置５１のドットピッチを乗算した結果得られる長さ単位の視差Ｈｃと、表示条件保持部６４からの表示条件情報に含まれる視距離Ｌｓおよび両眼間隔ｄｅとを用いて式（２）の演算を行い、表示距離Ｌｄを算出する。表示奥行き算出部６５は、算出された表示距離Ｌｄを実空間奥行き算出部６７に供給する。
【００７２】
ステップＳ１５において、読出制御部６１は、ステップＳ１１で読み出された３Ｄ画像データに対応付けて記録媒体１３に記録されている撮影条件情報を読み出す。読出制御部６１は、撮影条件情報を撮影条件取得部６６に供給する。
【００７３】
ステップＳ１６において、撮影条件取得部６６は、読出制御部６１から供給される撮影条件情報を取得し、実空間奥行き算出部６７および視差制御部６８に供給する。
【００７４】
ステップＳ１７において、実空間奥行き算出部６７は、視差検出部６３からの視差マップ、表示条件保持部６４からの表示条件情報、表示奥行き算出部６５からの表示距離Ｌｄ、および撮影条件取得部６６からの撮影条件情報を用いて式（１）を演算し、撮影距離Ｌｂ、即ち実空間における被写体の奥行き位置を算出する。そして、実空間奥行き算出部６７は、撮影距離Ｌｂを視差制御部６８に供給する。
【００７５】
ステップＳ１８において、視差制御部６８は、視差検出部６３からの視差マップ、表示条件保持部６４からの表示条件情報、撮影条件取得部６６からの撮影条件情報、および実空間奥行き算出部６７からの撮影距離Ｌｂに基づいて、表示距離Ｌｄが撮影距離Ｌｂと同一になるための視差Ｈｃの補正量を画素単位で求める。
【００７６】
ステップＳ１９において、視差制御部６８は、画素単位の視差Ｈｃの補正量に基づいて、画像取得部６２から供給される３Ｄ画像データの視差Ｈｃを補正し、表示制御部６９に供給する。
【００７７】
ステップＳ２０において、表示制御部６９は、視差制御部６８から供給される補正後の３Ｄ画像データに基づいて３Ｄ画像を表示装置５１に表示させ、処理を終了する。
【００７８】
以上のように、再生装置５０は、記録媒体１３から読み出された撮影条件情報と表示条件情報とに基づいて、その撮影条件情報に対応する３Ｄ画像データの視差を補正するので、画面幅Ｗが仮想画面幅Ｗ´と同一ではない場合であっても、より自然な３Ｄ画像を表示することができる。
【００７９】
特に、再生装置５０は、表示距離Ｌｄが撮影距離Ｌｂと同一になるように３Ｄ画像データの視差を補正するので、実空間における被写体により近い自然な３Ｄ画像を表示することができる。
【００８０】
［再生システムの他の構成例］
図１０は、図１の記録媒体１３を再生する再生システムの他の構成例を示すブロック図である。
【００８１】
図１０に示す構成のうち、図７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００８２】
図１０の再生システム７０の構成は、主に、図７の再生装置５０の視差検出部６３の代わりに視差検出部８１を有する再生装置８０が設けられている点が図７の構成と異なる。図１０の再生装置８０では、視差検出部８１が、撮影条件情報に基づいて３Ｄ画像データを補正し、補正後の３Ｄ画像データに基づいて視差マップを生成する。
【００８３】
具体的には、視差検出部８１には、撮影条件取得部６６から撮影条件情報が供給される。視差検出部８１は、その撮影条件に基づいて、画像取得部６２から供給される３Ｄ画像データを補正する。この補正方法については、後述する図１１を参照して詳細に説明する。視差検出部８１は、補正後の３Ｄ画像データに基づいて、画素等の所定の単位ごとの視差を検出し、その視差を画素単位で表す視差マップを生成する。視差検出部８１は、図７の視差検出部６３と同様に、視差マップを表示奥行き算出部６５、実空間奥行き算出部６７、および視差制御部６８に供給する。
【００８４】
［３Ｄ画像データの補正方法の説明］
図１１は、図１０の視差検出部８１における３Ｄ画像データの補正方法について説明する図である。
【００８５】
図１１に示すように、視差検出部８１は、撮影条件情報に含まれる輻輳角γが０ではない場合、即ち３Ｄ画像が交差法で見られる場合、輻輳角γおよび画角αに基づいて、３Ｄ画像データを台形補正する。具体的には、視差検出部８１は、輻輳角γおよび画角αに基づいて、３Ｄ画像データを構成する右目用画像データに対応する右目用画像９１Ａの、カメラ１１の位置とカメラ１２の位置を結ぶ直線に対する傾きが０になるように右目用画像９１Ａを補正し、右目用画像９２Ａとする。同様に、視差検出部８１は、輻輳角γおよび画角αに基づいて、左目用画像データに対応する左目用画像９１Ｂの、カメラ１１の位置とカメラ１２の位置を結ぶ直線に対する傾きが０になるように左目用画像９１Ｂを補正し、左目用画像９２Ｂとする。
【００８６】
このようにして台形補正が行われることにより、カメラ１１の位置とカメラ１２の位置を結ぶ直線に対する右目用画像９２Ａの傾きと左目用画像９２Ｂの傾きが同一となり、右目用画像９２Ａと左目用画像９２Ｂのマッチング精度が向上する。その結果、視差検出の精度が向上する。
【００８７】
［再生装置の処理の説明］
図１２は、図１０の再生装置８０の画像処理を説明するフローチャートである。この再生装置８０は、例えば、ユーザにより記録媒体１３に記録されている３Ｄ画像データの再生が指令されたとき開始される。
【００８８】
ステップＳ３０およびＳ３１の処理は、図９のステップＳ１１およびＳ１２の処理と同様であり、ステップＳ３２およびＳ３３の処理は、図９のステップＳ１５およびＳ１６の処理と同様であるので、説明は省略する。
【００８９】
ステップＳ３３の処理後、ステップＳ３４において、視差検出部８１は、撮影条件取得部６６から供給される撮影条件情報に含まれる輻輳角γが０であるかどうかを判定する。ステップＳ３４で輻輳角γが０ではないと判定された場合、ステップＳ３５において、視差検出部８１は、輻輳角γと画角αに基づいて、画像取得部６２から供給される３Ｄ画像データを台形補正し、処理をステップＳ３６に進める。
【００９０】
一方、ステップＳ３４で輻輳角γが０であると判定された場合、ステップＳ３５の処理はスキップされ、処理はステップＳ３６に進む。
【００９１】
ステップＳ３６において、視差検出部８１は、ステップＳ３５の処理で台形補正された３Ｄ画像データまたはステップＳ３５の処理が行われなかった３Ｄ画像データに基づいて、画素等の所定の単位ごとの視差を検出し、その視差を画素単位で表す視差マップを生成する。そして、視差検出部８１は、視差マップを表示奥行き算出部６５、実空間奥行き算出部６７、および視差制御部６８に供給し、処理をステップＳ３７に進める。
【００９２】
ステップＳ３７乃至Ｓ４１の処理は、図９のステップＳ１４およびＳ１７乃至Ｓ２０の処理と同様であるので、説明は省略する。
【００９３】
＜第２実施の形態＞
図１３は、本発明を適用した記録システムの第２実施の形態の構成例を示すブロック図である。
【００９４】
図１３に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００９５】
図１３の記録システム１００の構成は、主に、カメラ１１の代わりにカメラ１０１が設けられる点が図１の構成と異なる。図１３の記録システム１００では、カメラ１０１が、撮影条件情報として、カメラ間隔ｄｃ、画角α、および輻輳角γのほか、撮影距離Ｌｂに関する情報（以下、撮影距離情報という）も記録装置１０に入力し、その撮影条件情報が記録媒体１０２に記録される。
【００９６】
具体的には、カメラ１０１は、図１のカメラ１１と同様に、カメラ１２と所定の間隔だけ離れた位置に配置される。カメラ１０１は、カメラ１１と同様に、カメラ１２と同期し、カメラ１２と同時に、カメラ１２と同一の撮影条件で撮影を行う。カメラ１０１は、カメラ１１と同様に、その結果得られる画像データを左目用の画像データとして記録装置１０に供給する。また、カメラ１０１は、カメラ間隔ｄｃ、画角α、輻輳角γ、および撮影距離情報を撮影条件情報として記録装置１０に供給する。
【００９７】
なお、撮影距離情報としては、カメラ１０１における焦点距離またはズーム率の少なくとも一方などがある。また、ここでは、撮影条件情報がカメラ１０１から記録装置１０に入力されるようにしているが、撮影条件情報がカメラ１２から記録装置１０に入力される場合には、撮影距離情報として、カメラ１２における焦点距離またはズーム率の少なくとも一方などが用いられる。なお、ここでは、焦点距離は、長さを表す単位（例えば、ミリメートル）で表されるものとする。
【００９８】
［再生システムの構成例］
図１４は、図１３の記録媒体１０２を再生する再生システムの構成例を示すブロック図である。
【００９９】
図１４に示す構成のうち、図７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１００】
図１４の再生システム１２０の構成は、主に、再生装置５０の代わりに再生装置１２１が設けられる点が図７の構成と異なる。図１４の再生システム１２０では、再生装置１２１において撮影距離情報を用いて撮影距離Ｌｂが求められ、その撮影距離Ｌｂと表示距離Ｌｄが同一となるように、３Ｄ画像データの視差Ｈｃが補正される。
【０１０１】
具体的には、再生装置１２１は、読出制御部６１、画像取得部６２、視差検出部６３、表示条件保持部６４、撮影条件取得部６６、視差制御部６８、表示制御部６９、および実空間奥行き算出部１３１により構成される。
【０１０２】
再生装置１２１の実空間奥行き算出部１３１は、撮影条件取得部６６から供給される撮影条件情報に含まれる撮影距離情報を用いて撮影距離Ｌｂを算出し、視差制御部６８に供給する。
【０１０３】
［再生装置の処理の説明］
図１５は、図１４の再生装置１２１の画像処理を説明するフローチャートである。この再生装置１２１は、例えば、ユーザにより記録媒体１０２に記録されている３Ｄ画像データの再生が指令されたとき開始される。
【０１０４】
図１５のステップＳ５１乃至Ｓ５４の処理は、図９のステップＳ１１、Ｓ１２，Ｓ１５、およびＳ１６の処理と同様であるので説明は省略する。
【０１０５】
ステップＳ５４の処理後、ステップＳ５５において、実空間奥行き算出部１３１は、撮影条件取得部６６から供給される撮影条件情報に含まれる撮影距離情報を用いて撮影距離Ｌｂを算出し、視差制御部６８に供給する。そして処理はステップＳ５６に進む。
【０１０６】
ステップＳ５６乃至Ｓ５８の処理は、図９のステップＳ１８乃至Ｓ２０の処理と同様であるので説明は省略する。
【０１０７】
以上のように、記録媒体１０２には、撮影条件情報として撮影距離情報が記録されるので、再生装置１２１は、撮影距離Ｌｂを算出するために表示距離Ｌｄを算出する必要がなく、容易に撮影距離Ｌｂを求めることができる。
【０１０８】
なお、第１実施の形態および第２実施の形態では、撮影条件情報に画角αが含まれたが、画角αの代わりに、長さ単位（例えば、ミリメートル）で表される焦点距離Ｌｆとカメラ１１（１２，１０１）のフレームサイズＳが含まれるようにしてもよい。この場合、再生装置５０（１２１）は、以下の式（３）の関係に基づいて焦点距離ＬｆとフレームサイズＳから画角αを求め、上述した撮影条件情報に含まれる画角αと同様に用いる。
【０１０９】
【数３】
0005446949.tif 000004
【０１１０】
なお、フレームサイズＳは、長さ単位ではなく、画素単位で表されるようにしてもよい。即ち、フレームサイズＳは、カメラ１１（１２，１０１）のセンサのピクセル数であってもよい。この場合、撮影条件情報にはさらにカメラ１１（１２，１０１）のセンサのドットピッチが含まれ、画素単位のフレームサイズＳとカメラ１１（１２，１０１）のセンサのドットピッチを乗算した値が、式（３）におけるフレームサイズＳとして用いられる。
【０１１１】
＜第３実施の形態＞
図１６は、本発明を適用した記録システムの第３実施の形態の構成例を示すブロック図である。
【０１１２】
図１６に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１１３】
図１６の記録システム１５０の構成は、主に、カメラ１１の代わりにカメラ１５１が設けられる点が図１の構成と異なる。図１６の記録システム１５０では、カメラ１５１が、撮影条件情報として、カメラ間隔ｄｃ、および輻輳角γを記録装置１０に入力し、その撮影条件情報が記録媒体１５２に記録される。
【０１１４】
具体的には、カメラ１５１は、図１のカメラ１１と同様に、カメラ１２と所定の間隔だけ離れた位置に配置される。カメラ１５１は、カメラ１１と同様に、カメラ１２と同期し、カメラ１２と同時に、カメラ１２と同一の撮影条件で撮影を行う。カメラ１５１は、カメラ１１と同様に、その結果得られる画像データを左目用画像のデータとして記録装置１０に供給する。また、カメラ１５１は、カメラ間隔ｄｃ、および輻輳角γを撮影条件情報として記録装置１０に供給する。
【０１１５】
［再生システムの構成例］
図１７は、図１６の記録媒体１５２を再生する再生システムの構成例を示すブロック図である。
【０１１６】
図１７に示す構成のうち、図７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１１７】
図１７の再生システム１７０の構成は、主に、再生装置５０の代わりに再生装置１７１が設けられる点が図７の構成と異なる。図１７の再生システム１７０では、撮影条件情報として記録媒体１５２に記録されているカメラ間隔ｄｃと両眼間隔ｄｅの差分に対応する画素分だけ３Ｄ画像データの視差Ｈｃを補正する。
【０１１８】
具体的には、再生装置１７１は、読出制御部６１、画像取得部６２、撮影条件取得部６６、表示制御部６９、表示条件保持部１８１、および視差制御部１８２により構成される。
【０１１９】
再生装置１７１の表示条件保持部１８１は、表示条件情報として、両眼間隔ｄｅと表示装置５１のドットピッチを保持している。表示条件保持部１８１は、保持している表示条件情報を視差制御部１８２に供給する。
【０１２０】
視差制御部１８２は、表示条件保持部１８１からの表示条件情報と、撮影条件取得部６６からの撮影条件情報に基づいて、画像取得部６２から供給される３Ｄ画像データの視差Ｈｃの補正量を画素単位で求める。
【０１２１】
具体的には、視差制御部１８２は、撮影条件情報に含まれる輻輳角γが０である場合、即ち３Ｄ画像が平行法で見られる場合、表示条件情報に含まれる両眼間隔ｄｅから撮影条件情報に含まれるカメラ間隔ｄｃを減算して差分（ｄｅ−ｄｃ）を求め、その差分（ｄｅ−ｄｃ）から表示条件情報に含まれる表示装置５１のドットピッチを除算する。そして、視差制御部１８２は、その結果得られる画素数を視差Ｈｃの補正量とする。
【０１２２】
また、視差制御部１８２は、画素単位の視差Ｈｃの補正量に基づいて、画像取得部６２から供給される３Ｄ画像データの視差Ｈｃを補正する。視差制御部１８２は、補正後の３Ｄ画像データを表示制御部６９に供給する。
【０１２３】
［視差の補正の説明］
図１８は、図１７の視差制御部１８２による視差の補正を説明する図である。
【０１２４】
図１８に示すように、輻輳角γが０である場合、視差制御部１８２は、視差Ｈｃの補正量である差分（ｄｅ−ｄｃ）に対応する画素数分だけ、左目用の画像データと右目用の画像データの表示位置の間隔をずらす。
【０１２５】
これにより、より自然な３Ｄ画像を表示することができる。これに対して、視差Ｈｃの補正が行われない場合、３Ｄ画像全体の表示距離Ｌｄが撮影距離Ｌｂに比べて短くなったり、長くなったりする。即ち、３Ｄ画像全体が不自然に飛び出したり、引っ込んだりする。
【０１２６】
［再生装置の処理の説明］
図１９は、図１７の再生装置１７１の画像処理を説明するフローチャートである。この再生装置１７１は、例えば、ユーザにより記録媒体１５２に記録されている３Ｄ画像データの再生が指令されたとき開始される。
【０１２７】
図１９のステップＳ７１乃至Ｓ７４の処理は、図９のステップＳ１１、Ｓ１２，Ｓ１５、およびＳ１６の処理と同様であるので説明は省略する。
【０１２８】
ステップＳ７４の処理後、ステップＳ７５において、視差制御部１８２は、表示条件保持部１８１からの表示条件情報と撮影条件取得部６６からの撮影条件情報に基づいて、カメラ間隔ｄｃと両眼間隔ｄｅの差分（ｄｅ−ｄｃ）に対応する画素数を視差Ｈｃの補正量として求める。
【０１２９】
ステップＳ７６およびＳ７７の処理は、図９のステップＳ１９およびＳ２０の処理と同様であるので、説明は省略する。
【０１３０】
なお、本実施の形態では、カメラ間隔ｄｃが長さ単位で表されているものとしたが、カメラ間隔ｄｃは画素単位で表されるようにしてもよい。この場合、例えば、撮影条件情報には、さらにカメラ１１（１２，１０１，１５１）のセンサのドットピッチが含まれ、画素単位のカメラ間隔ｄｃにカメラセンサのドットピッチを乗算したものが、上述した説明におけるカメラ間隔ｄｃとして用いられる。例えば、第３の実施の形態では、視差Ｈｃの補正量が、両眼間隔ｄｅから、画素単位のカメラ間隔ｄｃとカメラセンサのドットピッチを乗算したものを減算して長さ単位の差分を求め、その差分から表示装置５１のドットピッチを除算することにより求められる。
【０１３１】
なお、本発明は、記録媒体を再生する再生装置だけでなく、記録媒体から再生された３Ｄ画像データと撮影条件情報を受信する画像処理装置にも適用することができる。
【０１３２】
[本発明を適用したコンピュータの説明]
次に、上述した記録装置および再生装置の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１３３】
そこで、図２０は、上述した記録装置および再生装置の一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０１３４】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０８やROM（Read Only Memory）２０２に予め記録しておくことができる。
【０１３５】
あるいはまた、プログラムは、リムーバブルメディア２１１に格納（記録）しておくことができる。このようなリムーバブルメディア２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０１３６】
なお、プログラムは、上述したようなリムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０１３７】
コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
【０１３８】
CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０６が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０８に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
【０１３９】
これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０７から出力、あるいは、通信部２０９から送信、さらには、記憶部２０８に記録等させる。
【０１４０】
なお、入力部２０６は、キーボードや、マウス、マイク等で構成される。また、出力部２０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０１４１】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０１４２】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１４３】
さらに、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１４４】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１４５】
１０  記録装置，  １３  記録媒体，  ２１  画像取得部，  ２２  撮影条件取得部，  ５０  再生装置，  ６２  画像取得部，  ６６  撮影条件取得部，  ６３  視差検出部，  ６５  表示奥行き算出部，  ６７  実空間奥行き算出部，  ６８  視差制御部，  ６９  表示制御部，  ８０  再生装置，  ８１  視差検出部，  １０２  記録媒体，  １２１  再生装置，  １３１  実空間奥行き算出部，  １５２  記録媒体，  １７１  再生装置，  １８２  視差制御部
【図１】
0005446949.tif 000005
【図２】
0005446949.tif 000006
【図３】
0005446949.tif 000007
【図４】
0005446949.tif 000008
【図５】
0005446949.tif 000009
【図６】
0005446949.tif 000010
【図７】
0005446949.tif 000011
【図８】
0005446949.tif 000012
【図９】
0005446949.tif 000013
【図１０】
0005446949.tif 000014
【図１１】
0005446949.tif 000015
【図１２】
0005446949.tif 000016
【図１３】
0005446949.tif 000017
【図１４】
0005446949.tif 000018
【図１５】
0005446949.tif 000019
【図１６】
0005446949.tif 000020
【図１７】
0005446949.tif 000021
【図１８】
0005446949.tif 000022
【図１９】
0005446949.tif 000023
【図２０】
0005446949.tif 000024