(57)【要約】【課題】立体画像を生成するシステムをシンプルに構成できると共に、左右画像を撮像する際に手間を省き、幾何学的な空間歪みによる不自然さを確認することができる立体画像再現歪み出力装置、方法、プログラムを提供する。【解決手段】２眼立体カメラ２で撮像した左右の画像から立体画像を再現した際の歪みに係る歪み情報を表示装置４に出力する立体画像再現歪み出力装置１であって、対応点計算部３と、エンコーダ部５と、条件情報入力部７と、空間歪み計算部９と、不自然さ計算部１１と、出力部１３と、を備えた。【選択図】      図１
2005026756.tif 000002
【特許請求の範囲】
【請求項１】
２眼立体カメラで撮像した左右の画像から立体画像を再現した際の歪みに係る歪み情報を表示装置に出力する立体画像再現歪み出力装置であって、
前記２眼立体カメラで左右の画像を撮像する際の撮像条件情報と、前記画像から前記立体画像を再現する際の空間に関する空間条件情報と、前記立体画像を観視する際の観視条件情報とを入力する条件情報入力手段と、
前記条件情報入力手段で入力された各条件情報に基づいて、前記立体画像を再現した際の空間の歪みを示す空間歪みパラメータを計算する空間歪みパラメータ計算手段と、
この空間歪みパラメータ計算手段で計算された空間歪みパラメータに基づいて、前記立体画像を観視する観視者が当該立体画像の不自然さを感じる度合いを定量化する不自然さ定量化手段と、
この不自然さ定量化手段で定量化された不自然さ量を前記歪み情報として前記表示装置に出力する出力手段と、
を備えることを特徴とする立体画像再現歪み出力装置。
【請求項２】
２眼立体カメラで撮像した左右の画像から立体画像を再現した際の歪みに係る歪み情報を表示装置に出力する立体画像再現歪み出力装置であって、
前記２眼立体カメラで左右の画像を撮像する際の撮像条件情報に基づいて、前記２眼立体カメラで撮像した左右の画像に含まれる被写体の対応点を求め、この対応点に従って当該被写体の位置を求めることにより、前記立体画像を再現する際の空間に関する空間条件情報を計算する対応点計算手段と、
この対応点計算手段で計算した空間条件情報と、前記２眼立体カメラで左右の画像を撮像する際の撮像条件情報と、前記立体画像を観視する際の観視条件情報とを入力する条件情報入力手段と、
前記条件情報入力手段で入力された各条件情報に基づいて、前記立体画像を再現した際の空間の歪みを示す空間歪みパラメータを計算する空間歪みパラメータ計算手段と、
この空間歪みパラメータ計算手段で計算された空間歪みパラメータに基づいて、前記立体画像を観視する観視者が当該立体画像の不自然さを感じる度合いを定量化する不自然さ定量化手段と、
この不自然さ定量化手段で定量化された不自然さ量を前記歪み情報として前記表示装置に出力する出力手段と、
を備えることを特徴とする立体画像再現歪み出力装置。
【請求項３】
前記空間歪みパラメータ計算手段によって計算された空間歪みパラメータが予め設定した閾値を超えた場合に、警告を発生する警告発生手段を備えることを特徴とする請求項１または請求項２に記載の立体画像再現歪み出力装置。
【請求項４】
前記警告発生手段は、
前記撮像条件情報に基づいて前記２眼立体カメラで撮像した左右の画像を、前記観視者が観視して融合する際に、最小奥行きに位置する被写体を見た際の輻輳角と最大奥行きに位置する被写体を見た際の輻輳角との差である視差分布が所定値以上である場合に、警告を発生することを特徴とする請求項３に記載の立体画像再現歪み出力装置。
【請求項５】
前記歪み情報を、前記表示装置に表示する場合の表示形態を変更する表示形態変更手段を備えることを特徴とする請求項１から請求項４のいずれか一項に記載の立体画像再現歪み出力装置。
【請求項６】
前記撮像条件情報および前記観視条件情報が予め設定した立体画像融合可能条件を満たすか否かに基づいて、前記左右の画像を前記立体画像として融合可能か否かを判定する融合可否判定手段を備えることを特徴とする請求項１から請求項５のいずれか一項に記載の立体画像再現歪み出力装置。
【請求項７】
２眼立体カメラで撮像した左右の画像から立体画像を再現した際の歪みに係る歪み情報を表示装置に出力する立体画像再現歪み出力方法であって、
前記２眼立体カメラで左右の画像を撮像する際の撮像条件情報と、前記画像から前記立体画像を再現する際の空間に関する空間条件情報と、前記立体画像を観視する際の観視条件情報とを入力する条件情報入力ステップと、
前記条件情報入力ステップにて入力された各条件情報に基づいて、前記立体画像を再現した際の空間の歪みを示す空間歪みパラメータを計算する空間歪みパラメータ計算ステップと、
この空間歪みパラメータ計算手段で計算された空間歪みパラメータに基づいて、前記立体画像を観視する観視者が当該立体画像の不自然さを感じる度合いを定量化する不自然さ定量化ステップと、
この不自然さ定量化ステップにて定量化された不自然さ量を前記歪み情報として前記表示装置に出力する出力ステップと、
を含むことを特徴とする立体画像再現歪み出力方法。
【請求項８】
２眼立体カメラで撮像した左右の画像から立体画像を再現した際の歪みに係る歪み情報を表示装置に出力する装置を、
前記２眼立体カメラで左右の画像を撮像する際の撮像条件情報と、前記画像から前記立体画像を再現する際の空間に関する空間条件情報と、前記立体画像を観視する際の観視条件情報とを入力する条件情報入力手段、
前記条件情報入力手段で入力された各条件情報に基づいて、前記立体画像を再現した際の空間の歪みを示す空間歪みパラメータを計算する空間歪みパラメータ計算手段、
この空間歪みパラメータ計算手段で計算された空間歪みパラメータに基づいて、前記立体画像を観視する観視者が当該立体画像の不自然さを感じる度合いを定量化する不自然さ定量化手段、
この不自然さ定量化手段で定量化された不自然さ量を前記歪み情報として前記表示装置に出力する出力手段、
として機能させることを特徴とする立体画像再現歪み出力プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮影している画像から立体画像を生成した際の歪みに係る情報を出力する立体画像再現歪み出力装置、立体画像再現歪み出力方法および立体画像再現歪み出力プログラムに関する。
【０００２】
【従来の技術】
従来、左眼用の左画像を撮像する左眼用カメラと右眼用の右画像を撮像する右眼用カメラとからなる２眼立体カメラで、被写体の左画像および被写体の右画像（以下、左右画像という）を撮像し、この左右画像を表示装置に表示して立体画像を生成する立体画像生成装置が知られている（特許文献１参照）。この左右画像を２眼立体カメラで撮像するときに、左眼用カメラと右眼用カメラとのカメラ間隔や光軸輻輳距離を変えて、生成される立体画像の立体感を強調することが一般的に行われている。
【０００３】
ところで、左右画像を立体画像として観視する観視者が、当該左右画像を観視する際に、被写体が周りの背景に比べて小さく感じられる「箱庭」といった現象や、被写体の厚みが薄く感じられる「書き割り」といった現象が、幾何学的な空間歪みによる不自然さによって生じる場合がある。これら「箱庭」、「書き割り」といった現象を防止するために、幾何学的な空間歪みによる不自然さが極端に生じないように、左右画像を撮像する撮像現場では、一定程度以上の大きさの立体ディスプレイを持ち込んで、左右画像を撮像するたびに、当該左右画像を撮像する撮像者は、立体メガネをかけて左右画像を目視によって確認して、左右画像を立体画像に編集する編集時に極端な歪みが出ないように撮像し直していた。
【０００４】
また、観視者が、左右画像を観視する際に、当該左右画像に開散方向に極端な視差がついていて、立体画像を融合できなくなって見づらくなる「ばらけ」が生じないように、左右画像を撮像する撮像現場では、撮像時に、持ち込んだ立体ディスプレイに定規を当てて視差を測定していた（実測していた）。
【０００５】
【特許文献１】
特開平１１−３４１５２２号公報（段落番号００１６−段落番号００２４、第１図）
【０００６】
【発明が解決しようとする課題】
従来の撮像現場では、左右画像から立体画像を生成する際の空間歪みを確認するために、撮像現場に一定以上の大きさの立体ディスプレイを持ち込まなければならず、立体画像を生成するシステムが大がかりになるという問題がある。また、左右画像を撮像するたびに撮像者は、立体メガネを着用して左右画像を確認しなければならず手間がかかるという問題がある。また、撮像した左右画像を大画面に提示することを想定する場合には、撮像現場で、当該左右画像を確認する方法が確立されていなかったという問題がある。
【０００７】
そこで、本発明の目的は前記した従来の技術が有する課題を解消し、立体画像を生成するシステムをシンプルに構成できると共に、左右画像を撮像する際に手間をかけることなく、幾何学的な空間歪みによる不自然さを確認することができる立体画像再現歪み出力装置、立体画像再現歪み出力方法および立体画像再現歪み出力プログラムを提供することにある。
【０００８】
【課題を解決するための手段】
本発明は、前記した目的を達成するため、以下に示す構成とした。
請求項１記載の立体画像再現歪み出力装置は、２眼立体カメラで撮像した左右の画像から立体画像を再現した際の歪みに係る歪み情報を表示装置に出力する立体画像再現歪み出力装置であって、条件情報入力手段と、空間歪みパラメータ計算手段と、不自然さ定量化手段と、出力手段と、を備える構成とした。
【０００９】
かかる構成によれば、立体画像再現歪み出力装置は、条件情報入力手段によって、２眼立体カメラで左右の画像を撮像する際の撮像条件情報と、画像から立体画像を再現する際の空間に関する空間条件情報と、立体画像を観視する際の観視条件情報とを入力する。撮像条件情報とは、少なくとも、被写体を２眼立体カメラで撮像した際の被写体から２眼立体カメラまでの距離、左眼用カメラと右眼用カメラとの距離であるカメラ間隔、光軸輻輳距離、撮像画角を含むものである。空間条件情報とは、立体画像を再現する空間（空間メッシュ）に関する情報（空間メッシュ条件情報といえる）であり、立体画像に含まれている立体像（背景）の最大奥行距離、最小奥行距離、被写体奥行距離を含むものである。観視条件情報とは、左右画像を表示し、当該左右画像を立体画像として観視する際の条件情報であり、立体画像表示装置の画面サイズ、立体画像表示装置から観視者までの距離、観視者の瞳孔間隔等を含むものである。
【００１０】
そして、この立体画像再現歪み出力装置は、空間歪みパラメータ計算手段によって、条件情報入力手段で入力された各条件情報（撮像条件情報、空間条件情報、観視条件情報）に基づいて、左右画像から立体画像を再現した際の空間の歪みを示す空間歪みパラメータを計算する。この空間歪みパラメータは、再現された立体画像において「書き割り」を生じる書き割りパラメータと、再現された立体画像において「箱庭」を生じる箱庭パラメータとからなるものである。なお、「書き割り」とは、幾何学的な空間歪みによる不自然さによって、被写体の厚みが薄く感じられる現象であり、「箱庭」とは、幾何学的な空間歪みによる不自然さによって、被写体が周りの背景に比べて小さく感じられる現象である。
【００１１】
さらに、この立体画像再現歪み出力装置は、不自然さ定量化手段によって、空間歪みパラメータ計算手段で計算された空間歪みパラメータ（書き割りパラメータおよび箱庭パラメータ）に基づいて、観視者が立体画像を観視した際に感じる不自然さを不自然さ量として定量化し、この不自然さ量を出力手段によって表示装置に出力する。なお、この表示装置では、不自然さ量に基づいて、立体画像が表示される空間である空間メッシュの中で、例えば、顕著に立体感を感じさせる部分、つまり、立体像（被写体）の生じる座標に色づけが施された立体画像が表示される。
【００１２】
請求項２記載の立体画像再現歪み出力装置は、２眼立体カメラで撮像した左右の画像から立体画像を再現した際の歪みに係る歪み情報を表示装置に出力する立体画像再現歪み出力装置であって、対応点計算手段と、条件情報入力手段と、空間歪みパラメータ計算手段と、不自然さ定量化手段と、出力手段と、を備える構成とした。
【００１３】
かかる構成によれば、立体画像再現歪み出力装置は、対応点計算手段によって、２眼立体カメラで左右の画像を撮像する際の撮像条件情報に基づいて、２眼立体カメラで撮像した左右の画像に含まれる被写体の対応点を求め、この対応点に従って当該被写体の位置を求めることにより、立体画像を再現する際の空間に関する空間条件情報を計算する。つまり、この対応点計算手段によって、被写体の実空間での位置（距離）によって、視差が計算され、空間条件情報が計算されるので、この空間条件情報を入力する必要が無くなる。続いて、この立体画像再現歪み出力装置は、条件情報入力手段によって、対応点計算手段で計算した空間条件情報と、２眼立体カメラで左右の画像を撮像する際の撮像条件情報と、立体画像を観視する際の観視条件情報とを入力し、空間歪みパラメータ計算手段によって、条件情報入力手段で入力された各条件情報に基づいて、立体画像を再現した際の空間の歪みを示す空間歪みパラメータを計算する。そして、この立体画像再現歪み出力装置は、不自然さ定量化手段によって、空間歪みパラメータ計算手段で計算された空間歪みパラメータに基づいて、立体画像を観視する観視者が当該立体画像の不自然さを感じる度合いを定量化し、出力手段によって、不自然さ定量化手段で定量化された不自然さ量を歪み情報として表示装置に出力する。
【００１４】
請求項３記載の立体画像再現歪み出力装置は、請求項１または請求項２に記載の立体画像再現歪み出力装置において、前記空間歪みパラメータ計算手段によって計算された空間歪みパラメータが予め設定した閾値を超えた場合に、警告を発生する警告発生手段を備える構成とした。
【００１５】
かかる構成によれば、立体画像再現歪み出力装置は、警告発生手段によって、空間歪みパラメータ、つまり、書き割りパラメータと箱庭パラメータとのすくなくとも一方が閾値を超えた場合に警告を発生する。この警告によって、被写体を２眼立体カメラで撮像している撮像者は、撮像条件情報等の変更が必要であると気づくことができる。
【００１６】
請求項４記載の立体画像再現歪み出力装置は、請求項３に記載の立体画像再現歪み出力装置において、前記警告発生手段は、前記撮像条件情報に基づいて前記２眼立体カメラで撮像した左右の画像を、前記観視者が観視して融合する際に、最小奥行きに位置する被写体を見た際の輻輳角と最大奥行きに位置する被写体を見た際の輻輳角との差である視差分布が所定値以上である場合に、警告を発生することを特徴とする。
【００１７】
かかる構成によれば、立体画像再現歪み出力装置は、警告発生手段によって、最小奥行きに位置する被写体を見た際の輻輳角と最大奥行きに位置する被写体を見た際の輻輳角と差である視差分布が所定値以上である場合に警告を発生する。この警告によって、被写体を２眼立体カメラで撮像している撮像者は、撮像条件情報等の変更が必要であると気づくことができる。なお、所定値とは、例えば、１度（６０分）である。
【００１８】
請求項５記載の立体画像再現歪み出力装置は、請求項１から請求項４のいずれか一項に記載の立体画像再現歪み出力装置において、前記歪み情報を前記表示装置に表示する場合の表示形態を変更する表示形態変更手段を備えることを特徴とする。
【００１９】
かかる構成によれば、立体画像再現歪み出力装置は、表示形態変更手段によって、歪み情報を表示装置で表示する場合の表示形態（表示の仕方）を変更する。例えば、空間メッシュの大きさを変更させたり、立体像（被写体）の座標を表示する際の色づけを変更させたりすることができる。
【００２０】
請求項６記載の立体画像再現歪み出力装置は、請求項１から請求項５のいずれか一項に記載の立体画像再現歪み出力装置において、前記撮像条件情報および前記観視条件情報が予め設定した立体画像融合可能条件を満たすか否かに基づいて、前記左右の画像を前記立体画像として融合可能か否かを判定する融合可否判定手段を備えることを特徴とする。
【００２１】
かかる構成によれば、立体画像再現歪み出力装置は、融合可否判定手段によって、撮像条件情報および観視条件情報が予め設定した立体画像融合可能条件を満たすか否かに基づいて、左右の画像を観た観視者が当該左右の画像から立体画像を融合することができるかを判定する。なお、立体画像融合可能条件は、観視者の瞳孔間距離よりも、立体画像が再現された際の画面上の水平視差が小さいことである。
【００２２】
請求項７記載の立体画像再現歪み出力方法は、２眼立体カメラで撮像した左右の画像から立体画像を再現した際の歪みに係る歪み情報を表示装置に出力する立体画像再現歪み出力方法であって、条件情報入力ステップと、空間歪みパラメータ計算ステップと、不自然さ定量化ステップと、出力ステップと、を含む手順とした。
【００２３】
かかる手順によれば、立体画像再現歪み出力方法は、条件情報入力ステップにおいて、２眼立体カメラで左右の画像を撮像する際の撮像条件情報と、画像から立体画像を再現する際の空間に関する空間条件情報と、立体画像を観視する際の観視条件情報とを入力し、空間歪みパラメータ計算ステップにおいて、条件情報入力ステップにて入力された各条件情報（撮像条件情報、空間条件情報、観視条件情報）に基づいて、左右画像から立体画像を再現した際の空間の歪みを示す空間歪みパラメータを計算する。
【００２４】
そして、この立体画像再現歪み出力方法は、不自然さ定量化ステップにおいて、空間歪みパラメータ計算ステップにて計算された空間歪みパラメータ（書き割りパラメータおよび箱庭パラメータ）に基づいて、観視者が立体画像を観視した際に感じる不自然さを不自然さ量として定量化し、この不自然さ量を歪み情報として出力ステップにおいて表示装置に出力する。
【００２５】
請求項８記載の立体画像再現歪み出力プログラムは、２眼立体カメラで撮像した左右の画像から立体画像を再現した際の歪みに係る歪み情報を表示装置に出力する装置を、条件情報入力手段、空間歪みパラメータ計算手段、不自然さ定量化手段、出力手段、として機能させる構成とした。
【００２６】
かかる構成によれば、立体画像再現歪み出力プログラムは、条件情報入力手段によって、２眼立体カメラで左右の画像を撮像する際の撮像条件情報と、画像から立体画像を再現する際の空間に関する空間条件情報と、立体画像を観視する際の観視条件情報とを入力し、空間歪みパラメータ計算手段によって、条件情報入力手段で入力された各条件情報（撮像条件情報、空間条件情報、観視条件情報）に基づいて、左右画像から立体画像を再現した際の空間の歪みを示す空間歪みパラメータを計算する。
【００２７】
そして、この立体画像再現歪み出力プログラムは、不自然さ定量化手段によって、空間歪みパラメータ計算手段で計算された空間歪みパラメータ（書き割りパラメータおよび箱庭パラメータ）に基づいて、観視者が立体画像を観視した際に感じる不自然さを不自然さ量として定量化し、この不自然さ量を歪み情報として出力手段によって表示装置に出力する。
【００２８】
【発明の実施の形態】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
（立体画像再現歪み出力装置の構成）
図１に立体画像再現歪み出力装置のブロック図を示す。この図１に示すように、立体画像再現歪み出力装置１は、左眼用カメラおよび右眼用カメラを備えた２眼立体カメラ２で被写体等を撮像した左右の画像（左眼用画像、右眼用画像）に基づいて、立体画像を再現する際の歪み情報をリアルタイムに表示装置４に出力するもので、対応点計算部３と、エンコーダ部５と、条件情報入力部７と、空間歪み計算部９と、不自然さ計算部１１と、出力部１３とを備えている。
【００２９】
なお、２眼立体カメラ２には、当該２眼立体カメラ２で撮像した左右の画像を立体画像として表示させる立体画像表示装置２ａが接続されている。左右の画像を撮像する撮像現場では、実際の観視条件と同じ条件のディスプレイを用意することと、観視距離を設定することとは困難な場合が多く、立体画像表示装置２ａは、こういった場合にあくまで、立体画像を観視する目安として設置するので、当該装置１と点線によって接続するように図示している。
【００３０】
対応点計算部３（対応点計算手段）は、２眼立体カメラ２から出力された立体画像（左右の画像［左眼用画像、右眼用画像］）と、撮像条件情報（カメラパラメータ）から、視差を測定し、被写体の実空間における奥行きおよび水平位置を計算し、空間条件情報を求めるものである。この実施の形態では、最終的に生成した左右の画像を立体画像として観視者が観視するものに、ハイビジョンの立体表示装置（図示せず）を想定しているので、当該立体画像を観視者が観視する際の観視条件情報もこの対応点計算部３に入力している。通常、この観視条件情報は、直接、条件情報入力部７に入力すればいいものである。
【００３１】
この対応点計算部３は、まず、左眼用画像から視差を測定したい画像部分（視差測定用画像部分）を抽出し、予め設定したマージン（融合可能範囲等の間隔、隙間）で右眼用画像から視差検出用の画像部分（視差検出用画像部分）を抽出する。そして、これら視差測定用画像部分と、視差検出用画像部分とによって、位相限定相関法により、マッチングを取って、視差を計算する。なお、この対応点計算部３で求めた空間条件情報は、直接、条件情報入力部７に入力される形態であってもよい。
【００３２】
エンコーダ部５は、２眼立体カメラから出力された立体画像（左右の画像［左眼用画像、右眼用画像］）と、撮像条件情報（カメラパラメータ）とを取り込んで、当該立体画像および撮像条件情報をエンコード（符号化）し、ＶＴＲ、ＤＶＤ等の画像記録媒体に記録させるものである。
【００３３】
条件情報入力部７（条件情報入力手段）は、エンコーダ部５から出力された、被写体を２眼立体カメラ２で撮影（撮像）した際の撮像条件情報と、対応点計算部３から出力された当該２眼立体カメラ２で撮影した左右の画像から立体画像を再現する際の空間に関する空間条件情報および最終的に生成された左右画像を融合し立体画像として観視者が観る画面（図示せず）に表示される左右の画像を立体画像として観視する際の観視条件情報と、を入力するもので、融合可否判定手段７ａと、表示形態変更手段７ｂとを備えている。なお、対応点計算部３を備えない場合、この条件情報入力部７に、撮像条件情報、空間条件情報および観視条件情報が直接入力されることになる。
【００３４】
撮像条件情報は、カメラポジション（６自由度；上下角度、左右方向、上下位置等）と、カメラ間隔ｄｃ［ｍｍ］と、光軸輻輳距離Ｌｃ［ｍｍ］と、撮像画角α［度］と、アイリスと、ズーム倍率と、焦点距離とを含んでいる。
【００３５】
空間条件情報は、最大奥行距離Ｌｂｍａｘ［ｍ］と、最小奥行距離Ｌｂｍｉｎ［ｍ］と、被写体奥行距離Ｌｆ［ｍ］と、メッシュ間隔距離ｄＬｂ［ｍ］と、テクスチャの空間分割数と、テクスチャを貼る空間とを含んでいる。なお、メッシュ間隔距離ｄＬｂ［ｍ］は、設定した空間メッシュの奥行きをＮ分割した際の距離である。また、テクスチャの空間分割数は、立体画像を再現する空間にタイル状に貼る空間メッシュの個数を表すもので、「分割なし」（１個）、または、Ｍ分割から選択するものである。さらに、テクスチャを貼る空間は、「実空間」、「歪み空間」から選択するものである。
【００３６】
観視条件情報は、最終的に生成された左右画像を融合し立体画像として観視者が観る画面（図示せず）の表示画面のサイズである画面サイズｉｎｃｈ［インチ］と、視距離Ｌｓ［ｍ］と、瞳孔間隔ｄｅ［ｍｍ］と、水平位相Ｈｃ［ｍｍ］とを含んでいる。この水平位相Ｈｃ［ｍｍ］とは、平行法で撮像した立体画像を表示する場合に、奥行きを正しく再現するための左右の画像を水平にずらす距離である。ちなみに、交差法で撮像した立体画像を表示する場合には、ずらす距離を０［ｍｍ］にする。また、平行法とは、２眼立体カメラ２で左右の画像を撮像する際に、左眼用カメラと右眼用カメラを平行にして被写体等を撮像する方法であり、交差法とは、２眼立体カメラ２で左右の画像を撮像する際に、左眼用カメラと右眼用カメラを両方のカメラの内側に向けて被写体等を撮像する方法である。
【００３７】
融合可否判定手段７ａは、撮像条件情報および観視条件情報が立体画像融合可能条件を満たすか否かに基づいて、左右の画像を観視した観視者が当該左右の画像から立体画像を融合可能か否かを判定するものである。例えば、撮像条件情報であるカメラ間隔ｄｃ［ｍｍ］が極端に離れている場合、２眼立体カメラ２の左眼用カメラと右眼用カメラとのズーム倍率が一致していない場合、観視条件情報である表示画角が非常に大きい場合等に、この融合可否判定部７ａで、融合不可能であると判定される。
【００３８】
立体画像融合可能条件は、観視者の瞳孔間距離よりも、立体画像が再現された際の画面上の水平視差が小さいことである。つまり、この立体画像融合可能条件は水平視差≦瞳孔間距離で表される。
【００３９】
表示形態変更手段７ｂは、２眼立体カメラ２で撮像した左右の画像から立体画像を再現させる際の歪みを表示装置４で表示する場合の表示形態（表示の仕方）を当該装置１の利用者の操作、つまり、この条件情報入力部７に入力された各条件情報に基づいて表示形態（表示の仕方）を変更するものである。例えば、空間メッシュの大きさを変更させたり、立体像（被写体）の座標を表示する際の色づけをを変更させたりすることができる。
【００４０】
空間歪み計算部９（空間歪みパラメータ計算手段）は、「書き割り」および「箱庭」の空間歪みパラメータ（書き割りパラメータ、箱庭パラメータ）を計算するもので、この「書き割り」および「箱庭」の空間歪みパラメータの計算方法は、「２眼立体画像における箱庭・書き割り効果の幾何学的考察」（画像情報メディア学会Ｖｏｌ．５６，Ｎｏ．４（２００２）論文  山之上他）に則って行っており、これらの空間歪みパラメータ計算方法の詳細は、動作の説明で行うこととする。
【００４１】
なお、この空間歪み計算部９には、警告発生手段９ａが備えられており、この警告発生手段９ａによって、空間歪みパラメータが予め設定した閾値を超えた場合に、表示装置４に表示される立体画像に「書き割り」「箱庭」といった現象が生じる旨の警告表示がなされる。または、この警告発生手段９ａによって、図示を省略した音声出力装置から警告音が出力される。
【００４２】
また、この警告発生手段９ａは、融合可否判定手段７ａにって、融合不可と判定され場合には、表示装置４に立体画像が合成できない旨の警告表示がなされる。または、この警告発生手段９ａによって、図示を省略した音声出力装置から警告音が出力される。
【００４３】
さらに、この警告発生手段９ａは、撮像条件情報に基づいて、最小奥行きに位置する被写体を観視者が観視した際の、当該観視者の左右眼球と被写体との三点を結んだ二等辺三角形の頂角の角度（輻輳角）と、最大奥行きに位置する被写体を観視者が観視した際の、当該観視者の左右眼球と被写体との三点を結んだ二等辺三角形の頂角の角度（輻輳角）との差である視差分布が所定値以上である場合に警告を発生する。所定値とは、例えば、１度（６０分）である。
【００４４】
不自然さ計算部１１（不自然さ定量化手段）は、空間歪み計算部９で計算した「書き割り」および「箱庭」の空間歪みパラメータと、これらの空間歪みパラメータの主観評価実験の結果とに基づいて、「書き割り」、「箱庭」の不自然さの度合い（書き割り不自然さ量、箱庭不自然さ量）を計算するものである。なお、「書き割り」および「箱庭」の空間歪みパラメータの主観評価実験の結果は、「２眼立体画像における箱庭・書き割り効果の幾何学的考察」（画像情報メディア学会Ｖｏｌ．５６，Ｎｏ．４（２００２）論文  山之上他）を参照しており、これらの不自然さの度合いの計算方法の詳細は、動作の説明で行うこととする。
【００４５】
出力部１３（出力手段）は、不自然さ計算部１１で計算された「書き割り」、「箱庭」の不自然さの度合いである書き割り不自然さ量、箱庭不自然さ量を、歪み情報として、表示装置４に出力するものである。歪み情報は、空間の歪みを空間メッシュからなる空間メッシュ座標で表したものであり、「書き割り」、「箱庭」といった現象が生じている画像部分（空間メッシュ）に、それぞれ特定色で着色したテクスチャを貼り付けて表示したものである。なお、この実施の形態では、「書き割り」は緑色に着色され、「箱庭」はマゼンダに着色され、それぞれ、書き割り不自然さ量、箱庭不自然さ量によって階調が施されたテクスチャによって表示される。
【００４６】
なお、テクスチャは、空間条件情報による空間をＭ分割した各空間メッシュに貼り付けるもので、不自然さの度合い（書き割り不自然さ量の多寡、箱庭不自然さ量の多寡）をＲＧＢ画像を元にした色によって表現したものである。このテクスチャには、予め正方形のＲＧＢ画像が用意されており、可能な限りＲ、Ｇ、Ｂにむらのないものが選択されている。また、条件情報入力部７において入力された空間条件情報で「貼らない」（テクスチャなし）となっている場合は、全面ホワイトのテクスチャを貼る歪み情報が表示装置４に出力されることになる。
【００４７】
この立体画像再現歪み出力装置１によれば、対応点計算部３によって、２眼立体カメラ２で撮像した左右の画像に基づいて、視差が算出され、立体画像を再現する際の空間に関する空間条件情報が計算される。そして、条件情報入力部７によって、対応点計算部３で計算した空間条件情報と、２眼立体カメラ２で左右の画像を撮像する際の撮像条件情報と、最終的に生成された左右画像を融合し立体画像として観視者が観る画面（図示せず）で立体画像を観視する際の観視条件情報とが入力され、空間歪み計算部９によって、条件情報入力部７で入力された各条件情報に基づいて、立体画像を再現した際の空間の歪みを示す「書き割り」および「箱庭」の空間歪みパラメータが計算される。そして、不自然さ計算部１１によって、空間歪み計算部９で計算された「書き割り」および「箱庭」の空間歪みパラメータに基づいて、立体画像を観視する観視者が当該立体画像の不自然さを感じる度合いが定量化され、出力部１３によって、不自然さ計算部１１で定量化された不自然さ量が歪み情報として表示装置４に出力される。
【００４８】
このため、この立体画像再現歪み出力装置１を組み込んで、立体画像を生成するシステムを構成すれば、当該システムをシンプルに構成できると共に、左右の画像を撮像する際に手間をかけることなく、リアルタイムで、幾何学的な空間歪みによる不自然さを確認することができる。
【００４９】
また、この立体画像再現歪み出力装置１によれば、空間歪み計算部９に備えられる警告発生手段９ａによって、書き割りパラメータと箱庭パラメータとの少なくとも一方が閾値を超えた場合に警告（警告表示、警告音）が発生される。また、この警告発生手段９ａによって、撮像条件情報に基づいて、最小奥行きの視差分布と最大奥行きの視差分布との差が所定値以上である場合に警告が発生される。この警告によって、被写体を２眼立体カメラ２で撮像している当該装置１の利用者（撮像者）は、撮像条件情報等の変更が必要であると気づくことができる。
【００５０】
さらに、この立体画像再現歪み出力装置１によれば、融合可否判定手段７ａによって、撮像条件情報および観視条件情報に基づいて、左右の画像を観た観視者が当該画像から立体画像を融合することができるかを判定することができる。
【００５１】
さらにまた、この立体画像再現歪み出力装置１によれば、表示形態変更手段７ｂによって、表示装置４に歪み情報を表示する場合の表示の仕方を変更することができる。
【００５２】
（立体画像再現歪み出力装置の全体の動作）
次に、図２に示すフローチャートを参照して、立体画像再現歪み出力装置１の全体の動作について説明する（適宜、図１参照）。なお、この立体画像再現歪み出力装置１の全体の動作の説明では、各構成について概略の動作を述べるにとどまり、各構成の詳細な動作については、後記する（図３〜図７に示すフローチャートを使用して説明する）。
【００５３】
まず、立体画像再現歪み出力装置１の対応点計算部３に２眼立体カメラ２から立体画像（左右の画像）および撮像条件情報と、観視条件情報とが入力され、これら立体画像および撮像条件情報から対応点計算部３で、空間条件情報が求められる（Ｓ１）。この空間条件情報は、条件情報入力部７に出力される。また、エンコーダ部５に２眼立体カメラ２から立体画像および撮像条件情報が入力され、立体画像は画像記録媒体に出力されて記録され、撮像条件情報は条件情報入力部７に出力される（Ｓ２）。なお、条件情報入力部７には、撮像条件情報と、観視条件情報と、空間条件情報とが入力される。
【００５４】
すると、空間歪み計算部９で、「書き割り」、「箱庭」の空間歪みパラメータである書き割りパラメータ、箱庭パラメータが計算される（Ｓ３）。これら書き割りパラメータ、箱庭パラメータに基づいて、不自然さ計算部１１で、立体画像が不自然に見える度合いを定量化した書き割り不自然さ量と、箱庭不自然さ量とが計算される（Ｓ４）。
【００５５】
そして、これら書き割り不自然さ量と、箱庭不自然さ量とが出力部１３で歪み情報とされて、表示装置４に出力される（Ｓ５）。
【００５６】
（立体画像再現歪み出力装置の対応点計算部の詳細な動作）
次に、図３に示すフローチャートを参照して、対応点計算部３の詳細な動作について説明する（適宜、図１参照）。
【００５７】
まず、対応点計算部３に、２眼立体カメラ２から左右の画像（立体画像）が入力される（Ｓ１１）。視差を検出する検索画素の範囲が設定される（Ｓ１２）。ここでは、左の画像から抽出した画像部分と同じ位置にある右の画像の一定の範囲を設定しており、検索対象となる画像部分を抽出する際に、上下（垂直ずれ）、左（輻輳方向）、右（開散方向）にどのくらいのマージンをとるのかを決定している。
【００５８】
続いて、左の画像から当該装置１の利用者が視差を測定したい画像部分（視差測定用画像部分）が選択される（Ｓ１３）。また、右の画像から視差を検出するための検出用の画像部分（視差検出用画像分）が抽出される（Ｓ１４）。
【００５９】
そして、これら切り取った（抽出、選択）左右の画像の視差検出用画像部分および視差測定用画像部分に窓関数がかけられる（Ｓ１５）。これによって、各画像部分のエッジ（端部）による検索誤差が防止される。そして、位相限定相関法によって、窓関数がかけられた視差検出用画像部分（窓関数乗算視差検出用画像部分）と、窓関数がかけられた視差測定用画像部分（窓関数乗算視差測定用画像部分）との画像マッチングが行われる（Ｓ１６）。
【００６０】
すると、位相限定相関法における位相相関平面の値が、最大値から大きい順に、予め当該装置１の利用者が指定した数だけ選び出される。なお、この選び出された位相相関平面の値に対応する左右の画像（左の画像、右の画像）の輝度差が計算され、この輝度差が大きい場合には、それぞれの位相相関平面の値を、対応する輝度差で除算した中で、最大になったものとマッチングがとれたと判断される。左右の画像の輝度差がほぼ同じとなり、マッチングがとれた場合には、当該左右の画像の視差（水平、垂直に何画素ずれているか）が測定（算出）される（Ｓ１７）。
【００６１】
また、撮像条件情報、観視条件情報が対応点計算部３に入力される（Ｓ１８）。撮像条件情報および観視条件情報と、測定された左右の画像の視差とに基づいて、視差測定用画像部分（例えば、被写体）の実際の奥行きと水平位置とが計算される（Ｓ１９）。その後、空間条件情報が条件情報入力部７に出力され、視差測定用画像部分を、測定された左右の画像の視差によって得られる位置に相当するテクスチャ上の場所に貼り付けがなされ、出力される（Ｓ２０）。
【００６２】
（立体画像再現歪み出力装置の条件情報入力部の詳細な動作）
次に、図４に示すフローチャートを参照して、条件情報入力部７の詳細な動作について説明する（適宜、図１参照）。
【００６３】
まず、条件情報入力部７に撮像条件情報が入力される（Ｓ２１）。この撮像条件情報として、カメラポジション、カメラ間隔ｄｃ［ｍｍ］、光軸輻輳距離Ｌｃ［ｍ］、撮像画角α［度］、アイリス、ズーム倍率、焦点距離が入力される。続いて、この撮像条件情報から２眼立体カメラ２のセッティングが良好であるどうかが融合可否判定手段７ａで判断され（Ｓ２２）、良好であると判断されなかった場合（Ｓ２２、Ｎｏ）、つまり、立体画像が融合できないと判定されると、再度、撮像条件情報の入力が促される。２眼立体カメラ２のセッティングが良好であるとは、カメラポジションである垂直ずれ、水平ずれ、旋回ずれがなく、アイリス不一致やズーム倍率不一致がない場合をさすものである。
【００６４】
２眼立体カメラ２のセッティングが良好であると判断された場合（Ｓ２２、Ｙｅｓ）、この条件情報入力部７に空間条件情報が入力される（Ｓ２３）。この空間条件情報として、最大奥行距離Ｌｂｍａｘ［ｍ］と、最小奥行距離Ｌｂｍｉｎ［ｍ］と、被写体奥行距離Ｌｆ［ｍ］と、空間メッシュ分割数Ｎ（メッシュ間隔距離ｄＬｂ［ｍ］）と、テクスチャの有無または空間分割数Ｍと、テクスチャを貼る空間指定とが入力される。
【００６５】
そして、被写体奥行距離Ｌｆ［ｍ］が最大奥行距離Ｌｂｍａｘ［ｍ］よりも小さく、且つ、最小奥行距離Ｌｂｍｉｎ［ｍ］よりも大きいかどうかが判断され（Ｓ２４）、被写体奥行距離Ｌｆ［ｍ］が最大奥行距離Ｌｂｍａｘ［ｍ］よりも小さく、且つ、最小奥行距離Ｌｂｍｉｎ［ｍ］よりも大きいと判断されなかった場合（Ｓ２４、Ｎｏ）には、警告が発せられる（Ｓ２５）。
【００６６】
被写体奥行距離Ｌｆ［ｍ］が最大奥行距離Ｌｂｍａｘ［ｍ］よりも小さく、且つ、最小奥行距離Ｌｂｍｉｎ［ｍ］よりも大きいと判断された場合（Ｓ２４、Ｙｅｓ）には、この条件情報入力部７に観視条件情報が入力される（Ｓ２６）。この観視条件情報として、立体画像表示装置２ａの表示画面のサイズである画面サイズｉｎｃｈ［インチ］と、視距離Ｌｓ［ｍ］と、瞳孔間隔ｄｅ［ｍｍ］と、水平位相Ｈｃ［ｍｍ］とが入力される。また、立体画像表示装置２ａの表示画面の表示画角βの表示がなされる（Ｓ２７）。この表示画角β（水平画角に対するもので、アスペクト比が１６：９の場合）は２・ａｔａｎ（０．０１１１・ｉｎｃｈ／Ｌｓ）で求められる。
【００６７】
次に、当該２眼立体カメラ２による被写体の撮像法の判別、表示がなされる（Ｓ２８）。被写体の撮像法として、平行法の場合、光軸輻輳距離Ｌｃ［ｍ］＝無限大となり、交差法の場合、光軸輻輳距離Ｌｃ［ｍ］≠無限大となる。
【００６８】
また、カメラ間隔比ａ１、網膜像の像倍率比ａ２、開散奥行距離Ｌｂｍａｘ＿ｌｉｍｉｔが求められる（Ｓ２９）。カメラ間隔比ａ１はｄｃ／ｄｅで求められる。ｄｅ［ｍｍ］は瞳孔間隔である。網膜像の像倍率比ａ２はｔａｎ（α／２）／ｔａｎ（β／２）で求められる。β［度］は立体画像表示装置２ａの表示画角である。開散奥行距離Ｌｂｍａｘ＿ｌｉｍｉｔはａ１・ａ２／（ａ１・ａ２／Ｌｃ＋Ｈｃ／ＬＳ／ｄｅ−１／Ｌｓ）で求められる。Ｈｃは、主に平行法で用いる画面の水平ずらし量（水平位相）である。Ｌｓ［ｍ］は視距離である。
【００６９】
なお、開散奥行距離Ｌｂｍａｘ＿ｌｉｍｉｔは、「ばらけ」の生じる奥行きのことであり、視差が瞳孔間距離（瞳孔間隔）よりも大きくなり、観視者の左右の眼球が開散してしまう距離のことである。
【００７０】
次に、開散奥行距離Ｌｂｍａｘ＿ｌｉｍｉｔが０よりも小さいか、または、無限大となるかどうかが判断され（Ｓ３０）、開散奥行距離Ｌｂｍａｘ＿ｌｉｍｉｔが０よりも小さいか、または、無限大となると判断された場合（Ｓ３０、Ｙｅｓ）には、条件情報入力部７の動作は終了（完了）する。つまり、開散奥行距離Ｌｂｍａｘ＿ｌｉｍｉｔが無限大であれば、空間メッシュの補正を行わないが、開散奥行距離Ｌｂｍａｘ＿ｌｉｍｉｔが無限大でない、つまり、有限であれば、入力された空間条件情報の範囲を補正する処理に移行する。
【００７１】
開散奥行距離Ｌｂｍａｘ＿ｌｉｍｉｔが０よりも小さいか、または、無限大となると判断されなかった場合（Ｓ３０、Ｎｏ）、開散奥行距離Ｌｂｍａｘ＿ｌｉｍｉｔが最大奥行距離Ｌｂｍａｘよりも大きいかどうかが判断される（Ｓ３１）。開散奥行距離Ｌｂｍａｘ＿ｌｉｍｉｔが最大奥行距離Ｌｂｍａｘよりも大きいと判断されなかった場合（Ｓ３１、Ｎｏ）、開散奥行距離Ｌｂｍａｘ＿ｌｉｍｉｔを０．９倍したものが最大奥行距離Ｌｂｍａｘとされ（Ｓ３２）、この０．９倍された最大奥行距離Ｌｂｍａｘが最小奥行距離Ｌｂｍｉｎよりも大きいかどうか判断され（Ｓ３３）、大きいと判断されなかった場合（Ｓ３３、Ｎｏ）、開散奥行距離Ｌｂｍａｘ＿ｌｉｍｉｔを０．１倍したものが最小奥行距離Ｌｂｍｉｎとされる（Ｓ３４）。
【００７２】
Ｓ３１にて、開散奥行距離Ｌｂｍａｘ＿ｌｉｍｉｔが最大奥行距離Ｌｂｍａｘよりも大きいと判断された場合（Ｓ３１、Ｙｅｓ）、または、Ｓ３３にて、０．９倍された最大奥行距離Ｌｂｍａｘが最小奥行距離Ｌｂｍｉｎよりも大きいと判断された場合（Ｓ３３、Ｙｅｓ）、或いは、Ｓ３４にて、０．１倍された開散奥行距離Ｌｂｍａｘ＿ｌｉｍｉｔが最小奥行距離Ｌｂｍｉｎとされた場合、空間メッシュの奥行きＬｂ、メッシュ間隔距離（メッシュ幅）ｄＬｂが計算される（Ｓ３５）。空間メッシュの奥行きＬｂは、最小奥行距離Ｌｂｍｉｎから最大奥行距離ＬｂｍａｘまでをＮ分割した際のＮ＋１個の点である。メッシュ間隔距離ｄＬｂは（Ｌｂｍａｘ−Ｌｂｍｉｎ）／Ｎで求められる。
【００７３】
（立体画像再現歪み出力装置の空間歪み計算部の詳細な動作）
次に、図５に示すフローチャートを参照して、空間歪み計算部９の詳細な動作について説明する（適宜、図１参照）。
【００７４】
まず、空間歪み計算部９に、条件情報入力部７から出力された空間メッシュの奥行きＬｂが入力され、この空間メッシュの奥行きＬｂの各点から、立体像が生じる（立体画像となる）奥行距離Ｌｄと、この奥行距離Ｌｄにおける横倍率Ｍｓが計算される（Ｓ４１）。なお、奥行距離Ｌｄは１／（１／Ｌｓ−Ｈｃ／Ｌｓ／ｄｅ−ａ１・ａ２／Ｌｃ＋ａ１・ａ２／Ｌｂ）で求められる。また、横倍率Ｍｓはａ２・Ｌｄ／Ｌｂで求められる。
【００７５】
そして、空間メッシュの奥行きＬｂの各点から書き割りパラメータＥｃと箱庭パラメータＥｐが計算される（Ｓ４２）。なお、書き割りパラメータＥｃはａ１・Ｌｄ／Ｌｂで求められる。また、箱庭パラメータＥｐはＭｓ（Ｌｆ）／Ｍｓ（Ｌｂ）で求められる。
【００７６】
（立体画像再現歪み出力装置の不自然さ計算部の詳細な動作）
次に、図６に示すフローチャートを参照して、不自然さ計算部１１の詳細な動作について説明する（適宜、図１参照）。
【００７７】
まず、不自然さ計算部１１に、空間歪み計算部９から出力された書き割りパラメータＥｃおよび箱庭パラメータＥｐが入力され、各空間メッシュのｙ座標（奥行き）に対応する書き割りパラメータＥｃおよび箱庭パラメータＥｐに基づいて、書き割り不自然さ量ＥＥｃおよび箱庭不自然さ量ＥＥｐが計算される（Ｓ５１）。
【００７８】
すなわち、書き割り不自然さ量ＥＥｃおよび箱庭不自然さ量ＥＥｐは、空間メッシュの奥行きＬｂ（Ｎ＋１個の点）に対応させた書き割りパラメータＥｃ（ｎ）および箱庭パラメータＥｐ（ｎ）に基づいて求められるものである、なお、ｎは１からＮ＋１までの整数である。つまり、書き割り不自然さ量ＥＥｃおよび箱庭不自然さ量ＥＥｐは、ｎの関数とみなすことができ、書き割り不自然さ量ＥＥｃ（ｎ）および箱庭不自然さ量ＥＥｐ（ｎ）とする。
【００７９】
なお、書き割りパラメータＥｃ（ｎ）が０．７５以上であると、観視者は「書き割り」の不自然さを感じられなくなり、この書き割りパラメータＥｃ（ｎ）が０．７５から０に減少するにつれ、観視者が「書き割り」の不自然さを感じる度合いが直線的に増加する。書き割り不自然さ量ＥＥｃ（ｎ）は、ＥＥｃ（ｎ）＝Ｅｃ（ｎ）／０．７５（０＜Ｅｃ（ｎ）＜０．７５）、ＥＥｃ（ｎ）＝１（Ｅｃ（ｎ）≧０．７５）で求められる。
【００８０】
また、箱庭パラメータＥｐ（ｎ）が１以上であると、観視者は「箱庭」の不自然さを感じられなくなり、この箱庭パラメータＥｐ（ｎ）が１から０に減少するにつれ、観視者が「箱庭」の不自然さを感じる度合いが直線的に増加する。箱庭不自然さ量ＥＥｐ（ｎ）は、ＥＥｐ（ｎ）＝Ｅｐ（ｎ）（０＜Ｅｐ（ｎ）＜１）、ＥＥｐ（ｎ）＝１（Ｅｐ（ｎ）≧１）で求められる。
【００８１】
（立体画像再現歪み出力装置の出力部の詳細な動作）
次に、図７に示すフローチャートを参照して、出力部１３の詳細な動作について説明する（適宜、図１参照）。
【００８２】
まず、出力部１３で、無歪みの空間メッシュ座標が作成される（Ｓ６１）。この空間メッシュ座標は、奥行の座標Ｌｂと、横幅の座標Ｘｂと、メッシュ幅ｄＬｂとを備えている。奥行の座標Ｌｂは、図４に示した条件情報入力部７のフローチャートのＳ３４で求めた空間メッシュの奥行きＬｂ（同じものであるので同一符号とした）であり、最小奥行距離Ｌｂｍｉｎから最大奥行距離Ｌｂｍａｘまで付されている。また、横幅の座標Ｘｂは、２眼立体カメラ２の位置を０として、−（Ｌｂｍａｘ−Ｌｂｍｉｎ）／２から（Ｌｂｍａｘ−Ｌｂｍｉｎ）／２まで付されている。メッシュ幅ｄＬｂは、図４に示した条件情報入力部７のフローチャートのＳ３４で求めたメッシュ間隔距離ｄＬｂ（同じものであるので同一符号とした）である。この無歪み空間メッシュ座標は、正方形の形状となる。
【００８３】
続いて、立体映像（立体画像）の生じる空間メッシュ座標が作成される（Ｓ６２）。立体映像（立体画像）の生じる空間メッシュ座標は、歪んだ空間メッシュ座標となり、この歪んだ空間メッシュ座標は、奥座標Ｌｄと、横座標Ｘｄとを備えている。奥座標Ｌｄは、図５に示した空間歪み計算部９のフローチャートのＳ４１で求めた立体像を生じる距離Ｌｄ（同じものであるので同一符号とした）である。また、横座標Ｘｄは、無歪み空間メッシュ座標の横幅の座標Ｘｂに、図５に示した空間歪み計算部９のフローチャートのＳ４１で求めた横倍率Ｍｓを乗算したものである。
【００８４】
つまり、無歪みの空間メッシュ座標（無歪み空間メッシュ座標）は、奥行の座標Ｌｂと、横幅の座標Ｘｂと、メッシュ幅ｄＬｂとを備えており、歪んだ空間メッシュ座標は、奥座標Ｌｄと、横座標Ｘｄとを備えている。
【００８５】
そして、「書き割り」、「箱庭」の不自然さの度合い（書き割り不自然さ量、箱庭不自然さ量）を色分けして表示するため、歪んだ空間メッシュ座標の奥座標Ｌｄに対応するように、テクスチャ画像分割する。なお、不自然さの度合いは横方向（横座標Ｘｄ）に対して一定とするので、横方向の分割は行わない。そして、分割したテクスチャ画像に対応する奥座標ＬｄのＲ画像、Ｂ画像の輝度が、書き割り不自然さ量ＥＥｃに基づいて変換され、同様に、分割したテクスチャ画像に対応する奥座標ＬｄのＧ画像の輝度が、箱庭不自然さ量ＥＥｐに基づいて変換される（Ｓ６３）。これによって、テクスチャ画像は、不自然さの度合いによって、「書き割り」は緑、「箱庭」はマゼンダに色づけされ、これら緑、マゼンダの階調によって表現されることになる。
【００８６】
その後、無歪み空間メッシュ座標と、歪んだ空間メッシュ座標とを色彩の異なるドット（例えば、無歪みは赤、歪みは青）で表し、これらのドットが表示装置４の表示画面上で重ねて表示されるように歪み情報が作成され、出力される（Ｓ６４）。なお、この歪み情報には、テクスチャ画像（テクスチャイメージ）が含められており、このテクスチャイメージが選択された空間に貼り付けられている。
【００８７】
（立体画像再現歪み出力装置の運用例）
次に、図８を参照して、立体画像再現歪み出力装置１の運用例について説明する。
【００８８】
図８は、立体画像再現歪み出力装置１の４つの運用例（ａ）〜（ｄ）を示しており、この図８において、立体画像再現歪み出力装置１には表示部１５が一体的に備えられており、この表示部１５が、出力部１３および表示装置４と同等の機能を有している。また、この立体画像再現歪み出力装置１には、対応点計算部３とエンコーダ部５とが除外されている。
【００８９】
運用例（ａ）は、２眼立体カメラ２で得られた映像入力（左右の画像）を立体映像として、エンコーダ装置８と立体画像再現歪み出力装置１とに出力すると共に、センサ６で取得された撮像条件情報を、エンコーダ装置８と立体画像再現歪み出力装置１とに出力するようにしたものである。なお、エンコーダ装置８では、立体映像と撮像条件情報が符号化され、この符号化されたデータが映像記録媒体装置１０に記録されるように構成されている。
【００９０】
運用例（ｂ）は、２眼立体カメラ２で得られた映像入力（左右の画像）を立体映像として、立体画像再現歪み出力装置１に出力すると共に、センサ６で取得された撮像条件情報を、立体画像再現歪み出力装置１に出力するようにしたものである。
【００９１】
運用例（ｃ）は、立体画像再現歪み出力装置１を単独で使用した場合であり、各条件情報を入力し、表示部１５に歪み情報を表示するように構成したものである。
【００９２】
運用例（ｄ）は、映像記録媒体装置１０から出力された立体映像および撮像条件情報と、観視条件情報と、空間条件情報とを入力し、表示部１５に歪み情報を表示するように構成したものである。
【００９３】
これら運用例（ａ）〜（ｄ）に示したように、立体画像再現歪み出力装置１は、リアルタイムで立体映像（立体画像）を撮影（撮像）しながら、歪み情報を表示部１５に表示させることもできるし、一旦、映像記録媒体装置１０に記録された後の立体映像を取り込んで、歪み情報を表示させることができる。
【００９４】
（立体画像再現歪み出力装置の概略の外観および表示される画面構成）
次に、図９を参照して、立体画像再現歪み出力装置１の概略の外観および表示される画面構成について説明する。
【００９５】
図９は、表示部１５を一体的に備えた立体画像再現歪み出力装置１の概略の外観およびこの表示部１５に表示されている画面構成を示したものである。
【００９６】
この図９に示した立体画像再現歪み出力装置１は、２眼立体カメラ２（図１参照）が載置されるカメラ雲台（図示せず）に接続される接続コードＡから撮像条件情報が自動的に取得され入力されるように構成されている。カメラ雲台（図示せず）は、２眼立体カメラ２の左眼用カメラと右眼用カメラとのカメラポジション、ズーム倍率、焦点距離等を独立して制御可能に構成されている。
【００９７】
また、表示部１５の表示画面の左端側には、被写体の撮像法である「平行法」、撮像条件情報である「撮像条件」と、観視条件情報である「表示条件」、「観視条件」、空間条件情報である「空間メッシュ」が現在どういった値であるかが表示されている。
【００９８】
さらに、表示部１５のほぼ全領域に歪み空間メッシュ座標が表示されている。この歪み空間メッシュ座標の横軸は横幅（ｍ）であり、縦軸は奥行（ｍ）である。この歪み空間メッシュ座標は、横幅（ｍ）が当該歪み空間メッシュ座標の略中央を基準０ｍとして、右方向に増加し、左方向に減少しており、奥行（ｍ）が上方向に増加しているものである。
【００９９】
（対応点計算部における位相相関法について）
次に、図１０を参照して、対応点計算部３において使用される位相相関法について説明する。
【０１００】
図１０は、対応点計算部３で、位相相関法を使用して視差を検出する際の画面構成を示したものである。この図１０に示すように、位相相関法では、左画像（Ｌ；図１０（ａ）、左側の女性の顔）と右画像（Ｒ；図１０（ｂ）、右側の女性の顔）とで相関をとり、Ｌ（グリーン）＋Ｒ（マゼンダ）の画像（図１０（ｃ）、中央の女性の顔）により視差（視差分布）が求められる。なお、この場合、マッチングが正しくとれていれば、白黒画像として認識される。
【０１０１】
また、Ｒ（ｔｅｓｔ）の画像（図１０（ｄ））は、窓関数がかけられた後の画像部分を示している。
【０１０２】
（立体画像再現歪み出力装置から出力され表示装置に表示される画面構成の例）次に、図１１〜図１４を参照して、立体画像再現歪み出力装置１から出力され表示装置４に表示される画面構成の例について説明する。
【０１０３】
図１１は、書き割り不自然さ量ＥＥｃ（ｎ）と、箱庭不自然さ量ＥＥｐ（ｎ）とを表示装置４に表示させた際の輝度変換の例を示したものである。
【０１０４】
この図１１では色彩の違いを判別できないが、書き割り不自然さ量ＥＥｃ（１）と書き割り不自然さ量ＥＥｃ（２）との部分は淡い緑色（グリーン）に着色され、箱庭不自然さ量ＥＥｐ（４）と、箱庭不自然さ量ＥＥｐ（５）と、箱庭不自然さ量ＥＥｐ（６）との部分は赤っぽい色（マゼンダ）に着色されている。また、書き割り不自然さ量ＥＥｃ（３）と、箱庭不自然さ量ＥＥｐ（３）との部分は白になっている。
【０１０５】
また、書き割り不自然さ量ＥＥｃ（１）の部分の方が、書き割り不自然さ量ＥＥｃ（２）の部分よりも濃く着色され、また、箱庭不自然さ量ＥＥｐ（６）の部分が最も濃く着色され、箱庭不自然さ量ＥＥｐ（５）の部分、箱庭不自然さ量ＥＥｐ（４）の部分の順に徐々に薄くなっている（階調表現がなされている）。なお、図１１において、各色の濃さは、ハッチングの目を細かくすることによって表現している。
【０１０６】
図１２は、無歪み空間メッシュ座標を表示装置４に表示した際の画面構成の例であり、図１３は、「書き割り」が生じている歪み空間メッシュ座標を表示装置４に表示した際の画面構成の例であり、図１４は、「箱庭」が生じている歪み空間メッシュ座標を表示装置４に表示した際の画面構成の例である。なお、図１２において、異なったハッチングで図示しているのは、撮像画角外であることと、撮像画角内であることとを区別するためである。
【０１０７】
この図１２〜図１４に示すように、２眼立体カメラ２を利用して立体画像（左右の画像）を撮像している利用者は、当該装置１を利用して、撮像中の立体画像の歪みを算出し、この歪みにかかる歪み情報（書き割り、箱庭等）を表示装置４に表示させることができる。これによって、立体画像の撮像にかかる手間を大幅に削減することができ、極端な空間歪みのない、効果的な立体画像を撮ることができる。
【０１０８】
以上、一実施形態に基づいて本発明を説明したが、本発明はこれに限定されるものではない。
例えば、立体画像再現歪み出力装置１の各構成の処理を一つずつの過程ととらえた立体画像再現歪み出力方法とみなすことや、立体画像再現歪み出力装置１の各構成の処理を汎用的なコンピュータ言語で記述した立体画像再現歪み出力プログラムとみなすことは可能である。これらの場合、立体画像再現歪み出力装置１と同様の効果を得ることができる。
【０１０９】
【発明の効果】
請求項１、２、７、８記載の発明によれば、立体画像を得るのに左右の画像を撮像する際に手間をかけることなく、リアルタイムで、幾何学的な空間歪みによる不自然さを確認することができる。
【０１１０】
請求項３記載の発明によれば、書き割りパラメータと箱庭パラメータとのすくなくとも一方が閾値を超えた場合に警告が発生される。この警告によって、被写体を２眼立体カメラで撮像している当該装置の利用者（撮像者）は、撮像条件情報等の変更が必要であると気づくことができる。
【０１１１】
請求項４記載の発明によれば、視差分布が所定値以上である場合に警告が発生される。この警告によって、被写体を２眼立体カメラで撮像している当該装置の利用者（撮像者）は、撮像条件情報等の変更が必要であると気づくことができる。
【０１１２】
請求項５記載の発明によれば、表示装置に立体画像を再現した際の歪み情報を表示する場合の表示の仕方を変更することができる。
【０１１３】
請求項６記載の発明によれば、撮像条件情報および観視条件情報に基づいて、左右の画像を観た観視者が当該画像から立体画像を融合することができるかを判定することができる。
【図面の簡単な説明】
【図１】本発明による一実施の形態である立体画像再現歪み出力装置のブロック図である。
【図２】図１に示した立体画像再現歪み出力装置の全体動作を説明したフローチャートである。
【図３】図１に示した立体画像再現歪み出力装置の対応点計算部の動作を説明したフローチャートである。
【図４】図１に示した立体画像再現歪み出力装置の条件情報入力部の動作を説明したフローチャートである。
【図５】図１に示した立体画像再現歪み出力装置の空間歪み計算部の動作を説明したフローチャートである。
【図６】図１に示した立体画像再現歪み出力装置の不自然さ計算部の動作を説明したフローチャートである。
【図７】図１に示した立体画像再現歪み出力装置の出力部の動作を説明したフローチャートである。
【図８】立体画像再現歪み出力装置の運用例について説明した図である。
【図９】立体画像再現歪み出力装置の概略の外観および表示される画面構成について説明した図である。
【図１０】対応点計算部において使用される位相相関法について説明した図である。
【図１１】書き割り不自然さ量と、箱庭不自然さ量とを表示装置に表示させた際の輝度変換の例を示した図である。
【図１２】無歪み空間メッシュ座標を表示装置に表示した際の画面構成の例を示した図である。
【図１３】「書き割り」が生じている歪み空間メッシュ座標を表示装置に表示した際の画面構成の例を示した図である。
【図１４】「箱庭」が生じている歪み空間メッシュ座標を表示装置に表示した際の画面構成の例を示した図である。
【符号の説明】
１        立体画像再現歪み出力装置
２        ２眼立体カメラ
２ａ      立体画像表示装置２ａ
３        対応点計算部（対応点計算手段）
４        表示装置
５        エンコーダ部
７        条件情報入力部（条件情報入力手段）
７ａ      融合可否判定手段
７ｂ      表示形態変更手段
９        空間歪み計算部（空間歪みパラメータ計算手段）
９ａ      警告発生手段
１１      不自然さ計算部（不自然さ定量化手段）
１３      出力部（出力手段）
【図１】
2005026756.tif 000003
【図２】
2005026756.tif 000004
【図３】
2005026756.tif 000005
【図４】
2005026756.tif 000006
【図５】
2005026756.tif 000007
【図６】
2005026756.tif 000008
【図７】
2005026756.tif 000009
【図８】
2005026756.tif 000010
【図９】
2005026756.tif 000011
【図１０】
2005026756.tif 000012
【図１１】
2005026756.tif 000013
【図１２】
2005026756.tif 000014
【図１３】
2005026756.tif 000015
【図１４】
2005026756.tif 000016