(57)【要約】【課題】３次元画像の視差量に対応する合成順序で、３次元画像を合成する。【解決手段】左眼用スイッチャ８２及び右眼用スイッチャ９２は、複数の３次元画像のうち、合成される２枚以上の３次元画像を選択し、優先順序決定部８７は、選択された３次元画像の視差量に基づいて、選択された３次元画像それぞれを合成する際の順序を表す合成順序を決定し、左眼用スイッチャ８２及び右眼用スイッチャ９２は、決定された合成順序に従って、選択された３次元画像を合成し、制御部８１は、ユーザの操作に応じて、左眼用スイッチャ８２、右眼用スイッチャ９２、及び優先順序決定部８７を制御する。本発明は、例えば、３次元画像どうしを合成するコンピュータ等に適用できる。【選択図】図５
2011223184.tif 000002
【特許請求の範囲】
【請求項１】
複数の３次元画像のうち、合成される２枚以上の３次元画像を選択する画像選択手段と、
選択された前記３次元画像の視差量に基づいて、選択された前記３次元画像それぞれを合成する際の順序を表す合成順序を決定する順序決定手段と、
前記合成順序に従って、選択された前記３次元画像を合成する画像合成手段と、
ユーザの操作に応じて、前記画像選択手段、前記順序決定手段、及び前記画像合成手段を制御する制御手段と
を含む画像合成装置。
【請求項２】
前記制御手段は、
前記複数の３次元画像のうち、所定の３次元画像が所定の合成順序で合成されるように、前記所定の３次元画像を選択させる前記ユーザの選択操作が行われた場合、前記順序決定手段を制御して、前記所定の３次元画像の合成順序を決定させ、
前記順序決定手段により決定される前記所定の３次元画像の合成順序が、前記所定の合成順序にならないときには、前記ユーザの選択操作は行われなかったものとして取り扱う
請求項１に記載の画像合成装置。
【請求項３】
前記制御手段は、前記合成順序を変更する前記ユーザの変更操作が行われた場合、前記ユーザの変更操作は行われなかったものとして取り扱う
請求項１に記載の画像合成装置。
【請求項４】
前記制御手段は、選択されている前記３次元画像のいずれかの選択を解除させる前記ユーザの解除操作が行われた場合、前記順序決定手段を制御して、選択が解除された前記３次元画像の順序を除外した新たな合成順序を決定させる
請求項１に記載の画像合成装置。
【請求項５】
選択された前記３次元画像の視差量を計測する視差量計測手段をさらに含み、
前記順序決定手段は、計測された前記視差量に基づいて、前記合成順序を決定する
請求項１に記載の画像合成装置。
【請求項６】
３次元画像を合成する画像合成装置の画像合成方法において、
前記画像合成装置は、
画像選択手段と、
順序決定手段と、
画像合成手段と、
制御手段と
を含み、
前記画像選択手段が、複数の３次元画像のうち、合成される２枚以上の３次元画像を選択し、
前記順序決定手段が、選択された前記３次元画像の視差量に基づいて、選択された前記３次元画像それぞれを合成する際の順序を表す合成順序を決定し、
前記画像合成手段が、前記合成順序に従って、選択された前記３次元画像を合成し、
前記制御手段が、ユーザの操作に応じて、前記画像選択手段、前記順序決定手段、及び前記画像合成手段を制御する
ステップを含む画像合成方法。
【請求項７】
コンピュータを、
複数の３次元画像のうち、合成される２枚以上の３次元画像を選択する画像選択手段と、
選択された前記３次元画像の視差量に基づいて、選択された前記３次元画像それぞれを合成する際の順序を表す合成順序を決定する順序決定手段と、
前記合成順序に従って、選択された前記３次元画像を合成する画像合成手段と、
ユーザの操作に応じて、前記画像選択手段、前記順序決定手段、及び前記画像合成手段を制御する制御手段と
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像合成装置、画像合成方法、及びプログラムに関し、特に、例えば、３次元画像を合成する場合に用いて好適な画像合成装置、画像合成方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、ユーザが、スイッチャを用いて選択した３次元画像どうしを合成するスーパーインポーズ等の合成技術が存在する（例えば、特許文献１を参照）。
【０００３】
ここで、３次元画像とは、左眼用２次元画像、及び右眼用２次元画像により構成されており、左眼用２次元画像と右眼用２次元画像との間には、鑑賞者により視認される画像上の物体が立体的に見えるように視差が設けられている。
【０００４】
また、３次元画像を鑑賞者に提示する場合には、例えば、左眼用２次元画像を鑑賞者の左眼のみで視認できるように提示し、右眼用２次元画像を鑑賞者の右眼のみで視認できるように提示するようにする。
【０００５】
鑑賞者は、左眼用２次元画像と右眼用２次元画像に設けられた視差の量（視差量）に応じて知覚される奥行きｚ、換言すれば、３次元画像に対して垂直な方向に定義される、３次元画像上に存在する物体の立体的な位置ｚに基づいて、視認した画像を立体的な３次元画像として認識することとなる。
【０００６】
なお、３次元画像の視差量を調整する調整技術も存在する（例えば、特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平０８−３２１９９２号公報
【特許文献２】特開平１１−１６４３２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述した合成技術によれば、例えば、ユーザにより選択された３次元画像を合成する際、ユーザが指定した合成順序に従って、選択された３次元画像が合成される。
【０００９】
この場合、合成順序が、合成する３次元画像それぞれに存在する物体の立体的な位置ｚ（物体の前後関係）と一致しないときには、３次元画像の合成結果として、３次元画像上の物体の立体的な位置ｚと、合成順序とが一致しない不自然な（違和感のある）合成３次元画像が生成されてしまうことがあった。
【００１０】
具体的には、例えば、２枚の３次元画像が選択されて合成される場合、選択された２枚の３次元画像のうち、一方の３次元画像上に存在する第１の物体が、他方の３次元画像上に存在する第２の物体よりも近くに認識されるときには、鑑賞者により認識される、第１及び第２の物体の位置関係に一致するように、第１の物体を、第２の物体よりも手前に表示するように合成する必要がある。
【００１１】
ところが、ユーザにより指定された合成順序が、第２の物体を、第１の物体よりも手前に表示するように合成する合成順序である場合、鑑賞者により認識される、第１及び第２の物体の位置関係に反して、第２の物体を、第１の物体よりも手前に表示するように合成してしまい、非常に違和感のある合成３次元画像が生成されてしまっていた。
【００１２】
本発明は、このような状況に鑑みてなされたものであり、合成する３次元画像上に存在する物体の立体的な位置と、合成順序とが一致する違和感のない合成３次元画像を生成できるようにするものである。
【課題を解決するための手段】
【００１３】
本発明の一側面の画像合成装置は、複数の３次元画像のうち、合成される２枚以上の３次元画像を選択する画像選択手段と、選択された前記３次元画像の視差量に基づいて、選択された前記３次元画像それぞれを合成する際の順序を表す合成順序を決定する順序決定手段と、前記合成順序に従って、選択された前記３次元画像を合成する画像合成手段と、ユーザの操作に応じて、前記画像選択手段、前記順序決定手段、及び前記画像合成手段を制御する制御手段とを含む画像合成装置である。
【００１４】
前記制御手段では、前記複数の３次元画像のうち、所定の３次元画像が所定の合成順序で合成されるように、前記所定の３次元画像を選択させる前記ユーザの選択操作が行われた場合、前記順序決定手段を制御して、前記所定の３次元画像の合成順序を決定させ、前記順序決定手段により決定される前記所定の３次元画像の合成順序が、前記所定の合成順序にならないときには、前記ユーザの選択操作は行われなかったものとして取り扱うようにすることができる。
【００１５】
前記制御手段では、前記合成順序を変更する前記ユーザの変更操作が行われた場合、前記ユーザの変更操作は行われなかったものとして取り扱うようにすることができる。
【００１６】
前記制御手段では、選択されている前記３次元画像のいずれかの選択を解除させる前記ユーザの解除操作が行われた場合、前記順序決定手段を制御して、選択が解除された前記３次元画像の順序を除外した新たな合成順序を決定させるようにすることができる。
【００１７】
選択された前記３次元画像の視差量を計測する視差量計測手段をさらに設けることができ、前記順序決定手段では、計測された前記視差量に基づいて、前記合成順序を決定するようにすることができる。
【００１８】
本発明の一側面の画像合成方法は、３次元画像を合成する画像合成装置の画像合成方法であって、前記画像合成装置は、画像選択手段と、順序決定手段と、画像合成手段と、制御手段とを含み、前記画像選択手段が、複数の３次元画像のうち、合成される２枚以上の３次元画像を選択し、前記順序決定手段が、選択された前記３次元画像の視差量に基づいて、選択された前記３次元画像それぞれを合成する際の順序を表す合成順序を決定し、前記画像合成手段が、前記合成順序に従って、選択された前記３次元画像を合成し、前記制御手段が、ユーザの操作に応じて、前記画像選択手段、前記順序決定手段、及び前記画像合成手段を制御するステップを含む画像合成方法である。
【００１９】
本発明の一側面のプログラムは、コンピュータを、複数の３次元画像のうち、合成される２枚以上の３次元画像を選択する画像選択手段と、選択された前記３次元画像の視差量に基づいて、選択された前記３次元画像それぞれを合成する際の順序を表す合成順序を決定する順序決定手段と、前記合成順序に従って、選択された前記３次元画像を合成する画像合成手段と、ユーザの操作に応じて、前記画像選択手段、前記順序決定手段、及び前記画像合成手段を制御する制御手段として機能させるためのプログラムである。
【００２０】
本発明によれば、複数の３次元画像のうち、合成される２枚以上の３次元画像が選択され、選択された前記３次元画像の視差量に基づいて、選択された前記３次元画像それぞれを合成する際の順序を表す合成順序が決定され、前記合成順序に従って、選択された前記３次元画像が合成される。
【発明の効果】
【００２１】
本発明によれば、合成する３次元画像上に存在する物体の立体的な位置と、合成順序とが一致する違和感のない合成３次元画像を生成することが可能となる。
【図面の簡単な説明】
【００２２】
【図１】第１の実施の形態である画像合成装置の構成例を示すブロック図である。
【図２】第１の実施の形態である画像合成装置が行なう処理の概要を示す図である。
【図３】奥行きｚの平均値に基づいて、優先順序を決定する決定方法の一例を示す図である。
【図４】奥行きｚの中央値に基づいて、優先順序を決定する決定方法の一例を示す図である。
【図５】第１の実施の形態である画像合成装置の詳細な構成例を示すブロック図である。
【図６】左眼用スイッチャの構成例を示すブロック図である。
【図７】優先順序決定部の構成例を示すブロック図である。
【図８】優先順序決定処理を説明するためのフローチャートである。
【図９】画像合成処理装置の他の構成例を示すブロック図である。
【図１０】操作卓の一例を示す図である。
【図１１】操作卓に設けられたボタンの状態遷移の一例を示す状態遷移図である。
【図１２】第２の実施の形態である画像合成装置の構成例を示すブロック図である。
【図１３】第２の実施の形態である画像合成装置が行なう処理の概要を示す図である。
【図１４】第２の実施の形態である画像合成装置の詳細な構成例を示すブロック図である。
【図１５】調整部の構成例を示すブロック図である。
【図１６】第１の視差量調整処理を説明するためのフローチャートである。
【図１７】第２の視差量調整処理を説明するためのフローチャートである。
【図１８】第３の視差量調整処理を説明するためのフローチャートである。
【図１９】第３の実施の形態における処理の概要を示す第１の図である。
【図２０】第３の実施の形態における処理の概要を示す第２の図である。
【図２１】第３の実施の形態である画像合成装置の構成例を示すブロック図である。
【図２２】フェーダ調整部の構成例を示すブロック図である。
【図２３】左眼用スイッチャの構成例を示すブロック図である。
【図２４】奥行き比較部乃至合成処理部が行なう処理の一例を示す図である。
【図２５】フェーダ調整処理を説明するためのフローチャートである。
【図２６】左眼用スイッチャの画像合成部の他の構成例を示すブロック図である。
【図２７】４枚の３次元画像を合成する場合の一例を示す第１の図である。
【図２８】４枚の３次元画像を合成する場合の一例を示す第２の図である。
【図２９】フェーダ値に応じて、４枚の左眼用２次元画像を合成する場合の画像合成部が設けられた左眼用スイッチャの構成例を示す図である。
【図３０】調整部が設けられた左眼用スイッチャの構成例を示すブロック図である。
【図３１】プレビュー機能が設けられた左眼用スイッチャの構成例を示すブロック図である。
【図３２】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２３】
以下、発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．  第１の実施の形態（３次元画像の視差量に対応する優先順序で、３次元画像を合成      する場合の一例）
２．  第２の実施の形態（ユーザにより指定された優先順序で、その優先順序に対応する      視差量に調整された３次元画像を合成する場合の一例）
３．  第３の実施の形態（ユーザにより調整されたフェーダ値に応じて、３次元画像の視      差量を調整して合成する場合の一例）
４．  変形例
【００２４】
＜１．第１の実施の形態＞
[操作卓２１及び画像合成装置２２による構成]
図１は、第１の実施の形態である、操作卓２１からの操作信号に応じて３次元画像を合成する画像合成装置２２の構成例を示している。
【００２５】
この画像合成装置２２は、例えば、ケーブルにより操作卓２１と接続されている。
【００２６】
操作卓２１は、画像合成装置２２に供給される複数の３次元画像のうち、合成する３次元画像を選択するための選択ボタン等により構成されている。操作卓２１は、ユーザに操作されたことに対応して、ユーザの操作に対応する操作信号を生成し、画像合成装置２２に供給する。なお、操作卓２１の詳細については、図１０及び図１１を参照して後述する。
【００２７】
画像合成装置２２は、操作卓２１からの操作信号に応じた処理を行う。すなわち、例えば、画像合成装置２２は、操作卓２１からの操作信号に基づいて、供給される複数の３次元画像のうち、ユーザの選択操作により選択された３次元画像の合成を行う。そして、画像合成装置２２は、その合成により得られる合成後の３次元画像を出力する。
【００２８】
ここで、３次元画像とは、左眼用２次元画像、及び右眼用２次元画像により構成されており、左眼用２次元画像と右眼用２次元画像との間には、鑑賞者により視認される画像上の物体が立体的に見えるように視差が設けられている。
【００２９】
なお、３次元画像を鑑賞者に提示する場合には、例えば、左眼用２次元画像を鑑賞者の左眼のみで視認できるように提示し、右眼用２次元画像を鑑賞者の右眼のみで視認できるように提示するようにする。これにより、鑑賞者は、左眼用２次元画像と右眼用２次元画像に設けられた視差の量（視差量）に応じて知覚される奥行きｚ、換言すれば、３次元画像に対して垂直な方向に定義される、３次元画像上に存在する物体の立体的な位置ｚに基づいて、視認した画像を立体的な３次元画像として認識することとなる。
【００３０】
以下、説明を簡単にするために、ユーザが、操作卓２１を用いて、合成する３次元画像を２枚だけ選択するものとして説明するが、合成する３次元画像の枚数は２枚に限定されず、３枚以上の３次元画像を選択することができる。
【００３１】
[画像合成装置２２が行う処理の概要]
図２は、画像合成装置２２が行う処理の概要を示している。
【００３２】
図２A下側には、ユーザが選択した２枚の３次元画像のうちの一方の３次元画像４１が示されている。この３次元画像４１には、犬４１a及び木４１bが表示されている。
【００３３】
図２A上側において、横軸は、３次元画像４１上の横方向の位置を表しており、縦軸は、３次元画像４１における左眼用２次元画像と右眼用２次元画像との間に設けられた視差に応じた奥行きzを表している。このことは、図２B上側、及び図２C上側についても同様である。
【００３４】
図２A上側において、複数の座標６１aは、３次元画像４１上の犬４１aが存在する領域を構成する画素それぞれに対応した奥行きzを示す座標を表している。また、複数の座標６１bは、３次元画像４１上の木４１bが存在する領域を構成する画素それぞれに対応した奥行きzを示す座標を表している。
【００３５】
図２B下側には、ユーザが選択した２枚の３次元画像のうちの他方の３次元画像４２が示されている。この３次元画像４２には、自動車４２aが表示されている。
【００３６】
また、図２B上側において、複数の座標６２aは、３次元画像４２上の自動車４２aが存在する領域を構成する画素それぞれに対応した奥行きzを表す座標を表している。
【００３７】
図２C下側には、３次元画像４１及び４２を合成した場合に得られる合成後の３次元画像４３の一例が示されている。
【００３８】
図２C上側において、複数の座標６１b'は、木４１bを構成する領域のうち、自動車４２aと重畳（合成）される重畳部分を構成する画素それぞれに対応した奥行きｚを示す座標を表している。
【００３９】
また、図２C上側において、複数の座標６２a'は、自動車４２aを構成する領域のうち、木４１bと重畳される重畳部分を構成する画素それぞれに対応した奥行きｚを示す座標を表している。
【００４０】
画像合成装置２２は、ユーザにより選択された３次元画像４１及び４２に基づいて、３次元画像４１及び４２を合成した場合に、３次元画像４１上の犬４１a及び木４１bを構成する領域と、３次元画像４２上の自動車４２aを構成する領域とが重畳される重畳部分を検出する。
【００４１】
そして、画像合成装置２２は、３次元画像４１上の重畳部分を構成する画素それぞれに対応する奥行きｚ（図２C上側における複数の座標６１b'に対応）を算出する。
【００４２】
また、画像合成装置２２は、３次元画像４２上の重畳部分を構成する画素それぞれに対応する奥行きｚ（図２C上側における複数の座標６２a'に対応）を算出する。
【００４３】
さらに、画像合成装置２２は、３次元画像４１について算出した奥行きｚ、及び３次元画像４２について算出した奥行きｚについて、それぞれ、平均値を算出し、算出した平均値に基づいて、３次元画像４１及び４２を合成する際の優先順序を決定する。
【００４４】
そして、画像合成装置２２は、決定した優先順序で、３次元画像４１及び４２を合成して出力する。
【００４５】
ここで、優先順序とは、３次元画像上の物体（例えば、３次元画像４２上の自動車４２a）が、他の３次元画像上の物体（例えば、３次元画像４１上の犬４１a及び４１b）に優先して手前に重畳されるべき順序を表す。
【００４６】
なお、優先順序とは、３次元画像を合成する合成順序のことを意味するものであるが、第１乃至第３の実施の形態では、合成順序を優先順序として説明するものとする。
【００４７】
すなわち、第１乃至第３の実施の形態では、合成順序が、合成される３次元画像上の物体が優先して手前に重畳される順序を表すことに注目して、合成順序を優先順序として説明するようにしている。
【００４８】
次に、図３は、奥行きｚの平均値に基づいて、優先順序を決定する決定方法の一例を示している。
【００４９】
画像合成装置２２は、図３A上側に示されるように、３次元画像４１について算出した奥行きｚ（複数の座標６１b'それぞれに対応する奥行きｚ）の平均値ave1を算出する。また、画像合成装置２２は、図３B上側に示されるように、３次元画像４２について算出した奥行きｚ（複数の座標６２a'それぞれに対応する奥行きｚ）の平均値ave2を算出する。
【００５０】
そして、画像合成装置２２は、算出した平均値ave1と平均値ave2とを比較し、その比較結果に基づいて、優先順序を、奥行きｚの平均値が小さい順序に決定する。
【００５１】
いまの場合、３次元画像４２上の自動車４２aにおける奥行きｚの平均値ave2は、３次元画像４１上の木４１bにおける奥行きｚの平均値ave1よりも小さくなっている。このため、画像合成装置２２は、３次元画像４２上の自動車４２aが、３次元画像４１上の木４１bよりも手前側に表示されるように、３次元画像４２の優先順序を１番に、３次元画像４１の優先順序を２番に決定する。
【００５２】
なお、画像合成装置２２は、奥行きｚの平均値に基づいて、優先順序を決定するようにしたが、その他、例えば、ｚの中央値に基づいて優先順序を決定することができる。
【００５３】
[ｚの中央値に基づいて優先順序を決定する決定方法]
次に、図４は、奥行きｚの中央値に基づいて、優先順序を決定する決定方法の一例を示している。
【００５４】
画像合成装置２２は、図４A上側に示されるように、３次元画像４１について算出した奥行きｚ（複数の座標６１b'それぞれに対応する奥行きｚ）の中央値med1を算出する。また、画像合成装置２２は、図４B上側に示されるように、３次元画像４２について算出した奥行きｚ（複数の座標６２a'それぞれに対応する奥行きｚ）の中央値med2を算出する。
【００５５】
そして、画像合成装置２２は、算出した中央値med1と中央値med2とを比較し、その比較結果に基づいて、優先順序を、奥行きｚの中央値が小さい順序に決定する。
【００５６】
いまの場合、３次元画像４２上の自動車４２aにおける奥行きｚの中央値med2は、３次元画像４１上の木４１bにおける奥行きｚの中央値med1よりも小さくなっている。このため、画像合成装置２２は、３次元画像４２上の自動車４２aが、３次元画像４１上の木４１bよりも手前側に表示されるように、３次元画像４２の優先順序を１番に、３次元画像４１の優先順序を２番に決定する。
【００５７】
[画像合成装置２２の詳細]
次に、図５は、画像合成装置２２の構成例を示している。
【００５８】
この画像合成装置２２は、制御部８１、左眼用スイッチャ８２、SDI(serial digital interface)端子８３乃至８６、優先順序決定部８７、SDI端子８８乃至９１、及び右眼用スイッチャ９２により構成される。
【００５９】
なお、画像合成装置２２には、３次元画像として、３次元画像を構成する左眼用２次元画像及び右眼用２次元画像が供給される。すなわち、画像合成装置２２において、左眼用スイッチャ８２には、３次元画像に対応する左眼用２次元画像が、右眼用スイッチャ９２には、３次元画像に対応する右眼用２次元画像が、それぞれ供給される。
【００６０】
制御部８１には、操作卓２１からの操作信号が供給される。制御部８１は、操作卓２１からの操作信号に基づいて、左眼用スイッチャ８２、優先順序決定部８７、及び右眼用スイッチャ９２を制御する。
【００６１】
左眼用スイッチャ８２は、制御部８１からの制御にしたがって、供給される複数の左眼用２次元画像のうち、ユーザの選択操作により選択された２枚の３次元画像４１及び４２（図２）に対応する左眼用２次元画像それぞれを選択する。
【００６２】
そして、左眼用スイッチャ８２は、３次元画像４１に対応する左眼用２次元画像を、SDI端子８３に供給し、３次元画像４２に対応する左眼用２次元画像を、SDI端子８４に供給する。
【００６３】
また、左眼用スイッチャ８２は、SDI端子８５から供給される優先順序で、SDI端子８５からの、３次元画像４１に対応する左眼用２次元画像と、SDI端子８６からの、３次元画像４２に対応する左眼用２次元画像とを合成し、合成後の左眼用２次元画像を出力する。なお、左眼用スイッチャ８２は、合成する画像として、SDI端子８５及びSDI端子８６からの画像を使用せず、外部から入力されている左眼用２次元画像をそのまま使用するようにすることも可能である。
【００６４】
SDI端子８３乃至８６は、それぞれ、左眼用スイッチャ８２と優先順序決定部８７とをケーブルにより接続するものである。すなわち、図５において、SDI端子８３乃至８６は、それぞれ、左眼用スイッチャ８２と優先順序決定部８７とをケーブルにより接続することを示す。
【００６５】
SDI端子８３及び８４は、それぞれ、左眼用スイッチャ８２からの左眼用２次元画像を、優先順序決定部８７に供給する。
【００６６】
SDI端子８５及び８６は、それぞれ、優先順序決定部８７からの左眼用２次元画像を、左眼用スイッチャ８２に供給する。また、SDI端子８５は、優先順序決定部８７から優先順序が供給された場合、その優先順序を左眼用スイッチャ８２に供給する。なお、優先順序決定部８７からSDI端子８６に優先順序が供給されるように構成した場合には、SDI端子８６が、優先順序決定部８７からの優先順序を左眼用スイッチャ８２に供給する。なお、SDI信号が画像以外の付加情報を伝送できることは既知の通りである。
【００６７】
優先順序決定部８７は、SDI端子８３からの、３次元画像４１に対応する左眼用２次元画像と、SDI端子８８からの、３次元画像４１に対応する右眼用２次元画像との組合せを、３次元画像４１として取得する。そして、優先順序決定部８７は、取得した３次元画像４１に基づいて、３次元画像４１の視差量（３次元画像４１において、左眼用２次元画像及び右眼用２次元画像それぞれの重畳部分に設けられた視差量）を計測する。
【００６８】
また、優先順序決定部８７は、SDI端子８４からの、３次元画像４２に対応する左眼用２次元画像と、SDI端子８９からの、３次元画像４２に対応する右眼用２次元画像との組合せを、３次元画像４２として取得する。そして、優先順序決定部８７は、取得した３次元画像４２に基づいて、３次元画像４２の視差量（３次元画像４２において、左眼用２次元画像及び右眼用２次元画像それぞれの重畳部分に設けられた視差量）を計測する。
【００６９】
さらに、優先順序決定部８７は、計測した３次元画像４１及び４２の視差量に基づいて優先順序を決定し、決定した優先順序をSDI端子８５及び９０に供給する。なお、優先順序決定部８７は、決定した優先順序を、左眼用スイッチャ８２及び右眼用スイッチャ９２に通知するために、SDI端子８５及び９０に供給するようにしたが、例えば、決定した優先順序を、SDI端子８６及び９１に供給するようにしてもよい。
【００７０】
また、優先順序決定部８７は、取得した３次元画像４１に対応する左眼用２次元画像を、SDI端子８５に供給し、同じく取得した３次元画像４１に対応する右眼用２次元画像を、SDI端子９０に供給する。
【００７１】
さらに、優先順序決定部８７は、取得した３次元画像４２に対応する左眼用２次元画像を、SDI端子８６に供給し、同じく取得した３次元画像４２に対応する右眼用２次元画像を、SDI端子９１に供給する。
【００７２】
SDI端子８８乃至９１は、それぞれ、右眼用スイッチャ９２と優先順序決定部８７とをケーブルにより接続するものである。すなわち、図５において、SDI端子８８乃至９１は、それぞれ、右眼用スイッチャ９２と優先順序決定部８７とをケーブルにより接続することを示す。
【００７３】
SDI端子８８及び８９は、それぞれ、右眼用スイッチャ９２からの右眼用２次元画像を、優先順序決定部８７に供給する。
【００７４】
SDI端子９０及び９１は、それぞれ、優先順序決定部８７からの右眼用２次元画像を、右眼用スイッチャ９２に供給する。また、SDI端子９０は、優先順序決定部８７から優先順序が供給された場合、その優先順序を右眼用スイッチャ９２に供給する。なお、優先順序決定部８７からSDI端子９１に優先順序が供給されるように構成した場合には、SDI端子９１が、優先順序決定部８７からの優先順序を右眼用スイッチャ９２に供給する。
【００７５】
右眼用スイッチャ９２は、左眼用スイッチャ８２と同様の処理を行なう。すなわち、右眼用スイッチャ９２は、供給される複数の右眼用２次元画像のうち、ユーザの選択操作により選択された２枚の３次元画像４１及び４２（図２）に対応する右眼用２次元画像それぞれを選択する。
【００７６】
そして、右眼用スイッチャ９２は、３次元画像４１に対応する右眼用２次元画像を、SDI端子８８に供給し、３次元画像４２に対応する右眼用２次元画像を、SDI端子８９に供給する。
【００７７】
また、右眼用スイッチャ９２は、SDI端子９０から供給される優先順序で、SDI端子９０からの、３次元画像４１に対応する右眼用２次元画像と、SDI端子９１からの、３次元画像４２に対応する右眼用２次元画像とを合成し、合成後の右眼用２次元画像を出力する。
【００７８】
[左眼用スイッチャ８２の構成例]
次に、図６は、左眼用スイッチャ８２の構成例を示している。
【００７９】
なお、右眼用スイッチャ９２は、左眼用スイッチャ８２と同様に構成されているため、左眼用スイッチャ８２の構成についてのみ説明し、右眼用スイッチャ９２についての説明は省略する。
【００８０】
左眼用スイッチャ８２は、画像選択部１１１及び画像合成部１１２により構成される。また、左眼用スイッチャ８２は、入力ラインL1乃至L9を有している。
【００８１】
入力ラインL1乃至L9のうち、入力ラインL1乃至L7には、画像合成装置２２に供給される複数の３次元画像（いまの場合７枚の３次元画像）に対応する左眼用２次元画像それぞれが入力（供給）される。
【００８２】
また、入力ラインL1乃至L9のうち、入力ラインL8には、SDI端子８５から、３次元画像４１に対応する左眼用２次元画像及び優先順序が、入力ラインL9には、SDI端子８６から、３次元画像４２に対応する左眼用２次元画像が、それぞれ入力される。
【００８３】
なお、左眼用スイッチャ８２は、９本の入力ラインL1乃至L9を有することとしたが、入力ラインの本数は９本に限定されず、いずれの本数により構成してもよい。
【００８４】
画像選択部１１１は、制御部８１からの制御にしたがって、入力ラインL1乃至L7から供給される７枚の左眼用２次元画像のうち、ユーザの選択操作により選択された２枚の３次元画像４１及び４２それぞれに対応する左眼用２次元画像を選択し、一方をSDI端子８３に他方をSDI端子８４に供給する。
【００８５】
すなわち、例えば、画像選択部１１１は、クロスポイントスイッチ１３１a及び１３１b、バスライン１３２a及び１３２b、並びに信号処理部（Video Proc）１３３a及び１３３bにより構成される。
【００８６】
クロスポイントスイッチ１３１aは、制御部８１からの制御にしたがって、バスライン１３２aと入力ラインL1乃至L9とが交差する各点（バツ印で示す）の接続を制御する。クロスポイントスイッチ１３１aは、各点の接続を制御し、入力ラインL1乃至L7それぞれから供給される左眼用２次元画像のうち、例えば３次元画像４１に対応する左眼用２次元画像を、バスライン１３２aを介して、ビデオ信号処理部１３３aに供給する。
【００８７】
クロスポイントスイッチ１３１bは、制御部８１からの制御にしたがって、バスライン１３２bと入力ラインL1乃至L9とが交差する各点の接続を制御する。クロスポイントスイッチ１３１bは、各点の接続を制御し、入力ラインL1乃至L7それぞれから供給される左眼用２次元画像のうち、例えば３次元画像４２に対応する左眼用２次元画像を、バスライン１３２bを介して、ビデオ信号処理部１３３bに供給する。
【００８８】
ビデオ信号処理部１３３aは、バスライン１３２aから供給される、３次元画像４１に対応する左眼用２次元画像に対して、所定の処理を施してSDI端子８３に供給する。ビデオ信号処理部１３３bは、バスライン１３２bから供給される、３次元画像４２に対応する左眼用２次元画像に対して、所定の処理を施してSDI端子８４に供給する。
【００８９】
画像合成部１１２は、クロスポイントスイッチ１５１a乃至１５１k、バスライン１５２a乃至１５２k、キー信号処理部（Key Proc）１５３a乃至１５３d、ビデオ信号処理部(Video Proc)１５４a乃至１５４c、及び合成処理部１５５により構成される。
【００９０】
クロスポイントスイッチ１５１aは、制御部８１からの制御にしたがって、バスライン１５２aと入力ラインL1乃至L9とが交差する各点の接続を制御し、例えば入力ラインL8から供給される、３次元画像４１に対応する左眼用２次元画像及び優先順序を、バスライン１５２aを介して、キー信号処理部１５３aに供給する。
【００９１】
クロスポイントスイッチ１５１bは、制御部８１からの制御にしたがって、バスライン１５２bと入力ラインL1乃至L9とが交差する各点の接続を制御し、例えば入力ラインL8から供給される、３次元画像４１に対応する左眼用２次元画像を、バスライン１５２bを介して、キー信号処理部１５３aに供給する。
【００９２】
キー信号処理部１５３aは、バスライン１５２aからの左眼用２次元画像に基づいて、重畳用の加工を施した画像を生成し、合成処理部１５５に供給する。また、キー信号処理部１５３aは、バスライン１５２bからの左眼用２次元画像に基づいて、左眼用２次元画像のキー信号を生成し、合成処理部１５５に供給する。
【００９３】
なお、キー信号とは、画像上の全領域のうち、背景以外の物体が存在する領域を表す。第１の実施の形態において、このキー信号は、例えば、対応する左眼用２次元画像から生成するものとし、キー信号処理部１５３aは、左眼用２次元画像から、キー信号を抽出することにより、左眼用２次元画像のキー信号を生成するようにしているものとする。
【００９４】
さらに、キー信号処理部１５３aは、バスライン１５２aからの優先順序を、合成処理部１５５に供給する。
【００９５】
なお、クロスポイントスイッチ１５１c及び１５１d，１５１e及び１５１f，並びに、１５１g及び１５１hは、クロスポイントスイッチ１５１a及び１５１bと同様に構成されている。また、キー信号処理部１５３b乃至１５３dは、キー信号処理部１５３aと同様に構成されている。例えば、クロスポイントスイッチ１５１c及び１５１dは、入力ラインL9から供給される、３次元画像４２に対応する左眼用２次元画像を、バスライン１５２ｃ及び１５２ｄを介して、キー信号処理部１５３ｂに供給する。
【００９６】
ここで、第１の実施の形態では、２枚の３次元画像４１及び４２を合成する場合について説明しているため、例えば、クロスポイントスイッチ１５１a乃至１５１hのうちクロスポイントスイッチ１５１a乃至１５１dを、キー信号処理部１５３a乃至１５３dのうちキー信号処理部１５３a及び１５３bをそれぞれ用いることとしている。
【００９７】
３枚以上の３次元画像（左眼用２次元画像）を合成する場合には、さらに、クロスポイントスイッチ１５１e乃至１５１hやキー信号処理部１５３c及び１５３dが用いられることとなる。なお、以降で説明する背景画像と、各キー信号処理部で扱う画像との関係も、既に示した例の３次元画像４１と４２との関係のように、ｚ方向に関する前後関係を考慮しても良い。例えば、キー信号処理部のうち１５３ａのみを使用する場合でも、背景となる画像との前後関係を考慮するようにしても良い。ここでは説明を簡単にするために、２つの３次元画像についての前後関係を考慮した合成に注目して説明している。
【００９８】
クロスポイントスイッチ１５１i乃至１５１k、バスライン１５２i乃至１５２k、及びビデオ信号処理部１５４a乃至１５４cでは、例えば、３次元画像４１及び４２に対して合成する背景を表す背景用３次元画像を構成する左眼用２次元画像及び右眼用２次元画像のうち、左眼用２次元画像を、合成処理部１５５に供給する。
【００９９】
この場合、例えば、入力ラインL1乃至L9のうち、入力ラインL1乃至L7からは、それぞれ、背景用３次元画像を構成する左眼用２次元画像及び右眼用２次元画像のうち、左眼用２次元画像としての背景画像が供給される。
【０１００】
クロスポイントスイッチ１５１iは、制御部８１からの制御にしたがって、バスライン１５２iと入力ラインL1乃至L9とが交差する各点の接続を制御し、入力ラインL1乃至L7から供給される背景画像のうちのいずれかを選択し、バスライン１５１iを介して、ビデオ信号処理部１５４aに供給する。
【０１０１】
ビデオ信号処理部１５４aは、バスライン１５１iからの背景画像に対して、所定の処理を施して合成処理部１５５に供給する。
【０１０２】
なお、クロスポイントスイッチ１５１j及び１５１kは、クロスポイントスイッチ１５１iと同様に構成され、ビデオ信号処理部１５４b及び１５４cは、ビデオ信号処理部１５４aと同様に構成されている。
【０１０３】
クロスポイントスイッチ１５１j及び１５１k、並びにビデオ信号処理部１５４b及び１５４cは、例えば、３次元画像４１及び４２に合成する背景用３次元画像が複数枚である場合に用いられる。例えば、合成処理部１５５内部にワイプ波形生成器を設け、そこで生成されるワイプ波形により画面を区切り、画面上に複数の背景用３次元画像を配置することが可能である。
【０１０４】
合成処理部１５５は、例えば、キー信号処理部１５３a及び１５３bからのキー信号を用いて、キー信号処理部１５３aからの優先順序で、キー信号処理部１５３a及び１５３bから供給される２枚の左眼用２次元画像を合成する合成処理を行い、背景画像に対して合成して、その結果得られる合成後の左眼用２次元画像を、出力ラインから出力する。
【０１０５】
[優先順序決定部８７の詳細]
図７は、優先順序決定部８７の構成例を示している。
【０１０６】
この優先順序決定部８７は、視差量計測部１７１及び順序決定部１７２により構成される。
【０１０７】
視差量計測部１７１は、SDI端子８３からの左眼用２次元画像、及びSDI端子８８からの右眼用２次元画像の組合せを、３次元画像４１として取得する。
【０１０８】
また、視差量計測部１７１は、SDI端子８４からの左眼用２次元画像、及びSDI端子８９からの右眼用２次元画像の組合せを、３次元画像４２として取得する。
【０１０９】
そして、視差量計測部１７１は、取得した３次元画像４１及び４２に基づいて、３次元画像４１及び４２を合成した場合に、３次元画像４１上の犬４１a及び木４１bを構成する領域と、３次元画像４２上の自動車４２aを構成する領域とが重畳される重畳部分を検出する。
【０１１０】
すなわち、例えば、視差量計測部１７１は、SDI端子８３からの、３次元画像４１に対応する左眼用２次元画像、及びSDI端子８４からの、３次元画像４２に対応する左眼用２次元画像から算出により生成するキー信号に基づいて、左眼用２次元画像上の重畳部分を検出する。
【０１１１】
また、視差量計測部１７１は、SDI端子８８からの、３次元画像４１に対応する右眼用２次元画像、及びSDI端子８９からの、３次元画像４２に対応する右眼用２次元画像から算出により生成するキー信号に基づいて、右眼用２次元画像上の重畳部分を検出する。
【０１１２】
なお、キー信号の生成には、例えば、明るさから生成するルミナンスキー手段等を用いる。
【０１１３】
視差量計測部１７１は、３次元画像４１に対応する左眼用２次元画像及び右眼用２次元画像それぞれの重畳部分に基づいて、３次元画像４１において、左眼用２次元画像及び右眼用２次元画像それぞれの重畳部分の視差量（以下、３次元画像４１の視差量という）を計測する。そして、視差量計測部１７１は、計測した３次元画像４１の視差量を、３次元画像４１とともに、順序決定部１７２に供給する。
【０１１４】
また、視差量計測部１７１は、３次元画像４２に対応する左眼用２次元画像及び右眼用２次元画像それぞれの重畳部分に基づいて、３次元画像４２において、左眼用２次元画像及び右眼用２次元画像それぞれの重畳部分の視差量（以下、３次元画像４２の視差量という）を計測する。そして、視差量計測部１７１は、計測した３次元画像４２の視差量を、３次元画像４２とともに、順序決定部１７２に供給する。
【０１１５】
順序決定部１７２は、視差量計測部１７１からの、３次元画像４１の視差量に基づいて、３次元画像４１における奥行きｚの平均値ave1を算出する。
【０１１６】
また、順序決定部１７２は、視差量計測部１７１からの、３次元画像４２の視差量に基づいて、３次元画像４２における奥行きｚの平均値ave2を算出する。
【０１１７】
そして、順序決定部１７２は、３次元画像４１及び４２それぞれにおける奥行きｚの平均値ave1及びave2どうしを比較し、その比較結果に基づいて、優先順序を決定して、SDI端子８５及び９０に供給する。
【０１１８】
順序決定部１７２は、視差量計測部１７１からの３次元画像４１に対応する左眼用２次元画像を、SDI端子８５に、視差量計測部１７１からの３次元画像４２に対応する左眼用２次元画像を、SDI端子８６に供給する。
【０１１９】
また、順序決定部１７２は、視差量計測部１７１からの３次元画像４１に対応する右眼用２次元画像を、SDI端子９０に、視差量計測部１７１からの３次元画像４２に対応する右眼用２次元画像を、SDI端子９１に供給する。
【０１２０】
[画像合成装置２２の動作説明]
次に、図８のフローチャートを参照して、画像合成装置２２が行う優先順序決定処理について説明する。
【０１２１】
この優先順序決定処理は、例えば、ユーザが操作卓２１を用いて、画像合成装置２２に供給される複数の３次元画像のうち、合成する３次元画像４１及び４２を選択する選択操作を行ったときに開始される。
【０１２２】
このとき、制御部８１には、ユーザの選択操作に応じた操作信号が、操作卓２１から供給される。そして、制御部８１は、操作卓２１からの操作信号に応じて、左眼用スイッチャ８２及び右眼用スイッチャ９２を制御する。
【０１２３】
すなわち、ステップＳ１において、左眼用スイッチャ８２の画像選択部１１１は、制御部８１からの制御にしたがって、入力ラインL1乃至L7から入力される７枚の左眼用２次元画像のうち、ユーザの選択操作により選択された２枚の３次元画像４１及び４２それぞれに対応する左眼用２次元画像を取得する。
【０１２４】
そして、画像選択部１１１は、取得した左眼用２次元画像のうち、一方の左眼用２次元画像を、SDI端子８３に供給し、他方の左眼用２次元画像を、SDI端子８４に供給する。SDI端子８３及び８４は、それぞれ、画像選択部１１１からの左眼用２次元画像を、優先順序決定部８７に供給する。
【０１２５】
また、右眼用スイッチャ９２は、制御部８１からの制御にしたがって、左眼用スイッチャ８２の画像選択部１１１と同様にして、取得した右眼用２次元画像のうち、一方の右眼用２次元画像を、SDI端子８８に供給し、他方の右眼用２次元画像を、SDI端子８９に供給する。SDI端子８８及び８９は、それぞれ、右眼用スイッチャ９２からの右眼用２次元画像を、優先順序決定部８７に供給する。
【０１２６】
ステップＳ２において、優先順序決定部８７の視差量計測部１７１は、SDI端子８３からの、３次元画像４１に対応する左眼用２次元画像、及びSDI端子８４からの、３次元画像４２に対応する左眼用２次元画像それぞれに基づいて、左眼用２次元画像上の重畳部分を検出する。
【０１２７】
また、視差量計測部１７１は、SDI端子８８からの、３次元画像４１に対応する右眼用２次元画像、及びSDI端子８９からの、３次元画像４２に対応する右眼用２次元画像それぞれに基づいて、右眼用２次元画像上の重畳部分を検出する。
【０１２８】
視差量計測部１７１は、３次元画像４１（SDI端子８３からの左眼用２次元画像、及びSDI端子８８からの右眼用２次元画像の組合せ）に対応する左眼用２次元画像及び右眼用２次元画像それぞれの重畳部分に基づいて、３次元画像４１の視差量を計測し、３次元画像４１とともに、順序決定部１７２に供給する。
【０１２９】
また、視差量計測部１７１は、３次元画像４２（SDI端子８４からの左眼用２次元画像、及びSDI端子８９からの右眼用２次元画像の組合せ）に対応する左眼用２次元画像及び右眼用２次元画像それぞれの重畳部分に基づいて、３次元画像４２の視差量を計測し、３次元画像４２とともに、順序決定部１７２に供給する。
【０１３０】
ステップＳ３において、順序決定部１７２は、視差量計測部１７１からの、３次元画像４１の視差量に基づいて、３次元画像４１における奥行きｚの平均値ave1を算出する。また、順序決定部１７２は、視差量計測部１７１からの、３次元画像４２の視差量に基づいて、３次元画像４２における奥行きｚの平均値ave2を算出する。
【０１３１】
そして、順序決定部１７２は、３次元画像４１及び４２それぞれにおける奥行きｚの平均値ave1及びave2どうしを比較し、その比較結果に基づいて、優先順序を決定して、SDI端子８５及び９０に供給する。
【０１３２】
順序決定部１７２は、視差量計測部１７１からの３次元画像４１に対応する左眼用２次元画像を、SDI端子８５に、視差量計測部１７１からの３次元画像４２に対応する左眼用２次元画像を、SDI端子８６に供給する。
【０１３３】
また、順序決定部１７２は、視差量計測部１７１からの３次元画像４１に対応する右眼用２次元画像を、SDI端子９０に、視差量計測部１７１からの３次元画像４２に対応する右眼用２次元画像を、SDI端子９１に供給する。
【０１３４】
SDI端子８５は、順序決定部１７２からの左眼用２次元画像及び優先順序を、SDI端子８６は、順序決定部１７２からの左眼用２次元画像を、それぞれ左眼用スイッチャ８２に供給する。
【０１３５】
また、SDI端子９０は、順序決定部１７２からの右眼用２次元画像及び優先順序を、SDI端子９１は、順序決定部１７２からの右眼用２次元画像を、それぞれ右眼用スイッチャ９２に供給する。
【０１３６】
ステップＳ４において、左眼用スイッチャ８２の画像合成部１１２は、SDI端子８５から入力ラインL8を介して供給される左眼用２次元画像、及びSDI端子８６から入力ラインL9を介して供給される左眼用２次元画像を、SDI端子８５から入力ラインL8を介して供給される優先順序で合成し、その結果得られる合成後の左眼用２次元画像を出力ラインに出力する。
【０１３７】
また、右眼用スイッチャ９２は、左眼用スイッチャ８２と同様にして、SDI端子９０からの右眼用２次元画像、及びSDI端子９１からの右眼用２次元画像を、SDI端子９０からの優先順序で合成し、その結果得られる合成後の右眼用２次元画像を出力ラインに出力する。
【０１３８】
以上説明したように、優先順序決定処理によれば、例えば、画像合成装置２２が、ユーザの選択操作により選択された３次元画像４１及び４２それぞれの視差量に基づいて、３次元画像４１及び４２それぞれの視差量に対応した優先順序を決定し、決定した優先順序で、３次元画像４１及び４２を合成するようにしたので、合成する３次元画像４１及び４２それぞれの視差量との対応がとれていない優先順序で、３次元画像４１及び４２が合成される事態を防止することが可能となる。
【０１３９】
このため、優先順序決定処理では、３次元画像４１及び４２それぞれの視差量との対応がとれていない優先順序で合成された不自然な３次元画像が生成されることを防止できるので、鑑賞者において、視差量との対応がとれた違和感のない３次元画像を鑑賞することが可能となる。
【０１４０】
また、優先順序決定処理では、ユーザは、操作卓２１を用いて、合成する３次元画像４１及び４２を選択するだけで、３次元画像４１及び４２それぞれの視差量に対応した優先順序で、３次元画像４１及び４２が合成されることとなる。
【０１４１】
このため、例えば、視差量に対応した優先順序で合成できるように、ユーザが、操作卓２１を用いて、合成する順序、又は３次元画像の視差量を調整する必要がある場合と比較して、ユーザによる操作を少なくすることができ、操作卓２１を用いたユーザによる操作の煩わしさを低減することが可能となる。
【０１４２】
第１の実施の形態では、優先順序決定部８７が、３次元画像４１及び４２の視差量を計測し、その計測結果に基づいて、優先順序を決定するようにしたが、図９に示される画像合成装置２２のように、例えば、左眼用スイッチャ１８２に、優先順序決定部８７と同様の機能を有する優先順序決定部８７a乃至８７dを設けるように構成することができる。
【０１４３】
[画像合成装置２２の他の構成例]
次に、図９は、画像合成装置２２の他の構成例を示している。
【０１４４】
図９の画像合成装置２２は、制御部１８１、左眼用スイッチャ１８２、及び右眼用スイッチャ１８３により構成されている。
【０１４５】
制御部１８１は、操作卓２１からの操作信号に基づいて、左眼用スイッチャ１８２及び右眼用スイッチャ１８３を制御する。
【０１４６】
左眼用スイッチャ１８２は、優先順序決定部８７と同様に構成される優先順序決定部８７a乃至８７dが新たに設けられた画像合成部１１２により構成される。なお、優先順序決定部８７a乃至８７dは相互に制御用の通信路で接続され、また制御部１８１と制御用の通信路で接続されており、さらに右眼用スイッチャ１８３の同一要素とも制御用の通信路で接続されており、全体で連携して動作する。
【０１４７】
左眼用スイッチャ１８２には、複数の３次元画像それぞれに対応する左眼用２次元画像として、入力ラインL1乃至L9それぞれから左眼用２次元画像が供給される。
【０１４８】
なお、左眼用スイッチャ１８２の画像合成部１１２において、図６の画像合成部１１２と同様に構成されている部分については同一の番号を付しているため、それらの説明は適宜省略する。
【０１４９】
クロスポイントスイッチ１５１aは、入力ラインL1乃至L9それぞれから供給される左眼用２次元画像のうち、例えば、ユーザの選択操作により選択された３次元画像４１に対応する左眼用２次元画像を選択し、バスライン１５２aを介して、優先順序決定部８７aに供給する。
【０１５０】
また、クロスポイントスイッチ１５１cは、入力ラインL1乃至L9それぞれから供給される左眼用２次元画像のうち、例えば、ユーザの選択操作により選択された３次元画像４２に対応する左眼用２次元画像を選択し、バスライン１５２cを介して、優先順序決定部８７bに供給する。
【０１５１】
優先順序決定部８７aは、右眼用スイッチャ１８３中の同一部分と通信し連携処理して、バスライン１５２aからの、３次元画像４１に対応する左眼用２次元画像と、右眼用スイッチャ１８３から制御部１８１を介して供給される、３次元画像４１に対応する右眼用２次元画像との組合せを、３次元画像４１として処理に使用する。
【０１５２】
また、優先順序決定部８７bは、右眼用スイッチャ１８３中の同一部分と通信し連携処理して、バスライン１５２cからの、３次元画像４２に対応する左眼用２次元画像と、右眼用スイッチャ１８３から制御部１８１を介して供給される、３次元画像４２に対応する右眼用２次元画像との組合せを、３次元画像４２として処理に使用する。
【０１５３】
そして、優先順序決定部８７a及び８７bは、取得した３次元画像４１及び３次元画像４２に基づいて、優先順序決定部８７と同様にして、優先順序を決定する。優先順序決定部８７aは、決定した優先順序を、取得した３次元画像４１及び４２それぞれに対応する左眼用２次元画像とともに、キー信号処理部１５３a及び１５３bに供給する。
【０１５４】
これにより、上述のように、キー信号処理部１５３a，１５３b、及び合成処理部１５５において、３次元画像４１及び４２を合成する処理が行なわれ、左眼用スイッチャ１８２から、合成後の左眼用２次元画像が出力される。
【０１５５】
また、優先順序決定部８７a及び８７bは、決定した優先順序を、制御部１８１を介して右眼用スイッチャ１８３と共有する。
【０１５６】
なお、優先順序決定部８７c乃至８７dは、優先順序決定部８７aと同様に構成されており、３枚以上の３次元画像を合成する場合に、例えば、優先順序決定部８７a乃至８７dそれぞれが、３枚以上の３次元画像の視差量を相互にやりとりすることで、優先順序を決定することとなる。
【０１５７】
右眼用スイッチャ１８３は、優先順序決定部８７aと、制御部１８１を介して共有する優先順序で、３次元画像４１及び４２それぞれに対応する右眼用２次元画像を合成し、合成後の右眼用２次元画像を出力する。
【０１５８】
図９の画像合成装置２２では、例えば図５の画像合成装置２２と比較して、SDI端子８３乃至SDI端子８６、優先順序決定部８７、及びSDI端子８８乃至SDI端子９１を省略することができる。
【０１５９】
また、第１の実施の形態では、ユーザが、合成する３次元画像４１及び４２を選択したことに対応して、画像合成装置２２が、合成する３次元画像４１及び４２の優先順序（合成の前後関係）を決定するようにしたが、運用中の状況に応じて、優先順序は、ユーザが、操作卓２１を用いて指定した優先順序を適用するように構成することができる。
【０１６０】
[操作卓２１の上面図]
次に、図１０は、ユーザが、優先順序を指定する場合に用いられる操作卓２１の一例を示している。
【０１６１】
操作卓２１は、「PRIOR SET」ボタン１９１、「KEY PRIOR」ボタン１９２、「BKGD」ボタン１９３、「KEY1」ボタン１９４、「KEY2」ボタン１９５、「KEY3」ボタン１９６、「KEY4」ボタン１９７、優先順序表示部１９８、及びフェーダ変更レバー１９９、その他、画像合成装置２２を制御するために操作される複数のボタンにより構成される。
【０１６２】
以下の説明では、ユーザが、優先順序を指定する際に操作される「PRIOR SET」ボタン１９１乃至「KEY4」ボタン１９７、及び優先順序表示部１９８についてのみ説明し、それ以外のボタンについての説明は省略する。
【０１６３】
なお、フェーダ変更レバー１９９は、後述する第３の実施の形態において、フェーダ値を変更する際に操作される。フェーダ変更レバー１９９及びフェーダ値については、第３の実施の形態において説明する。
【０１６４】
「PRIOR SET」ボタン１９１は、優先順序を指定する際に操作される。すなわち、例えば、「PRIOR SET」ボタン１９１が押下されている間、「KEY PRIOR」ボタン１９２乃至「KEY4」ボタン１９７は、優先順序を指定するためのボタンとして機能する。
【０１６５】
「KEY PRIOR」ボタン１９２は、操作卓２１が「KEY PRIOR」ボタン１９２を操作可能なモードに設定されている場合にオン状態又はオフ状態のいずれかの状態とされる。また、「KEY PRIOR」ボタン１９２は、オン状態である場合に点灯し、オフ状態である場合に消灯する。なお、「KEY PRIOR」ボタン１９２には、LED(light emitting diode)等が内蔵されており、オン又はオフ状態のいずれかの状態に応じて、点灯又は消灯する。
【０１６６】
また、例えば、「KEY PRIOR」ボタン１９２は、オン状態又はオフ状態のいずれかの状態に応じて、優先順序を設定する対象を指定する。
【０１６７】
すなわち、例えば、「KEY PRIOR」ボタン１９２がオフ状態とされて消灯しているときに、currentモードにおける優先順序を設定の対象として指定し、「KEY PRIOR」ボタン１９２がオン状態とされて点灯しているときに、nextモードにおける優先順序を設定の対象として指定する。
【０１６８】
なお、currentモードとは、現在、操作卓２１に設定されているモードを表し、nextモードとは、ユーザの遷移操作に応じて、currentモードから遷移されるモードを表す。画像合成装置２２は、操作卓２１に設定されているモードにおける優先順序で、３次元画像を合成する。
【０１６９】
「BKGD」ボタン１９３は、nextモードにおける優先順序が設定の対象とされている場合に、ユーザにより操作されることに対応して、nextモードにおける優先順序を、currentモードにおける優先順序と同一の優先順序に設定する。
【０１７０】
ユーザは、「KEY1」ボタン１９４乃至「KEY4」ボタン１９７を操作することにより、「KEY PRIOR」ボタン１９２に応じて、設定の対象と指定されたモードの優先順序を設定する。
【０１７１】
「KEY1」ボタン１９４乃至「KEY4」ボタン１９７には、それぞれ、合成する３次元画像が対応付けられている。「KEY1」ボタン１９４乃至「KEY4」ボタン１９７は、それぞれ、対応する３次元画像の優先順序を設定する場合に操作される。
【０１７２】
すなわち、例えば、「KEY1」ボタン１９４が押下された場合、「KEY1」ボタン１９４に対応する３次元画像の優先順序が１番となり、「KEY2」ボタン１９５乃至「KEY4」ボタン１９７それぞれに対応する３次元画像の優先順序は、「KEY1」ボタン１９４が押下される前の順序を保つように変更される。
【０１７３】
優先順序表示部１９８は、「KEY1」ボタン１９４の状態を表すKEY1表示領域１９８a、「KEY2」ボタン１９５の状態を表すKEY2表示領域１９８b、「KEY3」ボタン１９６の状態を表すKEY3表示領域１９８c、及び「KEY4」ボタン１９７の状態を表すKEY4表示領域１９８dにより構成される。
【０１７４】
KEY1表示領域１９８aは、「KEY1」ボタン１９４がオン又はオフのいずれかの状態であるかを表示するとともに、「KEY1」ボタン１９４に対応付けられている３次元画像の優先順序を表示する。また、KEY2表示領域１９８b乃至KEY4表示領域１９８dは、KEY1表示領域１９８aと同様に構成されているため、それらの説明は省略する。
【０１７５】
なお、「KEY PRIOR」ボタン１９２は、「PRIOR SET」ボタン１９１が押下されていない場合、currentモードにおける優先順序、又はnextモードにおける優先順序の一方を表示させるときに操作される。
【０１７６】
すなわち、例えば「KEY PRIOR」ボタン１９２がオフ状態とされて消灯している場合、優先順序表示部１９８のKEY1表示領域１９８a乃至１９８dそれぞれにおいて、currentモードにおける優先順序として、番号「１」，「２」，「３」，「４」のうち、対応する番号が点灯する。
【０１７７】
また、例えば、「KEY PRIOR」ボタン１９２がオン状態とされて点灯している場合、優先順序表示部１９８のKEY1表示領域１９８a乃至１９８dそれぞれにおいて、nextモードにおける優先順序が表示される。
【０１７８】
具体的には、例えば、優先順序表示部１９８のKEY1表示領域１９８a乃至１９８dそれぞれにおいて、currentモードにおける優先順序と、nextモードにおける優先順序とで同一の優先順序となる部分（番号「１」，「２」，「３」，「４」）については点灯表示され、異なる優先順序となる部分については点滅表示される。
【０１７９】
このように、ユーザは、操作卓２１を用いて、合成する３次元画像の優先順序を指定することができる。
【０１８０】
[操作卓２１による遷移例]
次に、図１１は、例えば、ユーザが、操作卓２１を用いて、合成する３次元画像の優先順序を指定する場合における「KEY1」ボタン１９４及び「KEY2」ボタン１９５の状態を示している。
【０１８１】
なお、図１１では、説明を簡単にするために、ユーザは、「KEY1」ボタン１９４乃至「KEY4」ボタン１９７のうち、「KEY1」ボタン１９４及び「KEY2」ボタン１９５のみをオン状態又はオフ状態とするように操作するものとする。
【０１８２】
そして、図１１では、「KEY1」ボタン１９４及び「KEY2」ボタン１９５それぞれの優先順序、つまり、「KEY1」ボタン１９４に対応する３次元画像、及び「KEY2」ボタン１９５に対応する３次元画像のうち、いずれの３次元画像を手前に表示させるようにして合成するかを変更するものとする。
【０１８３】
「KEY1」ボタン１９４及び「KEY2」ボタン１９５は、オン又はオフのいずれかの状態とされ、「KEY1」ボタン１９４及び「KEY2」ボタン１９５の状態に応じて、状態１乃至状態４のいずれかの状態とされる。
【０１８４】
これに対応して、制御部８１は、操作卓２１から供給される操作信号に基づいて、「KEY1」ボタン１９４及び「KEY2」ボタン１９５の状態に応じて、左眼用スイッチャ８２、優先順序決定部８７、及び右眼用スイッチャ９２を制御する。
【０１８５】
具体的には、例えば、「KEY1」ボタン１９４及び「KEY2」ボタン１９５がいずれもオン状態である場合、「KEY1」ボタン１９４に対応する３次元画像が手前に表示されるように、「KEY1」ボタン１９４及び「KEY2」ボタン１９５それぞれに対応する３次元画像どうしが合成される状態１とされる。
【０１８６】
状態１において、「KEY2」ボタン１９５に対応する３次元画像が手前に表示されるように、優先順序を変更するユーザ操作に対応する操作信号は無視（又は破棄）される。すなわち、制御部８１は、操作卓２１からの、優先順序を変更するユーザ操作に対応する操作信号を無視して、そのユーザ操作は行われなかったものとして取り扱う。
【０１８７】
また、状態１において、「KEY1」ボタン１９４に対応する３次元画像を合成対象から除外するために、「KEY1」ボタン１９４をオフ状態とするKEY1オフ操作が行われた場合、「KEY2」ボタン１９５に対応する３次元画像が手前に表示される状態２に遷移する。
【０１８８】
状態１から状態２に遷移する場合、制御部８１は、優先順序決定部８７の順序決定部１７２を制御し、「KEY1」ボタン１９４に対応する３次元画像を合成対象から除外した状態で、優先順序を決定させる。いまの場合、順序決定部１７２は、「KEY2」ボタン１９５に対応する３次元画像の優先順序を１番に決定するものとなる。そして、左眼用スイッチャ８２及び右眼用スイッチャ９２では、順序決定部１７２が決定した優先順序に従って、「KEY1」ボタン１９４に対応する３次元画像を合成対象から除外した状態で合成が行なわれる。
【０１８９】
なお、例えば、「KEY3」ボタン１９６、及び「KEY4」ボタン１９７がオン状態とされている場合には、順序決定部１７２は、制御部８１からの制御に従って、KEY1オフ操作が行われる前の優先順序を維持するように、「KEY3」ボタン１９６に対応する３次元画像の優先順序、及び「KEY4」ボタン１９７に対応する３次元画像の優先順序を、新たに決定することとなる。
【０１９０】
このことは、以下の説明において、「KEY1」ボタン１９４や「KEY2」ボタン１９５のオンオフに応じて、順序決定部１７２により、優先順序が新たに決定される場合についても同様である。
【０１９１】
状態２において、「KEY1」ボタン１９４に対応する３次元画像を新たに合成対象として追加するとともに、その優先順序を例えば１番とするために、「KEY1」ボタン１９４をオン状態とするKEY1オン操作が行われた場合、「KEY1」ボタン１９４に対応する３次元画像が手前に表示されても問題がない（視差量に応じた優先順序となる）ときには、KEY1オン操作に応じて、「KEY1」ボタン１９４をオン状態とし、状態２から状態１に遷移する。
【０１９２】
この場合、制御部８１は、優先順序決定部８７の順序決定部１７２を制御し、「KEY1」ボタン１９４に対応する３次元画像が新たに合成対象として追加された状態で、優先順序を決定させる。
【０１９３】
なお、状態２において、順序決定部１７２が決定した、「KEY1」ボタン１９４に対応する３次元画像の優先順序が、１番とならない場合、すなわち、「KEY1」ボタン１９４に対応する３次元画像が手前に表示されると問題がある（視差量に応じた優先順序にならない）ときには、KEY1オン操作は行われなかったものとして取り扱うようにし、状態１には遷移せず、状態２のままとされる。すなわち、制御部８１は、操作卓２１からのKEY1オン操作に対応する操作信号を無視して、KEY1オン操作に対応する制御を行わない。
【０１９４】
また、状態２において、優先順序を変更するための順序変更操作として、例えば、「KEY2」ボタン１９５に対応する３次元画像を合成対象から除外するために、「KEY2」ボタン１９５をオフ状態とするKEY2オフ操作が行われ、KEY1オン操作が行われた場合、KEY2オフ操作及びKEY1オン操作に応じて、「KEY2」ボタン１９５をオフ状態とし、「KEY1」ボタン１９４をオン状態として、「KEY1」ボタン１９４に対応する３次元画像が手前に表示される状態３に遷移する。
【０１９５】
状態２から状態３に遷移する場合、制御部８１は、順序決定部１７２を制御し、「KEY2」ボタン１９５に対応する３次元画像を合成対象から除外し、「KEY1」ボタン１９４に対応する３次元画像が新たに合成対象として追加された状態で、優先順序を決定させる。いまの場合、順序決定部１７２は、「KEY1」ボタン１９４に対応する３次元画像の優先順序を１番に決定するものとなる。そして、左眼用スイッチャ８２及び右眼用スイッチャ９２では、順序決定部１７２が決定した優先順序に従って、「KEY2」ボタン１９５に対応する３次元画像を合成対象から除外した状態で合成が行なわれる。
【０１９６】
状態３において、順序変更操作として、例えば、KEY1オフ操作が行われ、「KEY2」ボタン１９５に対応する３次元画像を新たに合成対象に追加するとともに、その優先順序を例えば１番とするために、「KEY2」ボタン１９５をオン状態とするKEY2オン操作が行われた場合、KEY1オフ操作及びKEY2オン操作に応じて、「KEY1」ボタン１９４をオフ状態とし、「KEY2」ボタン１９４をオン状態として、状態２に遷移する。
【０１９７】
状態３から状態２に遷移する場合、制御部８１は、順序決定部１７２を制御し、「KEY1」ボタン１９４に対応する３次元画像を合成対象から除外し、「KEY2」ボタン１９５に対応する３次元画像が新たに合成対象として追加された状態で、優先順序を決定させる。いまの場合、順序決定部１７２は、「KEY2」ボタン１９５に対応する３次元画像の優先順序を１番に決定するものとなる。そして、左眼用スイッチャ８２及び右眼用スイッチャ９２では、順序決定部１７２が決定した優先順序に従って、「KEY1」ボタン１９４に対応する３次元画像を合成対象から除外した状態で合成が行なわれる。
【０１９８】
また、状態３において、KEY2オン操作が行われた場合、「KEY2」ボタン１９５に対応する３次元画像が手前に表示されても問題がない（視差量に応じた優先順序となる）ときには、KEY2オン操作に応じて、「KEY2」ボタン１９５をオン状態とし、「KEY2」ボタン１９５に対応する３次元画像が手前に表示されるように、「KEY1」ボタン１９４及び「KEY2」ボタン１９５それぞれに対応する３次元画像どうしが合成される状態４に遷移する。
【０１９９】
この場合、制御部８１は、順序決定部１７２を制御し、「KEY2」ボタン１９５に対応する３次元画像が新たに合成対象として追加された状態で、優先順序を決定させる。
【０２００】
なお、状態３において、順序決定部１７２が決定した、「KEY2」ボタン１９５に対応する３次元画像の優先順序が、１番とならない場合、すなわち、「KEY2」ボタン１９５に対応する３次元画像が手前に表示されると問題がある（視差量に応じた優先順序にならない）ときには、KEY2オン操作は行われなかったものとして取り扱うようにし、状態４には遷移せずに、状態３のままとされる。すなわち、制御部８１は、操作卓２１からのKEY2オン操作に対応する操作信号を無視して、KEY2オン操作に対応する制御を行わない。
【０２０１】
状態４において、KEY2オフ操作が行われた場合、状態３に遷移する。状態４から状態３に遷移する場合、制御部８１は、順序決定部１７２を制御し、「KEY2」ボタン１９５に対応する３次元画像を合成対象から除外した状態で、優先順序を決定させる。いまの場合、順序決定部１７２は、「KEY1」ボタン１９４に対応する３次元画像の優先順序を１番に決定するものとなる。そして、左眼用スイッチャ８２及び右眼用スイッチャ９２では、順序決定部１７２が決定した優先順序に従って、「KEY2」ボタン１９５に対応する３次元画像を合成対象から除外した状態で合成が行なわれる。
【０２０２】
また、状態４において、「KEY1」ボタン１９４に対応する３次元画像が手前に表示されるように、優先順序を変更するユーザ操作に対応する操作信号は無視される。すなわち、制御部８１は、操作卓２１からの、優先順序を変更するユーザ操作に対応する操作信号を無視して、そのユーザ操作は行われなかったものとして取り扱う。
【０２０３】
第１の実施の形態では、図１１を参照して行なった説明において、優先順序を変更するユーザ操作が行われた場合、そのユーザ操作に対応する優先順序が、視差量に対応する優先順序とは異なるときには、ユーザの操作は行われなかったものとして取り扱うようにしたが、その際に、例えば、ユーザ操作に対応する優先順序が、視差量に対応する優先順序とは異なる旨の警告を表示したり、その旨の警告を示す警告音を出力するようにしてもよい。
【０２０４】
＜２．第２の実施の形態＞
次に、第２の実施の形態として、ユーザにより指定された優先順序に対応する視差量となるように、合成する３次元画像の視差量を調整し、調整後の３次元画像を合成する場合の画像合成装置２１１について説明する。
【０２０５】
[操作卓２１及び画像合成装置２１１による構成]
図１２は、第２の実施の形態である、操作卓２１からの操作信号に応じて３次元画像を合成する画像合成装置２１１の構成例を示している。
【０２０６】
なお、操作卓２１は、第１の実施の形態の操作卓２１と同様に構成されていることから、同一の番号を付しており、その説明は省略している。
【０２０７】
画像合成装置２１１は、操作卓２１からの操作信号に基づいて、供給される複数の３次元画像のうち、ユーザの選択操作により選択された３次元画像どうしを、ユーザにより指定された優先順序で合成する。
【０２０８】
次に、図１３は、画像合成装置２１１が行う処理の概要を示している。
【０２０９】
図１３A下側には、ユーザが選択した２枚の３次元画像のうちの一方の３次元画像２３１が示されている。この３次元画像２３１には、物体２３１aが表示されている。図１３A上側には、物体２３１aを上から見た様子が示されている。
【０２１０】
図１３B下側には、ユーザが選択した２枚の３次元画像のうちの他方の３次元画像２３２が示されている。この３次元画像２３２には、物体２３２aが表示されている。図１３B上側には、物体２３２aを上から見た様子が示されている。
【０２１１】
図１３C下側には、３次元画像２３１及び３次元画像２３２を合成した場合に得られる３次元画像２３３の一例が示されている。また、図１３C上側には、３次元画像２３３上の物体２３１a及び２３２aの奥行きｚが示されている。
【０２１２】
操作卓２１は、ユーザが、合成する３次元画像として、３次元画像２３１及び２３２を選択する選択操作を、操作卓２１を用いて行ったことに応じて、ユーザの選択操作に対応する操作信号を生成し、画像合成装置２１１に供給する。
【０２１３】
この場合、画像合成装置２１１は、操作卓２１からの操作信号に応じて、供給される複数の３次元画像のうち、ユーザの選択操作より選択された３次元画像２３１及び２３２を選択する。
【０２１４】
また、操作卓２１は、ユーザが、操作卓２１を用いて、優先順序を指定する指定操作を行ったことに応じて、ユーザの指定操作に対応する操作信号を生成し、画像合成装置２１１に供給する。
【０２１５】
画像合成装置２１１は、操作卓２１からの操作信号に応じて、ユーザにより指定された優先順序で、３次元画像２３１及び２３２を合成できるように、３次元画像２３１の視差量、及び３次元画像２３２の視差量を、ユーザにより指定された優先順序に対応する視差量に調整する。
【０２１６】
いまの場合、例えば、ユーザが、３次元画像２３１の優先順序を２番に、３次元画像２３２の優先順序を１番に指定した場合、画像合成装置２１１は、図１３C上側に示されるように、３次元画像２３２上の物体２３２aにおける奥行きｚが、３次元画像２３１上の物体２３１aにおける奥行きｚよりも小さくなるように、３次元画像２３１及び２３２それぞれの視差量を調整する。
【０２１７】
そして、画像合成装置２１１は、視差量が調整された３次元画像２３１及び２３２を、ユーザにより指定された優先順序で合成することにより、図１３C下側に示されるような３次元画像２３３を生成して出力する。
【０２１８】
[画像合成装置２１１の詳細]
次に、図１４は、画像合成装置２１１の構成例を示している。
【０２１９】
なお、この画像合成装置２１１は、第１の実施の形態における図５の画像合成装置２２と同様に構成される部分については同一の符号を付しているため、以下においてその説明は適宜省略する。
【０２２０】
すなわち、画像合成装置２１１は、制御部８１及び優先順序決定部８７に代えて、制御部２５１及び調整部２５２が設けられている他は、図５の画像合成装置２２と同様に構成されている。
【０２２１】
制御部２５１は、操作卓２１からの操作信号に基づいて、左眼用スイッチャ８２、調整部２５２、及び右眼用スイッチャ９２を制御する。
【０２２２】
また、制御部２５１は、操作卓２１からの操作信号に基づいて、ユーザが指定した優先順序を表す制御信号を、調整部２５２に供給する。
【０２２３】
調整部２５２は、SDI端子８３からの、３次元画像２３１に対応する左眼用２次元画像と、SDI端子８８からの、３次元画像２３１に対応する右眼用２次元画像との組合せを、３次元画像２３１として取得する。
【０２２４】
また、調整部２５２は、SDI端子８４からの、３次元画像２３２に対応する左眼用２次元画像と、SDI端子８９からの、３次元画像２３２に対応する右眼用２次元画像との組合せを、３次元画像２３２として取得する。
【０２２５】
そして、調整部２５２は、優先順序決定部８７と同様にして、取得した３次元画像２３１に基づいて、３次元画像２３１の視差量を計測するとともに、取得した３次元画像２３２に基づいて、３次元画像２３２の視差量を計測する。
【０２２６】
調整部２５２は、計測した３次元画像２３１及び２３２それぞれの視差量が、ユーザの指定操作により指定された優先順序に対応する視差量となるように、３次元画像２３１及び２３２それぞれの視差量を調整する。
【０２２７】
調整部２５２は、調整後の３次元画像２３１に対応する左眼用２次元画像、及びユーザの指定操作により指定された優先順序を、SDI端子８５に供給する。また、調整部２５２は、調整後の３次元画像２３２に対応する左眼用２次元画像を、SDI端子８６に供給する。
【０２２８】
さらに、調整部２５２は、調整後の３次元画像２３１に対応する右眼用２次元画像、及びユーザの指定操作により指定された優先順序を、SDI端子９０に供給する。また、調整部２５２は、調整後の３次元画像２３２に対応する右眼用２次元画像を、SDI端子９１に供給する。
【０２２９】
[調整部２５２の構成例]
次に、図１５は、調整部２５２の構成例を示している。
【０２３０】
この調整部２５２は、順序取得部２７１、視差量計測部２７２、調整量算出部２７３、及び視差量調整部２７４により構成される。
【０２３１】
順序取得部２７１には、制御部２５１からの制御信号として、ユーザの指定操作より指定された優先順序を表す制御信号が供給される。順序取得部２７１は、制御部２５１からの制御信号に基づいて、ユーザにより指定された優先順序を取得し、調整量算出部２７３及び視差量調整部２７４に供給する。
【０２３２】
視差量計測部２７２は、SDI端子８３からの左眼用２次元画像、及びSDI端子８８からの右眼用２次元画像の組合せを、３次元画像２３１として取得する。さらに、視差量計測部２７２は、SDI端子８４からの左眼用２次元画像、及びSDI端子８９からの右眼用２次元画像の組合せを、３次元画像２３２として取得する。
【０２３３】
そして、視差量計測部２７２は、視差量計測部１７１と同様にして、取得した３次元画像２３１及び２３２に基づいて、３次元画像２３１及び２３２それぞれの視差量を計測し、調整量算出部２７３に供給する。
【０２３４】
また、視差量計測部２７２は、取得した３次元画像２３１及び２３２を、視差量調整部２７４に供給する。
【０２３５】
調整量算出部２７３は、調整量計測部２７２からの、３次元画像２３１及び２３２それぞれの視差量に基づいて、その視差量に対応する優先順序を算出する。
【０２３６】
そして、調整量算出部２７３は、算出した、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致するか否かを判定する。
【０２３７】
調整量算出部２７３は、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致しないと判定した場合、３次元画像２３１及び２３２それぞれの視差量を、順序取得部２７１からの優先順序に対応する視差量に調整するための調整量を算出する。
【０２３８】
すなわち、例えば、調整量算出部２７３は、順序取得部２７１からの優先順序、並びに、視差量計測部２７２からの３次元画像２３１及び２３２それぞれの視差量に基づいて、３次元画像２３１及び２３２それぞれに対する調整量を算出する。そして、調整量算出部２７３は、算出した調整量を視差量調整部２７４に供給する。
【０２３９】
また、調整量算出部２７３は、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致すると判定した場合、その旨を視差量調整部２７４に通知する。
【０２４０】
視差量調整部２７４は、調整量算出部２７３から、調整量が供給された場合、供給された調整量に基づいて、視差量計測部２７２からの３次元画像２３１及び２３２の視差量を調整する。
【０２４１】
すなわち、例えば、視差量調整部２７４は、調整量算出部２７３からの、３次元画像２３１の調整量に基づいて、視差量計測部２７２からの３次元画像２３１の視差量を調整する。また、例えば、視差量調整部２７４は、調整量算出部２７３からの、３次元画像２３２の調整量に基づいて、視差量計測部２７２からの３次元画像２３２の視差量を調整する。
【０２４２】
視差量調整部２７４は、視差量を調整後の３次元画像２３１に対応する左眼用２次元画像、及び順序取得部２７１からの優先順序を、SDI端子８５に供給し、視差量を調整後の３次元画像２３２に対応する左眼用２次元画像を、SDI端子８６に供給する。
【０２４３】
また、視差量調整部２７４は、視差量を調整後の３次元画像２３１に対応する右眼用２次元画像、及び順序取得部２７１からの優先順序を、SDI端子９０に供給し、視差量を調整後の３次元画像２３２に対応する右眼用２次元画像を、SDI端子９１に供給する。
【０２４４】
なお、視差量調整部２７４は、調整量算出部２７３から、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致する旨の通知が供給された場合、視差量計測部２７２からの３次元画像２３１及び２３２それぞれの視差量の調整を行なわずに、左眼用２次元画像を、SDI端子８５及び８６に供給するとともに、右眼用２次元画像を、SDI端子９０及び９１に供給する。また、視差量調整部２７４は、順序取得部２７１からの優先順序を、SDI端子８５及び９０に供給する。
【０２４５】
[画像合成装置２１１の動作説明]
次に、図１６のフローチャートを参照して、画像合成装置２１１が行う第１の視差量調整処理について説明する。
【０２４６】
この第１の視差量調整処理は、例えば、ユーザが、操作卓２１を用いて、画像合成装置２１１に供給される複数の３次元画像のうち、合成する３次元画像２３１及び２３２を選択する選択操作を行ったときに開始される。このことは、後述する第２及び第３の視差量調整処理についても同様である。
【０２４７】
このとき、制御部２５１には、ユーザの選択操作に対応する操作信号が、操作卓２１から供給される。そして、制御部２５１は、操作卓２１からの操作信号に応じて、左眼用スイッチャ８２及び右眼用スイッチャ９２を制御する。そして、ステップＳ３１において、図８のステップＳ１と同様の処理が行なわれる。
【０２４８】
また、ユーザが、操作卓２１を用いて、３次元画像２３１及び２３２それぞれの優先順序を指定する指定操作を行ったときに、操作卓２１は、ユーザの指定操作に対応する操作信号を生成し、制御部２５１に供給し、処理はステップＳ３２に進められる。
【０２４９】
ステップＳ３２において、制御部２５１は、操作卓２１からの操作信号に応じて、ユーザの指定操作により指定された優先順序を表す制御信号を、順序取得部２７１に供給する。
【０２５０】
順序取得部２７１は、制御部２５１からの制御信号に基づいて、ユーザにより指定された優先順序を取得し、調整量算出部２７３及び視差量調整部２７４に供給する。
【０２５１】
ステップＳ３３において、視差量計測部２７２は、SDI端子８３からの左眼用２次元画像、及びSDI端子８８からの右眼用２次元画像の組合せを、３次元画像２３１として取得する。また、視差量計測部２７２は、SDI端子８４からの左眼用２次元画像、及びSDI端子８９からの右眼用２次元画像の組合せを、３次元画像２３２として取得する。
【０２５２】
そして、視差量計測部２７２は、視差量計測部１７１と同様にして、取得した３次元画像２３１及び２３２に基づいて、３次元画像２３１及び２３２それぞれの視差量を計測し、調整量算出部２７３に供給する。
【０２５３】
また、視差量計測部２７２は、取得した３次元画像２３１及び２３２を、視差量調整部２７４に供給する。
【０２５４】
ステップＳ３４において、調整量算出部２７３は、視差量計測部２７２からの、３次元画像２３１及び２３２それぞれの視差量に基づいて、その視差量に対応する優先順序を算出する。
【０２５５】
すなわち、例えば、調整量算出部２７３は、３次元画像２３１の視差量に対応する奥行きｚの平均値と、３次元画像２３２の視差量に対応する奥行きｚの平均値とを比較し、奥行きｚの平均値が小さい順序を、視差量に対応する優先順序として算出する。なお、調整量算出部２７３は、奥行きｚの平均値ではなく、奥行きｚの中央値に基づいて、視差量に対応する優先順序を算出するようにしてもよい。
【０２５６】
ステップＳ３５において、調整量算出部２７３は、算出した、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致するか否かを判定し、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致しないと判定した場合、処理をステップＳ３６に進める。
【０２５７】
ステップＳ３６において、調整量算出部２７３は、視差量計測部２７２からの、３次元画像２３１及び２３２それぞれの視差量、並びに順序取得部２７１からの優先順序に基づいて、３次元画像２３１及び２３２それぞれに対する調整量を算出し、視差量調整部２７４に供給する。
【０２５８】
ステップＳ３７において、視差量調整部２７４は、調整量算出部２７３からの、３次元画像２３１の調整量に基づいて、視差量計測部２７２からの３次元画像２３１の視差量を調整する。また、視差量調整部２７４は、調整量算出部２７３からの、３次元画像２３２の調整量に基づいて、視差量計測部２７２からの３次元画像２３２の視差量を調整する。
【０２５９】
そして、視差量調整部２７４は、視差量を調整後の３次元画像２３１に対応する左眼用２次元画像、及び順序取得部２７１からの優先順序を、SDI端子８５に供給し、視差量を調整後の３次元画像２３２に対応する左眼用２次元画像を、SDI端子８６に供給する。
【０２６０】
また、視差量調整部２７４は、視差量を調整後の３次元画像２３１に対応する右眼用２次元画像、及び順序取得部２７１からの優先順序を、SDI端子９０に供給し、視差量を調整後の３次元画像２３２に対応する右眼用２次元画像を、SDI端子９１に供給して、処理をステップＳ３８に進める。
【０２６１】
なお、ステップＳ３５において、調整量算出部２７３は、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致すると判定した場合、その旨を視差量調整部２７４に通知する。
【０２６２】
視差量調整部２７４は、調整量算出部２７３から、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致する旨が通知されたことに対応して、視差量計測部２７２からの３次元画像２３１及び２３２において、左眼用２次元画像を、SDI端子８５及び８６に供給するとともに、右眼用２次元画像を、SDI端子９０及び９１に供給する。
【０２６３】
さらに、視差量調整部２７４は、順序取得部２７１からの優先順序を、SDI端子８５及び９０に供給して、処理をステップＳ３８に進める。
【０２６４】
ステップＳ３８では、SDI端子８５は、視差量調整部２７４からの左眼用２次元画像及び優先順序を、SDI端子８６は、視差量調整部２７４からの左眼用２次元画像を、それぞれ左眼用スイッチャ８２に供給する。
【０２６５】
SDI端子９０は、視差量調整部２７４からの右眼用２次元画像及び優先順序を、SDI端子９１は、視差量調整部２７４からの右眼用２次元画像を、それぞれ右眼用スイッチャ９２に供給する。
【０２６６】
そして、ステップＳ３８において、図８のステップＳ４と同様の処理が行なわれる。以上で第１の視差量調整処理は終了される。
【０２６７】
以上説明したように、第１の視差量調整処理によれば、画像合成装置２１１において、３次元画像２３１及び２３２それぞれの視差量が、ユーザの指定操作により指定された優先順序に対応する視差量とは異なる場合に、３次元画像２３１及び２３２それぞれの視差量を、ユーザの指定操作により指定された優先順序に対応する視差量となるように調整し、調整後の３次元画像２３１及び２３２を合成するようにした。
【０２６８】
このため、第１の視差量調整処理では、合成する３次元画像２３１及び２３２それぞれの視差量と対応がとれていない優先順序で、３次元画像２３１及び２３２が合成される事態を防止して、ユーザの所望する優先順序で、３次元画像２３１及び２３２を合成することが可能となる。
【０２６９】
次に、図１７のフローチャートを参照して、画像合成装置２１１が行う第２の視差量調整処理について説明する。
【０２７０】
ステップＳ５１乃至ステップＳ５４において、図１６のステップＳ３１乃至ステップＳ３４と同様の処理が行なわれる。
【０２７１】
ステップＳ５５において、調整量算出部２７３は、図１６のステップＳ３５の場合と同様にして、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致するか否かを判定する。そして、調整量算出部２７３は、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致しないと判定した場合、処理をステップＳ５６に進める。
【０２７２】
ステップＳ５６において、調整量算出部２７３は、図１６のステップＳ３６の場合と同様にして、調整量を算出し、算出した調整量を、視差量調整部２７４に供給する。視差量調整部２７４は、調整量算出部２７３からの調整量を、内蔵するメモリに供給して記憶させる。
【０２７３】
なお、画像合成装置２１１において、第２の視差量調整処理が行なわれる場合、視差量調整部２７４には、図示せぬメモリが内蔵されているものとする。
【０２７４】
ステップＳ５７において、視差量調整部２７４は、制御部２５１から、３次元画像２３１及び２３２の合成の開始を指示する合成指示信号を受信したか否かを判定し、合成指示信号を受信したと判定するまで、ステップＳ５７の処理を繰り返し行なう。
【０２７５】
なお、ユーザが、操作卓２１を用いて、３次元画像２３１及び２３２の合成の開始を指示する操作を行った場合、制御部２５１は、操作卓２１からの操作信号に対応して、合成指示信号を、視差量調整部２７４に供給する。
【０２７６】
ステップＳ５７において、視差量調整部２７４は、制御部２５１から、合成指示信号を受信したと判定した場合、処理をステップＳ５８に進める。
【０２７７】
ステップＳ５８において、視差量調整部２７４は、内蔵するメモリに記憶されている、３次元画像２３１の調整量に基づいて、視差量計測部２７２からの３次元画像２３１の視差量を調整する。また、視差量調整部２７４は、内蔵するメモリに記憶されている、３次元画像２３２の調整量に基づいて、視差量計測部２７２からの３次元画像２３２の視差量を調整する。なお、内蔵するメモリへの記憶を行わず、常に新しい視差量を受け取るように構成しても良い。
【０２７８】
そして、視差量調整部２７４は、視差量を調整後の３次元画像２３１に対応する左眼用２次元画像、及び順序取得部２７１からの優先順序を、SDI端子８５に供給し、視差量を調整後の３次元画像２３２に対応する左眼用２次元画像を、SDI端子８６に供給する。
【０２７９】
また、視差量調整部２７４は、視差量を調整後の３次元画像２３１に対応する右眼用２次元画像、及び順序取得部２７１からの優先順序を、SDI端子９０に供給し、視差量を調整後の３次元画像２３２に対応する右眼用２次元画像を、SDI端子９１に供給して、処理をステップＳ５９に進める。
【０２８０】
そして、ステップＳ５９では、図１６のステップＳ３８と同様の処理が行なわれる。
【０２８１】
なお、ステップＳ５５において、調整量算出部２７３は、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致すると判定した場合、その旨を視差量調整部２７４に通知し、処理をステップＳ６０に進める。
【０２８２】
ステップＳ６０において、視差量調整部２７４は、制御部２５１から、合成指示信号を受信したか否かを判定し、合成指示信号を受信したと判定するまで、ステップＳ６０の処理を繰り返し行なう。
【０２８３】
ステップＳ６０において、視差量調整部２７４は、制御部２５１から、合成指示信号を受信したと判定した場合、視差量計測部２７２からの３次元画像２３１及び２３２について、左眼用２次元画像をSDI端子８５及び８６に供給し、右眼用２次元画像をSDI端子９０及び９１に供給する。
【０２８４】
さらに、視差量調整部２７４は、順序取得部２７１からの優先順序を、SDI端子８５及び９０に供給して、処理をステップＳ５９に進め、図１６のステップＳ３８と同様の処理が行なわれる。以上で第２の視差量調整処理は終了される。
【０２８５】
以上説明したように、第２の視差量調整処理によれば、画像合成装置２１１において、ユーザが指示するタイミングで、３次元画像２３１及び２３２を合成するようにしたので、ユーザの所望するタイミングで、３次元画像２３１及び２３２を合成することが可能となる。また、合成を行わない時点では視差の調整を行わず、そのままの画像を提供し、合成時には合成に合わせた視差にして提供することができる。
【０２８６】
次に、図１８のフローチャートを参照して、画像合成装置２１１が行う第３の視差量調整処理について説明する。
【０２８７】
ステップＳ７１乃至ステップＳ７６において、図１７のステップＳ５１乃至図５６と同様の処理が行なわれる。また、ステップＳ７５において、処理がステップＳ８２に進められた場合、ステップＳ８２において、図１７のステップＳ６０と同様の処理が行なわれる。
【０２８８】
ステップＳ７７において、視差量調整部２７４は、調整量算出部２７３からの調整量（内蔵するメモリに記憶されている）に基づいて、その調整量により調整後の視差量（３次元画像２３１又は２３２の視差量の少なくとも一方）が、予め決められた上限値を超えるものとなるか否かを判定し、調整量により調整後の視差量が、上限値を超えるものにはならないと判定した場合、処理をステップＳ７８に進める。なお、内蔵するメモリへの記憶を行わず、常に新しい視差量を受け取るように構成しても良い。
【０２８９】
ステップＳ７８乃至ステップＳ８０において、図１７のステップＳ５７乃至ステップＳ５９と同様の処理が行なわれる。
【０２９０】
また、ステップＳ７７において、視差量調整部２７４は、調整量算出部２７３からの調整量により調整後の視差量が、上限値を超えるものとなると判定した場合、処理をステップＳ８１に進める。
【０２９１】
ステップＳ８１では、視差量調整部２７４は、ユーザの指定操作により指定された優先順序で合成することができない旨を表すエラーを、図示せぬモニタなどに出力させる。以上で、第３の視差量調整処理は終了される。
【０２９２】
以上説明したように、第３の視差量調整処理によれば、ステップＳ７７において、視差量調整部２７４により、調整量算出部２７３からの調整量に基づいて調整される視差量が、上限値を超えるものとなると判定された場合、処理をステップＳ８１に進め、ステップＳ８１において、視差量調整部２７４は、ユーザの指定操作により指定された優先順序で合成することができない旨を表すエラーを、図示せぬモニタなどに出力させるようにしたので、予め決定されている上限値を超えて、視差量が調整されることを防止できる。
【０２９３】
この場合、視差量を大きく調整し過ぎたことに対応して、合成後の３次元画像が、鑑賞者にとって見にくい画像となることを防止することが可能となる。
【０２９４】
第２の実施の形態では、３次元画像２３１及び２３２それぞれの視差量を、直接、ユーザの指定操作により指定された優先順序に対応する視差量に調整するようにしたが、例えば、操作卓２１のフェーダ変更レバー１９９が操作された操作量に対応して、視差量を、徐々に、優先順序に対応する視差量に調整するように構成することができる。
【０２９５】
次に、フェーダ変更レバー１９９に対する操作量に応じて、視差量を調整する第３の実施の形態について説明する。
【０２９６】
＜３．第３の実施の形態＞
[第３の実施の形態における処理の概要]
図１９及び図２０は、第３の実施の形態における処理の概要を説明するための図である。
【０２９７】
図１９は、複数の３次元画像のうち、ユーザの選択操作により選択された３次元画像の一例を示している。
【０２９８】
図１９A下側には、ユーザが選択した２枚の３次元画像のうちの一方の３次元画像２９１が示されている。この３次元画像２９１には、物体２９１aが表示されている。図１３A上側には、物体２３１aを上から見た様子を示している。
【０２９９】
図１９B下側には、ユーザが選択した２枚の３次元画像のうちの他方の３次元画像２９２が示されている。この３次元画像２９２には、物体２９２aが表示されている。図１９B上側には、物体２９２aを上から見た様子を示している。
【０３００】
ユーザは、操作卓２１のフェーダ変更レバー１９９を用いて、フェーダ値を変更することにより、物体２９１aの奥行きｚと、物体２９２aの奥行きｚとを調整することができる。
【０３０１】
ここで、フェーダ値とは、視差量の調整の進行状況を表す値であり、フェーダ値が０[%]である場合には、視差量の調整が全く行なわれていないことを表しており、フェーダ値が１００[%]である場合には、視差量が、優先順序に対応する視差量に完全に調整されたことを表している。
【０３０２】
図２０は、ユーザが、フェーダ値を変更することに応じて、物体２９１aと物体２９２aとの奥行きzが調整される様子の一例を示している。
【０３０３】
図２０A、図２０B、及び図２０Cには、それぞれ、フェーダ値が０[%]、５０[%]、及び１００[%]とされた場合に、３次元画像２９１及び２９２を合成して得られる３次元画像２９３が示されている。
【０３０４】
ユーザが、操作卓２１のフェーダ変更レバー１９９を操作して、フェーダ値を０[%]に設定した場合、物体２９１aの奥行きｚが物体２９２aの奥行きｚよりも大きいときには、図２０Aに示されるように、物体２９１aの奥行きｚと、物体２９２aの奥行きｚとは変更されず、物体２９２aが手前側に存在する３次元画像２９３が生成される。一方、物体２９１aの奥行きｚが物体２９２aの奥行きｚよりも大きくはないときには、視差を調整して、図２０Aに示すような奥行きｚの状態にする。
【０３０５】
また、ユーザが、操作卓２１のフェーダ変更レバー１９９を操作して、フェーダ値を５０[%]に設定した場合、図２０Bに示されるように、各視差を調整することにより、物体２９２aの一部分が、物体２９１aに隠れたような３次元画像２９３が生成される。
【０３０６】
さらに、ユーザが、操作卓２１のフェーダ変更レバー１９９を操作して、フェーダ値を１００[%]に設定した場合、図２０Cに示されるように、各視差を調整することにより、物体２９１aが手前側に存在する３次元画像２９３が生成される。
【０３０７】
[画像合成装置３０１の構成例]
図２１は、第３の実施の形態である画像合成装置３０１の構成例を示している。
【０３０８】
なお、この画像合成装置３０１は、第２の実施の形態における図１４の画像合成装置２１１と同様に構成される部分については同一の符号を付しているため、以下、それらの説明は適宜省略する。
【０３０９】
すなわち、画像合成装置３０１は、制御部２５１、調整部２５２、左眼用スイッチャ８２、及び右眼用スイッチャ９２それぞれに代えて、制御部３１１、フェーダ調整部３１２、左眼用スイッチャ３１３、及び右眼用スイッチャ３１４が設けられている他は、画像合成装置２１１と同様に構成されている。
【０３１０】
制御部３１１は、例えば、操作卓２１からの操作信号に基づいて、フェーダ調整部３１２、左眼用スイッチャ３１３、及び右眼用スイッチャ３１４を制御する。
【０３１１】
なお、ユーザが、操作卓２１のフェーダ変更レバー１９９を用いて、フェーダ値を変更するためのフェーダ値変更操作を行ったことに対応して、操作卓２１は、ユーザのフェーダ値変更操作に対応する操作信号を生成し、制御部３１１に供給する。
【０３１２】
この場合、制御部３１１は、操作卓２１からの操作信号に基づいて、ユーザのフェーダ値変更操作により変更されたフェーダ値を取得し、フェーダ調整部３１２に供給する。
【０３１３】
また、制御部３１１は、制御部２５１と同様にして、ユーザにより指定された優先順序を表す制御信号を、フェーダ調整部３１２に供給する。
【０３１４】
フェーダ調整部３１２は、SDI端子８３からの左眼用２次元画像、及びSDI端子８８からの右眼用２次元画像の組合せを、３次元画像２９１として取得する。また、フェーダ調整部３１２は、SDI端子８４からの左眼用２次元画像、及びSDI端子８９からの右眼用２次元画像の組合せを、３次元画像２９２として取得する。
【０３１５】
フェーダ調整部３１２は、制御部３１１からの制御信号に基づいて、優先順序を取得し、取得した優先順序と、制御部３１１からのフェーダ値に基づいて、取得した３次元画像２９１及び２９２それぞれの視差量を調整する。
【０３１６】
左眼用スイッチャ３１３は、制御部３１１からの制御にしたがって、供給される複数の左眼用２次元画像のうち、ユーザの選択操作により選択された２枚の３次元画像２９１及び２９２（図１９）に対応する左眼用２次元画像それぞれを選択する。
【０３１７】
そして、左眼用スイッチャ３１３は、３次元画像２９１に対応する左眼用２次元画像を、SDI端子８３に供給し、３次元画像２９２に対応する左眼用２次元画像を、SDI端子８４に供給する。
【０３１８】
また、左眼用スイッチャ３１３は、SDI端子８５から供給される優先順序で、SDI端子８５からの左眼用２次元画像、及びSDI端子８６からの左眼用２次元画像を合成し、フェーダ値に対応して合成された左眼用２次元画像を出力する。
【０３１９】
右眼用スイッチャ３１４は、制御部３１１からの制御にしたがって、供給される複数の右眼用２次元画像のうち、ユーザの選択操作により選択された２枚の３次元画像２９１及び２９２（図１９）に対応する右眼用２次元画像それぞれを選択する。
【０３２０】
そして、右眼用スイッチャ３１４は、３次元画像２９１に対応する右眼用２次元画像を、SDI端子８８に供給し、３次元画像２９２に対応する右眼用２次元画像を、SDI端子８９に供給する。
【０３２１】
また、右眼用スイッチャ３１４は、SDI端子９０から供給される優先順序で、SDI端子９０からの右眼用２次元画像、及びSDI端子９１からの右眼用２次元画像を合成し、フェーダ値に対応して合成された右眼用２次元画像を出力する。
【０３２２】
[フェーダ調整部３１２の詳細]
次に、図２２は、フェーダ調整部３１２の構成例を示している。
【０３２３】
なお、このフェーダ調整部３１２は、第２の実施の形態における図１５の調整部２５２と同様に構成される部分については同一の符号を付しているため、以下において、その説明は適宜省略する。
【０３２４】
すなわち、フェーダ調整部３１２は、視差量調整部２７４に代えて、視差量調整部３３１が設けられている他は、調整部２５２と同様に構成されている。
【０３２５】
視差量調整部３３１には、順序取得部２７１から優先順序が、視差量計測部２７２から３次元画像２９１及び２９２が、調整量算出部２７３から、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致する旨の通知、又は調整量のいずれか一方が供給される他、制御部３１１からフェーダ値が供給される。
【０３２６】
視差量調整部３３１は、調整量算出部２７３から、調整量が供給される場合、調整量算出部２７３からの調整量と、制御部３１１からのフェーダ値とに基づいて、視差量計測部２７２からの３次元画像２９１及び２９２それぞれの視差量を、フェーダ値に応じた視差量となるように調整する。
【０３２７】
そして、視差量調整部３３１は、調整後の３次元画像２９１に対応する左眼用２次元画像、及び順序取得部２７１からの優先順序を、SDI端子８５に供給し、調整後の３次元画像２９２に対応する左眼用２次元画像を、SDI端子８６に供給する。
【０３２８】
また、視差量調整部３３１は、調整後の３次元画像２９１に対応する右眼用２次元画像、及び順序取得部２７１からの優先順序を、SDI端子９０に供給し、調整後の３次元画像２９２に対応する右眼用２次元画像を、SDI端子９１に供給する。
【０３２９】
さらに、視差量調整部３３１は、調整後の３次元画像２９１及び２９２それぞれの視差量を、SDI端子８５及び９０に供給する。
【０３３０】
これにより、SDI端子８５は、視差量調整部３３１から供給される、調整後の３次元画像２９１及び２９２それぞれの視差量を、左眼用スイッチャ３１３に供給する。
【０３３１】
また、SDI端子９０は、視差量調整部３３１から供給される、調整後の３次元画像２９１及び２９２それぞれの視差量を、右眼用スイッチャ３１４に供給する。
【０３３２】
なお、視差量調整部３３１は、調整量算出部２７３から、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致する旨の通知が供給された場合、視差量調整部２７４と同様の処理を行なう。
【０３３３】
[左眼用スイッチャ３１３の構成例]
次に、図２３は、左眼用スイッチャ３１３の構成例を示している。
【０３３４】
なお、右眼用スイッチャ３１４は、左眼用スイッチャ３１３と同様に構成されているため、左眼用スイッチャ３１３の構成についてのみ説明し、右眼用スイッチャ３１４の構成についての説明は省略する。
【０３３５】
左眼用スイッチャ３１３は、図６の左眼用スイッチャ８２を構成する画像選択部１１１及び画像合成部１１２のうち、画像合成部１１２に代えて画像合成部３５１が設けられている他は、左眼用スイッチャ８２と同様に構成されている。
【０３３６】
なお、図２３では、図面が煩雑になるのを避けるために、左眼用スイッチャ８２の画像選択部１１１と同様に構成される機能ブロック、画像合成部３５１のうち、左眼用スイッチャ８２の画像合成部１１２と同様に構成される機能ブロックについては図示を省略している。
【０３３７】
すなわち、左眼用スイッチャ３１３における画像合成部３５１は、新たに奥行き比較部３７１及び乗算部３７２が設けられているとともに、合成処理部１５１に代えて合成処理部３７３が設けられている他は、左眼用スイッチャ８２の画像合成部１１２と同様に構成される。
【０３３８】
左眼用スイッチャ３１３には、SDI端子８５から、フェーダ値に応じて調整後の３次元画像２９１及び２９２それぞれの視差量が供給される。そして、SDI端子８５からの３次元画像２９１の視差量は、キー信号処理部１５３aを介して、奥行き比較部３７１に、SDI端子８５からの３次元画像２９２の視差量は、キー信号処理部１５３bを介して、奥行き比較部３７１に供給される。
【０３３９】
奥行き比較部３７１は、キー信号処理部１５３aからの、３次元画像２９１の視差量と、キー信号処理部１５３bからの、３次元画像２９２の視差量とに基づいて、３次元画像２９１上の物体２９１aの奥行きｚと、３次元画像２９２上の物体２９２aの奥行きｚとを比較する。なお、別の構成として、視差量を受け取らず、右眼用スイッチャの該当部分と連携して、ここで視差を算出するように構成しても良い。
【０３４０】
そして、奥行き比較部３７１は、その比較結果に基づいて、３次元画像２９２上の物体２９２aのうち、３次元画像２９１上の物体２９１aよりも手前に存在する部分（物体２９２aの奥行きｚが、物体２９１aの奥行きｚよりも小さくなる部分）に対応する領域を表すキー信号３９１を生成し、乗算部３７２に供給する。
【０３４１】
乗算部３７２には、奥行き比較部３７１からのキー信号３９１の他、キー信号処理部１５３bから、３次元画像２９２上の物体２９２aが存在する領域を表すキー信号３９２が供給される。
【０３４２】
乗算部３７２は、奥行き比較部３７１からのキー信号３９１と、キー信号処理部１５３bからのキー信号３９２とを乗算する。そして、乗算部３７２は、その乗算により得られる、３次元画像２９２上の物体２９２aのうち、３次元画像２９１上の物体２９１aよりも手前に存在する部分に対応する領域を表すキー信号３９３を、合成処理部３７３に供給する。
【０３４３】
合成処理部３７３には、乗算部３７２からのキー信号３９３が供給される他、キー信号処理部１５３aから、３次元画像２９１上の物体２９１aが存在する領域を表すキー信号３９４が供給される。また、合成処理部３７３には、キー信号処理部１５３aから、３次元画像２９１に対応する左眼用２次元画像、及び優先順序が、キー信号処理部１５３bから、３次元画像２９２に対応する左眼用２次元画像が、それぞれ供給される。
【０３４４】
合成処理部３７３は、キー信号処理部１５３aからの優先順序で、キー信号処理部１５３aからの左眼用２次元画像と、キー信号処理部１５３bからの左眼用２次元画像とを合成する。
【０３４５】
すなわち、例えば、３次元画像２９２の優先順序が１番で、３次元画像２９１の優先順序が２番である場合、合成処理部３７２は、３次元画像２９１に対応する左眼用２次元画像上の、キー信号処理部１５３aからのキー信号３９４が表す領域（物体２９１aが存在する領域）よりも、３次元画像２９２に対応する左眼用２次元画像上の、乗算部３７２からのキー信号３９３が表す領域（物体２９２aのうちの一部分が存在する領域）が手前になるように、３次元画像２９１及び２９２を合成する。
【０３４６】
なお、合成処理部３７３に、背景画像を表す背景画像信号が供給される場合、合成処理部３７３は、供給される背景画像信号に対応する背景画像を、背景として合成する。
【０３４７】
[奥行き比較部３７１乃至合成処理部３７３が行なう処理]
次に、図２４は、奥行き比較部３７１乃至合成処理部３７３が行なう処理を示している。
【０３４８】
奥行き比較部３７１は、図２４Aに示されるように、キー信号処理部１５３aからの、３次元画像２９１の視差量と、キー信号処理部１５３bからの、３次元画像２９２の視差量とに基づいて、３次元画像２９１上の物体２９１aと、３次元画像２９２上の物体２９２aとの奥行きｚを比較する。
【０３４９】
そして、奥行き比較部３７１は、その比較結果に基づいて、３次元画像２９２上の物体２９２aのうち、３次元画像２９１上の物体２９１aよりも手前側に存在する部分２９２a'を検出し、部分２９２a'が存在する領域を表すキー信号３９１を生成して、乗算部３７２に供給する。
【０３５０】
乗算部３７２は、キー信号処理部１５３bからのキー信号３９２と、奥行き比較部３７１からのキー信号３９１とを乗算し、その乗算により得られる、部分２９２a'が存在する領域を表すキー信号３９３を、合成処理部３７３に供給する。
【０３５１】
合成処理部３７３は、乗算部３７２からのキー信号３９３に基づいて、物体２９２aのうち、物体２９１aよりも手前に表示させる部分２９２a'を判断する。そして、合成処理部３７３は、物体２９２aのうち、検出した部分２９２a'が、物体２９１aの手前に表示されるように、キー信号処理部１５３aからの左眼用２次元画像、及びキー信号処理部１５３bからの左眼用２次元画像を合成する。
【０３５２】
これにより、図２４Bに示されるように、物体２９２aの一部分２９２a'と、物体２９１aの一部分２９１a'が表示された左眼用２次元画像２９３が生成されることとなる。
【０３５３】
そして、合成処理部３７３は、その合成により得られる、合成後の左眼用２次元画像を出力する。
【０３５４】
なお、合成処理部３７３は、乗算部３７２からのキー信号３９３を用いるようにしたが、乗算部３７２から出力されるキー信号３９３と、奥行き比較部３７１から出力されるキー信号３９１とは、キー信号の生成方法によっては同一のキー信号となるため、奥行き比較部３７１から出力されるキー信号３９１を、乗算部３７２からのキー信号３９３の代わりに用いるようにしてもよい。この場合、乗算部３７２を省略して、画像合成部３５１を構成することができる。
【０３５５】
[画像合成装置３０１の動作説明]
次に、図２５のフローチャートを参照して、画像合成装置３０１が行うフェーダ調整処理について説明する。
【０３５６】
このフェーダ調整処理は、例えば、ユーザが、操作卓２１を用いて、画像合成装置３０１に供給される複数の３次元画像のうち、合成する３次元画像２９１及び２９２を選択する選択操作を行ったときに開始される。
【０３５７】
このとき、制御部３１１には、ユーザの選択操作に応じた操作信号が、操作卓２１から供給される。そして、制御部３１１は、操作卓２１からの操作信号に応じて、左眼用スイッチャ３１３及び右眼用スイッチャ３１４を制御する。
【０３５８】
そして、ステップＳ１０１において、左眼用スイッチャ３１３は、制御部３１１からの制御にしたがって、左眼用スイッチャ８２と同様にして、ユーザの選択操作により選択された２枚の３次元画像２９１及び２９２それぞれに対応する左眼用２次元画像を取得する。
【０３５９】
左眼用スイッチャ３１３は、取得した左眼用２次元画像のうち、一方の左眼用２次元画像を、SDI端子８３に供給し、他方の左眼用２次元画像を、SDI端子８４に供給する。SDI端子８３及び８４は、それぞれ、左眼用スイッチャ３１３からの左眼用２次元画像を、フェーダ調整部３１２の視差量計測部２７２に供給する。
【０３６０】
また、右眼用スイッチャ３１４は、制御部３１１からの制御にしたがって、左眼用スイッチャ３１３と同様にして、取得した右眼用２次元画像のうち、一方の右眼用２次元画像を、SDI端子８８に供給し、他方の右眼用２次元画像を、SDI端子８９に供給する。SDI端子８８及び８９は、それぞれ、右眼用スイッチャ３１４からの右眼用２次元画像を、視差量計測部２７２に供給する。
【０３６１】
ステップＳ１０２乃至ステップＳ１０４において、図１６のステップＳ３２乃至ステップＳ３４と同様の処理が行なわれる。
【０３６２】
ステップＳ１０５において、調整量算出部２７３は、図１６のステップＳ３５の場合と同様にして、算出した、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致するか否かを判定し、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致しないと判定した場合、処理をステップＳ１０６に進める。
【０３６３】
ステップＳ１０６では、調整量算出部２７３は、図１６のステップＳ３６の場合と同様にして調整量を算出し、算出した調整量を、視差量調整部３３１に供給する。これに対応して、視差量調整部３３１は、調整量算出部２７３からの調整量を、図示せぬ内蔵のメモリに供給して記憶させる。
【０３６４】
ステップＳ１０７において、視差量調整部３３１は、制御部３１１からのフェーダ値が入力（供給）されたか否かを判定し、制御部３１１からフェーダ値が入力されたと判定するまで、ステップＳ１０７の処理を繰り返して行なう。
【０３６５】
ステップＳ１０７において、視差量調整部３３１は、制御部３１１からのフェーダ値が入力されたと判定した場合、処理をステップＳ１０８に進める。ステップＳ１０８において、視差量調整部３３１は、内蔵のメモリに記憶されている調整量と、制御部３１１からのフェーダ値に基づいて、視差量計測部２７２からの３次元画像２９１及び２９２それぞれの視差量を、制御部３１１からのフェーダ値に対応する視差量に調整する。なお、内蔵のメモリに記憶されている調整量を使用するのではなく、常に最新の調整量を算出してそれを使用する様な構成にしても良い。
【０３６６】
そして、視差量調整部３３１は、調整後の３次元画像２９１に対応する左眼用２次元画像、及び順序取得部２７１からの優先順序を、SDI端子８５に供給し、調整後の３次元画像２９２に対応する左眼用２次元画像を、SDI端子８６に供給する。
【０３６７】
また、視差量調整部３３１は、調整後の３次元画像２９１に対応する右眼用２次元画像、及び順序取得部２７１からの優先順序を、SDI端子９０に供給し、調整後の３次元画像２９２に対応する右眼用２次元画像を、SDI端子９１に供給する。
【０３６８】
さらに、視差量調整部３３１は、調整後の３次元画像２９１及び２９２それぞれの視差量を、SDI端子８５及び９０に供給する。
【０３６９】
ステップＳ１０９において、SDI端子８５は、視差量調整部３３１からの左眼用２次元画像及び優先順序を、SDI端子８６は、視差量調整部３３１からの左眼用２次元画像を、それぞれ左眼用スイッチャ３１３に供給する。
【０３７０】
また、SDI端子８５は、視差量調整部３３１から供給される、調整後の３次元画像２９１及び２９２それぞれの視差量を、左眼用スイッチャ３１３に供給する。
【０３７１】
SDI端子９０は、視差量調整部３３１からの右眼用２次元画像及び優先順序を、SDI端子９１は、視差量調整部３３１からの右眼用２次元画像を、それぞれ右眼用スイッチャ３１４に供給する。
【０３７２】
また、SDI端子９０は、視差量調整部３３１から供給される、調整後の３次元画像２９１及び２９２それぞれの視差量を、右眼用スイッチャ３１４に供給する。
【０３７３】
そして、ステップＳ１０９において、左眼用スイッチャ３１３は、SDI端子８５からの、調整後の３次元画像２９１及び２９２それぞれの視差量に基づいて生成したキー信号を用いて、SDI端子８５からの左眼用２次元画像、SDI端子８６からの左眼用２次元画像を、SDI端子８５からの優先順序で、フェーダ値に応じて合成し、その結果得られる合成後の左眼用２次元画像を出力ラインに出力する。
【０３７４】
また、右眼用スイッチャ３１４は、左眼用スイッチャ３１３と同様にして、SDI端子９０からの、調整後の３次元画像２９１及び２９２それぞれの視差量に基づいて生成したキー信号を用いて、SDI端子９０からの右眼用２次元画像、SDI端子９１からの右眼用２次元画像を、SDI端子９０からの優先順序で、フェーダ値に応じて合成し、その結果得られる合成後の右眼用２次元画像を出力ラインに出力する。
【０３７５】
ステップＳ１０９の処理の終了後、処理は、ステップＳ１０７に戻り、それ以降同様の処理が行なわれる。
【０３７６】
なお、ステップＳ１０７乃至ステップＳ１０９の処理が繰り返し行なわれる場合、このフェーダ調整処理は、例えば、ユーザが操作卓２１を用いて、フェーダ調整処理の終了を指示したときに終了される。
【０３７７】
また、ステップＳ１０５において、調整量算出部２７３は、算出した、視差量に対応する優先順序が、順序取得部２７１からの優先順序と一致すると判定した場合、その旨を、視差量調整部３３１に供給して、処理をステップＳ１１０に進める。
【０３７８】
ステップＳ１１０において、視差量調整部３３１は、図１６のステップＳ３５からステップＳ３８に進んだ場合と同様の処理を行い、処理は終了される。
【０３７９】
以上説明したように、フェーダ調整処理では、ユーザが行うフェーダ値変更操作により変更されるフェーダ値に応じて、３次元画像２９１及び２９２を合成するようにしたので、ユーザは、所望のフェーダ値に応じて、３次元画像２９１及び２９２を合成した３次元画像２９３を生成することが可能となる。
【０３８０】
＜４．変形例＞
[左眼用スイッチャ３１３の他の構成例]
次に、図２６は、左眼用スイッチャ３１３の画像合成部３５１の他の構成例を示している。
【０３８１】
なお、この画像合成部３５１は、図２３の画像合成部３５１と同様に構成される部分については同一の符号を付しているため、以下、それらの説明は適宜省略する。
【０３８２】
すなわち、図２６の画像合成部３５１は、奥行き比較部３７１及び合成処理部３７３に代えて、奥行き比較部４３１及び合成処理部４３３が設けられているとともに、新たに乗算部４３２が設けられている他は、図２３の画像合成部３５１と同様に構成されている。
【０３８３】
奥行き比較部４３１には、キー信号処理部１５３aから、３次元画像２９１の視差量が、キー信号処理部１５３bから、３次元画像２９２の視差量が供給される。
【０３８４】
奥行き比較部４３１は、キー信号処理部１５３aからの、３次元画像２９１の視差量と、キー信号処理部１５３bからの、３次元画像２９２の視差量とに基づいて、３次元画像２９１上の物体２９１aと、３次元画像２９２上の物体２９２aとの奥行きｚを比較する。
【０３８５】
そして、奥行き比較部４３１は、その比較結果に基づいて、３次元画像２９２上の物体２９２aのうち、３次元画像２９１上の物体２９１aよりも手前側に存在する部分２９２a'を検出し、部分２９２a'が存在する領域を表すキー信号３９１を生成して、乗算部３７２に供給する。
【０３８６】
また、奥行き比較部４３１は、その比較結果に基づいて、３次元画像２９１上の物体２９１aのうち、３次元画像２９２上の物体２９２aよりも手前側に存在する部分２９１a'を検出し、部分２９１a'が存在する領域を表すキー信号４４１を生成して、乗算部４３２に供給する。
【０３８７】
乗算部４３２には、奥行き比較部４３１からキー信号４４１の他、キー信号処理部１５３aからキー信号３９４が供給される。乗算部４４１は、奥行き比較部３７１からのキー信号４４１と、キー信号処理部１５３aからのキー信号３９４とを乗算し、その乗算により得られる、部分２９１a'が存在する領域を表すキー信号４４２を、合成処理部４３３に供給する。
【０３８８】
合成処理部４３３では、乗算部４４１からのキー信号４４２に基づいて、物体２９１aの一部分２９１a'を検出する。また、合成処理部４３３は、合成処理部３７３と同様にして、乗算部３７２からのキー信号３９３に基づいて、物体２９２aのうち、物体２９１aよりも手前に表示させる部分２９２a'を検出する。
【０３８９】
そして、合成処理部４３３は、物体２９１aのうち、検出した部分２９１a'が、物体２９２aの手前に表示されるとともに、物体２９２aのうち、検出した部分２９２a'が、物体２９１aの手前に表示されるように、キー信号処理部１５３aからの左眼用２次元画像、及びキー信号処理部１５３bからの左眼用２次元画像を合成する。
【０３９０】
なお、合成処理部４３３は、乗算部４３２からのキー信号４４２を用いるようにしたが、乗算部４３２から出力されるキー信号４４２と、奥行き比較部４３１から出力されるキー信号４４１とは、キー信号の生成方法によっては同一のキー信号となるため、奥行き比較部４３１から出力されるキー信号４４１を、乗算部４３２からのキー信号４４２の代わりに用いるようにしてもよい。この場合、乗算部４３２を省略して、画像合成部３５１を構成することができる。なお、乗算後の各キー信号を受け取る合成処理部４３３等では、各キー信号に基づいて画像への加工を行い、合成が見た目に美しく（Artifactを減らすように）処理されるように構成できる。
【０３９１】
第１乃至第３の実施の形態において、ユーザの選択操作により選択された２枚の３次元画像を合成することについて説明したが、合成する３次元画像の枚数は、２枚に限定されない。
【０３９２】
すなわち、例えば、図２７及び図２８に示されるように、合成する３次元画像の枚数を、４枚とすることができる。
【０３９３】
図２７は、複数の３次元画像のうち、ユーザの選択操作により選択される４枚の３次元画像の一例を示している。
【０３９４】
図２７A乃至図２７Dにおいて、図中下側には、ユーザの選択操作により選択された４枚の３次元画像４５１乃至４５４が示されている。
【０３９５】
なお、３次元画像４５１には、物体４５１aが表示されており、３次元画像４５２には、物体４５２aが表示されている。また、３次元画像４５３には、物体４５３a及び４５３bが表示されており、３次元画像４５４には、物体４５４a及び４５４bが表示されている。
【０３９６】
また、図２７A上側には、物体４５１aを上から見た様子が示されており、図２７B上側には、物体４５２aを上から見た様子が示されている。さらに、図２７C上側には、物体４５３a及び４５３bを上から見た様子が示されており、図２７D上側には、物体４５４a及び４５４bを上から見た様子が示されている。
【０３９７】
図２８は、４枚の３次元画像４５１乃至４５４を合成して得られる３次元画像４５６の一例を示している。
【０３９８】
図２８上側には、合成により得られる３次元画像４５６上に表示される物体４５１a乃至４５４bの奥行きｚを示している。すなわち、上から見た様子が示されている。物体４５１a乃至４５４bにおいて、図中上側に存在する物体ほど、奥行きｚが大きなもの（遠くに見える）となっている。
【０３９９】
図２８下側には、３次元画像４５６が示されている。この３次元画像４５６には、物体４５１a乃至４５４bそれぞれにおいて、最も手前に表示される各部分４５１a'乃至４５４b'が表示される。
【０４００】
第１乃至第３のいずれの形態においても、図２８に示されるように、３次元画像４５１乃至４５４を合成して得られる、合成後の３次元画像４５６を出力することが可能である。
【０４０１】
なお、第２及び第３の実施の形態において、３次元画像４５１乃至４５４の視差量が調整される場合には、図２８上側に示されるように、３次元画像４５１乃至４５４の視差量が調整されることにより、視差量それぞれに対応する奥行きｚの範囲R1乃至R4が変更される。
【０４０２】
すなわち、例えば、３次元画像４５１，４５２，４５３及び４５４の順序で、（奥から）優先順序が指定されている場合、優先順序の順に、奥行きｚが大きくなるように、範囲R1乃至R4が変更される。そして、変更後の範囲R1乃至R4は、さらに、予め決められている幅に拡大（又は縮小）されることとなる。
【０４０３】
すなわち、例えば、優先順序に対応する視差量となるように、３次元画像４５１乃至４５４の視差量が調整されたことにより、３次元画像４５１乃至４５４の視差量それぞれに対応する奥行きｚの範囲が、範囲R1乃至R4に変更された場合、変更後の範囲R1乃至R4を、予め決められた幅に拡大（又は縮小）する。
【０４０４】
変更後の範囲R1は、奥行きz11未満であって、奥行きz12以上の範囲である。また、変更後の範囲R2は、奥行きz21（=z12）未満であって、奥行きz22以上の範囲である。さらに、変更後の範囲R3は、奥行きz31(=z22)未満であって、奥行きz32以上の範囲である。また、変更後の範囲R4は、奥行きz41(z=32)未満であって、奥行きz42以上の範囲である。
【０４０５】
したがって、範囲R1の幅（大きさ）z1wは|z11-z12|となり、範囲R2の幅z2wは|z21-z22|となっている。また、範囲R3の幅z3wは|z31-z32|となり、範囲R4の幅z4wは|z41-z42|となっている。
【０４０６】
第２及び第３の実施の形態では、例えば、変更後の範囲R1乃至R4全体の範囲（幅|z11-z42|）を、奥行きzA未満であって奥行きzB以上の範囲（幅|zA-zB|）に拡大（又は縮小）する。
【０４０７】
すなわち、例えば、第２及び第３の実施の形態において、r=|zA-zB|/|z1w+z2w+z3w+z4w|を求め、拡大（又は縮小）前の範囲R1乃至R4の幅z1w乃至z4wにrを乗算する。これにより、拡大（又は縮小）後の範囲R1の幅z1v(=z1w×r)、拡大後の範囲R2の幅z2v(=z2w×r)、拡大後の範囲R3の幅z3v(=z3w×r)、及び拡大後の範囲R4の幅z1v(=z4w×r)が算出される。
【０４０８】
これにより、拡大後の範囲R1は、奥行きzB未満であって奥行き（zB+z1v）以上となり、拡大後の範囲R2は、奥行き(zB+z1v)未満であって奥行き（zB+z1v+z2v）以上となる。また、拡大後の範囲R3は、奥行き(zB+z1v+z2v)未満であって奥行き（zB+z1v+z2v+z3v）以上となり、拡大後の範囲R4は、奥行き(zB+z1v+z2v+z3v)未満であって奥行きzA以上となる。
【０４０９】
すなわち、例えば、拡大前の範囲R1(奥行きz11未満であって、奥行きz12以上の範囲)は、拡大後の範囲R1として、奥行きzB未満であって奥行き（zB+z1v）以上の範囲となるように写像される。このことは、範囲R2乃至R4についても同様である。なお、通常は画像の内容に対して、奥行きを縮小することは見る者に負担にならないが、拡大すると見る者の疲労などにつながる場合があり、一般には好ましくない。このため、縮小が必要になる場合のみ上記処理を施し、拡大が必要な場合（rが１よりも大きい場合）には、rを乗ずることは抑制させる方が好ましい結果になるので、rを乗ずるかどうかrの値で判断するように構成しても良い。
【０４１０】
また、図２６の画像合成部３５１では、２枚の３次元画像それぞれに対応する左眼用２次元画像を合成するために、２枚の左眼用２次元画像それぞれについての合成に用いるキー信号を出力する２個の乗算部３７２及び４３２を設けるようにしているが、例えば、４枚の３次元画像それぞれに対応する左眼用２次元画像を合成するように構成することができる。
【０４１１】
すなわち、例えば、図２９に示されるように、４枚の左眼用２次元画像それぞれについての合成に用いるキー信号を出力する４個の乗算部３７２，４３２，４７１、及び４７２を設けるようにすれば、４枚の左眼用画像を合成することができる。
【０４１２】
この場合、キー信号処理部１５３c及び乗算部４７１において、キー信号処理部１５３a及び乗算部４３２と同様の処理が行なわれる。このことは、キー信号処理部１５３d及び乗算部４７２についても同様である。
【０４１３】
なお、上述したように、第１の実施の形態では、図９に示されたように、左眼用スイッチャ１８２に、優先順序決定部８７と同様の機能を有する優先順序決定部８７a乃至８７dを設けるようにして、画像合成装置２２において、SDI端子８３乃至SDI端子８６、優先順序決定部８７、及びSDI端子８８乃至SDI端子９１を省略するようにした。
【０４１４】
同様にして、第２の実施の形態においても、図３０に示されるように、画像合成装置２１１の左眼用スイッチャ８２に、調整部２５２と同様の機能を有する調整部２５２a乃至２５２dを設けるように構成すれば、図１４の画像合成装置２１１に設けられている、SDI端子８３乃至SDI端子８６、調整部２５２、及びSDI端子８８乃至SDI端子９１を省略できるようになる。このことは、第３の実施の形態についても同様である。この場合、調整部２５２が、右眼用スイッチャの該当部分と通信して連携して動作することも同様である。なお、図３０のVideoProc１５４a乃至１５４cと合成処理部１５５との間に、調整部を更に設け、背景用の画像とキー画像として合成する画像との奥行きの関係も、上記と同様に処理するようにしても良い。通常、背景用の画像は最も奥に配置されるという概念であるので、それと一致するように調整されるようにするのが好ましい。
【０４１５】
また、第２の実施の形態では、図３０の画像合成装置２１１において、図３１に示されるように、画像合成部１１１に、新たに、キー信号処理部１５３a乃至１５３dと同様の機能を有するキー信号処理部１５３a'乃至１５３d'とともに、合成処理部１５５と同様の機能を有する合成処理部１５５'を設けるようにすることができる。
【０４１６】
そして、画像合成部１１１において、キー信号処理部１５３a'乃至１５３d'及び合成処理部１５５'により、合成された左眼用２次元画像を確認する際のプレビュー用の左眼用２次元画像を生成させるようにして、プレビュー用の左眼用２次元画像を出力するプレビュー出力ラインに出力させるように構成できる。
【０４１７】
この場合、プレビュー用に出力されて図示せぬ表示部に表示される合成後の左眼用２次元画像を、ユーザが適宜確認するようにして、ユーザが、プレビュー用に出力されて表示された合成後の左眼用２次元画像に満足した場合、キー信号処理部１５３a乃至１５３d及び合成処理部１５５により、最終的な合成後の左眼用２次元画像を生成させて、最終的な合成による合成結果として出力させるようにすることが可能となる。このことは、右眼用スイッチャ９２についても同様である。
【０４１８】
なお、第１及び第３の実施の形態においても同様に、プレビュー用のキー信号処理部１５３a'乃至１５３d'及び合成処理部１５５'を新たに設けることにより、プレビュー用の左眼用２次元画像を生成することができるようになる。
【０４１９】
また、第１の実施の形態において、図７の優先順序決定部８７は、視差量計測部１７１及び順序決定部１７２により構成するようにしたが、例えば、視差量計測部１７１を省略して順序決定部１７２のみにより構成することができる。
【０４２０】
すなわち、例えば、３次元画像４１（を構成する左眼用２次元画像又は右眼用２次元画像の少なくとも一方）に、３次元画像４１の視差量が含まれており、３次元画像４２に、３次元画像４２の視差量が含まれている場合には、順序決定部１７２は、視差量計測部１７１と同様にして、３次元画像４１及び４２を取得し、取得した３次元画像４１及び４２から、３次元画像４１及び４２それぞれの視差量を抽出することができる。
【０４２１】
そして、順序決定部１７２は、抽出した３次元画像４１及び４２それぞれの視差量に基づいて、優先順序を決定する等、図７の順序決定部１７２と同様の処理を行なうことができる。
【０４２２】
このことは、第２及び第３の実施の形態についても同様のことが言える。したがって、合成対象の３次元画像に、その３次元画像の視差量が含まれている場合には、視差量を計測することなく、３次元画像に含まれる視差量を抽出して取得できるようになるため、第２及び第３の実施の形態においても、視差量計測部２７２を省略することができる。又は、元々入力されるすべての３次元画像の視差の範囲は、準規格的に限定されているのが通常であるので、その全範囲を縮小して、合成するように構成しても良い。例えば、５つの画像を合成する場合、規格の視差の範囲を各画像で１／５に縮小して、それを合成すれば、合成された結果の３次元画像においても規格の視差の範囲に収まるようになる。
【０４２３】
また、第１乃至第３の実施の形態における画像合成装置としては、例えば、３次元画像どうしを合成したり、３次元画像に文字列等を合成（スーパーインポーズ）するコンピュータ等を採用することができる。その場合、文字列の画像は、コンピュータ・グラフィックス装置により生成された画像となり、その視差はあらかじめ指定したり、取得することが容易である。このため、第１乃至第３の実施の形態では入力された画像に対して視差を調整していたが、コンピュータ・グラフィックス装置に対してあらかじめ視差（z軸上の位置）を指定することで、同じ効果を得ることができる。
【０４２４】
次に、上述した一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０４２５】
[コンピュータの構成例]
図３２は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成例を示している。
【０４２６】
CPU（Central Processing Unit）５３１は、ROM（Read Only Memory）５３２、または記憶部５３８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）５３３には、CPU５３１が実行するプログラムやデータなどが適宜記憶される。これらのCPU５３１、ROM５３２、およびRAM５３３は、バス５３４により相互に接続されている。
【０４２７】
CPU５３１にはまた、バス５３４を介して入出力インタフェース５３５が接続されている。入出力インタフェース５３５には、キーボード、マウス、マイクロホンなどよりなる入力部５３６、ディスプレイ、スピーカなどよりなる出力部５３７が接続されている。CPU５３１は、入力部５３６から入力される指令に対応して各種の処理を実行する。そして、CPU５３１は、処理の結果を出力部５３７に出力する。
【０４２８】
入出力インタフェース５３５に接続されている記憶部５３８は、例えばハードディスクからなり、CPU５３１が実行するプログラムや各種のデータを記憶する。通信部５３９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０４２９】
また、通信部５３９を介してプログラムを取得し、記憶部５３８に記憶してもよい。
【０４３０】
入出力インタフェース５３５に接続されているドライブ５４０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５４１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部５３８に転送され、記憶される。
【０４３１】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録する記録媒体は、図３２に示されるように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(compact disc-read only memory),DVD(digital versatile disc)を含む）、光磁気ディスク（ＭＤ（mini-disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５４１、または、プログラムが一時的もしくは永続的に記録されるROM５３２や、記憶部５３８を構成するハードディスクなどにより構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデムなどのインタフェースである通信部５３９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０４３２】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０４３３】
また、本実施の形態は、上述した第１乃至第３の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０４３４】
２１  操作卓，  ２２  画像合成装置，  ８１  制御部，  ８２  左眼用スイッチャ，  ８３乃至８６  SDI端子，  ８７，８７a乃至８７d  優先順序決定部，  ８８乃至９１  SDI端子，  ９２  右眼用スイッチャ，  １１１  画像選択部，  １１２  画像合成部，  １３１a及び１３１b  クロスポイントスイッチ，  １３２a及び１３２b  バスライン，  １３３a及び１３３b  ビデオ信号処理部，  １５１a乃至１５１k  クロスポイントスイッチ，  １５２a乃至１５２k  バスライン，  １５３a乃至１５３d  キー信号処理部，  １５４a乃至１５４c  ビデオ信号処理部，  １５５  合成処理部，  １７１  視差量計測部，  １７２  順序決定部，  １８１  制御部，  １８２  左眼用スイッチャ，  １８３  右眼用スイッチャ，  ２１１  画像合成装置，  ２５１  制御部，  ２５２，２５２a乃至２５２d  調整部，  ２７１  順序取得部，  ２７２  視差量計測部，  ２７３  調整量算出部，  ２７４  視差量調整部，  ３０１  画像合成装置，  ３１１  制御部，  ３１２  フェーダ調整部，  ３１３  左眼用スイッチャ，  ３１４  右眼用スイッチャ，  ３３１  視差量調整部，  ３５１  画像合成部，  ３７１  奥行き比較部，  ３７２  乗算部，  ３７３  合成処理部，  ４３１  奥行き比較部，  ４３２  乗算部，  ４３３  合成処理部，  ４７１及び４７２  乗算部
【図１】
2011223184.tif 000003
【図２】
2011223184.tif 000004
【図３】
2011223184.tif 000005
【図４】
2011223184.tif 000006
【図５】
2011223184.tif 000007
【図６】
2011223184.tif 000008
【図７】
2011223184.tif 000009
【図８】
2011223184.tif 000010
【図９】
2011223184.tif 000011
【図１０】
2011223184.tif 000012
【図１１】
2011223184.tif 000013
【図１２】
2011223184.tif 000014
【図１３】
2011223184.tif 000015
【図１４】
2011223184.tif 000016
【図１５】
2011223184.tif 000017
【図１６】
2011223184.tif 000018
【図１７】
2011223184.tif 000019
【図１８】
2011223184.tif 000020
【図１９】
2011223184.tif 000021
【図２０】
2011223184.tif 000022
【図２１】
2011223184.tif 000023
【図２２】
2011223184.tif 000024
【図２３】
2011223184.tif 000025
【図２４】
2011223184.tif 000026
【図２５】
2011223184.tif 000027
【図２６】
2011223184.tif 000028
【図２７】
2011223184.tif 000029
【図２８】
2011223184.tif 000030
【図２９】
2011223184.tif 000031
【図３０】
2011223184.tif 000032
【図３１】
2011223184.tif 000033
【図３２】
2011223184.tif 000034