(57)【要約】【課題】観察者の運動視差を反映した映像を確実に表示することができる画像処理システムを提供する。【解決手段】画像処理システムが、観察者（不図示）を撮影し、観察者が撮影された画像データを出力するカメラ１から４と、画像データに基づいて、観察者の相対位置を算出する観察者位置算出部２３と、算出された位置に応じて、観察者の運動視差を反映した映像を生成し、当該映像をディスプレイ５に表示させる運動視差映像生成部２４と、を備え、カメラ１から４は、カメラ１から４の光軸がディスプレイ５の中心を通る垂直軸の側に傾いて、ディスプレイ５の周縁部又は当該近傍にそれぞれ備えられる。【選択図】図６
2011004054.tif 000002
【特許請求の範囲】
【請求項１】
観察者を撮影し、当該観察者が撮影された画像データを出力する複数の撮影部と、
前記画像データに基づいて、前記観察者の相対位置を算出する観察者位置算出部と、
前記算出された位置に応じて、前記観察者の運動視差を反映した映像を生成し、当該映像を表示部に表示させる映像生成部と、
を備え、
前記撮影部は、当該撮影部の光軸が前記表示部の中心を通る垂直軸の側に傾いて、前記表示部の周縁部又は当該近傍にそれぞれ備えられることを特徴とする画像処理システム。
【請求項２】
前記複数の撮影部は、前記表示部の頂点近傍に備えられることを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記複数の撮影部は、前記表示部の左右両端中央又は当該近傍に備えられることを特徴とする請求項１に記載の画像処理システム。
【請求項４】
前記画像データに基づいて前記観察者の視線方向を検出し、前記検出した視線方向にある前記撮影部を選択する検出用画像選択部を備え、
前記観察者位置算出部は、前記検出用画像選択部が選択した前記画像部が出力した画像データに基づいて、前記観察者の相対位置を算出することを特徴とする請求項１から請求項３のいずれか１つに記載の画像処理システム。
【請求項５】
前記観察者位置算出部は、前記撮影部を基準とする座標系を用いて表された前記観察者の位置を、前記表示部を基準とする座標系に変換することにより前記相対位置を算出することを特徴とする請求項１から請求項４のいずれか１つに記載の画像処理システム。
【請求項６】
前記複数の撮影部は、２つ又は４つの撮影部であることを特徴とする請求項１に記載の画像処理システム。
【請求項７】
表示部の周縁部又は当該近傍に設けられた複数の撮影部により観察者を撮影し、当該観察者が撮影された画像データを出力する過程と、
前記画像データに基づいて、前記観察者の相対位置を算出する過程と、
前記算出された位置に応じて、前記観察者の運動視差を反映した映像を生成して、前記表示部に表示させる過程と、
を備える画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、観察者の運動視差に応じた映像を表示する画像処理システム及び方法に関する。
【背景技術】
【０００２】
従来、観察者の運動視差に応じた画像を表示する画像表示システムは、スクリーンの前に位置する観察者をスクリーン上部に隔離して配置された２台の撮像カメラで撮影することにより、観察者の両眼の中点とディスプレイとの相対位置を三角測量によって算出し、観察者の移動に応じて、その運動視差に応じた映像をディスプレイに表示していた。これにより観察者は、ディスプレイの前を左右に移動した場合に、運動視差が再現された観察対象物の映像を左右それぞれの場所からディスプレイ上に観察することができた（特許文献１参照）。
【０００３】
また、監視領域内の動体を検出することを目的として、２台の隣り合うカメラ同士を近接させてレンズ同士の間隔を縮めて配置するとともに、隣り合うカメラ同士を内側に傾けて配置して、映像の欠落領域と重複領域を最小限にして、広域映像を取得する広域撮影方法が知られている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１４６２２１号公報
【特許文献２】特許第３７９８７４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された従来の画像処理システムにおいて、例えば大型ディスプレイに適用すると、その左端に近づいている観察者の左側はディスプレイの右側に備えられたカメラからは死角となる。このような場合、特許文献１に開示された従来の画像処理システムは、観察者の左眼を撮影することができないため、観察者の両眼の中点とディスプレイとの相対位置を三角測量によって算出することができず、運動視差が再現された観察対象物の映像をディスプレイに表示することができないという問題があった。
【０００６】
さらに、特許文献２に開示された従来の広域撮影方法は、動体の運動視差を獲得するものではなく、さらにこれを運動視差の獲得に転用しようとしても、２台のカメラをそのレンズ間隔を縮めて近接させて配置するために、これを例えば大型ディスプレイの中央上部に設けた場合、ディスプレイの中央に近づいている観察者については、観察者が左を向いてしまうと死角となった左眼を撮影することができず、従来の画像処理システムは、運動視差が再現された観察対象物の映像をディスプレイに表示することができないという問題があった。
【０００７】
本発明は、前記の諸点に鑑みてなされたものであり、観察者の運動視差を反映した映像を確実に表示することができる画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上記の課題を解決するためになされたものであり、観察者を撮影し、当該観察者が撮影された画像データを出力する複数の撮影部と、前記画像データに基づいて、前記観察者の相対位置を算出する観察者位置算出部と、前記算出された位置に応じて、前記観察者の運動視差を反映した映像を生成し、当該映像を表示部に表示させる映像生成部と、を備え、前記撮影部は、当該撮影部の光軸が前記表示部の中心を通る垂直軸の側に傾いて、前記表示部の周縁部又は当該近傍にそれぞれ備えられることを特徴とする画像処理システムである。
【０００９】
また本発明は、前記複数の撮影部が、前記表示部の頂点近傍に備えられることを特徴とする画像処理システムである。
【００１０】
また本発明は、前記複数の撮影部が、前記表示部の左右両端中央又は当該近傍に備えられることを特徴とする画像処理システムである。
【００１１】
また本発明は、前記画像データに基づいて前記観察者の視線方向を検出し、前記検出した視線方向にある前記撮影部を選択する検出用画像選択部を備え、前記観察者位置算出部は、前記検出用画像選択部が選択した前記画像部が出力した画像データに基づいて、前記観察者の相対位置を算出することを特徴とする画像処理システムである。
【００１２】
また本発明は、前記観察者位置算出部が、前記撮影部を基準とする座標系を用いて表された前記観察者の位置を、前記表示部を基準とする座標系に変換することにより前記相対位置を算出することを特徴とする画像処理システムである。
【００１３】
また本発明は、前記複数の撮影部が、２つ又は４つの撮影部であることを特徴とする画像処理システムである。
【００１４】
また本発明は、表示部の周縁部又は当該近傍に設けられた複数の撮影部により観察者を撮影し、当該観察者が撮影された画像データを出力する過程と、前記画像データに基づいて、前記観察者の相対位置を算出する過程と、前記算出された位置に応じて、前記観察者の運動視差を反映した映像を生成して、前記表示部に表示させる過程と、を備える画像処理方法である。
【発明の効果】
【００１５】
撮影部が観察者を確実に撮影するので、画像処理システムは観察者の位置を算出して、その運動視差に応じた映像を確実に表示することができる。
【００１６】
また画像処理システムは、観察者が向いている方向の撮影部を選択することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態における画像処理システムの外観図である。
【図２】本発明の第１の実施形態におけるディスプレイ周縁部に設置された場合のカメラの設置例を示す図である。
【図３】本発明の第１の実施形態におけるディスプレイ周辺に設置する場合のカメラの設置例を示す図である。
【図４】本発明の第１の実施形態におけるカメラの設置角度を示す図である。
【図５】本発明の第１の実施形態におけるカメラの画角に応じた設置角度を示す上面図である。
【図６】本発明の第１の実施形態における画像処理システムのブロック図である。
【図７】本発明の第１の実施形態におけるマーカーを備えた眼鏡型装着器具と眼鏡型装着器具を装着した観察者１００を示す図である。
【図８】本発明の第１の実施形態における観察者の視線方向とカメラとの位置関係を示す図である。
【図９】本発明の第１の実施形態における観察者とディスプレイとの相対位置の算出に適するカメラの選択手順を示すフローチャートである。
【図１０】本発明の第１の実施形態における観察者の視線方向の判定手順を示すフローチャートである。
【図１１】本発明の第１の実施形態におけるカメラ座標系における観察者のＺ座標を求める方法を説明する図である。
【図１２】本発明の第１の実施形態におけるカメラ座標系における観察者のＸ座標を求める方法を説明する図である。
【図１３】本発明の第１の実施形態におけるカメラを基準とするカメラ座標系をディスプレイの中心を原点とする共通座標系に変換するための、回転角度と併進量を示す図である。
【図１４】本発明の第２の実施形態における画像処理システムの外観図である。
【図１５】本発明の第２の実施形態における画像処理システムの構成を示すブロック図である。
【図１６】本発明の第２の実施形態における観察者とディスプレイとの相対位置の算出に適するカメラの選択手順を示すフローチャートである。
【図１７】本発明の第２の実施形態における観察者の視線方向の判定手順を示すフローチャートである。
【図１８】本発明の第３の実施形態における画像処理システムが備えるディスプレイとカメラを示す外観図である。
【発明を実施するための形態】
【００１８】
[第１の実施形態]
本発明を実施するための第１の実施形態について説明する。図１は、本発明の第１の実施形態における画像処理システムの外観図である。画像処理システムは、カメラ（撮影部）１から４と、画像処理装置７と、画像信号源入力装置９と、操作装置８と、を備える。カメラ１から４は、それぞれ同一の構成を備える。また、観察者１００は正方形又は長方形をしたディスプレイ５（表示部）の前に位置し、表示された映像を観察している。なお、操作装置８は画像処理装置７と一体であってもよい。
【００１９】
カメラ（撮影部）１から４は観察者１００を撮影し、その画像信号（画像データ）を画像処理装置７に出力する。図２は、本発明の第１の実施形態におけるディスプレイ周縁部に設置された場合のカメラの設置例を示す図である。カメラ１から４は、例えばディスプレイ５の周縁部の頂点に設置される。カメラ１は、一例としてディスプレイ周縁部の四隅の頂点に設置された取り付け部材１０の切断面１１に取り付けられる。カメラ１は、そのレンズ系の光軸がディスプレイ５の中心（中心付近を含む）を通る垂直軸６（図１に示すディスプレイ５に垂直な軸）側を向くように、切断面１１によって傾けて備えられる。カメラ２から４も同様である。
【００２０】
図３は、本発明の第１の実施形態におけるディスプレイ周辺に設置する場合のカメラの設置例を示す図である。支柱１２と１３は、ディスプレイ５の近傍（左右）にそれぞれ備えられる。カメラ１と３は、支柱１２に備えられ、カメラ２と４は、支柱１３に備えられる。またカメラ１から４は、図１に示したようにそのレンズ系の光軸がディスプレイ５の中心（中心付近を含む）を通る垂直軸６側に傾けて設置される。なお、これらはカメラ１から４の設置に関する一例である。
【００２１】
図４は、本発明の第１の実施形態におけるカメラの設置角度を示す図である。図４は、にディスプレイ５の正面図（Ａ）と、上面図（Ｂ）と、側面図（Ｃ）とを示す。以下、ディスプレイ５の横の長さを「ｈ」、縦の長さを「ｖ」（ｈ、ｖは所定の正値）として説明を続ける。またディスプレイ５の中心（中心付近でもよい）を原点（基準）として、その原点から右向きをＸ軸の正方向とし、上向きをＹ軸の正方向とし、ディスプレイ５の表示面の裏側方向をＺ軸の正方向とする（以下、「共通座標系」と称する）。このように設定された共通座標系を座標（Ｘｗ，Ｙｗ，Ｚｗ）で表すものとする。
【００２２】
さらに、共通座標系とは別の座標系として、図４の上面図と側面図にそれぞれ示すカメラ１を原点（基準）とするカメラ１座標系を座標（ＸＣ１，ＹＣ１，ＺＣ１）で表すものとする。以下、カメラを原点（基準）とする座標系を「カメラ座標系」と称する。同様に、カメラ２座標系を座標（ＸＣ２，ＹＣ２，ＺＣ２）、カメラ３座標系を座標（ＸＣ３，ＹＣ３，ＺＣ３）、カメラ４座標系を座標（ＸＣ４，ＹＣ４，ＺＣ４）で表すものとする。なお、上面図においてカメラ３とカメラ４は図示されていないが、カメラ３の設置角度は、カメラ１の設置角度と同じである。また、カメラ４の設置角度は、カメラ２の設置角度と同じである。同様に、側面図においてカメラ２とカメラ４は図示されていないが、カメラ２の設置角度は、カメラ１の設置角度と同じである。また、カメラ４の設置角度は、カメラ３の設置角度と同じである。
【００２３】
以下、カメラ１から４のそれぞれが撮影することのできる水平方向の画角をαＨ、垂直方向の画角をαＶとする。また、カメラ１の画角の中心（光軸）を画角中心３００とし、カメラ２の画角の中心（光軸）を画角中心３０１と、カメラ３の画角の中心（光軸）を画角中心３０２とし、カメラ４の画角の中心（光軸）を画角中心３０３（不図示）とする。さらに、カメラ１の画角中心３００（光軸）が、ディスプレイ５の中心を通る垂直軸６の側に傾いて（Ｙ軸回りに）内向きに傾けた角度を「θｌｅｆｔ」とし、カメラ２の画角中心３０１（光軸）が、ディスプレイ５の中心を通る垂直軸６の側に傾いて（Ｙ軸回りに）内向きに傾けた角度を「θｒｉｇｈｔ」とする。同様に、カメラ１の画角中心３００（光軸）が、ディスプレイ５の中心を通る垂直軸６の側に傾いて（Ｘ軸回りに）内向きに傾けた角度を「θｔｏｐ」と、カメラ３の画角中心３０２（光軸）が、ディスプレイ５の中心を通る垂直軸６の側に傾いて（Ｘ軸回りに）内向きに傾けた角度を「θｂｏｔｔｏｍ」とする。また同様に、カメラ４は、角度「θｒｉｇｈｔ」と角度「θｂｏｔｔｏｍ」とに傾けられて設置される。
【００２４】
図５は、本発明の第１の実施形態におけるカメラの画角に応じた設置角度を示す上面図である。ディスプレイ５の前に位置する観察者１００を可能な限り死角なく撮影するため、カメラ１から４は、それぞれ［数１］と［数２］とを共に満たすよう設置される。水平方向の画角（αＨ）が９０度以下の場合、Ｙ軸に関して内向きに「θｌｅｆｔ」だけ傾けられてカメラ１が設置されることで（図５（Ａ））、カメラ１は画角の右端１４がＺ軸（垂直軸６）に平行となる範囲まで撮影することができ、また、ディスプレイ５に近い位置に移動した観察者１００を画角の左端１５まで撮影することができる。一方、水平方向の画角（αＨ）が９０度を超える場合、カメラ１の画角の左端１５がディスプレイ５と並行になるようカメラ１を設置する（図５（Ｂ））。垂直方向の画角（αＶ）についても同様である。
【００２５】
【数１】
2011004054.tif 000003
【００２６】
【数２】
2011004054.tif 000004
【００２７】
このようにすれば、観察者１００が顔を上下左右に向けた場合でも、カメラ１から４が観察者１００を確実に撮影するので、画像処理システムは観察者１００の位置を算出して、その運動視差に応じた映像を確実に表示することができる。
【００２８】
図６は、本発明の第１の実施形態における画像処理システムのブロック図である。画像処理システムは、カメラ１から４と、ディスプレイ５（表示部）と、画像処理装置７と、画像信号源入力装置９と操作装置８とを備える。操作装置８は、運動視差が再現された映像を生成するために用いるレジスタ（不図示）の調整値、処理の開始指示と終了指示、等を指示するユーザの操作入力を検出し、これらのパラメータ（調整値等）をＣＰＵ１６に出力する。ＣＰＵ１６は、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であって、各処理部にパラメータを設定する。また画像信号源入力装置９は、画像供給源であって、表示対象の画像データを運動視差映像生成部２４に出力する。
【００２９】
カメラ１から４は、例えばウェブカメラなどの撮像デバイスであって、光学系（不図示）と、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子（不図示）と、露光調整機構（不図示）とを備える。カメラ１は観察者１００の動画像を撮影し、相関二重サンプリングなどの所定の信号処理が施された画像信号（画像データ）をＩ／Ｆ（インタフェース）１７に所定の周期（例えば、６０フレーム／秒）で出力する。カメラ２から４も同様である。Ｉ／Ｆ１７は、入力された画像信号をカメラ画像メモリ２１におけるデータフォーマットに変換し、カメラ画像メモリ２１に出力する。Ｉ／Ｆ１８から２０も同様である。
【００３０】
カメラ画像メモリ２１は、Ｉ／Ｆ（インタフェース）１７から２０が出力した画像信号（画像データ）を、Ｉ／Ｆ（インタフェース）１７から２０に対応付けて記憶する。すなわちカメラ画像メモリ２１は、画像データと、その画像データの入力時刻と、その画像データがＩ／Ｆ１７から２０（カメラ１から４）のいずれから入力されたかについて記憶する。カメラ画像メモリ２１は、入力時刻を記憶しておくことで各画像データの同期を取ることができる。
【００３１】
検出用画像選択部２２は、カメラ１から４から同時刻に出力された各画像データをカメラ画像メモリ２１から取得する。検出用画像選択部２２は、取得した各画像データに基づいて、観察者１００の視線方向を算出する。さらに検出用画像選択部２２は、算出された視線方向に基づいて、観察者の位置の算出に最も適するカメラ１から４のいずれか１つを選択し、選択されたカメラ番号（識別子）を観察者位置算出部２３に出力する。
【００３２】
次に、観察者１００の位置の算出に最も適するカメラの選択について説明する。図７は、本発明の第１の実施形態におけるマーカーを備えた眼鏡型装着器具と眼鏡型装着器具を装着した観察者１００を示す図である。検出用画像選択部２２は、観察者１００の両眼又はマーカー２７及び２８、を検出する。また図８は、本発明の第１の実施形態における観察者の視線方向とカメラとの位置関係を示す図である。カメラ１から４は、図４に示したように設置されているので、例えば観察者１００が図８において右を向いているために、カメラ１から右眼又はマーカー２８を撮影することができない場合でも、カメラ２によって右眼又はマーカー２８を撮影することができる。同様に、例えば観察者１００が下向きである場合でも、カメラ３及び４のいずれかによって両眼又はマーカーを撮影することができる。
【００３３】
図９は、本発明の第１の実施形態における観察者とディスプレイとの相対位置の算出に適するカメラの選択手順を示すフローチャートである。以下のフローチャートでは両眼を検出するものとして説明をする。検出用画像選択部２２は画像データを所定の周期（例えば、６０フレーム／秒）で取得し、前回取得した画像データと、今回取得した画像データとの画像の差分を算出する。検出用画像選択部２２は、これらの画像データの画像の差分（動き）が所定の閾値以上であるか否かを判定する（ステップＳ１）。検出用画像選択部２２は、所定の閾値以上でないと判定した場合（ステップＳ１−ＮＯ）、ステップＳ１を繰り返す。
【００３４】
ステップＳ１にて差分が所定の閾値以上であると判定した場合（ステップＳ１−ＹＥＳ）、検出用画像選択部２２は、観察者１００の両眼又はマーカー２７及び２８を検出し、視線方向を判定する（ステップＳ２）。
【００３５】
視線方向を判定する「ステップＳ２」の詳細を図１０に示す。図１０は、本発明の第１の実施形態における観察者の視線方向の判定手順を示すフローチャートである。検出用画像選択部２２は、カメラ１から４のうち１つを選択する（ステップＳａ１０）。検出用画像選択部２２は、選択したカメラから今回取得した画像データを用いて観察者１００の顔領域を抽出（検出）する抽出処理を行う。顔領域の抽出処理は、例えば画像データに対するテンプレートマッチング処理により行われる。すなわち、予め用意された「顔の教師データ（画像データ）」と、カメラ１から４が撮影した各画像データを比較することで、観察者１００の顔領域を抽出する（ステップＳａ１１）。
【００３６】
検出用画像選択部２２は、各画像データに観察者１００の顔領域が存在するか否かを判定する。存在しない場合（ステップＳａ１２−ＮＯ）、ステップＳａ１０に戻る。観察者１００の顔領域が存在する場合（ステップＳａ１２−ＹＥＳ）、抽出された顔領域に対して、予め用意された「左眼、右眼、及び口の教師データ（画像データ）」を用いて、同様に、両眼（左眼、右眼）領域と口領域の抽出処理を実行する（ステップＳａ１３）。検出用画像選択部２２は、両眼領域、口領域が存在するか否かを判定する（ステップＳａ１４）。両眼領域と口領域が存在しない場合（ステップＳａ１４−ＮＯ）、検出用画像選択部２２はステップＳａ１０に戻る。
【００３７】
一方、両眼領域と口領域が存在する場合、検出用画像選択部２２は、観察者１００の視線方向を判定する。ここで観察者１００の視線方向は、共通座標系の原点を基準として、左上方向（Ｘｗ軸負値、Ｙｗ軸正値）、右上方向（Ｘｗ軸正値、Ｙｗ軸正値）、左下方向（Ｘｗ軸負値、Ｙｗ軸負値）、右下方向（Ｘｗ軸正値、Ｙｗ軸負値）の４つの方向に分類される。また、観察者１００の視線方向の左右方向の判定と上下方向の判定は別に実行される。視線方向の左右方向の判定は、カメラの画像データにおける、観察者１００の右眼の面積と左眼の面積の差を用いて行われる。
【００３８】
以下、画像データの座標（ｘ，ｙ）が右眼領域内の点である否かについて判定した判定結果を「Ｒｅｙｅ  ｒｉｇｈｔ（ｘ，ｙ）」とする。ここで、座標（ｘ，ｙ）が右眼領域内の点である場合の判定結果を値「１」、右眼領域内の点でない場合の判定結果を値「０」とする。同様に、座標（ｘ，ｙ）が左眼領域内の点である否かについて判定した判定結果を「Ｒｅｙｅ  ｌｅｆｔ（ｘ，ｙ）」とする。また、座標（ｘ，ｙ）が左眼領域内の点である場合の判定結果を値「１」、左眼領域内の点でない場合の判定結果を値「０」とする。
【００３９】
このようにして、右眼の面積（画像データにおける画素数）は、右眼領域についての判定結果「Ｒｅｙｅ  ｒｉｇｈｔ（ｘ，ｙ）」を計数することで算出することができる。左眼の面積も同様である。右眼領域の面積「ｃｎｔｒｉｇｈｔｅｙｅ」と左眼領域の面積「ｃｎｔｌｅｆｔｅｙｅ」は、それぞれ［数３］で表される。
【００４０】
【数３】
2011004054.tif 000005
【００４１】
検出用画像選択部２２は、算出された右眼の面積と左眼の面積とを比較し、面積が大きい（画素数が多い）側の眼が、カメラにより近い眼であると判定する（［数４］）。
【００４２】
【数４】
2011004054.tif 000006
【００４３】
なお、検出用画像選択部２２は、顔領域内の目の領域を検出し、さらに両眼の虹彩領域を含む円形状を検出して、その円形状の中心座標に基づいて視線方向を検出するとしてもよい。
【００４４】
一方、視線方向の上下方向の判定は、カメラにより近い眼であると判定された側の眼の面積と口の面積の面積比を用いて行われる。例えば、「眼の面積」を分子、「口の面積」を分母とする面積比が所定の閾値よりも大きい場合、口の面積が相対的に小さいので、検出用画像選択部２２は「視線方向は下向き」であると判定する。同様に、その面積比が所定の閾値よりも小さい場合、検出用画像選択部２２は「視線方向は上向き」であると判定する（ステップＳａ１５）。
【００４５】
次に検出用画像選択部２２は、これらの判定結果に応じて、視線方向を左上方向、右上方向、左下方向、右下方向の４つの方向のいずれかに分類する。まず検出用画像選択部２２は、視線方向が左方向か否かを判定する（ステップＳａ１６）。左方向である場合、次に検出用画像選択部２２は、視線方向が上方向か否かを判定する（ステップＳａ１７）。視線方向が上方向である場合、検出用画像選択部２２は、視線方向が左上方向であると判定する（ステップＳａ１９）。
【００４６】
ステップＳａ１９の次に、検出用画像選択部２２は、すべてのカメラについて視線方向を判定済みか否かについて判定する（ステップＳａ２３）。すべてのカメラについて視線方向を判定済みである場合（ステップＳａ２３−ＹＥＳ）、検出用画像選択部２２は、ステップＳ２４に遷移する。すべてのカメラについて視線方向を判定済みでない場合（ステップＳａ２３−ＮＯ）、検出用画像選択部２２は、ステップＳ１０に遷移する。
【００４７】
ステップＳａ１７において、視線方向が上方向でない場合（ステップＳａ１７−ＮＯ）、検出用画像選択部２２は、視線方向が左下方向であると判定する（ステップＳａ２０）。ステップＳａ２０の次に、検出用画像選択部２２は、ステップＳａ２３に遷移する。
【００４８】
ステップＳａ１６において、視線方向が左方向でない場合（ステップＳａ１６−ＮＯ）、次に検出用画像選択部２２は、視線方向が上方向か否かを判定する（ステップＳａ１８）。視線方向が上方向である場合（ステップＳａ１８−ＹＥＳ）、検出用画像選択部２２は、視線方向が右上方向であると判定する（ステップＳａ２１）。ステップＳａ２１の次に、検出用画像選択部２２は、ステップＳａ２３に遷移する。
【００４９】
ステップＳａ１８において、視線方向が上方向でない場合（ステップＳａ１８−ＮＯ）、検出用画像選択部２２は、視線方向が右下方向であると判定する（ステップＳａ２２）。ステップＳａ２２の次に、検出用画像選択部２２は、ステップＳａ２３に遷移する。
【００５０】
検出用画像選択部２２は、カメラ１から４の各画像データについて、それぞれ視線方向を判定する。検出用画像選択部２２は、各画像データについて判定された視線方向を集計し、多数決によって視線方向の最終的な判定結果を決める。ここで、多数決による視線方向が同数であった場合、カメラ１から４のうちいずれか（例えば、カメラ１）が出力した画像データに基づく視線方向の判定結果を優先させるとしてもよい（ステップＳａ２４）。なお、両眼検出ができなかった場合、画像処理システムは、運動視差を再現しないとしてもよい。
【００５１】
次に図９のフローチャートに戻り、検出用画像選択部２２は、視線方向の最終的な判定結果が左上方向であるか否かを判定する（ステップＳ３）。左上方向である場合、検出用画像選択部２２は、観察者位置算出部２３が観察者１００の位置を算出するのに最も適したカメラとして、視線方向にある「カメラ１」をカメラ番号として観察者位置算出部２３に出力する（ステップＳ６）。カメラ番号を出力後、検出用画像選択部２２は、画像処理システムが表示処理を終了しているか否かについて判定する。表示処理を終了していない場合、検出用画像選択部２２はステップＳ１に戻る（ステップＳ１０）。表示処理を終了している場合、検出用画像選択部２２は視線方向の判定手順処理を終了する。
【００５２】
ステップＳ３において、判定結果が左上方向でない場合、次に検出用画像選択部２２は、判定結果が右上方向であるか否かを判定する（ステップＳ４）。右上方向である場合、検出用画像選択部２２は、観察者位置算出部２３が観察者１００の位置を算出するのに最も適したカメラとして、「カメラ２」をカメラ番号として観察者位置算出部２３に出力する（ステップＳ７）。ステップＳ７の次に、検出用画像選択部２２は、ステップＳ１０に遷移する。
【００５３】
ステップＳ４において、判定結果が右上方向でない場合、次に検出用画像選択部２２は、判定結果が左下方向であるか否かを判定する（ステップＳ５）。左下方向である場合、検出用画像選択部２２は、観察者位置算出部２３が観察者１００の位置を算出するのに最も適したカメラとして、「カメラ３」をカメラ番号として観察者位置算出部２３に出力する（ステップＳ８）。ステップＳ８の次に検出用画像選択部２２は、ステップＳ１０に遷移する。
【００５４】
ステップＳ５において、判定結果が左下方向でない場合、次に検出用画像選択部２２は、観察者位置算出部２３が観察者１００の位置を算出するのに最も適したカメラとして、「カメラ４」をカメラ番号として観察者位置算出部２３に出力する（ステップＳ９）。ステップＳ９の次に、検出用画像選択部２２は、ステップＳ１０に遷移する。
【００５５】
以下、一例として、カメラ１が最適なカメラとして選択されたものとして説明を続ける。観察者位置算出部２３は、「カメラ番号」が示すカメラ１が出力した画像データを取得し、その画像データに基づく観察者１００の位置を表す座標をカメラ座標系から共通座標系に変換する。
【００５６】
図１１は、本発明の第１の実施形態におけるカメラ座標系における観察者のＺ座標を求める方法を説明する図である。カメラ１の水平画角をαＨ、水平画素数をＷ、垂直画素数をＨとする。カメラ１が備える撮像素子（不図示）の１画素２９あたりの撮影角度「Ｒ」は、「水平画角αＨ」を「水平画素数Ｗ」で除算することにより［数５］で表される。また、画素が正方形であるとして、垂直方向の１画素あたりの撮影角度も「Ｒ」とする。
【００５７】
【数５】
2011004054.tif 000007
【００５８】
カメラ撮影画像３０に、「左眼またはマーカー２７」の画像３２と、「右眼またはマーカー２８」の画像３１が共に含まれている場合、カメラ撮影画像３０における画像３１と３２との間隔（画素数）（以下、「画像マーカー間隔」と称する）をＬとして、画像マーカー間の角度「θ」は、［数６］で表される。
【００５９】
【数６】
2011004054.tif 000008
【００６０】
「左眼またはマーカー２７」に対応するマーカー３５と「右眼またはマーカー２８」に対応するマーカー３４との予め測定された実物の距離（以下、「マーカー間隔」と称する）をＭとすると、観察者１００とカメラ１との距離「ｚＣ１」は、三角関数を用いて［数７］で表される。
【００６１】
【数７】
2011004054.tif 000009
【００６２】
図１２は、本発明の第１の実施形態におけるカメラ座標系における観察者のＸ座標を求める方法を説明する図である。観察者位置算出部２３は、画像３１と３２の中点Ｐｎとカメラ撮影画像３０の中心との距離（ずれ量）に基づいて、観察者１００のカメラ１座標系におけるＸ座標（ｘｃ１）とＹ座標（ｙｃ１）とを算出する。
【００６３】
中点Ｐｎの座標を（ｘＰｎ，ｙＰｎ）とすると、中点ＰｎのＸｃ１軸方向の角度「θＨ」は、三角測量によって「θＨ＝Ｒ×（ｘｐｎ−Ｗ／２）」で表される。同様に、中点ＰｎのＹｃ１軸方向の角度「θＶ」は「θＶ＝Ｒ×（ｙｐｎ−Ｈ／２）」で表される。観察者１００のカメラ１座標系における位置（座標）４０は、これらθＨ、θｖ及び［数７］を用いて［数８］で表される。
【００６４】
【数８】
2011004054.tif 000010
【００６５】
次に、観察者位置算出部２３は、観察者１００とディスプレイ５との相対位置、すなわち共通座標系における観察者１００の位置、を算出して、運動視差映像生成部２４に出力する。図１３は、本発明の第１の実施形態におけるカメラを基準とするカメラ座標系をディスプレイの中心を原点とする共通座標系に変換するための、回転角度と併進量を示す図である。観察者位置算出部２３は、共通座標系における観察者１００の位置（座標）を、以下のように算出する。
【００６６】
共通座標系のＸｗ軸回りの回転角度を「θｘ」、Ｙｗ軸回りの回転角度を「θｙ」、Ｚｗ軸回りの回転角度を「θｚ」とすると、回転を示す変換行列は［数９］で表される。
【００６７】
【数９】
2011004054.tif 000011
【００６８】
また、共通座標系のＸｗ軸方向の併進量を「ｌｘ」、Ｙ軸方向の併進量を「ｌｙ」、Ｚ軸方向の併進量を「ｌｚ」とすると、併進を示す変換行列は［数１０］で表される。
【００６９】
【数１０】
2011004054.tif 000012
【００７０】
したがって、カメラ１座標系における任意の座標「Ｐｃ１（ｘｃ１，ｙｃ１，ｚｃ１）」は、［数１１］を用いることで共通座標系に変換される。ここで、共通座標系のＸｗ軸に対するカメラ１の回転角度（俯角）を「θＸｔｏｐ」、共通座標系のＹｗ軸に対するカメラ１の回転角度（水平方向）を「θＹｌｅｆｔ」とする。また、共通座標系のＸｗ軸に対するカメラ１の併進量（距離）を「＋ｈ／２」、共通座標系のＹｗ軸に対するカメラ１の併進量（距離）を「−ｖ／２」とする。
【００７１】
【数１１】
2011004054.tif 000013
【００７２】
同様に、カメラ２座標系は［数１２］により、カメラ３座標系は［数１３］により、カメラ４座標系は［数１４］により、それぞれ共通座標系に変換される。
【００７３】
【数１２】
2011004054.tif 000014
【００７４】
【数１３】
2011004054.tif 000015
【００７５】
【数１４】
2011004054.tif 000016
【００７６】
このようにして、観察者位置算出部２３は、取得した画像データのカメラ座標系を共通座標系に変換し、観察者１００の共通座標系における位置（座標）を算出する。さらに観察者位置算出部２３は、算出した位置（座標）を運動視差映像生成部２４に出力する。
【００７７】
図６に示す運動視差映像生成部２４は、観察者位置算出部２３が算出した観察者１００の位置から見た観察対象物の画像データをビュー変換処理によって生成する。ここでビュー変換処理とは、共通座標系を観察者１００の位置に仮想的に置いた仮想カメラを基準とする座標系に変換することである。
【００７８】
仮想カメラを基準とするＸ軸を示すベクトルを「Ｒ＝（ｒｘ，ｕｘ，ｖｘ）」、Ｙ軸を示すベクトルを「Ｕ＝（ｒｙ，ｕｙ，ｖｙ）」、Ｚ軸を示すベクトルを「Ｖ＝（ｒｚ，ｕｚ，ｖｚ）」、さらに、仮想カメラの共通座標系における位置を示すベクトルを「ｐ＝（ｘ，ｙ，ｚ）」とすれば、ビュー変換行列は［数１５］で表される。
【００７９】
【数１５】
2011004054.tif 000017
【００８０】
さらに運動視差映像生成部２４は、ビュー変換された座標系に透視投影処理を実行する。透視投影処理において運動視差映像生成部２４は、仮想カメラ位置を頂点とした四角錘状の空間内部に、仮想カメラから近い面（前方投影面）と遠い面（後方投影面）の２投影面を仮想的に設定する。次に運動視差映像生成部２４は、前方投影面と後方投影面とで挟まれた空間が立方体となるよう、前方投影面を後方投影面と同じ面積になるまで拡大してプロジェクション変換を行う。このようにして、ビュー変換された座標系は仮想カメラ位置から見て近い物が大きく遠い物が小さく見える射影座標系に変換される。
【００８１】
運動視差映像生成部２４は、［数１６］に示す行列を用いて射影座標系に変換する。ここで、水平方向の視野角を「ｗ」、垂直方向の視野角を「ｈ」、仮想カメラから前方投影面までの距離を「ｚｎ」、仮想カメラから後方投影面までの距離を「ｚｆ」とする。
【００８２】
【数１６】
2011004054.tif 000018
【００８３】
次に運動視差映像生成部２４は、ディスプレイ５の左上頂点（カメラ１近く）を原点とし、Ｙ軸方向が逆であるスクリーン座標系に射影座標系を変換する。ここで、ディスプレイ５の水平方向の画素数を「Ｗｉｄｔｈ」、垂直方向の画素数を「Ｈｅｉｇｈｔ」、とすれば、射影座標系からスクリーン座標系への変換行列は［数１７］で表される。
【００８４】
【数１７】
2011004054.tif 000019
【００８５】
運動視差映像生成部２４は、このように生成（３ＤＣＧレンダリング）した観察対象物の画像データを表示メモリ２５に出力する。
【００８６】
表示メモリ２５は、運動視差映像生成部２４が出力した画像データを記憶し、Ｉ／Ｆ（インタフェース）２６に出力する。Ｉ／Ｆ２６は、入力された画像データをディスプレイ５におけるデータフォーマットに変換し、ディスプレイ５に出力する。ディスプレイ５は、入力された画像データを画像（映像）表示する。
【００８７】
このようにすれば、カメラ１から４が観察者１００を確実に撮影するので、画像処理システムは観察者１００の位置を算出して、その運動視差に応じた映像を確実に表示することができる。
【００８８】
また画像処理システムは、観察者１００が向いている方向のカメラ１から４のうち１つを選択することができる。
【００８９】
[第２の実施形態]
次に、第１の実施形態の変形例である第２の実施形態を説明する。多くの場合、観察者はディスプレイの前では水平方向にのみ移動し、上下方向には移動しない。このため、第２の実施形態の画像処理システムは、観察者の水平方向の移動を検出するのに適したシステムである。
【００９０】
図１４は、本発明の第２の実施形態における画像処理システムの外観図である。図１４と図１との対応は、カメラ４１はカメラ１に対応し、カメラ４２はカメラ２に対応し、ディスプレイ４３はディスプレイ５に対応し、垂直軸４４は垂直軸６に対応し、画像処理装置４５は画像処理装置７に対応し、操作装置８は操作装置４６に対応し、画像信号源入力装置４７は画像信号源入力装置９に対応する。
【００９１】
図１５は、本発明の第２の実施形態における画像処理システムの構成を示すブロック図である。図１５と図６との対応は、カメラ４１はカメラ１に対応し、カメラ４２はカメラ２に対応し、Ｉ／Ｆ４９はＩ／Ｆ１７に対応し、Ｉ／Ｆ５０はＩ／Ｆ１８に対応し、カメラ画像メモリ５１はカメラ画像メモリ２１に対応し、検出用画像選択部５２は検出用画像選択部２２に対応し、観察者位置算出部５３は観察者位置算出部２３に対応し、運動視差映像生成部５４は運動視差映像生成部２４に対応し、表示メモリ５５は表示メモリ２５に対応し、Ｉ／Ｆ５６はＩ／Ｆ２６に対応し、ＣＰＵ４８はＣＰＵ１６に対応し、ディスプレイ４３はディスプレイ５に対応し、垂直軸４４は垂直軸６に対応し、画像処理装置４５は画像処理装置７に対応し、操作装置８は操作装置４６に対応し、画像信号源入力装置４７は画像信号源入力装置９に対応する。
【００９２】
以下、第１の実施形態との相違点についてのみ説明する。第１の実施形態と異なり、観察者１００の視線方向は、左方向、右方向の２つの方向にのみ分類される。図１６は、本発明の第２の実施形態における観察者とディスプレイとの相対位置の算出に適するカメラの選択手順を示すフローチャートである。ステップＳｂ２５は図９のステップＳ３に対応する。ステップＳｂ２５において、検出用画像選択部２２は、視線方向の最終的な判定結果が、左方向であるか否かを判定する。
【００９３】
左方向である場合、検出用画像選択部２２は、観察者位置算出部２３が観察者１００の位置を算出するのに最も適したカメラとして、視線方向にある「カメラ４１」をカメラ番号として観察者位置算出部２３に出力する（ステップＳｂ２６）。左方向でない場合（ステップＳｂ２５−ＮＯ）、検出用画像選択部２２は、「カメラ４２」をカメラ番号として観察者位置算出部２３に出力する（ステップＳｂ２７）
【００９４】
図１７は、本発明の第２の実施形態における観察者の視線方向の判定手順を示すフローチャートである。図１７に示すフローチャートは、図１０のステップＳａ１７と、ステップＳａ１８と、ステップＳａ２０と、ステップＳａ２２に相当するステップが省略され、処理が簡略化されている。
【００９５】
このようにすれば、処理を簡略化しながら、カメラ４１及び４２が観察者１００を確実に撮影するので、画像処理システムは観察者１００の位置を算出して、その運動視差に応じた映像を確実に表示することができる。
【００９６】
また画像処理システムは、処理を簡略化しながら、観察者１００が向いている方向のカメラ４１及び４２のうち１つを選択することができる。
【００９７】
[第３の実施形態]
次に、第１の実施形態と第２の実施形態の変形例である第３の実施形態を説明する。第３の実施形態の画像処理システムは、観察者１００の両眼の高さに合わせてカメラが設置される。図１８は、本発明の第３の実施形態における画像処理システムが備えるディスプレイとカメラを示す外観図である。図１８と図１の対応は、カメラ５７はカメラ１に対応し、カメラ５８はカメラ２に対応し、ディスプレイ４３はディスプレイ５に対応する。またカメラ５７は、ディスプレイ４３の中心（中心付近を含む）に正対する位置から観察者１００がディスプレイ４３を見た場合の視線方向である垂直軸６４側に傾けて、観察者の両眼の高さの位置に備えられる。カメラ５８も同様である。
【００９８】
このように、第３の実施形態では第１の実施形態及び第２の実施形態と異なり、観察者の両眼の高さにカメラの設置高さが合わせられている。ここで、第３の実施形態の共通座標系の原点は、垂直軸６４とディスプレイ４３との交点に設定される。したがって、第３の実施形態では、さらに共通座標系のＹ軸方向の併進量と、Ｘ軸方向の回転角度のパラメータを変換式から削除することができ、処理がより簡略化される。
【００９９】
カメラ５７座標系を共通座標系に変換する変換式は、［数１８］で、カメラ５８座標系を共通座標系に変換する変換式は、［数１９］で表される。
【０１００】
【数１８】
2011004054.tif 000020
【０１０１】
【数１９】
2011004054.tif 000021
【０１０２】
このようにすれば、処理をより簡略化して、カメラ１から４が観察者１００を確実に撮影するので、画像処理システムは観察者１００の位置を算出して、その運動視差に応じた映像を確実に表示することができる。
【０１０３】
また画像処理システムは、処理を簡略化しながら、観察者１００が向いている方向のカメラ５７及び５８のうち１つを選択することができる。
【０１０４】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【０１０５】
例えば、ディスプレイ５（表示部）は、曲面をなす（円筒状をなす）表示部であってもよい。
【０１０６】
また、本発明に記載の画像処理システムは、本発明の一実施形態における画像処理システムに対応し、撮影部は、カメラ１から４と、カメラ４１から４２と、カメラ５７から５８と、に対応し、表示部は、ディスプレイ５と、ディスプレイ４３と、に対応し、観察者位置算出部は、観察者位置算出部２３と、観察者位置算出部５３と、映像生成部は、運動視差映像生成部２４と、運動視差映像生成部５４と、検出用画像選択部は、検出用画像選択部２２と、検出用画像選択部５２と、に対応する。
【０１０７】
また、図９、図１０、図１６、図１７に示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
【０１０８】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１０９】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【産業上の利用可能性】
【０１１０】
本発明は、観察者の運動視差に応じた映像を表示する、例えば公衆広告システムなどの画像処理システムに好適である。
【符号の説明】
【０１１１】
１から４…カメラ、５…ディスプレイ、６…垂直軸、７…画像処理装置、８…操作装置、９…画像信号源入力装置、１０…取り付け部材、１１…切断面、１２から１３…支柱、１４…画角の右端、１５…画角の左端、１６…ＣＰＵ、１７から２０…Ｉ／Ｆ、２１…カメラ画像メモリ、２２…検出用画像選択部、２３…観察者位置算出部、２４…運動視差映像生成部、２５…表示メモリ、２６…Ｉ／Ｆ、２７から２８…マーカー、２９…画素、３０…カメラ撮影画像、３１…「右眼またはマーカー２８」の画像、３２…「左眼またはマーカー２７」、３４から３５…マーカー、４０…観察者のカメラ座標系における位置、４１から４２…カメラ、４３…ディスプレイ、４４…垂直軸、４５…画像処理装置、４６…操作装置、４７…画像信号源入力装置、４８…ＣＰＵ、４９から５０…Ｉ／Ｆ、５１…カメラ画像メモリ、５２…検出用画像選択部、５３…観察者位置算出部、５４…運動視差映像生成部、５５…表示メモリ、５６…Ｉ／Ｆ、５７から５８…カメラ
【図１】
2011004054.tif 000022
【図２】
2011004054.tif 000023
【図３】
2011004054.tif 000024
【図４】
2011004054.tif 000025
【図５】
2011004054.tif 000026
【図６】
2011004054.tif 000027
【図７】
2011004054.tif 000028
【図８】
2011004054.tif 000029
【図９】
2011004054.tif 000030
【図１０】
2011004054.tif 000031
【図１１】
2011004054.tif 000032
【図１２】
2011004054.tif 000033
【図１３】
2011004054.tif 000034
【図１４】
2011004054.tif 000035
【図１５】
2011004054.tif 000036
【図１６】
2011004054.tif 000037
【図１７】
2011004054.tif 000038
【図１８】
2011004054.tif 000039