(57)【要約】【課題】本発明は、簡易な構成とし、自然な状態で被写体を補間できると共に、被写体からの視野角が広い表示・撮影装置を提供することを目的とする。【解決手段】表示・撮影装置１は、表示手段１２の周囲に配置され、互いに異なる位置から前記被写体を撮影することで、視点が異なる被写体画像をそれぞれ出力する第１撮影カメラ１１ａと第２撮影カメラ１１ｂと、被写体に対して、被写体視認情報を提示する表示手段１２と、第１撮影カメラ１１ａと第２撮影カメラ１１ｂが出力した視点が異なる被写体画像から、補間処理によって、視点補間画像を補間する画像補間手段２０と、視点補間位置を入力する視点入力手段３０とを備える。【選択図】図１
2010278989.tif 000002
【特許請求の範囲】
【請求項１】
被写体が視認できる被写体視認情報を当該被写体に提示すると共に、前記被写体を撮影して前記被写体の任意視点の視点補間画像を補間する表示・撮影装置において、
前記被写体に対して、前記被写体視認情報を提示する表示手段と、
前記表示手段の周囲に配置され、互いに異なる位置から前記被写体を撮影することで、前記被写体の視点が異なる被写体画像をそれぞれ出力する複数の撮影手段と、
前記複数の撮影手段が出力した前記被写体の視点が異なる被写体画像から、補間処理によって、前記視点補間画像を補間する画像補間手段と、を備えることを特徴とする表示・撮影装置。
【請求項２】
前記複数の撮影手段のうちの少なくとも一対は、前記表示手段の表示面の中心点で点対称となるように、前記表示手段の周囲に配置されたことを特徴とする請求項１に記載の表示・撮影装置。
【請求項３】
前記複数の撮影手段のうちの少なくとも一対は、前記表示手段の垂直軸上又は水平軸上に位置するように、前記表示手段の周囲に配置されたことを特徴とする請求項１に記載の表示・撮影装置。
【請求項４】
前記複数の撮影手段は、互いの位置関係が変化しないように前記表示手段に固定することを特徴とする請求項１から請求項３の何れか一項に記載の表示・撮影装置。
【請求項５】
前記複数の撮影手段は、２台であり、一方の前記撮影手段が一方の前記被写体画像を出力すると共に、他方の前記撮影手段が当該一方の被写体画像と視点が異なる他方の前記被写体画像を出力し、
前記画像補間手段は、
前記一方の被写体画像が入力され、当該一方の被写体画像の特徴を示す特徴点を３以上抽出すると共に、当該特徴点の座標を出力する特徴点抽出手段と、
前記他方の被写体画像から、前記特徴点抽出手段が抽出した特徴点に対応する対応点をエピポーラ線上で照合すると共に、当該照合した対応点の座標を出力する照合手段と、
視点補間位置を示す係数に前記対応点の座標を乗じた値と、当該係数から１を減算した値に前記特徴点の座標を乗じた値との和を中割座標として算出する中割座標算出手段と、
前記中割座標の３点を結んだ中割三角領域を１以上生成する三角領域生成手段と、
ラスタスキャンによって、前記視点補間画像での全画素にそれぞれ対応するスキャン画素の座標を出力する走査手段と、
前記スキャン画素の座標に基づいて、当該スキャン画素が前記中割三角領域の何れに含まれるか判定すると共に、含まれると判定された前記中割三角領域内での前記スキャン画素の座標を出力する包含判定手段と、
前記特徴点の座標と前記中割三角領域内でのスキャン画素の座標との予め設定された対応関係に基づいて、前記中割三角領域内でのスキャン画素の座標に対応する前記一方の被写体画像の画素の座標を第１補間座標として算出する第１の座標算出手段と、
前記対応点の座標と前記中割三角領域内でのスキャン画素の座標との予め設定された対応関係に基づいて、前記中割三角領域内でのスキャン画素に対応する前記他方の被写体画像の画素の座標を第２補間座標として算出する第２の座標算出手段と、
前記係数に前記第２補間座標の画素値を乗じた値と、１から当該係数を減算した値に前記第１補間座標の画素値を乗じた値との和を前記スキャン画素の画素値として算出する画素値算出手段と、
前記画素値算出手段が算出したスキャン画素の画素値を前記スキャン画素の座標に対応させた前記視点補間画像として記憶する記憶手段と、を備えることを特徴とする請求項１から請求項４の何れか一項に記載の表示・撮影装置。
【請求項６】
前記複数の撮影手段は、２台であり、一方の前記撮影手段が一方の前記被写体画像を出力すると共に、他方の前記撮影手段が当該一方の被写体画像と視点が異なる他方の前記被写体画像を出力し、
前記画像補間手段は、
前記一方の被写体画像が入力され、当該一方の被写体画像の特徴を示す特徴点を前記注目ライン上で１以上抽出すると共に、当該特徴点の座標を出力する特徴点抽出手段と、
前記他方の被写体画像から、前記特徴点抽出手段が抽出した特徴点に対応する対応点を前記注目ライン上で照合すると共に、当該照合した対応点の座標を出力する照合手段と、
ラスタスキャンによって、前記視点補間画像での全画素にそれぞれ対応するスキャン画素の座標を生成する走査手段と、
視点補間位置を示す係数に前記対応点の座標を乗じた値と、当該係数から１を減算した値に前記特徴点の座標を乗じた値との和を中割座標として算出すると共に、前記中割座標から第１補間座標と第２補間座標とを算出する予め設定された式に基づいて、算出した前記中割座標に対応する前記第１補間座標と前記第２補間座標を算出する座標算出手段と、
前記係数に前記第２補間座標の画素値を乗じた値と、１から当該係数を減算した値に前記第１補間座標の画素値を乗じた値との和を前記スキャン画素の画素値として算出する画素値算出手段と、
前記画素値算出手段が算出したスキャン画素の画素値を前記スキャン画素の座標に対応させた前記視点補間画像として記憶する記憶手段と、を備えることを特徴とする請求項１から請求項４の何れか一項に記載の表示・撮影装置。
【請求項７】
前記視点補間位置を入力する視点入力手段を備えることを特徴とする請求項５又は請求項６に記載の表示・撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置を介して、被写体に被写体視認情報を提供すると共に、撮影装置により撮影した被写体の画像から、任意の視点となる視点補間画像を生成する表示・撮影装置に関する。
【背景技術】
【０００２】
従来から、例えば、ニュース番組の撮影時、アナウンサ等の被写体をカメラ方向の視点で撮影するため、被写体を撮影しつつ、被写体にニュース原稿等の被写体視認情報を提示する技術が提案されている（例えば、特許文献１〜５及び非特許文献１参照）。
【０００３】
特許文献１に記載の発明は、撮影カメラのレンズ付近に被写体側に表示面を向けたディスプレイを固定するものである。また、特許文献２に記載の発明は、撮影カメラのレンズの被写体側にハーフミラーを設け、ハーフミラーを介してディスプレイの表示を被写体に提示しつつ、ハーフミラーを介して被写体の撮影を行うものである。
【０００４】
また、特許文献３，４に記載の発明は、光の透過状態を電気的に制御可能なスクリーンを用いて、透過又は非透過の状態に応じて撮影又は表示を時分割的に実行するものである。また、特許文献５に記載の発明は、複数の撮影カメラによって、対象物体の３次元構造のモデルを構築し、そのテクスチャ情報とともに別視点からレンダリングすることで任意視点の画像を生成するものである。さらに、非特許文献１に記載の技術は、複数の撮影カメラで撮影した２画像間において、上下視点のモーフィングにより、被写体の正面顔を生成するものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平７−１７０４３０号公報（特許３４７８３０８号公報）
【特許文献２】特開平８−１３６８５０号公報（特許３５６６９９８号公報）
【特許文献３】特開平４−９６５８１号公報
【特許文献４】特開平４−１１４８５号公報
【特許文献５】特開２００３−２７１９２８号公報（特許４０１４１４０号公報）
【非特許文献】
【０００６】
【非特許文献１】Hui-Zhen Gu,Yung-Wei Kao,Suh-Yin Lee and Shyan-Ming Yuan: “HVPN: The Combination of Horizontal and Vertical Pose Normalization for Face Recognition”
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、前記した従来技術には、以下で述べるような様々な問題がある。
例えば、特許文献１に記載の発明では、撮影カメラのレンズの光軸とディスプレイの表示領域とが空間的にずれている。このため、特許文献１に記載の発明では、被写体がディスプレイに表示された文字や画像を注視することになり、被写体の視線が撮影カメラからディスプレイの方向にずれるので、アイコンタクトがとれていない不自然な状態で被写体が撮影されてしまう。
【０００８】
また、特許文献２に記載の発明では、ハーフミラーにおける反射及び透過時に生ずる必然的な光の減衰により、撮影カメラに到達する光量が低下する。このため、特許文献２に記載の発明では、被写体が暗くなるといった不自然な状態で被写体が撮影されてしまう。また、特許文献２に記載の発明では、撮影カメラのレンズの画角を確保しつつディスプレイをカバーできる大きさのハーフミラー等の光学素子を備える必要がある。そして、特許文献２に記載の発明では、この大きさの光学素子を、撮影カメラのレンズの光軸に対して斜めに設置する必要がある。さらに、特許文献２に記載の発明では、このハーフミラーによる不要な映り込みを避けるために、フード等の遮光手段が必要になる。このように、特許文献２に記載の発明では、光学素子や遮光手段を備えるために、装置が大型化するばかりか、被写体への視野角が狭くなってしまう。
【０００９】
さらに、特許文献３，４に記載の発明では、スクリーン面からの反射光を防ぐ遮光手段を備える必要があるため、装置が大型化してしまう。さらに、特許文献３，４に記載の発明では、撮影できる被写体の視点が撮影カメラの物理的な位置で決定されるので、撮影カメラの位置から空間的にずれた視点でしか被写体を撮影できず、不自然な状態で被写体が撮影されてしまう。
【００１０】
そして、特許文献５に記載の発明では、３次元モデルを保持するための大容量の記憶手段が必要になる。また、特許文献５に記載の発明では、３次元モデルを２次元の画像に投影するために、ポリゴンの前後関係を考慮しつつ投影を行う必要があるため、演算処理の負担が重く、高性能な装置が要求される。
【００１１】
そして、非特許文献１に記載の技術では、顔画像認識の前処理として、顔画像認識精度を向上させる目的の正面顔生成に特化した技術であり、表示手段との組み合わせを考慮した工夫はなされていない。さらに、非特許文献１に記載の技術では、顔の左右対称性や典型的な顔の器官配置を前提とした複雑な処理が行われており、歪みを有する被写体の顔を写実的かつ迅速に表現するプロンプタ等の用途には、画質や演算処理負荷の観点から適用が困難である。
【００１２】
そこで、本発明は、簡易な構成で、被写体への視野角が広く、自然な状態の被写体が含まれる視点補間画像を補間できる表示・撮影装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
前記した課題を解決するため、本願第１発明に係る表示・撮影装置は、被写体が視認できる被写体視認情報を被写体に提示すると共に、被写体を撮影して被写体の任意視点の視点補間画像を補間する表示・撮影装置において、表示手段と、複数の撮影手段と、画像補間手段と、を備えることを特徴とする。
【００１４】
かかる構成によれば、表示・撮影装置は、表示手段によって、被写体に対して、被写体が視認できる被写体視認情報を提示する。また、表示・撮影装置は、複数の撮影手段によって、表示手段の周囲に配置され、互いに異なる位置から被写体を撮影することで、被写体の視点が異なる被写体画像をそれぞれ出力する。さらに、表示・撮影装置は、画像補間手段によって、複数の撮影手段が出力した被写体の視点が異なる被写体画像から、補間処理によって、視点補間画像を補間する。これによって、表示・撮影装置は、光学素子や遮光手段を備えることなく、被写体に被写体視認情報を提示しつつ、被写体の任意視点（例えば、被写体が撮影手段を正面視した視点）の視点補間画像を補間できる。
【００１５】
また、本願第２発明に係る表示・撮影装置は、複数の撮影手段のうちの少なくとも一対が、表示手段の表示面の中心点で点対称となるように、表示手段の周囲に配置されたことを特徴とする。ここで、表示・撮影装置は、例えば、複数の撮影手段のうちの少なくとも一対を、表示面を左右に２等分する軸に対して左右対称、又は、表示面を上下に２等分する軸に対して上下対称となるように配置しても良い。このように撮影手段を配置することで、表示・撮影装置は、撮影手段同士の相対的な位置関係を既知として扱うことができるため、この位置関係を求める必要がなく、画像補間手段における演算負荷を軽減できる。
【００１６】
また、本願第３発明に係る表示・撮影装置は、複数の撮影手段のうちの少なくとも一対が、表示手段の垂直軸上又は水平軸上に位置するように、表示手段の周囲に配置されたことを特徴とする。このように撮影手段を配置することで、表示・撮影装置は、撮影手段同士の相対的な位置関係を既知として扱うことができるため、この位置関係を求める必要がなく、画像補間手段における演算負荷を軽減できる。
【００１７】
また、本願第４発明に係る表示・撮影装置は、複数の撮影手段が、互いの位置関係が変化しないように表示手段に固定することを特徴とする。これによって、表示・撮影装置は、撮影手段同士の相対的な位置関係を既知として扱うことができるため、この位置関係を求める必要がなく、画像補間手段における演算負荷を軽減できる。
【００１８】
また、本願第５発明に係る表示・撮影装置は、複数の撮影手段が、２台であり、一方の撮影手段が一方の被写体画像を出力すると共に、他方の撮影手段が一方の被写体画像と視点が異なる他方の被写体画像を出力し、画像補間手段は、一方の被写体画像が入力され、一方の被写体画像の特徴を示す特徴点を３以上抽出すると共に、特徴点の座標を出力する特徴点抽出手段と、他方の被写体画像から、特徴点抽出手段が抽出した特徴点に対応する対応点をエピポーラ線上で照合すると共に、照合した対応点の座標を出力する照合手段と、視点補間位置を示す係数に対応点の座標を乗じた値と、係数から１を減算した値に特徴点の座標を乗じた値との和を中割座標として算出する中割座標算出手段と、中割座標の３点を結んだ中割三角領域を１以上生成する三角領域生成手段と、ラスタスキャンによって、視点補間画像での全画素にそれぞれ対応するスキャン画素の座標を出力する走査手段と、スキャン画素の座標に基づいて、スキャン画素が中割三角領域の何れに含まれるか判定すると共に、含まれると判定された中割三角領域内でのスキャン画素の座標を出力する包含判定手段と、特徴点の座標と中割三角領域内でのスキャン画素の座標との予め設定された対応関係に基づいて、中割三角領域内でのスキャン画素の座標に対応する一方の被写体画像の画素の座標を第１補間座標として算出する第１の座標算出手段と、対応点の座標と中割三角領域内でのスキャン画素の座標との予め設定された対応関係に基づいて、中割三角領域内でのスキャン画素に対応する他方の被写体画像の画素の座標を第２補間座標として算出する第２の座標算出手段と、係数に第２補間座標の画素値を乗じた値と、１から係数を減算した値に第１補間座標の画素値を乗じた値との和をスキャン画素の画素値として算出する画素値算出手段と、画素値算出手段が算出したスキャン画素の画素値をスキャン画素の座標に対応させた視点補間画像として記憶する記憶手段と、を備えることを特徴とする。
【００１９】
かかる構成によれば、表示・撮影装置は、画像補間手段によって、前記した係数に応じた視点補間位置で、２台の撮影手段がそれぞれ撮影した視点が異なる被写体画像から、正確な視点補間画像を補間できる。
【００２０】
また、本願第６発明に係る表示・撮影装置は、複数の撮影手段が、２台であり、一方の撮影手段が一方の被写体画像を出力すると共に、他方の撮影手段が一方の被写体画像と視点が異なる他方の被写体画像を出力し、画像補間手段は、一方の被写体画像が入力され、一方の被写体画像の特徴を示す特徴点を注目ライン上で１以上抽出すると共に、特徴点の座標を出力する特徴点抽出手段と、他方の被写体画像から、特徴点抽出手段が抽出した特徴点に対応する対応点を注目ライン上で照合すると共に、照合した対応点の座標を出力する照合手段と、ラスタスキャンによって、視点補間画像での全画素にそれぞれ対応するスキャン画素の座標を生成する走査手段と、視点補間位置を示す係数に対応点の座標を乗じた値と、係数から１を減算した値に特徴点の座標を乗じた値との和を中割座標として算出すると共に、中割座標から第１補間座標と第２補間座標とを算出する予め設定された式に基づいて、算出した中割座標に対応する第１補間座標と第２補間座標を算出する座標算出手段と、係数に第２補間座標の画素値を乗じた値と、１から係数を減算した値に第１補間座標の画素値を乗じた値との和をスキャン画素の画素値として算出する画素値算出手段と、画素値算出手段が算出したスキャン画素の画素値をスキャン画素の座標に対応させた視点補間画像として記憶する記憶手段と、を備えることを特徴とする。
【００２１】
かかる構成によれば、表示・撮影装置は、画像補間手段によって、前記した係数に応じた視点補間位置で、２台の撮影手段がそれぞれ撮影した視点が異なる被写体画像から、視点補間画像を簡易な演算で高速に補間できる。
【００２２】
また、本願第７発明に係る表示・撮影装置は、視点補間位置を入力する視点入力手段を備えることを特徴とする。かかる構成によれば、表示・撮影装置は、視点補間画像の視点補間位置を、当該装置の使用者の意思に応じて任意に設定できる。
【発明の効果】
【００２３】
本発明によれば、以下のような優れた効果を奏する。
本願第１発明によれば、光学素子や遮光手段を備える必要がないので、表示・撮影装置を簡易な構成とし、被写体への視野角を広くすることができる。また、本願第１発明によれば、被写体の任意視点（例えば、被写体が撮影手段を正面視した視点）の視点補間画像を補間できるので、視点補間画像に含まれる被写体が自然な状態となる。
【００２４】
本願第２，３，４発明によれば、画像補間手段における演算負荷を軽減できるので、表示・撮影装置をより簡易な構成にできる。
本願第５発明によれば、２台の撮影手段がそれぞれ撮影した視点が異なる被写体画像から、正確な視点補間画像を補間できる。
【００２５】
本願第６発明によれば、２台の撮影手段がそれぞれ撮影した視点が異なる被写体画像から、視点補間画像を簡易な演算で高速に補間できる。
本願第７発明によれば、視点補間画像の視点補間位置を、当該装置の使用者の意思に応じて任意に設定できるので、被写体の視点を撮影手段に厳密に一致させる、被写体の視点を撮影手段から意図的にずらすこと、及び、被写体の視点を動的に変化させる等の視点変更が可能となる。
【図面の簡単な説明】
【００２６】
【図１】本発明の第１実施形態に係る表示・撮影装置の全体構成を示すブロック図である。
【図２】図１の表示・撮影装置の外観を示す図である。
【図３】図１の画像補間手段の構成を示すブロック図である。
【図４】図３のメッシュ生成手段を説明する図である。
【図５】図３の包含判定手段を説明する図である。
【図６】図３の画像補間手段の動作を示すフローチャートである。
【図７】本発明の第１実施形態の変形例に係る表示・撮影装置の外観を示す図である。
【図８】本発明の第１実施形態において、画像補間手段の構成を示すブロック図である。
【図９】図８の画像補間手段の動作を示すフローチャートである。
【図１０】本発明の第３実施形態に係る表示・撮影装置の外観を示す図である。
【図１１】本発明の第３実施形態に係る表示・撮影装置の全体構成を示すブロック図である。
【図１２】本発明の参考例において、撮影手段及び被写体の配置を説明する図である。
【図１３】図１２の第１撮影カメラが撮影した被写体画像を示す図である。
【図１４】図１２の第２撮影カメラが撮影した被写体画像を示す図である。
【図１５】図１２の表示・撮影装置が補間した視点補間画像を示す図である。
【発明を実施するための形態】
【００２７】
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。
【００２８】
（第１実施形態：モーフィング処理）
［表示・撮影装置の全体構成］
図１，図２を参照して、本発明の第１実施形態に係る表示・撮影装置１の全体構成について説明する。表示・撮影装置１は、被写体に被写体視認情報を提示すると共に、被写体を撮影して被写体の任意視点の視点補間画像を補間するものである。図１に示すように、表示・撮影装置１は、第１撮影カメラ（撮影手段）１１ａと、第２撮影カメラ（撮影手段）１１ｂと、表示手段１２と、画像補間手段２０と、視点入力手段３０とを備える。
【００２９】
本実施形態では、表示・撮影装置１は、ニュース番組を撮影する際、アナウンサ等の被写体を撮影しつつ、このアナウンサにニュース番組の読み上げ原稿を表示するカメラプロンプタとして説明する。この場合、表示・撮影装置１は、例えば、アナウンサがカメラ目線となる視点補間画像を補間する。
【００３０】
第１撮影カメラ１１ａ及び第２撮影カメラ１１ｂは、表示手段１２の周囲に配置され、互いに異なる位置から被写体を撮影することで、被写体の視点が異なる被写体画像をそれぞれ出力するものである。以後、第１撮影カメラ１１ａ及び第２撮影カメラ１１ｂを区別しないで説明する場合、撮影手段１１と略記する。
【００３１】
撮影手段１１は、画像サイズ、解像度又はレンズ等の構成が特に制限されず、例えば、テレビカメラ又は小型のビデオカメラである。また、撮影手段１１は、有線通信回線又は無線通信回線を介して、被写体画像を画像補間手段２０に出力する。ここで、第１撮影カメラ１１ａ及び第２撮影カメラ１１ｂは、同一のものを用いることが、画像補間手段２０の演算処理上、好ましい。
【００３２】
また、撮影手段１１は、互いの位置関係が変化しないように表示手段１２に固定することが、画像補間手段２０の演算処理上、好ましい。具体的には、撮影手段１１は、表示手段１２の同一の筐体に組み込んで一体化する、又は、撮影手段１１を表示手段１２の筐体に装着することが考えられる。これによって、表示・撮影装置１は、撮影手段１１同士の相対位置及び相対姿勢を都度、較正する必要がなくなり、製造時又は保守時に較正するだけで良い。さらに、表示・撮影装置１は、設計値を採用することで較正を省略することもできる。また、表示・撮影装置１は、撮影手段１１同士の相対的な位置関係を既知として扱うことができるため、この位置関係を求める必要がなく、画像補間手段２０における演算負荷を軽減できる。このとき、表示・撮影装置１は、撮影手段１１の輝度、色のずれ又はムラ（例えば、周辺減光や撮影手段１１の画素間の個体差）の差異が目立たなくなるように、較正テーブルを予め設定し、この較正テーブルを用いて較正しても良い。
【００３３】
また、撮影手段１１は、表示手段１２の画素配置の軸（例えば、水平方向又は垂直方向）に平行な直線上に、第１光学主点が存在しても良い。さらに、撮影手段１１は、表示手段１２の表示面の中心点Ｃで点対称となるように、表示手段１２の周囲に配置することが好ましい。例えば、図２に示すように、第１撮影カメラ１１ａ及び第２撮影カメラ１１ｂは、表示手段１２の表示面１２ａの中心点Ｃで点対称となるように、表示手段１２の左右に配置する。このとき、第１撮影カメラ１１ａ及び第２撮影カメラ１１ｂは、表示手段１２の画素配置の水平軸方向と平行な直線上に第１光学主点が存在する。また、第１撮影カメラ１１ａ及び第２撮影カメラ１１ｂは、その光軸が、表示面１２ａの左辺の中点と、右辺の中点とを結んだ直線と交わる。さらに、第１撮影カメラ１１ａ及び第２撮影カメラ１１ｂは、その光軸が、表示面１２ａの法線方向と平行である。
【００３４】
以後、第ｊ番目の撮影カメラ（ｊは１以上整数）が撮影した被写体画像をＩｊとする。すなわち、第１撮影カメラ１１ａが撮影した被写体画像をＩ１とし、第２撮影カメラ１１ｂが撮影した被写体画像をＩ２とする。また、被写体画像Ｉｊの座標ξ＝［ｘ，ｙ］Ｔにおける画素値をＩｊ（ξ）とする。さらに、被写体視認情報をＯｕｔとする。なお、Ｔは、転置行列であることを意味する。
【００３５】
表示手段１２は、被写体に対して被写体視認情報Ｏｕｔを表示するブラウン管（ＣＲＴ：Cathode Ray Tube）、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、プラズマディスプレイ（ＰＤＰ：Plasma Display Panel）、ＬＥＤ（Light Emission Diode）ディスプレイ等のディスプレイである。ここで、表示手段１２は、被写体視認情報Ｏｕｔとして、ニュース番組の読み上げ原稿が外部装置（不図示）から入力され、これを表示する。
【００３６】
被写体視認情報Ｏｕｔは、被写体が視認できる文字や画像等の情報であれば、その内容が制限されない。例えば、表示・撮影装置１をテレビ会議システムの端末装置として用いる場合、被写体視認情報Ｏｕｔは、相手の顔を撮影した画像である。なお、被写体視認情報Ｏｕｔは、外部装置から入力されることに制限されず、画像補間手段２０が補間した視点補間画像Ｊとしても良い。
【００３７】
画像補間手段２０は、撮影手段１１が出力した視点が異なる被写体画像Ｉｊから、補間処理によって、視点補間画像Ｊを補間するものである。以後、画像補間手段２０が補間した視点補間画像をＪとして説明する。ここで、画像補間手段２０は、例えば、撮影手段１１で撮影された被写体画像Ｉｊ間でモーフィング処理を行い、視点補間画像Ｊを補間する。例えば、画像補間手段２０は、前記した非特許文献１に記載の技術によって、左右視点で撮影された被写体の顔に対して、モーフィング処理を行って正面顔の視点補間画像Ｊを補間できる。
【００３８】
また、例えば、画像補間手段２０は、第１撮影カメラ１１ａが撮影した被写体画像Ｉ１内の全て又は一部の画素が、第２撮影カメラ１１ｂが撮影した被写体画像Ｉ２内のどの画素に対応するのかを照合し、この対応関係に基づいて、視点補間画像Ｊを補間しても良い。ここで、画像補間手段２０は、表示手段１２の筐体内部に格納したため、図２には図示していない。なお、画像補間手段２０の構成は、後記する。
【００３９】
視点入力手段３０は、視点補間位置を入力するための、スライダ、回転式つまみ、キーボード等のインタフェースである。ここでは、図２に示すように、視点入力手段３０は、
つまみをスライドさせて、視点補間位置を第１撮影カメラ１１ａの側（左側）から第２撮影カメラ１１ｂの側（右側）までの間で入力可能なスライダである。そして、視点入力手段３０は、ケーブルを介して画像補間手段２０と接続され、つまみの位置に応じて、第１撮影カメラ１１ａから第２撮影カメラ１１ｂまでの間における視点補間位置を示す数値（後記する係数ｋ、係数ｋは０≦ｋ≦１を満たす）を、視点補間位置設定信号として画像補間手段２０に出力する。例えば、視点入力手段３０は、つまみが左端に位置するときは視点補間位置設定信号「０」を出力し、つまみが中央に位置するときは視点補間位置設定信号「０．５」を出力し、つまみが右端に位置するときは視点補間位置設定信号「１」を出力する。これによって、表示・撮影装置１は、視点補間画像の視点補間位置を、使用者の意思に応じて任意に設定できるので、被写体の視点を撮影手段に厳密に一致させる、被写体の視点を撮影手段から意図的にずらすこと、及び、被写体の視点を動的に変化させる等の視点変更が可能となる。
【００４０】
なお、視点補間位置が一定に定まる場合、表示・撮影装置１は、視点入力手段３０を備えなくとも良い。この場合、表示・撮影装置１は、予め設定された係数ｋ（例えば、０．５）を用いても良い。
【００４１】
［画像補間手段の構成］
以下、図３を参照し、図１の画像補間手段２０の構成について、説明する（適宜図１，図２参照）。図３に示すように、画像補間手段２０は、特徴点抽出手段２１と、照合手段２２と、中割座標算出手段２３と、メッシュ生成手段（三角領域生成手段）２４と、走査手段２５と、包含判定手段２６と、座標算出手段２７ａ（第１の座標算出手段）と、座標算出手段２７ｂ（第２の座標算出手段）と、画素値算出手段２８と、フレームメモリ（記憶手段）２９とを備える。
【００４２】
特徴点抽出手段２１は、第１撮影カメラ１１ａから被写体画像Ｉ１が入力され、被写体画像Ｉ１の特徴（画像的特徴）を示す特徴点を３以上抽出すると共に、特徴点の座標を出力するものである。ここで、特徴点抽出手段２１は、例えば、局所的に、コーナー状の空間的輝度変化が現れる画素を特徴点として抽出する。この手法の詳細は、文献「コーナー検出法 C.Harris and M.Stephens."A combined corner and edge detector."Proceedings of the 4th Alvey Vision Conference:pp.147-151(1988).」に記載されている。
【００４３】
ここでは、特徴点抽出手段２１は、Ｎ個（Ｎは３以上の整数）の特徴点が集合である特徴点の座標列（α（１），α（２），・・・，α（Ｎ））を照合手段２２に出力する。なお、Ｎ個中ｎ番目の特徴点の座標をα（ｎ）=［αｘ（ｎ），αｙ（ｎ）］Ｔとする。
【００４４】
なお、被写体画像Ｉ１の特徴（画像的特徴）とは、ある視点で撮影された被写体画像Ｉ１のある点（画素）と、別の視点で撮影された被写体画像Ｉ２のある点（画素）とが、同一被写体の同一部位に対応するか否かを照合できるような、輝度、色度又はこれらの空間的配置等の数値である。また、照合に適する画像的特徴を有する特徴点とは、画像的特徴が、同じ被写体画像Ｉ１内の別の画素よりも際立って差異のある画素の座標をいう。
【００４５】
照合手段２２は、第１撮影カメラ１１ａが撮影した被写体画像Ｉ２から、特徴点抽出手段２１が抽出した特徴点α（ｎ）に対応する対応点β（ｎ）をエピポーラ線上で照合すると共に、照合した対応点β（ｎ）の座標を出力するものである。例えば、照合手段２２は、画像的特徴を示す数値がある閾値を超えている、画像的特徴が他の画素における平均値から離れている等の基準によって照合を行う。ここで、照合手段２２は、対応点が照合できた場合、その特徴点α（ｎ）の列を、中割座標算出手段２３、メッシュ生成手段２４及び座標算出手段２７ａに出力する。また、照合手段２２は、その特徴点α（ｎ）に照合できた対応点β（ｎ）の列を中割座標算出手段２３及び座標算出手段２７ｂに出力する。例えば、特徴点抽出手段２１が４個（Ｎ＝４）の特徴点の座標列（α（１），α（２），α（３），α（４））を出力したとする。このうち、第２個目の特徴点α（２）を除いた特徴点の座標列（α（１），α（３），α（４））について、対応点が照合できた場合、照合手段２２は、対応点の座標列（β（１），β（３），β（４））を出力する。
【００４６】
以後の説明を簡略化するため、特徴点の座標列（ａ（１），ａ（２），・・・，ａ（Ｍ））と、対応点の座標列（ｂ（１），ｂ（２），・・・，ｂ（Ｍ））と置き換える。このＭは、照合できた座標対の総数を意味し、０以上Ｎ以下の値となる。
【００４７】
もし、前記したＭが２以下の場合には、画像補間手段２０は、以下のような対応を行い、Ｍが３以上となるようにする。
（１）特徴点抽出手段２１が抽出する特徴点の数を増やす。
（２）予め設定した座標対（例えば、([０，０]Ｔ，[０，０]Ｔ)、([０，Ｖ−１]Ｔ，[０，Ｖ−１]Ｔ)、([Ｈ−１，０]Ｔ，[Ｈ−１，０]Ｔ)、([Ｈ−１，Ｖ−１]Ｔ，[Ｈ−１，Ｖ−１]Ｔ)）を幾つか付け足す（なお、Ｈは画像の水平画素数、Ｖは画像の垂直画素数）。
（３）画像４隅を対応づけた４個の座標対([０，０]Ｔ，[０，０]Ｔ)、([０，Ｖ−１]Ｔ，[０，Ｖ−１]Ｔ)、([Ｈ−１，０]Ｔ，[Ｈ−１，０]Ｔ)、([Ｈ−１，Ｖ−１]Ｔ，[Ｈ−１，Ｖ−１]Ｔ)を全て付け足す。
【００４８】
中割座標算出手段２３は、視点補間位置を示す係数ｋに対応点ｂ（ｍ）の座標を乗じた値と、係数ｋから１を減算した値に特徴点ａ（ｍ）の座標を乗じた値との和を中割座標ｃ（ｍ）として算出するものである。ここで、中割座標算出手段２３は、照合手段２２からの特徴点の座標列（ａ（１），ａ（２），・・・，ａ（Ｍ））と、対応点の座標列（ｂ（１），ｂ（２），・・・，ｂ（Ｍ））と、視点入力手段３０からの視点補間位置設定信号（係数ｋ）とに基づいて、下記式（１）により、中割座標（ｃ（ｍ））の列を算出する。
【００４９】
【数１】
2010278989.tif 000003
【００５０】
なお、式（１）では、ｃ（ｍ）が中割座標を示し、ｋが係数を示し、ａ（ｍ）が特徴点の座標を示し、ｂ（ｍ）が特徴点の座標を示す。また、ｍは、１≦ｍ≦Ｍを満たす整数である。
【００５１】
なお、前記したように、撮影手段１１同士の相対的な位置関係を求めないことから、この係数ｋは、第１撮影カメラ１１ａから第２撮影カメラ１１ｂまでを結んだ線分上における視点補間位置を示すことになる。
【００５２】
メッシュ生成手段２４は、中割座標ｃ（ｍ）の３点を結んだ中割三角領域（中割三角パッチ）を１以上生成するものである。ここで、メッシュ生成手段２４は、照合手段２２からの特徴点の座標列（ａ（１），ａ（２），・・・，ａ（Ｍ））に基づいて、特徴点の三角パッチを１個以上生成する。すなわち、メッシュ生成手段２４は、座標列の特徴点のうちの３点を結んだ三角形をＵ個（Ｕは１以上の整数）選択する。ここで、ｕ番目の三角形Ｔｕの３頂点の座標に対応する特徴点の座標列（ａ（１），ａ（２），・・・，ａ（Ｍ））の上付き添え字の組を適当な順序で並べ、数列(ｐu，ｑu，ｒu)とする。なお、ｕは、１≦ｕ≦Ｕを満たす整数である。
【００５３】
ここで、メッシュ生成手段２４は、互いに重ならず、かつ、特徴点の座標列（ａ（１），ａ（２），・・・，ａ（Ｍ））の凸包内を完全に覆い尽くすように三角パッチを生成することが好ましい。この場合、メッシュ生成手段２４は、例えば、ドロネー網生成（Delaunay Triangulation）アルゴリズムを用いると良い。そして、図４に示すように、メッシュ生成手段２４は、三角形Ｔuの３頂点（３個の特徴点）に対応する３個の中割座標(ｃu（ｐ），ｃu（ｑ），ｃu（ｒ）)を３点結んだ中割三角パッチＳuを生成する。そして、メッシュ生成手段２４は、中割三角パッチＳｕを包含判定手段２６に出力する。なお、メッシュ生成手段２４が、請求項に記載の三角領域生成手段に相当する。
【００５４】
走査手段２５は、ラスタスキャンによって、視点補間画像Ｊでの全画素にそれぞれ対応するスキャン画素の座標ξを包含判定手段２６とフレームメモリ２９とに出力するものである。ここで、走査手段２５は、例えば、視点補間画像Ｊ内の一番上のライン（走査線）から順次下へ、かつ走査線内は一番左の画素から右へ向かう順序でスキャン画素の座標ξを順次生成する。
【００５５】
包含判定手段２６は、スキャン画素の座標ξに基づいて、スキャン画素が中割三角パッチＳu 何れに含まれるか判定すると共に、含まれると判定された中割三角パッチＳu内でのスキャン画素の座標ξ（ξ＝［ｆ，ｇ］Ｔ）を出力するものである。ここで、包含判定手段２６は、スキャン画素を中割三角パッチＳu （中割三角パッチＳuの境界を含む）の添え字ｕを、ｖに置き換えて出力する。包含判定手段２６は、例えば、スキャン画素が複数の中割三角パッチＳu に含まれる場合、下記式（２）に示すように、中割三角パッチＳu の番号ｖの最小値を座標算出手段２７ａ，２７ｂに出力する。
【００５６】
【数２】
2010278989.tif 000004
【００５７】
なお、式（２）では、ｍｉｎが最小値を求める関数を示し、ξがスキャン画素の座標を示し、Ｔｕが三角パッチの各頂点を示す。
【００５８】
また、包含判定手段２６は、この中割三角パッチＳu内でのスキャン画素の座標［ｆ，ｇ］Ｔを座標算出手段２７ａ，２７ｂに出力する。ここで、図５に示すように、この座標［ｆ，ｇ］Ｔは、ｃｖ（ｐ）を原点とし、ｃｖ（ｑ）−ｃｖ（ｐ）方向をｆ軸とし、ｃｖ（ｒ）−ｃｖ（ｐ）方向をｇ軸とする。さらに、この座標［ｆ，ｇ］Ｔは、点ｃｖ（ｑ）においてｆ軸座標が１となり、点ｃｖ（ｒ）においてｇ軸座標が１となるようにスケーリングした座標系で表現する。
【００５９】
座標算出手段２７ａは、予め設定された対応関係に基づいて、中割三角パッチＳu内でのスキャン画素の座標［ｆ，ｇ］Ｔに対応する被写体画像Ｉ１の画素の座標を第１補間座標ξ１として算出するものである。ここで、座標算出手段２７ａは、予め設定された対応関係としての下記式（３）を用いて、包含判定手段２６からの番号ｖと中割三角パッチＳu内でのスキャン画素の座標［ｆ，ｇ］Ｔとが、被写体画像Ｉ１のどの画素に対応するか求め、これを第１補間座標ξ１として画素値算出手段２８に出力する。なお、座標算出手段２７ａが、請求項に記載の第１の座標算出手段に相当する。
【００６０】
【数３】
2010278989.tif 000005
【００６１】
なお、式（３）では、ξ１が第１補間座標を示し、ｆがスキャン画素のｆ軸座標を示し、ｇがスキャン画素のｇ軸座標を示し、ａｕ（ｐ）〜ａｕ（ｒ）が特徴点の座標を示す。
【００６２】
座標算出手段２７ｂは、予め設定された対応関係に基づいて、中割三角パッチＳu内でのスキャン画素の座標［ｆ，ｇ］Ｔに対応する被写体画像Ｉ２の画素の座標を第２補間座標ξ２として算出するものである。ここで、座標算出手段２７ｂは、予め設定された対応関係としての下記式（４）を用いて、包含判定手段２６からの番号ｖと中割三角パッチＳu内でのスキャン画素の座標［ｆ，ｇ］Ｔとが、被写体画像Ｉ２のどの画素に対応するか求め、これを第２補間座標ξ２として画素値算出手段２８に出力する。なお、座標算出手段２７ｂが、請求項に記載の第２の座標算出手段に相当する。
【００６３】
【数４】
2010278989.tif 000006
【００６４】
なお、式（４）では、ξ２が第２補間座標を示し、ｆがスキャン画素のｆ軸座標を示し、ｇがスキャン画素のｇ軸座標を示し、ｂｕ（ｐ）〜ｂｕ（ｒ）が対応点の座標を示す。
【００６５】
画素値算出手段２８は、係数ｋに座標算出手段２７ｂが算出した第２補間座標の画素値Ｉ２（ξ２）を乗じた値と、１から係数ｋを減算した値に座標算出手段２７ａが算出した第１補間座標の画素値Ｉ１（ξ１）を乗じた値との和をスキャン画素の画素値Ｊ（ξ）として算出するものである。ここで、画素値算出手段２８は、下記式（５）を用いて、スキャン画素の画素値を算出する。
【００６６】
【数５】
2010278989.tif 000007
【００６７】
なお、式（５）では、Ｊ（ξ）がスキャン画素の画素値を示し、ｋが係数を示し、Ｉ１（ξ１）が第１補間座標の画素値を示し、Ｉ２（ξ２）が第２補間座標の画素値を示す。
【００６８】
フレームメモリ２９は、画素値算出手段２８が算出したスキャン画素の画素値Ｊ（ξ）を、走査手段２５で走査されたスキャン画素の座標ξに対応させて所定のメモリアドレスに格納し、視点補間画像Ｊとして記憶する記憶手段である。また、フレームメモリ２９は、記憶した視点補間画像Ｊが、外部装置から参照される。なお、フレームメモリ２９が、請求項に記載の記憶手段に相当する。
【００６９】
［画像補間手段の動作］
以下、図６を参照し、図３の画像補間手段２０の動作について、説明する（適宜図３参照）。まず、画像補間手段２０は、特徴点抽出手段２１によって、被写体画像Ｉ１の特徴を示す特徴点ａ（ｍ）を３以上抽出する（ステップＳ１：特徴点を抽出）。また、画像補間手段２０は、照合手段２２によって、第１撮影カメラ１１ａが撮影した被写体画像Ｉ２から、特徴点抽出手段２１が抽出した特徴点ａ（ｍ）に対応する対応点ｂ（ｍ）をエピポーラ線上で照合する（ステップＳ２：対応点の照合）。
【００７０】
ステップＳ２の処理に続いて、画像補間手段２０は、中割座標算出手段２３によって、視点補間位置を示す係数ｋに対応点ｂ（ｍ）の座標を乗じた値と、係数ｋから１を減算した値に特徴点ａ（ｍ）の座標を乗じた値との和を中割座標ｃ（ｍ）として算出する（ステップＳ３：中割座標を算出）。また、画像補間手段２０は、メッシュ生成手段２４によって、中割三角パッチＳuを生成する（ステップＳ４：中割三角パッチを生成）。
【００７１】
ステップＳ４の処理に続いて、画像補間手段２０は、走査手段２５によって、ラスタスキャンで視点補間画像Ｊでの全画素にそれぞれ対応するスキャン画素の座標ξを出力する（ステップＳ５：スキャン画素の座標を出力）。また、画像補間手段２０は、包含判定手段２６によって、スキャン画素の座標ξに基づいて、のスキャン画素が中割三角パッチＳu の何れに含まれるか判定すると共に、含まれると判定された中割三角パッチＳu 内でのスキャン画素の座標ξ（ξ＝［ｆ，ｇ］Ｔ）を出力する（ステップＳ６：スキャン画素を包含する中割三角パッチを判定）。
【００７２】
ステップＳ６の処理に続いて、画像補間手段２０は、座標算出手段２７ａによって、予め設定された対応関係に基づいて、中割三角パッチＳu内でのスキャン画素の座標［ｆ，ｇ］Ｔに対応する被写体画像Ｉ１の画素の座標を第１補間座標ξ１として算出する（ステップＳ７：第１補間座標の算出）。
【００７３】
ステップＳ７の処理に続いて、画像補間手段２０は、座標算出手段２７ｂによって、予め設定された対応関係に基づいて、中割三角パッチＳｕ内でのスキャン画素の座標［ｆ，ｇ］Ｔに対応する被写体画像Ｉ２の画素の座標を第２補間座標ξ２として算出する（ステップＳ８：第２補間座標の算出）。
【００７４】
ステップＳ８の処理に続いて、画像補間手段２０は、画素値算出手段２８によって、係数ｋに座標算出手段２７ｂが算出した第２補間座標ξ２の画素値を乗じた値と、１から係数ｋを減算した値に座標算出手段２７ａが算出した第１補間座標ξ１の画素値を乗じた値との和をスキャン画素の画素値Ｊ（ξ）として算出する（ステップＳ９：画素値の算出）。その後、画像補間手段２０は、フレームメモリ２９に、画素値算出手段２８が算出したスキャン画素の画素値Ｊ（ξ）をスキャン画素の座標［ｆ，ｇ］Ｔに対応させた視点補間画像Ｊとして記憶する。
【００７５】
以上、本発明の第１実施形態に係る表示・撮影装置１は、光学素子や遮光手段を備える必要がないので、小型化、軽量化を図ることができ、簡易な構成にできる。また、本発明の第１実施形態に係る表示・撮影装置１は、光学素子や遮光手段を備える必要がないので、被写体への視野角を広くすることができる。
【００７６】
また、本発明の第１実施形態に係る表示・撮影装置１は、被写体に被写体視認情報を提示しつつ、被写体の任意視点（例えば、被写体が撮影手段を正面視した視点）の視点補間画像を補間できるので、視点補間画像に含まれる被写体が自然な状態である。さらに、本発明の第１実施形態に係る表示・撮影装置１は、画像補間手段２０の数値演算によって視点補間画像を補間するため、表示手段１２に対する撮影手段１１の光軸の位置を、ハーフミラー等の光学素子を介せず瞬時に移動することができる。このため、本発明の第１実施形態に係る表示・撮影装置１は、ネットワーク等を介して、遠隔地からの光軸調整が容易となるほか、光軸（すなわち視点）の移動を積極的に演出に用いることができる。
【００７７】
（変形例）
なお、本発明の第１実施形態では、第１撮影カメラ１１ａ及び第２撮影カメラ１１ｂは、表示手段１２の左右に配置したが、撮影手段１１の配置は、これに限定されない。以下、図７を参照し、第１撮影カメラ１１ａ及び第２撮影カメラ１１ｂを表示手段１２の上下に配置した表示・撮影装置１Ｂを、本発明の変形例として説明する。
【００７８】
図７に示すように、第１撮影カメラ１１ａ及び第２撮影カメラ１１ｂは、表示手段１２の表示面１２ａの中心点Ｃで点対称となるように、表示手段１２の上下に配置する。
【００７９】
視点入力手段３０は、つまみをスライドさせて、視点補間位置を第１撮影カメラ１１ａの側（上側）から第２撮影カメラ１１ｂの側（下側）までの間で入力可能なスライダである。そして、視点入力手段３０は、つまみの位置に応じて、第１撮影カメラ１１ａから第２撮影カメラ１１ｂまでの間における視点補間位置を示す数値（係数ｋ）を、視点補間位置設定信号として出力する。例えば、視点入力手段３０は、つまみが上端に位置するときは視点補間位置設定信号「０」を出力し、つまみが中央に位置するときは視点補間位置設定信号「０．５」を出力し、つまみが下端に位置するときは視点補間位置設定信号「１」を出力する。
【００８０】
このようにして、本発明の変形例に係る表示・撮影装置１Ｂは、上下方向に視点補間画像を補間できる。なお、表示手段１２及び画像補間手段２０は、図１と同様のものであるため、説明を省略する。
【００８１】
（第２実施形態：注目ライン毎の補間処理）
以下、図８を参照し、本発明の第２実施形態に係る表示・撮影装置ついて、第１実施形態と異なる点を主に説明する。具体的には、図３の画像補間手段２０がモーフィング処理を行っているのに対し、図８の画像補間手段２０Ｂは、ライン毎の補間処理を行っている点が大きく相違する。なお、本発明の第２実施形態に係る表示・撮影装置の全体構成は、図１と同様のものであるため、説明を省略する。
【００８２】
［画像補間手段の構成］
図８に示すように、画像補間手段２０Ｂは、特徴点抽出手段４１と、照合手段４２と、走査手段２５と、座標算出手段４３と、画素値算出手段２８と、フレームメモリ（記憶手段）２９とを備える。
【００８３】
特徴点抽出手段４１は、被写体画像Ｉ１が入力され、被写体画像Ｉ１の特徴を示す特徴点を注目ライン上で抽出すると共に、特徴点の座標を出力するものである。ここで、特徴点抽出手段４１は、被写体画像Ｉ１の垂直座標ｙの注目ライン上から、照合に適する画像的特徴を有する特徴点を１点以上抽出する。例えば、特徴点抽出手段４１は、前記したコーナー検出法により特徴点を抽出する。なお、特徴点の数は、１以上の固定値としても良く、１以上で可変としても良い。
【００８４】
照合手段４２は、被写体画像Ｉ２から、特徴点抽出手段４１が抽出した特徴点に対応する対応点を注目ライン上で照合すると共に、照合した対応点の座標を出力するものである。ここで、照合が成功した特徴点と対応点との対の総数をＭ個とする。また、照合手段４２は、これらのうち、ｍ番目（ｍは１≦ｍ≦Ｍを満たす整数）の対における特徴点の座標をａ（ｍ）とし、対応点の座標をｂ（ｍ）とする。そして、照合手段４２は、特徴点の座標列（ａ（１），ａ（２），・・・，ａ（Ｍ））と、対応点の座標列（ｂ（１），ｂ（２），・・・，ｂ（Ｍ））とを座標算出手段４３に出力する。
【００８５】
このとき、照合手段４２は、被写体画像Ｉ１における注目ラインの左端の点と、被写体画像Ｉ２における注目ラインの左端の点とが照応するものとみなし、これら座標を座標列に含めて出力しても良い。また、照合手段４２は、被写体画像Ｉ１における注目ラインの右端の点と、被写体画像Ｉ２における注目ラインの左端の点とが照応するものとみなし、これら座標を座標列に含めて出力しても良い。
【００８６】
走査手段２５は、図３と同様のものであるため、説明を省略する。なお、図８では、走査手段２５から特徴点抽出手段４１及び照合手段４２への上側矢印が、スキャン画素の垂直方向の座標信号を示す。また、走査手段２５から座標算出手段４３への下側矢印が、スキャン画素の水平方向の座標信号を示す。
【００８７】
ここで、注目ラインとは、被写体画像Ｉ１及び被写体画像Ｉ２において、走査手段２５が走査しているスキャン画素の垂直座標ｙと同一の垂直座標を通過する水平方向のラインである。つまり、注目ラインとは、走査手段２５が走査に応じて、上側から下側まで順次移動する被写体画像Ｉ１内及び被写体画像Ｉ２内での水平方向のラインである。
【００８８】
座標算出手段４３は、視点補間位置を示す係数ｋに対応点の座標を乗じた値と、１から係数を減算した値に特徴点の座標を乗じた値との和を中割座標として算出し、中割座標から第１補間座標ξ１と第２補間座標ξ２とを算出する予め設定された式に基づいて（例えば、下記式（６）参照）、算出した中割座標に対応する第１補間座標ξ１と第２補間座標ξ２を算出するものである。
【００８９】
まず、座標算出手段４３は、照合手段４２からの特徴点の座標列（ａ（１），ａ（２），・・・，ａ（Ｍ））と、対応点の座標列（ｂ（１），ｂ（２），・・・，ｂ（Ｍ））と、視点入力手段３０からの視点補間位置設定信号（係数ｋ）とに基づいて、下記式（６）により、中割座標の列（ｃ（１），ｃ（２），・・・，ｃ（Ｍ））を算出する。
【００９０】
【数６】
2010278989.tif 000008
【００９１】
なお、式（６）では、ｃ（ｍ）が中割座標を示し、ｋが係数を示し、ａ（ｍ）が特徴点の座標を示し、ｂ（ｍ）が特徴点の座標を示す。
【００９２】
また、座標算出手段４３は、中割座標の列（ｃ（１），ｃ（２），・・・，ｃ（Ｍ））の中から、走査手段２５が走査したスキャン画素の水平座標ｘの左側最近傍（座標ｘと同じ水平座標を含む）に存在する水平座標ｃｘ（λ）、及び、右側最近傍（座標ｘと同じ水平座標を含む）に存在する座標の水平座標をｃｘ（μ）に着目する。そして、座標算出手段４３は、予め設定された式（７）を用いて、第１補間座標ξ１と第２補間座標ξ２とを算出し、画素値算出手段２８に出力する。
【００９３】
【数７】
2010278989.tif 000009
【００９４】
なお、式（７）では、ξ１が第１補間座標を示し、ξ２が第２補間座標を示し、φが内分比を示し、ｘが水平座標を示し、ｃｘ（λ）が左側最近傍に存在する水平座標を示し、ｃｘ（μ）が右側最近傍に存在する水平座標を示す。また、λは１≦λ≦Ｍを満たす整数であり、μは１≦μ≦Ｍを満たす整数である。
【００９５】
画素値算出手段２８及びフレームメモリ２９は、図３の各手段と同一のものであるため、説明を省略する。
【００９６】
［画像補間手段の動作］
以下、図９を参照し、図８の画像補間手段２０Ｂの動作について、説明する（適宜図８参照）。まず、画像補間手段２０Ｂは、特徴点抽出手段４１によって、被写体画像Ｉ１の特徴を示す特徴点ａ（ｍ）を１点以上、注目ライン上で抽出する（ステップＳ１１：特徴点を抽出）。また、画像補間手段２０Ｂは、照合手段４２によって、被写体画像Ｉ２から、特徴点抽出手段４１が抽出した特徴点ａ（ｍ）に対応する対応点ｂ（ｍ）を注目ライン上で照合する（ステップＳ１２：対応点の照合）。なお、ステップＳ１３の処理は、図６のステップ５と同様のものであるため、説明を省略する。
【００９７】
ステップＳ１３の処理に続いて、画像補間手段２０Ｂは、座標算出手段４３によって、中割座標ｃ（ｍ）を算出する（ステップＳ１４：中割座標を算出）。また、画像補間手段２０Ｂは、予め設定された式（７）を用いて、第１補間座標ξ１を算出し（ステップＳ１５：第１補間座標を算出）、第２補間座標ξ２を算出する（ステップＳ１６：第２補間座標を算出）。
【００９８】
ステップＳ１６の処理に続いて、画像補間手段２０Ｂは、画素値算出手段２８によって、係数ｋに座標算出手段２７ｂが算出した第２補間座標ξ２の画素値を乗じた値と、１から係数ｋを減算した値に座標算出手段２７ａが算出した第１補間座標ξ１の画素値を乗じた値との和をスキャン画素の画素値Ｊ（ξ）として算出する（ステップＳ１７：画素値の算出）。その後、画像補間手段２０Ｂは、フレームメモリ２９に、画素値算出手段２８が算出したスキャン画素の画素値Ｊ（ξ）をスキャン画素の座標ξに対応させた視点補間画像Ｊとして記憶する。
【００９９】
以上、本発明の第２実施形態に係る表示・撮影装置は、第１実施形態と同様に、光学素子や遮光手段を備える必要がないので、簡易な構成で、被写体への視野角を広くすることができる。また、本発明の第２実施形態に係る表示・撮影装置は、第１実施形態と同様に、自然な状態の被写体が視点補間画像に含まれるだけでなく、ネットワーク等を介して、遠隔地からの光軸調整が容易となるほか、光軸（すなわち視点）の移動を積極的な演出に用いることができる。
【０１００】
さらに、本発明の第２実施形態に係る表示・撮影装置は、注目ライン毎に画素値を算出するだけの簡易な演算で視点補間画像を高速に補間できるので、画像補間手段２０Ｂにおける演算負荷をより軽減できる。
【０１０１】
（第３実施形態：撮影手段の他の構成）
以下、図１０を参照し、本発明の第３実施形態について、第１実施形態及び第２実施形態と異なる点を主に説明する。第３実施形態では、撮影手段１１の台数や配置等の構成が、第１実施形態及び第２実施形態と大きく相違する。なお、図１０では、視点入力手段３０の図示及び撮影手段１１の一部符号を省略した。
【０１０２】
図１０（ａ）に示すように、第１撮影カメラ１１ａ及び第２撮影カメラ１１ｂは、表示手段１２の表示面１２ａの中心点Ｃで点対称となるように、表示手段１２の左右に配置する。そして、第３撮影カメラ１１ｃは、表示手段１２の上部中央に配置する。これによって、図１０（ａ）の表示・撮影装置１Ｃは、第１撮影カメラ１１ａと第２撮影カメラ１１ｂと第３撮影カメラ１１ｃとの各第一光学主点を頂点とする三角形の内部（境界を含む）に視点補間位置を設定することができる。
【０１０３】
図１０（ｂ）に示すように、第１撮影カメラ１１ａ及び第２撮影カメラ１１ｂは、表示手段１２の表示面１２ａの中心点Ｃで点対称となるように、表示手段１２の左右に配置する。そして、第３撮影カメラ１１ｃ及び第４撮影カメラ１１ｄは、表示手段１２の表示面１２ａの中心点Ｃで点対称となるように、表示手段１２の上下に配置する。これによって、図１０（ｂ）の表示・撮影装置１Ｃは、第１撮影カメラ１１ａと第３撮影カメラ１１ｃと第２撮影カメラ１１ｂと第４撮影カメラ１１ｄとの各第一光学主点を頂点とする四角形の内部（境界を含む）に視点補間位置を設定することができる。
【０１０４】
図１０（ｃ）に示すように、第１撮影カメラ１１ａ及び第２撮影カメラ１１ｂは、表示手段１２の表示面１２ａの中心点Ｃで点対称となるように、表示手段１２の上下に配置する。そして、第３撮影カメラ１１ｃは、表示手段１２の右側中央に配置する。これによって、図１０（ｃ）の表示・撮影装置１Ｃは、第１撮影カメラ１１ａと第２撮影カメラ１１ｂと第３撮影カメラ１１ｃとの各第一光学主点を頂点とする三角形の内部（境界を含む）に視点補間位置を設定することができる。なお、同様に、第３撮影カメラ１１ｃを表示手段１２の左側中央に配置することにより（不図示）、第１撮影カメラ１１ａと第２撮影カメラ１１ｂと第３撮影カメラ１１ｃとの各第一光学主点を頂点とする三角形の内部（境界を含む）に視点補間位置を設定することができる。
【０１０５】
図１０（ｄ）に示すように、第１撮影カメラ１１ａ及び第４撮影カメラ１１ｄは、表示手段１２の表示面１２ａの中心点Ｃで点対称となるように、表示手段１２の左上及び右下にそれぞれ配置する。そして、第２撮影カメラ１１ｂ及び第３撮影カメラ１１ｃは、表示手段１２の表示面１２ａの中心点Ｃで点対称となるように、表示手段１２の右上及び左下に配置する。これによって、図１０（ｄ）の表示・撮影装置１Ｃは、第１撮影カメラ１１ａと第２撮影カメラ１１ｂと第４撮影カメラ１１ｄと第３撮影カメラ１１ｃとの各第一光学主点を頂点とする四角形の内部（境界を含む）に視点補間位置を設定することができる。
【０１０６】
図１０（ｅ）に示すように、第１撮影カメラ１１ａ及び第２撮影カメラ１１ｂは、表示手段１２の表示面１２ａの中心点Ｃで点対称となるように、表示手段１２の左上及び右下に配置する。これによって、図１０（ｅ）の表示・撮影装置１Ｃは、第１撮影カメラ１１ａと第２撮影カメラ１１ｂとの各第一光学主点を結んだ線分（対角線）上に視点補間位置を設定することができる。
【０１０７】
図１０（ｆ）に示すように、第１撮影カメラ１１ａ〜第１６撮影カメラ１１ｐは、表示手段１２の表示面１２ａの中心点Ｃで点対称となるように、表示手段１２の周りに配置する。これによって、図１０（ｆ）の表示・撮影装置１Ｃは、第１撮影カメラ１１ａ〜第１６撮影カメラ１１ｐの各第一光学主点の凸包（例えば、第１撮影カメラ１１ａ、第５撮影カメラ１１ｅ、第６撮影カメラ１１ｆ、第８撮影カメラ１１ｈ、第９撮影カメラ１１ｉ、第１３撮影カメラ１１ｍ、第１４撮影カメラ１１ｎ、及び、第１６撮影カメラ１１ｐの各第一光学主点を頂点とする八角型）の内部（境界を含む）に視点補間位置を設定できる。
【０１０８】
なお、図１０では、第１撮影カメラ１１ａ及び第２撮影カメラ１１ｂ等を表示手段１２の表示面１２ａの中心点Ｃで点対称となるように配置した例を説明したが、これに限定されない。例えば、表示・撮影装置１Ｃは、第１撮影カメラ１１ａ及び第２撮影カメラ１１ｂを、表示手段１２の垂直軸上又は水平軸上に位置するように配置しても良い（不図示）。
【０１０９】
ここで、撮影手段１１をＬ台とする場合、表示・撮影装置１Ｃは、図３の画像補間手段２０をＬ−１台備え、これらをカスケード状に配置すれば良い（Ｌは２以上の整数）。以下、図１１を参照し、表示・撮影装置１Ｃの全体構成について、図１０（ａ）及び図１０（ｃ）を例（Ｌ＝３）に説明する。
【０１１０】
図１１に示すように、表示・撮影装置１Ｃは、第１撮影カメラ１１ａと、第２撮影カメラ１１ｂと、第３撮影カメラ１１ｃと、表示手段１２と、画像補間手段２０ａと、画像補間手段２０ｃと、視点入力手段３０ａと、視点入力手段３０ｃとを備える。
【０１１１】
なお、第３撮影カメラ１１ｃが撮影した被写体画像をＩ３とし、画像補間手段２０ａが補間した視点補間画像をＪ１とし、画像補間手段２０ｃが補間した視点補間画像をＪ２とする。
【０１１２】
第１撮影カメラ１１ａと、第２撮影カメラ１１ｂと、表示手段１２とは、図１の各手段と同様のものであるため、説明を省略する。
第３撮影カメラ１１ｃは、他の撮影手段１１と中心点Ｃに対して点対称で配置されていない以外、第１撮影カメラ１１ａと、第２撮影カメラ１１ｂと同様のものであるため、説明を省略する。
【０１１３】
視点入力手段３０aは、図１の視点入力手段３０と同様のものであるため、説明を省略する。
視点入力手段３０ｃは、視点入力手段３０ａによって第１撮影カメラ１１ａと第２撮影カメラ１１ｂとを結んだ線分上に設定した仮想的な視点と、第３撮影カメラ１１ｃとを結ぶ線分上における視点補間位置入力すること以外、図１の視点入力手段３０と同様のものであるため、説明を省略する。
【０１１４】
画像補間手段２０ａは、図１の画像補間手段２０と同様に、第１撮影カメラ１１ａが撮影した被写体画像をＩ１と第２撮影カメラ１１ｂが撮影した被写体画像をＩ２とから、視点入力手段３０ａで入力された視点補間位置で、視点補間画像Ｊ１を補間する。そして、画像補間手段２０ａは、視点補間画像Ｊ１を画像補間手段２０ｃに出力する。
【０１１５】
画像補間手段２０ｃは、図１の画像補間手段２０と同様に、画像補間手段２０ａが出力した視点補間画像Ｊ１と第３撮影カメラ１１ｃが撮影した被写体画像をＩ３とから、視点入力手段３０ｃで入力された視点補間位置で、視点補間画像Ｊ２を補間する。そして、画像補間手段２０ａは、視点補間画像Ｊ２を出力する。
【０１１６】
なお、詳細な説明は省略するが、図１０（ｄ）に示すように、撮影手段１１が４台の場合、３台の画像補間手段２０をカスケード状に配置すれば良い。また、図１０（ｆ）に示すように、撮影手段１１が１６台の場合、１５台の画像補間手段２０をカスケード状に配置すれば良い。
【０１１７】
以上のように、表示・撮影装置１Ｃは、画像補間手段２０における演算内容の修正を行うことなく、撮影手段１１の台数を容易に増減できる。このため、表示・撮影装置１Ｃは、視点補間方向の軸数を容易に増減できる。
【０１１８】
（参考例）
以下、図１２を参照し、本発明の参考例に係る表示・撮影装置１Ｄについて、詳細に説明する。図１２に示すように、表示・撮影装置１Ｄは、第１撮影カメラ１１ａ及び第２撮影カメラ１１ｂを５００ミリメートルの間隔で表示手段１２の左右に配置すると想定する。また、表示・撮影装置１Ｄは、第１実施形態と同様、画像補間手段（不図示）が、モーフィング処理によって視点補間画像を補間すると想定する。このとき、表示・撮影装置１Ｄは、視点補間位置を中心点（不図示）に位置する正面視となる位置、つまり、係数ｋを０．５とする。
【０１１９】
また、被写体Ｏｂは、表示手段１２の表示面１２ａの中心点から垂直方向に５００ミリメートルの位置で配置すると想定する。ここで、被写体Ｏｂは、人体頭部の彫刻であり、縦横２５０ミリメートルの大きさであると想定する。また、被写体Ｏｂの目の高さ位置が、第１撮影カメラ１１ａ及び第２撮影カメラ１１ｂの高さ位置と略同じであると想定する。
【０１２０】
この状態において、表示・撮影装置１Ｄは、第１撮影カメラ１１ａ及び第２撮影カメラ１１ｂで被写体Ｏｂを撮影したと想定する。そして、表示・撮影装置１Ｄは、第１撮影カメラ１１ａが撮影した被写体画像Ｉ１と第２撮影カメラ１１ｂが撮影した被写体画像Ｉ２とから、表示・撮影装置１Ｄが視点補間画像Ｊを補間したと想定する。これら想定のもと、以下に説明するように、表示・撮影装置１Ｄは、図１３の被写体画像Ｉ１と図１４の被写体画像Ｉ２とから、図１５の視点補間画像Ｊを合成できると考えられる。なお、図１３〜図１５では、背景の図示を省略した。
【０１２１】
第１撮影カメラ１１ａが被写体Ｏｂを斜め方向から撮影しているため、図１３に示すように、被写体画像Ｉ１は、被写体Ｏｂが正面視した画像にならないと考えられる。また、第２撮影カメラ１１ｂが被写体Ｏｂを斜め方向から撮影しているため、図１４に示すように、被写体画像Ｉ２は、図１３の被写体画像Ｉ１を左右反転させたような画像となり、被写体Ｏｂが正面視した画像にならないと考えられる。
【０１２２】
図１５に示すように、視点補間画像Ｊは、被写体Ｏｂが表示手段１２の表示面１２ａの中心点を見ているような、被写体Ｏｂが正面視した画像になると考えられる。このことから、本発明の参考例に係る表示・撮影装置１Ｄでは、表示手段１２が被写体視認情報を提示していても、実在する被写体Ｏｂが、アイコンタクトのとれている自然な状態で視点補間画像Ｊに含まれると考えられる。
【産業上の利用可能性】
【０１２３】
本発明に係る表示・撮影装置は、カメラプロンプタの他、例えば、テレビ会議システムの端末装置、自動現金自動預け払い機（ＡＴＭ）やエレベータ等の遠隔監視装置として利用できる。
【符号の説明】
【０１２４】
１，１Ｂ，１Ｃ，１Ｄ  表示・撮影装置
１１  撮影手段
１１ａ〜１１ｐ  第１撮影カメラ〜第１６撮影カメラ
１２  表示手段
２０，２０ａ，２０ｂ，２０Ｂ  画像補間手段
２１  特徴点抽出手段
２２  照合手段
２３  中割座標算出手段
２４  メッシュ生成手段（三角領域生成手段）
２５  走査手段
２６  包含判定手段
２７ａ  座標算出手段２７ａ（第１の座標算出手段）
２７ｂ  座標算出手段２７ｂ（第２の座標算出手段）
２８  画素値算出手段
２９  フレームメモリ（記憶手段）
３０  視点入力手段
４１  特徴点抽出手段
４２  照合手段
４３  座標算出手段
【図１】
2010278989.tif 000010
【図２】
2010278989.tif 000011
【図３】
2010278989.tif 000012
【図４】
2010278989.tif 000013
【図５】
2010278989.tif 000014
【図６】
2010278989.tif 000015
【図７】
2010278989.tif 000016
【図８】
2010278989.tif 000017
【図９】
2010278989.tif 000018
【図１０】
2010278989.tif 000019
【図１１】
2010278989.tif 000020
【図１２】
2010278989.tif 000021
【図１３】
2010278989.tif 000022
【図１４】
2010278989.tif 000023
【図１５】
2010278989.tif 000024