(57)【要約】  【課題】  複数の撮影拠点の３Ｄ映像を同時に表示するときの見やすさを向上することのできる３Ｄ映像処理装置を提供する。  【解決手段】  ３Ｄ映像処理装置は、複数の拠点Ａ、Ｂに設置された３Ｄカメラで撮影した３Ｄ映像が入力されると、複数の拠点Ａ、Ｂの３Ｄ映像の各々から注目領域を検出し、注目領域の視差から複数の拠点Ａ、Ｂの３Ｄ映像における注目領域の飛び出し量を求める。そして、３Ｄ映像の各々に含まれる注目領域の飛び出し量を、上記のようにして求めた飛び出し量に基づいて決定される目標調整量に応じて調整し、飛び出し量が調整された複数の拠点Ａ、Ｂの３Ｄ映像を合成して３Ｄマルチ表示映像を生成する。【選択図】  図１
2013055402.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮影拠点に設置されたカメラで撮影したカメラ映像から生成された３Ｄ映像が入力される映像入力部と、
前記複数の撮影拠点の３Ｄ映像の各々から、注目領域を検出する注目領域検出部と、
前記複数の撮影拠点の３Ｄ映像の各々において、検出された前記注目領域の視差から、当該注目領域の飛び出し量を求める飛び出し量計算部と、
前記複数の撮影拠点の３Ｄ映像の各々に含まれる前記注目領域の飛び出し量を、求めた前記飛び出し量に基づいて決定される目標調整量に応じて調整する処理を行う飛び出し量調整部と、
前記注目領域の飛び出し量が調整された前記複数の撮影拠点の３Ｄ映像を合成して、前記複数の撮影拠点の３Ｄ映像が並べられた３Ｄマルチ表示映像を生成する映像合成部と、
を備えたことを特徴とする３Ｄ映像処理装置。
【請求項２】
前記目標調整量は、前記複数の撮影拠点の３Ｄ映像に含まれるすべての前記注目領域の飛び出し量のうちで最大の飛び出し量である目標飛び出し量に基づいて決定され、
前記飛び出し量調整部は、各撮影拠点の３Ｄ映像に含まれる前記注目領域の飛び出し量のうちで最大の飛び出し量を前記目標飛び出し量にあわせるように、各撮影拠点の３Ｄ映像ごとに、前記注目領域の飛び出し量を調整することを特徴とする請求項１に記載の３Ｄ映像処理装置。
【請求項３】
前記目標調整量は、前記複数の撮影拠点の３Ｄ映像に含まれるすべての前記注目領域の飛び出し量のうちで最大の飛び出し量である第１の目標飛び出し量と、前記複数の撮影拠点の３Ｄ映像に含まれるすべての前記注目領域の飛び出し量のうちで最小の飛び出し量である第２の目標飛び出し量とに基づいて決定され、
前記飛び出し量調整部は、各撮影拠点の３Ｄ映像に含まれる前記注目領域の飛び出し量のうちで最大の飛び出し量を前記第１の目標飛び出し量にあわせるとともに、各撮影拠点の３Ｄ映像に含まれる前記注目領域の飛び出し量のうちで最小の飛び出し量を前記第２の目標飛び出し量にあわせるように、各撮影拠点の３Ｄ映像ごとに、前記注目領域の飛び出し量を調整することを特徴とする請求項１に記載の３Ｄ映像処理装置。
【請求項４】
前記目標調整量は、所定の前記撮影拠点の３Ｄ映像における前記注目領域の飛び出し量の平均の飛び出し量である目標飛び出し量に基づいて決定され、
前記飛び出し量調整部は、各撮影拠点の３Ｄ映像に含まれる前記注目領域の飛び出し量の平均の飛び出し量を前記目標飛び出し量にあわせるように、各撮影拠点の３Ｄ映像ごとに、前記注目領域の飛び出し量を調整することを特徴とする請求項１に記載の３Ｄ映像処理装置。
【請求項５】
前記目標調整量は、予め定められた目標飛び出し量に基づいて決定され、
前記飛び出し量調整部は、各撮影拠点の３Ｄ映像に含まれる前記注目領域の飛び出し量のうちで最大の飛び出し量を前記目標飛び出し量にあわせるように、各撮影拠点の３Ｄ映像ごとに、前記注目領域の飛び出し量を調整することを特徴とする請求項１に記載の３Ｄ映像処理装置。
【請求項６】
前記注目領域検出部は、前記複数の撮影拠点の３Ｄ映像の各々に写っている人物の顔領域を、前記注目領域として検出し、
前記飛び出し量調整部は、各撮影拠点の３Ｄ映像から検出された前記注目領域の数が、各撮影拠点の３Ｄ映像に含まれるべき前記注目領域の数と一致したときに、前記注目領域の飛び出し量を調整することを特徴とする請求項１ないし請求項５のいずれかに記載の３Ｄ映像処理装置。
【請求項７】
前記注目領域検出部は、前記複数の撮影拠点の３Ｄ映像の各々に写っている人物の顔領域を、前記注目領域として検出し、
前記飛び出し量調整部は、各撮影拠点の３Ｄ映像から検出された前記注目領域の数に増減があったときに、前記注目領域の飛び出し量を再調整することを特徴とする請求項１ないし請求項６のいずれかに記載の３Ｄ映像処理装置。
【請求項８】
前記３Ｄマルチ表示映像を、各撮影拠点の３Ｄ映像ごとに複数のモニタに分割して表示するときに、前記複数のモニタ間において右目用映像と左目用映像の同期をとる同期処理部を備えたことを特徴とする請求項１ないし請求項７のいずれかに記載の３Ｄ映像処理装置。
【請求項９】
前記３Ｄマルチ表示映像を一つのモニタに表示するときに、前記モニタの画面上における各撮影拠点の３Ｄ映像の表示位置を決定する映像配置決定部と、
各撮影拠点の３Ｄ映像ごとに、前記モニタの画面上における前記３Ｄ映像の表示位置に基づいて、前記３Ｄ映像に含まれる前記注目領域の視点ずれ方向を求める視点ずれ方向計算部と、
各撮影拠点の３Ｄ映像を、各撮影拠点の３Ｄ映像に含まれる前記注目領域を前記視点ずれ方向に基づいて決定される仮想視点から見たときの仮想視点映像に変換する映像変換部と、
を備えたことを特徴とする請求項１ないし請求項７のいずれかに記載の３Ｄ映像処理装置。
【請求項１０】
複数の撮影拠点に設置されたカメラで撮影したカメラ映像から生成された３Ｄ映像が入力されると、前記複数の撮影拠点の３Ｄ映像の各々から、注目領域を検出し、
検出された前記注目領域の視差から、前記複数の撮影拠点の３Ｄ映像における前記注目領域の飛び出し量を求め、
前記３Ｄ映像の各々に含まれる前記注目領域の飛び出し量を、求めた前記飛び出し量に基づいて決定される目標調整量に応じて調整する処理を行い、
前記注目領域の飛び出し量が調整された前記複数の撮影拠点の３Ｄ映像を合成して、前記複数の撮影拠点の３Ｄ映像が並べられた３Ｄマルチ表示映像を生成することを特徴とする３Ｄ映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮影拠点の３Ｄ映像を同時に表示するときの見やすさを向上した３Ｄ映像処理装置に関するものである。
【背景技術】
【０００２】
従来、互いに視差を有するように撮影した２つの映像（右目用映像と左目用映像）を用いて、立体的な映像（３Ｄ映像）を表示する映像処理を行う映像処理装置（３Ｄ映像処理装置）が知られている（例えば、特許文献１参照）。従来の３Ｄ映像処理装置では、同一の被写体の右目映像と左目映像を、それぞれ右目と左目で見られるように表示することにより、被写体（前景）が背景から飛び出して見えるようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２６８４３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の３Ｄ映像処理装置では、一つの映像（３Ｄ映像）を表示することを前提にしており、複数の映像（３Ｄ映像）を同時に表示する場合について特に考慮されていなかった。例えば、テレビ会議システムでは、複数の拠点の映像が一つの画面に同時に表示される。より具体的な例を挙げて説明すると、例えば、３つの会議室がテレビ会議システムで結ばれた場合、１つの会議室（拠点Ｏ）の画面には、他の２つの会議室（拠点Ａと拠点Ｂ）の映像が同時に表示される。
【０００５】
従来の３Ｄ映像処理装置は、複数の３Ｄ映像を同時に表示することについて考慮されておらず、例えば、上記のようなテレビ会議システム等にそのまま適用することはできないという問題があった。すなわち、従来の３Ｄ映像処理装置では、複数の３Ｄ映像（拠点Ａと拠点Ｂの３Ｄ映像）がそのまま表示されてしまうので、複数の３Ｄ映像の間で視差（飛び出し量）が異なる場合には、それら複数の３Ｄ映像を同時に見づらくなるという問題があった。
【０００６】
本発明は、上記従来の問題を解決するためになされたもので、複数の撮影拠点の３Ｄ映像を同時に表示するときの見やすさを向上することのできる３Ｄ映像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の３Ｄ映像処理装置は、複数の撮影拠点に設置されたカメラで撮影したカメラ映像から生成された３Ｄ映像が入力される映像入力部と、前記複数の撮影拠点の３Ｄ映像の各々から、注目領域を検出する注目領域検出部と、前記複数の撮影拠点の３Ｄ映像の各々において、検出された前記注目領域の視差から、当該注目領域の飛び出し量を求める飛び出し量計算部と、前記複数の撮影拠点の３Ｄ映像の各々に含まれる前記注目領域の飛び出し量を、求めた前記飛び出し量に基づいて決定される目標調整量に応じて調整する処理を行う飛び出し量調整部と、前記注目領域の飛び出し量が調整された前記複数の撮影拠点の３Ｄ映像を合成して、前記複数の撮影拠点の３Ｄ映像が並べられた３Ｄマルチ表示映像を生成する映像合成部と、を備えた構成を有している。
【０００８】
この構成により、複数の撮影拠点の３Ｄ映像が並んで表示されるときに、各撮影拠点の３Ｄ映像間で視差が見やすくなるように、各撮影拠点の３Ｄ映像に含まれる注目領域（例えば、人の顔など）の飛び出し量が適切に調整される。具体的には、各撮影拠点の３Ｄ映像の注目領域の飛び出し量が、各注目領域の飛び出し量から決定される目標調整量に応じて調整される。これにより、複数の撮影拠点の３Ｄ映像を同時に表示するときの見やすさが向上する。
【０００９】
また、本発明の３Ｄ映像処理装置では、前記目標調整量は、前記複数の撮影拠点の３Ｄ映像に含まれるすべての前記注目領域の飛び出し量のうちで最大の飛び出し量である目標飛び出し量に基づいて決定され、前記飛び出し量調整部は、各撮影拠点の３Ｄ映像に含まれる前記注目領域の飛び出し量のうちで最大の飛び出し量を前記目標飛び出し量にあわせるように、各撮影拠点の３Ｄ映像ごとに、前記注目領域の飛び出し量を調整する構成を有している。
【００１０】
この構成により、各撮影拠点の３Ｄ映像に含まれる注目領域の飛び出し量のうちで最大の飛び出し量が、複数の撮影拠点の３Ｄ映像に含まれるすべての注目領域の飛び出し量のうちで最大の飛び出し量（目標飛び出し量）にあわせられる。これにより、複数の撮影拠点の３Ｄ映像が同時に表示されるときに、各撮影拠点の３Ｄ映像間で視差が見やすくなる。
【００１１】
また、本発明の３Ｄ映像処理装置では、前記目標調整量は、前記複数の撮影拠点の３Ｄ映像に含まれるすべての前記注目領域の飛び出し量のうちで最大の飛び出し量である第１の目標飛び出し量と、前記複数の撮影拠点の３Ｄ映像に含まれるすべての前記注目領域の飛び出し量のうちで最小の飛び出し量である第２の目標飛び出し量とに基づいて決定され、前記飛び出し量調整部は、各撮影拠点の３Ｄ映像に含まれる前記注目領域の飛び出し量のうちで最大の飛び出し量を前記第１の目標飛び出し量にあわせるとともに、各撮影拠点の３Ｄ映像に含まれる前記注目領域の飛び出し量のうちで最小の飛び出し量を前記第２の目標飛び出し量にあわせるように、各撮影拠点の３Ｄ映像ごとに、前記注目領域の飛び出し量を調整する構成を有している。
【００１２】
この構成により、各撮影拠点の３Ｄ映像に含まれる注目領域の飛び出し量のうちで最大の飛び出し量が、複数の撮影拠点の３Ｄ映像に含まれるすべての注目領域の飛び出し量のうちで最大の飛び出し量（第１の目標飛び出し量）にあわせられるとともに、各撮影拠点の３Ｄ映像に含まれる注目領域の飛び出し量のうちで最小の飛び出し量が、複数の撮影拠点の３Ｄ映像に含まれるすべての注目領域の飛び出し量のうちで最小の飛び出し量（第２の目標飛び出し量）にあわせられる。これにより、複数の撮影拠点の３Ｄ映像が同時に表示されるときに、各撮影拠点の３Ｄ映像間で視差が見やすくなる。
【００１３】
また、本発明の３Ｄ映像処理装置では、前記目標調整量は、所定の前記撮影拠点の３Ｄ映像における前記注目領域の飛び出し量の平均の飛び出し量である目標飛び出し量に基づいて決定され、前記飛び出し量調整部は、各撮影拠点の３Ｄ映像に含まれる前記注目領域の飛び出し量の平均の飛び出し量を前記目標飛び出し量にあわせるように、各撮影拠点の３Ｄ映像ごとに、前記注目領域の飛び出し量を調整する構成を有している。
【００１４】
この構成により、各撮影拠点の３Ｄ映像に含まれる注目領域の飛び出し量の平均の飛び出し量が、所定の撮影拠点の３Ｄ映像における注目領域の飛び出し量の平均の飛び出し量（目標飛び出し量）にあわせられる。これにより、複数の撮影拠点の３Ｄ映像が同時に表示されるときに、各撮影拠点の３Ｄ映像間で視差が見やすくなる。
【００１５】
また、本発明の３Ｄ映像処理装置では、前記目標調整量は、予め定められた目標飛び出し量に基づいて決定され、前記飛び出し量調整部は、各撮影拠点の３Ｄ映像に含まれる前記注目領域の飛び出し量のうちで最大の飛び出し量を前記目標飛び出し量にあわせるように、各撮影拠点の３Ｄ映像ごとに、前記注目領域の飛び出し量を調整する構成を有している。
【００１６】
この構成により、各撮影拠点の３Ｄ映像に含まれる注目領域の飛び出し量のうちで最大の飛び出し量が、予め定められた目標飛び出し量にあわせられる。これにより、複数の撮影拠点の３Ｄ映像が同時に表示されるときに、各撮影拠点の３Ｄ映像間で視差が見やすくなる。
【００１７】
また、本発明の３Ｄ映像処理装置では、前記注目領域検出部は、前記複数の撮影拠点の３Ｄ映像の各々に写っている人物の顔領域を、前記注目領域として検出し、前記飛び出し量調整部は、各撮影拠点の３Ｄ映像から検出された前記注目領域の数が、各撮影拠点の３Ｄ映像に含まれるべき前記注目領域の数と一致したときに、前記注目領域の飛び出し量を調整する構成を有している。
【００１８】
この構成により、各撮影拠点の３Ｄ映像から検出された注目領域（人物の顔領域）の数が、各撮影拠点の３Ｄ映像に含まれるべき注目領域の数と一致したときに、注目領域の飛び出し量の調整が行われる。例えば、本発明がテレビ会議システムに適用された場合、各撮影拠点の３Ｄ映像に含まれるべき注目領域（人物の顔領域）の数は、テレビ会議の各撮影拠点の出席予定者の数である。その場合、出席予定者の全員が揃ったときに、注目領域の飛び出し量の調整が行われる。このようにして、適切なタイミングで、注目領域の飛び出し量の調整が行われる。
【００１９】
また、本発明の３Ｄ映像処理装置では、前記注目領域検出部は、前記複数の撮影拠点の３Ｄ映像の各々に写っている人物の顔領域を、前記注目領域として検出し、前記飛び出し量調整部は、各撮影拠点の３Ｄ映像から検出された前記注目領域の数に増減があったときに、前記注目領域の飛び出し量を再調整する構成を有している。
【００２０】
この構成により、各撮影拠点の３Ｄ映像から検出された注目領域（人物の顔領域）の数に増減があったときに、注目領域の飛び出し量の調整が行われる。例えば、本発明がテレビ会議システムに適用された場合、各撮影拠点の３Ｄ映像から検出された（人物の顔領域）の数は、テレビ会議の各撮影拠点の出席者の数である。その場合、出席者の増減（入室、退室）があったときに、注目領域の飛び出し量の調整が行われる。このようにして、適切なタイミングで、注目領域の飛び出し量の調整が行われる。
【００２１】
また、本発明の３Ｄ映像処理装置は、前記３Ｄマルチ表示映像を、各撮影拠点の３Ｄ映像ごとに複数のモニタに分割して表示するときに、前記複数のモニタ間において右目用映像と左目用映像の同期をとる同期処理部を備えた構成を有している。
【００２２】
この構成により、各撮影拠点の３Ｄ映像ごとに複数のモニタに分割して表示するときに、複数のモニタ間において右目用映像と左目用映像の同期を適切にとることができる。したがって、３Ｄマルチ表示映像を、各撮影拠点の３Ｄ映像ごとに複数のモニタに分割して表示することが可能になる。
【００２３】
また、本発明の３Ｄ映像処理装置は、前記３Ｄマルチ表示映像を一つのモニタに表示するときに、前記モニタの画面上における各撮影拠点の３Ｄ映像の表示位置を決定する映像配置決定部と、各撮影拠点の３Ｄ映像ごとに、前記モニタの画面上における前記３Ｄ映像の表示位置に基づいて、前記３Ｄ映像に含まれる前記注目領域の視点ずれ方向を求める視点ずれ方向計算部と、各撮影拠点の３Ｄ映像を、各撮影拠点の３Ｄ映像に含まれる前記注目領域を前記視点ずれ方向に基づいて決定される仮想視点から見たときの仮想視点映像に変換する映像変換部と、を備えた構成を有している。
【００２４】
この構成により、３Ｄマルチ表示映像を一つのモニタに表示するときに、各撮影拠点の３Ｄ映像ごとに、モニタの画面上の３Ｄ映像の表示位置から、その３Ｄ映像に含まれる注目領域の視点ずれ方向が求められ、各撮影拠点の３Ｄ映像が、その視点ずれ方向に基づいて決定される仮想視点から注目領域を見たときの映像（仮想視点映像）に変換される。これにより、各撮影拠点の３Ｄ映像が自然な視点（視線方向）から見たときの映像に変換され、３Ｄマルチ表示映像の見やすさが向上する。
【００２５】
本発明の方法は、複数の撮影拠点に設置されたカメラで撮影したカメラ映像から生成された３Ｄ映像が入力されると、前記複数の撮影拠点の３Ｄ映像の各々から、注目領域を検出し、検出された前記注目領域の視差から、前記複数の撮影拠点の３Ｄ映像における前記注目領域の飛び出し量を求め、前記３Ｄ映像の各々に含まれる前記注目領域の飛び出し量を、求めた前記飛び出し量に基づいて決定される目標調整量に応じて調整する処理を行い、前記注目領域の飛び出し量が調整された前記複数の撮影拠点の３Ｄ映像を合成して、前記複数の撮影拠点の３Ｄ映像が並べられた３Ｄマルチ表示映像を生成する。
【００２６】
この方法によっても、上記と同様、複数の撮影拠点の３Ｄ映像が並んで表示されるときに、各撮影拠点の３Ｄ映像間で視差が見やすくなるように、各撮影拠点の３Ｄ映像に含まれる注目領域（例えば、人の顔など）の飛び出し量が適切に調整される。具体的には、各撮影拠点の３Ｄ映像の注目領域の飛び出し量が、各注目領域の飛び出し量から決定される目標調整量に応じて調整される。これにより、複数の撮影拠点の３Ｄ映像を同時に表示するときの見やすさが向上する。
【発明の効果】
【００２７】
本発明は、複数の撮影拠点の３Ｄ映像を同時に表示するときの見やすさが向上するという効果を有する３Ｄ映像処理装置を提供することができるものである。
【図面の簡単な説明】
【００２８】
【図１】本発明の第１の実施の形態における３Ｄ映像処理装置のブロック図
【図２】本発明の第１の実施の形態における注目領域の検出処理の説明図
【図３】本発明の第１の実施の形態における飛び出し量の計算処理の説明図
【図４】本発明の第１の実施の形態における飛び出し量の調整処理（第１の例）の説明図
【図５】本発明の第１の実施の形態における飛び出し量の調整処理（第２の例）の説明図
【図６】本発明の第１の実施の形態における飛び出し量の調整処理（第３の例）の説明図
【図７】本発明の第１の実施の形態における飛び出し量の調整処理（第４の例）の説明図
【図８】本発明の第１の実施の形態における３Ｄマルチ表示映像の合成処理の説明図
【図９】本発明の第２の実施の形態における３Ｄ映像処理装置のブロック図
【図１０】本発明の第２の実施の形態における視点ずれ方向の計算処理の説明図
【図１１】本発明の第２の実施の形態における仮想視点映像への変換処理の説明図
【発明を実施するための形態】
【００２９】
以下、本発明の実施の形態の３Ｄ映像処理装置について、図面を用いて説明する。本実施の形態では、テレビ会議システム等に適用される３Ｄ映像処理装置の場合を例示する。
【００３０】
（第１の実施の形態）
本発明の第１の実施の形態の３Ｄ映像処理装置の構成を、図面を参照して説明する。図１には、本実施の形態の３Ｄ映像処理装置を用いたテレビ会議システムが示されている。図１に示すように、テレビ会議システム１では、ある拠点（拠点Ｏ）に設置された３Ｄ映像処理装置２と、他の拠点（拠点Ａ、Ｂ）に設置された３Ｄカメラ３とが、ネットワーク４を介して接続されており、３Ｄカメラ３で撮影した拠点Ａ、Ｂのカメラ映像を、拠点Ｏに設置されたモニタ５で見ることができるようになっている。なお、図１では、説明の便宜上、図示を省略しているが、拠点Ａ、Ｂにも、３Ｄ映像処理やモニタ５が設置されており、また、拠点Ｏにも、３Ｄカメラ３が設置されている。
【００３１】
また、図１の例では、拠点Ａ、Ｂに、３Ｄカメラ３（互いに視差を有する２つの映像（右目用映像と左目用映像）を撮影する機能を備えたカメラ）を設置する場合について例示したが、拠点Ａ、Ｂに設置されるカメラは、３Ｄカメラ３でなくてもよく、通常のカメラであってもよい。その場合、拠点Ａ、Ｂまたは拠点Ｏに、通常のカメラで撮影した映像を３Ｄ映像（右目用映像と左目用映像）に変換する３Ｄ変換器（図示せず）が備えられればよく、３Ｄ変換器で変換された３Ｄ映像が３Ｄ映像処理装置２に入力されるようにすればよい。
【００３２】
次に、図１を参照しながら、３Ｄ映像処理装置２の構成について詳しく説明する。図１に示すように、３Ｄ映像処理装置２は、複数の拠点Ａ、Ｂの３Ｄ映像が入力される映像入力部６と、各拠点Ａ、Ｂの３Ｄ映像から所定の注目領域を検出する注目領域検出部７と、検出した注目領域の飛び出し量を求める飛び出し量計算部８と、それらの注目領域の飛び出し量を調整する飛び出し量調整部９と、飛び出し量が調整された複数の拠点Ａ、Ｂの３Ｄ映像を合成して３Ｄマルチ表示映像を生成する映像合成部１０を備えている。映像合成部１０で合成された３Ｄマルチ表示映像は、モニタ５へ出力されて表示される。
【００３３】
ここで、図２〜図８を参照しながら、３Ｄ映像処理装置２で行われる各処理について詳しく説明する。図２は、注目領域検出部７で行われる注目領域の検出処理の説明図である。図２に示すように、注目領域検出部７は、複数の拠点Ａ、Ｂの３Ｄ映像の各々から、予め定められた注目領域として人物の顔領域を検出する。顔領域の検出には、マッチングなどの周知の技術を利用することができる。例えば、図２の例では、拠点Ａの３Ｄ映像から、人物の顔領域が２つ検出されており、拠点Ｂの３Ｄ映像から人物の顔領域が３つ検出されている。なお、人物の顔領域は、人物の顔の形の領域でもよく、人物の顔に外接する四角形などの領域でもよい。また、注目領域は、人物の顔領域（人物の顔を基準に定められる領域）でなくてもよく、例えば、テーブルの端などを基準に定められる領域でもよく、あるいは、３Ｄ映像の中心や端などの特定の位置を基準に定められた領域でもよい。
【００３４】
図３は、飛び出し量計算部８で行われる飛び出し量の計算処理の説明図である。図３に示すように、飛び出し量計算部８は、複数の拠点Ａ、Ｂの３Ｄ映像の各々において検出された注目領域について、その視差から飛び出し量を求める。飛び出し量の算出には、周知の技術を利用することができる。例えば、図３の例では、拠点Ａの３Ｄ映像から検出された２つの注目領域（注目領域番号「１」：第１の注目領域、注目領域番号「２」：第２の注目領域）が検出され、第１の注目領域の飛び出し量が「１」と算出され、第２の注目領域の飛び出し量が「４」と算出されている。同様に、拠点Ｂの３Ｄ映像から検出された３つの注目領域（注目領域番号「１」：第１の注目領域、注目領域番号「２」：第２の注目領域、注目領域番号「３」：第３の注目領域）が検出され、第１の注目領域の飛び出し量が「５」と算出され、第２の注目領域の飛び出し量が「３」と算出され、第３の注目領域の飛び出し量が「４」と算出されている。なお、図３において、画像内座標は、注目領域の代表点（例えば、重心など）の座標である。
【００３５】
図４〜図７は、飛び出し量調整部９で行われる飛び出し量の調整処理の説明図である。飛び出し量調整部９は、複数の拠点Ａ、Ｂの３Ｄ映像の各々に含まれる注目領域の飛び出し量を、それらの飛び出し量に基づいて決定される目標調整量に応じて調整する。飛び出し量の調整には、種々の手法が存在するが、以下、図４〜図７を参照しながら、飛び出し量の調整の４つの例を説明する。飛び出し量調整部９は、これら４つ例のうちの１つを選択して実行する機能を備えている。
【００３６】
図４は、飛び出し量の調整の「第１の例」の説明図である。図４に示すように、第１の例では、最大の飛び出し量に合わせるように飛び出し量が調整される。この場合、目標調整量は、複数の拠点Ａ、Ｂの３Ｄ映像に含まれるすべての注目領域の飛び出し量のうちで最大の飛び出し量（目標飛び出し量）に基づいて決定される。そして、飛び出し量調整部９は、複数の拠点Ａ、Ｂの３Ｄ映像の各々について、各拠点Ａ、Ｂの３Ｄ映像に含まれる注目領域の飛び出し量のうちで最大の飛び出し量を、上記の目標飛び出し量にあわせるように、注目領域の飛び出し量を調整する。
【００３７】
例えば、図４の例では、複数の拠点Ａ、Ｂの３Ｄ映像に含まれるすべての注目領域の飛び出し量のうちで最大の飛び出し量「５」が目標飛び出し量として決定される。そして、各拠点Ａ、Ｂの３Ｄ映像ごとに、各拠点Ａ、Ｂに含まれる注目領域の飛び出し量のうちで最大の飛び出し量を「５」に合わせるように、飛び出し量の調整が行われる。
【００３８】
この場合、拠点Ａの３Ｄ映像については、拠点Ａの３Ｄ映像に含まれる２つの注目領域の飛び出し量のうちで最大の飛び出し量「４」を目標飛び出し量「５」に合わせるように、飛び出し量の調整が行われる。すなわち、目標調整量「＋１」（＝５−４）の分だけ、拠点Ａの２つの注目領域（第１の注目領域と第２の注目領域）の飛び出し量が調整される。具体的には、第１の注目領域の飛び出し量が「１」から「２」に調整され、第２の注目領域の飛び出し量が「４」から「５」に調整される。拠点Ｂの３Ｄ映像については、目標調整量が「０」（＝５−５）となるので、拠点Ｂの３つの注目領域（第１の注目領域、第２の注目領域、第３の注目領域）の飛び出し量の調整は行われない（あるいは、目標調整量「０」の分だけ、飛び出し量の調整が行われる）。このように、第１の例では、最大の飛び出し量にあわせるように（前側に平行移動させるように）飛び出し量の調整が行われる。なお、ここでは、最大の飛び出し量にあわせるように飛び出し量の調整が行われる例について説明したが、最小の飛び出し量に合わせるように飛び出し量の調整を行ってもよい。例えば、図４の例で最小の飛び出し量が１になるように調整する。
【００３９】
図５は、飛び出し量の調整の「第２の例」の説明図である。図５に示すように、第２の例では、最大と最小の飛び出し量に合わせるように飛び出し量が調整される。この場合、目標調整量は、複数の拠点Ａ、Ｂの３Ｄ映像に含まれるすべての注目領域の飛び出し量のうちで最大の飛び出し量（第１の目標飛び出し量）と、複数の拠点Ａ、Ｂの３Ｄ映像に含まれるすべての注目領域の飛び出し量のうちで最小の飛び出し量（第２の目標飛び出し量）とに基づいて決定される。そして、飛び出し量調整部９は、複数の拠点Ａ、Ｂの３Ｄ映像の各々について、各拠点Ａ、Ｂの３Ｄ映像に含まれる注目領域の飛び出し量のうちで最大の飛び出し量を、上記の第１の目標飛び出し量にあわせるように、注目領域の飛び出し量を調整するとともに、各拠点Ａ、Ｂの３Ｄ映像に含まれる注目領域の飛び出し量のうちで最小の飛び出し量を、上記の第２の目標飛び出し量にあわせるように、注目領域の飛び出し量を調整する。
【００４０】
例えば、図５の例では、複数の拠点Ａ、Ｂの３Ｄ映像に含まれるすべての注目領域の飛び出し量のうちで最大の飛び出し量「５」が第１の目標飛び出し量として決定され、最小の飛び出し量「１」が第２の目標飛び出し量として決定される。そして、各拠点Ａ、Ｂの３Ｄ映像ごとに、各拠点Ａ、Ｂに含まれる注目領域の飛び出し量のうちで最大の飛び出し量を「５」に合わせるとともに、最小の飛び出し量を「１」に合わせるように、飛び出し量の調整が行われる。
【００４１】
この場合、拠点Ａの３Ｄ映像については、拠点Ａの３Ｄ映像に含まれる２つの注目領域の飛び出し量のうちで最大の飛び出し量「４」を目標飛び出し量「５」に合わせるように、飛び出し量の調整が行われる。すなわち、目標調整量「＋１」（＝５−４）の分だけ、拠点Ａの第２の注目領域の飛び出し量が調整される。また、拠点Ａの３Ｄ映像に含まれる２つの注目領域の飛び出し量のうちで最小の飛び出し量「１」を目標飛び出し量「１」に合わせるように、飛び出し量の調整が行われる。この場合、目標調整量が「０」（＝１−１）となるので、拠点Ａの第１の注目領域の飛び出し量の調整は行われない（あるいは、目標調整量「０」の分だけ、飛び出し量の調整が行われる）。
【００４２】
同様に、拠点Ｂの３Ｄ映像については、拠点Ｂの３Ｄ映像に含まれる３つの注目領域の飛び出し量のうちで最大の飛び出し量「５」を目標飛び出し量「５」に合わせるように、飛び出し量の調整が行われる。この場合、目標調整量が「０」（＝１−１）となるので、拠点Ｂの第１の注目領域の飛び出し量の調整は行われない（あるいは、目標調整量「０」の分だけ、飛び出し量の調整が行われる）。また、拠点Ｂの３Ｄ映像に含まれる３つの注目領域の飛び出し量のうちで最小の飛び出し量「３」を目標飛び出し量「１」に合わせるように、飛び出し量の調整が行われる。すなわち、目標調整量「−２」（＝１−３）の分だけ、拠点Ｂの第２の注目領域の飛び出し量が調整される。
【００４３】
なお、拠点Ｂの第３の注目領域については、他の２つの注目領域（拠点Ｂの第１の注目領域と第２の注目領域）との飛び出し量の相対的な関係が変わらないように、飛び出し量の調整が行われる。調整前の第３の注目領域の飛び出し量「４」は、調整前の第１の注目領域の飛び出し量「５」と第２の注目領域の飛び出し量「３」の中間の値である。したがって、調整後の第３の注目領域の飛び出し量も、調整後の第１の注目領域の飛び出し量「１」と第２の注目領域の飛び出し量「５」の中間の値「３」となるように、飛び出し量の調整が行われる。このように、第２の例では、最大と最小の飛び出し量にあわせるように（前後方向に引き延ばすように）飛び出し量の調整が行われる。
【００４４】
図６は、飛び出し量の調整の「第３の例」の説明図である。図６に示すように、第３の例では、飛び出し量の中心を合わせるように飛び出し量が調整される。この場合、目標調整量は、複数の拠点Ａ、Ｂの３Ｄ映像におけるすべての注目領域の飛び出し量の平均の飛び出し量（目標飛び出し量）に基づいて決定される。この場合、目標飛び出し量（平均の飛び出し量）は、拠点Ａの注目領域の飛び出し量の中心（平均）と拠点Ｂの注目領域の飛び出し量の中心（平均）との平均として求められる（つまり「中心の平均」として求められる）。そして、飛び出し量調整部９は、そして、飛び出し量調整部９は、複数の拠点Ａ、Ｂの３Ｄ映像の各々について、各拠点Ａ、Ｂの注目領域の飛び出し量の中心（平均）を、上記の目標飛び出し量にあわせるように、注目領域の飛び出し量を調整する。
【００４５】
例えば、図６の例では、拠点Ａの３Ｄ映像について注目領域の飛び出し量の中心（平均）「２．５」（＝（１＋４）／２）と、拠点Ｂの３Ｄ映像について注目領域の飛び出し量の中心（平均）「４」（＝（５＋３＋４）／３）が求められ、それらの平均「３．２５」（＝（２．５＋４）／２）が目標飛び出し量として決定される。そして、各拠点Ａ、Ｂの３Ｄ映像ごとに、各拠点Ａ、Ｂの注目領域の飛び出し量の中心（平均）を「３．２５」に合わせるように、飛び出し量の調整が行われる。
【００４６】
この場合、拠点Ａの３Ｄ映像については、拠点Ａの３Ｄ映像に含まれる２つの注目領域の飛び出し量の中心（平均）「２．５」を目標飛び出し量「３．２５」に合わせるように、飛び出し量の調整が行われる。すなわち、目標調整量「＋０．７５」（＝３．２５−２．５）の分だけ、拠点Ａの２つの注目領域（第１の注目領域と第２の注目領域）の飛び出し量が調整される。具体的には、第１の注目領域の飛び出し量が「１」から「１．７５」に調整され、第２の注目領域の飛び出し量が「４」から「４．７５」に調整される。
【００４７】
同様に、拠点Ｂの３Ｄ映像については、拠点Ｂの３Ｄ映像に含まれる３つの注目領域の飛び出し量の中心（平均）「４」を目標飛び出し量「３．２５」に合わせるように、飛び出し量の調整が行われる。すなわち、目標調整量「−０．７５」（＝３．２５−４）の分だけ、拠点Ｂの３つの注目領域（第１の注目領域、第２の注目領域、第３の注目領域）の飛び出し量が調整される。具体的には、第１の注目領域の飛び出し量が「５」から「４．２５」に調整され、第２の注目領域の飛び出し量が「３」から「２．２５」に調整され、第３の注目領域の飛び出し量が「４」から「３．２５」に調整される。このように、第３の例では、中心をあわせるように（前後にに平行移動させるように）飛び出し量の調整が行われる。
【００４８】
なお、ここでは、目標飛び出し量（平均の飛び出し量）を、各拠点Ａ、Ｂの注目領域の飛び出し量の中心（平均）の平均として求める例について説明したが、目標飛び出し量（平均の飛び出し量）は、すべての注目領域の平均として求めてもよい。例えば、図６の例で、目標飛び出し量（平均の飛び出し量）を「３．４」（＝（１＋４＋５＋３＋４）／５）としてもよい。
【００４９】
図７は、飛び出し量の調整の「第４の例」の説明図である。図７に示すように、第４の例では、飛び出し量を所定の基準に合わせるように飛び出し量が調整される。この場合、目標調整量は、例えば「最大の飛び出し量＝４」のように予め定められている。そして、飛び出し量調整部９は、複数の拠点Ａ、Ｂの３Ｄ映像の各々について、各拠点Ａ、Ｂの３Ｄ映像に含まれる注目領域の飛び出し量のうちで最大の飛び出し量を、上記の目標飛び出し量にあわせるように、注目領域の飛び出し量を調整する。例えば、図７の例では、各拠点Ａ、Ｂの３Ｄ映像ごとに、各拠点Ａ、Ｂに含まれる注目領域の飛び出し量のうちで最大の飛び出し量を「４」に合わせるように、飛び出し量の調整が行われる。
【００５０】
この場合、拠点Ａの３Ｄ映像については、拠点Ａの３Ｄ映像に含まれる２つの注目領域の飛び出し量のうちで最大の飛び出し量が「４」であり、目標調整量が「０」（＝４−４）となるので、拠点Ａの２つの注目領域の飛び出し量の調整は行われない（あるいは、目標調整量「０」の分だけ、飛び出し量の調整が行われる）。拠点Ｂの３Ｄ映像については、拠点Ｂの３Ｄ映像に含まれる３つの注目領域の飛び出し量のうちで最大の飛び出し量「５」を目標飛び出し量「４」に合わせるように、飛び出し量の調整が行われる。すなわち、目標調整量「−１」（＝４−５）の分だけ、拠点Ｂの３つの注目領域の飛び出し量が調整される。具体的には、第１の注目領域の飛び出し量が「５」から「４」に調整され、第２の注目領域の飛び出し量が「３」から「２」に調整され、第３の注目領域の飛び出し量が「４」から「３」に調整される。このように、第４の例では、所定の基準にあわせるように（後側に平行移動させるように）飛び出し量の調整が行われる。なお、ここでは、所定の基準に合わせる飛び出し量として各拠点A、Bでの最大の飛び出し量を用いる例について説明したが、所定の基準に合わせる飛び出し量として、各拠点A、Bでの最小の飛び出し量や飛び出し量の平均を用いてもよい。
【００５１】
図８は、映像合成部１０で行われる３Ｄマルチ表示映像の合成処理の説明図である。図８に示すように、映像合成部１０は、上記のようにして飛び出し量が調整された複数の拠点Ａ、Ｂの３Ｄ映像を合成して、複数の拠点Ａ、Ｂの３Ｄ映像が並べられた３Ｄマルチ表示映像を生成する。そして、生成された３Ｄマルチ表示映像は、モニタ５に表示される。なお、図８では、２つの拠点の３Ｄ映像を横一列に（２行１列に）並べた場合が例示されているが、複数の３Ｄ映像の配置の仕方は、これに限られるものではなく、周知の配置パターンを採用することが可能である。例えば、４つの拠点の３Ｄ映像の場合には、縦横にマトリクス状に（２行２列に）並べてもよい。
【００５２】
３Ｄマルチ表示映像は、各拠点Ａ、Ｂの３Ｄ映像を一つにまとめた映像として、一つのモニタ５に表示してもよいが、各拠点Ａ、Ｂの３Ｄ映像ごとに複数のモニタ（図示せず）に分割して表示してもよい。図１に示すように、この３Ｄ映像処理装置２は、３Ｄマルチ表示映像を分割表示するときのために、複数のモニタ間において右目用映像と左目用映像の同期をとる同期処理部１１を備えている。
【００５３】
例えば、第１のモニタに拠点Ａの３Ｄ映像を表示し、第２のモニタに拠点Ｂの３Ｄ映像を表示する場合に、同期処理部１１で同期をとる処理が実行されると、第１のモニタで拠点Ａの右目用映像が表示されるときには、第２のモニタで拠点Ｂの右目用映像が表示され、また、第１のモニタで拠点Ａの左目用映像が表示されるときには、第２のモニタで拠点Ｂの左目用映像が表示されるようになる。
【００５４】
なお、飛び出し量の調整は、各拠点Ａ、Ｂで、テレビ会議への出席者（出席予定者）が全員揃ったタイミングで実行されるようにしてもよい。その場合、注目領域検出部７は、複数の拠点Ａ、Ｂの３Ｄ映像の各々に写っている人物の顔領域を、注目領域として検出し、飛び出し量調整部９は、各拠点Ａ、Ｂの３Ｄ映像から検出された注目領域（人物の顔）の数が、各拠点Ａ、Ｂの３Ｄ映像に含まれるべき注目領域の数（出席者の数）と一致したときに、飛び出し量の調整を行うようにしてもよい。
【００５５】
また、飛び出し量の調整は、各拠点Ａ、Ｂで、テレビ会議への出席者が入室または退室したタイミングで実行されるようにしてもよい。その場合、注目領域検出部７は、複数の拠点Ａ、Ｂの３Ｄ映像の各々に写っている人物の顔領域を、注目領域として検出し、飛び出し量調整部９は、各拠点Ａ、Ｂの３Ｄ映像から検出された注目領域（人物の顔）の数に増減があったときに、飛び出し量の調整を行うようにしてもよい。
【００５６】
このような第１の実施の形態の３Ｄ映像処理装置２によれば、複数の撮影拠点の３Ｄ映像を同時に表示するときの見やすさを向上することができる。
【００５７】
すなわち、本実施の形態では、図８に示すように、複数の拠点Ａ、Ｂの３Ｄ映像が並んで表示されるときに、各拠点Ａ、Ｂの３Ｄ映像間で視差が見やすくなるように、各拠点Ａ、Ｂの３Ｄ映像に含まれる注目領域（例えば、人の顔など）の飛び出し量が適切に調整される。具体的には、各拠点Ａ、Ｂの３Ｄ映像の注目領域の飛び出し量が、各注目領域の飛び出し量から決定される目標調整量に応じて調整される。これにより、複数の拠点Ａ、Ｂの３Ｄ映像を同時に表示するときの見やすさが向上する。
【００５８】
例えば、図４に示すように、各拠点Ａ、Ｂの３Ｄ映像に含まれる注目領域の飛び出し量のうちで最大の飛び出し量が、複数の拠点Ａ、Ｂの３Ｄ映像に含まれるすべての注目領域の飛び出し量のうちで最大の飛び出し量（目標飛び出し量）にあわせられる。これにより、複数の拠点Ａ、Ｂの３Ｄ映像が同時に表示されるときに、各拠点Ａ、Ｂの３Ｄ映像間で視差が見やすくなる。
【００５９】
また、図５に示すように、各拠点Ａ、Ｂの３Ｄ映像に含まれる注目領域の飛び出し量のうちで最大の飛び出し量が、複数の拠点Ａ、Ｂの３Ｄ映像に含まれるすべての注目領域の飛び出し量のうちで最大の飛び出し量（第１の目標飛び出し量）にあわせられるとともに、各拠点Ａ、Ｂの３Ｄ映像に含まれる注目領域の飛び出し量のうちで最小の飛び出し量が、複数の拠点Ａ、Ｂの３Ｄ映像に含まれるすべての注目領域の飛び出し量のうちで最小の飛び出し量（第２の目標飛び出し量）にあわせられる。これにより、複数の拠点Ａ、Ｂの３Ｄ映像が同時に表示されるときに、各拠点Ａ、Ｂの３Ｄ映像間で視差が見やすくなる。
【００６０】
また、図６に示すように、各拠点Ａ、Ｂの３Ｄ映像に含まれる注目領域の飛び出し量の平均の飛び出し量が、複数の拠点Ａ、Ｂの３Ｄ映像における注目領域の飛び出し量の平均の飛び出し量（目標飛び出し量）にあわせられる。これにより、複数の拠点Ａ、Ｂの３Ｄ映像が同時に表示されるときに、各拠点Ａ、Ｂの３Ｄ映像間で視差が見やすくなる。
【００６１】
また、図７に示すように、各拠点Ａ、Ｂの３Ｄ映像に含まれる注目領域の飛び出し量のうちで最大の飛び出し量が、予め定められた目標飛び出し量にあわせられる。これにより、複数の拠点Ａ、Ｂの３Ｄ映像が同時に表示されるときに、各拠点Ａ、Ｂの３Ｄ映像間で視差が見やすくなる。
【００６２】
また、本実施の形態では、各拠点Ａ、Ｂの３Ｄ映像から検出された注目領域（人物の顔領域）の数が、各拠点Ａ、Ｂの３Ｄ映像に含まれるべき注目領域の数と一致したときに、注目領域の飛び出し量の調整が行われてもよい。例えば、本発明がテレビ会議システム１に適用された場合、各拠点Ａ、Ｂの３Ｄ映像に含まれるべき注目領域（人物の顔領域）の数は、テレビ会議の各拠点Ａ、Ｂの出席予定者の数である。その場合、出席予定者の全員が揃ったときに、注目領域の飛び出し量の調整が行われる。このようにして、適切なタイミングで、注目領域の飛び出し量の調整が行われる。
【００６３】
また、各拠点Ａ、Ｂの３Ｄ映像から検出された注目領域（人物の顔領域）の数に増減があったときに、注目領域の飛び出し量の調整が行われてもよい。例えば、本発明がテレビ会議システム１に適用された場合、各拠点Ａ、Ｂの３Ｄ映像から検出された（人物の顔領域）の数は、テレビ会議の各拠点Ａ、Ｂの出席者の数である。その場合、出席者の増減（入室、退室）があったときに、注目領域の飛び出し量の調整が行われる。このようにして、適切なタイミングで、注目領域の飛び出し量の調整が行われる。
【００６４】
さらに、本実施の形態では、各拠点Ａ、Ｂの３Ｄ映像ごとに複数のモニタに分割して表示するときに、複数のモニタ間において右目用映像と左目用映像の同期を適切にとることができる。したがって、３Ｄマルチ表示映像を、各拠点Ａ、Ｂの３Ｄ映像ごとに複数のモニタに分割して表示することが可能になる。
【００６５】
（第２の実施の形態）
次に、本発明の第２の実施の形態の３Ｄ映像処理装置２について説明する。ここでは、第２の実施の形態の３Ｄ映像処理装置２が、第１の実施の形態と相違する点を中心に説明する。ここで特に言及しない限り、本実施の形態の構成および動作は、第１の実施の形態と同様である。
【００６６】
図９は、本実施の形態の３Ｄ映像処理装置２を示すブロック図である。図９に示すように、本実施の形態の３Ｄ映像処理装置２は、映像配置決定部１２と、視点ずれ方向計算部１３と、映像変換部１４を、さらに備えている。
【００６７】
映像配置決定部１２は、３Ｄマルチ表示映像を一つのモニタ５に表示するときに、モニタ５の画面上における各拠点Ａ、Ｂの３Ｄ映像の表示位置を決定する。例えば、図１０の例では、拠点Ａの３Ｄ映像が、モニタ５の画面中心から距離Ａだけ左側にずれた位置に配置されている。この場合、距離Ａは、拠点Ａの３Ｄ映像の中心とモニタ５の画面中心との間の画面上の距離（例えば、０．３ｍ）である。
【００６８】
視点ずれ方向計算部１３は、各拠点Ａ、Ｂの３Ｄ映像ごとに、モニタ５の画面上における３Ｄ映像の表示位置（距離Ａ）に基づいて、３Ｄ映像に含まれる注目領域の視点ずれ方向θを求める。例えば、図１０の例では、モニタ５の画面から視聴者までの距離Ｂが求められると、視点ずれ方向θは、ｔａｎθ（＝Ａ／Ｂ）から求められる。なお、距離Ｂは、距離測定機能を有するセンサなどを用いて実際の値（例えば、５ｍ）を測定してもよく、また、いわゆる最適視聴距離（画面の高さＨの３倍、すなわち、Ｂ＝３Ｈ）で近似してもよい。
【００６９】
映像変換部１４は、各拠点Ａ、Ｂの３Ｄ映像を、各拠点の３Ｄ映像の注目領域を上記の視点ずれ方向θに基づいて決定される仮想視点から見たときの仮想視点映像に変換する。図１１に示すように、拠点Ａの３Ｄ映像（右目用映像と左目用映像）は、拠点Ａにおいて被写体から距離Ｃ（例えば、４ｍ）だけ離れた位置から３Ｄカメラ３で実際に撮影をすることにより得られるカメラ映像である。一方、仮想視点映像（右目用仮想視点映像と左目用仮想視点映像）は、拠点Ａにおいて３Ｄカメラ３を仮想視点Ｃｔａｎθだけずらした位置から撮影したときに得られるであろう仮想的な映像である。
【００７０】
このような仮想視点映像の生成（３Ｄ映像から仮想視点映像への変換）は、周知の技術（例えば、特許第３３２８４７８号などに記載された技術）を用いて行うことができる。例えば、右目用映像と左目用映像から被写体（人物）の３次元モデルを生成することにより、仮想視点Ｃｔａｎθだけ平行移動した位置から見たときの仮想視点映像を生成することができる。なお、テレビ会議システム１に適用する場合には、３Ｄカメラ３の位置が固定され、人物の座る位置もほぼ固定されるため、３次元モデルを予め生成しておくことも可能である。その場合、仮想視点映像への変換に要する演算時間を少なくすることができる。また、被写体（前景）である人物だけでなく、背景についても同様に仮想視点映像に変換してもよい。なお、θ＝０の場合、仮想視点映像への変換は行われない。
【００７１】
このような第２の実施の形態の３Ｄ映像処理装置２によっても、第１の実施の形態と同様の作用効果が奏される。
【００７２】
その上、本実施の形態では、図１１に示すように、３Ｄマルチ表示映像を一つのモニタ５に表示するときに、各拠点Ａ、Ｂの３Ｄ映像ごとに、モニタ５の画面上の３Ｄ映像の表示位置から、その３Ｄ映像に含まれる注目領域の視点ずれ方向が求められ、各拠点Ａ、Ｂの３Ｄ映像が、その視点ずれ方向に基づいて決定される仮想視点から注目領域を見たときの映像（仮想視点映像）に変換される。これにより、各拠点Ａ、Ｂの３Ｄ映像が自然な視点（視線方向）から見たときの映像に変換され、３Ｄマルチ表示映像の見やすさが向上する。
【００７３】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【産業上の利用可能性】
【００７４】
以上のように、本発明にかかる３Ｄ映像処理装置は、複数の撮影拠点の３Ｄ映像を同時に表示するときの見やすさが向上するという効果を有し、テレビ会議システム等に用いられ、有用である。
【符号の説明】
【００７５】
１  テレビ会議システム
２  ３Ｄ映像処理装置
３  ３Ｄカメラ
４  ネットワーク
５  モニタ
６  映像入力部
７  注目領域検出部
８  飛び出し量計算部
９  飛び出し量調整部
１０  映像合成部
１１  同期処理部
１２  映像配置決定部
１３  視点ずれ方向計算部
１４  映像変換部
【図１】
2013055402.tif 000003
【図２】
2013055402.tif 000004
【図３】
2013055402.tif 000005
【図４】
2013055402.tif 000006
【図５】
2013055402.tif 000007
【図６】
2013055402.tif 000008
【図７】
2013055402.tif 000009
【図８】
2013055402.tif 000010
【図９】
2013055402.tif 000011
【図１０】
2013055402.tif 000012
【図１１】
2013055402.tif 000013