(57)【要約】      （修正有）【課題】投影される人物のサイズが大きく変化することによる違和感を発生させさせることなく、遠隔地と円滑にコミュニケーションを取ることが可能なシステム、方法及びプログラムを提供する。【解決手段】遠隔コミュニケーションシステムは、遠隔地から送信された画像をスクリーン１０３に投影するプロジェクタ１０１を備える。また、スクリーン１０３には、少なくとも１つの前面カメラ１０４ａ〜１０４ｃが配置されており、前面カメラによって得られた各画像から人物部分を抽出する抽出処理と、前面カメラによって得られた画像を、前面カメラから被写体である人物までの距離に応じて変倍する変倍処理を実行する。更に、抽出処理及び変倍処理がなされた画像を、遠隔地に備えられたスクリーン１１３に投影するプロジェクタ１１１を備える。【選択図】図１
2016213677.tif 000002
【特許請求の範囲】
【請求項１】
遠隔地から送信された画像を第１の投影面に投影する第１の投影手段と、
前記第１の投影面に配置された少なくとも１つの撮像手段と、
前記撮像手段によって得られた画像から人物部分を抽出する抽出手段と、
前記撮像手段によって得られた画像を、前記撮像手段から被写体である人物までの距離に応じて変倍する変倍手段と、
前記抽出手段による抽出及び前記変倍手段による変倍がなされた画像を、前記遠隔地に備えられた第２の投影面に投影する第２の投影手段と、
を備えることを特徴とする遠隔コミュニケーションシステム。
【請求項２】
前記変倍手段は、前記抽出手段による抽出がなされた後の画像を変倍することを特徴とする請求項１に記載の遠隔コミュニケーションシステム。
【請求項３】
前記抽出手段は、前記撮像手段から被写体までの距離が所定の値を超える画素を透明化することを特徴とする請求項１または２に記載の遠隔コミュニケーションシステム。
【請求項４】
前記第１の投影面には、複数の前記撮像手段が配置され、
前記複数の撮像手段によって得られた複数の画像を合成する合成手段を更に備えることを特徴とする請求項１乃至３のいずれか１項に記載の遠隔コミュニケーションシステム。
【請求項５】
前記合成手段は、前記複数の画像間の重複部分を除去した上で合成することを特徴とする請求項４に記載の遠隔コミュニケーションシステム。
【請求項６】
背景を撮像するための背景撮像手段を更に備え、
前記第２の投影手段は、前記抽出手段による抽出及び前記変倍手段による変倍がなされた画像を、前記背景撮像手段によって得られた画像とともに投影することを特徴とする請求項１乃至５のいずれか１項に記載の遠隔コミュニケーションシステム。
【請求項７】
前記第１の投影面に対してなされるユーザの動作を検知する検知手段と、
前記第１の投影手段によって投影される画像を、前記検知手段によって検知されたユーザの動作に従って切り替える切替手段と、
を更に備えることを特徴とする請求項１乃至６のいずれか１項に記載のコミュニケーションシステム。
【請求項８】
遠隔地から送信された画像を投影面に投影する投影手段と、
前記投影面に配置された少なくとも１つの撮像手段と、
前記撮像手段によって得られた画像から人物部分を抽出する抽出手段と、
前記撮像手段によって得られた画像を、前記撮像手段から被写体である人物までの距離に応じて変倍する変倍手段と、
前記抽出手段による抽出及び前記変倍手段による変倍がなされた画像を、前記遠隔地に送信する送信手段と、
を備えることを特徴とする遠隔コミュニケーションシステム。
【請求項９】
遠隔地から送信された画像を投影面に投影する投影手段と、前記投影面に配置された少なくとも１つの撮像手段と、を備える遠隔コミュニケーションシステムの制御方法であって、
前記撮像手段によって得られた画像から人物部分を抽出する抽出工程と、
前記撮像手段によって得られた画像を、前記撮像手段から被写体である人物までの距離に応じて変倍する変倍工程と、
前記抽出手段による抽出及び前記変倍手段による変倍がなされた画像を、前記遠隔地に送信する送信工程と、
を備えることを特徴とする遠隔コミュニケーションシステムの制御方法。
【請求項１０】
請求項９に記載の遠隔コミュニケーションシステムの制御方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔地とコミュニケーションを取るための遠隔コミュニケーションシステム、その制御方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、離れた場所（遠隔地）にいる相手とコミュニケーションを取るためのシステムが知られている。たとえば特許文献１には、離れた場所にいる相手と会議を行うための遠隔会議システムが開示されている。特許文献１に開示されたシステムには、人物を撮像するためのカメラと、画像を投影するためのプロジェクタと、プロジェクタによって投影された画像を映し出すスクリーンが含まれる。
【０００３】
特許文献１に開示されたシステムでは、ある会議室に備えられたカメラで撮像した人物画像が相手側（遠隔地）のプロジェクタによってスクリーンに投影される一方で、相手側のカメラで撮像された人物が会議室のプロジェクタによってスクリーンに投影される。また、特許文献１には、人物を等身大のサイズで映し出すことによって会議の臨場感を高めることが示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１９１６１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
物理的に同じ空間（例えば、同じ部屋）にいる少人数の人が簡単なコミュニケーションを取るときは、１メートルから２メートルくらいの距離で、立った状態で向かい合うことが多い。このような形態に近い形でのコミュニケーションを遠隔地とも取れるようになると意思の疎通が図りやすい。
【０００６】
一方、上述した特許文献１にも示されているように、遠隔地の人物を等身大のサイズで映し出すことが知られているものの、人物が立った状態でコミュニケーションを取っていると、コミュニケーションの途中で人物が移動することが考えられる。スクリーンに向かって左右方向の移動であれば投影される画像への影響はあまりないが、スクリーンに向かって前後方向の移動であれば投影される画像への影響が大きい。なぜなら、カメラと人物の距離が変わることによって撮像される人物の大きさが変化するからである。スクリーンに映し出される人物の大きさが頻繁に変化すると、違和感が増大し、臨場感が乏しくなってしまう。
【０００７】
人物を等身大で表示するという目的で、たとえば表示サイズを手動で変更することであればできるかもしれない。しかし、立った状態でコミュニケーションを取りながら前後移動の度に細かく表示サイズの変更を指示するのは手間がかかり、円滑なコミュニケーションに支障をきたすおそれがある。
【０００８】
本発明は、上記の課題に鑑みなされたものであり、投影される人物のサイズが大きく変化することによる違和感を発生させることなく、遠隔地と円滑にコミュニケーションを取るための仕組みを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために本発明の遠隔コミュニケーションシステムは、遠隔地から送信された画像を第１の投影面に投影する第１の投影手段と、前記第１の投影面に配置された少なくとも１つの撮像手段と、前記撮像手段によって得られた画像から人物部分を抽出する抽出手段と、前記撮像手段によって得られた画像を、前記撮像手段から被写体である人物までの距離に応じて変倍する変倍手段と、前記抽出手段による抽出及び前記変倍手段による変倍がなされた画像を、前記遠隔地に備えられた第２の投影面に投影する第２の投影手段と、を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、投影される人物のサイズが大きく変化することによる違和感を発生させさせることなく、遠隔地と円滑にコミュニケーションを取ることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態におけるシステムの断面図
【図２】本発明の実施形態におけるシステムの外観図
【図３】本発明の実施形態におけるシステムのハードウェア構成図
【図４】本発明の実施形態における前面カメラの撮像範囲の説明図
【図５】本発明の実施形態における変倍処理とトリミング処理の説明図
【図６】本発明の実施形態における人物の撮像処理に関するフローチャート
【図７】本発明の実施形態における人物の撮像処理に関するフローチャート
【図８】本発明の実施形態における画像の投影処理に関するフローチャート
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施の形態を詳しく説明する。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。
【００１３】
図１は、本発明が適用される遠隔コミュニケーションシステムの断面図である。この遠隔コミュニケーションシステムを用いることにより、本社内に設けられたオフィス１と支社Ａに設けられたオフィス２の間、或いはオフィス１と支社Ｂに設けられたオフィス３の間でコミュニケーションを取ることが可能となっている。なお、ここでは３箇所のオフィスを例にしているが、オフィス１とオフィス２の２箇所のみであっても良い。また、複数のオフィスの全体を遠隔コミュニケーションシステムと称しても良いし、１つのオフィスに含まれる構成のみを遠隔コミュニケーションシステムと称しても良い。
【００１４】
また、ここで説明する各オフィスは、移動に数時間を要するほど離れたものであっても良いし、同一のビルに設けられた別の会議室であっても良い。即ち、「遠隔」という表現は、物理的な空間が別であることを示すものであり、物理的な距離や移動にかかる時間の長さを定義するものではない。
【００１５】
図１（ａ）に示すオフィス１には、プロジェクタ１０１、背景カメラ１０２、スクリーン１０３、前面カメラ１０４、背面カメラ１０５が備えられている。プロジェクタ１０１は、他のオフィスで撮像された画像をスクリーン１０３に投影する投影装置である。スクリーン１０３は、プロジェクタ１０１によって投影される画像を映し出す投影面である。なお、スクリーン１０３は、他のオフィスとのコミュニケーションを取るときに一時的に設置するものであっても良いし、オフィスの壁がスクリーン１０３の役割を兼ねても良い。また、本実施形態では画像を表示する手段としてプロジェクタとスクリーンを使用する例を示すが、大型の液晶ディスプレイを用いて画像を表示するようにしても良い。
【００１６】
前面カメラ１０４は、人物１０６を撮像するための前面撮像装置である。ここでは人物１０６の全身を撮像するために３つ（ａ、ｂ、ｃ）の前面カメラ１０４を用いる例を示すが、前面カメラの数は１つ以上あれば良い。前面カメラ１０４による人物１０６の撮像に関する処理の詳細については後述する。
【００１７】
背景カメラ１０２は、人物１０６の背景（即ち、図１（ａ）の右方向）を撮像するための背景撮像装置である。オフィス１は、遠隔コミュニケーションを行うための専用の部屋ではなく、日常の業務を行う一般的な事務室であるものとする。背景カメラ１０２によって撮像される背景には、社員の座席やキャビネット、他の業務を行っている人物などが含まれる。このような背景を、前面カメラ１０４で撮像した人物とともに投影することによって、あたかもオフィスの片隅で立ち話をしているような雰囲気を作り出すことができる。なお、背景カメラ１０２は、被写体である背景が人物１０６によって遮られないようにするために、鉛直方向の上方（天井付近）に配置されることが望ましい。
【００１８】
背面カメラ１０５は、人物１０６或いはスクリーン１０３に映し出された画像を、図１（ａ）の右から左に向かって撮像するための背面撮像装置である。人物１０６は、遠隔コミュニケーションを行っている間はスクリーン１０３（即ち、図１（ａ）の左）の方を向いているため、背景カメラ１０５で撮像するのは人物１０６の後ろ姿となる。なお、前面カメラ１０４と人物１０６の間の距離に比べて、背面カメラ１０５と人物１０６の間の距離は長いため、１つの背面カメラ１０５で人物１０６の全身を撮像することが可能となっている。
【００１９】
前面カメラ１０４には、被写体までの距離を検知するための距離センサが含まれる。前面カメラ１０４によって得られる画像には、ＲＧＢで８ビット３チャネルの情報からなるカラー画像と、８ビット１チャネルの情報からなる距離画像が含まれる。一方、背景カメラ１０２及び背面カメラ１０５には距離センサは含まれない。従って、背景カメラ１０２及び背面カメラ１０５によって得られる画像には、ＲＧＢで８ビット３チャネルの情報からなるカラー画像は含まれるが、距離画像は含まれない。なお、前面カメラ１０４、背面カメラ１０５、背面カメラ１０５で撮像される画像は時系列に沿って連続した静止画であり、これらの静止画が遠隔地において連続的に投影されることにより動画として再生される。
【００２０】
人物１１６が居るオフィス２（図１（ｂ））にも、オフィス１と同様の設備（プロジェクタ１１１、背景カメラ１１２、スクリーン１１３、前面カメラ１１４、背面カメラ１１５）が備えられている。また、人物１２６が居るオフィス３（図１（ｃ））にも、オフィス１または２と同様の設備（プロジェクタ１２１、背景カメラ１２２、スクリーン１２３、前面カメラ１２４、背面カメラ１２５）が備えられている。但し、スクリーン１０３及び１１３は、縦２．３メートル、横４メートルのサイズであるのに対し、スクリーン１２３は、縦１メートル、横２メートルの比較的小さいサイズとなっている。互いの全身が投影された状態でコミュニケーションを取りたい場合は大きなスクリーンが備えられたオフィス１及びオフィス２を使用する必要があるが、スペースに限りがある場合にはオフィス３のように小さなサイズのスクリーンを使用しても良い。但し、スクリーン１２３には遠隔地の人物の全身を映し出すことはできず、例えば人物の上半身のみの投影となる。
【００２１】
図２は、遠隔コミュニケーションシステムの外観図であり、オフィス１の人物１０６がオフィス２の人物１１６とコミュニケーションを取っている様子を、図１（ａ）の右から左に向かって見た様子を示している。上述したようにスクリーン１０３は横に長いため、プロジェクタ１０１は２つ（ａ、ｂ）備えられているが、１つのプロジェクタで投影するようにしても良い。背景カメラ１０２は、スクリーン１０３の中央上部に備えられている。前面カメラ１０４ａ、ｂ、ｃは、スクリーン１０３に埋め込まれており、スクリーン１０３の中央部において鉛直方向に一列に並べて配置されている。
【００２２】
デジタイザ２０１は、スクリーン１０３に対してなされるユーザの動作を検知するための検知装置である。デジタイザ２０１は、送信器２０１ａと受信器２０１ｂを含み、送信器２０１ａが投射した赤外光が人物１０６の体の一部、或いは人物１０６が持っている指示棒等によって遮られた場合に、その位置を示す座標を出力する。なお、ここでは送信器２０１ａと受信器２０１ｂをそれぞれスクリーン１０３の左右に配置する例を示したが、スクリーン１０３の上下に配置しても良い。また、ユーザの動作を検知する方法はデジタイザに限らず、スクリーン１０３にタッチパネル機能を備えるようにし、スクリーン１０３が押圧された位置を検知するようにしても良い。
【００２３】
スクリーン１０３には、オフィス２の前面カメラ１１４によって得られた人物１１６の人物画像が投影されている。また、図２では、人物１１６の背景として、後述する文書管理サーバ３４０に格納されている文書（例えば、会議資料）が映し出されている。人物１１６の背景として、文書管理サーバ３４０に格納されている文書を投影するか、背景カメラ１１２によって得られたオフィス２の背景画像を投影するかは、デジタイザ２０１が検知する人物１１６の動作に応じて切替可能である。
【００２４】
図３は、遠隔コミュニケーションシステムのハードウェア構成図である。制御装置３１０に含まれるＣＰＵ３１６は、ＲＯＭ３１８に記憶された制御プログラムを読み出して、オフィス１内に備えられた各装置を制御する。ＲＡＭ３１７は、ＣＰＵ３１６の主メモリ、ワークエリア等の一時記憶領域として用いられる。なお、オフィス１では、１つのＣＰＵ３１６が１つのメモリ（ＲＡＭ３１７）を用いて後述するフローチャートに示す各処理を実行するものとするが、他の態様であっても構わない。例えば、各カメラやプロジェクタ、デジタイザのそれぞれに対して個別に制御装置３１０を備えるようにするなど、複数のＣＰＵや複数のＲＡＭ、或いはＨＤＤやＳＳＤを協働させて各処理を実行するようにすることもできる。また、後述する処理の一部をＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）等のハードウェア回路を用いて実行するようにしても良い。
【００２５】
ネットワーク３００は、各オフィスを繋ぐネットワークである。ネットワーク３００の種類は、有線、無線、ＷＡＮ、ＬＡＮ、公衆回線、専用回線など、環境に合わせて適宜選択すれば良い。ネットワークＩ／Ｆ３１１は、オフィス１をネットワーク３００に接続するためのインターフェースである。
【００２６】
図１及び２には示していないが、各オフィスにはマイクとスピーカーが設置されている。オフィス内の人物が発する言葉はマイクによって音声信号に変換され、遠隔地のスピーカーから出力される。オフィス１には、マイク３１９とスピーカー３２０が備えられており、音声Ｉ／Ｆ３１２は、マイク３１９による音声の入力及びスピーカー３２０による音声の出力を制御するためのインターフェースである。
【００２７】
プロジェクタＩ／Ｆ３１３は、プロジェクタ１０１による画像の投影を制御するためのインターフェースである。デジタイザＩ／Ｆ３１４は、デジタイザ２０１によるユーザの動作の検知を制御するためのインターフェースである。カメラＩ／Ｆ３１５は、前面カメラ１０４、背面カメラ１０５、背景カメラ１０２による撮像を制御するためのインターフェースである。
【００２８】
なお、ここでは図示しないが、オフィス２及び３には、オフィス１と同様の構成が備えられている。また、上述した各インターフェースには、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）やＨＤＭＩ（登録商標）（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）、有線ＬＡＮ、無線ＬＡＮなどが適宜採用される。
【００２９】
中継サーバ３５０は、各オフィスで撮像された画像や入力された音声が他のオフィスに送信される場合に、その画像を中継する役割を担う。文書管理サーバ３４０は、各オフィスのプロジェクタによってスクリーンに投影される文書（例えば、会議資料）を記憶する。図２に示すように、人物とともに文書を投影させることが指示されると、ＣＰＵ３１６は文書管理サーバ３４０から文書を取得し、プロジェクタ１０１に投影させる。なお、文書の投影は、遠隔コミュニケーションを行っているオフィスのどちらからでも指示することができる。
【００３０】
オブジェクト管理サーバ３３０は、遠隔コミュニケーションシステムの操作部としてスクリーン１０３を使用する場合にプロジェクタ１０１によってスクリーン１０３に投影させるオブジェクトを記憶する。オブジェクトの例としては、例えば接続先のオフィスを選択するための操作ボタンが挙げられる。オフィス１において遠隔コミュニケーションシステムが起動されると、ＣＰＵ３１６は、オブジェクト管理サーバ３３０から各オフィスに対応する選択ボタンを取得し、スクリーン１０３に投影させる。人物１０６がスクリーン１０３にタッチすると、タッチされた座標をデジタイザ２０１が検知し、検知された座標に対応する選択ボタンをＣＰＵ３１６が特定する。そして、ＣＰＵ３１６は、特定した選択ボタンに対応するオフィスとの間で遠隔コミュニケーションを開始する。
【００３１】
図４は、前面カメラ１０４撮像範囲を説明する図である。前面カメラ１０４ａ、１０４ｂ、１０４ｃは、それぞれ床面から高さａ（１７５０ｍｍ）、高さｂ（１０５０ｍｍ）、高さｃ（３５０ｍｍ）の位置に設置されている。
【００３２】
前面カメラ１０４ａ、ｂ、ｃは、それぞれ鉛直方向の画角がθ（シータ）ａ、θｂ、θｃとなっている。ここでは、θａ、θｂ、θｃがいずれも同じ値であるものとする。前面カメラ１０４から人物１０６までの距離ｄは、前面カメラ１０４によって得られる距離画像に基づいて算出される。図４に示している１０６ａ及び１０６ｂは、人物１０６がスクリーン１０３に向かって前後方向に移動した状態を示している。距離ｄ１、ｄ２は、それぞれ人物１０６が１０６ａの位置及び１０６ｂの位置に立っている状態における、前面カメラ１０４（スクリーン１０３）からの距離である。なお、１０６ａの位置は、人物１０６の全身を前面カメラ１０４によって撮像できる限界までスクリーン１０３に近づいた位置である。これ以上スクリーン１０３に近づくと、前面カメラ１０４の画角に入りきらず、人物１０６の体の一部が切れてしまう。
【００３３】
次に、図５を用いて、前面カメラ１０４によって撮像された画像の変倍及びトリミングについて説明する。本実施形態では、人物１０６が１０６ａの位置に立っている状態を基準として、それよりも少し後ろに下がった場合であっても、１０６ａの位置に立っている状態で投影されるのと同じサイズで人物画像が投影されるようにする。なお、１０６ｂの位置がスクリーン１０３から２メートル以上離れると、図７に後述する処理によって人物１０６は投影されなくなる。
【００３４】
人物１０６が１０６ｂの位置に立った場合は、１０６ａの位置に立った場合と比較して、前面カメラ１０４ａ、ｂ、ｃによって得られる画像内での人物の大きさが小さくなる。また、人物１０６が１０６ａの位置に立った場合は、前面カメラ１０４ａ、ｂ、ｃによって得られる画像に重複部分はないが、１０６ｂの位置に立った場合は、画像間の重複部分が発生する。
【００３５】
これらの点を鑑み、本実施形態では変倍処理とトリミング処理を行う。まず、変倍処理について説明する。図５（ａ）、（ｂ）、（ｃ）は、人物１０６が１０６ｂの位置に立った状態で前面カメラａ、ｂ、ｃによって得られる画像である。これらの画像に対して、距離ｄ１と距離ｄ２に基づく倍率で変倍処理を行う。より具体的に、距離ｄ２を距離ｄ１で割ることによって得られる値の分だけ、図５（ａ）、（ｂ）、（ｃ）の画像を変倍（拡大）する。この結果、得られる画像が図５（ｄ）、（ｅ）、（ｆ）である。
【００３６】
次に、トリミング処理について説明する。上述した変倍処理によって得られた図５（ｄ）、（ｅ）、（ｆ）の中心点を基準として、変倍前の画像のサイズに対応する領域（図中、点線で示す矩形領域の内側）を残し、それ以外の周囲の領域を除去する。これにより、画像間の重複部分を除去することができる。この結果得られた画像を順番に結合させると、１０６ａの位置で人物１０６を撮像したときと同じ大きさで、且つ、重複部分のない人物画像が得られる。
【００３７】
次に、図６及び７は、前面カメラ１０４による人物１０６の撮像と、前面カメラ１０４によって得られる人物画像の合成の処理を説明するフローチャートである。図６及び７のフローチャートに示す各動作（ステップ）は、オフィス１のＣＰＵ３１６がＲＯＭ３１８に記憶された制御プログラムを実行することにより実現される。
【００３８】
ステップＳ６０１では、変数Ｎの値を１に初期化する。ステップＳ６０２では、ＣＰＵ３１６が、前面カメラ１０４ａ、ｂ、ｃのうち変数Ｎに対応する前面カメラ１０４に人物１０６を撮像させる。ステップＳ６０３では、前面カメラ１０４によって得られた撮像画像から人物画像を生成する。
【００３９】
図７は、ステップＳ６０３の処理を詳細に説明するフローチャートである。ステップＳ７０１では、ステップＳ６０２で得られた撮像画像に含まれる距離画像を二値化する。本実施形態では、人物１０６は、スクリーン１０３（前面カメラ１０４）から１メートル以上且つ２メートル以内の距離に立つことを想定している。そこで、前面カメラ１０４から被写体までの距離の最小値を１メートルと設定し、最大値を２メートルとして所定範囲を設定する。そして、距離画像の各画素に対して、値が上記所定範囲内に含まれる画素の値を２５５に変更し、それ以外の画素の値を０に変更する。
【００４０】
ステップＳ７０２では、注目画素の周辺に１画素でも値が０の画素があれば値を０に変更する収縮処理、または、注目画素の周辺に１画素でも値が２５５の画素があれば値を２５５に変更する膨張処理を実行する。これにより、孤立点ノイズが除去される。ステップＳ７０３では、平滑化フィルタ（例えば、ガウシアンフィルタ）の処理を実行することにより、値が２５５となっている画素が連続している領域の輪郭を平滑化する。
【００４１】
ステップＳ７０４では、マスク処理を実行することにより、値が２５５である距離画像の画素に対応するカラー画像の画素を非透明とし、値が０である距離画像の画素に対応するカラー画像の画素を全透明とする（透明化する）。この処理により、前面カメラ１０４によって得られた撮像画像から人物部分が抽出される。なお、ここでの「人物部分」とは、人物のみならず、人物が手に持っている指示棒や、商品サンプルなども含まれる。
【００４２】
ステップＳ７０５では、図５を用いて既述したように、図５（ａ）、（ｂ）、（ｃ）の人物画像に対して変倍処理を行い、図５（ｄ）、（ｅ）、（ｆ）の人物画像を生成する。また、ステップＳ７０６では、図５を用いて既述したように、図５（ｄ）、（ｅ）、（ｆ）の人物画像に対してトリミング処理を実行する。
【００４３】
図６の説明に戻り、ステップＳ６０４では、変数Ｎの値が前面カメラ１０４の数（本実施形態では３）よりも小さいか否かを判定する。変数Ｎの値が前面カメラ１０４の数よりも小さい場合はステップＳ７０５に進み、変数Ｎに１を加えてステップＳ６０１に戻る。変数Ｎの値が前面カメラ１０４の数よりも小さくない場合（変数Ｎの値が前面カメラ１０４の数と等しい場合）はステップＳ６０６に進む。
【００４４】
ステップＳ６０６では、ステップＳ６０３の処理が実行された各人物画像を合成する。また更に、結合後の画像には周囲（頭の上側、右手の左側、左手の右側、足の下側）に余白が残っているため、値が２５５である画素を全て含む矩形でトリミング処理を行う。
【００４５】
ステップＳ６０７では、ステップＳ６０６の処理で得られた画像を接続先のオフィス２に送信する。ステップＳ６０８では、遠隔コミュニケーションの終了が指示されたか否かを判定し、終了が指示されたと判定すると処理を終了する。一方、終了が指示されなかったと判定するとステップＳ６０１に戻り、ステップＳ６０１以降の処理を再び実行する。
【００４６】
なお、ここではステップＳ６０３やステップＳ６０６の処理を撮像側（被写体である人物が居る方のオフィス）で実行する例を示したが、投影側（撮像された画像を投影する方のオフィス）で実行するようにしても良い。また、ステップＳ７０１〜Ｓ７０４で説明した人物部分の抽出処理を、ステップ６０６で説明した合成処理の後に実行しても良い。更に、ここでは説明を省略したが、背景カメラ１０２によって得られた画像や背面カメラ１０５によって得られた画像も、ステップＳ６０７における画像の送信と同期させて、または非同期で接続先のオフィス２に送信される。
【００４７】
図８は、接続先のオフィスから送信された画像を投影する処理を説明するフローチャートである。図８のフローチャートに示す各動作（ステップ）は、オフィス１のＣＰＵ３１６がＲＯＭ３１８に記憶された制御プログラムを実行することにより実現される。なお、ここではオフィス２に備えられたＣＰＵ等によって図６及び図７で説明した処理がオフィス２側でも同様に実行され、その結果としてオフィス２から送信されてきた画像をオフィス１側で投影する処理について説明する。
【００４８】
ステップＳ８０１では、前面カメラ１１４によって得られた前面の人物画像を受信する。ステップＳ８０２では、背面カメラ１１５によって得られた背面画像を受信する。ステップＳ８０３では、背景カメラ１１２によって得られた背景画像を受信する。
【００４９】
ステップＳ８０４では、人物の前面を表示させることが指示されているか、人物の背面を表示させることが指示されているかを判定する。これらの指示は、デジタイザ２０１が検知する人物１０６の動作に応じて受け付けられる。人物の前面を表示させることが指示されていると判定すると、ステップＳ８０５に進み、ステップＳ８０１で受信した前面の人物画像とステップＳ８０３で受信した背景画像とをスクリーン１０３に投影させる。一方、人物の背面を表示させることが指示されていると判定すると、ステップＳ８０６に進み、ステップＳ８０２で受信した背面画像をスクリーン１０３に投影させる。
【００５０】
ステップＳ８０７では、遠隔コミュニケーションの終了が指示されたか否かを判定し、終了が指示されたと判定すると処理を終了する。一方、終了が指示されなかったと判定するとステップＳ８０１に戻り、ステップＳ８０１以降の処理を再び実行する。なお、図６に示したフローチャートと図８に示したフローチャートは、遠隔コミュニケーションが行われている間、継続的に並行して実行される。
【００５１】
以上説明した通り、本実施形態の遠隔コミュニケーションシステムは、遠隔地であるオフィス２から送信された画像をスクリーン１０３に投影するプロジェクタ１０１を備える。また、スクリーン１０３には、複数の前面カメラ１０４が配置されている。ＣＰＵ３１６は、複数の前面カメラ１０４によって得られた各画像から人物部分を抽出する抽出処理（Ｓ７０３）と、複数の前面カメラ１０４によって得られた複数の画像を合成する合成処理（Ｓ７０６）を実行する。更に、抽出処理及び合成処理がなされた画像を、オフィス２に備えられたスクリーン１１３に投影するプロジェクタ１１１を備える。
【００５２】
このような構成を備えることにより、投影される人物のサイズが大きく変化することによる違和感を発生させることなく、遠隔地と円滑にコミュニケーションを取ることを可能としている。
【００５３】
＜他の実施形態＞
本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。
【００５４】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【図１】
2016213677.tif 000003
【図２】
2016213677.tif 000004
【図３】
2016213677.tif 000005
【図４】
2016213677.tif 000006
【図５】
2016213677.tif 000007
【図６】
2016213677.tif 000008
【図７】
2016213677.tif 000009
【図８】
2016213677.tif 000010