(57)【要約】【課題】立体物に関する情報を共有して双方向書き込みを行う場合の視差の問題を解決する。【解決手段】第１の拠点と第２の拠点との間で立体物に関する情報を共有し、共有した情報に対して双方向の書き込みを行う情報共有システムにおいて、第１の拠点の入出力装置に、撮像光学系と固体撮像素子とを有する撮像部と、投影光学系と光源と画像表示素子とを有する投影部と、撮像部から立体物を撮像した撮像画像を取得して第２の拠点の指示装置に出力する撮像制御部と、指示装置から、立体物の撮像画像に対する追記情報を取得する追記情報処理部と、投影部を制御して、立体物に追記情報を投影させる投影制御部と、を設け、投影光学系と撮像光学系とを、光学系の一部又は全部が共通で使用されるように構成し、共通で使用される光学系に、投影時の光路と撮像時の光路とを分離するための光路分離素子を設ける。【選択図】図３
2018098598.tif 000002
【特許請求の範囲】
【請求項１】
立体物が視認できる第１の拠点と前記立体物が視認できない第２の拠点との間で前記立体物に関する情報を共有し、前記共有した情報に対して双方向の書き込みを行う情報共有システムにおける、前記第１の拠点に配置される入出力装置であって、
撮像光学系と固体撮像素子とを有し、前記立体物を撮像する撮像部と、
投影光学系と光源と画像表示素子とを有し、前記立体物に情報を投影する投影部と、
前記撮像部から、前記立体物を撮像した撮像画像を取得し、当該立体物の撮像画像のデータを前記第２の拠点に配置される指示装置に出力する撮像制御部と、
前記指示装置から、前記立体物の撮像画像に対する追記情報を取得する追記情報処理部と、
前記投影部を制御して、前記立体物に前記追記情報を投影させる投影制御部と、を備え、
前記投影光学系と前記撮像光学系とは、光学系の一部又は全部が共通で使用され、前記共通で使用される光学系に、投影時の光路と撮像時の光路とを分離するための光路分離素子を備える、
ことを特徴とする入出力装置。
【請求項２】
前記追記情報は、前記立体物の撮像画像に対して入力されたオブジェクトの情報と、前記立体物の撮像画像に対する前記オブジェクトのサイズ情報及び位置情報と、を含み、
前記追記情報処理部は、前記サイズ情報及び前記位置情報に基づいて、前記オブジェクトの投影サイズ及び投影位置を特定し、
前記投影制御部は、前記オブジェクトの情報と前記投影サイズ及び前記投影位置とに基づいて、前記立体物に前記オブジェクトを投影させる、
ことを特徴とする請求項１に記載の入出力装置。
【請求項３】
前記追記情報処理部は、前記立体物の立体形状に基づいて、前記オブジェクトを前記立体物に投影する際の歪みを算出し、算出した歪みに応じて、前記オブジェクトを補正し、
前記投影制御部は、前記立体物に補正後の前記オブジェクトを投影させる、
ことを特徴とする請求項２に記載の入出力装置。
【請求項４】
前記追記情報処理部は、前記オブジェクトを前記立体物に投影した場合に、投影領域の全域が前記立体物の外形内に収まるかを判断し、投影領域の全域が前記立体物の外形内に収まらない場合は、前記立体物の外形からはみ出るオブジェクトを特定して前記指示装置に通知する、
ことを特徴とする請求項３に記載の入出力装置。
【請求項５】
前記撮像制御部は、前記撮像部から、オブジェクトが書き込まれた前記立体物を撮像した撮像画像を取得し、
前記追記情報処理部は、前記撮像画像を解析して、前記立体物に書き込まれた前記オブジェクトを特定し、前記立体物の立体形状に基づいて、前記オブジェクトを前記立体物の撮像画像に合成する際の歪みを算出し、算出した歪みに応じて、前記オブジェクトを補正し、補正後の前記オブジェクトの情報と、前記立体物に対する前記オブジェクトのサイズ情報及び位置情報と、を含む追記情報を前記指示装置に送信する、
ことを特徴とする請求項２乃至４のいずれか一に記載の入出力装置。
【請求項６】
前記撮像制御部は、前記撮像部から、投影機により基準パターンが投影された前記立体物を前記撮像光学系の焦点位置を連続的に変化させながら撮像した撮像画像を取得して解析し、前記基準パターンのコントラストに基づいて、前記立体物の立体形状を特定する、
ことを特徴とする請求項３乃至５のいずれか一に記載の入出力装置。
【請求項７】
前記基準パターンは、可視領域以外の波長の光を縞状に投影したパターンである、
ことを特徴とする請求項６に記載の入出力装置。
【請求項８】
立体物が視認できる第１の拠点と前記立体物が視認できない第２の拠点との間で前記立体物に関する情報を共有し、前記共有した情報に対して双方向の書き込みを行う情報共有システムにおける情報共有方法であって、
前記第１の拠点に配置される入出力装置は、
撮像光学系と固体撮像素子とを有し、前記立体物を撮像する撮像部と、
投影光学系と光源と画像表示素子とを有し、前記立体物に情報を投影する投影部と、を備え、
前記投影光学系と前記撮像光学系とは、光学系の一部又は全部が共通で使用され、前記共通で使用される光学系に、投影時の光路と撮像時の光路とを分離するための光路分離素子を備え、
前記第２の拠点に配置される指示装置は、
情報を表示する表示部と、
情報の入力を受け付ける操作部と、を備え、
前記入出力装置が、前記撮像部から、前記立体物を撮像した撮像画像を取得し、当該立体物の撮像画像のデータを前記指示装置に出力する第１の撮像処理と、
前記指示装置が、前記立体物の撮像画像のデータを受信し、前記立体物の撮像画像を前記表示部に表示する撮像画像表示処理と、
前記指示装置が、前記操作部による、前記立体物の撮像画像に対する追記情報の入力を受け付けて前記入出力装置に送信する第１の追記情報送信処理と、
前記入出力装置が、前記指示装置から前記追記情報を取得する追記情報取得処理と、
前記入出力装置が、前記投影部を制御して、前記立体物に前記追記情報を投影する追記情報投影処理と、を実行する、
ことを特徴とする情報共有方法。
【請求項９】
前記追記情報は、前記立体物の撮像画像に対して入力されたオブジェクトの情報と、前記立体物の撮像画像に対する前記オブジェクトのサイズ情報及び位置情報と、を含み、
前記追記情報取得処理では、前記サイズ情報及び前記位置情報に基づいて、前記オブジェクトの投影サイズ及び投影位置を特定し、
前記追記情報投影処理では、前記オブジェクトの情報と前記投影サイズ及び前記投影位置とに基づいて、前記立体物に前記オブジェクトを投影する、
ことを特徴とする請求項８に記載の情報共有方法。
【請求項１０】
前記追記情報取得処理では、前記立体物の立体形状に基づいて、前記オブジェクトを前記立体物に投影する際の歪みを算出し、算出した歪みに応じて、前記オブジェクトを補正し、
前記追記情報投影処理では、前記立体物に補正後の前記オブジェクトを投影する、
ことを特徴とする請求項９に記載の情報共有方法。
【請求項１１】
前記追記情報取得処理では、前記オブジェクトを前記立体物に投影した場合に、投影領域の全域が前記立体物の外形内に収まるかを判断し、投影領域の全域が前記立体物の外形内に収まらない場合は、前記立体物の外形からはみ出るオブジェクトを特定して前記指示装置に通知する、
ことを特徴とする請求項１０に記載の情報共有方法。
【請求項１２】
前記入出力装置が、前記撮像部から、オブジェクトが書き込まれた前記立体物を撮像した撮像画像を取得する第２の撮像処理と、
前記入出力装置が、前記撮像画像を解析して、前記立体物に書き込まれた前記オブジェクトを特定し、前記立体物の立体形状に基づいて、前記オブジェクトを前記立体物の撮像画像に合成する際の歪みを算出し、算出した歪みに応じて、前記オブジェクトを補正し、補正後の前記オブジェクトの情報と、前記立体物に対する前記オブジェクトのサイズ情報及び位置情報と、を含む追記情報を前記指示装置に送信する第２の追記情報送信処理と、
前記指示装置が、前記追記情報を受信し、前記サイズ情報及び前記位置情報に基づいて、前記立体物の撮像画像に前記オブジェクトの情報を合成し、前記表示部に合成した画像を表示する追記情報表示処理と、を更に実行する、
ことを特徴とする請求項９乃至１１のいずれか一に記載の情報共有方法。
【請求項１３】
前記撮像部から、投影機により基準パターンが投影された前記立体物を前記撮像光学系の焦点位置を連続的に変化させながら撮像した撮像画像を取得して解析し、前記基準パターンのコントラストに基づいて、前記立体物の立体形状を特定する立体形状特定処理を更に実行する、
ことを特徴とする請求項１０乃至１２のいずれか一に記載の情報共有方法。
【請求項１４】
前記基準パターンは、可視領域以外の波長の光を縞状に投影したパターンである、
ことを特徴とする請求項１３に記載の情報共有方法。
【請求項１５】
立体物が視認できる第１の拠点と前記立体物が視認できない第２の拠点との間で前記立体物に関する情報を共有し、前記共有した情報に対して双方向の書き込みを行う情報共有システムにおける、前記第１の拠点に配置される入出力装置で動作する情報共有プログラムであって、
前記入出力装置は、
撮像光学系と固体撮像素子とを有し、前記立体物を撮像する撮像部と、
投影光学系と光源と画像表示素子とを有し、前記立体物に情報を投影する投影部と、を備え、
前記投影光学系と前記撮像光学系とは、光学系の一部又は全部が共通で使用され、前記共通で使用される光学系に、投影時の光路と撮像時の光路とを分離するための光路分離素子を備え、
前記入出力装置に、
前記撮像部から、前記立体物を撮像した撮像画像を取得し、当該立体物の撮像画像のデータを前記第２の拠点に配置される指示装置に出力する第１の撮像処理、
前記指示装置から、前記立体物の撮像画像に対する追記情報を取得する追記情報取得処理、
前記投影部を制御して、前記立体物に前記追記情報を投影させる追記情報投影処理、を実行させる、
ことを特徴とする情報共有プログラム。
【請求項１６】
前記追記情報は、前記立体物の撮像画像に対して入力されたオブジェクトの情報と、前記立体物の撮像画像に対する前記オブジェクトのサイズ情報及び位置情報と、を含み、
前記追記情報取得処理では、前記サイズ情報及び前記位置情報に基づいて、前記オブジェクトの投影サイズ及び投影位置を特定し、
前記追記情報投影処理では、前記オブジェクトの情報と前記投影サイズ及び前記投影位置とに基づいて、前記立体物に前記オブジェクトを投影する、
ことを特徴とする請求項１５に記載の情報共有プログラム。
【請求項１７】
前記追記情報取得処理では、前記立体物の立体形状に基づいて、前記オブジェクトを前記立体物に投影する際の歪みを算出し、算出した歪みに応じて、前記オブジェクトを補正し、
前記追記情報投影処理では、前記立体物に補正後の前記オブジェクトを投影する、
ことを特徴とする請求項１６に記載の情報共有プログラム。
【請求項１８】
前記追記情報取得処理では、前記オブジェクトを前記立体物に投影した場合に、投影領域の全域が前記立体物の外形内に収まるかを判断し、投影領域の全域が前記立体物の外形内に収まらない場合は、前記立体物の外形からはみ出るオブジェクトを特定して前記指示装置に通知する、
ことを特徴とする請求項１７に記載の情報共有プログラム。
【請求項１９】
前記入出力装置に、更に、
前記撮像部から、オブジェクトが書き込まれた前記立体物を撮像した撮像画像を取得する第２の撮像処理、
前記撮像画像を解析して、前記立体物に書き込まれた前記オブジェクトを特定し、前記立体物の立体形状に基づいて、前記オブジェクトを前記立体物の撮像画像に合成する際の歪みを算出し、算出した歪みに応じて、前記オブジェクトを補正し、補正後の前記オブジェクトの情報と、前記立体物に対する前記オブジェクトのサイズ情報及び位置情報と、を含む追記情報を前記指示装置に送信する追記情報送信処理、を実行させる、
ことを特徴とする請求項１６乃至１８のいずれか一に記載の情報共有プログラム。
【請求項２０】
前記入出力装置に、更に、
前記撮像部から、投影機により基準パターンが投影された前記立体物を前記撮像光学系の焦点位置を連続的に変化させながら撮像した撮像画像を取得して解析し、前記基準パターンのコントラストに基づいて、前記立体物の立体形状を特定する立体形状特定処理を実行させる、
ことを特徴とする請求項１７乃至１９のいずれか一に記載の情報共有プログラム。
【請求項２１】
前記基準パターンは、可視領域以外の波長の光を縞状に投影したパターンである、
ことを特徴とする請求項２０に記載の情報共有プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入出力装置、情報共有方法及び情報共有プログラムに関し、特に、立体物に関する情報を共有する情報共有システムにおける入出力装置、情報共有システムにおける情報共有方法及び入出力装置で動作する情報共有プログラムに関する。
【背景技術】
【０００２】
近年、画面上に入力された電子データや手書き文字などを遠隔地とリアルタイムで共有し、複数人で同時に書き込みができるインタラクティブホワイトボード（ＩＷＢ：Interactive Whiteboard）が普及してきている。ＩＷＢは手書き文字などを電子ペンで入力し、その電子データを共有するのが一般的であるが、カメラと組み合わせることで、通常のホワイトボードマーカーで入力した情報やボールペンでノートなどに記載した情報などのアナログ情報を電子データとして取り込むことができるようになり、電子データだけでなく、アナログ情報を使った双方向書き込みが可能となる。
【０００３】
上記アナログ情報を共有する際に、出力機器としてプロジェクタを使用することで、ノートや本、図面などの紙媒体や、高さを持った立体物への双方向書き込みへの対応も可能となる。例えば、具体的なシーンとして、拠点Ａと拠点Ｂとで遠隔打ち合わせを実施する際に、拠点Ａではある現物（例えば、ある製品の試作部品など）を使用しながら会議を行い、拠点Ｂでは拠点Ａの現物の撮影画像に対して指示やコメントを記載しながら会議を行う、といったシーンが想定できる（以下、拠点Ａを現物側、拠点Ｂを指示側と呼ぶ。）。
【０００４】
このような、双方向書き込みに関する技術として、例えば、下記特許文献１には、電子文書が表示されている表示画像に対し、書き込み画像を重複して形成可能な表示手段と、前記表示手段に形成された書き込み画像を光学的に撮影し、該撮影した書き込み画像を電子データに変換する撮像手段と、前記撮像手段により撮影した前記書き込み画像の投影位置、及び、大きさを、前記表示手段に表示する電子文書の表示画像に合わせて調整し、該調整した書き込み画像を、前記表示手段に表示する電子文書に貼り付ける情報処理手段と、を有する投影型表示装置であって、前記撮像手段から得られる撮影画像を、ネットワークを介して接続された外部の前記投影型表示装置に送信する手段と、前記外部の投影型表示装置から受信した撮影画像を、所定の透明度の撮影画像として、前記表示手段に表示される電子文書の表示画像に対して重ねて表示する手段と、を有する構成が開示されている。
【０００５】
双方向書き込みに関する技術ではないが、プロジェクタに関する技術として、例えば、下記特許文献２には、光源を含み光源からの光束を反射型液晶パネルに集光入射させる照明光学系と、入射光の直線偏光の偏光方向に従い透過又は反射することによって光束の分離を行う偏光ビームスプリッタと、映像信号が入力され、該映像信号に従い入射光を空間変調し、該変調光を内部に有する反射層によって反射する反射型液晶パネルと、焦点位置可変機構を備え上記反射型液晶パネルの像をスクリーンに投射する投射レンズと、受光素子と、上記受光素子からの信号に基づいて上記焦点位置可変機構を駆動して上記投射レンズの焦点を上記スクリーン上に上記反射型液晶プロジェクタの像が結像する合焦位置に移動させる焦点調節制御部とを備え、上記光源から上記照明光学系を経て上記偏光ビームスプリッタに入射し該偏光ビームスプリッタによって反射又は透過された光束を上記反射型液晶パネルに入射させ、該反射型液晶パネルによって空間変調され且つ反射層によって反射された光束を偏光ビームスプリッタを介して上記投射レンズによってスクリーンに投射し、スクリーンで反射した光束を再び投射レンズ、偏光ビームスプリッタを介して上記受光素子に入射させ、上記反射光束の入射によって受光素子から出力される信号に基づいて上記焦点調節制御部が上記焦点位置可変機構を駆動する反射型液晶プロジェクタ装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−０５１４４６号公報
【特許文献２】特開２００１−３４３７０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述した立体物への双方向書き込みの際に課題となるのが、指示側で追記した情報を現物側で立体物に投影する際の視差に起因するズレの問題である。特許文献１のように、現物を取り込むための撮像光学系と情報を表示するための投影光学系とが別々に配置されている構成では、双方の光学系間に視差が生じてしまい、指示側で追記した情報が現物側でずれた位置に表示されてしまうこととなる。そして、そのズレによって指示側の指示が現物側に適切に伝わらなかったり、誤って伝わることで大きな手戻りが発生してしまったりする恐れがある。
【０００８】
このような視差に起因するズレを防止するためには、視差をキャリブレーションで取り除くような画像処理が必要になるが、その画像処理により情報の共有にタイムラグが生じてしまう。また、特許文献２のような撮像光学系と投影光学系とを一体型にしたプロジェクタでは視差を解消することができるが、特許文献２は、現物側と指示側との双方向書き込みに関する技術ではないため、指示側で追記した情報を現物側で立体物に投影する際のズレの問題を解決することはできない。
【０００９】
更に、指示側で画面上に追記した情報を現物側で立体物に投影する場合や、現物側で立体物に追記した情報を指示側の画面上に表示する場合には、立体物の形状に起因する歪みの問題も生じるが、この歪みは、撮像光学系と投影光学系とを一体型にしたとしても解消することはできない。
【００１０】
本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、立体物が存在する現物側と立体物の撮像画像が表示される指示側とで立体物に関する情報を共有して双方向書き込みを行う場合の視差の問題を解決することができる入出力装置、情報共有方法及び情報共有プログラムを提供することにある。
【００１１】
また、本発明の他の目的は、立体物の撮像画像に追記した情報や立体物自体に追記した情報を適切に相手側に伝えることができる入出力装置、情報共有方法及び情報共有プログラムを提供することにある。
【課題を解決するための手段】
【００１２】
本発明の一側面は、立体物が視認できる第１の拠点と前記立体物が視認できない第２の拠点との間で前記立体物に関する情報を共有し、前記共有した情報に対して双方向の書き込みを行う情報共有システムにおける、前記第１の拠点に配置される入出力装置であって、撮像光学系と固体撮像素子とを有し、前記立体物を撮像する撮像部と、投影光学系と光源と画像表示素子とを有し、前記立体物に情報を投影する投影部と、前記撮像部から、前記立体物を撮像した撮像画像を取得し、当該立体物の撮像画像のデータを前記第２の拠点に配置される指示装置に出力する撮像制御部と、前記指示装置から、前記立体物の撮像画像に対する追記情報を取得する追記情報処理部と、前記投影部を制御して、前記立体物に前記追記情報を投影させる投影制御部と、を備え、前記投影光学系と前記撮像光学系とは、光学系の一部又は全部が共通で使用され、前記共通で使用される光学系に、投影時の光路と撮像時の光路とを分離するための光路分離素子を備えることを特徴とする。
【００１３】
本発明の一側面は、立体物が視認できる第１の拠点と前記立体物が視認できない第２の拠点との間で前記立体物に関する情報を共有し、前記共有した情報に対して双方向の書き込みを行う情報共有システムにおける情報共有方法であって、前記第１の拠点に配置される入出力装置は、撮像光学系と固体撮像素子とを有し、前記立体物を撮像する撮像部と、投影光学系と光源と画像表示素子とを有し、前記立体物に情報を投影する投影部と、を備え、前記投影光学系と前記撮像光学系とは、光学系の一部又は全部が共通で使用され、前記共通で使用される光学系に、投影時の光路と撮像時の光路とを分離するための光路分離素子を備え、前記第２の拠点に配置される指示装置は、情報を表示する表示部と、情報の入力を受け付ける操作部と、を備え、前記入出力装置が、前記撮像部から、前記立体物を撮像した撮像画像を取得し、当該立体物の撮像画像のデータを前記指示装置に出力する第１の撮像処理と、前記指示装置が、前記立体物の撮像画像のデータを受信し、前記立体物の撮像画像を前記表示部に表示する撮像画像表示処理と、前記指示装置が、前記操作部による、前記立体物の撮像画像に対する追記情報の入力を受け付けて前記入出力装置に送信する第１の追記情報送信処理と、前記入出力装置が、前記指示装置から前記追記情報を取得する追記情報取得処理と、前記入出力装置が、前記投影部を制御して、前記立体物に前記追記情報を投影する追記情報投影処理と、を実行することを特徴とする。
【００１４】
本発明の一側面は、立体物が視認できる第１の拠点と前記立体物が視認できない第２の拠点との間で前記立体物に関する情報を共有し、前記共有した情報に対して双方向の書き込みを行う情報共有システムにおける、前記第１の拠点に配置される入出力装置で動作する情報共有プログラムであって、前記入出力装置は、撮像光学系と固体撮像素子とを有し、前記立体物を撮像する撮像部と、投影光学系と光源と画像表示素子とを有し、前記立体物に情報を投影する投影部と、を備え、前記投影光学系と前記撮像光学系とは、光学系の一部又は全部が共通で使用され、前記共通で使用される光学系に、投影時の光路と撮像時の光路とを分離するための光路分離素子を備え、前記入出力装置に、前記撮像部から、前記立体物を撮像した撮像画像を取得し、当該立体物の撮像画像のデータを前記第２の拠点に配置される指示装置に出力する第１の撮像処理、前記指示装置から、前記立体物の撮像画像に対する追記情報を取得する追記情報取得処理、前記投影部を制御して、前記立体物に前記追記情報を投影させる追記情報投影処理、を実行させることを特徴とする。
【発明の効果】
【００１５】
本発明の入出力装置、情報共有方法及び情報共有プログラムによれば、立体物に関する情報を共有して双方向書き込みを行う場合の視差の問題を解決することができる。
【００１６】
その理由は、立体物が視認できる第１の拠点と立体物が視認できない第２の拠点との間で立体物に関する情報を共有し、共有した情報に対して双方向の書き込みを行う情報共有システムにおいて、第１の拠点に配置される入出力装置に、撮像光学系と固体撮像素子とを有する撮像部と、投影光学系と光源と画像表示素子とを有する投影部と、撮像部から立体物を撮像した撮像画像を取得し、当該立体物の撮像画像のデータを第２の拠点に配置される指示装置に出力する撮像制御部と、指示装置から、立体物の撮像画像に対する追記情報を取得する追記情報処理部と、投影部を制御して、立体物に追記情報を投影させる投影制御部と、を設け、投影光学系と撮像光学系とを、光学系の一部又は全部が共通で使用されるように構成し、共通で使用される光学系に、投影時の光路と撮像時の光路とを分離するための光路分離素子を設けるからである。
【００１７】
また、本発明の入出力装置、情報共有方法及び情報共有プログラムによれば、立体物の撮像画像に追記した情報や立体物自体に追記した情報を適切に相手側に伝えることができる。
【００１８】
その理由は、追記情報処理部は、立体物の立体形状に基づいて、オブジェクトを立体物に投影する際の歪みを算出し、算出した歪みに応じてオブジェクトを補正したり、立体物の立体形状に基づいて、立体物に書き込まれたオブジェクトを立体物の撮像画像に合成する際の歪みを算出し、算出した歪みに応じてオブジェクトを補正したりするからである。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施例に係る情報共有システムの一例を示す模式図である。
【図２】本発明の第１の実施例に係る情報共有システムの他の例を示す模式図である。
【図３】本発明の第１の実施例に係る入出力装置の構成を示すブロック図である。
【図４】本発明の第１の実施例に係る入出力装置の撮像／投影部の構造を示す模式図である。
【図５】本発明の第１の実施例に係る指示装置の構成を示すブロック図である。
【図６】本発明の第１の実施例に係る情報共有システムの概略動作を示す模式図である。
【図７】本発明の第１の実施例に係る情報共有システムにおける情報の追記手順を示す模式図である。
【図８】本発明の第１の実施例に係る入出力装置の動作を示すフローチャート図である。
【図９】本発明の第１の実施例に係る入出力装置の動作（立体物の立体形状取得処理）を示すフローチャート図である。
【図１０】本発明の第１の実施例に係る入出力装置の動作（追記情報の補正処理）を示すフローチャート図である。
【図１１】本発明の第１の実施例に係る入出力装置における追記情報の補正処理を説明する模式図である。
【図１２】本発明の第２の実施例に係る情報共有システムの概略動作を示す模式図である。
【図１３】本発明の第２の実施例に係る情報共有システムにおける情報の追記手順を示す模式図である。
【図１４】本発明の第２の実施例に係る入出力装置の動作を示すフローチャート図である。
【図１５】本発明の第２の実施例に係る入出力装置の動作（追記情報の補正処理）を示すフローチャート図である。
【図１６】本発明の第２の実施例に係る入出力装置における追記情報の補正処理を説明する模式図である。
【発明を実施するための形態】
【００２０】
背景技術で示したように、現物側の装置にカメラなどの撮像手段とプロジェクタなどの投影手段とを設け、撮像手段を用いて立体物を撮像した画像を指示側の装置に送信し、指示側の装置で撮像画像を表示し、撮像画像に対して追記した情報を現物側の装置に送信し、現物側の装置で投影手段を用いて追記された情報を立体物に投影することにより、立体物を対象として情報を共有することができる。
【００２１】
しかしながら、従来の情報共有システムは、立体物を撮像するための撮像光学系と追記された情報を投影するための投影光学系とが別々に配置されているために視差が生じてしまい、指示側で追記した情報が現物側でずれて表示されてしまう。ここで、予め視差の量が分かっていれば、画像処理によって視差の影響を除外することができるが、この方法では、画像処理が追記情報を送信する際のタイムラグの一因となり、リアルタイムの双方向コミュニケーションの妨げとなってしまう。
【００２２】
そこで、本発明の一実施の形態では、立体物が存在する（立体物が視認できる）第１の拠点と立体物の撮像画像が表示される（立体物が視認できない）第２の拠点との間で、立体物に関する情報を共有し、共有した情報に対して双方向の書き込みを行う情報共有システムにおいて、第１の拠点に配置される入出力装置に、撮像光学系と固体撮像素子とを有する撮像部と、投影光学系と光源と画像表示素子とを有する投影部と、を備える撮像／投影部と、撮像部から立体物を撮像した撮像画像を取得し、立体物の撮像画像のデータを第２の拠点に配置される指示装置に送信する撮像制御部と、指示装置から、立体物の撮像画像に対する追記情報（立体物の撮像画像に対して入力されたオブジェクトの情報と立体物の撮像画像に対するオブジェクトのサイズ情報及び位置情報）を取得する追記情報処理部と、投影部を制御して、立体物に追記情報を投影させる投影制御部と、を設け、更に、撮像／投影部に、投影時の光路と撮像時の光路とを分離する光路分離素子を配置して投影光学系及び撮像光学系の一部又は全部を共通で使用できるようにする。これにより、立体物に関する情報を共有して双方向書き込みを行う場合の、視差に起因するズレの問題を解決することができる。
【００２３】
また、指示側で画面上に追記した情報を現物側で立体物に投影する場合や現物側で立体物に追記した情報を指示側で画面上に表示する場合には、立体物の形状に起因する歪みも生じる。
【００２４】
そこで、本発明の一実施の形態では、追記情報処理部は、立体物の立体形状に基づいて、オブジェクトを立体物に投影する際の歪みを算出し、算出した歪みに応じてオブジェクトを補正して、立体物の撮像画像に入力されたオブジェクトが立体物上で歪みなく視認できるようにする。また、立体物の立体形状に基づいて、オブジェクトを立体物の撮像画像に合成する際の歪みを算出し、算出した歪みに応じて、オブジェクトを補正し、補正後のオブジェクトの情報を含む追記情報を指示装置に送信して、立体物に直接書き込まれたオブジェクトが立体物の撮像画像上で歪みなく視認できるようにする。これにより、立体物に関する情報を共有して双方向書き込みを行う場合の、立体物の形状に起因する歪みの問題を解決することができる。
【実施例１】
【００２５】
上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の第１の実施例に係る入出力装置、情報共有方法及び情報共有プログラムについて、図１乃至図１１を参照して説明する。図１及び図２は、本実施例の情報共有システムの構成を示す模式図である。また、図３は、本実施例の入出力装置の構成を示すブロック図、図４は、入出力装置に含まれる撮像／投影光学系の構造を示す模式図であり、図５は、指示装置の構成を示すブロック図である。また、図６は、本実施例の情報共有システムの概略動作を示す模式図であり、図７は、情報共有システムにおける情報の追記手順を示す模式図である。また、図８乃至図１０は、本実施例の入出力装置の動作を示すフローチャート図であり、図１１は、入出力装置における追記情報の補正処理を説明する模式図である。
【００２６】
図１に示すように、本実施例の情報共有システムは、入出力装置１０と指示装置２０とを含み、これらはイーサネット（登録商標）、トークンリング、ＦＤＤＩ（Fiber-Distributed Data Interface）等の規格により定められるＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等の通信ネットワーク３０を介して接続されている。なお、指示装置２０は、画面上に画像を表示し、表示した画像に対して情報を追記する構成としてもよいし、図２に示すように、電子黒板３１等に画像を投影し、電子黒板３１等に追記された情報を読み取る構成としてもよい。以下、各装置について詳細に説明する。
【００２７】
［入出力装置］
入出力装置１０は、立体物が存在する（立体物が視認できる）現物側（第１の拠点）に配置される装置であり、図３（ａ）に示すように、制御部１１、記憶部１２、ネットワークＩ／Ｆ部１３、撮像／投影部１４などで構成される。
【００２８】
制御部１１は、マイクロプロセッサ等により構成されるＣＰＵ（Central Processing Unit）とＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などのメモリとで構成され、ＣＰＵは、ＲＯＭや記憶部１２に記憶した制御プログラムをＲＡＭに展開して実行することにより、入出力装置１０全体の動作を制御する。
【００２９】
記憶部１２は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などで構成され、ＣＰＵが各部を制御するためのプログラム、自装置の処理機能に関する情報、後述する撮像／投影部１４が立体物を撮像した撮像画像のデータ、指示装置２０から受信した追記情報などを記憶する。
【００３０】
ネットワークＩ／Ｆ部１３は、ＮＩＣ（Network Interface Card）やモデムなどで構成され、入出力装置１０を通信ネットワーク３０に接続し、指示装置２０との双方向通信を可能にする。
【００３１】
撮像／投影部１４は、立体物を撮像する撮像部と追記情報（オブジェクト）を立体物に投影する投影部とを含む。この撮像／投影部１４は、撮像／投影光学系１５、固体撮像素子１６、画像表示素子１７、光源１８、光路分離素子１９などで構成される。
【００３２】
撮像／投影光学系１５は、複数のレンズと光学系全体の焦点距離を調整する焦点調整機構とで構成され、立体物からの光を固体撮像素子１６に集光して結像すると共に、画像表示素子１７からの光を立体物に集光して結像する。上記焦点調整機構は、例えば、複数のレンズの内の可動レンズを光軸に沿って移動させるパルスモータ等の駆動手段と可動レンズの位置を検出する位置検出手段などで構成される。
【００３３】
固体撮像素子１６は、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサであり、入射する光を検出し、光の強度に応じた信号を出力する。
【００３４】
画像表示素子１７は、内部に反射層を有する反射型ＬＣＤ（Liquid Crystal Display）などであり、液晶に電圧を印加して旋光性や複屈折性などの光学的性質を変化させ、光源１８から入射して反射層で反射する光の透過を制御することにより、映像信号に応じた画像を表示する。
【００３５】
光源１８は、高圧水銀ランプやＬＥＤ（Light Emitting Diode）などであり、放射光を画像表示素子１７に出射する。
【００３６】
光路分離素子１９は、偏光ビームスプリッタや無偏光ビームスプリッタ、非偏光ビームスプリッタなどであり、撮像／投影光学系１５を介して入射する光を固体撮像素子１６に反射すると共に、光源１８から入射する光を画像表示素子１７に反射し、画像表示素子１７から入射する光を透過して撮像／投影光学系１５に出射する。
【００３７】
図４は、撮像／投影部１４の構造を示す模式図である。撮像部は、撮像／投影光学系１５と固体撮像素子１６と光路分離素子１９とを含み、投影部は、撮像／投影光学系１５と画像表示素子１７と光源１８と光路分離素子１９とを含む。このように、撮像／投影部１４に光路分離素子１９を配置し、撮像部と投影部とで撮像／投影光学系１５を共通で使用することによって視差をなくすことができ、視差に起因するズレを防止することができる。
【００３８】
なお、撮像／投影部１４は、撮像と投影とを同時に行ってもよいが、指示装置２０から取得した追記情報（オブジェクト）を立体物に投影している時に立体物を撮像すると、追記情報を含む撮像画像を取得してしまい、指示装置２０は追記情報を二重に表示することになる。そこで、本実施例では、撮像／投影部１４は、投影と撮像を交互に行うものとし、例えば、１秒間隔などの所定の間隔で投影と撮像を切り替えるようにする。また、撮像／投影部１４は、可視光のみを検出できるようにしてもよいし、立体物の立体形状を取得するために後述する投影機が赤外光などの可視領域以外の波長の光の基準パターンを投影する場合には、当該可視領域以外の波長の光も検出できるようにしてもよい。
【００３９】
また、上記制御部１１は、図３（ｂ）に示すように、撮像制御部１１ａ、追記情報処理部１１ｂ、投影制御部１１ｃなどとしても機能する。
【００４０】
撮像制御部１１ａは、撮像／投影部１４が立体物を撮像した撮像画像を取得し、撮像画像のデータを指示装置２０に出力する。また、撮像制御部１１ａは、立体物の立体形状を取得する場合は、所謂ＤＦＤ法（Depth from Defocus法）を用いて、光源及びスリットなどを含む外部の投影機などに基準パターン（明部と暗部が交互に配列したパターンなど）を照射させ、撮像／投影部１４が焦点距離を連続的に変化させながら立体物上の基準パターンを撮像した撮像画像を取得し、基準パターンの明部と暗部のコントラストが予め定めた閾値以上の場合は、焦点距離に基づいて立体物の各部までの距離を算出し、算出した各部の距離に基づいて立体物の立体形状を特定し、特定した立体物の立体形状を追記情報処理部１１ｂに通知する。なお、上記投影機の光源は可視光を発光する光源としてもよいが、赤外光などの可視領域以外の波長の光を発光する光源を用いることにより、立体物の立体形状を取得する際に追記情報と基準パターンとが混在して追記情報の視認性が悪化するなどの弊害を未然に防止することができる。
【００４１】
追記情報処理部１１ｂは、指示装置２０から、立体物の撮像画像に対する追記情報（立体物の撮像画像に対して入力されたオブジェクトの情報、立体物の撮像画像に対するオブジェクトのサイズ情報及び位置情報）を取得する。そして、取得したサイズ情報及び位置情報に基づいて、オブジェクトの投影サイズ及び投影位置を特定し、オブジェクトの情報と投影サイズ及び投影位置とを投影制御部１１ｃに通知する。例えば、立体物の外形寸法と撮像／投影部１４から立体物までの距離と立体物の撮像画像に対するオブジェクトのサイズ情報（立体物の撮像画像の縦方向及び／又は横方向のサイズを基準にした場合のオブジェクトの縦方向及び／又は横方向のサイズの比率）とに基づいて投影サイズを特定し、立体物の所定位置（例えば、中心）と立体物の撮像画像に対するオブジェクトの位置情報（立体物の撮像画像の所定位置を基準にした場合のオブジェクトの所定位置の変位量）とに基づいて投影位置を特定する。また、追記情報処理部１１ｂは、撮像制御部１１ａから通知される立体物の立体形状に基づいて、オブジェクトを立体物に投影する際の歪みを算出し、算出した歪みに応じてオブジェクトを補正し、補正後のオブジェクトの情報を投影制御部１１ｃに通知する。この補正処理の詳細は後述する。また、追記情報処理部１１ｂは、必要に応じて、オブジェクトを立体物に投影した場合に、投影領域の全域が立体物の外形内に収まるかを判断し、投影領域の全域が立体物の外形内に収まらない場合は立体物の外形からはみ出るオブジェクトを特定して指示装置２０に通知する。
【００４２】
投影制御部１１ｃは、撮像／投影部１４を制御して、追記情報処理部１１ｂから通知されるオブジェクトの情報と投影サイズ及び投影位置とに基づいて、立体物にオブジェクトを投影させる。また、投影制御部１１ｃは、撮像／投影部１４を制御して、追記情報処理部１１ｂから通知される補正後のオブジェクトと投影サイズ及び投影位置とに基づいて、立体物に補正後のオブジェクトを投影させる。
【００４３】
なお、上記撮像制御部１１ａ、追記情報処理部１１ｂ、投影制御部１１ｃはハードウェアとして構成してもよいし、制御部１１を撮像制御部１１ａ、追記情報処理部１１ｂ、投影制御部１１ｃとして機能させる情報共有プログラムとして構成し、当該情報共有プログラムを制御部１１のＣＰＵに実行させるようにしてもよい。
【００４４】
［指示装置］
指示装置２０は、立体物の撮像画像が表示される（立体物が視認できない）指示側（第２の拠点）に配置されるパーソナルコンピュータ、タブレットＰＣ、スマートフォンなどであり、図５（ａ）に示すように、制御部２１、記憶部２２、ネットワークＩ／Ｆ部２３、表示部２４、操作部２５、必要に応じて投影部２６及び撮像部２７などで構成される。
【００４５】
制御部２１は、マイクロプロセッサ等により構成されるＣＰＵとＲＯＭやＲＡＭなどのメモリとで構成され、ＣＰＵは、ＲＯＭや記憶部２２に記憶した制御プログラムをＲＡＭに展開して実行することにより、指示装置２０全体の動作を制御する。
【００４６】
記憶部２２は、ＨＤＤやＳＳＤなどで構成され、ＣＰＵが各部を制御するためのプログラム、自装置の処理機能に関する情報、入出力装置１０から受信した立体物の撮像画像のデータ、指示装置２０で追記した追記情報（オブジェクトの情報、立体物の撮像画像に対するオブジェクトのサイズ情報及び位置情報）などを記憶する。
【００４７】
ネットワークＩ／Ｆ部２３は、ＮＩＣやモデムなどで構成され、指示装置２０を通信ネットワーク３０に接続し、入出力装置１０との双方向通信を可能にする。
【００４８】
表示部２４は、液晶表示装置（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（electroluminescence）表示装置などで構成され、入出力装置１０から受信した撮像画像のデータに基づいて立体物の撮像画像を表示したり、立体物の撮像画像に対して入力されたオブジェクトを表示したりする。その際、入出力装置１０から、立体物の外形からはみ出るオブジェクトが通知された場合は、当該オブジェクトを識別可能に表示する。
【００４９】
操作部２５は、マウスやキーボード、表示部２４上に配置されたタッチセンサなどで構成され、立体物の撮像画像に対する文字や図形などのオブジェクトの追記などの操作を可能にする。
【００５０】
投影部２６は、必要に応じて設けられ、投影光学系と画像表示素子と光源などを備える。そして、入出力装置１０から受信した撮像画像のデータに基づいて、立体物の撮像画像を電子黒板３１などに投影する。
【００５１】
撮像部２７は、必要に応じて設けられ、撮像光学系と固体撮像素子などを備える。そして、電子黒板３１などに手書きされた情報を撮像し、撮像画像を下記の操作制御部２１ｂに通知する。
【００５２】
また、上記制御部２１は、図５（ｂ）に示すように、表示制御部２１ａ、操作制御部２１ｂなどとしても機能する。
【００５３】
表示制御部２１ａは、入出力装置１０から受信した撮像画像のデータに基づいて立体物の撮像画像を表示部２４に表示（又は投影部２６に投影）させる。その際に、表示部２４の画面サイズ（又は電子黒板３１のサイズ）と撮像画像のサイズとを比較し、表示部２４の画面（又は電子黒板３１）の所定の領域に撮像画像が表示されるように撮像画像を拡大／縮小する。そして、公知の手法を用いて立体物の撮像画像の輪郭を抽出し、画面上（又は電子黒板３１上）の立体物の撮像画像のサイズを取得して操作制御部２１ｂに通知する。
【００５４】
操作制御部２１ｂは、表示部２４に表示された撮像画像に対して操作部２５により文字や図形などのオブジェクトが追記された場合に、操作部２５からの信号に基づいて、オブジェクトの情報を取得すると共に、画面上の立体物の撮像画像に対するオブジェクトのサイズ及び位置を特定する。例えば、立体物の撮像画像の縦方向及び／又は横方向のサイズを基準にした場合のオブジェクトの縦方向及び／又は横方向のサイズを特定し、立体物の撮像画像の所定位置（例えば、中心）を基準にした場合のオブジェクトの所定位置（例えば、中心）を特定する。また、操作制御部２１ｂは、投影部２６に投影された撮像画像に対して電子黒板３１にオブジェクトが書き込まれた場合に、電子黒板３１から受信した信号又は撮像部２７が電子黒板３１を撮像した撮像画像の解析結果に基づいて、オブジェクトの情報を取得すると共に、電子黒板３１上の立体物の撮像画像に対するオブジェクトのサイズ及び位置を特定する。そして、オブジェクトの情報と立体物の撮像画像に対するオブジェクトのサイズ情報及び位置情報とを含む追記情報を入出力装置１０に送信する。
【００５５】
なお、図１乃至図５は、本実施例の情報共有システムの一例であり、各装置の構成や制御は適宜変更可能である。
【００５６】
以下、上記構成の情報共有システムの概略動作について、図６及び図７の模式図を参照して説明する。図６は、撮像画像を表示する際のデータの流れと追記情報を投影する際のデータの流れを示している。また、図７は、情報の追記手順を示している。
【００５７】
入出力装置１０は、撮像／投影部１４を用いて立体物４０を撮像し、撮像画像のデータを指示装置２０に送信する（図６の太い実線及び図７（ａ）参照）。指示装置２０は、入出力装置１０から撮像画像のデータを受信すると、表示部２４に立体物４０の撮像画像を表示する（図７（ｂ）参照）。
【００５８】
次に、指示装置２０は、撮像画像に情報（オブジェクト）が追記されたら（図７（ｃ）参照）、オブジェクトの情報と立体物４０の撮像画像に対するオブジェクトのサイズ情報及び位置情報とを含む追記情報を生成し、入出力装置１０に送信する（図６の太い破線及び図７（ｄ）参照）。入出力装置１０は、追記情報を受信したら、オブジェクトの投影サイズ及び投影位置を特定し、オブジェクトの補正（立体物４０の立体形状に応じた歪みの補正）を行い（図６の補正処理参照）、撮像／投影部１４を用いて、立体物４０に補正後のオブジェクトを投影する（図６の太い破線及び図７（ｅ）参照）。
【００５９】
次に、入出力装置１０の具体的な動作について説明する。制御部１１のＣＰＵは、ＲＯＭ又は記憶部１２に記憶した情報共有プログラムをＲＡＭに展開して実行することにより、図８乃至図１０のフローチャート図に示す各ステップの処理を実行する。
【００６０】
入出力装置１０の撮像／投影部１４は、立体物を撮像し（Ｓ１００）、制御部１１（撮像制御部１１ａ）は、撮像／投影部１４から立体物の撮像画像を取得し（Ｓ１１０）、撮像画像のデータを指示装置２０に送信する（Ｓ１２０）。指示装置２０は、入出力装置１０から撮像画像のデータを受信したら、制御部２１（表示制御部２１ａ）は、表示部２４に立体物の撮像画像を表示させ、制御部２１（操作制御部２１ｂ）は、操作部２５により撮像画像へのオブジェクトの追記が行われたら、オブジェクトの情報と、立体物の撮像画像に対するオブジェクトのサイズ情報及び位置情報と、を含む追記情報を生成して入出力装置１０に送信する。
【００６１】
入出力装置１０の制御部１１（追記情報処理部１１ｂ）は、追記情報の受信を監視し（Ｓ１３０）、追記情報を受信しなければ（Ｓ１３０のＮｏ）、Ｓ１００に戻って同様の処理を繰り返し、指示装置２０に立体物の撮像画像をリアルタイムで表示する。
【００６２】
一方、指示装置２０から追記情報を受信したら（Ｓ１３０のＹｅｓ）、制御部１１（撮像制御部１１ａ）は、立体物の立体形状を取得する（Ｓ１４０）。図９は、このステップの詳細を示しており、まず、外部の投影機などを用いて、立体物に基準パターン（明部と暗部が交互に出現する縦縞又は横縞又は格子状パターンなど）を投影させる（Ｓ１４１）。次に、立体物上の測定位置を設定し（Ｓ１４２）、焦点距離を設定する（Ｓ１４３）。そして、撮像／投影部１４に立体物上の基準パターンを撮像させ（Ｓ１４４）、撮像画像を解析して明部と暗部のコントラストを測定し（Ｓ１４５）、コントラストが予め定めた閾値以上であるかを判断する（Ｓ１４６）。コントラストが閾値未満の場合は（Ｓ１４６のＮｏ）、測定位置に焦点が合っていないと考えられることから、Ｓ１４３に戻って焦点距離を調整し（焦点距離を徐々に長く又は短くし）、同様の処理を繰り返す。一方、コントラストが閾値以上の場合は（Ｓ１４６のＹｅｓ）、Ｓ１４３で設定した焦点距離に基づいてＳ１４２で設定した測定位置までの距離を算出する（Ｓ１４７）。次に、立体物に未測定位置があるかを判断し（Ｓ１４８）、未測定位置がある場合は（Ｓ１４８のＹｅｓ）、Ｓ１４２に戻って測定位置を設定して同様の処理を繰り返す。そして、未測定位置が無くなったら（Ｓ１４８のＮｏ）、Ｓ１４７で算出した各測定位置までの距離に基づいて、立体物の立体形状（撮像／投影部１４側の面の立体形状）を取得する（Ｓ１４９）。
【００６３】
図８に戻って、制御部１１（追記情報処理部１１ｂ）は、追記されたオブジェクトを補正する（Ｓ１５０）。図１０はこのステップの詳細を示しており、まず、Ｓ１４０で取得した立体物の立体形状（外形寸法）と、追記情報に含まれるサイズ情報及び位置情報に基づいて、立体物に投影するオブジェクトの投影サイズ及び投影位置を特定する（Ｓ１５１）。次に、特定した投影サイズ及び投影位置でオブジェクトを投影した場合の投影領域を切り出し（Ｓ１５２）、投影領域全域が立体物の外形内に入っているかを判断する（Ｓ１５３）。投影領域全域が立体物の外形内に入っている場合は（Ｓ１５３のＹｅｓ）、投影領域上の等間隔の点を立体物に射影した場合の到達点を計算する（Ｓ１５４）。次に、到達点の２点間の距離を計算し（Ｓ１５５）、投影領域上の２点間の距離と対応する到達点の２点間の距離とに基づいて、投影領域上の各点の座標を補正する（Ｓ１５６）。そして、補正した座標に基づいてオブジェクトを再構成して投影制御部１１ｃに出力する（Ｓ１５７）。
【００６４】
上記処理について図１１を参照して具体的に説明する。図１１（ａ）は、立体物（ここでは円柱としている。）を水平面で切り出した時の上断面図であり、図１１（ｂ）は、図１１（ａ）の破線部の拡大図である。図１１（ａ）の太い実線がオブジェクトの投影領域であり、図中の黒丸が投影領域上の等間隔の点（ａ〜ｅ）、図中の黒三角が投影領域上の点を立体物に射影した場合の到達点（Ａ〜Ｅ）である。投影領域全域が立体物の外形内に入っているか否かは、投影領域と同じ長さの立体物４０の円弧が、撮像／投影部１４側から見える範囲にあるか否かで判断することができる。また、投影領域上の点を立体物４０に射影した場合の到達点は、撮像／投影部１４の光軸上の点（Ｘ）の座標と投影領域上の点（ａ〜ｅ）の座標と立体物の立体形状とに基づいて計算することができる。また、到達点の２点間の距離は、上記で計算した到達点の座標と立体物の立体形状とに基づいて計算することができる。また、投影領域上の各点（例えばｂ点）の座標を補正する際には、投影領域上の２点間の距離（ｂ−ｃ間の距離Ｌb-c）と、その２点に対応する到達点間の距離（Ｂ−Ｃ間の距離ＬB-C）とを用いて、ｂ点の座標にＬb-c／ＬB-Cを乗算することによって補正することができる。この補正により、投影領域上のｂ点はｂ’点（図１１（ｂ）の白丸）となり、光軸上のＸ点とｂ’点を通る直線と立体物４０の外形との交点が、Ｃ点からの距離がＬb-cとほぼ等しいＢ’点（図１１（ｂ）の白三角）となる。
【００６５】
図１０に戻って、投影領域全域が立体物の外形内に入っていない場合は（Ｓ１５３のＮｏ）、オブジェクト全体を立体物に投影することができないため、制御部１１（追記情報処理部１１ｂ）は、投影領域の内の立体物の外形からはみ出る領域を計算し（Ｓ１５８）、その領域内にあるオブジェクトを特定して指示装置２０に通知する（Ｓ１５９）。指示装置２０では、入出力装置１０からの通知を受信したら、制御部２１（表示制御部２１ａ）は、立体物の撮像画像からはみ出るオブジェクトを識別可能に表示して、ユーザに警告する。なお、ここでは入出力装置１０が、追記情報が全て立体物４０に投影可能かを判断したが、この判断は指示装置２０側で行うこともできる。その場合は、制御部２１（操作制御部２１ｂ）は、立体物の撮像画像の外形の座標とオブジェクトの座標とを比較して、立体物の撮像画像の外形よりも外側のオブジェクトを特定すればよい。
【００６６】
再び、図８に戻って、制御部１１（投影制御部１１ｃ）は、追記情報処理部１１ｂから再構成（補正）したオブジェクトの情報を受け取ったら、撮像／投影部１４を制御して、立体物に補正後のオブジェクトを投影する（Ｓ１６０）。これにより、現物側では立体物の正しい位置に投影された歪みのない追記情報を視認することができ、適切に情報を共有することができる。
【００６７】
なお、図８では、Ｓ１３０で追記情報を受信した後、Ｓ１４０で立体物の立体形状の取得処理を行ったが、立体物の立体形状の取得処理はオブジェクトの補正処理の前であればよく、追記情報の受信前に行ってもよい。その場合、Ｓ１００の立体物の撮像時に、外部の投影機などから基準パターンが投影されていると、撮像画像に基準パターンが写り込むため、立体物の撮像後に立体形状の取得処理を行ったり、可視光以外の光を照射して基準パターンを投影したりすればよい。
【００６８】
以上説明したように、入出力装置１０に、立体物を撮像する撮像部と立体物に情報を投影する投影部として機能する撮像／投影部１４を設けることにより、立体物に対して双方向で情報を書き込みながら議論を行うことができる。また、立体物に対して双方向で情報の書き込みを行うようなシーンにおいて、投影部と撮像部の視差による出力位置のズレが課題となる。投影光学系と撮像光学系の光軸が異なる位置にあると、それぞれの視差によって、撮像画像に書き込まれた文字などが立体物上の正確な位置に投影できないといった不具合が生じる。本実施例では、投影光学系と撮像光学系を共通で使用する撮像／投影一体型光学系を採用することにより、上記課題を解決している。具体的には、投影光学系と撮像光学系を共通で使用し、固体撮像素子１６や画像表示素子１７と撮像／投影光学系１５との間に投影時の光路と撮像時の光路を分離する光路分離素子１９を配置することで、光学系を共通で使用しながら、投影光と撮像光をそれぞれ分断することができるようにしている。
【００６９】
また、このような入出力装置１０では、投影対象物が立体であった場合の投影像の歪みも課題となる。投影対象物が単純な平面の組み合わせであれば大きな問題とはならないが、複雑な形状であった場合には指示側で撮像画像に対して追記した情報が投影対象物面上で歪んでしまい、指示側の情報が現物側に正確に伝わらないといった不具合が生じてしまう。本実施例では、指示側で追記された情報を立体物に重畳させる際に、その立体物の形状に応じた歪み補正を行うことにより、上記課題を解決している。この補正により、指示側で追記された情報を歪みなく立体物に重畳することができるため、円滑で齟齬なく指示側と現物側とで双方向コミュニケーションを実現することができる。
【００７０】
また、上記の歪み補正を行う際には、投影対象物の形状を把握する必要がある。そこで、本実施例では、入出力装置１０は投影対象物の少なくとも一部の形状を測定できるようにしている。この形状測定に関して、投影部と撮像部が別体で備わった構成であれば、投影部で基準パターンを投影対象物に投影しつつ撮像部で撮像し、その基準パターンの歪み具合で投影対象物の形状を把握することが可能であるが、撮像／投影一体型光学系では、投影光学系と撮像光学系が共通であるため、自身で投影した基準パターンを自身では認識できない。そこで、本実施例では、外部の投影機を用いて基準パターンを投影し、撮像光学系の焦点位置を連続的に変化させながら投影対象物面上の基準パターンを撮像し、基準パターンのコントラストに基づいて投影対象面までの距離を特定するようにしている。その際、投影機から投影する基準パターンが可視光であると、基準パターンが追記情報と混在してしまい好ましくない。その場合は、形状測定のための基準パターンのみ可視領域以外の波長の光（例えば、赤外光）を用いれば、追記情報の視認性を損なわずに立体物の立体形状の測定が可能となる。
【００７１】
また、指示側で立体物の撮像画像に追記を行う際に、立体物から追記情報の一部がはみ出してしまうと、現物側で立体物に追記情報を重畳投影する際に、はみ出した部分は立体物とは異なる部分に重畳されてしまう。その場合、追記情報が現物側に伝わらなかったり、投影された画像のピントがずれ、ぼやけてしまったりする可能性が生じる。そこで、本実施例では、追記情報が立体物からはみ出してしまうような場合には、追記側にアラートを表示するようにしている。これにより、指示側で立体物の撮像画像に追記した情報を適切に現物側に伝えることができる。
【実施例２】
【００７２】
次に、本発明の第２の実施例に係る入出力装置、情報共有方法及び情報共有プログラムについて、図１２乃至図１６を参照して説明する。図１２は、本実施例の情報共有システムの概略動作を示す模式図であり、図１３は、情報共有システムにおける情報の追記手順を示す模式図である。また、図１４及び図１５は、本実施例の入出力装置の動作を示すフローチャート図であり、図１６は、入出力装置における追記情報の補正処理を説明する模式図である。
【００７３】
前記した第１の実施例では、指示装置２０から取得した追記情報に基づいて、入出力装置１０が立体物に追記情報を投影したが、立体物に直接、情報を追記する場合もある。その場合、情報共有システムの基本構成は第１の実施例と同様であるが、入出力装置１０の撮像制御部１１ａ、追記情報処理部１１ｂ、投影制御部１１ｃは以下のように動作する。
【００７４】
撮像制御部１１ａは、撮像／投影部１４が、文字や図形などのオブジェクトが追記される前に立体物を撮像した撮像画像と、オブジェクトが追記された後に立体物を撮像した撮像画像と、を取得し、それらを追記情報処理部１１ｂに転送する。また、撮像制御部１１ａは、立体物の立体形状を取得する場合は、光源及びスリットなどを含む外部の投影機などに基準パターン（明部と暗部が交互に配列したパターンなど）を照射させ、撮像／投影部１４が焦点距離を連続的に変化させながら立体物上の基準パターンを撮像した撮像画像を取得し、基準パターンの明部と暗部のコントラストが予め定めた閾値以上の場合は、焦点距離に基づいて立体物の各部までの距離を算出し、算出した各部の距離に基づいて立体物の立体形状を特定し、特定した立体物の立体形状を追記情報処理部１１ｂに通知する。
【００７５】
追記情報処理部１１ｂは、撮像制御部１１ａから撮像画像を取得したら、オブジェクトが追記された後に取得した撮像画像を解析（例えば、オブジェクトが追記される前に取得した撮像画像とオブジェクトが追記された後に取得した撮像画像とを比較）して、立体物に追記されたオブジェクトを特定する。そして、追記情報処理部１１ｂは、撮像制御部１１ａから取得した立体物の立体形状に基づいて、追記されたオブジェクトを立体物の撮像画像に合成する際の歪みを算出し、算出した歪みに応じて、オブジェクトを補正し、補正後のオブジェクトの情報と、立体物に対するオブジェクトのサイズ情報及び位置情報と、を含む追記情報を指示装置２０に送信する。なお、上記サイズ情報は、立体物の縦方向及び／又は横方向のサイズを基準にした場合のオブジェクトの縦方向及び／又は横方向のサイズの比率であり、上記位置情報は、立体物の所定位置（例えば、中心）を基準にした場合のオブジェクトの所定位置（例えば、中心）の変位量である。
【００７６】
投影制御部１１ｃは、撮像制御部１１ａが立体物を撮像する間は、指示装置２０から受信した追記情報（オブジェクト）を立体物に投影しないように制御する。
【００７７】
以下、上記構成の情報共有システムの概略動作について、図１２及び図１３の模式図を参照して説明する。図１２は、立体物の撮像画像と立体物に追記した情報とを指示装置２０に表示させる際のデータの流れを示している。また、図１３は、情報の追記手順を示している。
【００７８】
入出力装置１０は、撮像／投影部１４を用いて立体物４０を撮像し、撮像画像のデータを指示装置２０に送信する（図１２の太い実線及び図１３（ａ）参照）。指示装置２０は、入出力装置１０から撮像画像のデータを受信すると、表示部２４に立体物４０の撮像画像を表示する（図１３（ｂ）参照）。
【００７９】
入出力装置１０は、立体物４０に情報（オブジェクト）が追記されたら（図１３（ｃ）参照）、撮像／投影部１４を用いて立体物４０を撮像し、撮像画像に対して補正処理を行い（図１２の太い破線参照）、追記情報を生成する（図１３（ｄ）参照）。その後、入出力装置１０は、生成した追記情報を指示装置２０に送信する（図１２の太い破線参照）。指示装置２０は、入出力装置１０から追記情報を受信したら、先に取得した撮像画像に追記情報を合成して表示部２４に表示する（図１３（ｅ）参照）。
【００８０】
次に、入出力装置１０の具体的な処理について説明する。制御部１１のＣＰＵは、ＲＯＭ又は記憶部１２に記憶した情報共有プログラムをＲＡＭに展開して実行することにより、図１４及び図１５のフローチャート図に示す各ステップの処理を実行する。
【００８１】
第１の実施例と同様に、入出力装置１０の撮像／投影部１４は、立体物を撮像し（Ｓ２００）、制御部１１（撮像制御部１１ａ）は、撮像／投影部１４から撮像画像を取得し（Ｓ２１０）、撮像画像のデータを指示装置２０に送信する（Ｓ２２０）。指示装置２０は、入出力装置１０から撮像画像のデータを受信したら、制御部２１（表示制御部２１ａ）は、表示部２４に立体物の撮像画像を表示させる。
【００８２】
入出力装置１０の制御部１１（追記情報処理部１１ｂ）は、立体物への追記を監視し（Ｓ２３０）、立体物に情報が追記されていなければ（Ｓ２３０のＮｏ）、Ｓ２００に戻って同様の処理を繰り返し、指示装置２０に立体物の撮像画像をリアルタイムで表示する。一方、立体物に情報が追記されたら（Ｓ２３０のＹｅｓ）、制御部１１（追記情報処理部１１ｂ）は、情報の追記後の撮像画像を解析（例えば、情報の追記前の撮像画像と情報の追記後の撮像画像とを比較）して追記情報を特定する（Ｓ２４０）。
【００８３】
次に、制御部１１（撮像制御部１１ａ）は、立体物の立体形状を取得する（Ｓ２５０）。このステップは、第１の実施例の図９と同様であるため、説明を省略する。
【００８４】
次に、制御部１１（追記情報処理部１１ｂ）は、オブジェクトを補正する（Ｓ２６０）。図１５はこのステップの詳細を示しており、まず、Ｓ２５０で取得した立体物の立体形状（外形寸法）と特定した追記情報に基づいて、立体物に書き込まれたオブジェクトのサイズ及び位置を算出する（Ｓ２６１）。次に、オブジェクトの書き込み領域を切り出し（Ｓ２６２）、書き込み領域上の等間隔の点を立体物の外接面に射影した場合の到達点を計算する（Ｓ２６３）。次に、到達点の２点間の距離を計算し（Ｓ２６４）、書き込み領域上の２点間の距離と対応する到達点の２点間の距離とに基づいて、外接面上の各点の座標を補正する（Ｓ２６５）。そして、補正した座標に基づいてオブジェクトを再構成する（Ｓ２６６）。
【００８５】
上記処理について図１６を参照して具体的に説明する。図１６（ａ）は、立体物（ここでは円柱としている。）を水平面で切り出した時の上断面図であり、図１６（ｂ）は、図１６（ａ）の破線部の拡大図である。図１６（ａ）の太い実線がオブジェクトの書き込み領域であり、図中の黒三角が書き込み領域上の等間隔の点（Ａ〜Ｅ）、図中の黒丸が書き込み領域上の点を立体物４０の外接面に射影した場合の到達点（ａ〜ｅ）である。書き込み領域上の点を立体物４０の外接面に射影した場合の到達点は、撮像／投影部１４の光軸上の点（Ｘ）の座標と書き込み領域上の点（Ａ〜Ｅ）の座標とに基づいて計算することができる。また、到達点の２点間の距離は、上記で計算した到達点の座標に基づいて計算することができる。また、外接面上の各点（例えばｂ点）の座標を補正する際には、書き込み領域上の２点間の距離（Ｂ−Ｃ間の距離ＬB-C）と、その２点に対応する到達点間の距離（ｂ−ｃ間の距離Ｌb-c）とを用いて、Ｂ点の座標にＬB-C／Ｌb-cを乗算することによって補正（第１の実施例の補正とは逆の補正）することができる。この補正により、書き込み領域上のＢ点はＢ’点（図１６（ｂ）の白三角）となり、光軸上のＸ点とＢ’点を通る直線と立体物４０の外接面との交点が、ｃ点からの距離がＬB-Cとほぼ等しいｂ’点（図１６（ｂ）の白丸）となる。
【００８６】
図１４に戻って、制御部１１（追記情報処理部１１ｂ）は、補正したオブジェクトの情報と立体物に対するオブジェクトのサイズ情報及び位置情報とを含む追記情報を指示装置２０に送信する（Ｓ２７０）。指示装置２０は、入出力装置１０から追記情報を受信したら、制御部２１（表示制御部２１ａ）は、追記情報に含まれるサイズ情報及び位置情報に基づいて、立体物の撮像画像に追記情報に含まれるオブジェクトの情報を合成して、表示部２４に表示させる。例えば、表示部２４に表示されている立体物の撮像画像の外形寸法と立体物に対するオブジェクトのサイズ情報（立体物の縦方向及び／又は横方向のサイズを基準にした場合のオブジェクトの縦方向及び／又は横方向のサイズの比率）とに基づいて表示サイズを特定し、立体物の撮像画像の所定位置（例えば、中心）と立体物に対するオブジェクトの位置情報（立体物の所定位置を基準にした場合のオブジェクトの所定位置の変位量）とに基づいて表示位置を特定し、特定した表示サイズ及び表示位置に基づいて、立体物の撮像画像にオブジェクトを合成する。これにより、指示側では立体物の撮像画像の正しい位置に表示された歪みのない追記情報を視認することができ、適切に情報を共有することができる。
【００８７】
以上説明したように、本実施例では、現物側で立体物４０に追記された情報を指示側で立体物の撮像画像に重畳させる際に、その立体物の形状に応じた歪み補正を行うようにしている。この補正により、現物側で追記された情報を歪みなく立体物の撮像画像に重畳することができるため、円滑で齟齬なく現物側と指示側とで双方向コミュニケーションを実現することができる。
【００８８】
なお、本発明は、上記実施例の記載に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成や制御は適宜変更可能である。
【００８９】
例えば、上記各実施例では、１台の入出力装置１０と１台の指示装置２０とで構成される情報共有システムを例示したが、複数台の入出力装置１０や複数台の指示装置２０で構成される情報共有システムに対して、本発明の情報共有方法を同様に適用することができる。
【産業上の利用可能性】
【００９０】
本発明は、立体物に関する情報を共有する情報共有システムにおける入出力装置、情報共有システムにおける情報共有方法、入出力装置で動作する情報共有プログラム及び当該情報共有プログラムを記録した記録媒体に利用可能である。
【符号の説明】
【００９１】
１０  入出力装置
１１  制御部
１１ａ  撮像制御部
１１ｂ  追記情報処理部
１１ｃ  投影制御部
１２  記憶部
１３  ネットワークＩ／Ｆ部
１４  撮像／投影部
１５  撮像／投影光学系
１６  固体撮像素子
１７  画像表示素子
１８  光源
１９  光路分離素子
２０  指示装置
２１  制御部
２１ａ  表示制御部
２１ｂ  操作制御部
２２  記憶部
２３  ネットワークＩ／Ｆ部
２４  表示部
２５  操作部
２６  投影部
２７  撮像部
３０  通信ネットワーク
３１  電子黒板
４０  立体物
【図１】
2018098598.tif 000003
【図２】
2018098598.tif 000004
【図３】
2018098598.tif 000005
【図４】
2018098598.tif 000006
【図５】
2018098598.tif 000007
【図６】
2018098598.tif 000008
【図７】
2018098598.tif 000009
【図８】
2018098598.tif 000010
【図９】
2018098598.tif 000011
【図１０】
2018098598.tif 000012
【図１１】
2018098598.tif 000013
【図１２】
2018098598.tif 000014
【図１３】
2018098598.tif 000015
【図１４】
2018098598.tif 000016
【図１５】
2018098598.tif 000017
【図１６】
2018098598.tif 000018