(57)【要約】【課題】遠隔会議において、部品上への正確な指示を複数の場所から可能にするとともに、当該指示が部品の画像上で正確に示された２次元画像を共有可能な画像作成システムを提供する。【解決手段】遠隔会議に参加するユーザーの各端末から、各端末において表示された被撮像体に対する指示として各端末に入力された指示情報の画像を受信する受信部と、指示情報の画像を、被撮像体が配置された被投影面内の所定の投影位置に投影する投影部と、被投影面内を撮像し撮像画像を生成する撮像部と、撮像画像を保存する保存部と、撮像画像を利用して、各ユーザーが共有するための２次元画像を作成する画像作成部と、を有する。【選択図】図１
2018093391.tif 000002
【特許請求の範囲】
【請求項１】
複数の場所においてそれぞれ会議に参加するユーザーが利用する各端末から、各端末において表示された被撮像体に対する指示として各端末に入力された前記被撮像体に関する指示情報の画像を受信する受信部と、
受信された前記指示情報の画像を、前記被撮像体が配置された被投影面内の所定の投影位置に投影する投影部と、
前記指示情報の画像が投影された前記被投影面内を撮像し、撮像画像を生成する撮像部と、
前記撮像画像を保存する保存部と、
保存された前記撮像画像を利用して、各ユーザーが共有するための２次元画像を作成する画像作成部と、
を有する画像作成システム。
【請求項２】
前記投影部と前記撮像部とは同一光軸の光学系である、請求項１に記載の画像作成システム。
【請求項３】
前記被投影面内以外を撮像可能な非固定の補助撮像部と、
前記補助撮像部により撮像された画像を前記会議に参加する各ユーザーの端末に送信する送信部と、
をさらに有する、請求項１または２に記載の画像作成システム。
【請求項４】
前記撮像部は、前記投影部により投影される光の波長の光をカットする波長カットフィルターを有することにより、前記指示情報の画像が除外された前記撮像画像を撮像し、
前記指示情報の画像が除外された前記撮像画像に、前記受信部により受信された前記指示情報の画像を合成する画像合成部をさらに有し、
前記保存部が保存する前記撮像画像は、前記指示情報の画像が合成された前記撮像画像である、請求項１〜３のいずれか一項に記載の画像作成システム。
【請求項５】
前記撮像画像の保存の指示が入力される指示入力部をさらに有し、
前記保存部は、前記保存の指示が入力されたタイミングで前記撮像画像を保存する、請求項１〜４のいずれか一項に記載の画像作成システム。
【請求項６】
前記受信部は、各端末において取得されたユーザーの音声のデータを各端末からさらに受信し、
受信された音声のデータをテキストデータに変換することでテキストデータを生成する変換部と、をさらに有し、
前記画像作成部は、前記変換部により生成されたテキストデータが追加された前記２次元画像を作成する、請求項４または５に記載の画像作成システム。
【請求項７】
前記保存部は、前記変換部により生成されたテキストデータを前記撮像画像と関連付けてさらに保存する、請求項６に記載の画像作成システム。
【請求項８】
複数の場所においてそれぞれ会議に参加するユーザーが利用する各端末から、各端末において表示された被撮像体に対する指示として各端末に入力された前記被撮像体に関する指示情報の画像を受信する段階（ａ）と、
受信された前記指示情報の画像を、前記被撮像体が配置された被投影面内の所定の投影位置に投影する段階（ｂ）と、
前記指示情報の画像が投影された前記被投影面内を撮像し、撮像画像を生成する段階（ｃ）と、
前記撮像画像を保存する段階（ｄ）と、
保存された前記撮像画像を利用して、各ユーザーが共有するための２次元画像を作成する段階（ｅ）と、
を有する画像作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像作成システムおよび画像作成方法に関する。
【背景技術】
【０００２】
複数の場所からそれぞれ会議に参加する参加者が情報を共有し議論する遠隔会議を、ネットワークを利用して支援する遠隔会議支援システムが知られている。
【０００３】
会議の議事録の作成を支援する従来技術としては、下記特許文献１、２に記載されたものがある。
【０００４】
特許文献１には次の議事録作成支援装置が記載されている。すなわち、参加者が装着する会話収集デバイスにより会議の参加者の音声を記録するとともに、会話収集デバイスの赤外線送受信部で赤外線による通信が可能となった参加者の組を、対面して会話が成立している組として検知する。そして、会話が成立している組の会話時間に基づいて会話集中度の高い主発言者を特定し、記録された音声から主発言者の会話の音声を抽出し、抽出した音声へのリンクを議事録に記載することで議事録を作成する。
【０００５】
また、特許文献２には次の議事録作成装置が記載されている。すなわち、会議中に取得したスライド画像やコメントなどを会議ＩＤと関連付けてサーバーに保存する。ユーザーによりサーバーに会議ＩＤが入力されると、会議ＩＤに対応する会議名などの属性情報、および会議ＩＤと関連付けされたスライド画像やコメントなどを議事録の雛形に挿入して議事録を作成する。また、議事録に追加する候補である推薦情報として、コメントなどに含まれるテキストをキーワードとして過去の会議情報などが蓄積されたサーバーを検索し、検索の結果抽出された情報をユーザーにより選択可能に表示する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１３−１０５３７４号公報
【特許文献２】特開２００８−１３９９６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特に製造業における部品発注者と受注者間との会議などにおいては、参加者全員が試作された実物の部品などを見て、部品の問題となった箇所を把握し、議論することで、問題点を解決する。このため、遠隔会議においても、部品の問題となった箇所の情報が、参加者により誤って認識されることがないように参加者により確認されつつ共有される必要がある。また、議事録においては、部品の問題となった箇所に対する指示が、部品の図面または画像などを用いて正確に示されることが求められる。
【０００８】
一方、特許文献１に記載された技術によれば、会議における主要な発言内容は、議事録に記載された音声へのリンクにより確認できる。しかし、議事録において、部品の問題となった箇所に対する指示を、部品の図面または画像などを用いて正確に示すという要求に対応できない。また、特許文献２に記載された技術によれば、会議に使用されたスライド画像およびコメントなどが議事録に記載される。しかし、会議の参加者は、問題となった箇所に対する指示をスライド画像上で表示できない。このため、特許文献１に記載された技術と同様に、議事録において、部品の問題となった箇所に対する指示を、部品の図面または画像などを用いて正確に示すという要求に対応できない。
【０００９】
本発明は、このような問題を解決するためになされたものである。すなわち、複数の場所から参加可能な遠隔会議において、部品上への正確な指示を各場所から可能にするとともに、当該指示が部品の画像上で正確に示された２次元画像を共有できる。
【課題を解決するための手段】
【００１０】
本発明の上記課題は、以下の手段によって解決される。
【００１１】
（１）複数の場所においてそれぞれ会議に参加するユーザーが利用する各端末から、各端末において表示された被撮像体に対する指示として各端末に入力された前記被撮像体に関する指示情報の画像を受信する受信部と、受信された前記指示情報の画像を、前記被撮像体が配置された被投影面内の所定の投影位置に投影する投影部と、前記指示情報の画像が投影された前記被投影面内を撮像し、撮像画像を生成する撮像部と、前記撮像画像を保存する保存部と、保存された前記撮像画像を利用して、各ユーザーが共有するための２次元画像を作成する画像作成部と、を有する画像作成システム。
【００１２】
（２）前記投影部と前記撮像部とは同一光軸の光学系である、上記（１）に記載の画像作成システム。
【００１３】
（３）前記被投影面内以外を撮像可能な非固定の補助撮像部と、前記補助撮像部により撮像された画像を前記会議に参加する各ユーザーの端末に送信する送信部と、をさらに有する、上記（１）または（２）に記載の画像作成システム。
【００１４】
（４）前記撮像部は、前記投影部により投影される光の波長の光をカットする波長カットフィルターを有することにより、前記指示情報の画像が除外された前記撮像画像を撮像し、前記指示情報の画像が除外された前記撮像画像に、前記受信部により受信された前記指示情報の画像を合成する画像合成部をさらに有し、前記保存部が保存する前記撮像画像は、前記指示情報の画像が合成された前記撮像画像である、上記（１）〜（３）のいずれかに記載の画像作成システム。
【００１５】
（５）前記撮像画像の保存の指示が入力される指示入力部をさらに有し、前記保存部は、前記保存の指示が入力されたタイミングで前記撮像画像を保存する、上記（１）〜（４）のいずれか一項に記載の画像作成システム。
【００１６】
（６）前記受信部は、各端末において取得されたユーザーの音声のデータを各端末からさらに受信し、受信された音声をテキストデータに変換することでテキストデータを生成する変換部と、をさらに有し、前記画像作成部は、前記変換部により生成されたテキストデータが追加された前記２次元画像を作成する、上記（４）または（５）に記載の画像作成システム。
【００１７】
（７）前記保存部は、前記変換部により生成されたテキストデータを前記撮像画像と関連付けてさらに保存する、上記（６）に記載の画像作成システム。
【００１８】
（８）複数の場所においてそれぞれ会議に参加するユーザーが利用する各端末から、各端末において表示された被撮像体に対する指示として各端末に入力された前記被撮像体に関する指示情報の画像を受信する段階（ａ）と、受信された前記指示情報の画像を、前記被撮像体が配置された被投影面内の所定の投影位置に投影する段階（ｂ）と、前記指示情報の画像が投影された前記被投影面内を撮像し、撮像画像を生成する段階（ｃ）と、前記撮像画像を保存する段階（ｄ）と、保存された前記撮像画像を利用して、各ユーザーが共有するための２次元画像を作成する段階（ｅ）と、を有する画像作成方法。
【発明の効果】
【００１９】
複数の場所から参加可能な遠隔会議において、ユーザーの各端末から受信した部品に対する指示情報の画像を部品が配置された被投影面内の所定の位置に投影し、当該被投影面内の撮像画像を利用してユーザーが共有するための２次元画像を作成する。これにより、部品上への正確な指示を各場所から可能にするとともに、当該指示が部品の画像上で正確に示された２次元画像を互いに確認しつつ共有できる。
【図面の簡単な説明】
【００２０】
【図１】画像作成システムのシステム構成図である。
【図２】画像作成システムのブロック図である。
【図３】入出力デバイスの構成を示すブロック図である。
【図４】ＰＣの構成を示すブロック図である。
【図５】サーバーの構成を示すブロック図である。
【図６】議事録の例を示す図である。
【図７】サーバーの動作を示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、図面を参照して、本発明の実施形態に係る画像作成システムおよび画像作成方法について説明する。なお、図面において、同一の要素には同一の符号を付し、重複する説明を省略する。
【００２２】
図１は、画像作成システムのシステム構成図である。図２は、画像作成システムのブロック図である。
【００２３】
画像形成システム１０は、サーバー１００、ストレージサーバー２００、撮像デバイス３００、補助撮像デバイス３５０、投影デバイス４００、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）５００、および入出力デバイス６００を有する。これらの構成要素は、有線または無線のネットワークに接続されることにより相互に通信可能に接続される。撮像デバイス３００は撮像部を構成し、補助撮像デバイス３５０は補助撮像部を構成する。投影デバイス４００は投影部を構成する。ストレージサーバー２００は保存部を構成する。ＰＣ５００および入出力デバイス６００は、端末を構成する。
【００２４】
それぞれ破線で囲まれた領域として示された場所Ｌ１および場所Ｌ２は、遠隔会議（以下、単に「会議」と称する）の参加者が会議に参加する場所を示している。すなわち、場所Ｌ１および場所Ｌ２は異なる場所であり、ユーザーである会議の参加者（以下、単に「参加者」と称する）は、複数の場所Ｌ１、Ｌ２のいずれかにおいて会議に参加できる。場所Ｌ１には、撮像デバイス３００、補助撮像デバイス３５０、投影デバイス４００、およびＰＣ５００が設置される。場所Ｌ２には、入出力デバイス６００が設置される。なお、入出力デバイス６００が設置される場所は場所Ｌ２の他に複数あってもよく、場所Ｌ１、Ｌ２以外の場所からも会議に参加できるように構成し得る。ＰＣ５００および入出力デバイス６００は、各参加者により携帯される移動可能な装置として構成され得る。
【００２５】
場所Ｌ１には、会議において議題の対象となる部品などの実物（以下、「対象物」と称する）７００が、投影デバイス４００により投影画像が投影される被投影面４１０内に配置される。後述するように、撮像デバイス３００により被投影面４１０内が撮像されることで、被撮像体である対象物７００の画像を包含する撮像画像が撮像される。
【００２６】
画像形成システム１０の各構成要素について説明する。
【００２７】
投影デバイス４００は、対象物７００が配置された被投影面４１０内の所定の投影位置に、入出力デバイス６００またはＰＣ５００において参加者により入力された対象物７００に関する指示情報の画像８００を投影する。以下、対象物７００に関する指示情報を単に「指示情報」とも称する。また、指示情報の画像８００を単に「指示画像」とも称する。後述するように、指示画像８００は、入出力デバイス６００およびＰＣ５００に表示された撮像画像に包含された対象物７００の画像上に参加者により入力される。指示画像８００は、入出力デバイス６００およびＰＣ５００からサーバー１００に送信され、投影デバイス４００は、指示画像８００をサーバー１００から受信する。指示画像８００が投影される被投影面４１０内の所定の投影位置とは、入出力デバイス６００またはＰＣ５００において、対象物７００の画像を包含する撮像画像上に入力された指示画像８００の位置に対応する位置である。
【００２８】
指示情報とは、対象物７００に対する参加者による指示の内容の情報である。対象物７００に関する指示情報には、たとえば参加者が対象物７００に対して指示しようとする対象物７００上の箇所、当該箇所の測定方法に関する指示、当該箇所に表示された刻印の内容確認の指示、当該箇所の形状や寸法などの変更の指示などが含まれる。図１においては、指示画像８００として、参加者が対象物７００に対して指示しようとする対象物７００上の箇所である立方体の一辺の画像が投影デバイス４００により対象物７００上に投影されている。
【００２９】
撮像デバイス３００は、被投影面４１０内を撮像し、撮像画像をサーバー１００に送信する。以下、撮像デバイス３００により撮像された被投影面４１０内の撮像画像を、単に「撮像画像」と称する。撮像画像は、被投影面４１０内に配置された対象物７００の画像を包含する。撮像デバイス３００は、たとえば二次元カメラにより構成され得る。
【００３０】
撮像デバイス３００は、投影デバイス４００により投影される光の波長の光をカットする波長カットフィルターを有し得る。これにより、撮像デバイス３００は、対象物７００上に投影された指示画像８００が除外された撮像画像を撮像し得る。撮像デバイス３００は、指示画像８００が除外された撮像画像をサーバー１００に送信する。後述するように、指示画像８００が除外された撮像画像は、サーバー１００により指示画像８００が合成される。
【００３１】
投影デバイス４００と撮像デバイス３００とは同一光軸の光学系となるように設定され得る。これにより、投影デバイス４００により投影される画像の座標と撮像デバイス３００により撮像される画像の座標とを一致させ得る。
【００３２】
補助撮像デバイス３５０は、被投影面４１０内以外を撮像可能な非固定の撮像デバイスである。補助撮像デバイス３５０は、撮像デバイス３００により撮像できない箇所を撮像するために設けられる。補助撮像デバイス３５０は非固定であるため、たとえば、会議において必要に応じて、対象物７００の内部を撮影できる。また、補助撮像デバイス３５０は、必要に応じて、被投影面４１０から離れた位置に配置された対象物７００に関連する比較的大きな装置などを撮像できる。補助撮像デバイス３５０により撮像された撮像画像は、サーバー１００を介して、入出力デバイス６００およびＰＣ５００に送信され、入出力デバイス６００およびＰＣ５００において表示されることで、各参加者に共有され得る。
【００３３】
図３は入出力デバイスの構成を示すブロック図である。入出力デバイス６００は、制御部６１０、記憶部６２０、通信部６３０、操作表示部６４０、音声取得部６５０、および音声出力部６６０を有しており、これらは信号をやりとりするためのバス６７０を介して相互に接続される。入出力デバイス６００は、たとえばタブレット端末またはＰＣにより構成され得る。
【００３４】
制御部６１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）により構成され、プログラムにしたがい、上記各部の制御や各種の演算処理を行う。
【００３５】
記憶部６２０は、たとえばＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、およびＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）により構成され得る。ＲＡＭは、作業領域として一時的にプログラムやデータを記憶する。ＲＯＭおよびＨＤＤは、各種プログラムや各種データを記憶する。
【００３６】
通信部６３０は、サーバー１００などの外部機器と通信するためのインターフェースであり、イーサネット（登録商標）、ＳＡＴＡ（Ｓｅｒｉａｌ  Ａｄｖａｎｃｅｄ  Ｔｅｃｈｎｏｌｏｇｙ  Ａｔｔａｃｈｍｅｎｔ）、ＰＣＩ  Ｅｘｐｒｅｓｓ、ＵＳＢ、ＩＥＥＥ１３９４などの規格によるネットワークインターフェース、ＢＬＵＥＴＯＯＴＨ（登録商標）、ＩＥＥＥ８０２．１１などの規格による無線通信インターフェース、電話回線に接続するための電話回線インターフェースなどを利用できる。
【００３７】
操作表示部６４０は、たとえばタッチパネル、液晶ディスプレイ、カーソル、キーボードにより構成され、各種の操作および入力が行われるとともに各種の情報を表示する。
【００３８】
操作表示部６４０には、場所Ｌ１において撮像デバイス３００により撮像された、対象物７００の画像を包含する撮像画像が表示される。
【００３９】
操作表示部６４０は、参加者による指示情報の入力を受け付ける。操作表示部６４０には対象物７００の画像を包含する撮像画像が表示されている。したがって、参加者は、対象物７００の画像上で対象物７００の問題となった箇所を特定した指示画像８００を入力できる。指示画像８００はサーバー１００を介して投影デバイス４００に送信され、投影デバイス４００により対象物７００上に投影される。
【００４０】
参加者により指示画像８００が操作表示部６４０に入力されると、操作表示部６４０には、サーバー１００により当該指示画像８００が合成された撮像画像（以下、単に「合成された撮像画像」とも称する）が表示される。合成された撮像画像は、対象物７００の画像を包含する撮像画像に指示画像８００が合成された撮像画像である。したがって、合成された撮像画像は、対象物７００の画像と指示画像８００とを包含する。後述するように、合成された撮像画像はＰＣ５００においても表示される。そのため、指示画像８００を含む対象物７００の撮像画像は、複数の場所Ｌ１、Ｌ２における各参加者により指示情報が確認されつつ共有される。また、会議の必要に応じて、被投影面４１０内において対象物７００が移動されても、移動後の対象物７００の画像を含む撮像画像が撮像デバイス３００により撮像され、操作表示部６４０に表示される。そして、参加者は、移動後の対象物７００の画像上で指示画像８００を入力できる。入力された指示画像８００は、サーバー１００により撮像画像と合成されて操作表示部６４０に表示される。
【００４１】
音声取得部６５０は、参加者の発言などの音声を取得し、音声情報としてサーバー１００に送信する。音声取得部６５０は、マイクにより構成され得る。
【００４２】
音声出力部６６０は、サーバー１００から受信された、参加者の発言などの音声情報に基づく音声を出力する。これにより、複数の場所Ｌ１、Ｌ２における参加者の発言の音声が場所Ｌ２において出力されるため、会議のすべての参加者の発言内容が各参加者で共有される。音声出力部６６０は、スピーカーおよびアンプにより構成され得る。
【００４３】
図４はＰＣの構成を示すブロック図である。ＰＣ５００は、制御部５１０、記憶部５２０、通信部５３０、操作表示部５４０、音声取得部５５０、および音声出力部５６０を有しており、これらは信号をやりとりするためのバス５７０を介して相互に接続される。
【００４４】
ＰＣ５００は、入出力デバイス６００と同様の構成を有する。したがって、重複となる説明は省略または簡略化する。なお、ＰＣ５００は、タブレット端末などで置換されて構成されてもよい。
【００４５】
操作表示部５４０には撮像画像が表示され、参加者は、撮像画像に包含される対象物７００の画像上で指示画像８００を入力できる。入力された指示画像８００は、通信部５３０によりサーバー１００に送信され、サーバー１００を介して投影デバイス４００に送信され、投影デバイス４００により対象物７００上に投影される。また、操作表示部５４０は、サーバー１００から通信部５３０により受信された、合成された撮像画像を表示する。これにより、場所Ｌ１における参加者は、合成された撮像画像により指示情報を確認できるとともに、実物の対象物７００上に投影された指示画像８００により指示情報を確認できる。
【００４６】
操作表示部５４０は指示入力部を構成し、撮像画像の保存の指示が入力される。撮像画像の保存の指示には会議の議題の情報が含まれ得る。議題の情報には、たとえば、議題を特定する議題ＩＤ、および議題の内容を示すデータが含まれ得る。入力された撮像画像の保存の指示は通信部５３０によりサーバー１００に送信される。後述するように、撮像画像の保存の指示が入力されることにより、撮像画像の保存の指示が入力されたタイミングで、合成された撮像画像がストレージサーバー２００に送信されて保存され得る。その際、合成された撮像画像には、会議の議題の情報などを含むタグが付加され得る。
【００４７】
操作表示部５４０には、書記担当の参加者により議事録作成の指示が入力される。議事録作成の指示には、会議の議題の情報が含まれ得る。議事録作成の指示は通信部５３０によりサーバー１００に送信される。後述するように、サーバー１００は議事録作成の指示を受信することにより、参加者が共有するための２次元画像として議事録を作成する。議事録は、議事録作成の指示に含まれる議題の情報に基づいて議題ごとに作成され得る。なお、議事ごとに作成された議事録は、会議ごとに集約されることにより、会議ごとの議事録として作成されてもよい。
【００４８】
操作表示部５４０には、会議中に、書記担当の参加者により、会議の議題ごとに議題の内容および決定された指示内容などのコメントが入力される。入力されたコメントは、通信部５３０によりサーバー１００に送信される。
【００４９】
図５は、サーバーの構成を示すブロック図である。サーバー１００は、制御部１１０、記憶部１２０、通信部１３０、および操作表示部１４０を有しており、これらは信号をやりとりするためのバス１５０を介して相互に接続される。なお、サーバー１００の構成要素は、入出力デバイス６００の対応する構成要素と同様の構成であるため、重複となる説明は省略または簡略化する。
【００５０】
制御部１１０は、プログラムにしたがい、上記各部の制御や各種の演算処理を行う。制御部１１０は、画像作成部および画像合成部を構成する。制御部１１０の作用の詳細については後述する。
【００５１】
記憶部１２０は、撮像画像、指示画像、合成された撮像画像、音声情報、およびコメントを記憶する。
【００５２】
通信部１３０は、撮像デバイス３００から撮像画像を受信する。通信部１３０は、ＰＣ５００および入出力デバイス６００から指示画像および音声情報を受信する。通信部１３０は、ＰＣ５００からコメントを受信する。通信部１３０は、後述する処理がされた、撮像画像、指示画像、合成された撮像画像、音声情報、およびコメントをストレージサーバー２００に送信する。通信部１３０から送信された、撮像画像、指示画像、合成された撮像画像、音声情報、およびコメントはストレージサーバー２００に保存される。通信部１３０は、受信部および送信部を構成する。
【００５３】
操作表示部１４０は、たとえばタッチパネルにより構成され、各種の操作および入力が行われるとともに各種の情報を表示する。
【００５４】
制御部１１０の作用について詳細に説明する。
【００５５】
図２に示すように、サーバー１００は、タグ生成部１１１、検索部１１２、画像処理部１１３、紐付け部１１４、リンク生成部１１５、リンク追加部１１６、入力部１１７、音声処理部１１８、および議事録作成部１１９としての機能を有する。これらの機能は、制御部１１０により実行される。
【００５６】
タグ生成部１１１は、会議の議題の情報などを含むタグを生成し、撮像画像、指示画像、合成された撮像画像、音声情報、およびコメントにタグを付与する。タグを付与する処理がされた撮像画像、指示画像、合成された撮像画像、音声情報、およびコメントはストレージサーバー２００に送信され保存される。会議の議題の情報は、ＰＣ５００から受信され得る。
【００５７】
画像処理部１１３は、撮像デバイス３００から受信された、指示画像８００が除外された撮像画像に、ＰＣ５００および入出力デバイス６００から受信された指示画像８００を合成することにより、合成された撮像画像を生成する。合成された撮像画像には、会議の議題の情報などを含むタグが付与される。
【００５８】
さらに、画像処理部１１３は、指示画像８００が対象物７００に投影されることで生じる、投影された指示画像８００の歪みを補正する。すなわち、対象物７００は三次元の物体である。このため、受信された指示画像８００が補正されずに対象物７００に投影されると、投影されることで指示画像８００に歪みが生じ得る。そして歪みが生じることで、投影された指示画像８００と、入出力デバイス６００などにおいて入力された対象物７００画像上の指示画像８００とで差異が生じ得る。たとえば、対象物７００が球などの曲面をもつ物体である場合に、入出力デバイス６００などにおいて対象物７００の画像上に直線の指示画像８００が入力されたのにもかかわらず、対象物７００に投影された指示画像８００が対象物７００の曲面上で曲線となり得る。このような、投影された指示画像８００の歪みは、対象物７００に投影された指示画像８００を見ている参加者に、対象物７００に関する指示を誤認識させ得る。画像処理部１１３は、対象物７００上に投影された指示画像８００と、入出力デバイス６００などにおいて対象物７００の画像上に入力された指示画像８００とで差異が生じないように、対象物７００上に投影される指示画像８００を補正する。画像処理部１１３は、さらに対象物７００上に投影される指示画像８００の色を変える補正をしてもよい。たとえば、対象物７００が黒色で、入出力デバイス６００などにおいて対象物７００の画像上に入力された指示画像８００が赤色であった場合に、対象物７００上に投影される指示画像８００の色を白に変える補正をし得る。これにより、対象物７００上に指示画像８００をより明確に投影できる。補正後の指示画像８００の色は、撮像デバイス３００の波長カットフィルターによりカットされる光の色から選択され得る。
【００５９】
音声処理部１１８は、ＰＣ５００または入出力デバイス６００から受信された音声情報を周知の技術を利用して変換することによりテキストデータを生成する。
【００６０】
紐付け部１１４は、音声処理部１１８により生成されたテキストデータを、撮像画像、指示画像、合成された撮像画像、音声情報、およびコメントと関連付ける処理をして、ストレージサーバー２００に送信する。
【００６１】
リンク生成部１１５は、ストレージサーバー２００に保存された音声情報にリンクさせたリンク情報を生成する。
【００６２】
リンク追加部１１６は、リンク情報を議事録に追加する。これにより、議事録に追加されたリンク情報にリンクされた音声情報に議事録からアクセスすることが可能になる。
【００６３】
入力部１１７には、ＰＣ５００から受信された議事録作成の指示が入力される。
【００６４】
検索部１１２は、入力部１１７に議事録作成の指示が入力されると、議事録作成の指示に含まれる議題の情報に基づいて、当該議題の情報を含むタグが付与された、合成された撮像画像およびコメントをストレージサーバー２００において検索して抽出する。検索部１１２は、抽出された、合成された撮像画像と関連付けされたテキストデータをさらに検出して抽出し得る。
【００６５】
議事録作成部１１９は、検索部１１２により抽出された、合成された撮像画像およびコメントを、会議の議題ごとに議事録の雛形に挿入することにより議事録を作成する。議事録作成部１１９は、検索部１１２により抽出されたデキストデータをさらに議事録の雛形に挿入し得る。
【００６６】
議事録作成部１１９は、作成した議事録をストレージサーバー２００に送信して保存し得る。議事録は、会議中にＰＣ５００または入出力デバイス６００に送信され表示されることにより各参加者により指示情報が確認されつつ共有される。議事録は、会議後においてもストレージサーバー２００に保存されることで各参加者により指示情報が共有される。
【００６７】
図６は、議事録の例を示す図である。
【００６８】
議事録には、議題ごとに、表示画面の欄に合成された撮像画像が表示され、内容の欄にコメントが表示される。議事録には、さらに、議題が審議された時刻が表示される。
【００６９】
図６においては、２つの議題についての議事録が例示されている。時刻１３時１５分から１３時３０分までに審議された議題については、合成された撮像画像において、対象物７００の画像上に、対象物７００上の４つの箇所Ａ、Ｂ、Ｃ、Ｄを示す指示情報が指示画像８００として表示されている。また、「Ａ、Ｂ、Ｃ、Ｄの４箇所の高さをノギスで測定」および「４箇所の平均値を高さとすること」というコメントが表示されている。
【００７０】
また、時刻１３時３０分からの議題については、合成された撮像画像において、対象物７００の画像上に、対象物７００上の箇所である刻印場所を示す指示情報が指示画像８００として表示されている。また、刻印場所について「シリアル番号が刻印されているので確認すること」というコメントが表示されている。
【００７１】
ストレージサーバー２００は、サーバー１００から受信した、撮像画像、指示画像、合成された撮像画像、音声情報、コメント、テキストデータ、および議事録を保存する。
【００７２】
サーバー１００の動作について説明する。
【００７３】
図７は、サーバーの動作を示すフローチャートである。本フローチャートは、サーバー１００の制御部１１０によりプログラムにしたがい実行される。
【００７４】
制御部１１０は、ＰＣ５００から撮像画像の保存の指示が通信部１３０により受信されるまで待機する（Ｓ１０１：ＮＯ）。
【００７５】
制御部１１０は、ＰＣ５００から撮像画像の保存の指示が受信されたとき（Ｓ１０１：ＹＥＳ）、ＰＣ５００または入出力デバイス６００において入力された指示画像８００をＰＣ５００または入出力デバイス６００から取得する（Ｓ１０２）。取得された指示画像８００には、撮像画像の保存の指示に含まれる会議の議題の情報のタグが付加されてストレージサーバー２００に保存される。
【００７６】
制御部１１０は、撮像デバイス３００から撮像画像を取得する（Ｓ１０３）。取得された撮像画像には、撮像画像の保存の指示に含まれる会議の議題の情報を含むタグが付加されてストレージサーバー２００に保存される。
【００７７】
制御部１１０は、取得された撮像画像に指示画像８００を合成する（Ｓ１０４）。
【００７８】
制御部１１０は、合成された撮像画像に会議の議題の情報を含むタグを付加してストレージサーバー２００に保存する（Ｓ１０５）。すなわち、制御部１１０は、ステップＳ１１０において、撮像画像の保存の指示がＰＣ５００において入力されることにより撮像画像の保存の指示がＰＣ５００から受信されたタイミングで、合成された撮像画像をストレージサーバー２００に保存する。
【００７９】
制御部１１０は、議事録作成の指示をＰＣ５００から受信することにより、議事録作成の指示に含まれる会議の議題の情報を含むタグが付加された、合成された撮像画像をストレージサーバー２００において抽出し、議事録の雛形に挿入する。制御部１１０は、議事録作成の指示に含まれる会議の議題の情報を含むタグが付加されたコメントをストレージサーバー２００において抽出し、さらに議事録の雛形に挿入する。これにより、議事録が作成される（Ｓ１０６）。
【００８０】
制御部１１０は、ＰＣ５００または入出力デバイス６００から受信された音声情報と、合成された撮像画像とを関連付ける（Ｓ１０７）。合成された撮像画像と関連付けられた音声情報は、ストレージサーバー２００に送信され保存される。なお、制御部１１０は、音声情報をテキストデータに変換して得られたテキストデータを合成された撮像画像と関連付けてストレージサーバー２００に送信し保存してもよい。
【００８１】
議題の情報を含むタグが付加されてストレージサーバー２００に保存された、合成された撮像画像およびコメントは、タグに含まれる議題の情報またはコメントの一部をキーワードとして後の会議、打合せ、または議事録作成において有効に利用され得る。たとえば、議題の情報として部品番号が含まれている場合、当該部品番号をキーワードとして検索されることにより、後に当該部品番号の部品に関する議事録を容易に検索することが可能となる。また、議題の情報またはコメントに「測定」というワードが含まれている場合、「測定」をキーワードとして検索されることにより、後に測定に関する議事録を容易に検索することが可能となる。なお、合成された撮像画像と関連付けされたテキストデータに含まれるワードをキーワードとして合成された撮像画像が検索されることも可能となる。
【００８２】
本実施形態は、以下の効果を奏する。
【００８３】
複数の場所から参加可能な遠隔会議において、各ユーザーから受信した部品に対する指示情報の画像を部品が配置された被投影面内の所定の位置に投影し、当該被投影面内の撮像画像を利用してユーザーが共有するための２次元画像を作成する。これにより、遠隔会議において、実物の部品上への正確な指示を各場所から可能にするとともに、当該指示が部品の画像上で正確に示された２次元画像を互いに確認しつつ共有できる。
【００８４】
さらに、投影部と撮像部とは同一光軸の光学系とする。これにより、投影部と撮像部の座標系が一致するため、座標系を一致させるためのキャリブレーションを不要にできる。
【００８５】
さらに、被投影面内以外を撮像可能な非固定の補助撮像部と、補助撮像部により撮像された画像を会議に参加する各ユーザーの端末に送信する送信部とをさらに有する。これにより、会議において必要に応じて、撮像部による撮像画像に含まれていない部品内部または当該部品に関連する別の部品などの撮像画像を各参加者で共有できる。
【００８６】
さらに、投影部により投影される光の波長の光をカットする波長カットフィルターを撮像部に設けることにより、指示情報の画像が除外された撮像画像を撮像し、撮像画像に指示情報の画像を合成し、合成された撮像画像を保存する。これにより、部品の画像を含む撮像画像と、指示情報の画像とを異なるレイヤーの画像として管理することで、指示情報の画像を議題ごとに管理できる。このため、部品の画像上に指示が示された画像を、議題ごとに容易に編集できる。
【００８７】
さらに、撮像画像の保存の指示が入力されたタイミングで撮像画像を保存する。これにより、一つの部品について複数の議題が挙がっている場合に、議題ごとに異なる指示画像を含む撮像画像を容易に保存できる。
【００８８】
さらに、ユーザーの各端末において取得されたユーザーの音声のデータを各端末から受信し変換することで、テキストデータに生成する。そして、生成されたテキストデータが追加された２次元画像を作成する。これにより、会議における意見などの音声をテキストデータとして容易に２次元画像に追加できる。
【００８９】
さらに、生成されたテキストデータを撮像画像と関連付けてさらに保存する。これにより、テキストデータに含まれるキーワードにより撮像画像を容易に抽出できる。
【００９０】
本発明に係る画像作成システムおよび画像作成方法は、上述した実施形態に限定されない。
【００９１】
例えば、上述した実施形態においては、対象物上に投影された指示画像をフィルターで除外した撮像画像を撮像し、撮像画像に指示情報の画像を合成した撮像画像を議事録に利用している。しかし、対象物上に投影された指示画像をフィルターで除外せずに、対象物の画像および対象物上に投影された指示画像を包含する撮像画像を議事録に利用してもよい。
【００９２】
また、上述した実施形態においては、撮像画像の保存の指示と議事録作成の指示は別の指示としている。しかし、議事録作成の指示が撮像画像の保存の指示を兼ねてもよい。
【００９３】
また、実施形態においてプログラムにより実行される処理の一部または全部を回路などのハードウェアに置き換えて実施され得る。
【符号の説明】
【００９４】
１０    画像形成システム、
１００    サーバー、
２００    ストレージサーバー、
３００    撮像デバイス、
３５０    補助撮像デバイス、
４００    投影デバイス、
５００    ＰＣ、
６００    入出力デバイス。
【図１】
2018093391.tif 000003
【図２】
2018093391.tif 000004
【図３】
2018093391.tif 000005
【図４】
2018093391.tif 000006
【図５】
2018093391.tif 000007
【図６】
2018093391.tif 000008
【図７】
2018093391.tif 000009