(57)【要約】【課題】追記対象の向きを変更することで参加者が追記を容易に行えるようにすること。【解決手段】情報処理システム１００は、表示領域に表示された追記対象に対する追記の方向を検出して、追記に対して方向を関連付けて管理する。カメラ１０３は撮像動作により、追記の情報を含む画像を取得し、ＰＣ１０１は撮像された画像の画像処理を行い、画像処理された画像をプロジェクタ１０２が情報入力ボードに投影して表示する。ＰＣ１０１はカメラ１０３が撮像した画像を取得し（Ｓ５００）、被写体像の腕の先端位置から追記位置を特定した場合（Ｓ５０１）、追記対象を特定する（Ｓ５０２）。ＰＣ１０１は追記対象を回転して表示させる処理（Ｓ５０３）を行い、追記対象の向きを追記の方向に一致させる。【選択図】  図５
2017108207.tif 000002
【特許請求の範囲】
【請求項１】
表示手段により表示された追記対象に対する追記の方向を検出する検出手段と、
前記追記対象への追記に対して追記の方向を関連付けて管理する管理手段と、
前記表示手段の表示領域における前記追記対象の向きを制御する制御手段と、を備え、
前記制御手段は、前記検出手段により検出された追記の方向に合わせて前記追記対象の向きを変更して前記表示手段に前記追記対象を表示させる制御を行うことを特徴とする情報処理システム。
【請求項２】
追記を入力する入力手段と、
前記入力手段により入力された追記の情報を含む画像を取得する撮像手段と、
前記撮像手段から前記画像を取得して画像処理を行う画像処理手段と、
前記画像処理手段により画像処理された画像を表示する前記表示手段と、を備え、
前記検出手段は、前記撮像手段により撮像された画像から前記追記対象に対する追記の方向を検出し、
前記表示手段は、前記入力手段に対して画像を表示領域に投影して表示することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
表示手段により表示された追記対象に対する追記の情報を処理する情報処理装置であって、
前記追記対象に対する追記の方向を検出する検出手段と、
前記追記対象への追記に対して追記の方向を関連付けて管理する管理手段と、
前記表示手段の表示領域における前記追記対象の向きを制御する制御手段と、を備え、
前記制御手段は、前記検出手段により検出された追記の方向に合わせて前記追記対象の向きを変更して前記表示手段に前記追記対象を表示させる制御を行うことを特徴とする情報処理装置。
【請求項４】
前記制御手段は、前記追記対象の向きが追記の向きに一致していない場合、前記追記対象を回転して表示させる制御を行うことにより、前記追記対象の向きを前記追記の向きに一致させることを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記追記対象と当該追記対象への追記をグループ化する処理手段をさらに備え、
前記制御手段は、前記追記対象を回転して表示させる制御により、前記追記対象の向きを前記追記の向きに一致させた後で、グループ化された前記追記の向きを、前記追記対象の回転前における表示の向きに合わせることを特徴とする請求項４に記載の情報処理装置。
【請求項６】
追記対象の回転方法を選択する選択手段をさらに備え、
前記制御手段は、前記選択手段により追記対象内の追記ごとに回転させる方法が選択された場合、前記追記対象内の追記を回転させることを特徴とする請求項４に記載の情報処理装置。
【請求項７】
前記検出手段は、前記表示領域を撮像した画像から前記追記対象に対する追記の方向を検出し、
前記制御手段は前記表示手段を制御し、前記追記の情報を含む画像を前記表示領域に投影して表示させることを特徴とする請求項３から６のいずれか１項に記載の情報処理装置。
【請求項８】
前記管理手段は、前記表示領域における追記対象および追記の向きの情報をそれぞれ管理し、
前記制御手段は、前記管理手段から取得した前記表示領域における追記対象および追記の向きの情報から前記追記対象の向きと前記追記の向きとが一致しているか否かを判定することを特徴とする請求項３から７のいずれか１項に記載の情報処理装置。
【請求項９】
表示手段により表示された追記対象に対する追記の情報を処理する情報処理装置にて実行される制御方法であって、
検出手段が前記追記対象に対する追記の方向を検出するステップと、
管理手段が前記追記対象への追記に対して追記の方向を関連付けて管理するステップと、
前記表示手段の表示領域における前記追記対象の向きを制御手段が制御するステップと、を有し、
前記制御手段は、前記検出手段により検出された追記の方向に合わせて前記追記対象の向きを変更して前記表示手段に前記追記対象を表示させる制御を行うことを特徴とする情報処理装置の制御方法。
【請求項１０】
請求項９に記載の各ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、参加者が机上の盤面等に表示された画像を見ながら書込みを行って意思疎通を図るための情報処理技術に関する。
【背景技術】
【０００２】
資料画像や電子書き込み等の電子データの表示や、電子データへの書込みが可能なシステムでは、電子データの拡大または縮小、回転によって表示状態の変更が可能である。このようなシステムを応用し、電子データをホワイトボードや机上の盤面に投影して表示しながら、参加者同士でコミュニケーションをとることができる会議システムが普及してきている。
【０００３】
机上の盤面の周囲にいる参加者が書込み（追記）を行う際には、書き易い位置、つまり参加者の立ち位置の正面で書込み操作を行う。この位置は書込み操作を行った参加者にとっては書き込み内容が読み易く理解し易い位置であるが、その他の参加者にとっては、書込みの方向と参加者の視線方向が一致していない場合、読み易く理解し易い表示状態になっていない。そこで、参加者が書込みを行った情報を電子化し、電子化された書込み情報を回転して表示させる方法がある。さらに特許文献１には、既に表示されている資料等（追記対象）に対して参加者が追記をする場合、追記対象の向きと一致するように追記を回転して表示する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１―２５４１７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示の方法では、表示されている追記対象が回転されないため、追記対象の向きと異なる方向から追記したい参加者にとっては、立ち位置を変更しないと追記対象に対して追記がしづらいという課題があった。
本発明の目的は、追記対象の向きを変更することで参加者が追記を容易に行えるようにすることである。
【課題を解決するための手段】
【０００６】
本発明に係る情報処理システムは、表示手段により表示された追記対象に対する追記の方向を検出する検出手段と、前記追記対象への追記に対して追記の方向を関連付けて管理する管理手段と、前記表示手段の表示領域における前記追記対象の向きを制御する制御手段と、を備える。前記制御手段は、前記検出手段により検出された追記の方向に合わせて前記追記対象の向きを変更して前記表示手段に前記追記対象を表示させる制御を行う。
【発明の効果】
【０００７】
本発明によれば、追記対象の向きを変更することで参加者が追記を容易に行うことができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係るシステム全体の構成例を示す図である。
【図２】図１に示すＰＣ１０１の内部構成の一例を示す図である。
【図３】図１に示す各ユニットの位置関係、および座標設定を説明する図である。
【図４】追記管理データベースと追記対象管理データベースを説明する表である。
【図５】本発明の実施形態におけるメイン処理を説明するフローチャートである。
【図６】第１実施形態における追記対象特定処理のフローチャートである。
【図７】第１実施形態における追記対象回転処理のフローチャートである。
【図８】第１実施形態における追記完了後処理のフローチャートである。
【図９】追記の管理に関する動作の具体例を示す説明図である。
【図１０】第１実施形態にて追記対象の回転表示動作の具体例を示す図である。
【図１１】第２実施形態にて追記対象の回転表示動作の具体例を示す図である。
【図１２】第３実施形態における追記完了後処理のフローチャートである。
【図１３】第４実施形態における追記対象回転処理のフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の各実施形態について図面を用いて説明する。ただし、各実施形態に記載されている構成要素はあくまで例示であり、本発明の範囲をそれらに限定する趣旨のものではない。
【００１０】
［第１実施形態］
図１を参照して、本発明の第１実施形態に係るシステムの構成を説明する。図１は、本実施形態におけるシステム全体の構成例を示す図である。情報処理システム１００は、情報処理装置１０１と、プロジェクタ（投影装置）１０２と、カメラ（撮像装置）１０３と、情報入力ボード１０４を有する。情報処理装置１０１は、例えばパーソナルコンピュータ（以下、ＰＣと記す）である。情報処理システム１００は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等に代表されるネットワーク１０５と接続されて通信する。
【００１１】
ＰＣ１０１はカメラ１０３に撮像指示信号を送信する。カメラ１０３は撮像指示信号を受信したときに情報入力ボード１０４の盤面を撮像し、撮像画像を取得する。図１に示す情報処理システム１００の例では、ＰＣ１０１にプロジェクタ１０２とカメラ１０３が接続されている。このような構成に限らず、ＰＣ１０１自体がプロジェクタの投影機能とカメラの撮像機能を有する装置であってもよい。
【００１２】
情報入力ボード１０４はスクリーンやホワイトボード等に代表される装置である。ユーザは情報入力ボード１０４上にマーカペン等で手書きした文字や図形、糊付の付箋（ポスト・イット（登録商標）等）に記入されている文字や図形、テープや磁石等を用いて貼られた文書やカード等に印刷されている文字や図形等を入力できる。ＰＣ１０１はカメラ１０３に指示して情報入力ボード１０４の盤面を撮影し、情報入力ボード１０４への入力情報を含む撮影画像をカメラ１０３から取得する。ＰＣ１０１は取得した撮影画像のデータに幾何補正や色補正等の画像処理を施し、プロジェクタ１０２で投影する。これによって、情報入力ボード１０４への入力情報を画像表示することができる。また、情報入力ボード１０４がタッチパネル機能を有する場合には、ユーザが手指で情報入力ボード１０４を押圧した位置を検出しながら軌跡を表示させることにより、電子的な書込みが可能である。
【００１３】
図２は、本実施形態におけるＰＣ１０１の内部構成の一例を示す図である。ＣＰＵ（中央演算処理装置）２０１は、ＰＣ１０１全体の制御中枢部である。ＰＣ１０１は、記憶装置としてのＲＡＭ（ランダム・アクセス・メモリ）２０２と、ＲＯＭ（リード・オンリ・メモリ）２０３を有する。ＰＣ１０１はキーボードインタフェース（以下、インタフェースを「Ｉ／Ｆ」と略記する）部２０５、ディスプレイＩ／Ｆ部２０６、外部メモリＩ／Ｆ部２０７、外部Ｉ／Ｆ部２０８、マウスＩ／Ｆ部２１１、ネットワークＩ／Ｆ部２１３を有する。各部はシステムバス２０４で相互に接続されている。
【００１４】
キーボードＩ／Ｆ部２０５にはキーボード２０９が接続され、マウスＩ／Ｆ部２１１にはポインティングデバイスとしてマウス２１２が接続される。ＰＣ１０１は、ユーザがキーボード２０９やマウス２１２を使って入力した入力情報を受け付ける。ディスプレイＩ／Ｆ部２０６にはプロジェクタ１０２が接続される。ＰＣ１０１は、プロジェクタ１０２を介して情報入力ボード１０４に画像を投影させる制御を行う。
【００１５】
外部Ｉ／Ｆ部２０８にはカメラ１０３が接続される。カメラ１０３は、情報入力ボード１０４の盤面上の記載や情報入力ボード１０４の周囲にいる被写体人物を撮像する。ＰＣ１０１は、カメラ１０３から撮像後の画像データを取得する。ＰＣ１０１は外部Ｉ／Ｆ部２０８を介してカメラ１０３に指示し、予め設定された時間間隔で撮像動作を制御する。あるいはＰＣ１０１は、ユーザがマウス２１２やキーボード２０９を使って入力した入力情報に応じてカメラ１０３の撮像動作を制御する。ＣＰＵ２０１は、ＲＯＭ２０３やＨＤＤ（ハードディスクドライブ）等の外部メモリ２１０に記憶されたプログラムをＲＡＭ２０２に読み込んで実行することで、本実施形態の各種処理を実現する。すなわち、ＣＰＵ２０１は、コンピュータ読み取り可能な記憶媒体に記憶されたコンピュータプログラムを実行することにより、後述するフローチャートの各ステップを実行する処理部として機能する。ＲＯＭ２０３はＣＰＵ２０１の起動用プログラムや各種データを記憶している。ＲＡＭ２０２はワークメモリとして用いられる。
【００１６】
図３（Ａ）は、本実施形態の情報処理システム１００を構成する各ユニットの位置関係を例示する模式図である。複数の参加者は情報入力ボード１０４を取り囲み、情報入力ボード１０４の表示領域３００に表示された画像を閲覧しながらコミュニケーションをとることができる。プロジェクタ１０２とカメラ１０３は、情報入力ボード１０４の上方に設置されている。プロジェクタ１０２は、資料や電子書込みを含む画像を情報入力ボード１０４の表示領域３００に投影する。情報入力ボード１０４の表示領域３００には、資料や電子書込み等を含む画像が表示される。カメラ１０３は情報入力ボード１０４の表示領域３００を上方から撮影する。
【００１７】
図３（Ｂ）は、情報入力ボード１０４の表示領域３００における座標および向きと、表示領域３００内の追記の座標および向きを表す図である。表示領域３００に設定される座標系については、表示領域３００の左上隅の位置を原点（０，０）とし、横軸をＸ軸とし、縦軸をＹ軸と定義する。図３（Ｂ）にて右方向をＸ軸の正方向とし、下方向をＹ軸の正方向とする。表示領域３００における向きについては、表示領域３００の下端の方向を０°とし、反時計回り方向に沿って、右端の方向を９０°、上端の方向を１８０°、左端の方向を２７０°として設定されるものとする。また、表示領域３００の追記に関しては、その範囲を矩形として表現し、矩形の位置と向きで管理されるものとする。例えば、図３（Ｂ）における追記「１２３」の位置は、矩形の左上隅の座標（ｘ，ｙ）と幅高（ｗ，ｈ）で管理される。追記「１２３」は、参加者による情報入力ボード１０４上の書き込みである。追記「１２３」の向きについては、矩形の下端の向き（０°）で管理される。カメラ１０３と情報入力ボード１０４においては、このように設定される座標系に従い画像を扱うものとする。
【００１８】
ＰＣ１０１は、追記対象への追記に対して方向を関連付けて管理するためにデータベースを使用する。図４を参照して管理用のデータベースについて説明する。図４（Ａ）は、ＰＣ１０１の外部メモリ２１０に格納される追記管理データベース４００を例示する図である。追記管理データベース４００は、表示領域３００に表示する追記を管理するためのデータベースである。「ＩＤ」は識別番号であり、テーブルデータが追加されるたびに付与される、テーブルデータを一意に決定するための値である。「位置」は情報入力ボード１０４の表示領域３００に表示する追記の表示座標を表す値である。追記は矩形として外部メモリ２１０に保持され、「位置」には表示領域３００の左上隅を原点とした、矩形の左上隅の座標値が外部メモリ２１０に保持される。「幅高」は追記の矩形の幅と矩形の高さを表す値である。「向き」は情報入力ボード１０４の表示領域３００に表示する追記の角度を表す値である。
【００１９】
図４（Ｂ）を参照して、ＰＣ１０１の外部メモリ２１０に格納される追記対象管理データベースについて説明する。追記対象管理データベース４０１は、表示領域３００に設定される領域を管理するためのデータベースである。追記対象は、表示領域３００に表示されていて参加者が追記を行おうとする対象である。「ＩＤ」は識別番号であり、テーブルデータが追加されるたびに付与される、テーブルデータを一意に決定するための値である。「位置」は情報入力ボード１０４の表示領域３００に設定される追記対象の座標を表す値である。追記対象は矩形で外部メモリ２１０に保持され、表示領域３００の左上隅を原点とした、矩形の左上隅の座標値が外部メモリ２１０に保持される。「幅高」は追記対象の幅と矩形の高さを表す値である。「向き」は情報入力ボード１０４の表示領域３００に設定する追記対象の角度を表す値である。
【００２０】
図５を参照して、本実施形態におけるメイン処理について説明する。図５はメインフローチャートであり、以下に示す処理は、情報処理システム１００にて一定の時間間隔（例えば０．１秒毎）で定期的に実行される。つまり、図５および後述のフローチャートに示す処理は、ＣＰＵ２０１がＲＯＭ２０３、ＲＡＭ２０２、外部メモリ（ＨＤＤ等）２１０のいずれかに格納されたプログラムを読み出して実行することで実現される。
【００２１】
Ｓ５００において、ＰＣ１０１はカメラ１０３から撮像された画像のデータを取得する。Ｓ５０１でＰＣ１０１は、参加者による追記の位置が特定されたか否かを判定する。ＰＣ１０１は追記の位置を特定するために、Ｓ５００で取得された画像から追記時に投影領域に進入する被写体人物の腕を検出する（図９参照）。ＰＣ１０１は検出された腕の先端を追記位置として特定する。Ｓ５０１にて被写体の腕の先端が追記位置として特定された場合、Ｓ５０２へ進み、特定されない場合にはＳ５０４へ進む。
【００２２】
Ｓ５０２にてＰＣ１０１は追記対象特定処理を実行する。追記対象特定処理では、追記対象となる領域を特定する処理が実行される。追記対象特定処理の詳細については図６を用いて後述する。次のＳ５０３にてＰＣ１０１は追記対象回転処理を実行する。追記対象回転処理では、追記方向と追記対象の向きのデータを用いて、追記対象を回転して表示させる処理が実行される。追記対象回転処理の詳細については図７を用いて後述する。次のＳ５０４にてＰＣ１０１は追記完了後処理を実行する。追記完了後処理では、追記を追記管理データベースへ登録する処理や、設定した追記対象を追記対象管理データベースから削除する処理等が実行される。追記完了後処理の詳細については図８を用いて後述する。次のＳ５０５にてＰＣ１０１はメインフローチャートによるプログラムの処理が終了したか否かを判定する。当該プログラムの処理が終了した場合、一連の処理を終了するが、未終了の場合にはＳ５００へ戻って処理を続行する。以下、Ｓ５０２からＳ５０４のサブルーチン処理について、図６から図８を参照して説明する。
【００２３】
図６のフローチャートを参照して、図５のＳ５０２に示す追記対象特定処理について説明する。Ｓ６００にてＰＣ１０１は追記方向を特定する。追記方向については、例えば被写体の腕の先端から、腕と画像の端点を結ぶ直線の方向、つまり腕の先端から画像の端点へ向かう方向として特定される。別の方法として、例えばカメラ１０３により、追記方向にいる参加者を撮像した画像から、参加者の顔の向きや身体の向きを検出して追記方向を補正する方法がある。この方法では、被写体の腕の先端から画像の端点へ向かう方向と参加者の向きを、より精度よく検出できる。
【００２４】
Ｓ６０１にてＰＣ１０１は追記対象を決定する。ＰＣ１０１は、例えば図５のＳ５０１で特定された追記位置を中心として、所定範囲（２０ｃｍ×２０ｃｍ）の領域を追記対象として決定する。別の方法として、被写体の腕の先端からの距離が閾値未満であって、腕の先端からの距離が最も近い矩形状の範囲をもつ領域を追記対象として決定する方法がある。または、被写体の腕の先端からの距離が閾値未満である矩形範囲を全て含む領域を追記対象として決定する方法がある。あるいは、ユーザが表示領域３００に表示された追記の領域を手指で押下する操作を行うことで追記対象を決定してもよい。
【００２５】
図７のフローチャートを参照して、図５のＳ５０３に示す追記対象回転処理について説明する。Ｓ７００にてＰＣ１０１は書込みの種類を判定する。書込みの種類には、追記と新規書込みがある。判定処理では、図６のＳ６０１で追記対象として決定された領域に追記が含まれているか否かについて判定される。追記対象の領域に追記が含まれている場合、書込みの種類が追記であると判定され、Ｓ７０１へ進む。一方、追記対象の領域に追記が含まれていない場合には、書込みの種類が新規書込みであると判定された後、リターン処理へ遷移する。
【００２６】
Ｓ７０１にてＰＣ１０１は、図６のＳ６０１で決定した追記対象の向きを特定する。追記対象の向きは、追記対象に含まれる追記の向きとして特定される。次のＳ７０２でＰＣ１０１は、図６のＳ６０１で決定した追記対象を追記対象管理データベースに登録する。追記対象の座標については、Ｓ６０１で決定された値が格納される。追記の向きについては、Ｓ７０１で決定された値が格納される。Ｓ７０３にてＰＣ１０１は、Ｓ７０１で特定した追記対象の向きが図６のＳ６００で特定した追記方向と一致するように、追記対象を回転させる処理を行う。
【００２７】
図８のフローチャートを参照して、図５のＳ５０４に示す追記完了後処理について説明する。Ｓ８００にてＰＣ１０１は、参加者による追記が完了したか否かを判定する。判定処理では、例えば、撮像された画像から検出される被写体の腕の本数が減少した場合に、参加者による追記が完了したと判定される。別の方法として、表示領域３００に追記完了を示す操作用領域（ボタンオブジェクト等）が表示されている場合に、参加者が操作用領域を押下したことが検知された場合に、追記が完了したと判定する方法がある。追記が完了したと判定された場合、Ｓ８０１へ進み、追記が完了していないと判定された場合にはリターン処理へ遷移する。
【００２８】
Ｓ８０１にてＰＣ１０１は、参加者による追記に対して向きを決定する。追記の向きとしては、図６のＳ６００で特定された追記方向が使用される。Ｓ８０２にてＰＣ１０１は、追記管理データベース４００に追記を登録する。追記の座標については、追記を含む最小の矩形範囲が設定され、矩形範囲の左上隅の座標値が格納される。追記の向きにつては、Ｓ８０１で決定された向きを示す値が格納される。Ｓ８０３にてＰＣ１０１は書込みの種類を判定する。判定方法については図７のＳ７００の処理と同様である。書込みの種類が追記であると判定された場合、Ｓ８０４へ進む。また書込みの種類が新規書込みであると判定された場合、リターン処理へ遷移する。Ｓ８０４にてＰＣ１０１は、追記対象管理データベースからテーブルデータを削除し、リターン処理へ遷移する。
【００２９】
次に図９を参照して、追記された書込みを管理する際の情報処理システム１００の動作の具体例を説明する。参加者が図９の上方にいて追記を行う場合を想定する。図９（Ａ）は、参加者が表示領域３００へ追記を行う前の状態を示す図である。ＰＣ１０１はカメラ１０３から撮像された画像を取得し（図５：Ｓ５００）、撮像された画像から参加者が追記をする際の腕を検出する。腕の先端位置が所定時間静止したか否かについて判定される（図５：Ｓ５０１）。所定時間とは判定用に設定された時間である。腕の先端位置が所定時間に亘って静止している場合、ＰＣ１０１は図６のＳ６００へ進み、追記方向を決定する。図９（Ａ）に示す例では、表示領域３００の上端側から腕が進入しているため、追記方向が「１８０°」として決定される。図９（Ｂ）は、参加者による追記方向が特定された状態を示す図である。
【００３０】
図６のＳ６０１においてＰＣ１０１は、追記対象として腕の先端位置を中心に所定の画像領域を切り出す処理を行う。図９（Ｃ）は、追記対象を決定した状態を示す図である。点線で示す矩形枠９０１内の画像領域が抽出される。図７のＳ７００にてＰＣ１０１は、書込みの種類を特定する。図９（Ｃ）に示す矩形枠９０１内にて追記対象に書込みが含まれていない。このため、書込みの種類は新規書込みであると判定され、図７に示す追記対象回転処理が終了する。
【００３１】
図９（Ｄ）は参加者が追記をしている様子を示す図である。参加者が追記を行った後、ＰＣ１０１は図８のＳ８００にて、参加者による追記が完了したか否かを判定する。ＰＣ１０１は撮像された画像から被写体の腕が検出されなくなった場合に追記が完了したと判定し、Ｓ８０１へ進む。Ｓ８０１にてＰＣ１０１は参加者が行った追記に対して向きを決定する。ＰＣ１０１は追記を含む最小の矩形範囲を決定する。追記の向きとして、被写体の腕が表示領域３００に進入してきた方向を用いる。図９（Ｂ）にて被写体の腕の進入方向は１８０°であるため、ＰＣ１０１は追記の向きを「１８０°」と決定する。次にＳ８０２にてＰＣ１０１は、追記管理データベース４００に追記を登録する。図９（Ｄ）での追記内容は「１２３」である。表示領域３００上の追記「１２３」の座標は（１００，５０）であり、幅高は（１００，３０）であり、追記の向きは１８０°である。図９（Ｅ）は、追記が登録された状態を示す図である。各データは追記管理データベース４００に登録される。
【００３２】
次に図１０を参照して、追記対象を回転して表示する際の情報処理システム１００の動作について具体例を説明する。図１０（Ａ）は、表示領域３００に複数の追記が既に行われている様子を示す図である。図１０（Ｂ）は、参加者が既に書かれた書込みに対して追記を行おうとする様子を示す図である。ＰＣ１０１はカメラ１０３から撮像された画像を取得する（図５：Ｓ５００）。ＰＣ１０１は、撮像された画像から参加者が書込みをする際の腕を検出する。腕の先端位置が所定時間静止したと判定された場合（Ｓ５０１）、図６のＳ６００へ進み、ＰＣ１０１は追記方向を決定する。図１０（Ｂ）では、表示領域３００の右端から被写体の腕が進入しているため、ＰＣ１０１は追記方向を「９０°」と決定する。図１０（Ｃ）は、ＰＣ１０１が参加者による追記方向を特定した状態を示す図である。
【００３３】
図６のＳ６０１にてＰＣ１０１は、腕の先端位置を中心にして矩形枠１００１で示す画像領域を切り出す処理を行う。次に図７のＳ７００にてＰＣ１０１は書込みの種類を特定する。図１０（Ｃ）で示す例では、追記対象に書込みが含まれている。よってＰＣ１０１は書込みの種類を追記であると判定し、Ｓ７０１へ処理を進める。Ｓ７０１にてＰＣ１０１は追記対象の向きを特定する。追記対象には追記「１２３」が含まれており、追記「１２３」の向きは表示領域３００における１８０°の方向である。よってＰＣ１０１は追記対象の向きを「１８０°」と決定する。その後、Ｓ７０２でＰＣ１０１は追記対象管理データベース４０１への登録処理を実行する。
【００３４】
図１０（Ｄ）は、ＰＣ１０１が追記対象の向きを決定した状態を示す図である。図７のＳ７０３にてＰＣ１０１は、追記対象の向きが追記方向と一致するように追記対象を回転させる。追記方向は、図１０（Ｃ）において「９０°」であり、追記対象の向きは「１８０°」である。ＰＣ１０１は追記管理データベース４００および追記対象管理データベース４０１に基づいて向きの情報を比較して向きの不一致と判断し、追記対象の向きが「９０°」となるように追記対象を回転させる。図１０（Ｅ）は回転後の状態を示す図である。追記対象の向きは一時的に９０°に変更される。
本実施形態では、参加者による追記時に追記対象の向きを変更して表示させることで、追記を行う参加者にとって閲覧し易い表示状態にする。よって、参加者は立ち位置を変えずに追記対象を閲覧し易い状態で追記することができる。さらに、追記対象ごとに回転して表示されるため、追記を行う参加者以外の参加者にとっては、追記対象以外について閲覧し易い状態を保つことができる。
【００３５】
［第２実施形態］
次に本発明の第２実施形態を説明する。第１実施形態では、追記対象の一例として電子書込みを示したが、追記対象に関しては情報入力ボード１０４に表示可能であれば如何なる対象でもよい。本実施形態では、情報入力ボード１０４の表示領域３００に表示する資料や、操作用のメニュー等を例示して説明する。本実施形態にて第１実施形態と同様の構成要素については既に使用した符号を用いることにより、それらの詳細な説明を省略し、主に相違点を説明する。このような説明の省略については、後述の実施形態でも同じである。
【００３６】
図１１を参照して、表示された資料を回転させる際の情報処理システム１００の動作について具体例を説明する。図１１（Ａ）は、表示領域３００に資料が表示されている様子を示す図である。図１１（Ｂ）は、参加者が資料に対して追記を行おうとする様子を示す図である。図１１（Ｃ）は、参加者による追記方向をＰＣ１０１が特定した状態を示す図である。図１１（Ｄ）は、追記対象の向きをＰＣ１０１が決定した状態を示す図である。図１１（Ｅ）は、追記対象を回転した後の状態を示す図である。
【００３７】
ＰＣ１０１はカメラ１０３から撮像された画像を取得する（図５：Ｓ５００）。ＰＣ１０１は、撮像された画像から参加者による追記方向を決定する（図６：Ｓ６００）。図１１（Ｂ）の例では、表示領域３００の右端から被写体の腕が進入しているため、ＰＣ１０１は追記方向を「９０°」と決定する。さらにＰＣ１０１は追記対象を決定する（図６：Ｓ６０１）。図１１（Ｃ）の例では、表示領域３００に表示された資料を囲む領域が追記対象として決定される。次にＰＣ１０１は書込みの種類を特定する（図７：Ｓ７００）。図１１（Ｃ）で示すように追記対象に資料が含まれている場合、書込みの種類が追記であると判定され、Ｓ７０１へ進む。ＰＣ１０１は追記対象の向きを決定する（図７：Ｓ７０１）。追記対象である資料の向きについては、資料が表示された際に決められているものとする。図１１（Ｃ）の例では、資料の向きが表示領域３００の０°の方向であるため、追記対象の向きは「０°」である。図１１（Ｄ）に示すように、追記対象の向きが決定される。
【００３８】
図７のＳ７０３にてＰＣ１０１は、追記対象の向きが追記方向と一致するように追記対象を回転させる。追記方向は図１０（Ｃ）において「９０°」であり、追記対象の向きは「０°」である。このため、追記対象の向きが追記方向である「９０°」となるように追記対象を回転させる処理が実行される。回転後、図１１（Ｅ）の状態となる。この場合、追記方向にいる参加者は資料に対して追記が可能であり、あるいは追記せずに資料を閲覧することもできる。追記または閲覧の終了後に、ＰＣ１０１は追記対象の向きを元の０°に戻して表示させる。
【００３９】
本実施形態では、電子書込みだけでなく、表示された資料や操作用のメニュー等を回転して表示させる処理が行われる。追記対象を特定し、追記対象の向きと追記方向とが一致するように追記対象を回転して表示させることで、参加者は資料等の閲覧や追記を容易に行える。
【００４０】
［第３実施形態］
次に本発明の第３実施形態を説明する。第１実施形態では、追記対象と追記した書込みが別々に管理されたが、本実施形態では、追記対象と追記とをグループ化して管理する手段について説明する。
【００４１】
図１２は、本実施形態における追記完了後処理を例示するフローチャートである。Ｓ８００からＳ８０４の各ステップに示す処理は図８と同じであるので、それらの説明を省略する。Ｓ８０３にて書き込みの種類が追記であると判定された場合、Ｓ１２００に処理を進める。
【００４２】
Ｓ１２００にてＰＣ１０１は、追記対象内の書込みと、参加者が追記した書込みとをグループ化する。グルーピング処理では、追記対象内の書込みと、追記された書込みとを含む最小の矩形範囲が設定され、追記管理データベース４００への登録処理が行われる。グルーピング処理後の座標については、設定した矩形の左上隅の座標値が格納される。グルーピング処理後の幅高については、設定した矩形の幅と高さが格納される。グルーピング処理後の向きについては、追記対象内の書込みに関連付けられた向きが格納される。
【００４３】
グルーピング処理後、Ｓ１２０１にてＰＣ１０１はグループ化された書込みを、追記対象内の書込みの回転前の表示に戻す。Ｓ８０４でＰＣ１０１は追記対象内の書込みと追記された書込みのテーブルデータを追記管理データベース４００から削除する。
本実施形態によれば、追記対象内の書込みと追記された書込みをグループ化することで、グループ単位で移動操作や回転操作を行うことができる。
【００４４】
［第４実施形態］
次に本発明の第４実施形態を説明する。本実施形態では複数の追記対象が検出された場合の処理について説明する。図１３のフローチャートを参照して、本実施形態における追記対象の回転処理について説明する。Ｓ７００からＳ７０３の各ステップに示す処理は図７と同じであるので、それらの説明を省略する。Ｓ７０２の処理後、Ｓ１３００に進む。
【００４５】
Ｓ１３００にてＰＣ１０１は回転方法の選択メニューを表示領域３００に表示させる。回転方法として、参加者は追記対象を回転させる方法と、追記対象内の追記単位で回転させる方法を選択可能である。Ｓ１３０１にてＰＣ１０１は、Ｓ１３００のメニューで選択された回転の種類を判定する。回転の種類は、追記対象の回転と、追記対象内の追記単位での回転のいずれかである。回転の種類が追記対象の回転である場合、図７のＳ７０３へ進む。回転の種類が追記対象内の追記単位での回転である場合、Ｓ１３０２へ進む。Ｓ１３０２にてＰＣ１０１は、追記方向と一致するように追記対象内の各追記を回転させる。
【００４６】
本実施形態によれば、追記対象を回転する際に参加者が所望の回転方法を選択できる。また、追記対象内に様々な方向から追記された複数の追記が含まれている場合、追記単位で回転させることによって、追記対象内の各追記を閲覧し易い状態で表示することができる。
【００４７】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４８】
１００  情報処理システム
１０１  情報処理装置
１０２  プロジェクタ
１０３  カメラ
１０４  情報入力ボード
【図１】
2017108207.tif 000003
【図２】
2017108207.tif 000004
【図３】
2017108207.tif 000005
【図４】
2017108207.tif 000006
【図５】
2017108207.tif 000007
【図６】
2017108207.tif 000008
【図７】
2017108207.tif 000009
【図８】
2017108207.tif 000010
【図９】
2017108207.tif 000011
【図１０】
2017108207.tif 000012
【図１１】
2017108207.tif 000013
【図１２】
2017108207.tif 000014
【図１３】
2017108207.tif 000015