(57)【特許請求の範囲】
【請求項１】
カメラによって３６０度の全方位について撮影された画像データが入力される画像データ入力手段と、
コード化パターンが形成されたスケッチ用紙に、電子ペンによって記入された手書きストロークに関する記入情報を受信する受信手段と、
前記受信手段によって受信された前記記入情報に基づいて、前記スケッチ用紙に記入された前記手書きストロークに対応するスケッチを、当該スケッチが記入された方角に合わせて配列して表示させると共に、前記画像データ入力手段に入力された前記画像データに対応する３６０度パノラマ写真を前記方角に合わせて表示させる表示制御手段と、を備えることを特徴とするコンピュータ装置。
【請求項２】
前記画像データ入力手段には、前記カメラに内蔵されたセンサによって検出された方角が、前記画像データと共に入力され、
前記表示制御手段は、前記画像データ入力手段に入力された前記方角に基づいて、前記３６０度パノラマ写真を前記スケッチが記入された前記方角に合わせて表示させることを特徴とする請求項１に記載のコンピュータ装置。
【請求項３】
前記画像データ入力手段には、前記カメラによる撮影日時が、前記画像データと共に入力され、
前記表示制御手段は、前記画像データ入力手段に入力された前記撮影日時を、前記３６０度パノラマ写真と共に表示させることを特徴とする請求項１又は２に記載のコンピュータ装置。
【請求項４】
前記スケッチ用紙は、前記スケッチを記入するためのスケッチ記入欄と、前記スケッチを記入した方角を選択するための方角選択欄とが設けられ、前記スケッチ記入欄と前記方角選択欄とで異なるコード化パターンが形成されており、
前記表示制御手段は、前記スケッチ記入欄及び前記方角選択欄への前記電子ペンによる記入に対応する前記記入情報に基づいて、前記方角選択欄にて選択された方角に応じた配列で、前記スケッチ記入欄に記入されたスケッチを表示させることを特徴とする請求項１乃至３のいずれか一項に記載のコンピュータ装置。
【請求項５】
前記スケッチ用紙は、前記スケッチを記入するためのスケッチ記入欄と、前記スケッチを記入した方角を記入するための方角記入欄とが設けられ、前記スケッチ記入欄と前記方角記入欄とで異なるコード化パターンが形成されており、
前記表示制御手段は、前記スケッチ記入欄及び前記方角記入欄への前記電子ペンによる記入に対応する前記記入情報に基づいて、前記方角記入欄に記入された方角に応じた配列で、前記スケッチ記入欄に記入されたスケッチを表示させることを特徴とする請求項１乃至３のいずれか一項に記載のコンピュータ装置。
【請求項６】
前記スケッチ用紙は、前記スケッチを記入した日時を記入するための日時記入欄が設けられ、前記日時記入欄にコード化パターンが形成されており、
前記表示制御手段は、前記日時記入欄への前記電子ペンによる記入に対応する前記記入情報に基づいて、前記日時記入欄に記入された日時を、前記スケッチと共に前記方角に合わせて配列して表示させることを特徴とする請求項１乃至５のいずれか一項に記載のコンピュータ装置。
【請求項７】
前記表示制御手段は、
複数の前記方角に対応付けて、複数の前記スケッチ及び前記３６０度パノラマ写真における全体又は一部分を、左右方向又は上下方向に表示させ、
前記複数のスケッチ及び前記３６０度パノラマ写真における一部分を表示させた場合には、ユーザの操作に応じて、前記複数のスケッチ及び前記３６０度パノラマ写真において表示させる部分をスクロールさせることを特徴とする請求項１乃至６のいずれか一項に記載のコンピュータ装置。
【請求項８】
前記カメラは、前記３６０度の全方位を撮影可能な魚眼レンズカメラであることを特徴とする請求項１乃至７のいずれか一項に記載のコンピュータ装置。
【請求項９】
前記カメラは、前記３６０度の全方位を撮影した動画の画像データを生成するビデオカメラであり、
前記動画の画像データを前記３６０度パノラマ写真に変換し、当該３６０度パノラマ写真を前記表示制御手段に出力する手段を更に備えることを特徴とする請求項１乃至７のいずれか一項に記載のコンピュータ装置。
【請求項１０】
請求項１乃至９のいずれか一項に記載のコンピュータ装置と、
３６０度の全方位を撮影した画像データを生成するカメラと、
コード化パターンが形成され、電子ペンによって手書きストロークが記入されるスケッチ用紙と、
前記スケッチ用紙に形成された前記コード化パターンを読み取り、当該コード化パターンに関する記入情報を生成する電子ペンと、を備える情報処理システムであって、
前記コンピュータ装置の前記画像データ入力手段は、前記カメラによって生成された前記画像データが入力され、
前記コンピュータ装置の前記受信手段は、前記電子ペンによって読み取られた、前記スケッチ用紙に形成された前記コード化パターンに関する記入情報を受信することを特徴とする情報処理システム。
【請求項１１】
請求項１乃至９のいずれか一項に記載のコンピュータ装置として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子ペンなどによって記入された手書きストロークを表示する技術分野に関する。
【背景技術】
【０００２】
従来から、記入した情報を電子化する電子ペンが開発されており、その代表的なものとしてスウェーデンのＡｎｏｔｏ社が開発した「アノトペン（Ａｎｏｔｏ  ｐｅｎ）」が知られている。例えば、特許文献１には、アノトペンが、用紙に印刷された所定のドットパターンを読み取って記入情報を生成し、当該記入情報を端末装置に送信することが記載されている。また、特許文献２には、ドットパターンに対向する電子ペンの角度に起因するドットの画像上の配列を補正する回転補正処理機能が記載されている。また、特許文献３には、電子ペンを用いた協働学習システムにおいて、電子ペンによって記入された各解答者の解答内容を描画する技術が記載されている。
【０００３】
その他にも、本発明に関連する技術が特許文献４に記載されている。特許文献４には、電子コンバスを内蔵したカメラが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３８７２４９８号公報
【特許文献２】特表２００３−５２９８５３号公報
【特許文献３】特開２００９−２７６４７９号公報
【特許文献４】特開２００９−８８６８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、カメラで撮影された風景の写真と、電子ペンで描かれた風景のスケッチとを、写真やスケッチの方角に合わせて配列して表示することができれば便宜である。そこで、本発明は、カメラで撮影された写真と電子ペンで描かれたスケッチとを、方角に合わせて適切に配列して表示することが可能なコンピュータ装置、情報処理システム及びプログラムを提供することを主な目的とする。
【課題を解決するための手段】
【０００６】
本発明の１つの観点では、コンピュータ装置は、カメラによって３６０度の全方位について撮影された画像データが入力される画像データ入力手段と、コード化パターンが形成されたスケッチ用紙に、電子ペンによって記入された手書きストロークに関する記入情報を受信する受信手段と、前記受信手段によって受信された前記記入情報に基づいて、前記スケッチ用紙に記入された前記手書きストロークに対応するスケッチを、当該スケッチが記入された方角に合わせて配列して表示させると共に、前記画像データ入力手段に入力された前記画像データに対応する３６０度パノラマ写真を前記方角に合わせて表示させる表示制御手段と、を備える。
【０００７】
上記のコンピュータ装置では、画像データ入力手段は、カメラによって３６０度の全方位について撮影された画像データが入力され、受信手段は、コード化パターンが形成されたスケッチ用紙に、電子ペンによって記入された手書きストロークに関する記入情報を受信する。そして、表示制御手段は、スケッチ用紙に記入された手書きストロークに対応するスケッチを、当該スケッチが記入された方角に合わせて配列して表示させると共に、画像データに対応する３６０度パノラマ写真を方角に合わせて表示させる。
【０００８】
上記のコンピュータ装置によれば、３６０度パノラマ写真及び電子ペンによって記入されたスケッチの両方を、方角に合わせて適切に表示させることができる。このような表示は、気象の授業などで用いると便宜である。例えば、時間に応じた太陽の位置や、雲の形や雲の量による天気の評価の仕方などを学ぶ際に有効活用することができる。また、上記の表示によれば、スケッチを３６０度パノラマ写真と対比することで、スケッチの評価を適切に行うことができる。
【０００９】
なお、本明細書では、「３６０度の全方位について撮影」とは、厳密に「３６０度」の方位を撮影することを意味するものではなく、３６０度よりも若干小さい角度の方位を撮影すること、及び、３６０度よりも若干大きい角度の方位を撮影することも含まれるものとする。
【００１０】
また、「方角」とは、ある地点における水平面内の方向を、基準の方向との関係で表したものであり、言い換えると方位である。「方角」としては、方位間隔が９０度である東、西、南、北の４方位や、方位間隔が４５度である東、西、南、北、北東、南東、北西、南西の８方位が用いられる。これ以外にも、方位間隔が２２．５度である１６方位や、方位間隔が１１．２５度である３２方位を用いても良い。
【００１１】
上記のコンピュータ装置の一態様では、前記画像データ入力手段には、前記カメラに内蔵されたセンサによって検出された方角が、前記画像データと共に入力され、前記表示制御手段は、前記画像データ入力手段に入力された前記方角に基づいて、前記３６０度パノラマ写真を前記スケッチが記入された前記方角に合わせて表示させる。これにより、３６０度パノラマ写真を、方角に合わせて適切に表示させることができる。
【００１２】
上記のコンピュータ装置の他の一態様では、前記画像データ入力手段には、前記カメラによる撮影日時が、前記画像データと共に入力され、前記表示制御手段は、前記画像データ入力手段に入力された前記撮影日時を、前記３６０度パノラマ写真と共に表示させる。これにより、３６０度パノラマ写真と共に、撮影日時を適切に表示させることができる。
【００１３】
上記のコンピュータ装置において好適には、前記スケッチ用紙は、前記スケッチを記入するためのスケッチ記入欄と、前記スケッチを記入した方角を選択するための方角選択欄とが設けられ、前記スケッチ記入欄と前記方角選択欄とで異なるコード化パターンが形成されており、前記表示制御手段は、前記スケッチ記入欄及び前記方角選択欄への前記電子ペンによる記入に対応する前記記入情報に基づいて、前記方角選択欄にて選択された方角に応じた配列で、前記スケッチ記入欄に記入されたスケッチを表示させる。これにより、電子ペンでスケッチが記入された方角に対応付けて、スケッチを適切に表示させることができる。
【００１４】
また、上記のコンピュータ装置において好適には、前記スケッチ用紙は、前記スケッチを記入するためのスケッチ記入欄と、前記スケッチを記入した方角を記入するための方角記入欄とが設けられ、前記スケッチ記入欄と前記方角記入欄とで異なるコード化パターンが形成されており、前記表示制御手段は、前記スケッチ記入欄及び前記方角記入欄への前記電子ペンによる記入に対応する前記記入情報に基づいて、前記方角記入欄に記入された方角に応じた配列で、前記スケッチ記入欄に記入されたスケッチを表示させる。これによっても、電子ペンでスケッチが記入された方角に対応付けて、スケッチを適切に表示させることができる。
【００１５】
また好適には、前記スケッチ用紙は、前記スケッチを記入した日時を記入するための日時記入欄が設けられ、前記日時記入欄にコード化パターンが形成されており、前記表示制御手段は、前記日時記入欄への前記電子ペンによる記入に対応する前記記入情報に基づいて、前記日時記入欄に記入された日時を、前記スケッチと共に前記方角に合わせて配列して表示させる。これにより、スケッチを記入した日時を、スケッチと共に適切に表示させることができる。
【００１６】
上記のコンピュータ装置の他の一態様では、前記表示制御手段は、複数の前記方角に対応付けて、複数の前記スケッチ及び前記３６０度パノラマ写真における全体又は一部分を、左右方向又は上下方向に表示させ、前記複数のスケッチ及び前記３６０度パノラマ写真における一部分を表示させた場合には、ユーザの操作に応じて、前記複数のスケッチ及び前記３６０度パノラマ写真において表示させる部分をスクロールさせることができる。
【００１７】
好適な例では、前記カメラは、前記３６０度の全方位を撮影可能な魚眼レンズカメラである。
【００１８】
他の好適な例では、前記カメラは、前記３６０度の全方位を撮影した動画の画像データを生成するビデオカメラであり、コンピュータ装置は、前記動画の画像データを前記３６０度パノラマ写真に変換し、当該３６０度パノラマ写真を前記表示制御手段に出力する手段を更に備える。
【００１９】
本発明の他の観点では、上記コンピュータ装置と、３６０度の全方位を撮影した画像データを生成するカメラと、コード化パターンが形成され、電子ペンによって手書きストロークが記入されるスケッチ用紙と、前記スケッチ用紙に形成された前記コード化パターンを読み取り、当該コード化パターンに関する記入情報を生成する電子ペンと、を備える情報処理システムは、前記コンピュータ装置の前記画像データ入力手段は、前記カメラによって生成された前記画像データが入力され、前記コンピュータ装置の前記受信手段は、前記電子ペンによって読み取られた、前記スケッチ用紙に形成された前記コード化パターンに関する記入情報を受信する。
【００２０】
本発明の更に他の観点では、プログラムは、上記コンピュータ装置として機能させる。当該プログラムを実行することにより、上記のコンピュータ装置を実現することができる。
【発明の効果】
【００２１】
本発明によれば、３６０度パノラマ写真及び電子ペンによって記入されたスケッチの両方を、方角に合わせて適切に表示させることができる。
【図面の簡単な説明】
【００２２】
【図１】本実施形態に係る情報処理システムのシステム構成図である。
【図２】本実施形態に係るスケッチ用紙を示す。
【図３】ドットパターンにおけるドットの配置と変換される値との関係を示す説明図である。
【図４】（ａ）はドットパターンを模式的に示し、（ｂ）はそれに対応する情報の例を示す図である。
【図５】電子ペンの構造を示す概略図である。
【図６】魚眼レンズカメラの機能ブロック図である。
【図７】コンピュータ装置の機能ブロック図である。
【図８】魚眼レンズカメラによって３６０度の全方位の風景を撮影している様子の一例を示す。
【図９】各記入者が異なる方角の風景をスケッチしている様子の一例を示す。
【図１０】本実施形態に係るスケッチ用紙に記入されたスケッチ例を示す。
【図１１】スケッチ及び３６０度パノラマ写真を表示させる場合に用いられるツールメニューのプルダウンメニューを示す。
【図１２】本実施形態に係るスケッチ及び３６０度パノラマ写真の表示画面例を示す。
【図１３】本実施形態に係る処理フローを示す。
【図１４】変形例１に係るスケッチ用紙を示す。
【図１５】変形例１に係るスケッチ用紙に記入されたスケッチ例を示す。
【図１６】変形例２に係るビデオカメラを示す。
【発明を実施するための形態】
【００２３】
以下、図面を参照しながら、本発明の実施の形態について説明する。
【００２４】
［情報処理システムの構成］
図１は、本実施形態に係る情報処理システム１０のシステム構成図である。図１に示すように、情報処理システム１０は、複数の記入者それぞれに配布されるスケッチ用紙５Ａ、５Ｂ、…（５）と、スケッチ用紙５にスケッチなどを記入し、記入した情報を外部へＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信方式で送信するための電子ペン１Ａ、１Ｂ、…（１）と、３６０度の全方位を撮影し、撮影した写真の画像データを生成する魚眼レンズカメラ３と、各電子ペン１から送信される記入情報を受信すると共に、魚眼レンズカメラ３によって撮影された写真の画像データが入力され、ディスプレイ（表示手段）にスケッチや写真等を表示するコンピュータ装置２とを備える。
【００２５】
各電子ペン１には、アノトペンを利用することができ、コンピュータ装置２には、ラップトップパソコンなどを利用することができる。電子ペン１は、生徒などの記入者によって使用され、コンピュータ装置２は、先生などの操作者によって使用される。スケッチ用紙５には、電子ペン１により読み取り可能なドットパターン（コード化パターン）が印刷されている。プロジェクタ４は、コンピュータ装置２から表示情報を受信して、コンピュータ装置２の画面をスクリーン６へ投影表示する装置である。
【００２６】
魚眼レンズカメラ３は、３６０度の全方位を撮影可能な魚眼レンズを有するデジタルカメラであり、撮影した写真の画像データを生成する。なお、本明細書では「全方位」とは「３６０度の全方位」を意味するものとし、以下では「３６０度」の文言を適宜省略する。
【００２７】
ここで、図１に示した情報処理システム１０の利用形態を簡単に説明する。各記入者は、屋外にて、電子ペン１で風景のスケッチをスケッチ用紙５に描く。例えば、各記入者は、それぞれで異なる方角（例えば、東、西、南及び北）についてのスケッチを描く。一方で、操作者は、屋外にて、魚眼レンズカメラ３を用いて、全方位についての風景を撮影する。具体的には、操作者は、魚眼レンズカメラ３を用いて、記入者が描いている風景を含む全方位の風景を撮影する。そして、コンピュータ装置２は、各記入者の電子ペン１から記入情報を受信すると共に、魚眼レンズカメラ３から画像データが入力されて、電子ペン１によって描かれたスケッチを当該スケッチが描かれた方角に合わせて配列して表示させると共に、魚眼レンズカメラ３によって撮影された写真（３６０度パノラマ写真）を当該方角に合わせて表示させる。１つの例では、このような情報処理システム１０は、気象の授業において太陽や雲の観察に活用される。
【００２８】
［スケッチ用紙］
図２を参照して、本実施形態に係るスケッチ用紙５について説明する。図２に示すように、スケッチ用紙５には、スケッチを記入するためのスケッチ記入欄５ａと、スケッチを記入した方角を選択するための方角選択欄５ｂと、スケッチを記入した日時を記入するための日時記入欄５ｃとが設けられている。方角選択欄５ｂには、複数の方角（北、北東、東、南東、南、南西、西、北西）が印刷され、それらの複数の方角の中からスケッチを記入した方角を選択できるようになっている。具体的には、方角選択欄５ｂは、複数の方角のうちの１つを丸で囲むことで、スケッチを記入した方角を選択できるようになっている。また、日時記入欄５ｃは、スケッチを記入した年月日及び時刻（以下、これらを「スケッチ記入日時」とも呼ぶ。）を記入できるようになっている。
【００２９】
スケッチ記入欄５ａ、方角選択欄５ｂ及び日時記入欄５ｃには、それぞれで座標範囲の異なるユニークなドットパターン（コード化パターン）が印刷されている。ドットパターンは、赤外線を吸収するカーボンを含んだインキにより印刷される。他方で、スケッチ用紙５においては、文字（スケッチといった文字や方角を示す文字や年月日といった文字など）や枠線や図形などは、赤外域に吸収性を持たないインキにより印刷される。
【００３０】
なお、スケッチ用紙５は、各記入者や各グループに配布するために複数枚用意するが、複数枚のスケッチ用紙５に、互いにユニークなドットパターンを印刷しても良いし、電子ペン１が送信するペンＩＤによって記入者が識別できるため、各スケッチ用紙５の同じ領域に対し同じドットパターンを印刷しても良い。
【００３１】
［ドットパターン］
次に、図３及び図４を参照しながら、スケッチ用紙５に印刷されたアノト方式のドットパターン（コード化パターン）について説明する。図３は、スケッチ用紙５に印刷されたドットパターンのドットと、そのドットが変換される値との関係を説明する図である。図３に示すように、ドットパターンの各ドットは、その位置によって所定の値に対応付けられている。すなわち、ドットの位置を格子の基準位置（縦線及び横線の交差点）から上下左右のどの方向にシフトするかによって、各ドットは、０〜３の値に対応付けられている。また、各ドットの値は、さらに、Ｘ座標用の第１ビット値及びＹ座標用の第２ビット値に変換できる。このようにして対応付けられた情報の組み合わせにより、スケッチ用紙５上の位置座標が決定されるように構成されている。
【００３２】
図４（ａ）は、あるドットパターンの配列を示している。図４（ａ）に示すように、縦横約２ｍｍの範囲内に６×６個のドットが、スケッチ用紙５上のどの部分から６×６ドットを取っても、ユニークなパターンとなるように配置されている。これら３６個のドットにより形成されるドットパターンは位置座標（例えば、そのドットパターンがスケッチ用紙５上のどの位置にあるのか）を保持している。図４（ｂ）は、図４（ａ）に示す各ドットを、格子の基準位置からのシフト方向によって、図３に示す規則性に基づいて、対応づけられた値に変換したものである。この変換は、ドットパターンの画像を撮影する電子ペン１によって行われる。
【００３３】
［電子ペン］
次に、電子ペン１について図５を用いて説明する。図５は、電子ペン１の構造を示す概略図である。図５に示すように、電子ペン１は、その筐体１０１の内部に、インクカートリッジ１０４、ＬＥＤ１０５、ＣＭＯＳカメラ１０６、圧力センサ１０７、ＣＰＵ等により構成されるプロセッサ１０８、ＲＯＭやＲＡＭといったメモリ１０９、リアルタイムクロック１１０、アンテナ等により構成される通信ユニット１１１、及びバッテリー１１２を備える。インクカートリッジ１０４の先端はペン先部１０３となっており、各記入者は、電子ペン１のペン先部１０３をスケッチ用紙５に当接させて、スケッチ用紙５にストローク（手書きストローク）を記入したり、電子ペン１のペン先部１０３をスケッチ用紙５に当接させて、タップ（ペン先部１０３によるスケッチ用紙５への軽叩）したりする。インクカートリッジ１０４のインクは、赤外線を吸収する材料（例えばカーボン）を含まないようにする。ここで、電子ペン１のペン先部１０３がスケッチ用紙５に接触することをペンダウンと呼び、接触している（当接している）状態からペン先部１０３が離れることをペンアップと呼ぶ。電子ペン１のペンダウンからペンアップまでの間に記入される軌跡が１つのストロークとなり、文字や図形等は、１つ又は複数個のストロークからなる。インクカートリッジ１０４のインクは、赤外線を吸収する材料を含まないので、プロセッサ１０３によるドットパターンの読取りを阻害しない。
【００３４】
バッテリー１１２は電子ペン１内の各部品に電力を供給するためのものであり、例えば電子ペン１のキャップ（図示せず）の脱着により電子ペン１自体の電源のオン／オフを行うよう構成させてもよい。リアルタイムクロック１１０は、現在時刻（タイムスタンプ）を示す時刻情報を発信し、プロセッサ１０８に供給する。圧力センサ１０７は、記入者が電子ペン１によりスケッチ用紙５に手書きストロークを記入したりタップしたりする際にペン先部１０３からインクカートリッジ１０４を通じて与えられる圧力、即ち筆圧を検出し、その値をプロセッサ１０８へ伝送する。
【００３５】
プロセッサ１０８は、圧力センサ１０７から与えられる筆圧データに基づいて、ＬＥＤ１０５及びＣＭＯＳカメラ１０６のスイッチのオン／オフを切替える。即ち、記入者が電子ペン１によりスケッチ用紙５に手書きストロークを記入したりタップしたりすると、ペン先部１０３に筆圧がかかり、圧力センサ１０７によって所定値以上の筆圧が検出されたときに、プロセッサ１０８は、記入者が記入を開始したと判定して、ＬＥＤ１０５及びＣＭＯＳカメラ１０６を作動させる。そして、通信ユニット１１１が、圧力センサ１０７により検出されたペンダウン情報ＰＤと、後述するペンＩＤとを関連付けて、記入情報としてコンピュータ装置２へ送信する。また、記入者が１つのストロークを記入し終えて電子ペン１をスケッチ用紙５から離すと、圧力センサ１０７は、所定値以上の筆圧が検出されなくなることでペンアップを検出する。すると、通信ユニット１１１が、圧力センサ１０７により検出されたペンアップ情報とペンＩＤとを関連付けて、記入情報としてコンピュータ装置２へ送信する。
【００３６】
ＬＥＤ１０５とＣＭＯＳカメラ１０６は、電子ペン１のペン先部１０３付近に取り付けられており、筐体１０１におけるＬＥＤ１０５及びＣＭＯＳカメラ１０６と対向する部分には、開口部１０２が形成されている。ＬＥＤ１０５は、スケッチ用紙５上のペン先部１０３近傍に向けて赤外線を照明する。その領域は、ペン先部１０３がスケッチ用紙５に接触する位置とはわずかにずれている。ＣＭＯＳカメラ１０６は、赤外線を透過し赤外線以外を遮断する赤外線透過フィルタが設けられており、ＬＥＤ１０５によって照明された領域内におけるドットパターンを撮影し、そのドットパターンの画像データをプロセッサ１０８に供給する。ここで、カーボンは赤外線を吸収するため、ＬＥＤ１０５によって照射された赤外線は、ドットに含まれるカーボンによって吸収される。そのため、ドットの部分は、赤外線の反射量が少なく、ドット以外の部分は赤外線の反射量が多い。ＣＭＯＳカメラ１０６の撮影により、赤外線の反射量の違いから閾値を設けることによって、カーボンを含むドットの領域とそれ以外の領域を区別することができる。したがって、スケッチ用紙５に文字や枠線などが印刷されていた場合でも、印刷したインクは赤外域に吸収性を持たないため、プロセッサ１０８は、ドットパターンを認識することができる。なお、ＣＭＯＳカメラ１０６による撮影領域は、図４（ａ）に示すような約２ｍｍ×約２ｍｍの大きさを含む範囲であり、ＣＭＯＳカメラ１０６の撮影は毎秒５０〜１００回程度の定間隔で行われる。また、ＣＭＯＳカメラ１０６は、ドットを鮮明に撮影するため、十分な被写界深度を有している。
【００３７】
プロセッサ１０８は、記入者の記入が行われる間、ＣＭＯＳカメラ１０６によって供給される画像データのドットパターンから、記入者が記入するストローク（筆跡）スケッチ用紙５上におけるＸ、Ｙ座標（以後、単に「位置座標」または「座標情報」とも呼ぶ。）を連続的に演算していく。すなわち、プロセッサ１０８は、ＣＭＯＳカメラ１０６によって供給される、図４（ａ）に示されるようなドットパターンの画像データを図４（ｂ）に示すデータ配列に変換し、さらに、Ｘ座標ビット値・Ｙ座標ビット値に変換して、そのデータ配列から所定の演算方法によりＸ、Ｙ座標データを演算する。なお、プロセッサ１０８は、ドットパターンに対向する電子ペン１の角度に起因するドットの画像上の配列を補正する回転補正処理機能を備えており、座標演算の際、その機能を発揮させる。そして、プロセッサ１０８は、リアルタイムクロック１１０から発信される現在時刻（タイムスタンプ：記入された時刻情報）、筆圧データ及びＸ、Ｙ座標データを関連付ける。以後、これらの関連付けたデータを、まとめて「座標属性情報」と呼ぶ。なお、スケッチ用紙５における６×６のドットパターンは、スケッチ用紙５内で重複することはないため、記入者が電子ペン１で文字等を記入すると、記入された位置がスケッチ用紙５のどの位置に当たるかを、プロセッサ１０８による座標演算により特定することができる。
【００３８】
メモリ１０９には、各電子ペン１Ａ〜１Ｅを識別するためのそれぞれのペンＩＤ「ｐｅｎ０１」〜「ｐｅｎ０５」、ペン製造者番号、ペンソフトウェアのバージョン等のプロパティ情報が記憶されている。そして、通信ユニット１１１は、ペンＩＤと、時刻情報（タイムスタンプ）と、筆圧データと、Ｘ、Ｙ座標データとを関連付けて、記入情報としてコンピュータ装置２へ送信する。通信ユニット１１１によるコンピュータ装置２への送信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線送信によって、即時的かつ逐次的に行われる。ここで、電子ペン１のペンダウンからペンアップまでの間に生成されてコンピュータ装置２に送信された１個又は複数個の座標属性情報は、コンピュータ装置２によりストローク情報として記憶される。換言すると、１つのストロークは、１個又は複数個のＸ、Ｙ座標（座標点）からなり、コンピュータ装置２は、ペンダウン情報及びペンアップ情報によって、１つのストロークを構成する１個又は複数個の座標属性情報を認識する。
【００３９】
なお、電子ペン１は、コンピュータ装置２と通信できないような状況では（例えば電波が届かないような状況）、上記したような記入情報をメモリ１０８に記憶しておく。そして、電子ペン１は、このようにメモリ１０８に記憶しておいた記入情報を、コンピュータ装置２と通信できる状態になったときに、まとめてコンピュータ装置２に送信する。１つの例では、記入者が屋外でスケッチしている際には、電子ペン１は、記入情報をメモリ１０８に記憶しておき、記入者が屋内の教室に戻って、コンピュータ装置２と通信できる状態になったときに、記入情報をまとめて送信する。
【００４０】
［魚眼レンズカメラ］
次に、魚眼レンズカメラ３について説明する。図６は、魚眼レンズカメラ３の機能ブロック図を示す。魚眼レンズカメラ３は、撮影手段３１、方角検出手段３２、クロック手段３３、制御手段３４及び記録媒体３５を有する。
【００４１】
撮影手段３１は、魚眼レンズ（不図示）を介した３６０度の全方位の風景に対応する光が入射され、受光した光を電気信号に変換することで画像データを生成する。つまり、撮影手段３１は、３６０度パノラマ写真に対応する画像データを生成する。撮影手段３１は、撮像素子（光学センサ）であり、例えばＣＣＤやＣＭＯＳで構成される。方角検出手段３２は、三軸タイプの地磁気センサ（電子コンパス）などで構成され、魚眼レンズカメラ３が設置された位置での水平面内の方向（方角）を検出する。クロック手段３３は、現在時刻（タイムスタンプ）を示す時刻情報を発信する。
【００４２】
制御手段３４は、撮影手段３１、方角検出手段３２及びクロック手段３３からデータが入力され、撮影により得られた画像データに対して方角及び撮影日時を付したデータを、記録媒体３５に記憶させる。具体的には、制御手段３４は、画像データに対応する写真上の位置と方角とを対応付けるべく（つまり写真上のどの位置の風景がどの方角かを関連付けるべく）、方角検出手段３２が検出した方角を、撮影手段３１が生成した画像データに付す。詳しくは、制御手段３４は、方角検出手段３２が検出した方角を示す数値（角度など）を、対応する画像の位置が分かるように画像データに付す。若しくは、制御手段３４は、方角検出手段３２が検出した方角を示す数値を、東、南、西及び北のいずれかの方角を示すデータに変換したもの、又は、東、南東、南、南西、西、北西、北及び北東のいずれかの方角を示すデータに変換したものを、対応する画像の位置が分かるように画像データに付す。他方で、制御手段３４は、クロック手段３３から発信されたデータに基づいて撮影日時（撮影が行われた年月日及び時刻を示すデータ）を生成して、当該撮影日時を画像データに付す。
【００４３】
記録媒体３５は、制御手段３４によって、方角及び撮影日時が付された画像データ（３６０度パノラマ写真に対応する画像データ）が記憶される。また、記録媒体３５は、魚眼レンズカメラ３から取り外し可能に構成されている。例えば、記録媒体３５はメモリーカードである。
【００４４】
［コンピュータ装置］
次に、コンピュータ装置２について説明する。コンピュータ装置２は、ハードウェアとして、ＣＰＵ等のプロセッサ、ＲＯＭやＲＡＭといったメモリ、ディスプレイ、マウスやキーボード等で構成されるパーソナルコンピュータ等で構成される。図７は、コンピュータ装置２の機能ブロック図である。コンピュータ装置２は、機能的には、入力手段２１、受信手段２２、処理手段２４、記憶手段２５、表示手段２６、送信手段２７及びインターフェース２８を備える。
【００４５】
入力手段２１は、各種コマンドやデータを入力するためのマウスやキーボードなどから構成されている。なお、表示手段２６がタッチパネル方式である場合には、表示手段２６の表示画面上に設けられたタッチパネルも入力手段２１として機能する。受信手段２２は、アンテナ受信回路等により構成され、電子ペン１から記入情報を受信し、処理手段２４に伝送する。表示手段２６は、ディスプレイ等によって構成され、処理手段２４によって指示された内容を表示する。送信手段２７は、表示手段２６に表示される内容と同じ内容をプロジェクタ４からスクリーン６へ投影表示させるため、表示手段２６への表示信号を同期してプロジェクタ４へ送信する手段である。
【００４６】
インターフェース２８は、上記した魚眼レンズカメラ３の記録媒体３５が取り付けられ、記録媒体３５に記憶されたデータを読み出す。具体的には、インターフェース２８は、記録媒体３５から、方角及び撮影日時が付された画像データを読み出し、当該画像データを処理手段２４に出力する。例えば、インターフェース２８は、メモリーカードのカードリーダーである。なお、インターフェース２８は、本発明における「画像データ入力手段」の一例である。
【００４７】
記憶手段２５は、ハードディスクやＲＯＭ、ＲＡＭといったメモリによって構成される。記憶手段２５は、スケッチ用紙５に印刷されたドットパターンの座標範囲に関する座標定義情報を記憶している。具体的には、記憶手段２５は、スケッチ用紙５のスケッチ記入欄５ａ、方角選択欄５ｂ及び日時記入欄５ｃの各々に割り当てられた、それぞれで異なるドットパターンの座標範囲を記憶している。つまり、記憶手段２５は、スケッチ記入欄５ａ、方角選択欄５ｂ及び日時記入欄５ｃと、それらの各々に割り当てられたドットパターンの座標範囲とを対応付けた座標定義情報を記憶している。ドットパターンの座標範囲は、矩形の角の位置座標（Ｘｎ，Ｙｎ）、高さ（Ｈ）、幅（Ｗ）によって規定される。
【００４８】
また、記憶手段２５は、処理手段２４の処理命令により、電子ペン１から受信した記入情報をペンＩＤ毎に記憶し、さらに、処理手段２４の指示により、記憶領域を確保して、ペンダウンからペンアップまでの記入情報に含まれる座標属性情報をストローク情報としてペンＩＤ毎に記憶する。上記以外にも、記憶手段２５は、処理手段２４の指示により、プログラムの実行により生成される各種情報を記憶する。
【００４９】
処理手段２４は、ＣＰＵ等のプロセッサによって構成され、コンピュータ装置２の全体の制御を行う。具体的には、処理手段２４は、表示制御手段２４１を有する。表示制御手段２４１は、電子ペン１によって記入されたスケッチ及び魚眼レンズカメラ３によって撮影された写真（３６０度パノラマ写真）の両方を、方角に合わせて表示させる。具体的には、表示制御手段２４１は、スケッチを表示させるための処理と、３６０度パノラマ写真を表示させるための処理とを並列して行い、スケッチ及び３６０度パノラマ写真を方角に合わせて表示させる。
【００５０】
まず、スケッチを表示させるための処理について説明する。表示制御手段２４１は、受信手段２２によって受信された、電子ペン１によるスケッチ用紙５への記入に対応する記入情報に基づいて、スケッチ用紙５に記入されたスケッチに対応する手書きストローク（以下では、スケッチに対応する手書きストロークのことを単に「スケッチ」とも呼ぶ。）を、スケッチが記入された方角に合わせて配列して表示させる。つまり、表示制御手段２４１は、複数の記入者によって記入されたスケッチ（風景）を、それらのスケッチが記入された方角（スケッチとして描いた風景の方角）に対応付けて並べて表示させる。
【００５１】
より具体的には、表示制御手段２４１は、まず、各電子ペン１による各スケッチ用紙５の方角選択欄５ｂへの記入に対応する記入情報に基づいて、各記入者によって選択された方角を認識して、各記入者のスケッチを表示させる際の配列を決定する。この場合、表示制御手段２４１は、表示画面上で規定している方角の並び順（例えば「東→南→西→北」や「東→南東→南→南西→西→北西→北→北東」といった順）でスケッチが並べて表示されるように、各記入者によって選択された方角に基づいて、各記入者のスケッチを表示させる際の配列を決定する。そして、表示制御手段２４１は、各電子ペン１による各スケッチ用紙５のスケッチ記入欄５ａへの記入に対応する記入情報に基づいて、各記入者によって記入されたスケッチに対応する手書きストロークを、こうして決定された配列に従って並べて表示させる。また、表示制御手段２４１は、各電子ペン１による各スケッチ用紙５の日時記入欄５ｃへの記入に対応する記入情報に基づいて、各記入者によって記入された日時（スケッチ記入日時）を、スケッチと共に方角に対応付けて表示させる。
【００５２】
次に、３６０度パノラマ写真を表示させるための処理について説明する。表示制御手段２４１は、インターフェース２８によって読み出された、魚眼レンズカメラ３の記録媒体３５に記憶された画像データに基づいて、当該画像データに対応する３６０度パノラマ写真を、当該画像データに付された方角に合わせて表示させる。この場合、表示制御手段２４１は、３６０度パノラマ写真を、スケッチが記入された方角に合わせて表示させる。
【００５３】
より具体的には、表示制御手段２４１は、まず、インターフェース２８から入力された画像データに付された方角を認識する。そして、表示制御手段２４１は、画像データに対応する３６０度パノラマ写真を、認識した方角に応じた配置にて表示させる。この場合、表示制御手段２４１は、表示画面上で規定している方角の並び順（例えば「東→南→西→北」や「東→南東→南→南西→西→北西→北→北東」といった順）に合わせて、３６０度パノラマ写真を表示させる。つまり、表示制御手段２４１は、３６０度パノラマ写真上での方角が、表示画面上で規定している方角と一致するように、３６０度パノラマ写真を表示させる。また、表示制御手段２４１は、画像データに付された撮影日時を、３６０度パノラマ写真と共に表示させる。
【００５４】
なお、表示制御手段２４１は、入力された画像データに対応する写真が円形に景色が写ったものである場合（例えば中心からの距離と角度とが比例する等距離射影方式による写真である場合）、このような画像データに対して、歪み補正や平面展開などの公知の処理を行うことで、３６０度パノラマ写真を生成する。但し、このような処理が魚眼レンズカメラ３の制御手段３４によって既に行われている場合には、表示制御手段２４１は、当該処理を行わずに、入力された画像データに対応する３６０度パノラマ写真をそのまま用いる。
【００５５】
以上述べたように、表示制御手段２４１は、スケッチを表示させるための処理と、３６０度パノラマ写真を表示させるための処理とを並列して行うことで、スケッチ及び３６０度パノラマ写真の両方を方角に合わせて表示させる。
【００５６】
［撮影例］
図８は、魚眼レンズカメラ３によって３６０度の全方位の風景を撮影している様子の一例を示す。操作者は、記入者がスケッチする風景を含む全方位の風景が撮影されるような位置に魚眼レンズカメラ３を設置して、魚眼レンズカメラ３で撮影を行う。
【００５７】
［スケッチ例］
次に、図９及び図１０を参照して、本実施形態に係るスケッチ用紙５を用いたスケッチ例について説明する。
【００５８】
図９は、各記入者が異なる方角の風景をスケッチ（写生）している様子の一例を示している。図９では、４人の記入者が、それぞれ、東、南、西及び北の４つの方角の風景をスケッチしている様子を例示している。１つの例では、各記入者は、それぞれ、方位磁針などを用いて自身が向いている方角を確認して、先生が指示した方角（東、西、南及び北のいずれかの方角）を向いて、スケッチを行う。
【００５９】
図１０は、電子ペン１によってスケッチ用紙５に記入されたスケッチ例を示している。図１０に示すように、スケッチ記入欄５ａには風景のスケッチが描かれており、方角選択欄５ｂにはスケッチを描いた方角の選択がなされており、日時記入欄５ｃにはスケッチを描いた日時が記入されている。ここでは、記入者が電子ペン１で方角選択欄５ｂの「南」を丸で囲むことで、スケッチを描いた方角として「南」を選択した場合を例示している。例えば、各記入者は、方位磁針などを用いて自身が向いている方角を確認して、電子ペン１によって方角選択欄５ｂの中から方角を選択する。
【００６０】
［表示画面例］
次に、図１１及び図１２を参照して、コンピュータ装置２の表示手段２６に表示される画面例について説明する。
【００６１】
図１１は、スケッチ及び３６０度パノラマ写真を表示させる場合に用いられるツールメニュー９０のプルダウンメニューが示された画面を示している。なお、スケッチの表示などは、例えば「教育ツール」といったアプリケーションにて実行される。
【００６２】
図１１に示すように、ツールメニュー９０のプルダウンメニューとして、スケッチ及び３６０度パノラマ写真を方角に合わせて表示させるための方角配列メニュー９０ａと、電子ペン１の接続経由状況を表示するペン管理メニュー９０ｂと、ストローク情報を表示する背景となるスケッチ用紙５の画像を設定する用紙管理メニュー９０ｃと、アプリケーションのバージョンやプロパティ情報などを表示するメニュー９０ｄとが用意されている。これらのメニューが選択されると、処理手段２４により各機能が実行される。
【００６３】
図１２は、本実施形態に係るスケッチ及び３６０度パノラマ写真の表示画面例を示している。この画面は、ツールメニュー９０の方角配列メニュー９０ａが選択された場合に表示される。また、この画面は、表示制御手段２４１によって表示手段２６に表示されるものである。なお、図１２では、説明の便宜上、写真の部分をハッチングにて表している。
【００６４】
図１２に示すように、表示制御手段２４１は、各記入者によって電子ペン１で記入されたスケッチ６１ａ、６１ｂ、６１ｃ（６１）と、魚眼レンズカメラ３によって撮影された３６０度パノラマ写真６６とを、方角を合わせて表示させる。具体的には、表示制御手段２４１は、スケッチ６１が記入された方角に応じて、スケッチ６１を左右方向に並べて表示させると共に、魚眼レンズカメラ３の方角検出手段３２によって検出された方角に応じて、３６０度パノラマ写真６６を左右方向に表示させる。この場合、表示制御手段２４１は、表示画面上で規定している「東→南→西→北」といった方角の並び順に合わせて、スケッチ６１及び３６０度パノラマ写真６６を左右方向に表示させる。これにより、同じ方角の風景に対応する、スケッチ６１と３６０度パノラマ写真６６の箇所とが上下に並ぶこととなる。つまり、スケッチ６１の上に、当該スケッチ６１を描いた方角の風景が撮影された、３６０度パノラマ写真６６の箇所が位置することとなる。
【００６５】
また、図１２に示すように、表示制御手段２４１は、各記入者によって電子ペン１で記入されたスケッチ記入日時６２ａ、６２ｂ、６２ｃ（６２）を、スケッチ６１と共に方角に対応付けて表示させる。この場合、表示制御手段２４１は、電子ペン１で日時記入欄５ｃに記入された手書きストロークに対して文字認識処理を行うことで得られた文字（数字）を、スケッチ記入日時６２として表示させる。更に、表示制御手段２４１は、３６０度パノラマ写真６６に対応する画像データに付された撮影日時６７を、３６０度パノラマ写真６６と共に表示させる。加えて、表示制御手段２４１は、符号６３に示すように、操作者（先生）が記録のためにコンピュータ装置２に入力した情報を表示させる。例えば、操作者は、風景に関する情報（雲の割合や、雲の種類や、天気などの情報）を入力する。
【００６６】
更に、表示制御手段２４１は、スクロールバー６４を有効にして、各記入者によって記入されたスケッチ６１及びスケッチ記入日時６２の一部分を表示させると共に、３６０度パノラマ写真６６の一部分を表示させている。スケッチ６１について述べると、図１２に示す例では、「南」の方角についてはスケッチ６１ｂの全体が表示されているが、「東」の方角及び「西」の方角についてはスケッチ６１ａ、６１ｃの一部分のみが表示され、「北」の方角についてはスケッチが表示されていない（スケッチ記入日時も表示されてない）。操作者は、マウスやタッチパネルなどによってスクロールバー６４を操作することにより、画面をスクロールさせることで、複数のスケッチ６１及び３６０度パノラマ写真６６において表示させる部分を適宜切り替えることができる（但し、画面をスクロールさせても、符号６３で示す情報や撮影日時６７はスクロールしない）。
【００６７】
なお、上記では、東、南、西及び北の４つの方角についての４つのスケッチ６１を表示させる例を示したが、東、南東、南、南西、西、北西、北及び北東の８つの方角についてスケッチ６１が記入された場合には、表示制御手段２４１は、８つのスケッチ６１を、それらのスケッチが記入された方角に対応付けて並べて表示させる。例えば、表示制御手段２４１は、「東→南東→南→南西→西→北西→北→北東」といった順で、８つのスケッチ６１を並べて表示させる。但し、東、南、西及び北の方角の中でスケッチ６１が記入されていない方角がある場合、若しくは、東、南東、南、南西、西、北西、北及び北東の方角の中でスケッチ６１が記入されていない方角がある場合には、その方角についてのスケッチ６１を表示させない（例えば当該方角をブランクにて表示させる）。
【００６８】
また、上記では、電子ペン１で日時記入欄５ｃに記入された手書きストロークに対して文字認識処理を行うことで得られた文字を、スケッチ記入日時６２として表示させる例を示したが、電子ペン１で日時記入欄５ｃに記入された手書きストロークをそのままスケッチ記入日時６２として表示させても良い。更に、上記では、スケッチ６１及び３６０度パノラマ写真６６を左右方向に表示させる例を示したが、スケッチ６１及び３６０度パノラマ写真６６を上下方向に表示させても良い。この場合には、対応するスケッチ６１と３６０度パノラマ写真６６の箇所とが左右に並ぶこととなる。また、この場合には、左右方向のストローク用のスクロールバー６４の代わりに、上下方向のストローク用のスクロールバーが表示される。更に、上記では、画面をスクロールさせるためのスクロールバー６４を表示させる例を示したが、表示手段２６がタッチパネルとして構成されている場合には、スクロールバー６４を表示させなくても良い。この場合には、画面を指でなぞる操作が行われた際に、画面をスクロールさせれば良く、表示制御手段２４１は、一方向にスクロールさせても、「東」→「南」→「西」→「北」→「東」→…と、繰り返して同じ写真やスケッチを表示させるようにしてもよい。
【００６９】
また、上記では、複数のスケッチ６１及び３６０度パノラマ写真６６の一部分を画面に表示させる例を示したが、複数のスケッチ６１及び３６０度パノラマ写真６６の全体を画面に表示させても良い。この場合には、一部分を表示させる場合におけるスケッチ６１及び３６０度パノラマ写真６６の画像を縮小した画像を表示させれば良い。また、この場合には、スクロールバー６４を表示させなくても良い。
【００７０】
［処理フロー］
次に、図１３を参照して、本実施形態に係る処理フローについて説明する。図１３は、３６０度パノラマ写真及びスケッチの両方を表示させるための処理フローを示している。この処理フローは、コンピュータ装置２によって所定の周期で繰り返し実行される。
【００７１】
当該処理フローでは、３６０度パノラマ写真を表示させるための処理（ステップＳ１１〜Ｓ１３）と、スケッチを表示させるための処理（ステップＳ１４〜Ｓ１７）とが、並列に実行される。まず、３６０度パノラマ写真を表示させるための処理（ステップＳ１１〜Ｓ１３）について説明する。ステップＳ１１では、インターフェース２８が記録媒体３５から画像データを読み出して、処理手段２４が当該画像データを記憶手段２５に記憶させる。
【００７２】
次に、処理手段２４の表示制御手段２４１が、画像データに付された方角（画像と方角の対応関係）を認識する（ステップＳ１２）。表示制御手段２４１は、魚眼レンズカメラ３の方角検出手段３２が検出した方角を示す数値（角度など）が入力された場合には、そのような数値を認識する。これに対して、表示制御手段２４１は、方角検出手段３２が検出した方角を示す数値を、東、南、西及び北のいずれかを示すデータに変換したもの、又は、東、南東、南、南西、西、北西、北及び北東のいずれかを示すデータに変換したものが入力された場合には、そのような方角を認識する。
【００７３】
この後、表示制御手段２４１は、認識した方角の画像との対応関係（角度などの数値も含む）に基づいて、３６０度パノラマ写真を表示させる際の配置を決定する（ステップＳ１３）。具体的には、表示制御手段２４１は、表示画面上で規定している方角の並び順（例えば「東→南→西→北」や「東→南東→南→南西→西→北西→北→北東」といった順）に合わせて３６０度パノラマ写真が表示されるように、つまり、３６０度パノラマ写真上での方角が表示画面上で規定している方角と一致するように、３６０度パノラマ写真を表示させる際の配置を決定する。
【００７４】
次に、スケッチを表示させるための処理（ステップＳ１４〜Ｓ１７）について説明する。ステップＳ１４では、受信手段２２が電子ペン１から送信された記入情報を受信し、処理手段２４が当該記入情報を記憶手段２５に記憶させる。次に、表示制御手段２４１が、各電子ペン１による各スケッチ用紙５の方角選択欄５ｂへの記入に対応する記入情報に基づいて、各記入者によって選択された方角を認識する（ステップＳ１５）。具体的には、表示制御手段２４１は、記憶手段２５に記憶された、方角選択欄５ｂに割り当てられたドットパターンの座標範囲についての座標定義情報を参照することで、各記入者により手書きストロークが記入された方角選択欄５ｂ上の位置を特定し、その位置に基づいて、各記入者によって選択された方角を認識する。
【００７５】
この後、表示制御手段２４１は、認識した方角に基づいて、各記入者のスケッチを表示させる際の配列を決定する（ステップＳ１６）。具体的には、表示制御手段２４１は、表示画面上で規定している方角の並び順（例えば「東→南→西→北」や「東→南東→南→南西→西→北西→北→北東」といった順）でスケッチが並べて表示されるように、各記入者によって選択された方角に基づいて、各記入者のスケッチを表示させる際の配列を決定する。
【００７６】
次に、表示制御手段２４１は、各電子ペン１による各スケッチ用紙５のスケッチ記入欄５ａへの記入に対応する記入情報に基づいて、各記入者によって記入されたスケッチに対応する手書きストロークを描画する（ステップＳ１７）。この場合、表示制御手段２４１は、記憶手段２５に記憶された、スケッチ記入欄５ａに割り当てられたドットパターンの座標範囲についての座標定義情報を参照することで、各記入者によって記入された手書きストロークを描画する。
【００７７】
最後に、表示制御手段２４１は、画像データに対応する３６０度パノラマ写真を、ステップＳ１３で決定された配置に従って表示させると共に、上記のように描画したストロークを、ステップＳ１７で決定された配列に従って並べて表示させる（ステップＳ１８）。つまり、表示制御手段２４１は、３６０度パノラマ写真及びスケッチの両方を方角に合わせて表示させる。
【００７８】
［本実施形態による作用効果］
以上説明した本実施形態によれば、魚眼レンズカメラ３によって撮影された３６０度パノラマ写真及び電子ペン１によって記入されたスケッチの両方を、方角に合わせて適切に表示させることができる。このような本実施形態に係る表示は、気象の授業などで用いると便宜である。例えば、時間に応じた太陽の位置や、雲の形や雲の量による天気の評価の仕方などを学ぶ際に有効活用することができる。また、本実施形態に係る表示によれば、スケッチを３６０度パノラマ写真と対比することで、スケッチの評価を適切に行うことができる。
【００７９】
［変形例］
以下では、上記した実施形態の変形例について説明する。なお、下記の変形例は、任意に組み合わせて実施形態に適用することができる。また、以下では、実施形態と異なる構成について主に説明を行い、実施形態と同様の構成については適宜説明を省略する。つまり、特に説明しない構成要素や処理などについては、実施形態と同様であるものとする。
【００８０】
（変形例１）
変形例１は、上記したスケッチ用紙５の他の例に関する。実施形態に係るスケッチ用紙５は、方角を選択するための方角選択欄５ｂが設けられていたが、変形例１に係るスケッチ用紙は、方角選択欄５ｂの代わりに、電子ペン１で方角を直接記入するための方角記入欄が設けられている。
【００８１】
図１４は、変形例１に係るスケッチ用紙５１を示す。図１４に示すように、スケッチ用紙５１には、スケッチを記入するためのスケッチ記入欄５１ａと、スケッチを記入した方角を記入するための方角記入欄５１ｂと、スケッチを記入した日時を記入するための日時記入欄５１ｃとが設けられている。方角記入欄５１ｂは、スケッチ記入欄５１ａ及び日時記入欄５１ｃとは座標範囲の異なるユニークなドットパターン（コード化パターン）が印刷されており、スケッチを記入した方角を記入できるようになっている。なお、スケッチ記入欄５１ａ及び日時記入欄５１ｃは、前述したスケッチ記入欄５ａ及び日時記入欄５ｃと同様のものである。
【００８２】
図１５は、電子ペン１によってスケッチ用紙５１に記入されたスケッチ例を示している。図１５に示すように、スケッチ記入欄５１ａには風景のスケッチが描かれており、方角記入欄５１ｂにはスケッチを描いた方角（この例では「南」）が記入されており、日時記入欄５１ｃにはスケッチを描いた日時（スケッチ記入日時）が記入されている。ここで、変形例１においては、表示制御手段２４１は、方角記入欄５１ｂに割り当てられたドットパターンの座標範囲を参照し、電子ペン１で方角記入欄５１ｂに記入された手書きストロークに対して文字認識処理を行うことで、各記入者によって記入された方角を認識する。そして、表示制御手段２４１は、こうして認識した方角に応じた配列にて、各記入者によって記入されたスケッチに対応する手書きストロークを並べて表示させる。
【００８３】
以上説明したようなスケッチ用紙５１を用いた場合にも、電子ペン１でスケッチ用紙５１に記入されたスケッチを、スケッチが記入された方角に合わせて適切に配列して表示させることができる。
【００８４】
（変形例２）
変形例２は、上記した魚眼レンズカメラ３の代わりに、図１６に示すようなビデオカメラ３ｘを用いるものである。上記した実施形態では、３６０度の全方位を撮影可能な魚眼レンズカメラ３によって静止画を撮影することで、３６０度パノラマ写真を得ていた。これに対して、変形例２では、ビデオカメラ３ｘを用いて、３６０度の全方位についての動画を撮影する。例えば、１点を中心にしてビデオカメラ３ｘを一定の角速度で３６０度回転させることで、３６０度の全方位についての動画を撮影する。コンピュータ装置２は、このようにビデオカメラ３ｘで撮影された動画の画像データを取得して（例えばメモリーカードなどの記録媒体に記録された動画の画像データを読み出す）、当該動画の画像データを３６０度パノラマ写真に変換する。この変換には、公知の種々の方法を用いることができる。
【００８５】
また、ビデオカメラ３ｘは、三軸タイプの地磁気センサ（電子コンパス）などを内蔵しており、動画の撮影中にビデオカメラ３ｘが向いている方角を検出し、検出された方角を動画の画像データに付す。コンピュータ装置２の表示制御手段２４１は、このように動画の画像データに付された方角に基づいて、前述した実施形態と同様の方法にて、３６０度パノラマ写真を方角に合わせて表示させる。
【００８６】
以上説明した変形例２によっても、ビデオカメラ３ｘによる撮影によって得られた３６０度パノラマ写真及び電子ペン１によって記入されたスケッチの両方を、方角に合わせて適切に表示させることができる。
【００８７】
（変形例３）
本発明は、一般的なＰＣ（パーソナルコンピュータ）への適用に限定はされず、「ｉＰａｄ（登録商標）」などのタブレットＰＣにも適用することができる。
【００８８】
また、上記では、電子ペン、ドットパターン（コード化パターン）、記入情報に、アノト方式を用いていたが、アノト方式を用いることに限定はされない。
【符号の説明】
【００８９】
１…電子ペン
２…コンピュータ装置
３…魚眼レンズカメラ
３ｘ…ビデオカメラ
５…スケッチ用紙
１０…情報処理システム
２１…入力手段
２２…受信手段
２４…処理手段
２５…記憶手段
２６…表示手段
２８…インターフェース
【図１】
0005861483.tif 000002
【図２】
0005861483.tif 000003
【図３】
0005861483.tif 000004
【図４】
0005861483.tif 000005
【図５】
0005861483.tif 000006
【図６】
0005861483.tif 000007
【図７】
0005861483.tif 000008
【図８】
0005861483.tif 000009
【図９】
0005861483.tif 000010
【図１０】
0005861483.tif 000011
【図１２】
0005861483.tif 000012
【図１３】
0005861483.tif 000013
【図１４】
0005861483.tif 000014
【図１５】
0005861483.tif 000015
【図１６】
0005861483.tif 000016
【図１１】
0005861483.tif 000017