(57)【要約】【課題】動画像中のレーザーポインタが、そこに映し出されているスライド内のどこに位置しているのかを高精度に、かつ専用のハードウエア等を必要とせず特定すること。【解決手段】フレーム画像中、その近傍にポインタ赤色を伴う高輝度画素が集中している箇所をポインタ候補領域とし、当該各領域の中心から放射状に、静止中のポインタに特徴的な輝度分布があるかどうかを調べる。そしてこれでポインタが見つからない場合に、上記各領域とフレーム内の赤パターンとの位置関係から、ポインタとして確度の高い領域を絞り込み、これでも見つからない場合に、フレーム間差分処理により移動ポインタを検出する。つぎに、特定されたポインタ座標とフレーム内の複数の文字との位置関係を求め、当該複数の文字に対応するスライド上の各文字との位置関係から、上記座標に対応するスライド上での座標を求める。【選択図】        図３
2005227815.tif 000002
【特許請求の範囲】
【請求項１】
スライドおよび前記スライド上のポインタの撮影画像から前記ポインタの前記スライド上での座標を特定するポインタ位置特定プログラムにおいて、
第１の撮影画像と第２の撮影画像の差分画像を作成する差分画像作成工程と、
前記差分画像作成工程で作成された差分画像から２種類の２値画像を作成する２値画像作成工程と、
前記２値画像作成工程で作成された各２値画像中の前記ポインタが位置する可能性のある領域を特定するポインタ候補領域特定工程と、
前記ポインタ候補領域特定工程で特定された領域を統合して得られた領域が前記２値画像作成工程で作成された各２値画像中でそれぞれ１個であり、かつ当該領域間の距離が閾値以下である場合に、当該領域のいずれか一方の中心点に対応する前記スライド上の点の座標を特定するポインタ位置特定工程と、
をコンピュータに実行させることを特徴とするポインタ位置特定プログラム。
【請求項２】
前記２値画像作成工程では、前記差分画像作成工程で作成された差分画像をプラスの閾値およびマイナスの閾値により２値化することでプラス側２値画像およびマイナス側２値画像の２種類の２値画像を作成することを特徴とする前記請求項１に記載のポインタ位置特定プログラム。
【請求項３】
前記ポインタ位置特定工程では、前記ポインタ候補領域特定工程で特定された領域を統合して得られた領域が前記２値画像作成工程で作成された各２値画像中でそれぞれ１個であり、かつ当該領域間の距離が閾値以下であって、さらに当該領域に対応する前記第１の撮影画像中の領域と前記第２の撮影画像中の領域との間の輝度の差が閾値以下である場合に、当該領域のいずれか一方の中心点に対応する前記スライド上の点の座標を特定することを特徴とする前記請求項１または請求項２に記載のポインタ位置特定プログラム。
【請求項４】
前記ポインタ位置特定工程では、前記中心点に対応する前記スライド上の点の座標を前記第１の撮影画像中の複数の文字に対する当該中心点の位置関係にもとづいて特定することを特徴とする前記請求項１〜請求項３のいずれか一つに記載のポインタ位置特定プログラム。
【請求項５】
スライドおよび前記スライド上のポインタの撮影画像から前記ポインタの前記スライド上での座標を特定するポインタ位置特定方法において、
第１の撮影画像と第２の撮影画像の差分画像を作成する差分画像作成工程と、
前記差分画像作成工程で作成された差分画像から２種類の２値画像を作成する２値画像作成工程と、
前記２値画像作成工程で作成された各２値画像中の前記ポインタが位置する可能性のある領域を特定するポインタ候補領域特定工程と、
前記ポインタ候補領域特定工程で特定された領域を統合して得られた領域が前記２値画像作成工程で作成された各２値画像中でそれぞれ１個であり、かつ当該領域間の距離が閾値以下である場合に、当該領域のいずれか一方の中心点に対応する前記スライド上の点の座標を特定するポインタ位置特定工程と、
を含むことを特徴とするポインタ位置特定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、スライドおよび前記スライド上のポインタの撮影画像から前記ポインタの前記スライド上での座標を特定するポインタ位置特定プログラムおよびポインタ位置特定方法に関する。
【背景技術】
【０００２】
インターネットなどを利用した遠隔地教育、いわゆる「Ｅ−ｌｅａｒｎｉｎｇ」の形態には種々のものがあるが、代表的なものに実際の講義風景を撮影した動画像と、各フレームに撮影されているスライド（ＯＨＰ）の拡大画像とを、受講者の端末画面上で同期させて再生・表示するものがある。これにより従来課題であった、画面上では講師がスライドのどこを指し示しているかや、そこに何が書かれているかが分かりづらいという問題が解決され、実際に講義を受講しているのとほぼ同じ環境が提供されることになる。
【０００３】
ただし従来技術で上記のようなコンテンツを作成するには、動画像中の各フレームで映し出されているのがどのスライドであるかを、逐一人手で特定しなければならなかった。この点に鑑み本出願人は、動画像中の個々のフレームと個々のスライドとを自動的に対応づける技術を開発することで（たとえば、特許文献１および特許文献２を参照。）、上記作業に従来必要であった手間や時間を大幅に低減させている。
【０００４】
もっとも上記従来技術では、動画像中で注目されているのがどのスライドであるかを特定できるにとどまっていた。実際の講義では、講師は一枚のスライドの内容を順次説明してゆく。すなわち、同一スライド内でも注目されている箇所は順次移動してゆくが、上記発明によっては講師がスライド中のどの箇所を説明しているのか明示することができなかった。
【０００５】
なお、講師の話を聞きながらスライド中の注目箇所を特定して、その部分をハイライト表示させるようなコンテンツを手動で作成することは可能であるが、この作業には動画再生時間の数倍の作業時間と、集中力が必要で、コンテンツの開発コストが膨大になってしまっていた。
【０００６】
このほかレーザーポインタの自動検出に関する特許文献として、たとえば下記特許文献３や特許文献４、キャリブレーションに関する特許文献として、たとえば下記特許文献５のようなものが存在する。
【０００７】
また、特許文献以外にも論文（たとえば、非特許文献１〜５を参照）が存在する。
【０００８】
【特許文献１】特開２００３−２８１５４２号公報
【特許文献２】特開２００３−２８８５９７号公報
【特許文献３】特開平７−２６１９１９号公報
【特許文献４】特表平１１−５０９６６０号公報
【特許文献５】特開２００１−２３５８１９号公報
【０００９】
【非特許文献１】アール・スタンカー（Ｒ．Ｓｕｋｔｈａｎｋａｒ）、アール・ジー・ストックトン（Ｒ．Ｇ．Ｓｔｏｃｋｔｏｎ）、エム・ディ・ミュリン（Ｍ．Ｄ．Ｍｕｌｌｉｎ）、「セルフ−キャリブレーティング  カメラ−アシステッド  プレゼンテイション  インターフェイス（Ｓｅｌｆ−Ｃａｌｉｂｒａｔｉｎｇ  Ｃａｍｅｒａ−Ａｓｓｉｓｔｅｄ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｉｎｔｅｒｆａｃｅ）」、（米国）、インターナショナル  カンファレンス  オン  コントロール  、オートメーション  、ロボティクス  アンド  ビジョン  ＩＣＡＲＣＶ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｎｔｒｏｌ，Ａｕｔｏｍａｔｉｏｎ，Ｒｏｂｏｔｉｃｓ  ａｎｄ  Ｖｉｓｉｏｎ  ＩＣＡＲＣＶ）、２０００年
【非特許文献２】シー・キーステン（Ｃ．Ｋｉｒｓｔｅｉｎ）、エイチ・ミラー（Ｈ．Ｍｕｌｌｅｒ）、「インタラクション  ウィズ  ア  プロジェクション  スクリーン  ユージング  ア  カメラ−トラックドゥ  レーザ  ポインタ（Ｉｎｔｅｒａｃｔｉｏｎ  ｗｉｔｈ  ａ  Ｐｒｏｊｅｃｔｉｏｎ  Ｓｃｒｅｅｎ  Ｕｓｉｎｇ  ａ  Ｃａｍｅｒａ−Ｔｒａｃｋｅｄ  Ｌａｓｅｒ  Ｐｏｉｎｔｅｒ）」、プロシーディングズ  オブ  ザ  インターナショナル  カンファレンス  オン  マルチメディア  モデリング  ＩＥＥＥ  コンピュータ  ソシエティ  プレス（Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  Ｔｈｅ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｍｏｄｅｌｉｎｇ（ＭＭＭ’９８），ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ  Ｐｒｅｓｓ）、１９９８年
【非特許文献３】イブジェニー・ポップビッチ（Ｅｖｇｅｎｙ  Ｐｏｏｐｖｉｃｈ）「プレゼンターマウス  レーザ−ポインタ  トラッキング  システム（ＰｒｅｓｅｎｔｅｒＭｏｕｓｅ  ＬＡＳＥＲ−Ｐｏｉｎｔｅｒ  Ｔｒａｃｋｉｎｇ  Ｓｙｓｔｅｍ）」
【非特許文献４】ダン・アール・オルセン・ジュニア（Ｄａｎ  Ｒ．Ｏｌｓｅｎ  Ｊｒ．）、ティ・ニールセン（Ｔ．Ｎｉｅｌｓｅｎ）「レーザ  ポインタ  インタラクション（Ｌａｓｅｒ  Ｐｏｉｎｔｅｒ  Ｉｎｔｅｒａｃｔｉｏｎ）」、ＣＨＩ、カンファレンス  オン  ヒューマン  ファクターズ  イン  コンピューティング  システムズ（Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｈｕｍａｎ  Ｆａｃｔｏｒｓ  ｉｎ  Ｃｏｍｐｕｔｉｎｇ  Ｓｙｓｔｅｍｓ）、２００１年
【非特許文献５】エフ・リウ（Ｆ．Ｌｉｕ）、エックス・リン（Ｘ．Ｌｉｎ）、ワイ・シ（Ｙ．Ｓｈｉ）「インタラクション  ウィズ  プロジェクション  スクリーン  ユージング  レーザ  ポインタ（Ｉｎｔｅｒａｃｔｉｏｎ  ｗｉｔｈ  ａ  Ｐｒｏｊｅｃｔｉｏｎ  Ｓｃｒｅｅｎ  Ｕｓｉｎｇ  Ｌａｓｅｒ  Ｐｏｉｎｔｅｒ）」、（中国）
【発明の開示】
【発明が解決しようとする課題】
【００１０】
従来技術におけるレーザーポインタの位置の特定方法は様々であるが、光学装置や特殊なフィルタ、光源などが必要で、普通のプロジェクタ、カメラ、レーザーポインタでは実現できないものが多い。それ以外にはレーザーポインタが高輝度であることや、その色や形に注目してポインタを検出するもの、フレーム差分に注目してポインタを検出するもの、これらの手法を適宜組み合わせるものなどがある。また、ポインタ位置に対応するスライド上の座標を求める方法については、同様に特殊な装置や環境が必要なものが多く、そうでなくとも事前のキャリブレーションが必要である。
【００１１】
この発明は上述した従来技術による問題点を解消するため、動画像中のレーザーポインタが、そこに映し出されているスライド内のどこに位置しているのかを高精度に、かつ専用のハードウエア等を必要とせず特定することが可能なポインタ位置特定プログラムおよびポインタ位置特定方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決し、目的を達成するため、この発明にかかるポインタ位置特定プログラムおよびポインタ位置特定方法は、まず第１の撮影画像（注目する画像）と第２の撮影画像（参照画像）の差分画像を、つぎに当該差分画像から２種類の２値画像を、それぞれ作成して、各２値画像中の前記ポインタが位置する可能性のある領域を特定するとともに、当該領域を統合して得られた領域が各２値画像中でそれぞれ１個であり、かつ当該領域間の距離が閾値以下である場合に、当該領域のいずれか一方の中心点に対応する前記スライド上の点の座標を特定することを特徴とする。
【００１３】
この発明によれば、フレーム間差分処理により取り出された、レーザーポインタの色味が急に増した箇所と急に減った箇所との距離が、ポインタの通常の移動速度から逆算して不自然に大きくない場合に、当該箇所がポインタ位置と判断される。
【００１４】
また、この発明にかかるポインタ位置特定プログラムは、前記差分画像をプラスの閾値およびマイナスの閾値により２値化することでプラス側２値画像およびマイナス側２値画像の２種類の２値画像を作成することを特徴とする。
【００１５】
この発明によれば、フレーム間差分処理により取り出された、レーザーポインタの色味が急に増した箇所と急に減った箇所との距離が、レーザーポインタの移動速度から逆算して不自然に大きくない場合に、当該箇所がポインタ位置と判断される。
【００１６】
また、この発明にかかるポインタ位置特定プログラムは、前記領域が各２値画像中でそれぞれ１個であり、かつ当該領域間の距離が閾値以下であって、さらに当該領域に対応する第１の撮影画像（注目する画像）中の領域と第２の撮影画像（参照画像）中の領域との間の輝度の差が閾値以下である場合に、当該領域のいずれか一方の中心点に対応する前記スライド上の点の座標を特定することを特徴とする。
【００１７】
この発明によれば、フレーム間差分処理により取り出された、レーザーポインタの色味が急に増した箇所と急に減った箇所との距離が、レーザーポインタの移動速度から逆算して不自然に大きくなく、かつ輝度変化も不自然に大きくない場合に、当該箇所がポインタ位置と判断される。
【００１８】
また、この発明にかかるポインタ位置特定プログラムは、前記中心点に対応する前記スライド上の点の座標を前記第１の撮影画像（注目する画像）中の複数の文字に対する当該中心点の位置関係にもとづいて特定することを特徴とする。
【００１９】
この発明によれば、フレーム内で特定されたポインタの座標は、当該フレーム内の他の文字となす角度などにもとづいてスライド上での座標に変換される。
【発明の効果】
【００２０】
本発明にかかるポインタ位置特定プログラムおよびポインタ位置特定方法によれば、動画像中のレーザーポインタが、そこに映し出されているスライド内のどこに位置しているのかを高精度に、かつ専用のハードウエア等を必要とせず特定することができるという効果を奏する。
【発明を実施するための最良の形態】
【００２１】
以下に添付図面を参照して、この発明にかかるポインタ位置特定プログラムおよびポインタ位置特定方法の好適な実施の形態を詳細に説明する。
【００２２】
（実施の形態１）
図１は、実施の形態１にかかるポインタ位置特定プログラムが稼働する、ポインタ位置特定装置のハードウエア構成の一例を示す説明図である。図示するように本装置は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ（ハードディスクドライブ）１０４、ＨＤ（ハードディスク）１０５、ＦＤＤ（フレキシブルディスクドライブ）１０６、ＦＤ（フレキシブルディスク）１０７、ディスプレイ１０８、ネットワークＩ／Ｆ（インターフェース）１０９、キーボード１１０およびマウス１１１を備えている。また、上記各部はバス１００により接続されている。
【００２３】
図１において、ＣＰＵ１０１は装置全体の制御を司る。ＲＯＭ１０２はブートプログラムなどを記憶している。ＲＡＭ１０３はＣＰＵ１０１のワークエリアとして使用される。
【００２４】
ＨＤＤ１０４は、ＣＰＵ１０１の制御にしたがってＨＤ１０５に対するデータのリード／ライトを制御する。ＨＤ１０５は、ＨＤＤ１０４の制御にしたがって書き込まれたデータを記憶する。ＦＤＤ１０６は、ＣＰＵ１０１の制御にしたがってＦＤ１０７に対するデータのリード／ライトを制御する。ＦＤ１０７は、ＦＤＤ１０６の制御にしたがって書き込まれたデータを記憶する。なお、ＦＤ１０７は着脱可能な記録媒体の一例であり、ＦＤ１０７に代えてＣＤ−ＲＯＭ（ＣＤ−Ｒ、ＣＤ−ＲＷ）、ＭＯ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）、メモリーカードなどであってもよい。
【００２５】
ディスプレイ１０８は、カーソル、ウィンドウ、アイコンなどをはじめ、文書や画像などの各種データを表示する。ネットワークＩ／Ｆ１０９はＬＡＮ／ＷＡＮなどのネットワークに接続され、当該ネットワークと装置内部とのデータの送受信を司る。キーボード１１０は、文字、数字、各種指示などの入力のための複数のキーを備え、押下されたキーに対応するデータを装置内部へ入力する。マウス１１１は本体下部のボールの回転量と回転方向、および本体上部の各ボタンのＯＮ／ＯＦＦを随時装置内部へ入力する。
【００２６】
つぎに、図２は実施の形態１にかかるポインタ位置特定装置の機能的構成を示す説明図である。図示するように実施の形態１にかかるポインタ位置特定装置は、フレーム画像入力部２００、ポインタ候補領域特定部２０１、静止ポインタ特定部２０２、ポインタ候補領域絞り込み部２０３、移動ポインタ特定部２０４、ポインタ位置特定部２０５、文字情報記憶部２０６、同定情報作成部２０７、および同定情報記憶部２０８を備えている。
【００２７】
上記のうち文字情報記憶部２０６および同定情報記憶部２０８は、図１に示したＨＤ１０５などにより実現される。また、上記以外の各部は実施の形態１にかかるポインタ位置特定プログラムが、ＨＤ１０５などからＲＡＭ１０３に読み出されてＣＰＵ１０１で実行されることにより実現される。
【００２８】
また、図３は実施の形態１にかかるポインタ位置特定装置における、ポインタ位置特定処理の手順の概略を示すフローチャートである。本装置はまず、ビデオカメラで別途撮影された講義風景などの動画（を構成する各フレーム画像）をフレーム画像入力部２００から取り込んで（ステップＳ３０１）、つぎにポインタ候補領域特定部２０１により、各画像中のポインタ候補領域（レーザーポインタが位置している可能性のある領域）を特定する（ステップＳ３０２）。
【００２９】
続いて静止ポインタ特定部２０２により、上記で特定された各領域のうち、フレーム画像内で完全に静止しているポインタ（以下では「静止ポインタ」という）が位置する領域を特定する（ステップＳ３０３）。そして静止ポインタの検出に成功したときは、そのままポインタ位置特定部２０５により、元のスライド上におけるポインタ位置の特定に移行する（ステップＳ３０４：Ｙｅｓ、ステップＳ３０９）。
【００３０】
一方、静止ポインタが見つからなかったときは（ステップＳ３０４：Ｎｏ）、つぎにポインタ候補領域絞り込み部２０３により、ステップＳ３０２で特定されたポインタ候補領域のうち、赤パターンとの位置関係から見てノイズである可能性の高いものを除外する（ステップＳ３０５）。
【００３１】
そして、この絞り込みで領域が一つに特定できたときは、そのままポインタ位置特定部２０５により、元のスライド上におけるポインタ位置の特定に移行するが（ステップＳ３０６：Ｙｅｓ、ステップＳ３０９）、これでも特定できないときは（ステップＳ３０６：Ｎｏ）つぎに移動ポインタ特定部２０４により、複数のフレーム画像を比較して、画面内を移動中のポインタ（以下では「移動ポインタ」という）が位置する領域を特定する（ステップＳ３０７）。
【００３２】
そして、移動ポインタが見つかったときは、ポインタ位置特定部２０５により、元のスライド上におけるポインタ位置を特定する（ステップＳ３０８：Ｙｅｓ、ステップＳ３０９）。すなわち、上記で特定したフレーム画像中のポインタ領域（の中心点）が、撮影されたスライドのどの座標に対応するかを特定する。なお、移動ポインタも見つからなかったときは（ステップＳ３０８：Ｎｏ）、ポインタなしとしてそのまま終了する。
【００３３】
以下、図２の各部の機能と図３の各ステップの処理の詳細を順次説明する。まず、フレーム画像入力部２００は本装置の外部のカメラで撮影された複数のフレーム画像を、本装置の内部に取り込んで蓄積するとともに、後述するポインタ候補領域特定部２０１、静止ポインタ特定部２０２、ポインタ候補領域絞り込み部２０３あるいは移動ポインタ特定部２０４に順次出力する機能部である。
【００３４】
つぎに、ポインタ候補領域特定部２０１はフレーム画像入力部２００から入力したフレーム画像中の、ポインタ候補領域（の座標）を特定する機能部である。ポインタ候補領域特定部２０１は上記処理のために、図４に模式的に示すようなポインタ赤色定義を保持している。このポインタ赤色定義は、図５に示す手順により作成される。
【００３５】
まず、均一色の背景上の固定位置にレーザーポインタを照射して、固定カメラでその画像を撮影する。そして背景色を順次切り替えて、４９１３色の異なる背景色分だけ、すなわち４９１３枚のポインタ画像を撮影する（ステップＳ５０１）。
【００３６】
つぎに、上記で撮影した画像から、レーザーポインタを中心とする所定サイズの矩形領域を切り出す（ステップＳ５０２）。照射位置は固定なので、この切り出しは矩形の４点の座標を決めて、単にその内部を切り出すだけである。その後、上記で切り出した領域からポインタ中心部の高輝度画素を除去（マスク）する（ステップＳ５０３）。具体的には、たとえばＲ値＋Ｇ値＋Ｂ値＞６００である画素を除去対象とする。
【００３７】
つぎに、除去されずに残った画素を用いて上記領域の「背景色」を算出するとともに（ステップＳ５０４）、同じく残った画素の中から「ポインタ赤色」を抽出する（ステップＳ５０５）。この「背景色」とは、具体的には残った画素のうち上記領域の最周囲にあるもの（切り出した矩形の４辺上にあるもの）の色の平均値である。
【００３８】
また「ポインタ赤色」とは、残った画素のうち「Ｒ値≧２１０かつＲ値≧背景色のＲ値」であるようなすべての画素（ポインタの周縁部に現れる赤色の画素がこれに該当する）の色である。「背景色」と「ポインタ赤色」とは作業用テーブルなどに対応づけて保存され（ステップＳ５０６）、ステップＳ５０２〜Ｓ５０６の処理が４９１３色分のすべての画像について繰り返される。
【００３９】
そして全画像について上記処理を終えると、上記テーブルに保存されたポインタ赤色を、図４に示したようなＲＧＢ空間にプロットする（ステップＳ５０７）。なお、このときＲＧＢの各軸をそれぞれ３２分割することで、上記空間を３２，７６８（＝３２の３乗）個のブロックに分割し、各ブロック内での点の頻度（個数）を求めるようにする。画像から抽出されたポインタ赤色のＲ値・Ｇ値・Ｂ値を、それぞれ３２レベルに量子化してプロットすると言ってもよい。
【００４０】
もっとも、上記のようにして求められた色分布は、静止ポインタ検出のための情報としては冗長なものがある。一枚の画像の中でも画素ごとにポインタの赤色が微妙に異なる結果、通常は一枚の画像から複数のポインタ赤色が抽出され、複数の点としてプロットされることになるが、静止ポインタを検出するには一枚の画像（一つの背景色、と言ってもよい）につき、少なくとも一つの点が上記空間内に存在していれば足りるためである。
【００４１】
そこでこの冗長な情報を取り除くために、上述の３２，７６８個のブロックの中から点の頻度の低いブロック、具体的には点を一つしか含まないブロック（頻度１のブロック）を順次検索して、当該ブロック内の一点を削除してゆく（ステップＳ５０８）。ただしこの削除は、以下で定義するカバー率が閾値を下回らない範囲で行う。
【００４２】
カバー率＝頻度１のブロックを削除して残ったブロックの頻度計算の元になった画像数／全画像数
【００４３】
カバー率が１００％の間は、頻度１のブロック内の一点を削除しても、その点と同一の画像から抽出された他の一点が他のブロックに必ず存在している。逆に言うと、ある背景色上のレーザーポインタから抽出された複数のポインタ赤色のうち、一つを無視しても少なくとも他の一つが図４の空間内にプロットされており、４９１３枚の画像はすべて一度は使用されていることになる。カバー率とは画像の使用率であると言うこともできる。
【００４４】
ただしカバー率の閾値を１００％とすると（すなわち、色分布を求めるにあたって４９１３枚の画像をもれなく使用すると）、色分布はＲＧＢ空間の広範囲にわたるので、これをポインタ赤色定義として採用するとノイズを多数抽出してしまうことが実験的に分かっている。そこでここでは、完全にはポインタを検出できないかもしれないが、ノイズ抽出も少なくなるカバー率９８％のポインタ赤色分布をポインタ赤色定義として採用する。図４に示したポインタ赤色定義は、このカバー率９８％のときのものである。
【００４５】
つぎに図６は、図２に示したポインタ候補領域特定部２０１によるポインタ候補領域特定処理（図３のステップＳ３０２）の手順を示すフローチャートである。
【００４６】
まず、ポインタ候補領域特定部２０１はフレーム画像入力部２００から入力したフレーム画像中の、ポインタ候補画素（レーザーポインタが位置している可能性のある画素）を特定する（ステップＳ６０１）。具体的にはフレーム画像中の画素のうち、Ｒ値が閾値（たとえば２５４）以上であってかつＧ値がＢ値以下である高輝度画素を検索し、当該画素の近傍（たとえば隣接する２画素以内）に、図４のポインタ赤色定義中にある色の画素があれば、当該画素をポインタ候補画素とする。このポインタ候補画素は、正しいポインタ付近で集中して検出されるが、たまたま高輝度画素の近くに赤色がある他の箇所でも多数検出される。
【００４７】
つぎに、ポインタ候補領域特定部２０１は上記で特定したポインタ候補画素を黒画素、それ以外の画素を白画素とする、図７のような２値画像を作成する（ステップＳ６０２）。そして、さらに図７の２値画像から、図８に示すようなカウント画像を作成する（ステップＳ６０３）。
【００４８】
このカウント画像内の各画素の値は、２値画像中の対応する画素から所定距離以内、たとえば当該画素から上下左右３画素以内にある黒画素の総数を示している。たとえば図７中の画素７００から３画素以内の範囲７０１には、画素７００自身を含め黒画素７０２・７０３・７０４の４個が存在するため、図８中で図７の画素７００に対応する画素８００の値は「４」となっている。同様にして、図７中のすべての画素についてその近傍の黒画素数を計数し、図８のようなカウント画像を作成する。
【００４９】
上記説明から分かるように、このカウント画像では、ポインタ候補画素が集中している箇所ほど画素の値が高くなる。そこで、たとえばカウント画像中での最大画素値の１／２を求めてこれを閾値とし（ステップＳ６０４）、当該閾値以上の値の画素を黒画素、それ以外の画素を白画素とする２値画像を作成することで（ステップＳ６０５）、フレーム画像からポインタ候補画素の集中している箇所を取り出すことができる。そしてこの２値画像をラベリングして、複数の黒画素連結領域の外接矩形、すなわちポインタ候補領域を特定する（ステップＳ６０６）。
【００５０】
図２の説明に戻り、つぎに静止ポインタ特定部２０２は、フレーム画像入力部２００から入力したフレーム画像中の、特に完全に静止しているレーザーポインタの位置を特定する機能部である。より具体的には、フレーム画像中、図９に示すような静止ポインタ特性を有する箇所を特定する機能部である。
【００５１】
図９は静止中のレーザーポインタ周辺における、画素の輝度の標準的な分布（静止ポインタ特性）を示す説明図である。図示するように、レーザーポインタの中心部分において輝度は最も高く、中心から距離ｄ１の画素でいったん低くなった後、さらにその外側の距離ｄ２付近の画素で高くなるという特性がある。人の目で見ると、ポインタの中心ではハレーションが発生してレーザーの赤色が消え、中心からの距離ｄ２付近に円環状に赤色が現れる。なお、距離ｄ１でいったん暗くなるのはカメラ（ＣＣＤ）の特性と推察され、人の目で見ても暗さは判別できない。
【００５２】
図１０は、静止ポインタ特定部２０２による静止ポインタ特定処理（図３のステップＳ３０３）の手順を示すフローチャートである。
【００５３】
フレーム画像入力部２００からフレーム画像、ポインタ候補領域特定部２０１から当該フレーム画像中のポインタ候補領域（の座標）が、それぞれ入力すると（ステップＳ１００１）、静止ポインタ特定部２０２はまず上記画像のＲ画像（各画像の赤成分のみを取り出した濃淡画像）を作成する（ステップＳ１００２）。
【００５４】
つぎに、Ｒ画像中のポインタ候補領域のうち一つに注目して（ステップＳ１００３）、当該領域をその外側へ一定距離（たとえば２０画素分）だけ拡大した範囲で、Ｒ値≧２５４の高輝度画素だけ黒、それ以外の画素は白であるような高輝度２値画像を作成する（ステップＳ１００４）。そして、この２値画像をラベリングして、複数の黒画素が連結する領域の外接矩形（高輝度矩形）を求める（ステップＳ１００５）。
【００５５】
つぎに、この高輝度矩形の一つに注目して（ステップＳ１００６）、当該矩形の縦横のサイズが一定範囲内（たとえば、幅と長さがそれぞれ３画素以上１１画素以内）にあるかどうかと、当該矩形内の黒画素密度が一定閾値以上であるかどうかとを調べる（ステップＳ１００７、ステップＳ１００８）。これは静止ポインタであるにしては、サイズや高輝度画素の集中度が不自然である矩形を取り除くために行う。
【００５６】
そして、当該矩形が上記条件を満たす場合は（ステップＳ１００７：Ｙｅｓ、ステップＳ１００８：Ｙｅｓ）、つぎに当該矩形が静止ポインタ特性を有するかどうかを調べる。上述のように静止ポインタでは、その中心点から放射状に図９のような輝度分布となるので、たとえば図１１に示すような８方向について、上記矩形の中心点から一定距離の区間（たとえば１０画素以内）で、輝度の最高値（Ｍａｘ）、極小値（ＬｏｃａｌＭｉｎ）、極小値後の極大値（ＬｏｃａｌＭａｘ）、極大値の隣の画素値（ＮｅｘｔＬｏｃａｌＭａｘ）が下記関係を満たすかどうかを調べる。
【００５７】
ＬｏｃａｌＭｉｎ＋２５≦ＬｏｃａｌＭａｘ＜Ｍａｘ  かつ  ＬｏｃａｌＭｉｎ≦ＮｅｘｔＬｏｃａｌＭａｘ＜ＬｏｃａｌＭａｘ
【００５８】
そして８方向のうち、上記関係を満たす方向が少なくとも３方向以上あった場合に（ステップＳ１００９：Ｙｅｓ）、当該矩形をポインタ領域（ポインタ候補領域、でなく）と判断し、その中心点の座標をポインタ座標として、後述するポインタ位置特定部２０５に出力する（ステップＳ１０１０）。なお、図１１は８方向のうち５方向で静止ポインタ特性がみられる例である。
【００５９】
このように本実施の形態では、あるポインタ候補領域中のある高輝度矩形をポインタ領域と判断すると、残りの高輝度矩形やポインタ候補領域は無視し、その時点でそのまま終了しているが、すべての高輝度矩形やポインタ候補領域をチェックして、複数のポインタ領域の中から何らかの基準で一つを選択するようにしてもよい。また、ここでは８方向中３方向以上で特徴的な輝度分布があることを静止ポインタの根拠としているが、要するに高輝度画素が集中している場所の中心から見て、図９のような輝度分布となる方向がどれだけあるかを検証できれば、方向の数や角度などは問わない。
【００６０】
なお、高輝度矩形の縦横サイズや黒画素密度が上記条件を満たさなかった場合（ステップＳ１００７：Ｎｏ、ステップＳ１００８：Ｎｏ）、あるいは８方向中最大でも２方向までしかポインタ特性がみられなかった場合は（ステップＳ１００９：Ｎｏ）、同一のポインタ候補領域についてまだ未処理の高輝度矩形があれば、つぎの矩形に注目して上記処理を繰り返す（ステップＳ１０１１：Ｎｏ、ステップＳ１００６〜Ｓ１００９）。
【００６１】
また、全矩形について上記処理を終えており、かつまだ未処理のポインタ候補領域があれば、つぎのポインタ候補領域に注目して上記処理を繰り返す（ステップＳ１０１１：Ｙｅｓ、ステップＳ１０１２：Ｎｏ、ステップＳ１００３〜Ｓ１０１１）。なお、静止ポインタを検出できないまますべてのポインタ候補領域を調べ終えたときは（ステップＳ１０１２：Ｙｅｓ）、そのまま終了して後述する図１２の処理に移行する。
【００６２】
図２の説明に戻り、つぎにポインタ候補領域絞り込み部２０３は図１０の手順でポインタ座標が特定できなかった場合に、ポインタ候補領域特定部２０１から入力したポインタ候補領域のうち、ポインタ領域として確度の高いものを絞り込む機能部である。
【００６３】
上述のように  ポインタ候補領域特定部２０１で特定された各ポインタ候補領域は、その近傍にポインタ赤色を伴う高輝度画素が集中して分布する箇所であるが、フレーム画像中のスライドにもともと赤い字や絵などが含まれていると、たまたまその付近にある高輝度画素の集合をポインタ候補領域と誤認してしまいやすい。そこでこのポインタ候補領域絞り込み部２０３により、ポインタ候補領域特定部２０１で特定されたポインタ候補領域と、フレーム画像中の赤色領域との位置関係により、ノイズである可能性の高いポインタ候補領域を除外する。
【００６４】
図１２は、ポインタ候補領域絞り込み部２０３によるポインタ候補領域の絞り込み処理（図３のステップＳ３０５）の手順を示すフローチャートである。
【００６５】
図１０の手順によるポインタ検出の失敗後、静止ポインタ特定部２０２からその旨を通知されたフレーム画像入力部２００とポインタ候補領域特定部２０１は、注目中のフレーム画像と当該画像中のポインタ候補領域とを、ポインタ候補領域絞り込み部２０３に入力する（ステップＳ１２０１）。
【００６６】
そしてこれを受けたポインタ候補領域絞り込み部２０３は、フレーム画像中の赤色の部分を特定するため、まず当該画像をＨＩＳ変換により色相・明度・彩度に分解する（ステップＳ１２０２）。つぎに、色相が一定範囲内（具体的には２１０＜Ｈ≦２５５または０≦Ｈ＜２０）、明度も一定範囲内（具体的には８０＜ｌｕｍ＜２００）でかつ彩度が閾値（具体的には３０）以上である画素だけ黒、それ以外の画素は白であるような２値画像、すなわちフレーム画像中の赤色部分だけ黒になっている２値画像を作成する（ステップＳ１２０３）。
【００６７】
そしてこの２値画像をラベリングして、黒画素連結領域の外接矩形（赤色領域）を特定する（ステップＳ１２０４）。なお、以下では上記矩形のすべてを「ａｌｌ＿ａｒｅａ」、上記矩形のうちその幅または高さが閾値以上（具体的には３０画素以上）であるものを「ｂｉｇ＿ａｒｅａ」と、それぞれ総称する。
【００６８】
つぎに、ポインタ候補領域特定部２０１から入力したポインタ候補領域のうち、「ｂｉｇ＿ａｒｅａ」のいずれかの矩形から一定距離内にあるものをノイズとして削除する（ステップＳ１２０５）。これは、フレーム画像中の大きな赤パターンの近くにノイズのポインタ候補領域のあることが多いためである。
【００６９】
また、ポインタ候補領域特定部２０１から入力したポインタ候補領域のうち、「ａｌｌ＿ａｒｅａ」のどの矩形からも一定距離以上離れているものをノイズとして削除する（ステップＳ１２０６）。これは、正しいポインタでは必ず赤い領域が近くにあるので、どの赤パターンからも離れすぎているポインタ候補領域はノイズと考えられるためである。
【００７０】
その後、残ったポインタ候補領域について、領域の統合とさらなるノイズ除去を行う。すなわち、まず残ったポインタ候補領域のうち、間の距離が閾値以下（具体的には１画素以下）であるものを一つに統合する（ステップＳ１２０７）。これはポインタが移動している場合に、フレーム画像を撮影したカメラのインターレーススキャンの影響で、１ラインおきにポインタ候補領域が表れる（正しいポインタ領域が分断されて表れる）場合があるので、この影響を除去するためである。
【００７１】
つぎに、統合後のポインタ候補領域のうちその幅または高さが閾値以下（具体的には３画素以下）のものをノイズとして削除する（ステップＳ１２０８）。これは、フレーム画像の撮影にあたってスライド全体を一画面に納めるような構図が取られることが多いが、その場合はポインタサイズが大きいという特徴を利用して、ノイズを除去するものである。
【００７２】
最後に、重なり合っていたり間の距離が閾値以下（具体的には１０画素以下）であったりするポインタ候補領域同士を統合する（ステップＳ１２０９）。そして、統合後のポインタ候補領域のうち面積が最大であるものをポインタ領域と判断し、その中心点の座標をポインタ座標として、後述するポインタ位置特定部２０５に出力する（ステップＳ１２１０）。なお、上述の処理の過程でポインタ候補領域の個数が０となった場合は、その時点で終了して後述する図１３の処理に移行する。
【００７３】
図２の説明に戻り、つぎに移動ポインタ特定部２０４は図１０や図１２の手順でポインタ座標が特定できなかった場合に、注目するフレーム画像の直前の２枚、直後の２枚の、連続する５フレームを差分処理することで、動きのあるレーザーポインタの位置を特定する機能部である。
【００７４】
図１３は、移動ポインタ特定部２０４による移動ポインタ特定処理（図３のステップＳ３０７）の手順を示すフローチャートである。
【００７５】
図１２の手順によるポインタ検出の失敗後、ポインタ候補領域絞り込み部２０３からその旨を通知されたフレーム画像入力部２００は、注目中のフレーム画像（以下では「基準画像」という）とその前後それぞれ２画像の計５フレームを、移動ポインタ特定部２０４に入力する（ステップＳ１３０１）。
【００７６】
そしてこれを受けた移動ポインタ特定部２０４は、各フレーム画像のＲ画像を作成する（ステップＳ１３０２）。つぎに、参照画像として基準画像の前後の４フレームの中から一つを選択する（ステップＳ１３０３）。ここでは参照画像の選択の順序は「２番目のフレーム→４番目のフレーム→１番目のフレーム→５番目のフレーム」であるものとし、したがって１回目のステップＳ１３０３では、２番目すなわち基準画像の直前のフレーム画像が選択されることになる。
【００７７】
つぎに、基準画像のＲ画像と、上記で選択した参照画像のＲ画像との差分画像を作成する（ステップＳ１３０４）。この差分画像は、プラス１２８からマイナス１２７までの画素値を取る濃淡画像である。これをプラスの閾値とマイナスの閾値で切り分けて、プラス側とマイナス側の２値画像を作成する（ステップＳ１３０５）。すなわち、上記で作成した差分画像中、たとえばその値がプラス５８以上の画素のみを黒、それ以外の画素を白とするプラス側２値画像と、逆に値がマイナス５８以下の画素のみを黒、それ以外の画素を白とするマイナス側２値画像とを作成する。上記処理により、参照画像に比較して基準画像中で赤成分が大きく増した箇所と、逆に赤成分が大きく減った箇所とが取り出されることになる。
【００７８】
つぎに、上記で作成した各２値画像について１画素だけの膨張処理を行い、近接する画素同士を連結させる（ステップＳ１３０６）。これには上述のインターレースの影響を除去する目的がある。つぎに、膨張後のそれぞれの２値画像をラベリングして、黒画素連結領域の外接矩形を求め、求めた矩形の座標を内側に１画素ずつ縮小させることで、膨張前の２値画像におけるポインタ候補領域を特定する（ステップＳ１３０７）。
【００７９】
つぎに、プラス側２値画像と、マイナス側２値画像のそれぞれで、正しい可能性の高いポインタ候補領域を絞り込む（ステップＳ１３０８）。具体的には、縦横のサイズが一定範囲内（たとえば幅と高さがそれぞれ２画素以上１３０画素以内）で、かつその内部の黒画素の個数が閾値以上（たとえば３個以上）あるいは黒画素密度が閾値以上（たとえば０．３以上）であるようなポインタ候補領域だけを残して、それ以外の領域を削除する。
【００８０】
つぎにそれぞれの２値画像中で、重なり合っている、あるいは間の距離が閾値以下（具体的には５画素以下）であるポインタ候補領域同士を統合する（ステップＳ１３０９）。そしてこの時点で、ポインタ候補領域がプラス側２値画像でもマイナス側２値画像でも１個となっており、かつ各領域の中心点間の距離が閾値以下である場合に（ステップＳ１３１０：Ｙｅｓ、ステップＳ１３１１：Ｙｅｓ）、マイナス側２値画像中のポインタ候補領域の中心点の座標を、ポインタ座標としてポインタ位置特定部２０５に出力する（ステップＳ１３１２）。
【００８１】
具体的には図１４に示すように、プラス側２値画像のポインタ候補領域の中心点１４００と、マイナス側２値画像のポインタ候補領域の中心点１４０１との縦横方向の距離ｄｘおよびｄｙが、いずれも２０画素以下である場合に、中心点１４０１の座標をポインタ座標とする。
【００８２】
また、いずれかあるいは双方の２値画像中でポインタ候補領域が一つに絞り込めない場合（ステップＳ１３１０：Ｎｏ）や、プラス側の候補領域とマイナス側の候補領域との距離が離れている場合（ステップＳ１３１１：Ｎｏ）は、ステップＳ１３０１で入力したフレーム画像のうち、まだ参照画像として使用していないものがあれば（ステップＳ１３１３：Ｎｏ）、ステップＳ１３０３に戻ってつぎの参照画像を選択する。２回目のステップＳ１３０３では、入力した５フレーム中時系列順で４番目の画像が選択されることになる。なお、ポインタを特定できないまますべての参照画像を調べ終えたとき（ステップＳ１３１３：Ｙｅｓ）は、そのまま本フローチャートによる処理を終了する。
【００８３】
図２の説明に戻り、つぎにポインタ位置特定部２０５は、静止ポインタ特定部２０２、ポインタ候補領域絞り込み部２０３あるいは移動ポインタ特定部２０４から入力したフレーム画像中のポインタ座標が、当該フレームに映し出されているスライドのどこに対応するかを特定する機能部である。フレーム画像上の一点の座標を、その元となったスライド上の座標に変換すると言ってもよい。
【００８４】
ポインタ位置特定部２０５による変換にあたって、個々のフレーム画像と当該画像中のスライドとは１対１に対応づけられているものとする。また、対応づけられたフレーム画像とスライドとの間では、それらに含まれる各文字も１対１に対応づけられているものとする。その手順については後述するが、この対応づけが済んでいる状態では、フレーム画像中の任意の２文字に対するポインタ座標の相対位置から、元のスライド上における座標を割り出すことができる。
【００８５】
すなわち図１５に示すように、フレーム画像内の任意の２文字の外接矩形の中心点１５００・１５０１と、ポインタ座標１５０２を頂点とする三角形の角度θ１およびθ２が分かれば、上記２文字に対応するスライド上の各２文字の外接矩形の中心点から、θ１・θ２の角度にある点の座標が求めるポインタ位置となる。なお、ここではポインタ座標１５０２に最も近い２文字を選択しているが、同一フレーム内のどの２文字に対する相対位置を利用するのであってもよい。また、文字のないスライドの場合は、絵や図形など文字以外の要素との相対位置によりポインタ位置を求めるようにしてもよい。
【００８６】
図２の説明に戻り、つぎに文字情報記憶部２０６はフレーム画像の文字情報（フレーム番号、各フレームに含まれる文字の文字コード、位置、大きさなど）、およびその元となったスライドの文字情報（スライド番号、各スライドに含まれる文字の文字コード、位置、大きさなど）を保持する機能部である。フレーム画像中の各文字は通常の文字認識技術によってその文字コードを特定され、スライド内の各文字の文字コードはＰＰＴ（ＰｏｗｅｒＰｏｉｎｔ）ファイルなどから抽出されるものとする。
【００８７】
つぎに同定情報作成部２０７は、個々のフレーム画像とそこに映し出されている個々のスライドとを対応づけるとともに、対応づけられたフレーム画像内の個々の文字とスライド内の個々の文字とを対応づける機能部である。また、同定情報記憶部２０８は同定情報作成部２０７による対応づけの結果（対応するフレーム番号とスライド番号、対応する文字の文字コードや位置など。以下では「同定情報」という）を保持する機能部である。
【００８８】
図１６は、同定情報作成部２０７による同定情報作成処理の手順を示すフローチャートである。この処理は大別して、（１）フレーム−スライド間の対応づけと、（２）対応づけられたフレーム−スライドに含まれる各文字の対応づけとからなる。このうち（１）では、フレーム・スライドの双方に含まれる２文字の組の位置関係をすべて調査して、それらの関係が一致する頻度を用いて、フレーム−スライド間の類似度を計算する。
【００８９】
また（２）では、一つのフレーム内文字に複数のスライド内文字が対応する、あるいはその逆など、１対１の対応関係になっていない文字について、周辺の文字との相対的な位置関係から対応する１文字を絞り込む。以下、フローチャートに沿って順次説明する。
【００９０】
まず、注目するフレームと注目するスライドとをそれぞれ選択した後（ステップＳ１６０１、Ｓ１６０２）、文字情報記憶部２０６を参照して、フレーム内の１文字とスライド内の１文字で文字コードが同一であるペアをすべて抽出する（ステップＳ１６０３）。つぎにこの集合からフレーム上の２文字（ａ１，ａ２）と、それとペアになるスライド上の２文字（ｂ１，ｂ２）に注目し、フレーム上２文字の各矩形中心点間のベクトル方向がスライド上２文字の各矩形中心点間のベクトル方向とほぼ一致するペアだけを抽出する（ステップＳ１６０４）。文字コードから機械的に特定される文字のペアのうち、他の文字との位置関係から見て確からしいものだけに絞り込むと言ってもよい。
【００９１】
つぎに、ステップＳ１６０４で抽出されたペアを対象に、拡大率、水平／垂直平行移動量の頻度分布を作成し（ステップＳ１６０５）、それぞれの頻度分布で最頻値から一定幅で近接する範囲に属するペアの個数を、フレームとスライド間の類似度とする（ステップＳ１６０６）。そして注目するフレームについて、ＰＰＴファイル内に含まれる全スライドとの類似度を計算（ステップＳ１６０７：Ｎｏ、ステップＳ１６０２〜Ｓ１６０６）した後、類似度が最高となったスライドの番号と、上記フレームの番号とを対応づけて同定情報記憶部２０８に保存する（ステップＳ１６０７：Ｙｅｓ、ステップＳ１６０８）。
【００９２】
そしてここまでの処理で、注目中のフレームについて（１）のスライド同定が終了するので、つぎに（２）の、個々の文字同士の対応づけへ移行する。上述のように、同定されたフレーム・スライド内の各文字は、文字コードや他の文字との相対的な位置関係から一応は対応づけられている。しかしながらその関係は必ずしも１対１ではなく、たとえば図１７に示すように、フレーム上の文字１７００がスライド上の文字１７０１にも文字１７０２にも対応づけられているようなことがある。この場合、文字１７００−文字１７０１のペアか文字１７００−文字１７０２のペアの、少なくとも一方は誤りのため、同定情報作成部２０７は一つの文字１７００に対応づけられている複数の文字１７０１・１７０２の中から、最も確からしいものを一つだけ選択する。
【００９３】
そしてここでは選択の根拠として、文字１７００の周辺にある文字１７０３ａ〜１７０３ｈ（以下では「周辺文字」という）に対応づけられた、文字１７０４ａ〜１７０４ｈに対する文字１７０１および文字１７０２の位置関係に注目する。図１７の場合、文字１７０４ａ〜１７０４ｈに対する文字１７０２の位置関係よりも、文字１７０４ａ〜１７０４ｈに対する文字１７０１の位置関係のほうが、文字１７０３ａ〜１７０３ｈに対する文字１７００の位置関係に近い。そこでこの場合は、文字１７００−文字１７０２のペアを棄却して、文字１７００−文字１７０１のペアだけを採用することになる。
【００９４】
ステップＳ１６０８で対応づけられたフレームあるいはスライドの中に、１対１に対応していない文字が一つでもあった場合（ステップＳ１６０９：Ｙｅｓ）、同定情報作成部２０７は複数の文字に対応づけられている文字について、その周辺文字を抽出する（ステップＳ１６１０）。
【００９５】
なお、どの範囲の文字を周辺文字とみなすかは任意であるが、ここでは周辺文字の範囲を、そのフレームあるいはスライド内での文字の標準的・平均的な高さＨに応じて変化させる。すなわちたとえば図１７の文字１７００の場合、当該フレーム内の各文字の高さ（文字情報記憶部２０６に保持されている、各文字の外接矩形の高さ）からＨを求め、文字１７００の中心点からＨのｎ倍の距離以内にある文字１７０３ａ〜１７０３ｈを文字１７００の周辺文字とする。
【００９６】
つぎに、文字１７００と対応づけられている複数の文字１７０１・１７０２について、周辺文字１７０３ａ〜１７０３ｈに対応する文字１７０４ａ〜１７０４ｈとの位置関係から見たスコアリングを行う（ステップＳ１６１１）。まず、文字１７００の周辺文字の一つ、たとえば文字１７０３ａについて、両者間の位置関係を表現する指標として以下の２つを求める。
・文字１７００の中心点から文字１７０３ａの中心点へ引いたベクトルの角度θ
・上記ベクトルの長さを文字１７００の幅あるいは文字１７０３ａの幅のいずれか大きいほうで割った比Ｒ
【００９７】
つぎに、文字１７００に対応づけられている複数の文字のうち一つ、たとえば文字１７０１と、文字１７０３ａに対応づけられている文字１７０４ａとの位置関係を表現する指標として、同様に角度θ’とＲ’とを求め、θとθ’およびＲとＲ’の差が閾値以下、たとえば
｜θ−θ’｜＜０．６  かつ  ｜Ｒ−Ｒ’｜＜０．１５
が成立する場合に、文字１７０３ａ−文字１７０４ａのペアを、文字１７００−文字１７０１のペアを支持する周辺文字ペアとして、文字１７０１のスコアに加算する。
【００９８】
その後、周辺文字１７０３ｂ〜１７０３ｈについても同様の処理を行い、文字１７０１のスコアを算出する。また、文字１７０２のスコアも同様にして算出する。そして、最終的にスコアが最大（支持する周辺文字ペアの総数が最大）となった文字を、文字１７００に１対１に対応づける文字として採用する。この処理を１対１に対応していないすべての文字について行い、最終的に得られたフレーム内文字−スライド内文字の１対１の対応関係を、同定情報記憶部２０８に保存する（ステップＳ１６１２）。なお、フレームとスライドが同定された時点ですべての文字が１対１に対応づけられていた場合は（ステップＳ１６０９：Ｎｏ）、ステップＳ１６１０およびＳ１６１１は省略して、その対応関係を同定情報記憶部２０８に保存する（ステップＳ１６１２）。
【００９９】
その後、まだ未処理のフレームがあればつぎのフレームについて上述の処理を行い（ステップＳ１６１３：Ｎｏ、ステップＳ１６０１〜Ｓ１６１２）、全フレーム画像についてスライドとの対応づけと文字の１対１の対応づけを終えた時点で（ステップＳ１６１３：Ｙｅｓ）、本フローチャートによる処理を終了する。
【０１００】
これにより各フレームと各スライドとの対応関係、同定されたフレームおよびスライドでの文字の対応関係が同定情報記憶部２０８に記憶され、上述のポインタ位置特定部２０５はこの同定情報を用いて、フレーム上でのポインタ位置を対応するスライド上でのポインタ位置に変換する。なお、この同定情報やその基礎となる文字情報は図３のステップＳ３０９までに作成できていればよいので、ステップＳ３０１のフレーム画像の入力後、ポインタ検出などと平行して作成するのでもよいし、あるいは図３の処理の開始前に、あらかじめ作成しておくのであってもよい。
【０１０１】
（実施の形態２）
さて、上述した実施の形態１では図３に示したように、まずポインタ位置らしい場所の中から静止ポインタを探し、見つからない場合にそれらの場所の絞り込みを行い、それでも場所が特定できない場合に移動ポインタを探す、という手順でポインタ位置を絞り込んでゆく。これは実際の動画では、レーザーポインタが完全に静止していることは比較的まれ（静止しているように見えても、実際には微妙な手ぶれなどが存在する）であることと、ステップＳ３０３やステップＳ３０５よりもステップＳ３０７の手法のほうが漏れが少ないことから、例外的なものを先に取り出して最後に網羅的にポインタを検出するものである。
【０１０２】
もっとも、この順序は必ずしも上記に限定されるものではない。本出願人が行った実験によれば、ステップＳ３０３やステップＳ３０５の手法は精度があまり良くなく、ポインタを見つけられないならまだしも、誤った場所をポインタと判断してしまう例があった。この場合、検出ミスが訂正されないままスライド上の対応位置が求められてしまい（ステップＳ３０４：ＹｅｓあるいはステップＳ３０６：Ｙｅｓ）、本発明による自動処理の信頼性を低下させる原因となっていた。
【０１０３】
そこで以下で説明する実施の形態２のように、たとえばまずステップＳ３０７の手法を適用し、それでポインタが見つからなかった場合に、ステップＳ３０３やステップＳ３０５の手法を補足的に適用するようにしてもよい。
【０１０４】
実施の形態２にかかるポインタ位置特定装置のハードウエア構成、およびその機能的構成は、図１および図２に示した実施の形態１のそれと同一であるので説明を省略する。
【０１０５】
図１８は、実施の形態２にかかるポインタ位置特定装置における、ポインタ位置特定処理の手順の概略を示すフローチャートである。図３に示した実施の形態１のそれとの差異は、３つのポインタ検出手法の適用順序のみにある。すなわち、図３で静止ポインタ特定（ステップＳ３０３）、ポインタ候補領域絞り込み（ステップＳ３０５）、移動ポインタ特定（ステップＳ３０７）となっていた順序が、図１８では移動ポインタ特定（ステップＳ１８０３）、静止ポインタ特定（ステップＳ１８０５）、ポインタ候補領域絞り込み（ステップＳ１８０７）の順序となっている。
【０１０６】
そしてこれら３つの手法の詳細は、図１０、図１２および図１３に示した実施の形態１のそれと同一でもよいが、ここでは移動ポインタの特定処理（ステップＳ１８０３）のみを図１９のような手順に差し替える。図示する手順は、図１３に示した実施の形態１における移動ポインタ特定処理を、下記４点において改良したものである。以下、図１３との差異を中心に説明する。
【０１０７】
（１）使用する参照画像の範囲（ステップＳ１９０３）：
基準画像から８フレーム前、４フレーム前、１フレーム前、１フレーム後、４フレーム後、８フレーム前の計６フレームを参照画像として使用する。基準画像の周辺から参照画像を複数、しかもフレーム間隔を異ならせて取り出すことで、ポインタの様々な移動速度に対応することができる。
【０１０８】
（２）プラス側・マイナス側２値画像作成時の２値化の閾値（ステップＳ１９０５）：
明るい背景のところでも差分画像からポインタを抽出できるよう、ステップＳ１９０４で作成した差分画像に適用する２値化閾値を画素ごとに変化させる。具体的には、基準画像における対応する画素値＞１９６なら２値化閾値を４０、それ以外なら５８としてプラス側２値画像を作成する。同様に、基準画像における対応する画素値＞１９６なら２値化閾値を−４０、それ以外なら−５８としてマイナス側２値画像を作成する。
【０１０９】
（３）プラス側・マイナス側のポインタ候補領域間の距離の閾値（ステップＳ１９１１）：
プラス側２値画像・マイナス側２値画像で一つずつ残ったポインタ候補領域間の中心点間距離の判定において、注目中の参照画像が基準画像の直前または直後のフレームであるときは上述の閾値を２５、基準画像の４フレーム前または４フレーム後であるときは３５、８フレーム前または８フレーム後であるときは４５とする。これは基準画像から遠い参照画像を用いるときは、両フレーム間でのポインタの移動距離がその分伸びることがあるので、ポインタと判断する閾値を近い参照画像に比べて緩和してやる必要があるためである。
【０１１０】
（４）領域間の距離のほか輝度についての条件を追加（ステップＳ１９１２）：
プラス側２値画像・マイナス側２値画像で一つずつ残ったポインタ候補領域をポインタ領域と判定するにあたって、上述の中心点間の距離のほか、輝度変化の制限を追加する。残った候補領域がいずれも正しければ、参照画像・基準画像の対応する領域には同一のポインタの映像があるはずで、輝度の差はあまり大きくないと考えられる。そこで、まず参照画像（のＲ画像）中で、プラス側２値画像で残ったポインタ候補領域に対応する領域を求め、この内部の画素の最大値（最大輝度）を求める。
【０１１１】
つぎに基準画像（のＲ画像）中で、マイナス側２値画像で残ったポインタ候補領域に対応する領域を求め、この内部の画素の最大値（最大輝度）を求める。そして、これらの最大輝度値の差の絶対値が閾値以下（たとえば２５以下）であることを条件に、マイナス側２値画像中のポインタ候補領域の中心点をポインタ座標とする（ステップＳ１９１２：Ｙｅｓ、ステップＳ１９１３）。
【０１１２】
以上説明した実施の形態１および２によれば、講義風景などを撮影した動画像中から、講師がどのスライドのどの箇所を指し示しているかまで高精度に特定できるので、動画再生とスライドの拡大表示を同期させるコンテンツを短期間かつ低予算で作成することができる。しかも、その実現に特殊なハードウエアを必要としないほか、キャリブレーションの後はカメラを移動させてはならないなどの制限もない。
【０１１３】
なお、１１種のビデオ中の５１６フレームについて、本出願人が行った実験では、実施の形態１によるフレーム上のポインタ座標の特定処理は、正解率９７．９％であった。また実施の形態２による、改良された移動ポインタ特定処理の正解率は９９．６％であった。
【０１１４】
なお、上述した実施の形態１および２では３種類のポインタ検出手法を組み合わせているが、上述のようにこの順序は任意であり、またこれら３つの手法を必ず併用しなければならないものでもない。
【０１１５】
また、上述した実施の形態１および２では、レーザーポインタは赤色であることを当然の前提としているが、たとえば仮に緑色のレーザーポインタが使用された場合でも、ポインタ赤色定義に相当するポインタ緑色定義を用意し、Ｒ画像の代わりにＧ画像を処理対象とする（図１０ステップＳ１００２、図１３ステップＳ１３０２、図１９ステップＳ１９０２）など、若干の修正を施すだけで、本発明を容易に適用することができる。また、ポインタの光源が必ずしもレーザーである必要もない。
【０１１６】
なお、上述した実施の形態１および２では、同定されたフレームとスライドとの各文字の対応関係を、文字コードのほか他の文字との位置関係を勘案して最終的に一意に決定したが、上記以外の手法を採用することも可能である。たとえば単純に文字コードで、フレーム内の１文字とスライド内の１文字からなるペアを作成した後、射影変換のパラメータを求めてフレームをスライド上に射影し、重なり合う文字を１対１に対応づけるようなことが考えられる。
【０１１７】
図２０は射影変換による文字の対応づけの手順を示すフローチャートである。図１６のステップＳ１６０８でフレームとスライドの対応づけを終えた後、上述のステップＳ１６０９〜Ｓ１６１２に代えて実行されるものである。まず、同定情報作成部２０７は文字情報記憶部２０６内の文字情報を参照して、文字コードが同一のフレーム文字−スライド文字のペアを作成し（ステップＳ２００１）、その中から一つを選択する（ステップＳ２００２）。
【０１１８】
ここで、図２１に模式的に示すような射影変換において、Ａ−Ｂ−Ｃ−Ｄが上記ペア中のフレーム文字の外接矩形、Ａ’−Ｂ’−Ｃ’−Ｄ’がスライド文字の外接矩形であるとすると、フレーム上の一点（ｘ，ｙ）に対応するスライド上の一点（ｕ，ｖ）は下記式により表現される。
【０１１９】
ｕ＝（ａｘ＋ｂｙ＋ｃ）／（ｇｘ＋ｈｙ＋１）
ｖ＝（ｄｘ＋ｅｘ＋ｆ）／（ｇｘ＋ｈｙ＋１）
【０１２０】
ａ〜ｈのパラメータは、上記各矩形の４頂点同士が対応することから、各頂点の座標を代入した連立方程式を解くことで求められる（ステップＳ２００３）。そしてこの値を８次元のパラメータ空間にプロットし（ステップＳ２００４）、未処理のペアがある限りパラメータの算出とパラメータ空間へのプロットを繰り返して（ステップＳ２００５：Ｎｏ、ステップＳ２００２〜Ｓ２００４）、文字コードが同一のすべてのペアについて上記処理を終えた時点で（ステップＳ２００５：Ｙｅｓ）、上記空間上で最も頻度の高い点を、正しい射影変換のパラメータとして決定する（ステップＳ２００６）。
【０１２１】
その後、上記パラメータを用いてフレーム内の各文字をスライド上に射影し（ステップＳ２００７）、一定条件下で重なり合うフレーム文字とスライド文字とが対応すると判断して、その対応関係を同定情報記憶部２０８に保存する（ステップＳ２００８）。なお、上述のようにフレーム文字の文字コードは文字認識により特定されたものであって、誤認識もありうるため、認識結果の信頼度が一定値以下の場合は重なり合う文字でも対応づけないなどの調整を行ってもよい。
【０１２２】
なお、実施の形態１および２で説明したポインタ位置特定方法は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク１０５、フレキシブルディスク１０７、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネット等のネットワークを介して配布することが可能な伝送媒体であってもよい。
【０１２３】
（付記１）スライドおよび前記スライド上のポインタの撮影画像から前記ポインタの前記スライド上での座標を特定するポインタ位置特定プログラムにおいて、
第１の撮影画像と第２の撮影画像の差分画像を作成する差分画像作成工程と、
前記差分画像作成工程で作成された差分画像から２種類の２値画像を作成する２値画像作成工程と、
前記２値画像作成工程で作成された各２値画像中の前記ポインタが位置する可能性のある領域を特定するポインタ候補領域特定工程と、
前記ポインタ候補領域特定工程で特定された領域を統合して得られた領域が前記２値画像作成工程で作成された各２値画像中でそれぞれ１個であり、かつ当該領域間の距離が閾値以下である場合に、当該領域のいずれか一方の中心点に対応する前記スライド上の点の座標を特定するポインタ位置特定工程と、
をコンピュータに実行させることを特徴とするポインタ位置特定プログラム。
【０１２４】
（付記２）前記２値画像作成工程では、前記差分画像作成工程で作成された差分画像をプラスの閾値およびマイナスの閾値により２値化することでプラス側２値画像およびマイナス側２値画像の２種類の２値画像を作成することを特徴とする付記１に記載のポインタ位置特定プログラム。
【０１２５】
（付記３）前記２値画像作成工程では、前記差分画像作成工程で作成された差分画像の画素ごとに当該画素に対応する前記第１の撮影画像中の画素の値に応じて変化する閾値を用いて前記差分画像を２値化することを特徴とする付記２に記載のポインタ位置特定プログラム。
【０１２６】
（付記４）前記ポインタ位置特定工程では、前記ポインタ候補領域特定工程で特定された領域を統合して得られた領域が前記２値画像作成工程で作成された各２値画像中でそれぞれ１個であり、かつ当該領域間の距離が閾値以下であって、さらに当該領域に対応する前記第１の撮影画像中の領域と前記第２の撮影画像中の領域との間の輝度の差が閾値以下である場合に、当該領域のいずれか一方の中心点に対応する前記スライド上の点の座標を特定することを特徴とする付記１〜３のいずれか一つに記載のポインタ位置特定プログラム。
【０１２７】
（付記５）スライドおよび前記スライド上のポインタの撮影画像から前記ポインタの前記スライド上での座標を特定するポインタ位置特定プログラムにおいて、
前記撮影画像中の前記ポインタが位置する可能性のある領域を特定するポインタ候補領域特定工程と、
前記ポインタ候補領域特定工程で特定された領域の中心点から所定範囲内に静止中の前記ポインタに特徴的な輝度分布があるかどうかを判定する静止ポインタ特性判定工程と、
前記静止ポインタ特性判定工程で前記所定範囲内に前記輝度分布があると判定された場合に、前記中心点に対応する前記スライド上の点の座標を特定するポインタ位置特定工程と、
をコンピュータに実行させることを特徴とするポインタ位置特定プログラム。
【０１２８】
（付記６）前記静止ポインタ特定判定工程では、前記中心点から複数の方向について前記輝度分布があるかどうかを判定するとともに、前記複数の方向のうち一部の方向で前記輝度分布があると判定した場合に、前記所定範囲内に前記輝度分布があると判定することを特徴とする付記５に記載のポインタ位置特定プログラム。
【０１２９】
（付記７）スライドおよび前記スライド上のポインタの撮影画像から前記ポインタの前記スライド上での座標を特定するポインタ位置特定プログラムにおいて、
前記撮影画像中の前記ポインタが位置する可能性のある領域を特定するポインタ候補領域特定工程と、
前記撮影画像中の特定の色の領域を特定する特定色領域特定工程と、
前記ポインタ候補領域特定工程で特定された領域のうち前記特定色領域特定工程で特定された領域との位置関係から前記ポインタが位置する可能性の高い領域を絞り込む領域絞り込み工程と、
前記領域絞り込み工程で絞り込まれた領域を統合して得られた領域のうち面積が最大であるものの中心点に対応する前記スライド上の点の座標を特定するポインタ位置特定工程と、
をコンピュータに実行させることを特徴とするポインタ位置特定プログラム。
【０１３０】
（付記８）前記ポインタ候補領域特定工程では、その近傍に特定の色の画素が存在する画素の集中する領域を前記ポインタが位置する可能性のある領域として特定することを特徴とする付記５〜７のいずれか一つに記載のポインタ位置特定プログラム。
【０１３１】
（付記９）前記特定の色とは、前記ポインタの色に類似する色であることを特徴とする付記７または付記８に記載のポインタ位置特定プログラム。
【０１３２】
（付記１０）前記ポインタ位置特定工程では、前記中心点に対応する前記スライド上の点の座標を前記第１の撮影画像中の複数の文字に対する当該中心点の位置関係にもとづいて特定することを特徴とする付記１〜９のいずれか一つに記載のポインタ位置特定プログラム。
【０１３３】
（付記１１）さらに、前記撮影画像中の各文字と前記スライド中の各文字とを対応づける第１の文字対応づけ工程と、
前記第１の文字対応づけ工程で、前記撮影画像中の各文字と前記スライド中の各文字とが１対１に対応づけられなかった場合に、一つの文字に対応づけられている複数の文字のスコアを算出するスコア算出工程と、
前記複数の文字のうち前記スコア算出工程で算出されたスコアが最大となったものだけを前記一つの文字に対応づける第２の文字対応づけ工程と、
をコンピュータに実行させることを特徴とする付記１〜１０のいずれか一つに記載のポインタ位置特定プログラム。
【０１３４】
（付記１２）前記スコア算出工程では、前記第１の文字対応づけ工程で前記一つの文字の周辺に位置する文字と対応づけられた文字との位置関係にもとづいて前記複数の文字のスコアを算出することを特徴とする付記１１に記載のポインタ位置特定プログラム。
【０１３５】
（付記１３）スライドおよび前記スライド上のポインタの撮影画像から前記ポインタの前記スライド上での座標を特定するポインタ位置特定方法において、
第１の撮影画像と第２の撮影画像の差分画像を作成する差分画像作成工程と、
前記差分画像作成工程で作成された差分画像から２種類の２値画像を作成する２値画像作成工程と、
前記２値画像作成工程で作成された各２値画像中の前記ポインタが位置する可能性のある領域を特定するポインタ候補領域特定工程と、
前記ポインタ候補領域特定工程で特定された領域を統合して得られた領域が前記２値画像作成工程で作成された各２値画像中でそれぞれ１個であり、かつ当該領域間の距離が閾値以下である場合に、当該領域のいずれか一方の中心点に対応する前記スライド上の点の座標を特定するポインタ位置特定工程と、
を含むことを特徴とするポインタ位置特定方法。
【０１３６】
（付記１４）前記２値画像作成工程では、前記差分画像作成工程で作成された差分画像をプラスの閾値およびマイナスの閾値により２値化することでプラス側２値画像およびマイナス側２値画像の２種類の２値画像を作成することを特徴とする付記１３に記載のポインタ位置特定方法。
【０１３７】
（付記１５）前記ポインタ位置特定工程では、前記中心点に対応する前記スライド上の点の座標を前記第１の撮影画像中の複数の文字に対する当該中心点の位置関係にもとづいて特定することを特徴とする付記１３〜１４のいずれか一つに記載のポインタ位置特定方法。
【０１３８】
（付記１６）さらに、前記撮影画像中の各文字と前記スライド中の各文字とを対応づける第１の文字対応づけ工程と、
前記第１の文字対応づけ工程で、前記撮影画像中の各文字と前記スライド中の各文字とが１対１に対応づけられなかった場合に、一つの文字に対応づけられている複数の文字のスコアを算出するスコア算出工程と、
前記複数の文字のうち前記スコア算出工程で算出されたスコアが最大となったものだけを前記一つの文字に対応づける第２の文字対応づけ工程と、
を含むことを特徴とする付記１３〜１５のいずれか一つに記載のポインタ位置特定方法。
【０１３９】
（付記１７）スライドおよび前記スライド上のポインタの撮影画像から前記ポインタの前記スライド上での座標を特定するポインタ位置特定装置において、
第１の撮影画像と第２の撮影画像の差分画像を作成する差分画像作成手段と、
前記差分画像作成手段により作成された差分画像から２種類の２値画像を作成する２値画像作成手段と、
前記２値画像作成手段により作成された各２値画像中の前記ポインタが位置する可能性のある領域を特定するポインタ候補領域特定手段と、
前記ポインタ候補領域特定手段により特定された領域を統合して得られた領域が前記２値画像作成手段により作成された各２値画像中でそれぞれ１個であり、かつ当該領域間の距離が閾値以下である場合に、当該領域のいずれか一方の中心点に対応する前記スライド上の点の座標を特定するポインタ位置特定手段と、
を備えることを特徴とするポインタ位置特定装置。
【０１４０】
（付記１８）前記ポインタ位置特定手段は、前記中心点に対応する前記スライド上の点の座標を前記第１の撮影画像中の複数の文字に対する当該中心点の位置関係にもとづいて特定することを特徴とする付記１７に記載のポインタ位置特定装置。
【産業上の利用可能性】
【０１４１】
以上のように、本発明にかかるポインタ位置特定プログラムおよびポインタ位置特定方法は、スライドおよびスライド上のレーザーポインタが撮影された動画像から、当該スライド上におけるポインタの座標を高精度に特定する用途に有用であり、特に今後普及が見込まれる遠隔地教育用のコンテンツを短期間かつ低予算で作成する用途に適している。
【図面の簡単な説明】
【０１４２】
【図１】実施の形態１にかかるポインタ位置特定装置のハードウエア構成の一例を示す説明図である。
【図２】実施の形態１にかかるポインタ位置特定装置の機能的構成を示す説明図である。
【図３】実施の形態１にかかるポインタ位置特定装置における、ポインタ位置特定処理の手順の概略を示すフローチャートである。
【図４】ポインタ候補領域特定部２０１に保持されるポインタ赤色定義を模式的に示す説明図である。
【図５】図４のポインタ赤色定義の作成手順を示すフローチャートである。
【図６】ポインタ候補領域特定部２０１によるポインタ候補領域特定処理（図３のステップＳ３０２）の手順を示すフローチャートである。
【図７】図６のステップＳ６０２で作成される２値画像の一例を示す説明図である。
【図８】図６のステップＳ６０３で作成されるカウント画像の一例を示す説明図である。
【図９】静止中のレーザーポインタ周辺における、画素の輝度の標準的な分布（静止ポインタ特性）を示す説明図である。
【図１０】静止ポインタ特定部２０２による静止ポインタ特定処理（図３のステップＳ３０３）の手順を示すフローチャートである。
【図１１】静止ポインタ特性の探索方向の具体例を示す説明図である。
【図１２】ポインタ候補領域絞り込み部２０３によるポインタ候補領域の絞り込み処理（図３のステップＳ３０５）の手順を示すフローチャートである。
【図１３】移動ポインタ特定部２０４による移動ポインタ特定処理（図３のステップＳ３０７）の手順を示すフローチャートである。
【図１４】図１３のステップＳ１３１１におけるポインタ候補領域間の距離判定の様子を示す説明図である。
【図１５】図３のステップＳ３０９におけるポインタ位置の特定の様子を示す説明図である。
【図１６】同定情報作成部２０７による同定情報作成処理の手順を示すフローチャートである。
【図１７】文字同士が１対１に対応づけられていない場合の具体例を示す説明図である。
【図１８】実施の形態２にかかるポインタ位置特定装置における、ポインタ位置特定処理の手順の概略を示すフローチャートである。
【図１９】実施の形態２にかかる移動ポインタ特定部２０４による、移動ポインタ特定処理（図１８のステップＳ１８０３）の手順を示すフローチャートである。
【図２０】射影変換による文字の対応づけの手順を示すフローチャートである。
【図２１】射影変換の原理を模式的に示す説明図である。
【符号の説明】
【０１４３】
１００  バス
１０１  ＣＰＵ
１０２  ＲＯＭ
１０３  ＲＡＭ
１０４  ＨＤＤ
１０５  ＨＤ
１０６  ＦＤＤ
１０７  ＦＤ
１０８  ディスプレイ
１０９  ネットワークＩ／Ｆ
１１０  キーボード
１１１  マウス
２００  フレーム画像入力部
２０１  ポインタ候補領域特定部
２０２  静止ポインタ特定部
２０３  ポインタ候補領域絞り込み部
２０４  移動ポインタ特定部
２０５  ポインタ位置特定部
２０６  文字情報記憶部
２０７  同定情報作成部
２０８  同定情報記憶部
【図１】
2005227815.tif 000003
【図２】
2005227815.tif 000004
【図３】
2005227815.tif 000005
【図４】
2005227815.tif 000006
【図５】
2005227815.tif 000007
【図６】
2005227815.tif 000008
【図７】
2005227815.tif 000009
【図８】
2005227815.tif 000010
【図９】
2005227815.tif 000011
【図１０】
2005227815.tif 000012
【図１１】
2005227815.tif 000013
【図１２】
2005227815.tif 000014
【図１３】
2005227815.tif 000015
【図１４】
2005227815.tif 000016
【図１５】
2005227815.tif 000017
【図１６】
2005227815.tif 000018
【図１７】
2005227815.tif 000019
【図１８】
2005227815.tif 000020
【図１９】
2005227815.tif 000021
【図２０】
2005227815.tif 000022
【図２１】
2005227815.tif 000023