(57)【特許請求の範囲】
【請求項１】
動画を形成し、インターレース方式で画素のラインが走査される複数のフレームに対して、前記フレーム間の差分であるフレーム差分画像を形成する手段と、
前記フレーム差分画像中で１ラインごとに画像の存在する画素と存在しない画素とが交互に存在する、そのような１ラインおきパターンを、所定のビットパターンを配置したフィルタと一致する、前記フレーム差分画像中の画像パターンを求めることで抽出する手段と、
前記１ラインおきパターンが所定の基準に該当する移動体パターンであるか否かを判定する判定手段とを備える情報処理装置。
【請求項２】
前記抽出する手段は、前記１ラインおきパターンを、前記フレーム差分画像中の画像パターンが、前記ビットパターンを配置したフィルタと一致した場合に、前記ビットパターンを全画素が０の値をもつ画像に重ね書きすることで抽出する請求項１に記載の情報処理装置。
【請求項３】
コンピュータが、動画を形成し、インターレース方式で画素のラインが走査される複数のフレームに対して、前記フレーム間の差分であるフレーム差分画像を形成するステップと、
前記フレーム差分画像中で１ラインごとに画像の存在する画素と存在しない画素とが交互に存在する、そのような１ラインおきパターンを、所定のビットパターンを配置したフィルタと一致する、前記フレーム差分画像中の画像パターンを求めることで抽出するステップと、
前記１ラインおきパターンが所定の基準に該当する移動体パターンであるか否かを判定する判定ステップとを実行する情報処理方法。
【請求項４】
コンピュータに、動画を形成し、インターレース方式で画素のラインが走査される複数のフレームに対して、前記フレーム間の差分であるフレーム差分画像を形成するステップと、
前記フレーム差分画像中で１ラインごとに画像の存在する画素と存在しない画素とが交互に存在する、そのような１ラインおきパターンを、所定のビットパターンを配置したフ
ィルタと一致する、前記フレーム差分画像中の画像パターンを求めることで抽出するステップと、
前記１ラインおきパターンが所定の基準に該当する移動体パターンであるか否かを判定する判定ステップとを実行させるコンピュータ実行可能なプログラム。
【請求項５】
前記抽出するステップは、前記１ラインおきパターンを、前記フレーム差分画像中の画像パターンが、前記ビットパターンを配置したフィルタと一致した場合に、前記ビットパターンを全画素が０の値をもつ画像に重ね書きすることで抽出する請求項４に記載のコンピュータ実行可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プレゼンテーション用のコンテンツを作成するときに必要な画像処理技術に関する。
【背景技術】
【０００２】
企業内教育、あるいは、一般の教育分野では、ｅ−ｌｅａｒｎｉｎｇ、すなわち、コンピュータネットワークなどを利用した教育が導入されつつある。ｅ−ｌｅａｒｎｉｎｇは、インターネットを使った遠隔地教育として実施される場合が多く、ウェブ画面を使って行われることも多い。様々なｅ−ｌｅａｒｎｉｎｇの形態の中で通常の教育の場での講義を最もよく再現するものとして、講義の動画像の再生と、それに同期したＯＨＰの拡大表示とを含むコンテンツがある。
【０００３】
このようなコンテンツを使うことで、受講者は、講師が指し示すＯＨＰの部分がＯＨＰシート全体のどこであるかを判明でき、さらにそのＯＨＰの拡大表示を見ることによって、ＯＨＰの内容が分かることになる。つまり従来のコンピュータディスプレイ画面上の制約から課題であった、講師が示したＯＨＰ内の場所の明示とその場所に記述された内容の詳細表示が同時に可能になる。その結果、実際に講義を受講しているのとほぼ同じ環境が提供されることになる。
【０００４】
しかし、このシステムを実現するためには、講師がＯＨＰの内容を説明する場面を録画した動画像の表示と、そこに映し出されているＯＨＰの詳細表示とにおいて、時間的に同期がとられている必要である。このようなコンテンツを動画−ＯＨＰ同期型のｅ−ｌｅａｒｎｉｎｇコンテンツと呼ぶ。
【０００５】
現在のｅ−ｌｅａｒｎｉｎｇのコンテンツ作成用のオーサリングシステムでは、この動画とＯＨＰとが同期する部分の作成を手動で行っていたため、コンテンツ作成には膨大な時間を必要としている。この問題の解決を図るため本発明者らは、「動画像元文書対応付け方式」と呼ぶ技術を提案し、動画と元文書の対応付けの自動化を行った（下記特許文献１３参照）。
【０００６】
ところで、実際の講義では、講師は、ＯＨＰの内容を順番に説明していく。つまり、音声による話の内容にしたがって、ＯＨＰ上の注目されるべき箇所が移動していく。しかし、従来の動画−ＯＨＰ同期型のｅ−ｌｅａｒｎｉｎｇコンテンツでは、動画内のＯＨＰの切り替わりだけを検出して、対応するＯＨＰ表示を切り替えているにすぎなかった。このため、人手の介在なく１つのＯＨＰの中で、講師が説明している箇所を注目させることができなかった。
【０００７】
一方、手動でコンテンツを作る場合には、講師の話の内容を聞きながら１つのＯＨＰの中でどこを話しているかを理解して、その部分をハイライト表示させるようなコンテンツを作成することも可能である。しかし、この作業は動画再生時間の数倍の作業時間と、その間の注意力を集中した持続的な作業が必要で、コンテンツ開発コストは膨大になっていた。
【０００８】
この点を解決するために本発明者は、ビデオフレームからのレーザポインタ位置の抽出と、抽出されたレーザポインタのスライド上の位置への座標変換を行う技術を開発した。
【０００９】
しかし、この技術は背景色の影響を受けたりある背景色上にポインタがある場合、ある
いは、講師が移動した場合に、講師の一部をポインタとして誤抽出する問題点があった。以下、このような本発明者の提案した技術を含む、レーザポインタを使用した従来の関連特許文献に示された技術の概要とそれぞれの技術の課題を説明する。
（１）特許文献１
特許文献１の技術では、センサがスクリーンの背後にあり、レーザポインタの光を直接感知する。センサ内部の受光器内の座標をスクリーン座標に変換して、出力する。
【００１０】
この技術の課題は、スクリーン大かそれ以上の特殊なセンサが必要となることである。また、スクリーン背後のセンサという配置も特殊な構成であり、一般に普及させることは困難であると考えられる。
（２）特許文献２
特許文献２の技術では、レーザの色および形状に合致する部分の座標が検出されるとされている。しかし、特許文献２には、具体的な実現方法の記述がない。
（３）特許文献３
特許文献３は、レーザポインタを使用し、レーザ光の点滅とビデオフレームとを同期させて映像投影領域とポインティング位置を獲得する技術を提案している。しかし、この技術では、ビデオフレームに同期させて点滅をさせる特殊なレーザポインタと、レーザポインタの点滅同期とビデオ映像とを同時にキャプチャする特殊な装置が必要である。
（４）特許文献４
特許文献４は、レーザポインタを使用し、投影画像と撮影画像が全く同じ大きさになる装置を使って、投影画像と撮影画像の差分によりポインティング位置を獲得する方法を提案している。しかし、この技術では、ビデオ投影と撮影とを同時に行う一体型の特殊な装置が必要となる。
（５）特許文献５
特許文献５は、レーザポインタを使用し、投影画像と撮影画像が全く同じ大きさになる装置を使って、スクリーン上のポインティングマーカの座標を特定波長光、特定周期明滅、特定偏光、または投影映像と撮像映像の差分画像により獲得する方法を提案する。しかし、この技術では、投影画像と撮影画像が全く同じ大きさになる装置が必要となる。
（６）特許文献６
特許文献６は、レーザポインタを使用し、スクリーン上の基準マーカとポインティングマーカを赤外線ポインタで表示して、赤外線フィルタを通してその位置を獲得して、ポインティングマーカの座標を獲得する方法を提案している。しかし、この技術では、スクリーン上に赤外線で照射した基準マーカとポインティングマーカが必要で、このために特殊なレーザポインタ、投影装置が必要となる。
（７）特許文献７  
特許文献７は、投写された映像よりも高い輝度のポインタを使用して、フレーム中の最も明るい点をポインタして検出とする。しかし、背景黒で部分的に白部分があるスライドではカメラの自動露出機構の影響でフレーム画像内の最も明るい部分が必ずしもポインタでない場合がある。また、ポインタが動いている場合には明るさが変化して、誤検出となるおそれがある。
（８）特許文献８
特許文献８は、低解像度画像上の輝度のしきい値処理でポインタ位置を推定することを提案する。課題は、特許文献７と同様である。
（９）特許文献９
特許文献９は、スライド上に基準マーク（『』のようなもの）を表示し、基準マークを基にスライド画像と撮影画像とを重ね合わせて差分をとり、ポインタを検出することを提案する。しかし、この技術では、基準マークを必ず表示する必要があり、表現が限定され、手間がかかる。
（１０）特許文献１０
特許文献１０の技術では、光学的に表示画像と撮影画像が獲得される。両者の画像サイ
ズ、位置は完全に一致しているので、両者の差分をとることでポインタが検出される。しかし、この技術では、光学的に表示画像と撮影画像を獲得する特殊な装置（光源からの光を受け画像を出力する表示素子とスクリーン上の撮像を取り込む撮像素子）が必要となる。
（１１）特許文献１１
特許文献１１の技術では、波長のフィルタを通したレーザポインタの画像によりポインタが検出される。すなわち、この技術では、赤外線でグリッドが表示され、そのグリッド上の位置からスライド上の位置が求められる。しかし、この技術では、特殊なプロジェクタ、撮影環境が必要となる。
（１２）特許文献１２
特許文献１２の技術では、フレーム画像中から赤画像で中心輝度が高く、中心から離れるにしたがって一旦輝度が低くなった後、さらにその外側の画素で輝度が高くなるという特性のパターンが静止ポインタとして抽出される。移動しているポインタについては、フレーム間差分画像に対する適応的しきい値により移動ポインタ候補が求められる。そして、移動前後のポインタ領域の輝度情報を使用して正しいポインタが抽出される。
【００１１】
しかし、この技術では、人（例えば、講師）がカメラフレームに入り、動いている場合に、手や顔などをポインタとして誤抽出する場合がある。
【００１２】
この手法の中の、フレームからのレーザポインタ抽出技術を使って、講師がフレームの中に入らない画像、すなわち、スクリーンだけがフレーム内に映っている実験用評価データ（画像）で評価した結果が図１１の表１に示されている。この実験結果では、図１１のように、
ポインタ検出正解率：２５５／２５６＝９９．６％；
ポインタ抽出正解率：（２５５＋２５９）／５１６＝９９．６％；と高い正解率が得られた。
しかし、この手法を講師がフレームの中に映るような画像、すなわち、実際の講義ビデオに近い画像で評価すると図１２の表２のような結果となった。すなわち、図１１の評価と比較して３から１３パーセント程度正解率が低下した。
【００１３】
この結果のエラーを分析してみたところ、フレーム内に映っている人が動いている部分の誤抽出がほとんどのエラー原因であった。
（１３）非特許文献１
レーザポインタ抽出に関する論文として、非特許文献１がある。この技術は、自己キャリブレーションするレーザポインタ抽出機能と、レーザポインタでスライドを操作するシステムとを提案する。
【００１４】
非特許文献１において、レーザポインタ抽出方法は、以下の通りである。
・暗い環境での撮影を前提としている。
・赤画像内で適当なしきい値により高輝度領域がポインタとして求められる。
・この手法でポインタ位置が決まらない場合は、既知の形を探すテンプレートマッチング、あるいは、前のフレーム画像との差分画像による抽出が実行される。
・現在のフレーム画像はｒｅｆｅｒｅｎｃｅ画像と比較され、ポインタが抽出される。実際にはｒｅｆｅｒｅｎｃｅ画像の作成、更新は簡単ではない。特にスライドが変わったとき、講演者がフレームに入ってきたときなどに困難が生じる。
・このシステムではユーザが新しいスライドに変更したときにｒｅｆｅｒｅｎｃｅ画像を生成し、適当な時間間隔でサンプリングしたフレーム画像に重みを付けて加重平均することで常にｒｅｆｅｒｅｎｃｅ画像を更新する。
・このシステムでは連続複数フレームからのポインタ抽出結果の投票によって高精度化を図っている。
（１４）非特許文献２および３
これらの文献は、レーザポインタでスライドを操作するシステムを開示している。このシステムでのレーザポインタ抽出方法は以下の通りである。
・ＹＵＶ信号の中のＶ画像＝明度画像を使用する。その理由は、明度画像が赤色に最も敏感であるためである。
・ポインタ抽出は、動き検出、パターン認識、サブピクセル化推定、の各工程で構成される。
・動き検出は、以下の手順を含む。すなわち、ｒｅｆｅｒｅｎｃｅ画像が、フレーム画像の直前の適当な枚数のフレーム画像の平均値として求められる。ｒｅｆｅｒｅｎｃｅ画像とフレーム画像との差分をとり、差分画像で、一定しきい値より大きな画素値の画素がポインタ候補として求められる。
・動き検出で抽出した画素を中心として、テンプレートマッチングで最もよく照合するパターンがポインタ候補として抽出される。テンプレート画像は６×６画素の濃淡画像で、中央の２×２画素が最も輝度が高く、周囲に行くにしたがって輝度が下がるパターンである。
（１５）非特許文献４
非特許文献４は、レーザポインタでスライドを操作するシステムを開示する。このシステムでのレーザポインタ抽出方法は以下の通りである。
・フレーム画像の赤画像だけを対象とする（ポインタ中心はｓａｔｕｒａｔｉｏｎのために白となる）。
・カレントフレーム画像とこのフレームの直前の１０フレームの平均画像の差分画像を作る。
・差分画像の中で最も輝度が高い画素をカレントフレーム画像のポインタ位置とする。
・レーザポインタがあるときは、その位置の画素の輝度が最も高くなる。
・レーザポインタがない場合は、最高輝度の画素は任意の位置となってしまう。
・ポインタの有無を区別するために、下の２つの条件を満足したときにポインタがあるとみなす。
条件１：差分画像中の最高輝度値−直近の１０枚の差分画像中の最高輝度値の平均値  ≧しきい値；
条件２：カレントフレーム画像のポインタ位置と前フレーム画像のポインタ位置の差が２０画素以下である；
（１６）非特許文献５
非特許文献５は、レーザポインタでスライドを操作するシステムを開示する。このシステムにおいて、レーザポインタ抽出方法は以下の通りである。
・最も明るい赤いスポットを探し、見つかればそれをポインタ領域とする。見つからなければコンボリューションフィルタを使って探す。しかし、この処理には長時間を要する。・スピードアップと精度向上のために、まず１つ前の処理結果の位置付近でポインタが探索され、見つからないときに、フレーム画像全体からポインタが探索される。
（１７）非特許文献６
非特許文献６は、レーザポインタでスライドを操作するシステムを開示する。このシステムにおいて、レーザポインタ抽出方法は以下の通りである。
・赤画像で輝度がしきい値より高い領域をポインタ候補として求める。
・候補の中で前フレームとの差分処理で動きがある候補を残す。
・候補の中で、サイズが適当な領域を最終的なポインタとして抽出する。
【特許文献１】特開平７−２６１９１９号公報
【特許文献２】特開平７−２７１５０７号公報
【特許文献３】特開平８−３３１６６７号公報
【特許文献４】特開平９−６２４４４号公報
【特許文献５】特開平９−８０３７２号公報
【特許文献６】特開平１１−８５３９５号公報
【特許文献７】特開平１１−５０９６６０号公報
【特許文献８】特開２００１−１２５７３８号公報
【特許文献９】特開２００２−２２９７３５号公報
【特許文献１０】特開２００３−７６４９４号公報
【特許文献１１】特開２００３−２３４９８３号公報
【特許文献１２】特開２００５−２２７８１５号公報
【特許文献１３】特開２００３−２８１５４２号公報
【非特許文献１】アール．スクサンカ他著（R. Sukthankar, R.G. Stockton, M. D. Mullin(Just Research, Pittsburgh, USA)）、セルフキャリブレーションカメラアサインド  プリゼンテーション  インターフェース（Self-Calibrating Camera-Assisted Presentation Interface）、（米国）、International Conference on Control, Automation, Robotics and Vision(ICARCV),2000
【非特許文献２】シー．キルスタイン他著（C. Kirstein, H. Muller(Univ. of Dortnumd)）インターラクション  ウイズ  プロジェクション  スクリーン  ユージング  ア  カメラ  トラックト  レーザ  ポインタ（Interaction with a Projection Screen Using a Camera-Tracked Laser Pointer）、（米国）、Proceedings of The International Conference on Multimedia Modeling (MMM'98), IEEE Computer Society Press, 1998
【非特許文献３】ア  システム  フォア  ヒューマン  コンピュータ  インターラクション  ウイズ  ア  プロジェクション  スクリーン  ユージング  ア  カメラ  トラックト  レーザ  ポインタ（A System for Human-Computer Interaction with a Projection Screen Using a Camera-Tarcked Laser Pointer）、（米国）、 Dortmund Univ. Research Report No. 686, 1998
【非特許文献４】エブジニ  プープビッチ（Evgeny Poopvich(Technion I.I.T.)）、プレゼント  マウス  レーザ  ポインタ  トラッキング  システム（PresenterMouse LASER-Pointer Tracking System",in http://www.mpi-inf.mpg.de/~karni/presentermouse/report.pdf
【非特許文献５】ダン  アール．オルソン  ジュニア他（Dan R. Olsen Jr., T. Nielsen(Brigham Young Univ., Provo, UT)）、レーザ  ポインタ  インターラクション（Laser Pointer Interaction）、（米国）、CHI 2001(Conference on Human Factors in Computing Systems)
【非特許文献６】ワイ．シ他著（Y. Shi, W. Xie, G. Xu, R. Shi, E. Chen, Y. Mao, F. Liu(Tsingha Univ)）、ザ  スマート  クラスルーム：マージング  テクノロジー  フォア  シームレス  テレエデュケーション（The Smart Classroom: Merging Technologies for Seamless Tele-Education）、（米国）、The Human Experence, Pervasive computing, IEEE CS and IEEE ComSoc(2003)
【発明の開示】
【発明が解決しようとする課題】
【００１５】
以上のような従来の技術は、分類すると以下のような問題がある。
（問題点１）フレームからのポインタ抽出手段について
（ａ）特殊な装置、環境が必要なもの（上記項目（１）（３）（４）（５）（６）（９）（１０）（１１））
これらの技術では、光学装置や特殊なフィルタ、光源を使うなど、普通のプロジェクタ、カメラ、レーザポインタでは実現できないものである。
（ｂ）レーザポインタが高輝度であることを利用したもの（上記項目（７）（８）、（１３）（１４）（１６）（１７））
これらの技術では普通の装置を使用され特殊な装置は含まれていないが、検出アルゴリズムがロバストでない。例えば、背景黒で部分的に白部分があるスライドではカメラの自動露出機構でフレーム画像内の最も明るい部分がポインタでない場合がある。また、ポインタが動いている場合には明るさが変化して、ポインタが誤検出されることがある。
（ｃ）レーザポインタの色、形を使うもの（上記項目（２）（１２）（１３）（１４）（１６））
ポインタが移動した場合には、いろいろな形状に変化するため、単純なテンプレートでは整合しないポインタが多数あり、ロバスト性に欠ける。
（ｄ）フレーム差分を使用するもの（上記項目（１２）（１３）（１４）（１７））
上記項目（１２）：スクリーンだけを写したビデオでは効果があるが、講師が動いている場合にはポインタを誤抽出する。
上記項目（１３）：ユーザが新しいスライドに変更したとき（スライドの変更を検知する方法は記述されていない）に参照画像を生成し、適当な時間間隔でサンプリングしたフレーム画像に重みを付けて加重平均することで常に参照画像を更新する。参照画像と現在フレームとの差分画像からポインタ位置を抽出する。このため、直前の複数フレーム画像に重みを付けて加重平均した参照画像との差分処理では、対象フレームより前のフレームの累積した影響がでて、ロバストではない。
上記項目（１４）（１５）：参照画像は、フレーム画像の直前の適当な枚数のフレーム画像の平均値として求める。参照画像とフレーム画像の差分をとり、差分画像で、一定しきい値より大きな画素値の画素をポインタ候補として求める。しかし、この技術では、直前の複数フレーム画像を平均した参照画像との差分処理を行うため、対象フレームより前のフレームの累積した影響がでて、ロバストではない。
【００１６】
本発明の目的は、レーザポインタを含むビデオ映像で、レーザポインタ以外の部分（例えば、講師）が移動している場合でも、ビデオ映像中のレーザポインタの情報を高精度に自動抽出する技術を提供することである。
【課題を解決するための手段】
【００１７】
本発明は前記課題を解決するために、以下の手段を採用した。すなわち、本発明は、動画を形成し、インターレース方式で画素のラインが走査される複数のフレームに対して、前記フレーム間の差分であるフレーム差分画像を形成する手段と、前記フレーム差分画像中で１ラインごとに画像の存在する画素と存在しない画素とが交互に存在する、そのような１ラインおきパターンを抽出する手段と、前記１ラインおきパターンが所定の基準に該当する移動体パターンであるか否かを判定する判定手段とを備える情報処理装置である。
【００１８】
本発明によれば、フレーム差分画像中で１ラインごとに画像の存在する画素と存在しない画素とが交互に存在する、そのような１ラインおきパターンを抽出し、所定の基準に該当するか否かが判定されるので、適切な移動体パターンを抽出できる。
【００１９】
前記判定手段は、前記１ラインおきパターン部分の面積と、１ラインおきパターンが包含される、画像が連結された領域面積との比を基準にして、前記１ラインおきパターンが前記画像内の部分を指し示すために使用されているポインタであるか否かを判定してもよい。
【００２０】
前記判定手段は、抽出された１ラインおきパターンと他の１ラインおきパターンとの間の近接度から、前記１ラインおきパターンが前記画像内の部分を指し示すために使用されているポインタであるか否かを判定してもよい。
【００２１】
前記判定手段は、前記１ラインおきパターンが包含される、画像が連結された領域の寸法から、前記１ラインおきパターンが前記画像内の部分を指し示すために使用されているポインタであるか否かを判定してもよい。
【００２２】
前記判定手段は、前記１ラインおきパターンと前記フレームの外周との距離から前記１ラインおきパターンが前記画像内の部分を指し示すために使用されているポインタである
か否かを判定してもよい。
【００２３】
処理対象のフレームと前記処理対象のフレームから所定のフレーム数だけ離間した位置の参照フレームとの差分によって前記フレーム差分画像を形成する手段をさらに備え、前記フレームは、フレームを構成するそれぞれの画素が２段階を越える明るさの段階を指定可能な画素値を有する多値画像であり、前記抽出する手段は、所定のしきい値に基づいて前記フレーム差分画像を２値画像に変換する手段と、前記フレーム差分画像の画素に対応する前記処理対象のフレーム上の画素が所定の画素値より明るい場合に、前記しきい値を第１のしきい値に設定し、前記処理対象のフレーム上の画素が前記所定の画素値よりも明るくない場合に、前記しきい値を前記第１のしきい値より明るい第２のしきい値に設定するしきい値設定手段と、を有するようにしてもよい。
【００２４】
本発明によれば、処理対象のフレームによって特定される原画像の明るさに応じて差分画像を２値化するときのしきい値が設定できる。したがって、例えば、原画像が明るくポインタを捉えにくい場合には、しきい値を下げて第１のしきい値とし、原画像が明るくなくポインタを捉えやすい場合には、しきい値を上げて第２のしきい値とすることができる。
【００２５】
また、本発明は、コンピュータその他の装置、機械等が上記いずれかの処理を実行する方法であってもよい。また、本発明は、コンピュータその他の装置、機械等に、上記いずれかの処理を実行させるコンピュータ実行可能なプログラムであってもよい。また、本発明は、そのようなプログラムをコンピュータその他の装置、機械等が読み取り可能な記録媒体に記録したものでもよい。
【発明の効果】
【００２６】
本発明によれば、レーザポインタを含むビデオ映像で、レーザポインタ以外の部分（例えば、講師）が移動している場合でも、ビデオ画像中のレーザポインタの情報を高精度に自動抽出することができる。
【発明を実施するための最良の形態】
【００２７】
以下、図面を参照して本発明を実施するための最良の形態（以下、実施形態という）に係る情報処理装置について説明する。以下の実施形態の構成は例示であり、本発明は実施形態の構成に限定されない。
【００２８】
《発明の骨子》
（１）人領域抽出によるＬＰ誤抽出の低減
従来技術では、フレーム内に人が写っていた場合に、人の動きの部分をＬＰ（ここでは、レーザポインタをＬＰと略す）と誤抽出する場合が多かった。本技術では、人が動いてできる差分パターンにおいて、画素が密集して所定の大きさ以上となる性質に着目して、人領域を抽出する。講義時には、見やすさを考えて人のすぐ側にＬＰを照射しないので、人領域内に入るＬＰ候補をノイズとして除去することにより、ＬＰがないフレームからの誤抽出を大幅に削除することができる。
（２）「１ラインおきパターン比率」によるＬＰ抽出および人領域判定
講義では、ＬＰは適度な早さで動かして説明するのが普通である。移動するＬＰをビデオに撮影するとビデオカメラのインターレーススキャンの影響で、ＬＰ領域が図５のように１ラインおきのパターンになることが多い。この１ラインおきパターンの程度をジャギー率（１ラインおきパターン部分が結合されている全体に対する、１ラインおきパターン部分の占める割合）として求め、一定以上をＬＰらしい領域として抽出する。また人領域候補の中からＬＰとして誤抽出されやすいパターンを除去するために１ラインおきパターンの特性を利用する。
【００２９】
《第１実施形態》
以下、本発明の一実施形態に係る情報処理装置について説明する。本情報処理装置の機能は、ＣＰＵ、メモリ、入出力インターフェース、ハードディスク等の外部記憶装置、ＣＤ、ＤＶＤ等の着脱可能な記録媒体、動画データを入力する画像入力インターフェース等を有するコンピュータで実行されるコンピュータプログラムによって実現される。このようなコンピュータの構成は周知であるのでその説明を省略する。
【００３０】
本情報処理装置では、画像入力インターフェースからフレームごとの画像データが取り込まれ、ハードディスク上の画像データファイルに格納されている。以下、本情報処理装置のＣＰＵで実行されるコンピュータプログラムの処理について説明する。
【００３１】
＜機能ブロック＞
図１に、本情報処理装置の機能ブロック図を示す。本情報処理装置は、ハードディスク上に記憶された画像データを構成するフレームからＬＰを抽出する。本情報処理装置は、処理対象のフレームである基準フレームＦＣと、基準フレームＦＣに対する差分である差分フレームＦＤを生成すために使用される参照フレームＦＲとを処理することによってＬＰを抽出する。
【００３２】
図１のように、本情報処理装置は、ＬＰ抽出処理部３、基準フレームからのＬＰ抽出部１、および人領域抽出部２を有する。
【００３３】
基準フレームからのＬＰ抽出処理部１は、基準フレームＦＣと参照フレームＦＲとの差分画像である差分フレームＦＤから直接ＬＰを抽出する。人領域抽出処理部２は、フレーム中で、人が映っている領域を抽出する。ＬＰ抽出処理部３は、人領域情報を用いてフレーム差分画像から不要データを除去した後にＬＰを抽出する。以下、これらの機能を順次説明する。なお、これらの機能は、情報処理装置のＣＰＵで実行されるコンピュータプログラムとして実現でき、ハードディスクあるいは着脱可能記憶媒体等に保存される。
【００３４】
＜基準フレームからのＬＰ抽出部の処理＞
以下、図２を参照して、基準フレームからのＬＰ抽出部の処理（基準フレームからのＬＰ抽出処理という）を説明する。本情報処理装置の処理は、例えば、講義ビデオのようなコンテンツに含まれる画像の２つのフレーム（ＬＰ座標を求めたい基準フレームＦＣと、差分をとるための参照用フレームＦＤ）を使用して、基本的に差分画像の特徴を利用して基準フレームの中のＬＰ座標を求めるものである。
【００３５】
図２に、基準フレームＦＣと参照フレームＦＲとの関係を示す。ここで、フレームとは、動画を構成する画面１枚分の画像データである。本実施形態では、フレーム内の走査線は、インターレース方式によって１つおきに走査される。そして、垂直方向に２回走査することで１枚のフレーム画像が表示される。
【００３６】
図２では、着目している基準フレームＦＣに対して、その前後に８枚のフレームが示されている。ここで、基準フレームは、ＬＰを抽出しようとしているフレーム（現在注目しているフレーム）である。本実施形態では、基準フレームＦＣに対して−８、−４、−１、１、４、および８枚目に位置するフレーム（図２にＦＲ−１からＦＲ−６で示されるフレーム）を参照フレームとして使用する。
【００３７】
基準フレームＦＣと参照フレームＦＲを使ったＬＰ抽出は、−８、−４、…の順に参照フレームを変えていって、最初にＬＰを発見したところで処理を打ち切る。すなわち、ＬＰが抽出されないのは、―８から＋８までの参照フレームとの間でＬＰ抽出処理を行って
もＬＰが抽出できなかった場合である。ただし、本発明の実施において、参照フレームの位置（−８、−４、−１、１、４、および８枚目）およびその数には、特に制限はない。すなわち、これらのフレーム以外の位置のフレームを参照フレームとしてもよい。
【００３８】
図３は、基準フレームからのＬＰ抽出処理を示すフローチャートである。本情報処理装置は、まず、基準フレームの１画素の赤成分をＲｃｕｒ、参照フレームの同じ位置の画素の赤成分をＲｒｅｆとするとき、差分濃淡画像ｓｇｒａｙ中の各位置の画素の値としてＲｃｕｒ  −  Ｒｒｅｆを求める（Ｓ１１）。この濃淡画像の画素値は、それぞれ０〜２５５のダイナミックレンジをもつＲｃｕｒとＲｒｅｆ画像の単純な差分であるので、−２５５〜２５５のダイナミックレンジをもつことになる。
【００３９】
次に、本情報処理装置は、この濃淡画像をしきい値処理して、０〜２５５の通常の濃淡画像へ変換する（Ｓ１２）。すなわち、ｓｇｒａｙの画素値が−１２８以下の場合には０、ｓｇｒａｙの画素値が−１２８より大きく１２８以下の間の場合には、ｓｇｒａｙ＋１２７、ｓｇｒａｙの画素値が１２８より大の場合には２５５となるようなしきい値処理を行って新たな濃淡画像ｇｒａｙ２を生成する。
【００４０】
次に、本情報処理装置は、このｇｒａｙ２画像をしきい値１０８（中間値の１２８―２０）で２値化する（Ｓ１３）。すなわち、ｇｒａｙ２の画素値が１０８より小さい（すなわち、画素値０−１２８のうち暗い部分の）場合はビット１、それ以外の場合にはビット０となるような２値画像ｂｉｎ＿ｍｉｎｕｓ２を生成する。（なお、このしきい値は１０８に限定されるわけではない。すなわち、例えば、しきい値として他の値を使用してもよい。また、しきい値として所定範囲の幅をもたせて２値化してもよい）。
【００４１】
この差分画像を２値化した画像（ｂｉｎ＿ｍｉｎｕｓ２）は、基準フレーム上で動いているものを敏感に検出する性質があるので、本情報処理装置は、この２値画像ｂｉｎ＿ｍｉｎｕｓ２を用いてＬＰや人の動いている部分などを検出する。また、高速に動いている部分は、カメラのインターレーススキャンの影響で、図５のような１ラインおきにパターンがずれたようなパターンとなる。
【００４２】
ＬＰを操作する操作者（例えば、講演中の講師）がＬＰを固定しているつもりでも、画像上のＬＰには若干のブレが生じることが多い。また、操作者がＬＰを激しく移動する場合もあるので、実際の講義を撮影したビデオでは、ＬＰはほとんどの場合、図５のような１ラインおきのパターンとなっている。
【００４３】
そこで、本発明者はフレーム中のパターンの「１ラインおきパターン」の程度を解析すれば、そのパターンがＬＰかどうかがある程度判明できることに想到した。
【００４４】
本情報処理装置は、このような２値画像ｂｉｎ＿ｍｉｎｕｓ２に、１ラインおきパターン比率によるＬＰ抽出処理を実行する（Ｓ１４）。１ラインおきパターン比率とは、１ラインおきパターンが連結される画像（連結された画素で構成される画像）中の１ラインおきパターン部分の割合を示す尺度である。本実施形態の情報処理装置は、１ラインおきパターン比率を算出することで、ＬＰに該当する画像部分を推定し、その座標を求め、出力する。
【００４５】
図４に、１ラインおきパターン比率によるＬＰ抽出処理の詳細を示す。本情報処理装置は、この処理によって、入力の２値画像ｂｉｎ＿ｍｉｎｕｓ２からＬＰ座標を抽出する。
【００４６】
この処理では、情報処理装置は、まず、入力の２値画像ｂｉｎ＿ｍｉｎｕｓ２から１ラインおきパターンだけの画像を生成する（Ｓ１４１）。そのために、入力２値画像を以下
のようにフィルタ処理する。すなわち、２×３の画素マトリクスの各行に００、１１、および００のビットパターンを配置したフィルタにより、このビットパターンと整合する画像パターンを求める。
【００４７】
このフィルタ処理では、初めに全画素が０の白画像の出力画像を生成しておく。そして、入力画像の一部がフィルタのパターンに一致した場合に、出力画像にフィルタパターンをＯＲで重ね書きする。これにより入力画像の中から、図６のような１ラインおきのパターン部分のみが抽出された画像ａｌｔｅｒｎａｔｅｄが生成される。
【００４８】
１ラインおきのパターン部分のみが抽出された画像ａｌｔｅｒｎａｔｅｄは、実際には、小さなノイズを含んでいる。このノイズを除去するために、１ラインおきパターンからのノイズ除去処理を行う（Ｓ１４２−Ｓ１４５）。
【００４９】
通常のノイズ除去は黒画素連結領域の外接矩形の大きさが小さいものをノイズとして削除する。しかし、１ラインおきパターンでは、１画素離れて隣のラインがあるので、そのラインがノイズとして削除されてしまう可能性がある。これをさけるために、一旦パターンを縦方向に膨張させて、１画素だけ離れたパターンを接触、統合させてから外接矩形を求める。
具体的には、以下の手順を行う。
【００５０】
本情報処理装置は、１ラインおきのパターン部分のみが抽出された画像ａｌｔｅｒｎａｔｅｄの黒画素を上下に１画素だけ膨張させた画像ｄｉｌａｔｅｄ＿ｉｍａｇｅを生成する（Ｓ１４２）。
【００５１】
次に、情報処理装置は、膨張させた２値画像ｄｉｌａｔｅｄ＿ｉｍａｇｅをラベリング処理して黒画素連結領域の外接矩形ｌｂｔｂｌとラベル画像ｌａｂｅｌ＿ｉｍａｇｅとを生成する（Ｓ１４３）。ここで、ラベルリング処理とは、連結している個々の画素にラベル（例えば、連結した画素の集合ごとの固有番号）を付して、同一のラベルが付された画素の集合の外接矩形を求める処理である。このとき、同一のラベルが付された画素の集合がラベル画像である。
【００５２】
次に、情報処理装置は、膨張前のパターンの外接矩形を求めるために、膨張した分の上下１画素分を縮小する（Ｓ１４４）。
【００５３】
次に、情報処理装置は、矩形の高さが１のものに注目して、その内部をビット０（白）にすることでノイズを除去する（Ｓ１４５）。
【００５４】
この結果できた画像を、ノイズ除去後の１ラインおきパターン画像として保存する。このノイズ除去後の１ラインおきパターン画像を画像ａｌｔｅｒｎａｔｅｄと呼ぶ。
【００５５】
次に、情報処理装置は、入力２値画像ｂｉｎ＿ｍｉｎｕｓ２からＬＰ候補領域矩形を抽出する（Ｓ１４６−Ｓ１４Ｄ）。
【００５６】
すなわち、本情報処理装置は、フィルタ処理前の２値画像ｂｉｎ＿ｍｉｎｕｓ２の画像の黒画素を上下に１画素だけ膨張させた画像ｄｉｌａｔｅｄ＿ｉｍａｇｅを生成する（Ｓ１４６）。この画像は、図７のようになる。
【００５７】
次に、本情報処理装置は、膨張させた２値画像ｄｉｌａｔｅｄ＿ｉｍａｇｅをラベリング処理して黒画素連結領域の外接矩形ｌｂｔｂｌとラベル画像ｌａｂｅｌ＿ｉｍａｇｅを抽出する（Ｓ１４７）。
【００５８】
次に、本情報処理装置は、膨張前のパターンの外接矩形を求めるために、膨張した分の上下１画素分だけ外接矩形を縮小する（Ｓ１４８）。これにより、ＬＰの候補となる矩形の集合（以下、ＬＰ候補矩形集合）が、フィルタ処理前の２値画像ｂｉｎ＿ｍｉｎｕｓ２から形成される。
【００５９】
この後、本情報処理装置は、ＬＰ候補矩形集合の中から１つずつ矩形を取り出して、以下の処理を実行する。
【００６０】
すなわち、本情報処理装置は、矩形内のラベル画像のパターンと、１ラインおきパターンａｌｔｅｒｎａｔｅｄとの間でＡＮＤ演算を実行する。そして、本情報処理装置は、ＡＮＤ演算結果の出力パターンの画素数（＝面積）をａｌｔｅｒｎａｔｅｄ＿ｃｏｕｎｔとして求める。また、本情報処理装置は、この矩形内で、１ラインおきパターン比率を求める（Ｓ１４９）。
【００６１】
本実施形態では、１ラインおきパターン比率は、以下のように定義される。
【００６２】
１ラインおきパターン比率＝１ラインおきパターン部分の黒画素の面積／パターン面積；
すなわち、１ラインおきパターン比率とは、ａｌｔｅｒｎａｔｅｄ＿ｃｏｕｎｔ／矩形内ラベル画像面積（フィルタ処理前の２値画像ｂｉｎ＿ｍｉｎｕｓ２から求めたもの）である。
【００６３】
この比率は、１ラインおきパターン（図５参照）を塗りつぶしたパターン（図７参照）に対する１ラインおきパターン（図６参照）の比率である。したがって、１ラインおきパターン比率は、最大でも、０．５となる（最小は０）。
【００６４】
次に、本情報処理装置は、（全矩形候補を対象として）１ラインおきパターン比率が最大となる矩形を求め、そのときの矩形番号Ｉｎｄｅｘ、矩形内のラベル画像の面積ｉｎｄｅｘ＿ｃｏｕｎｔ、この矩形内の１ラインおきパターン部分の面積ｉｎｄｅｘ＿ａｌｔｅｒｎａｔｅｄ＿ｃｏｕｎｔを求める（Ｓ１４Ａ−Ｓ１４Ｂ）。
【００６５】
すなわち、本情報処理装置は、矩形幅、高さがしきい値より小さな矩形だけを対象として、１ラインおきパターン部分面積が最大の矩形を求める。
【００６６】
次に、本情報処理装置は、（全矩形候補に対して）矩形幅が５０より小さく、矩形高さが４２より小さい矩形について、１ラインおきパターン部分面積が最大な矩形を求める。そのときの矩形番号Ｉｎｄｅｘ３、矩形内のラベル画像の面積ｉｎｄｅｘ＿ｃｏｕｎｔ３、この矩形内の１ラインおきパターン部分の面積ｍａｘ＿ａｌｔｅｒｎａｔｅｄ＿ｃｏｕｎｔを求める（Ｓ１４Ｃ−Ｓ１４Ｄ）。なお、ここで、矩形幅が５０より小さく、矩形高さが４２より小さい矩形としたのは、経験値としてのコンテンツ画像内のＬＰ寸法の最大値をしきい値として用いたためである。
【００６７】
以上のようなＳ１４９からＳ１４Ｄの処理を全矩形候補について実行する。全矩形の走査終了後に、ｉｎｄｅｘとして求められた矩形について、以下の条件を満足するときに、この矩形の中心座標をＬＰとして出力する。
【００６８】
第１の条件として、本情報処理装置は、Ｉｎｄｅｘの矩形幅、高さ＞４  かつ  ｍａｘ＿ｒａｔｅ＞Ｔｈ（しきい値）  かつ  ｉｎｄｅｘ＿ｃｏｕｎｔ  ＞５０  かつ  この矩形の周囲２５画素以内に１５画素より大きいの矩形がないという条件が満足されるか否か
を判定する（Ｓ１４Ｅ）。本実施形態では、この条件が満足される場合、その矩形候補をＬＰと推定し、その矩形中心をＬＰの位置座標として出力する。
【００６９】
第１の条件が満足されない場合に、第２の条件として、本情報処理装置は、ｉｎｄｅｘ３として求められた矩形について、以下の条件を満足するときに、この矩形の中心座標をＬＰとして出力する。すなわち、本情報処理装置は、ｍａｘ＿ａｌｔｅｒｎａｔｅｄ＿ｃｏｕｎｔ＞１３０  かつ  ｍａｘ＿ａｌｔｅｒｎａｔｅｄ＿ｃｏｕｎｔ  ／  ｉｎｄｅｘ＿ｃｏｕｎｔ３＞０．２  かつ  ｉｎｄｅｘ３の幅＜５０  かつ  ｉｎｄｅｘ３の高さ＜４２が満たされるか否かを判定する（Ｓ１４Ｆ）。本実施形態では、この条件が満足される場合、その矩形候補をＬＰと推定し、その矩形中心をＬＰの位置座標として出力する。
【００７０】
以上第１、第２いずれの条件も満足されない場合、本情報処理装置は、ＬＰ抽出なしとする。
【００７１】
上述の処理では、Ｓ１４２−Ｓ１４５のノイズ除去処理において、上下方向に縦膨張した。その結果、２ラインおきに存在する画素についても、１ラインおきパターンに含めて処理されることになる。このような処理に代えて、Ｓ１４２の縦膨張において、上下膨張せず下方向に１画素だけ膨張させてｄｉｌａｔｅｄ＿ｉｍａｇｅを生成してもよい。その場合には、Ｓ１４４の処理では下方向１画素だけ縮小すればよい。このように、下方向に１画素だけ膨張させる処理によれば、ほぼ純粋に１ラインおきパターンだけを抽出し、２ライン以上離れて存在する画素をノイズとして除去できる。
【００７２】
上述のｄｉｌａｔｅｄ＿ｉｍａｇｅを記録しておいて、上記のＳ１４９の１ラインおきパターン比率の計算で、１ラインおきパターン部分の面積は、ＬＰ候補矩形中のこのｄｉｌａｔｅｄ＿ｉｍａｇｅの面積／パターン面積として求めてもよい。この場合、１ラインおきパターンは、０から１の間の値となる。
【００７３】
＜人領域抽出処理部＞
人領域抽出処理部は、基準フレームの赤成分画像Ｒｃｕｒと参照フレームの赤成分画像Ｒｒｅｆを入力として、基準フレームの中の人領域を示す矩形を抽出する。これは、後で行うＬＰ抽出処理の際に、抽出禁止領域として使用される。
【００７４】
図８は、人領域抽出処理を示すフローチャートである。この処理では、本情報処理装置は、まず、基準フレームの赤成分画像Ｒｃｕｒと参照フレームの赤成分画像Ｒｒｅｆの差の絶対値の画像ｇｒａｙを生成する（Ｓ２１）。
【００７５】
次に、本情報処理装置は、差分の絶対値の濃淡画像ｇｒａｙをしきい値２０で２値化して、２値画像ｒｅｄ＿ｄｉｆｆ＿ｂｉｎを生成する（Ｓ２２）。すなわち画素値が２０以上の画素（絶対値が小さい暗い部分）を１とする。Ｇｒａｙは差分画像なので、動きが激しい箇所で画素値が大きくなる。したがって２値化後の画像は、動いている所を抽出したものとなる。
【００７６】
次に、本情報処理装置は、２値画像ｒｅｄ＿ｄｉｆｆ＿ｂｉｎをラベリングして、黒画素連結領域の外接矩形ｌｂｔｂｌを抽出する（Ｓ２３）。
【００７７】
次に、本情報処理装置は、矩形集合ｌｂｔｂｌから２×２以下のサイズの矩形を除去して、残りをｌｂｔｂｌ２とする（Ｓ２４）。
【００７８】
次に、本情報処理装置は、矩形の近くにある矩形をグループ化し、１つのグループを囲む矩形領域を抽出する。すなわち、本情報処理装置は、矩形の周囲に矩形のサイズ（縦方
向なら高さ、横方向なら幅）の２０％のエリアを想定する。本情報処理装置は、このエリアに入る別の矩形がある場合に、両者は同じグループに入るとする。本情報処理装置は、この処理を繰り返して、矩形のグルーピングを行う。グルーピングが終了した後に、同じグループを囲む外接矩形を求め、これをｌｂｔｂｌ＿ｉｎｔｅｇ２とする（Ｓ２５）。
【００７９】
次に、本情報処理装置は、Ｌｂｔｂｌ＿ｉｎｔｅｇ２の中からしきい値＝３０より大きな矩形を抽出する（Ｓ２６）。
【００８０】
次に、本情報処理装置は、残った矩形の内部を走査して、内部の黒画素パターンの１ラインおきパターン比率がしきい値０．１５より大きな矩形を抽出する。複数個抽出された場合には、これらを統合してできた矩形を人領域として出力する（Ｓ２７）。
【００８１】
人はＬＰと同様にわずかではあるが（場合によってはたくさん）動いている場合があるので、黒画素連結領域の周囲に１ラインおきパターンが発生する。本情報処理装置は、この特徴を捉えて、人領域を判定している。
【００８２】
すなわち、人の画像部分はＬＰより大きい。差分画像ｓｇａｒｙ中で、動いていると推定され、かつ、画素の連結領域がしきい値以上のものを人として捉えたのである。
【００８３】
＜ＬＰ抽出処理＞
図９は、ＬＰ抽出処理の全体を示すフローチャートである。この処理では、まず、本情報処理装置は、基準フレームと参照フレームの赤成分のフレーム画像の差分画像を基にして、基準フレームからのＬＰ抽出処理を行う（Ｓ１）。
【００８４】
ＬＰ抽出処理において、ＬＰが抽出されれば、本情報処理装置は、抽出されたＬＰの座標を最終結果として出力する。
【００８５】
ＬＰ抽出処理において、ＬＰが抽出されなければ、次に、本情報処理装置は、基準フレームと参照フレームの赤成分のフレーム画像の差分画像を基にして、人領域抽出処理を実行する（Ｓ２）。さらに、本情報処理装置は、抽出した人領域情報、１ラインおきパターン比率情報を使って、ＬＰを抽出する。
【００８６】
すなわち、本情報処理装置は、基準フレームからのＬＰ抽出処理で生成した差分濃淡画像ｓｇｒａｙに注目する。本情報処理装置は、ｓｇｒａｙの画素値をプラスとマイナスの２種類のしきい値で２値化して、プラス２値画像ｂｉｎ＿ｐｌｕｓ、マイナス２値画像ｂｉｎ＿ｍｉｎｕｓを生成する（Ｓ３）。
【００８７】
ここで、プラス側のしきい値Ｔｈ＿ｐｌｕｓは画素ごとに異なり、以下のように決定される。
【００８８】
Ｉｆ  基準フレームの画素値＞１９６  ｔｈｅｎ  Ｔｈ＿ｐｌｕｓ＝４０  ｅｌｓｅ  Ｔｈ＿ｐｌｕｓ＝５８；
また、マイナス側のしきい値Ｔｈ＿ｍｉｎｕｓは画素ごとに異なり、以下のように決定される。
【００８９】
Ｉｆ  参照フレームの画素値＞１９６  ｔｈｅｎ  Ｔｈ＿ｍｉｎｕｓ＝−４０  ｅｌｓｅ  Ｔｈ＿ｍｉｎｕｓ＝−５８；
画素値によってしきい値を変化させるのは、明るい背景上にＬＰが当たっている場合に、固定しきい値では検出しきれないため、ベースの輝度値が高い場合にはしきい値を下げて、より検出しやすくするためである。
【００９０】
次に、本情報処理装置は、ｂｉｎ＿ｐｌｕｓ，ｂｉｎ＿ｍｉｎｕｓ画像を中心画素から８方向へ１画素だけ膨張させる。これは、１ラインおきとなっているＬＰパターンを一括して扱うために膨張によって１つの領域にまとめるためである。
【００９１】
さらに、本情報処理装置は、膨張させた２値画像をラベリングして、黒画素連結領域の外接矩形をプラス、マイナス側でそれぞれ求める。求めた矩形集合は、それぞれ、ｌｂｔｂｌ＿ｐｌｕｓ，  ｌｂｔｂｌ＿ｍｉｎｕｓとする（Ｓ４）。
【００９２】
さらに、人領域の周囲にｏｆｆｓｅｔ画素だけ拡大した領域を作成する。Ｏｆｆｓｅｔは３０とする。ｌｂｔｂｌ＿ｐｌｕｓ，  ｌｂｔｂｌ＿ｍｉｎｕｓの中で、この領域と接触またはこの領域に（一部）重なるものを削除する（Ｓ５）。これは、例えば、講義を撮影したコンテンツにおいて、講師は、講師から離れた所にレーザポインタを照射するのが一般的であるので、人領域の近傍にはＬＰはないからである。
【００９３】
次に、本情報処理装置は、フレーム端から１７画素以内の領域に接触または一部重複するｌｂｔｂｌ＿ｐｌｕｓ，  ｌｂｔｂｌ＿ｍｉｎｕｓの矩形を削除する（Ｓ６）。講義を撮影したコンテンツには、スクリーンを中心に講師をいれて撮影するのが普通であるので、フレーム端の近傍にはＬＰが位置することは少ないからである。
【００９４】
次に、本情報処理装置は、ｌｂｔｂｌ＿ｐｌｕｓ，  ｌｂｔｂｌ＿ｍｉｎｕｓ矩形の内部の黒画素数が２で、かつ、矩形面積に対する黒画素の比率が０．３より小さいものをノイズとして削除する（Ｓ７）。ＬＰは、その形状から矩形面積に対する黒画素の比率が極端に小さくはならないからである。例えば、典型的には、矩形面積とその矩形に内接する円の面積の比に近いと考えることができる。また、矩形高さ、または幅が１３０以上の矩形もノイズとして削除する。ＬＰの画像内での寸法は、経験的に特定できるからである。
【００９５】
次に、本情報処理装置は、残った矩形が重複している場合は、それらの矩形を囲む矩形に統合する。さらに、本情報処理装置は、矩形の周囲５画素以内に他の矩形がある場合には、両者を統合した新しい矩形を生成する（Ｓ８）。
【００９６】
次に、本情報処理装置は、以上の処理の結果、ｌｂｔｂｌ＿ｐｌｕｓ，  ｌｂｔｂｌ＿ｍｉｎｕｓのどちらかで矩形数が２つ以上となっているか否かを判定する（Ｓ９）。
【００９７】
そして、ｌｂｔｂｌ＿ｐｌｕｓ，  ｌｂｔｂｌ＿ｍｉｎｕｓのどちらかで矩形数が２つ以上となっている場合には、本情報処理装置は、ＬＰは抽出しないとして出力する。本来、画像上には、ＬＰはただ１つしか存在しないため、２以上のＬＰが抽出された場合に、本情報処理装置は、適正な結果が得られなかったと判断するためである。同様に、ｌｂｔｂｌ＿ｐｌｕｓ，  ｌｂｔｂｌ＿ｍｉｎｕｓのどちらかで矩形数が０となっている場合も、本情報処理装置は、ＬＰは抽出しないとして出力する。ＬＰが抽出されなかったからである。
【００９８】
一方、ｌｂｔｂｌ＿ｐｌｕｓ，  ｌｂｔｂｌ＿ｍｉｎｕｓとも１つずつの矩形がある場合は、両者の矩形内の黒画素領域の位置にある原画像の輝度の最大値をプラス、マイナスで求め、その差を求める。具体的には、ｌｂｔｂｌ＿ｍｉｎｕｓでは、この矩形内の黒画素領域に相当する基準フレームの赤成分画像の画素値を走査して、最も輝度が高い画素値ＣｕｒＭａｘを求める。ｌｂｔｂｌ＿ｐｌｕｓでは、この矩形内の黒画素領域に相当する参照フレームの赤成分画像の画素値を走査して、最も輝度が高い画素値ＲｅｆＭａｘを求める。
｜ＣｕｒＭａｘ  −  ＲｅｆＭａｘ｜を差として求める。そして、本情報処理装置は、こ
の差が２５より大きいか否かを判定する（Ｓ１０）。この差が２５より大きい場合は、本情報処理装置は、ＬＰは存在しないとして出力する。ｌｂｔｂｌ＿ｐｌｕｓ、ｌｂｔｂｌ＿ｍｉｎｕｓは、ＬＰ移動前後の差分を示しており、原画像の画素の絶対値は、本来の同一のＬＰ画像に対応するものであり、概ね近い値になるべきだからである。
【００９９】
次に、本情報処理装置は、ｌｂｔｂｌ＿ｐｌｕｓ，  ｌｂｔｂｌ＿ｍｉｎｕｓ矩形内の黒画素パターンを対象に、１ラインおきパターン比率を計算する。そして、本情報処理装置は、矩形内の１ラインおきパターン比率が所定のしきい値（ｌプラス側の比率が０．４、または、マイナス側の比率が０．１５）より大きいか否かを判定する。ラインおきパターン比率がこの条件を満足しない場合、本情報処理装置は、ＬＰは存在しないとして出力する。
【０１００】
次に、本情報処理装置は、ｌｂｔｂｌ＿ｐｌｕｓ矩形の中心とｌｂｔｂｌ＿ｍｉｎｕｓ矩形の中心間の距離を求める。この距離が参照フレームの位置によって決まるしきい値以内ならｌｂｔｂｌ＿ｍｉｎｕｓ矩形の中心座標をＬＰ座標として出力する（Ｓ１２）。フレームとフレームの期間（垂直帰線区間）は、非常に短時間であり、その間に人がＬＰを操作して移動させる距離には限りがあるからである。距離のしきい値は、例えば、以下のように決めればよい。
【０１０１】
参照フレームが−８または８：４５
参照フレームが−４または４：３５
参照フレームが−１または１：２５
＜評価結果＞
ビデオフレーム上のレーザポインタ座標抽出精度を求める実験を行った。実験に用いたビデオフレームは、室内におけるプロジェクタとレーザポインタを用いての発表を市販のＤＶカメラで撮影した映像中のフレームである。フレームデータは、７２０×４８０画素、２４ビット／画素カラー、圧縮なしでキャプチャしたフルフレームのビデオデータである。評価に使用したビデオデータの種類は４種類で、ｔｉｔｅｃｈ１〜４の名前を付けた。
【０１０２】
ｔｉｔｅｃｈ１は、青地に白の文字を基調としている。構図は、最初はスクリーンと講師を１フレームに納めているが、途中でスクリーンだけの拡大映像となる。
【０１０３】
ｔｉｔｅｃｈ２は、青地に模様が入った背景上に、白文字を基調としている。構図は、最初はスクリーンと講師を１フレームに納めているが、途中でスクリーンだけの拡大映像となる。ただし、途中でカメラのブレがある。また、最後の質疑応答の時間は、全体が明るくなり、再び講師を含めた構図に戻る。
【０１０４】
ｔｉｔｅｃｈ３，４は、黒字に白文字を基調としている。常に講師がスクリーンに干渉する位置から撮影されている。
【０１０５】
正解情報は、予めフレーム上のレーザポインタ座標を目視で求めた。評価に使用したフレームは各ビデオから一定間隔にサンプリングして取得したフレームであり、総数は、１３９４フレームである。このうちＬＰありフレームは２４０，ＬＰなしフレームは１１５４フレームであった。
【０１０６】
評価は、抽出したポインタ座標と正解座標が横方向、縦方向ともに差が１０画素以内の場合に正解とした。
【０１０７】
異なる種類の複数のビデオデータについての評価結果は、図１３の表３に示す通りである。また、ＬＰが存在するフレームと、ＬＰが存在しないフレームとで別々にまとめた抽
出正解率は図１４の表４に示す通りである。
【０１０８】
この結果から、本方式は、ＬＰがあるフレームからはほぼ正しく抽出できるが、逆にＬＰがないフレームからは多少誤抽出がある、ということがわかる。
【０１０９】
従来のスクリーンだけを撮影した評価でビデオを評価した結果を図１５の表５に示す。
【０１１０】
従来の技術では、図１１の表１の結果となっていた。これらを比較すると、本実施形態の情報処理装置の正解率が大幅に低下している。これは、前回の技術は前回の評価ビデオデータに最適化して設計し、今回の情報処理装置は、今回の評価ビデオに最適化して設計したためである。また、図１１では、人の画像の存在しないビデオデータに対する評価結果であり、従来の技術でも、誤抽出が生じにくいからである。
【０１１１】
前回のスクリーンだけを撮影したビデオ１１種と今回の実際の講義ビデオ４種を総合して評価した結果が図１６の表６および図１７の表７である。表６は従来の技術での評価結果、表７は本情報処理装置での評価結果である。
【０１１２】
この結果を見ると、全ビデオを対象とした評価では、本情報処理装置のが正解率が向上していることがわかる。これは、従来の技術では、人の画像が存在すると誤抽出が多くなるためである。
【０１１３】
＜ｅ−ｌｅａｒｎｉｎｇコンテンツへの適用＞
図１０に、本情報処理装置を適用したｅ−Ｌｅａｒｎｉｎｇコンテンツの構成画面例を示す。この構成画面例では、講義ビデオの画像領域と、スライド領域と、各スライドの開始点にリンクする目次領域とを含むコンテンツが示されている。
【０１１４】
上記実施形態で説明した処理を適用することにより、講義ビデの画像領域中のＬＰを自動認識し、ＬＰが認識された位置に該当するスライドの領域を拡大してコンテンツ内のスライド領域に表示できる。すなわち、ポインティングの移動に同期して、スライドの拡大領域を移動する処理が実現される。その結果、ポインタ移動に同期してスライドの拡大部分を切り替えるようなｅ−ｌｅａｒｎｉｎｇコンテンツを人手支援なく、自動的に作成することができる。すなわち、ビデオの再生と共にスライドが切り替わるだけでなく、例えば、講師がレーザポインタで指し示した箇所がスライド上で赤丸によって表示される等のコンテンツも、人手の設定なしに構成できる。
【０１１５】
以上述べたように、本実施形態の情報処理装置は、講師移動がある場合、ない場合を含めたビデオ画像で、ＬＰの位置を認識する精度を向上できる。その後、ＬＰの位置に対応したスライドの部分を拡大して表示することができる。本情報処理装置は、このようなＬＰの走査に同期したスライドの表示を含むコンテンツの製作を同期の精度を向上させて支援することができる。
【０１１６】
《第２実施形態》
上記第１実施形態では、基準フレームと参照フレームとの差分フレームの画像から、１ラインおきパターン比率によってＬＰを抽出する情報処理装置の例を示した。しかし、本発明の実施は、このような構成および手順には限定されない。例えば、画像の特徴を判別分析、またはＳＶＭの学習を適用してＬＰを求めるようにしてもよい。以下、その手順の概要を説明する。
（１）フレーム差分濃淡画像を２値化した２値画像から、黒画素連結領域の外接矩形を求め、一定しきい値以下の矩形をノイズとして削除する。残った矩形の領域について、以下のような特徴量を求める。
【０１１７】
ｉｎｔ  ｘｍｉｎ；      ／／  領域の左端
ｉｎｔ  ｙｍｉｎ；      ／／  領域の上端
ｉｎｔ  ｘｍａｘ；      ／／  領域の右端
ｉｎｔ  ｙｍａｘ；      ／／  領域の下端
ｉｎｔ  ｗｉｄｔｈ；    ／／  領域の幅
ｉｎｔ  ｈｅｉｇｈｔ；  ／／  領域の高さ
ｉｎｔ  ｎｅａｒ＿ｌａｒｇｅ＿ｒｅｃｔ＿ｔｏｔａｌ＿ｎｕｍ；      ／／  近くにある矩形の数
ｉｎｔ  ｎｅａｒ＿ｌａｒｇｅ＿ｒｅｃｔ＿ｎｕｍ；      ／／  近くにあるしきい値１５より大きな矩形の数
ｉｎｔ  ｎｅａｒ＿ｒｅｃｔ＿ｍａｘｓｉｚｅ；    ／／  近くにある矩形の最大面積
ｉｎｔ  ｎｅａｒ＿ｌａｒｇｅ＿ｒｅｃｔ＿ｒａｔｅ；    ／／  近くにあるしきい値１５より大きな矩形の比率×１０００
ｉｎｔ  ａｌｔｅｒｎａｔｅｄ＿ｒａｔｅ；  ／／  １ラインおきパターン比率×１０００
ｉｎｔ  ａｌｔｅｒｎａｔｅｄ＿ｎｕｍ；    ／／  １ラインおきパターン面積
ｉｎｔ  ｒ；      ／／  領域の色のＲ成分
ｉｎｔ  ｇ；      ／／  領域の色のＧ成分
ｉｎｔ  ｂ；      ／／  領域の色のＢ成分
これらを特徴量（特徴ベクトル）として求める。各領域でその領域がポインタ領域か否かを分類し、ポインタ領域のベクトル集合、非ポインタ領域のベクトル集合を作成する。これを使って、判別分析を行い、判別面を表す係数列を求める。または、ＳＶＭを学習し、辞書を作成する。または、ポインタ領域の平均ベクトル（辞書）を生成する。
【０１１８】
このようにして、一旦ポインタ領域のベクトル集合が求められれば、そのベクトル集合と同様のベクトル集合を形成する矩形の領域は、ポインタ領域とみなすことができる。
（２）図９のＳ３で生成されるｂｉｎ＿ｐｌｕｓ，  ｂｉｎ＿ｍｉｎｕｓの２値画像で、黒画素連結領域を求め、その外接矩形サイズがしきい値以上のものを求める。
（３）ｂｉｎ＿ｐｌｕｓから求めた矩形領域について、判別分析、または、ＳＶＭでポインタ領域か否かの判別を行う。または、矩形領域の特徴ベクトルとポインタ領域の平均ベクトルを使用して距離を求め、一定しきい値以内をポインタ領域とみなす。
（４）（３）で求められたｂｉｎ＿ｐｌｕｓから求めた複数のポインタ領域の中の１つと、ｂｉｎ＿ｍｉｎｕｓから求めた複数のポインタ領域の中の１つを組み合わせて、図９のＳ１０−Ｓ１１の条件に合致するものを抽出する。
（５）ｂｉｎ＿ｐｌｕｓ，  ｂｉｎ＿ｍｉｎｕｓのどちらかで複数の領域が残る場合には、ノイズとして、ポインタなしとみなす。ｂｉｎ＿ｐｌｕｓ，  ｂｉｎ＿ｍｉｎｕｓの両方で１領域だけとなった場合に、ｍｉｎｕｓ側の領域の重心をポインタとして出力すればよい。
【０１１９】
《コンピュータ読み取り可能な記録媒体》
コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
【０１２０】
ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等か
ら取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／Ｗ、ＤＶＤ、ＤＡＴ、８ｍｍテープ、メモリカード等がある。
【０１２１】
また、コンピュータ等に固定された記録媒体としてハードディスクやＲＯＭ（リードオンリーメモリ）等がある。
【０１２２】
《その他》
さらに、本実施の形態は以下の発明を開示する。また、以下の各発明（以下付記と呼ぶ）のいずれかに含まれる構成要素を他の付記の構成要素と組み合わせてもよい。
（付記１）
動画を形成し、インターレース方式で画素のラインが走査される複数のフレームに対して、前記フレーム間の差分であるフレーム差分画像を形成する手段と、
前記フレーム差分画像中で１ラインごとに画像の存在する画素と存在しない画素とが交互に存在する、そのような１ラインおきパターンを抽出する手段と、
前記１ラインおきパターンが所定の基準に該当する移動体パターンであるか否かを判定する判定手段とを備える情報処理装置。（１）
（付記２）  
前記判定手段は、前記１ラインおきパターン部分の面積と、１ラインおきパターンが包含される、画像が連結された領域面積との比を基準にして、前記１ラインおきパターンが前記画像内の部分を指し示すために使用されているポインタであるか否かを判定する付記１に記載の情報処理装置。（２）
（付記３）  
前記判定手段は、抽出された１ラインおきパターンと他の１ラインおきパターンとの間の近接度から、前記１ラインおきパターンが前記画像内の部分を指し示すために使用されているポインタであるか否かを判定する付記１または２に記載の情報処理装置。
（付記４）  
前記判定手段は、前記１ラインおきパターンが包含される、画像が連結された領域の寸法から、前記１ラインおきパターンが前記画像内の部分を指し示すために使用されているポインタであるか否かを判定する付記１から３のいずれかに記載の情報処理装置。
（付記５）  
前記判定手段は、前記１ラインおきパターンと前記フレームの外周との距離から前記１ラインおきパターンが前記画像内の部分を指し示すために使用されているポインタであるか否かを判定する付記１から４のいずれかに記載の情報処理装置。
（付記６）  
処理対象のフレームと前記処理対象のフレームから所定のフレーム数だけ離間した位置の参照フレームとの差分によって前記フレーム差分画像を形成する手段をさらに備え、
前記フレームは、フレームを構成するそれぞれの画素が２段階を越える明るさの段階を識別可能な画素値を有する多値画像であり、
前記抽出する手段は、
所定のしきい値に基づいて前記フレーム差分画像を２値画像に変換する手段と、
フレーム差分画像の画素に対応する前記処理対象のフレーム上の画素が所定の画素値より明るい場合に、前記しきい値を第１のしきい値に設定し、前記処理対象のフレーム上の画素が前記所定の画素値よりも明るくない場合に、前記しきい値を前記第１のしきい値より明るい第２のしきい値に設定するしきい値設定手段と、を有する付記１から５のいずれかに記載の情報処理装置。（３）
（付記７）  
コンピュータが、動画を形成し、インターレース方式で画素のラインが走査される複数のフレームに対して、前記フレーム間の差分であるフレーム差分画像を形成するステップと、
前記フレーム差分画像中で１ラインごとに画像の存在する画素と存在しない画素とが交
互に存在する、そのような１ラインおきパターンを抽出するステップと、
前記１ラインおきパターンが所定の基準に該当する移動体パターンであるか否かを判定する判定ステップとを実行する情報処理方法。（４）
（付記８）  
コンピュータに、動画を形成し、インターレース方式で画素のラインが走査される複数のフレームに対して、前記フレーム間の差分であるフレーム差分画像を形成するステップと、
前記フレーム差分画像中で１ラインごとに画像の存在する画素と存在しない画素とが交互に存在する、そのような１ラインおきパターンを抽出するステップと、
前記１ラインおきパターンが所定の基準に該当する移動体パターンであるか否かを判定する判定ステップとを実行させるコンピュータ実行可能なプログラム。（５）
【図面の簡単な説明】
【０１２３】
【図１】本発明の第１実施形態に係る情報処理装置の機能ブロック図である。
【図２】基準フレームと参照フレームとの関係を示す図である。
【図３】基準フレームからのＬＰ抽出処理を示すフローチャートである。
【図４】ＬＰ抽出処理の詳細を示すフローチャートである。
【図５】１ラインおきパターンの例である。
【図６】１ラインおきのパターン部分のみが抽出された画像の例である。
【図７】１ラインおきパターンを塗りつぶしたパターンの例である。
【図８】人領域抽出処理を示すフローチャートである。
【図９】ＬＰ抽出処理を示すフローチャートである。
【図１０】ｅ−ｌｅａｒｎｉｎｇコンテンツの構成画面例を示す図である。
【図１１】人を含まない画像に、従来技術を適用したポインタ抽出処理の正解率の例である。
【図１２】人を含む画像に、従来技術を適用したポインタ抽出処理の正解率の例である。
【図１３】異なる種類の複数のビデオについての本情報処理装置の評価結果を示す図である。
【図１４】ＬＰあり、なしのフレームごとにまとめた本情報処理装置の抽出正解率を示す図である。
【図１５】従来技術の評価に使用されたスクリーンだけを撮影したビデオ１１種と今回の実際の講義ビデオ４種を総合して本情報処理装置を評価した結果である。
【図１６】従来技術の評価に使用されたビデオ１１種と今回の実際の講義ビデオ４種を総合して評価した従来技術の評価である。
【図１７】従来技術の評価に使用されたビデオ１１種と今回の実際の講義ビデオ４種を総合して評価した本情報処理装置の評価である。
【符号の説明】
【０１２４】
１  基準フレームからのＬＰ抽出部
２  人領域抽出部
３  ＬＰ抽出処理部
ＦＣ  基準フレーム
ＦＲ、ＦＲ−１からＦＲ−６  参照フレーム
ＦＤ  差分フレーム
【図１】
0004727475.tif 000002
【図２】
0004727475.tif 000003
【図３】
0004727475.tif 000004
【図４】
0004727475.tif 000005
【図５】
0004727475.tif 000006
【図６】
0004727475.tif 000007
【図７】
0004727475.tif 000008
【図８】
0004727475.tif 000009
【図９】
0004727475.tif 000010
【図１０】
0004727475.tif 000011
【図１１】
0004727475.tif 000012
【図１２】
0004727475.tif 000013
【図１３】
0004727475.tif 000014
【図１４】
0004727475.tif 000015
【図１５】
0004727475.tif 000016
【図１６】
0004727475.tif 000017
【図１７】
0004727475.tif 000018