(57)【要約】【課題】動画像、あるいは静止画像集合の内容を簡単に確認できる画像処理装置、方法及びプログラムを提供すること。【解決手段】実施形態によれば、画像処理装置は、検出手段と、算出手段とを具備する。検出手段は、画像における筆記量を求める。算出手段は、筆記が一段落したことを示す終端タイミングを検出手段により求められた筆記量に基づいて求める。【選択図】図２
2016019138.tif 000002
【特許請求の範囲】
【請求項１】
画像における筆記量を求める検出手段と、
筆記が一段落したことを示す終端タイミングを前記検出手段により求められた前記筆記量に基づいて求める算出手段と、
を具備する画像処理装置。
【請求項２】
前記終端タイミングにより前記画像を分割して得られる複数のチャプタ毎に前記画像を再生する再生手段をさらに具備する請求項１記載の画像処理装置。
【請求項３】
複数の終端タイミングにより前記画像を分割して得られる複数のチャプタを示す複数のチャプタ画像を表示する表示手段と、
前記表示手段により表示された前記複数のチャプタの画像のいずれかのチャプタ画像の選択に応答して、前記選択されたチャプタ画像に対応する終端タイミング、あるいは当該終端タイミングの１つ前の終端タイミングから前記画像を再生する再生手段と、
をさらに具備する請求項１記載の画像処理装置。
【請求項４】
前記表示手段は、前記複数の終端タイミングに対応する画像を前記複数のチャプタ画像として表示する請求項３記載の画像処理装置。
【請求項５】
前記表示手段は、前記複数の終端タイミングに対応する画像のうちの筆記が一段落した部分の画像を組み合わせて１枚のチャプタ画像として表示する請求項３記載の画像処理装置。
【請求項６】
前記表示手段は、筆記が一段落した部分の画像を強調して前記チャプタ画像を表示する請求項３記載の画像処理装置。
【請求項７】
前記検出手段は、画像から背景と筆記ブロックとを抽出し、前記背景に対する前記筆記ブロックの比を前記筆記量として求める請求項１乃至請求項６のいずれか一項記載の画像処理装置。
【請求項８】
前記検出手段は、画像から多数の筆記ブロックを抽出し、前記多数の筆記ブロックのうちの複数の筆記ブロックを結合してなる１つの筆記領域に対する前記複数の筆記ブロックの占める割合を前記筆記量として求める請求項１乃至請求項６のいずれか一項記載の画像処理装置。
【請求項９】
前記検出手段は、前記画像において色が一定の領域を前記背景として求める請求項７記載の画像処理装置。
【請求項１０】
前記検出手段は、前記背景と異なる部分であって時間経過に関わらず位置が変化しない部分を前記筆記ブロックとして検出する請求項７記載の画像処理装置。
【請求項１１】
前記検出手段は、前記複数の筆記ブロックを筆記方向に基づいて結合して前記筆記領域とする請求項８記載の画像処理装置。
【請求項１２】
前記算出手段は、前記筆記量が極大となるタイミングを前記終端タイミングとして算出する請求項７または請求項８記載の画像処理装置。
【請求項１３】
前記算出手段は、前記筆記量が所定値となるタイミングを前記終端タイミングとして算出する請求項７または請求項８記載の画像処理装置。
【請求項１４】
前記算出手段は、前記筆記量の変化が所定値以下となるタイミングを前記終端タイミングとして算出する請求項７または請求項８記載の画像処理装置。
【請求項１５】
画像における筆記量を求め、
筆記が一段落したことを示す終端タイミングを前記筆記量に基づいて求め、
前記終端タイミングに応じたチャプタ画像を表示する方法。
【請求項１６】
コンピュータにより実行されるプログラムであって、前記プログラムは、
画像における筆記量を求め、
筆記が一段落したことを示す終端タイミングを前記筆記量に基づいて求め、
前記終端タイミングに応じたチャプタ画像を表示するものであるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、方法及びプログラムに関する。
【背景技術】
【０００２】
動画像、あるいは静止画像集合の全体の内容を確認して、閲覧したいトピックの画像に効率よくアクセスすることが望まれている。例えば、教育関係では、講師がスライド投影を使って授業している様子を撮影した講義ビデオにおいて、スライド内容の大幅な変化に基づいて講義全体を複数のトピックに分割し、各トピックの内容を表わすトピック画像を生成し、トピック画像の一覧を提示する技術が知られている。ユーザはトピック画像を見ることにより閲覧したいトピックを簡単に見つけることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−４０９２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術は、授業内容を記したスライドを投影することを前提としているため、スライド内容の大幅な変化に基づいてトピックに分割することができる。しかしながら、板書のように書いたり消したりを繰り返し、内容が時々刻々と変化する画像に対しては、トピックに分割することができないという課題があった。この課題は教育関係に限らず、チャプタ分割されていない映像コンテンツ（動画に限らず、静止画集合でも同様）の視聴に際して同様に起り得る。また、板書は教育関係に限らず、土木工事において工事の進捗状況を記述した黒板を撮影する動画も同様な課題を有する。
【０００５】
本発明の目的は、動画像、あるいは静止画像集合の内容を簡単に確認できる画像処理装置、方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
実施形態によれば、画像処理装置は、画像における筆記量を求める検出手段と、筆記が一段落したことを示す終端タイミングを検出手段により求められた筆記量に基づいて求める算出手段と、を具備する。
【図面の簡単な説明】
【０００７】
【図１】一実施形態に係る画像処理装置のシステム構成を示すブロック図である。
【図２】オートチャプタアプリケーションの動作を示すブロック図である。
【図３】背景・筆記ブロック抽出部５４の動作例を説明する図である。
【図４】構造化処理部５８の動作例を説明する図である。
【図５】終端算出部５６の動作例を説明するための板書の変化状態を示す図である。
【図６】終端算出部５６の動作例を説明するための領域毎の筆記量の時間変化を示す図である。
【図７】チャプタ画像生成部６０の動作例を説明する図である。
【図８】ＬＣＤ４２の表示例を説明する図である。
【図９】ＬＣＤ４２の他の表示例を説明する図である。
【図１０】チャプタ画像生成部６０の他の動作例を説明する図である。
【図１１】オートチャプタアプリケーションをサーバで実行する第２実施形態の構成を示す図である。
【発明を実施するための形態】
【０００８】
以下、画像処理装置の実施形態について図面を参照して説明する。
【０００９】
画像処理装置の実施形態は、デスクトップ型又はラップトップ型の汎用計算機、携帯型の汎用計算機、その他の携帯型の情報機器、撮像デバイスを有する情報機器、スマートフォン、その他の情報処理装置など、様々なデバイスによって実現可能である。ここでは、ラップトップ型の汎用計算機を例にとり説明する。図示しないが、ラップトップ型の汎用計算機は、コンピュータ本体と、本体に対してヒンジによって開閉自在に取り付けられているディスプレイユニットとから構成される。コンピュータ本体は、薄い箱形の筐体を有しており、その上面には、キーボード、電源ボタン、タッチパッド、スピーカ等が配置されている。ディスプレイユニットにはＬＣＤパネルが組み込まれている。
【００１０】
図１は、ラップトップ型の汎用計算機のシステム構成を示すブロック図である。汎用計算機は、ＣＰＵ１２、システムコントローラ１４、主メモリ１６、ＢＩＯＳ−ＲＯＭ１８、ストレージデバイス（ＨＤＤ、ＳＳＤ等）２０、光学ディスクドライブ（ＤＶＤドライブ等）２２、ディスプレイコントローラ２６、サウンドコントローラ２８、無線通信デバイス３０、ＬＡＮインターフェース３２、エンベデッドコントローラ３４等を備える。
【００１１】
ＣＰＵ１２は、汎用計算機に実装された各種コンポーネントの動作を制御するプロセッサである。ＣＰＵ１２は、不揮発性のストレージデバイス２０から主メモリ１６にロードされる各種ソフトウェアを実行する。このソフトウェアには、オペレーティングシステム（ＯＳ）１６ａ、オートチャプタアプリケーションプログラム１６ｂ等を含む。オートチャプタアプリケーションプログラム１６ｂは映像コンテンツを分析して、トピック終了タイミングを検出して、映像コンテンツをトピック毎に複数のチャプタに分割する。
【００１２】
ＣＰＵ１２は、ＢＩＯＳ−ＲＯＭ１８に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
【００１３】
システムコントローラ１４は、ＣＰＵ１２と各種コンポーネントとの間を接続するデバイスである。システムコントローラ１４には、主メモリ１６をアクセス制御するメモリコントローラも内蔵されている。システムコントローラ１４には、主メモリ１６、ＢＩＯＳ−ＲＯＭ１８、ストレージデバイス２０、光学ディスクドライブ２２、ディスプレイコントローラ２６、サウンドコントローラ２８、無線通信デバイス３０、エンベデッドコントローラ３４等が接続される。
【００１４】
ディスプレイコントローラ２６はＬＣＤ４２を制御する。ディスプレイコントローラ２６は、ＣＰＵ１２の制御のもとで表示信号をＬＣＤ４２に送信する。ＬＣＤ４２は、表示信号に基づいて画面イメージを表示する。サウンドコントローラ２８は、音声信号を処理するコントローラであり、スピーカ４４による音声出力を制御する。無線通信デバイス３０は、例えばＩＥＥＥ  ８０２．１１ｇ規格の無線ＬＡＮや３Ｇ移動通信などの無線通信、あるいはＮＦＣ（Near Field Communication)などの近接無線通信を実行し、ネットワークに接続されるように構成されたデバイスである。ＬＡＮインターフェース３２は、例えばＩＥＥＥ  ８０２．３規格の有線通信を実行し、ネットワークに接続されるように構成されている。エンベデッドコントローラ３４は、電力管理のためのコントローラを含むワンチップマイクロコンピュータである。エンベデッドコントローラ３４は、図示しないユーザによる電源ボタンの操作に応じて汎用計算機を電源オンまたは電源オフする機能を有している。キーボード／マウス４６がエンベデッドコントローラ３４に接続される。
【００１５】
次に、オートチャプタアプリケーションプログラム１６ｂの概要を説明する。オートチャプタアプリケーションプログラム１６ｂは、例えば講師がプレゼンテーションのスライドを投影している講演風景や、教師が黒板あるいは白板（以下、黒板と白板とを黒板と総称する）に筆記している授業風景を撮影した映像から関心のある情報にアクセスするための映像視聴アプリケーションとともに使用されることがある。なお、処理対象である映像は動画に限らず、静止画の集合でもよい。さらに、教育関係の映像でなくても、黒板を使う会議、打ち合わせ等の映像でもよい。オートチャプタアプリケーションプログラム１６ｂは、チャプタ分割されていない講演や授業の映像を見る際、トピックの終端タイミングを算出し、映像を複数のトピック、すなわちチャプタに分割し、チャプタ単位で映像を頭出しすることや、トピック終端タイミング周辺のスナップショットを代表画像としてサムネイル表示することができるので、映像全体の内容を効率良く確認することができる。
【００１６】
従来は、一定時間同じ内容が表示されるスライドを投影している風景を撮影した映像についてはスライド内容の変化に基づいてチャプタに分割することができたが、板書のように書いたり消したりを繰り返し、内容が時々刻々と変化する映像に対しては、トピック終端タイミングを検出することができなかったので、チャプタに分割することができなかった。これに対して、オートチャプタアプリケーションプログラム１６ｂは、映像から筆記ブロックを抽出し、その筆記量を計算し、筆記量に基づいて、あるトピックに関する筆記が一段落したタイミングを示す終端タイミング（トピックの開始／終了ポイント）を算出するものである。
【００１７】
図２は、オートチャプタアプリケーションプログラム１６ｂの機能ブロックを示す。映像ソースからの映像が先ず時系列画像取得部５２に入力される。映像ソースは、例えば授業風景、講演風景等を撮影した教材ＤＶＤを再生する光学ディスクドライブ２２の出力信号であってもよいし、インターネットからダウンロードしストレージデバイス２０に一旦格納した教材コンテンツであってもよい。さらには、授業風景、講演風景等を撮影したビデオカメラからの出力信号でもよい。
【００１８】
時系列画像取得部５２は、入力信号からオートチャプタ処理の対象となる時系列画像を取得する。処理対象の時系列画像は、講義を進める講師や会議を遂行する司会者などが黒板や白板等に文字を筆記する状況を撮影した時系列画像である。入力信号がＭＰＥＧ符号化されている場合は、時系列画像取得部５２で復号されて元の時系列画像が取り出される。時系列画像の各フレーム画像あるいは各フィールド画像には時刻情報が付随している。この時刻情報は背景・筆記ブロック抽出部５４、構造化処理部５８で利用されるし、チャプタ画像生成部６０でも利用される。背景・筆記ブロック抽出部５４、構造化処理部５８では、時刻情報に基づいて筆記ブロックや筆記領域（後述）が求められる。チャプタ画像生成部６０では、終端タイミングの時刻を持つ画像がチャプタ画像とされることがある。
【００１９】
処理対象の時系列画像は背景・筆記ブロック抽出部５４に入力される。抽出部５４は、時系列画像を解析して、各フレームで背景を抽出し、背景から筆記ブロックを抽出する。背景とは、講師が文字を筆記する可能性のある最大の領域（具体的には、黒板）であり、画素の色が長時間変化しない最大の領域を見つけることにより抽出される。時系列画像では、黒板がフレーム枠一杯に写っているとは限らず、黒板以外の部分（例えば、部屋の壁）も写っている可能性がある。
【００２０】
筆記ブロックは、筆記行為により背景と異なる領域が表出される位置情報および時間情報からなる。言い換えると、背景と異なる画素値である期間の開始時刻と終了時刻を領域毎に記述する。ここで、位置情報（領域）は画素単位で表現することもできるし、背景と異なる画素を含む一定の大きさの領域で表現することもできる。後段のブロックの処理負荷を考慮すると、１画素単位ではなく、１文字、１単語あるいは１行単位であってもよい。例えば、筆記ブロックは次のように表わされる。
【００２１】
（ｓ１，ｘｂ１，ｙｂ１）〜（ｅ１，ｘｂ１，ｙｂ１）、
（ｓ２，ｘｂ２，ｙｂ１）〜（ｅ２，ｘｂ２，ｙｂ１）、
…
ｓは開始時刻、ｅは終了時刻、ｘｂ，ｙｂは領域の座標集合であり、例えば、領域（ｘｂ１，ｙｂ１）はｓ１時刻からｓ２時刻まで背景と異なる画素値であることを示す。
【００２２】
筆記ブロックを検出すると、筆記行為の時系列軌跡や、ある時刻における筆記画像系列を抽出することができる。
【００２３】
教師が映像中に写っている場合、教師も背景と異なる画素を含むので、筆記ブロックと教師とを区別しなければならない。筆記ブロックは一度板書されると、それが消されるまでの間、位置が変わらないのに対して、教師は動いているので、時間とともに位置が変化する。この違いに基づいて、抽出部５４は、筆記ブロックと教師とを識別する。
【００２４】
各フレームで抽出された背景と筆記ブロックは終端算出部５６に入力され、筆記ブロックは構造化処理部５８に入力される。構造化処理部５８は、抽出部５４から入力された複数の筆記ブロックを時間および空間でのまとまりに基づいて筆記領域として統合し、終端算出部５６に筆記領域を出力する。時間的なまとまりとは、時間的に連続して筆記された複数の筆記ブロックの集合を示すもので、意味のある単位として表現することができる。空間的なまとまりとは、筆記画素の位置が隣接する複数の筆記ブロックの集合を示すもので、時間と同じく、意味のある単位として表現することができる。例えば、構造化処理部５８は、複数の筆記ブロックを筆記方向に基づいて結合して筆記領域としてもよい。構造化処理の理由は、黒板全体を使って１つのトピックに関する筆記をする場合と、黒板を幾つかの領域に分割し、複数のトピックに関する筆記をそれぞれの領域毎に筆記する場合とでは終端算出の原理が異なるからである。
【００２５】
終端算出部５６は、背景・筆記ブロック抽出部５４から入力された背景、筆記ブロック及び／または構造化処理部５８から入力された筆記領域を用いて、時系列画像における筆記量を求め、筆記量に基づいて、あるトピックに関する筆記が一段落したタイミングを示す終端タイミングを算出する。背景、筆記ブロックを用いるか、筆記領域を用いるかは、処理対象である時系列画像の種類により決めることが望ましい。種類は、上述したように黒板全体を使うか、領域毎に使うかに関するものである。種類が予め分かっている場合は、ユーザが切り替え、あるいはコンテンツの属性情報として種類情報を持たせて、自動的に切り替えてもよい。種類が不明な場合は、筆記領域を用いることが考えられる。しかし、いずれか一方のみではなく、両方を併用してもよい。
【００２６】
筆記量は、背景に対する筆記ブロックの占める割合、及び／または複数の筆記ブロックを結合してなる１つの筆記領域に対する複数の筆記ブロックの占める割合として求めることができる。一般的な板書の態様には、黒板全体を使って全部書いたら全部消して、全体的に書き足しする態様と、黒板の左右半分づつ使って全部書いたら左半分を消して、左半分に書き足しし、左半分を書き終わったら、右半分を消して、右半分に書き足しし、を繰り返す態様がある。前者は、背景と筆記ブロックとの比で筆記量を求める方が正確なことが多く、後者は筆記領域と筆記ブロックとの比で筆記量を求める方が正確なことが多い。
【００２７】
教師が黒板に対して筆記するにつれて筆記量は増加する。黒板に筆記できるスペースが少なくなったり、無くなると、全部あるいは一部を消して新たに筆記スペースを確保することがある。そのため、筆記量は時間の経過とともに増加するが、筆記スペースが少なくなる、あるいは無くなり、既筆記ブロックが消されると、筆記量は一旦減少する。なお、筆記量の増加の割合は、筆記スペースが少なくなるにつれて小さくなり、筆記スペースが無くなると、全く増加せず、飽和状態となる。その後、既筆記ブロックが消されると、筆記量は減少する。このため、終端算出部５６は、筆記量が極大となるタイミング、筆記量が所定値（例えば、８０％）に達するタイミング、あるいは筆記量が略飽和する（変化量が閾値以下となる）タイミングの少なくともいずれかを終端タイミングとして算出する。この算出基準は、処理対象である時系列画像の種類により決めることが望ましい。ここでの種類は、部分的に消去して書き直すことが多いか、黒板全体を目一杯使って消す回数が少ないか等による。種類が予め分かっている場合は、ユーザが切り替え、あるいはコンテンツの属性情報として種類情報を持たせて、自動的に切り替えてもよい。しかし、いずれか一つのみではなく、複数を併用してもよい。
【００２８】
終端算出部５６の出力及び時系列画像取得部５２で取得された時系列画像がチャプタ画像生成部６０に供給される。チャプタ画像生成部６０は、終端タイミングに基づき時系列画像を複数のチャプタに分割する。そして、チャプタ毎のチャプタ画像を生成し、時系列画像の頭出し選択のためにチャプタ画像をＬＣＤ４２で表示する。チャプタ画像は、チャプタの内容を表わす代表画像であり、例えば、終端タイミングの算出に使われた筆記ブロック、筆記領域を含む画像に情報量が最も多いので、チャプタ画像としてもよい。もしくは、前回の終端タイミングを起点として、タイトルや主題などの情報が途切れずに筆記ブロックとして表出される最初のまとまりを含む画像を、チャプタ画像としても良い。
【００２９】
ＬＣＤ４２は複数のチャプタ画像を表示可能であり、キーボード／マウス４６によりいずれかのチャプタ画像が選択されると、選択されたチャプタ画像に応じた箇所から時系列情報の再生が開始される。これを実現するために、時系列画像は時系列画像再生部６２に供給され、選択されたチャプタを示すチャプタ指定情報がキーボード／マウス４６から時系列画像再生部６２に供給される。なお、終端タイミングはあるトピックに関する講義の終わりのタイミングであるので、そこから再生すると、直ぐに次のトピックに移ってしまうので、選択された終端タイミングの１つ前の終端タイミングから再生してもよい。
【００３０】
このように、板書風景を撮影した画像から抽出した筆記ブロックに基づいて、トピックの終了／開始ポイントである終端タイミングを算出することにより、板書のように内容が時々刻々と変化する画像に対してもトピックの終了／開始ポイントを算出することが可能となる。これにより、時系列画像を終端タイミングでチャプタ分割することができ、チャプタの代表画像を見ることにより、時系列画像全体を短時間に把握することができ、所望のトピックの画像を素早く再生することができる。
【００３１】
以上が本実施形態の基本構成であり、以下に具体的な例を取りあげて詳細に説明する。
【００３２】
例１：時系列画像取得部５２、背景・筆記ブロック抽出部５４、構造化処理部５８、終端算出部５６からなる基本実施例（チャプタ分割）
例１は、板書しながらの講義風景を撮影した動画像を対象とし、動画像から筆記ブロックを抽出し、それに基づいて、あるトピックに関する筆記が一段落したタイミングを示す終端タイミングを算出して、動画像を終端タイミングに基づいてチャプタに分割するものである。
【００３３】
背景・筆記ブロック抽出部５４は、時系列画像取得部５２から入力された画像を解析して背景と筆記ブロックとを抽出する。図３は背景・筆記ブロック抽出部５４の動作例を説明する。図３の（ａ）に示すように、黒板以外の部分も写っている時系列画像から画素の色が長時間変化しない背景（黒板）を抽出する。
【００３４】
背景には筆記行為によって表出される筆記ブロックの他に、筆記者により筆記ブロックや背景が隠されるオクルージョンブロックが含まれる。筆記ブロックとオクルージョンブロックを区別する方法の一つとして、時空間解析がある。撮像カメラの視野が固定されていると仮定すると、オクルージョンの原因となる筆記者は時間と共に位置を移動するのに対して、筆記行為によって表出した筆記ブロックは消去されるまで移動しない。この点に着目して、図３の（ｂ）に示すように、背景画像をある一定の時間に亘って時空間解析すると、背景画像のＸ−Ｔ断面やＹ−Ｔ断面において、筆記ブロックは時間経過に関わらず位置が変化しないので、背景と筆記ブロックとの差分が時間軸ｔ方向のエッジ（Ｘ位置、Ｙ位置が一定）として表出される。他方、筆記者は時間の経過とともに移動するので、背景とオクルージョンブロックとの差分はＸ、Ｙ位置が変動するので、エッジとしては表出されない。Ｘ−Ｔ断面やＹ−Ｔ断面のエッジを各時間におけるＸＹ座標の位置に復元することにより、図３の（ｃ）に示すように、画像における筆記ブロックを抽出することができる。図３の例では、ＸＴ断面やＹＴ断面において表出するエッジの太さの制限はなく、どのような細いエッジでもエッジとして表出しているので、筆記ブロックは文字もしくは文字を構成する要素の単位で抽出される。さらにＸＹ座標の位置に復元した筆記ブロックの出現位置を時間的に追跡し同一の筆記方向が継続する筆記ブロックを統合することによって行単位などより大きなブロックを抽出することができる。
【００３５】
構造化処理部５８は、背景・筆記ブロック抽出部５４から入力された複数の筆記ブロックを時間および空間でのまとまりを考慮して、筆記領域として統合した上で、終端算出部５６に筆記領域を出力する。図４は構造化処理部５８の動作例を説明する。図４の（ａ）に示すように、黒板の画像に多数の筆記ブロックが含まれている。ここでは、筆記ブロックは文字、単語、あるいは行単位である。これらの筆記ブロックを１つ以上の筆記領域に統合する。筆記ブロックを統合する際の基準の１つとして、筆記ブロックの主要な筆記方向がある。黒板の画像に含まれる全ての筆記ブロックに対して時間的に隣接する筆記ブロックの位置関係のヒストグラムを算出し、頻度の大きな筆記方向を主要な筆記方向として決定する。横書きの場合は、位置関係は右方向であり、縦書きの場合は、位置関係は下方向である。時間的に隣接する筆記ブロックの位置関係が抽出した主要な筆記方向と同じであれば、それらの筆記ブロックを統合する。さらに、主要な筆記方向とは異なる方向の筆記ブロック（例えば、１行の筆記が終わって、次の行の筆記に移る際は、位置関係は右方向から左方向に一旦変化する。次の行の筆記では位置関係は再び右方向となる）は折り返しが発生したと判断して、折り返しが発生したブロックも統合して一つの筆記領域とする。このようにすることで、図４の（ｂ）に示すように、板書内の複数の筆記ブロックを１つ以上の意味のある単位である筆記領域として統合できる。
【００３６】
終端算出部５６は、背景・筆記ブロック抽出部５４から入力された背景、筆記ブロック、及び／または構造化処理部５８から入力された筆記領域を用いて、筆記量を算出して、筆記量が極大、あるいは所定値に達したタイミング、または筆記量が略飽和する（筆記量の変化が閾値以下となる）ことを、あるトピックに関する筆記が一段落したタイミングを示す終端タイミングとして算出する。図５は板書の時間推移の例を示し、図６は図５の（ｃ）の板書における筆記量の時間推移の例を示す。図６の筆記量は、筆記領域に対する複数の筆記ブロックの占める割合として求められる。
【００３７】
図５の（ａ）、（ｂ）、（ｃ）は時刻ｔ１、ｔ２、ｔ３における板書状態であり、時刻ｔ１では表題の筆記領域Ｗ１の筆記は完了しており、時刻ｔ２では賛成理由の筆記領域Ｗ２、反対理由の筆記領域Ｗ３の筆記は途中であり、時刻ｔ３では領域Ｗ２、Ｗ３の筆記は完了している。なお、領域Ｗ３の方が筆記の進み具合が早く、領域Ｗ２よりも早く筆記が完了するとする。筆記途中の時刻ｔ１、ｔ２では構造化処理は完了しておらず、筆記領域Ｗ１、Ｗ２、Ｗ３は未検出状態であるが、ほぼ全ての筆記ブロックが筆記された時刻ｔ３で、筆記ブロックが構造化処理され、３つの筆記領域Ｗ１、Ｗ２、Ｗ３に統合される。時刻ｔ３において各筆記ブロックがどの筆記領域に入るかが分かるので、時刻ｔ３以降、図６の（ａ）、（ｂ）、（ｃ）に示すように、各筆記領域毎の筆記量の時間変化を知ることが出来る。
【００３８】
表題領域Ｗ１は、賛成理由領域Ｗ２と、反対理由領域Ｗ３が筆記される前に筆記される。賛成理由領域Ｗ２、反対理由領域Ｗ３は理由が見つかる度、筆記が追加される。この例では３つの筆記領域Ｗ１、Ｗ２、Ｗ３は一度書かれたらそのままであり、書き間違いを除いて、消去されることはない。そのため、終端タイミングとして算出するための所定条件は、筆記量の変化が殆ど無くなることとすることができる。そのため、図６の（ａ）、（ｂ）、（ｃ）に示すように、筆記領域Ｗ１は時刻ｔ１が、筆記領域Ｗ２、Ｗ３は時刻ｔ２が終端タイミングであると算出できる。しかし、算出条件は、これに限らず、筆記量が所定値（例えば、８０％）を越えること、あるいは筆記量が極大に達することの少なくともいずれかを算出条件としてもよい。
【００３９】
このように、動画像から抽出した背景と筆記ブロックとの比、及び／または動画像から抽出した筆記ブロックのまとまりである筆記領域を求めて、筆記領域と筆記ブロックとの比から計算した筆記量に基づいて、筆記ブロック及び／または筆記領域への筆記が一段落することを算出することができる。そのため、内容が時々刻々と変化する筆記過程を撮影した画像に対してもトピックの開始／終了ポイントを検出し、画像をトピックに応じて複数のチャプタに分割することが可能になる。チャプタの開始点を順次再生することにより、トピックの終了ポイントのみを効率よく閲覧することができ、時系列画像全体を短時間に把握することができ、所望のトピックの画像を素早く見つけることができる。
【００４０】
また、筆記ブロックを求めるに際して、背景と異なる画素値の領域の時間的な位置変化の有無に基づいて、筆記ブロックとオクルージョンブロックを区別することができるので、筆記量を正確に求めることができる。
【００４１】
例２：例１の構成にチャプタ画像生成部６０、ＬＣＤ４２を追加した例
例２は、板書しながらの講義風景を撮影した動画像を対象にして、筆記ブロック、筆記領域を抽出し、それに基づいて、あるトピックに関する筆記が一段落したタイミングを示す終端タイミングを算出して、動画像を終端タイミングに基づいてチャプタに分割し、チャプタを代表するチャプタ画像を表示し、再生するチャプタの選択を容易とするものである。例２は、チャプタ画像生成部６０によってチャプタ画像を生成する点と、チャプタを選択するためのＬＣＤ４２における画面を表示する点と、選択されたチャプタ画像に応じたタイミングから再生を開始する点が例１とは異なるのみであるので、異なる点について詳細に説明する。
【００４２】
図７は、チャプタ画像生成部６０によって生成されるチャプタ画像の例を示す。終端算出部５６では、まとまりのある筆記が一段落した時刻を終端タイミングとして算出するため、算出した終端タイミングと同じ時刻の画像をチャプタ画像（チャプタ終了時点の画像）として生成する方法が最も単純な動作である。例２では、筆記量は筆記領域に対する筆記ブロックの割合により求められる。図７の上の段の４枚の画像は、４つの終端タイミングのチャプタ画像である。左から順に、左半分の領域Ｒ１に関する筆記の終端タイミング、右半分の領域Ｒ２に関する筆記の終端タイミング、領域Ｒ１の筆記を消した後に筆記された左半分の領域Ｒ３に関する筆記の終端タイミング、領域Ｒ２の筆記を消した後に筆記された右半分と領域Ｒ３を含む黒板全体Ｒ４に関する筆記の終端タイミングのチャプタ像である。これらをそのままチャプタ画像とすると、モバイル端末等の表示領域が小さな環境での視聴も考慮に入れると、表示領域に関して無駄が多い。そこで、図７の下の段に示すように、図７の上の段の４枚のチャプタ画像から終端タイミングの算出に関係する領域Ｒ１、Ｒ２、Ｒ３、Ｒ４のみの画像を視聴端末の画面サイズに合わせて組み合わせた合成チャプタ画像を生成する。このように、終端タイミングの画像において終端タイミングの算出に関与しない領域は合成チャプタ画像から除外されるので、端末の画面を効率よく利用することができる。なお、算出した終端タイミング（チャプタ画像）が多数ある場合は、１枚の合成チャプタ画像に多数枚のチャプタ画像を組み合わせることはせず、数枚ずつを組み合わせて複数枚の合成チャプタ画像を生成してもよい。
【００４３】
図８にはＬＣＤ４２で表示されるチャプタ画像一覧の表示例を示す。ここでは、図７の上の段に示す４枚のチャプタ画像を２枚ずつ表示する。右端、左端の三角形アイコンが選択されると、表示されるチャプタ画像が２枚同時に切り替わる。
【００４４】
図９はＬＣＤ４２で表示されるチャプタ画像一覧の他の表示例を示す。ここでは、図７の下の段に示す合成チャプタ画像を２枚ずつ表示する。右端、左端の三角形アイコンが選択されると、表示される合成チャプタ画像が２枚同時に切り替わる。
【００４５】
図８、図９の一覧表示において、いずれかのチャプタ画像（図９の場合はチャプタ画像内の一領域）が選択されると、選択されたチャプタ画像に対応する終端タイミングから時系列画像を再生することができる。ただし、終端タイミングは次のトピックの開始ポイントでもあるので、終端タイミングから再生するとすぐに次のトピックに切り替わり、選択した終端タイミングを含むトピックを閲覧することができない。そのため、選択したチャプタ画像に対応する終端タイミングの１つ前の終端タイミングから時系列画像を再生してもよい。これにより、所望のトピックに関するチャプタ画像を冒頭から確認することができる。
【００４６】
このように、動画像から抽出した筆記ブロックのまとまり（筆記領域）を算出して、筆記が一段落したタイミングを終端タイミングとして算出するとともに、終端タイミングにより動画像を分割して得られたチャプタを代表するチャプタ画像の一覧をユーザに提示して、ユーザにチャプタ画像を選択させることにより、ユーザの関心がある閲覧したいチャプタを素早く再生することができる。このため、全ての時系列動画を再生することなく、興味のあるチャプタだけを効率よく視聴することが可能になる。さらに、筆記領域に対する筆記ブロックの比により筆記量を求めて終端タイミングを算出しているので、終端タイミングの算出に関係ない領域も画像に含まれている。この例では、終端タイミングに関係する画像を組み合わせて1枚の合成チャプタ画像を作る際に、終端タイミングの算出に関係ない領域は除外される。そのため、チャプタの頭出しのためにチャプタ画像の一覧を表示する際に、実際に終端算出に使用された領域のみが組み合わせて表示されるので、画面が小さい端末でも、チャプタ画像一覧を効率よく表示することができる。
【００４７】
例３：強調表示
例３は、講義場面での板書コンテンツをモチーフに、終端タイミングに対応する筆記領域のみを強調表示するものである。例３は、チャプタ画像生成部６０によって終端タイミングに対応するチャプタ画像を生成する際に、終端タイミングの算出に関係する筆記領域を強調表示する点が例２と異なるため、チャプタ画像生成部６０についてのみ詳細に説明する。
【００４８】
図１０は、チャプタ画像生成部６０によって生成されるチャプタ画像の例を示す。終端算出部５６では、まとまりのある筆記が一段落した時刻を終端タイミングとして算出しているため、算出した終端タイミングと同じ時刻の画像をチャプタ画像として生成する方法が最も単純な動作である。しかしながら、板書では筆記者が意識的に全体の領域を複数に分割して、領域毎に消したり書いたりを繰り返すことが多い。そのため、単に算出した終端タイミングと同じ時刻の画像をチャプタ画像として生成する方法では、過去に筆記が一段落した領域、あるいは筆記が未だ一段落していない領域も画像に含まれる。この画像をチャプタ画像とすると、過去の筆記が残っているので、当該タイミングで真に筆記が一段落した領域を見つけることが困難となる。そこで、図１０に示すように、全体の画像のうち終端タイミングに対応する筆記領域部分のみを強調表示した画像をチャプタ画像とすることにより、チャプタ画像から意味のある筆記内容を確認することができる。図１０の例は、図７の上の段の終端算出画像において算出に係る領域Ｒ１、Ｒ２、Ｒ３、Ｒ４を強調表示したものであり、図７のような合成処理が不要で、一段落した筆記内容を把握することができる。
【００４９】
変形例
上述した実施形態は、汎用計算機単体の例であるが、汎用計算機が全ての処理を行うのではなく、図１１に示すように、一部の処理を他の装置、例えばネットワーク上のサーバで行うようにしても良い。ユーザ端末８２がインターネット等のネットワーク８４を介してサーバ８６に接続される。サーバ８６には多数の教材コンテンツを格納するデータベース８８が接続される。ユーザ端末８２のシステム構成は図１とほぼ同じであるが、オートチャプタアプリケーションプログラムはユーザ端末８２に実装されず、サーバ８６側に実装される点が異なる。
【００５０】
ユーザ端末８２はネットワーク８４を介してサーバ８６に、ある教材コンテンツの一覧画像を要求する。サーバ８６はデータベース８８に対して、ある教材コンテンツの画像を要求し、データベース８８から当該画像を受信する。サーバ８６はオートチャプタアプリケーションプログラムを実行し、データベース８８から受信した画像に対して、図２のような処理を行う。これにより、教材コンテンツがチャプタ分割され、チャプタ画像が得られる。サーバ８６は、チャプタ画像をユーザ端末８２に送信し、ユーザ端末８２で、図８、図９、図１０に示すようなチャプタ画像を表示させ、ユーザにチャプタ画像を選択させる。選択したチャプタ画像に対応するタイミングから教材コンテンツが再生される。
【００５１】
このような構成によっても、実施形態と同様な作用効果を奏する。
【００５２】
なお、図１１の例では、教材の画像データはサーバ８６側に格納されているとしたが、ユーザ端末８２が画像データを持っていて、サーバ８６にアップロードして、サーバ８６側でチャプタに分割して、その結果であるチャプタ画像をユーザ端末８２にダウンロードする構成でもよい。
【００５３】
また、上述の実施形態の中で示した処理手順は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態の画像処理装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された処理手順は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、またはこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の画像処理装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合または読み込む場合はネットワークを通じて取得または読み込んでもよい。  
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。  
さらに、本実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。  
また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。
【００５４】
なお、本実施形態におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。  
また、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態における機能を実現することが可能な機器、装置を総称している。
【００５５】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５６】
５２…時系列画像取得部、５４…背景・筆記ブロック抽出部、５６…終端算出部、５８…構造化処理部、６０…チャプタ画像生成部、６２…時系列画像再生部
【図１】
2016019138.tif 000003
【図２】
2016019138.tif 000004
【図３】
2016019138.tif 000005
【図４】
2016019138.tif 000006
【図５】
2016019138.tif 000007
【図６】
2016019138.tif 000008
【図７】
2016019138.tif 000009
【図８】
2016019138.tif 000010
【図９】
2016019138.tif 000011
【図１０】
2016019138.tif 000012
【図１１】
2016019138.tif 000013