(57)【要約】【課題】  表示されている情報を保存等のために出力する際に、自動的に必要かつ最低限の記録を取ることにより、表示されている情報の取り損ねを防止する。【解決手段】  情報が表示される表示領域の表示内容を取得する取得手段と、前記表示領域に表示されている情報が、前記表示領域から消去されることを検出する検出手段と、  前記検出手段によって前記情報の消去が検出されることに応じて、前記情報が消去される前に前記取得手段によって取得された、前記表示領域の表示内容を出力する出力手段と、  を有することを特徴とする画像処理装置。【選択図】  図５
2014109983.tif 000002
【特許請求の範囲】
【請求項１】
情報が表示される表示領域の表示内容を取得する取得手段と、
前記表示領域に表示されている情報が、前記表示領域から消去されることを検出する検出手段と、
前記検出手段によって前記情報の消去が検出されることに応じて、前記情報が消去される前に前記取得手段によって取得された、前記表示領域の表示内容を出力する出力手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記検出手段は、
前記取得手段によって取得される前記表示領域の表示内容に基づいて、前記表示領域に表示される情報の量の時間的な変化を求める手段と、
前記求められた情報の量の時間的な変化に基づいて情報の量の減少を検出した場合に、前記情報の消去を検出する手段と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記取得手段は、前記表示領域の表示内容を時刻の変化に沿って取得することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記検出手段は、さらに前記情報の消去が検出されたタイミングを取得し、
前記出力手段は、前記検出手段によって取得されたタイミングから所定の時間内で前記タイミングより前に取得された前記表示領域の表示内容を出力することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記検出手段は、前記表示領域に表示された情報の量が減少したタイミングを、前記情報の消去が検出されたタイミングとして検出することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記検出手段は、前記表示領域に表示された情報の量が減少したタイミングと、該タイミングより所定時間以前のタイミングの間において、前記表示領域に表示された情報の量の増減がある場合、前記表示領域に表示された情報の量が減少したタイミングを、前記情報の消去が検出されたタイミングとして検出しないことを特徴とする請求項５の画像処理装置。
【請求項７】
前記取得手段は、前記表示領域の表示内容の時間的な変化を記録した動画像データを、前記表示領域の表示内容として取得し、
前記検出手段は、前記取得手段によって取得された前記動画像データから、前記表示領域における障害物の画像を抽出して除去した補正後の動画像データに基づいて前記タイミングを取得することを特徴とする請求項４乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記検出手段によって前記情報の消去が検出されたことに従ってインデックス情報を前記動画像データに付加する付加手段を有し、
前記出力手段は、前記付加手段によってインデックス情報が付加された動画像データを出力すること特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記出力手段は、前記表示領域の表示内容に対して、少なくとも保存処理または印刷処理のいずれかを実行すること特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
情報が表示される表示領域の表示内容を取得する取得工程と、
前記表示領域に表示されている情報が、前記表示領域から消去されることを検出する検出工程と、
前記検出工程において前記情報の消去が検出されることに応じて、前記情報が消去される前に前記取得工程において取得された、前記表示領域の表示内容を出力する出力工程と、
を有することを特徴とする画像処理方法。
【請求項１１】
請求項１乃至９の何れか１項に記載の各手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、プログラムに関する。
【背景技術】
【０００２】
教育現場やオフィスなどにおいて、黒板やホワイトボードといった書込媒体に図形や文字などの情報を書込むことによって書込媒体の表示領域に情報を表示させ、講義や会議などを行うことがある。こうした書込媒体に書込まれた情報を記録として残したい場合、書込媒体に付属のスキャナで表示領域上の情報を読み取ってプリンタで印刷する、書込媒体をカメラによって静止画もしくは動画で撮影する、などの方法が取られている。
【０００３】
特許文献１では、黒板を用いて行われる講義をカメラで撮影し、撮影された映像のうち、情報の書込みが行われた領域と、講師が写っている領域を抽出する。そして、講師が写っている領域の映像と板書された領域の映像を分離して時系列的に提示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１６２６９２
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、書込媒体に付属のプリンタで印刷する方法や、書込媒体を静止画で撮影する方法は、記録のタイミングが記録者の判断に委ねられているため、記録者が意図しないタイミングで書込みが消去されてしまった場合、必要な記録を残せないことがあった。また、動画で撮影する方法は撮影した全ての時点の書込みを記録することができるが、後でその映像を検索するのに多大な労力と時間がかかるという問題があった。
【０００６】
本発明は上記のような問題を解消するためになされたもので、表示されている情報を保存等のために出力する際に、自動的に必要かつ最低限の記録を取ることにより、表示されている情報の取り損ねを防止する。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、情報が表示される表示領域の表示内容を取得する取得手段と、前記表示領域に表示されている情報が、前記表示領域から消去されることを検出する検出手段と、前記検出手段によって前記情報の消去が検出されることに応じて、前記情報が消去される前に前記取得手段によって取得された、前記表示領域の表示内容を出力する出力手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、表示されている情報を保存等のために出力する際に、自動的に必要かつ最低限の記録を取ることにより、表示されている情報の取り損ねを防止する。
【図面の簡単な説明】
【０００９】
【図１】実施例１における画像形成システムの構成である。
【図２】実施例１における画像形成装置１０５の構成である。
【図３】実施例１における画像形成装置１０５のコントローラユニットの構成である。
【図４】実施例１における画像形成装置１０５の操作部２１０の構成である。
【図５】実施例１における特徴シーン抽出処理のフローチャートである。
【図６】実施例１における特徴シーン抽出処理の状態遷移図である。
【図７】実施例１における仮想ホワイトボード画像生成処理のフローチャートである。
【図８】実施例１における動画の処理対象時刻ｔにおける画像の例である。
【図９】実施例１におけるホワイトボード画像（ｔ）の例である。
【図１０】実施例１における物体認識結果（ｔ）の例である。
【図１１】実施例１における仮想ホワイトボード画像（ｔ−１）の例である。
【図１２】実施例１における仮想ホワイトボード画像（ｔ）の例である。
【図１３】実施例１における操作判定処理のフローチャートである。
【図１４】実施例２における画像形成装置１４０１の構成である。
【図１５】実施例２における画像形成装置１４０１のコントローラユニットの構成である。
【図１６】実施例２における特徴シーン抽出処理のフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態について図面を用いて説明する。
【００１１】
（実施例１）
＜画像形成システムの構成＞
まず、以下に説明する各実施形態を適用可能な画像形成システムについて説明する。
図１は、本発明の一実施例に係る画像形成システムの構成の一例である。本実施例に係る画像形成システムは、ホワイトボード１０１、ビデオカメラ１０２、ネットワーク１０３、ファイルサーバ１０４、画像形成装置１０５を有する。ビデオカメラ１０２、ファイルサーバ１０４、画像形成装置１０５は、ネットワーク１０３を介して通信可能に接続されている。ビデオカメラ１０２は、ユーザによって文字や図形などの情報が書き込まれたホワイトボードを撮像することで、該情報が表示される表示領域の表示内容の時間的な変化を記録した動画のデータとして取得する。そしてビデオカメラ１０２は、この動画データをファイルサーバ１０４や画像形成装置１０５へ送信する。また、本実施例の画像形成装置１０５は、後述する画像処理を実行する画像処理装置でもある。
【００１２】
＜画像形成装置１０５の構成＞
画像形成装置１０５の一実施例であるＭＦＰの構成について、図２を用いて説明する。
ＭＦＰは、スキャナ部、レーザ露光部、感光ドラム、作像部、定着部、給紙／搬送部及び、これらを制御する不図示のプリンタ制御部から構成される。
【００１３】
スキャナ部は、原稿台に置かれた原稿に対して、照明を当てて原稿画像を光学的に読み取り、その像を電気信号に変換して画像データを作成する。
【００１４】
レーザ露光部は、前記画像データに応じて変調されたレーザ光などの光線を等角速度で回転する回転多面鏡（ポリゴンミラー）に入射させ、反射走査光として感光ドラムに照射する。
【００１５】
作像部は、前記レーザ露光部によって感光ドラム上に形成された潜像をトナーによって現像化し、そのトナー像をシート（用紙）に転写する。その際に転写されずに感光ドラム上に残った微小トナーを回収するといった一連の電子写真プロセスを実行して作像する。
【００１６】
定着部は、前記作像部によってトナー像が転写されたシート上のトナーを、熱と圧力によって溶解、定着させる。
【００１７】
給紙／搬送部は、シートカセットやペーパーデッキに代表されるシート収納庫（給紙段）を一つ以上持っており、前記プリンタ制御部の指示に応じてシート収納庫に収納された複数のシートの中から一枚分離し、作像部・定着部へ搬送する。シートの両面に画像形成する場合は、定着部を通過したシートを再度作像部へ搬送する搬送経路を通るように制御する。
【００１８】
プリンタ制御部は、ＭＦＰ全体を制御するＭＦＰ制御部と通信して、その指示に応じて制御を実行すると共に、前述のスキャナ、レーザ露光、作像、定着、給紙／搬送の各部の状態を管理しながら、全体が調和を保って円滑に動作できるよう指示を行う。
【００１９】
＜画像形成装置１０５のコントローラユニットの構成＞
図３は、本実施例における画像形成装置１０５のコントロールユニット（コントローラ）の一構成例を示すブロック図である。コントロールユニット２００は、画像入力デバイスであるスキャナ２０１や画像出力デバイスであるプリンタエンジン２０２と接続し、画像データの読み取りやプリント出力のための制御を行う。また、コントロールユニット２００は、ネットワーク５０や公衆回線２０４と接続することで、画像情報やデバイス情報をネットワーク５０経由で入出力するための制御を行う。
【００２０】
ＣＰＵ２０５はＭＦＰ全体を制御するための中央処理装置である。ＲＡＭ２０６は、ＣＰＵ２０５が動作するためのシステムワークメモリであり、入力された画像データを一時記憶するための画像メモリでもある。ＲＯＭ２０７はブートＲＯＭであり、システムのブートプログラムが格納されている。ＨＤＤ２０８はハードディスクドライブであり、各種処理のためのシステムソフトウェア及び入力された画像データ等を格納する。
【００２１】
操作部Ｉ／Ｆ２０９は、画像データ等を表示可能な表示画面を有する操作部２１０に対するインタフェース部であり、操作部２１０に対して操作画面データを出力する。また、操作部Ｉ／Ｆ２０９は、操作部２１０からユーザが入力した情報をＣＰＵ２０５に伝える役割をする。
【００２２】
ネットワークインタフェース（Ｉ／Ｆ）２１１は、例えばＬＡＮカード等で実現され、ネットワーク５０に接続して外部装置との間で情報の入出力を行う。さらにまた、モデム２１２は公衆回線２０４に接続し、外部装置との間で情報の入出力を行う。以上のユニットがシステムバス２１３上に配置されている。
【００２３】
イメージバスＩ／Ｆ２１４は、システムバス２１３と画像データを高速で転送する画像バス２１５とを接続するためのインタフェースであり、データ構造を変換するバスブリッジである。画像バス２１５上には、ラスタイメージプロセッサ（ＲＩＰ）２１６、デバイスＩ／Ｆ２１７、スキャナ画像処理部２１８、プリンタ画像処理部２１９、画像編集用画像処理部２２０、カラーマネージメントモジュール２３０が接続される。
【００２４】
ＲＩＰ２１６はラスタイメージプロセッサであり、ページ記述言語（ＰＤＬ）をラスタイメージに展開する。なお、一般に、ＲＩＰ処理は、ページ記述言語（ＰＤＬ）を中間データ（ＤＬ）に変換するインタープリット処理と、ラスタイメージに変換するレンダリング処理との二通りの意味で使用される。本発明では簡単のため、ＲＩＰされたデータはラスタイメージに展開されるものとして説明するが、一旦中間データ（ＤＬ）に変換される形態も本発明の対象に含まれることは言うまでもない。
【００２５】
デバイスＩ／Ｆ２１７は、スキャナ２０１やプリンタエンジン２０２とコントロールユニット２００とを接続し、画像データの同期系／非同期系の変換を行う。
【００２６】
スキャナ画像処理部２１８は、スキャナ２０１から入力した画像データに対して、補正、加工、編集等の各種処理を行う。
【００２７】
プリンタ画像処理部２１９は、プリント出力する画像データに対して、プリンタエンジンに応じた補正、解像度変換等の処理を行う。
【００２８】
画像編集用画像処理部２２０は、画像データの回転や、画像データの圧縮伸長処理等の各種画像処理を行う。
【００２９】
ＣＭＭ２３０は、画像データに対して、プロファイルやキャリブレーションデータに基づいた、色変換処理（色空間変換処理ともいう）を施す専用ハードウェアモジュールである。プロファイルとは、機器に依存した色空間で表現したカラー画像データを機器に依存しない色空間（例えばＬａｂなど）に変換するための関数のような情報である。キャリブレーションデータとは、カラー複合機３におけるスキャナ２０１やプリンタエンジン２０２の色再現特性を修正するためのデータである。
【００３０】
＜画像形成装置１０５の操作部２１０の構成＞
画像形成装置１０５の操作部２１０の構成について、図４を用いて説明する。
【００３１】
図４に示すように、操作部２１０は、ハードキーによるユーザ操作を受付け可能なキー入力部４０２、ソフトキー（表示キー）によるユーザ操作を受付可能な表示ユニットの一例としてのタッチパネル部４０１を有する。
【００３２】
キー入力部４０２は、操作部電源スイッチ４１１を具備する。該スイッチ４１１のユーザ操作に応答し、ＣＰＵ２０５は、スタンバイモードとスリープモードを選択的に切り替えるよう制御する。ただし、スタンバイモードは、通常動作状態であり、スリープモードは、ネットワーク印刷やファクシミリなどに備えて割り込み待ち状態でプログラムを停止して、消費電力を抑えている状態である。ＣＰＵ２０５は、該スイッチ４１１のユーザ操作を、システム全体の電源供給を行う主電源スイッチ（不図示）がＯＮ状態にて、受付可能に制御する。
【００３３】
スタートキー４１３は、処理対象となるジョブのコピー動作や送信動作等、ユーザにより指示された種類のジョブ処理を印刷装置に開始させる指示をユーザから受付可能にする為のキーである。ストップキー５１２は、受け付けたジョブの処理を印刷装置に中断させる指示をユーザから受付可能にする為のキーである。
【００３４】
テンキー４１６は、各種設定の置数の設定をユーザにより実行可能にする為のキーである。
【００３５】
クリアキー４１７は、キー４１６を介してユーザにより設定された置数等の各種パラメータを解除するためのキーである。
【００３６】
リセットキー４１４は、ユーザにより処理対象のジョブに対して設定された各種設定を全て無効にし、また、設定値をデフォルト状態に戻す指示をユーザから受け付ける為のキーである。
【００３７】
ユーザモードキー４１５は、ユーザごとのシステム設定画面に移行するためのキーである。
【００３８】
＜画像形成装置１０５の特徴シーン抽出処理＞
本実施例における画像形成装置１０５の特徴シーン抽出処理について、図５を用いて説明する。図５のフローチャートの処理は、ＨＤＤ２０８に格納されたプログラムを実行したＣＰＵ２０５によって実行される。
【００３９】
ステップＳ１００１では、ＣＰＵ２０５が、ネットワークＩ／Ｆ２１１を介して、例えばビデオカメラ１０２やファイルサーバ１０４から入力される動画のデータ（動画像データ）を受け付け、ＲＡＭ２０６に格納する。なお、処理対象の動画としては、撮影が完了し、ファイルとして保存された動画データを受信するように構成してもよいし、撮影中の動画をストリーミングで受信し処理するように構成してもよい。
【００４０】
ステップＳ１００２では、ＣＰＵ２０５が、状態Ｓｔａｔｅを消去操作状態に初期化する。
【００４１】
ステップＳ１００３では、ＣＰＵ２０５が、処理対象時刻ｔを動画の先頭である０に初期化する。
【００４２】
ステップＳ１００４では、ＣＰＵ２０５が、仮想ホワイトボード画像生成処理を行う。仮想ホワイトボード画像生成処理により、処理対象時刻ｔにおける仮想ホワイトボード画像（ｔ）が生成される。仮想ホワイトボード画像生成処理の詳細は図７で後述する。
【００４３】
ステップＳ１００５では、ＣＰＵ２０５が、操作判定処理を行う。操作判定処理により、ホワイトボード１０１に対して行われた操作が判定され、イベントＥｖｅｎｔが書込操作、消去操作、操作なしのいずれかに設定される。操作判定処理の詳細は図１３で後述する。
【００４４】
ステップＳ１００６では、ＣＰＵ２０５が、イベントＥｖｅｎｔが消去操作であるか否かを判定する。判定の結果がＹＥＳである場合はステップＳ１００７に進む。判定の結果がＮＯである場合は、ステップＳ１０１０に進む。
【００４５】
ステップＳ１００７では、ＣＰＵ２０５が、状態Ｓｔａｔｅが消去操作状態であるか否かを判定する。判定の結果がＮＯである場合は、ステップＳ１００８に進む。判定の結果がＹＥＳである場合は、ステップＳ１００９に進む。これらのステップＳ１００６、Ｓ１００７においてＣＰＵ２０５は、後述するように表示領域に表示されている情報の量が減少する時刻（タイミング）ｔを判定することで、情報が表示領域から消去されることを検出している。
【００４６】
ステップＳ１００８では、ＣＰＵ２０５が、処理対象時刻ｔ−１のシーンを特徴シーンとして処理する。特徴シーンとはすなわち、ホワイトボードの書込みの時系列的な変化（表示領域に表示される情報の量の時間的な変化）の中から記録として残すべきと判断されたシーンを指す。本実施例における特徴シーンは、ユーザが一連の特徴シーンを確認すればホワイトボードへの書込みの必要かつ最低限の記録を確認することができるように意図して構成されている。本実施例では、特徴シーン処理として、ＣＰＵ２０５が、仮想ホワイトボード画像（ｔ−１）を印刷データとして、プリンタエンジン２０２から印刷処理を行う。他の実施例としては、例えば、ＣＰＵ２０５が、仮想ホワイトボード画像（ｔ−１）をネットワークＩ／Ｆ２１１を介してファイルサーバ１０４に送信し、格納（保存）するようにしてもよい。また、ＣＰＵ２０５が、ｔ−１を指示するインデックス情報を動画に付加し、ユーザが後から特徴シーンを容易に参照できるようにしても良い。このステップＳ１００８においてＣＰＵ２０５は、ステップＳ１００６、Ｓ１００７で情報の消去が検出されたことに応じて、情報が消去される前の時刻ｔ−１の動像データで表される表示内容に対して保存処理や印刷処理のための出力を行う。
【００４７】
ステップＳ１００９では、ＣＰＵ２０５が、状態Ｓｔａｔｅを消去操作状態に設定する。本ステップの処理により、消去操作が続けて行われた場合には、特徴シーン抽出を抑制することができる。本ステップの処理が終了すると、ステップＳ１０１２に進む。
【００４８】
ステップＳ１０１０では、ＣＰＵ２０５が、イベントＥｖｅｎｔが書込操作であるか否かを判定する。判定の結果がＹＥＳである場合は、ステップＳ１０１１に進む。判定の結果がＮＯである場合は、イベントＥｖｅｎｔは操作なしに設定されているので、状態Ｓｔａｔｅの更新は行わずステップＳ１０１２に進む。
【００４９】
ステップＳ１０１１では、ＣＰＵ２０５が、状態Ｓｔａｔｅを書込操作状態に設定する。
【００５０】
ステップＳ１０１２では、ＣＰＵ２０５が、処理対象時刻ｔをインクリメントする。
【００５１】
ステップＳ１０１３では、ＣＰＵ２０５が、動画の終端に到達したか否かを判定する。判定の結果がＮＯである場合には、ステップＳ１００４に進み、処理を継続する。判定の結果がＹＥＳである場合には、特徴シーン抽出処理を終了する。
【００５２】
図６は、本実施例における画像形成装置１０５の特徴シーン抽出処理について、状態遷移の観点で表現したものである。
【００５３】
特徴シーン抽出処理において、状態Ｓｔａｔｅは、消去操作状態６０１、書込操作状態６０２、の２つの状態を取る。特徴シーン抽出処理の開始状態６０３は、消去操作状態６０１である。
【００５４】
消去操作状態６０１であるときに、消去操作が行われたか、操作がない場合は、特に処理は行わず、消去操作状態６０１に留まる（遷移６０５）。
【００５５】
消去操作状態６０１であるときに、書込操作が行われた場合は、特に処理は行わず、書込操作状態６０２に遷移する（遷移６０６）。
【００５６】
書込操作状態６０２であるときに、書込操作が行われたか、操作がない場合は、特に処理は行わず、書込操作状態６０２に留まる（遷移６０７）。
【００５７】
書込操作状態６０２であるときに、消去操作が行われた場合は、特徴シーン処理を行い、消去操作状態６０１に遷移する（遷移６０８）。ここで特徴シーン処理とは、図５におけるステップＳ１００８の処理を指す。
【００５８】
消去操作状態６０１もしくは書込操作状態６０２であるときに、動画の終端に到達した場合は、終了状態６０４に遷移し、特徴シーン抽出処理を終了する。（遷移６０９、６１０）
＜画像形成装置１０５の仮想ホワイトボード画像生成処理＞
本実施例における画像形成装置１０５の仮想ホワイトボード画像生成処理について、図７を用いて説明する。図７のフローチャートの処理は、ＨＤＤ２０８に格納されたプログラムを実行したＣＰＵ２０５によって実行される。
【００５９】
ステップＳ２００１では、ＣＰＵ２０５が、動画の処理対象時刻ｔにおける画像に含まれるホワイトボード１０１の輪郭を認識し、その座標を特定する。ホワイトボード１０１の輪郭の認識は、ＣＰＵ２０５が、一定の矩形サイズのホワイトボードの背景色と輪郭の形状をパターン認識することによって行われる。他の実施例としては、ホワイトボードの四隅にホワイトボードであることを示すマーカーを配置し、ＣＰＵ２０５が、そのマーカーを認識することによってホワイトボードの輪郭を認識するように構成してもよい。
【００６０】
ステップＳ２００２では、ＣＰＵ２０５が、認識したホワイトボード１０１の輪郭座標に基づいて、画像に拡大、傾き、歪み補正の処理を行い、ホワイトボード１０１の画像領域を所定の矩形サイズに抽出する。処理対象時刻ｔにおける処理後の画像を以降のステップではホワイトボード画像（ｔ）と呼ぶ。
【００６１】
ステップＳ２００３では、ＣＰＵ２０５が、ホワイトボード画像（ｔ）および仮想ホワイトボード画像（ｔ−１）を所定数の領域に分割する。ここで、仮想ホワイトボード画像とは、ホワイトボード画像から人物等の画像（障害物の画像）を除去する補正を行った仮想のホワイトボードの画像（補正後の画像）を指し、以降のステップの処理により更新される。ｔ＝０の時点では全面がホワイトボードの背景色で塗られた画像等に初期化されている。本実施例では、画像を横ｎ×縦ｍの領域に分割するものとする。なおここではホワイトボード画像に写りこむ人物等は、ホワイトボードの表示領域における障害物である。
【００６２】
ステップＳ２００４では、ＣＰＵ２０５が、ホワイトボード画像に物体認識処理を行い、人物等の領域を検出する。物体認識処理とは、画像に含まれる物体を認識する処理を指し、ホワイトボード、人物、教卓、マーカーペン、ホワイトボードなどをパターン認識などによって認識する。処理対象時刻ｔ、処理対象領域ｉにおける物体認識処理の結果を、物体認識結果（ｔ、ｉ）とする。なお、本実施例で人物等とは、ホワイトボード１０１およびそこに書込まれた文字・図面等以外の全てのものを指し、人物、教卓、マーカーペン、ホワイトボード消し等を含む。
【００６３】
ステップＳ２００５では、ＣＰＵ２０５が、処理対象領域ｉを１に初期化する。なお、本実施例では、処理対象領域ｉ＝１は最も左上の領域を指すものとし、処理対象領域ｉ＝ｋ＋ｊ×ｎは左からｋ番目、上からｊ番目の領域を指す。処理対象領域ｉ＝ｎ×ｍは最も右下の領域を指すものとする。
【００６４】
ステップＳ２００６では、ＣＰＵ２０５が、物体認識結果（ｔ，ｉ）が人物等であるか否かを判定する。判定の結果がＮＯである場合には、ステップＳ２００７に進む。判定の結果がＹＥＳである場合には、ステップＳ２００８に進む。
【００６５】
ステップＳ２００７では、ＣＰＵ２０５が、処理対象時刻ｔ、処理対象領域ｉの仮想ホワイトボード画像（ｔ，ｉ）を、処理対象時刻ｔ、処理対象領域ｉのホワイトボード画像（ｔ，ｉ）に更新する。本ステップの処理が終了すると、ステップＳ２００９に進む。
【００６６】
ステップＳ２００８では、ＣＰＵ２０５が、処理対象時刻ｔ、処理対象領域ｉの仮想ホワイトボード画像（ｔ，ｉ）を、仮想ホワイトボード画像（ｔ−１，ｉ）とする。本ステップの処理が終了すると、ステップＳ２００９に進む。
【００６７】
ステップＳ２００９では、ＣＰＵ２０５が、処理対象領域ｉをインクリメントする。
【００６８】
ステップＳ２０１０では、ＣＰＵ２０５が、全ての領域ｉに対しての処理が完了したか否かを判定する。判定の結果がＮＯである場合には、ステップＳ２００６に進み、処理を継続する。判定の結果がＹＥＳである場合には、仮想ホワイトボード画像生成処理を終了する。
【００６９】
以上の処理により、処理対象時刻ｔにおける人物等を取り除いた仮想ホワイトボード画像（ｔ）を得ることができる。
【００７０】
図８から図１２は、本実施例における画像ホワイトボード画像生成処理で処理される画像の例を示したものである。
【００７１】
図８は、動画の処理対象時刻ｔにおける画像の例である。この画像には、ホワイトボード１０１、講師８０２、ホワイトボード消し８０３、教卓８０４、時計８０５が含まれている。ステップＳ２００１の処理では、ＣＰＵ２０５が、ホワイトボード１０１の輪郭を認識し、その座標を特定する。
【００７２】
図９は、ホワイトボード画像（ｔ）の例である。ホワイトボード画像（ｔ）は、ステップＳ２００２の処理により、ＣＰＵ２０５が、認識したホワイトボード１０１の輪郭座標に基づいて、画像に拡大、傾き、歪み補正の処理を行い、所定の矩形サイズに抽出したものである。また、ステップＳ２００３の処理により、ＣＰＵ２０５が、ホワイトボード画像（ｔ）を、横ｎ×縦ｍの領域に分割する。処理対象領域ｉ＝１は最も左上の領域を指すものとし、処理対象領域ｉ＝ｎ×ｍは最も右下の領域を指すものとする。
【００７３】
図１０は、物体認識結果（ｔ）の例である。この図では、人物等を含むと認識した領域を黒く塗りつぶしている。本実施例において、人物等として認識されるものには、講師８０２、ホワイトボード消し８０３、教卓８０４、時計８０５を含む。
【００７４】
図１１は、処理対象時刻ｔ−１における仮想ホワイトボード画像（ｔ−１）の例である。この例では、処理対象時刻ｔ−１において、ホワイトボードの全面に式やグラフなどが書込まれている。
【００７５】
図１２は、処理時間ｔにおける仮想ホワイトボード画像（ｔ）の例である。仮想ホワイトボード画像（ｔ）は、ステップＳ２００７の処理により図１１の仮想ホワイトボード画像（ｔ−１）の、人物等が含まれると判定された領域以外を図９のホワイトボード画像（ｔ）で更新した画像である。すなわち、図９のホワイトボード画像（ｔ）から人物等を取り除いたものである。
【００７６】
＜画像形成装置１０５の操作判定処理＞
本実施例における画像形成装置１０５の操作判定処理について、図１３を用いて説明する。図１３のフローチャートの処理は、ＨＤＤ２０８に格納されたプログラムを実行したＣＰＵ２０５によって実行される。
【００７７】
ステップＳ３００１では、ＣＰＵ２０５が、仮想ホワイトボード画像（ｔ）を所定数の領域に分割する。分割の詳細については、ステップ２００３の処理と同等である。
【００７８】
ステップＳ３００２では、ＣＰＵ２０５が、イベントＥｖｅｎｔを操作なしに初期化する。
【００７９】
ステップＳ３００３では、ＣＰＵ２０５が、処理対象領域ｉを１に初期化する。
【００８０】
ステップＳ３００４では、ＣＰＵ２０５が、仮想ホワイトボード画像（ｔ−１）および仮想ホワイトボード画像（ｔ）の処理対象領域ｉに書込まれている文字・図面等があるか否かを判定する。判定の結果は、以降のステップにおいて、書込（ｔ−１，ｉ）、書込（ｔ，ｉ）として表現する。
【００８１】
ステップＳ３００５では、ＣＰＵ２０５が、仮想ホワイトボード画像（ｔ）の処理対象領域ｉに書込まれている文字・図面等があるか否かを判定する。判定の結果がＹＥＳの場合には、ステップＳ３００６に進む。判定の結果がＮＯの場合には、ステップＳ３０１０に進む。ここでの処理を言い換えればＣＰＵ２０５は、仮想ホワイトボード画像に含まれる（表示領域に表示されている）文字・図形等の情報の量が減少したかを判定している。
【００８２】
ステップＳ３００６では、ＣＰＵ２０５が、仮想ホワイトボード画像（ｔ−１）の処理対象領域ｉに書込まれている文字・図面等があるか否かを判定する。判定の結果がＮＯの場合には、ステップＳ３００７に進む。判定の結果がＹＥＳの場合には、ステップＳ３００８に進む。
【００８３】
ステップＳ３００７では、ＣＰＵ２０５が、イベントＥｖｅｎｔを書込操作に設定する。
【００８４】
ステップＳ３００８では、ＣＰＵ２０５が、処理対象領域ｉをインクリメントする。
【００８５】
ステップＳ３００９では、ＣＰＵ２０５が、全ての領域ｉに対しての処理が完了したか否かを判定する。判定の結果がＮＯである場合には、ステップＳ３００４に進み、処理を継続する。判定の結果がＹＥＳである場合には、操作判定処理を終了する。
【００８６】
ステップＳ３０１０では、ＣＰＵ２０５が、ｔ−ｔｃ＜＝ｔ０＜ｔである全てのｔ０に対して、仮想ホワイトボード画像（ｔ０）の処理対象領域ｉに書込まれている文字・図面等があるか否かを判定する。つまりここでＣＰＵ２０５は、処理対象時刻ｔと、この時刻ｔからｔｃ時間以前（所定時間以前）までの間における仮想ホワイトボード画像（表示領域）に含まれる文字・図形等の情報の量の時間的な変化を判定している。そしてＣＰＵ２０５は、情報の量が減少するタイミングである処理対象時刻ｔを取得する。ここで、ｔｃは予め定められている値であり、本実施例では１０秒に相当する値とする。本ステップの処理により、書き損じなどで書込み後にすぐに消去した操作が検出されるのを抑制し、書込まれてから一定以上の時間が経過した文字・図面等が消された場合にのみ消去操作と判定することができる。言い換えれば、情報の量が減少した時刻（タイミング）と該時刻（タイミング）との間の所定時間内における、短期的な情報の量の増減については、情報の消去が検出されない。これにより、不要な特徴シーンが抽出されるのを抑制することができる。判定の結果がＹＥＳの場合には、ステップＳ３０１１に進む。判定の結果がＮＯの場合には、ステップＳ３００８に進む。
【００８７】
ステップＳ３０１１では、ＣＰＵ２０５が、イベントＥｖｅｎｔを消去操作に設定する。本ステップの処理を終了すると、操作判定処理を終了する。
【００８８】
なお、上記の操作判定処理において、書込操作を検出した場合（Ｓ３００７）には処理を継続し（Ｓ３００９でＮＯの場合にＳ３００４に進む）、消去操作を検出した場合（Ｓ３０１１）には操作判定処理を終了するように構成した。この構成により、処理対象時刻ｔにおいて同時に書込操作と消去操作が行われたことを検出した場合に、消去操作と判定して以降の処理が続行され、Ｓ１００８でＣＰＵ２０５が処理対象時刻ｔ−１のシーンを特徴シーンとして処理を行う。これにより、例えば複数の人によって書込操作と消去操作が同時に行われた場合であっても、必要かつ最低限の記録を取ることができ、記録の取り損ねを防止することができる。
【００８９】
＜本実施例の効果＞
上記の構成により、書込媒体に書込まれた情報の記録を取る際に、自動的に必要かつ最低限シーンを特徴シーンとして抽出し、記録することができる。これにより、情報の記録し損ねを防止し、さらに容易に検索可能な記録手段を得ることができる。
【００９０】
また、書込まれてから一定以上の時間が経過した文字・図面等の情報が消された場合にのみ特徴シーンとして抽出し、記録することができる。これにより、書き損じなどで書込み後にすぐに消去した操作が検出されるのを抑制し、不要な特徴シーンが抽出されるのを抑制することができる。
【００９１】
また、同時に書込操作と消去操作が行われた場合にも特徴シーンとして抽出し、記録することができる。これにより、例えば複数の人によって書込媒体に同時に操作が行われる場合であっても、情報の記録し損ねを防止することができる。
【００９２】
（実施例２）
以下、本発明を実施するための第２の形態について説明する。実施例１では、本発明を複数の機器からなる画像形成システムに適用した実施例を説明したが、実施例２では、本発明を一つの機器からなるシステムに適用した実施例について説明する。実施例１と同様のものについては説明を省略する。
【００９３】
＜画像処理システムの構成＞
本実施例における画像処理システムは、画像処理装置（電子ホワイトボード）１４０１からなる。
【００９４】
＜画像処理装置１４０１の構成＞
画像処理装置１４０１の構成について、図１４を用いて説明する。
【００９５】
画像処理装置１４０１は、表示部１４０２、書込開始キー１４０３、消去開始キー１４０４、記録開始キー１４０５、記録終了キー１４０６、記録復元キー１４０７からなる。
【００９６】
表示部１４０２は、ユーザによる書込操作、消去操作等を受付け、文字・図面等を表示する。
【００９７】
書込開始キー１４０３は、ユーザによる表示部１４０２への書込操作を開始するキーである。ユーザが書込開始キー１４０３を選択した後で表示部１４０２に触れると、ユーザの操作に応じて表示部１４０２に文字・図面等が書込まれ、表示される。
【００９８】
消去開始キー１４０４は、ユーザによる表示部１４０２への消去操作を開始するキーである。ユーザが消去開始キー１４０４を選択した後で表示部１４０２に触れると、ユーザの操作に応じて表示部１４０２の文字・図面等が消去される。
【００９９】
記録開始キー１４０５は、ユーザによる表示部１４０２の記録開始指示を受け付けるキーである。ユーザが記録開始キー１４０５を選択すると、図１６の特徴シーン抽出処理が開始する。
【０１００】
記録終了キー１４０６は、ユーザによる表示部１４０２の記録終了指示を受け付けるキーである。ユーザが記録終了キー１４０６を選択すると、図１６の特徴シーン抽出処理が終了する。
【０１０１】
記録復元キー１４０７は、ユーザによる表示部１４０２への記録再生指示を受け付けるキーである。ユーザが記録復元キー１４０７を選択すると、後述するＨＤＤ２０８に格納された特徴シーンの画像が表示部１４０２に表示される。
【０１０２】
＜画像処理装置１４０１のコントローラユニットの構成＞
図１５は、本実施例における画像処理装置１４０１のコントロールユニット（コントローラ）１５００の一構成例を示すブロック図である。
【０１０３】
ＣＰＵ１５０５は画像処理装置１４０１の全体を制御するための中央処理装置である。ＲＡＭ１５０６は、ＣＰＵ１５０５が動作するためのシステムワークメモリであり、入力された画像データを一時記憶するための画像メモリでもある。さらに、ＲＯＭ１５０７はブートＲＯＭであり、システムのブートプログラムが格納されている。ＨＤＤ１５０８はハードディスクドライブであり、各種処理のためのシステムソフトウェア及び入力された画像データ等を格納する。
【０１０４】
操作部Ｉ／Ｆ１５０９は、画像データ等を表示可能な表示画面を有する操作部１５１０に対するインタフェース部であり、操作部１５１０に対して操作画面データを出力する。また、操作部Ｉ／Ｆ１５０９は、操作部１５１０からユーザが入力した情報をＣＰＵ１５０５に伝える役割をする。
【０１０５】
＜画像処理装置１４０１の特徴シーン抽出処理＞
本実施例における画像処理装置１４０１の特徴シーン抽出処理について、図１６を用いて説明する。実施例２においては、実施例１とは異なり、画像処理装置１４０１が直接書込媒体（表示部１４０２）への書込みを検出可能であるため、動画入力受付の処理（Ｓ１００１）、仮想ホワイトボード画像生成処理（Ｓ１００４）が不要となる。特徴シーン抽出処理は、ユーザが記録開始キー１４０５を選択することにより開始される。図１６のフローチャートの処理は、ＨＤＤ１５０８に格納されたプログラムを実行したＣＰＵ１５０５によって実行される。
【０１０６】
ステップＳ４００１では、ＣＰＵ１５０５が、状態Ｓｔａｔｅを消去操作状態に初期化する。
【０１０７】
ステップＳ４００２では、ＣＰＵ１５０５が、処理対象時刻ｔを記録開始時刻である０に初期化する。
【０１０８】
ステップＳ４００３では、ＣＰＵ１５０５が、操作判定処理を行う。本ステップの処理では、ユーザが書込開始キー１４０３を選択した後で表示部１４０２に触れると、イベントＥｖｅｎｔが書込操作に設定される。また、ユーザが消去開始キー１４０４を選択した後で表示部１４０２に触れ、書込みから一定以上の時間が経過した文字・図面等が消去されると、イベントＥｖｅｎｔが消去操作に設定される。ユーザがその他の操作を行った場合や、ユーザが処理対象時刻ｔに操作を行わなかった場合は、イベントＥｖｅｎｔが操作なしに設定される。
【０１０９】
ステップＳ４００４では、ＣＰＵ１５０５が、イベントＥｖｅｎｔが消去操作であるか否かを判定する。判定の結果がＹＥＳである場合はステップＳ４００５に進む。判定の結果がＮＯである場合は、ステップＳ４００８に進む。
【０１１０】
ステップＳ４００５では、ＣＰＵ１５０５が、状態Ｓｔａｔｅが消去操作状態であるか否かを判定する。判定の結果がＮＯである場合は、ステップＳ４００６に進む。判定の結果がＹＥＳである場合は、ステップＳ４００７に進む。
【０１１１】
ステップＳ４００６では、ＣＰＵ１５０５が、ｔ−１を特徴シーンとして処理する。本ステップの処理では、ＣＰＵ１５０５が、処理対象時刻ｔ−１における表示部１４０２の画像を、特徴シーンとして、ＨＤＤ１５０８に格納する。他の実施例としては、実施例１と同様に、ＣＰＵ１５０５が、不図示のプリンタから印刷処理を行ってもよい。また、ＣＰＵ１５０５が、表示部１４０２の書込みを時系列で順次記録された動画を生成し、該動画にｔ−１を指示するインデックス情報を付加してもよい。
【０１１２】
ステップＳ４００７では、ＣＰＵ１５０５が、状態Ｓｔａｔｅを消去操作状態に設定する。本ステップの処理により、消去操作が続けて行われた場合には、特徴シーン抽出を抑制することができる。本ステップの処理が終了すると、ステップＳ４０１０に進む。
【０１１３】
ステップＳ４００８では、ＣＰＵ１５０５が、イベントＥｖｅｎｔが書込操作であるか否かを判定する。判定の結果がＹＥＳである場合は、ステップＳ４００９に進む。判定の結果がＮＯである場合は、イベントＥｖｅｎｔは操作なしに設定されているので、状態Ｓｔａｔｅの更新は行わずステップＳ４０１０に進む。
【０１１４】
ステップＳ４００９では、ＣＰＵ１５０５が、状態Ｓｔａｔｅを書込操作状態に設定する。
【０１１５】
ステップＳ４０１０では、ＣＰＵ１５０５が、処理対象時刻ｔをインクリメントする。
ステップＳ４０１１では、ＣＰＵ１５０５が、記録を終了するか否かを判定する。本ステップの処理では、ユーザが記録終了キー１４０６を選択した場合に、記録を終了すると判定する。判定の結果がＮＯである場合には、ステップＳ４００３に進み、処理を継続する。判定の結果がＹＥＳである場合には、特徴シーン抽出処理を終了する。
【０１１６】
＜本実施例の効果＞
上記の構成により、書込媒体に書込まれた情報の記録を取る際に、自動的に必要かつ最低限シーンを特徴シーンとして抽出し、記録することができる。これにより、情報の記録し損ねを防止し、さらに容易に検索可能な記録手段を得ることができる。
【０１１７】
また、書込まれてから一定以上の時間が経過した文字・図面等の情報が消された場合にのみ特徴シーンとして抽出し、記録することができる。これにより、書き損じなどで書込み後にすぐに消去した操作が検出されるのを抑制し、不要な特徴シーンが抽出されるのを抑制することができる。
【０１１８】
（その他の実施例）
以上、実施例１および２を詳述したが、本発明は、例えばシステム、装置、方法、プログラム、もしくは記憶媒体等の実施態様をとることが可能である。具体的には、例えば複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなるシステムに適用しても良い。すなわち、以下の処理を実行することによっても実現される。その処理は、上述した実施例の機能を実現させるソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【０１１９】
また、実施例１および２では書込媒体としてホワイトボード１０１および電子ホワイトボードを用いて構成したが、本発明がホワイトボード、模造紙などの紙媒体、ＰＣ、タブレット、スマートフォンなどにも適用可能であることは明らかである。
【０１２０】
また、実施例１および２では、書込媒体に対して行われた操作の判定を、仮想ホワイトボード画像の変化から判定（実施例１）、もしくは表示部およびキーの操作からは判定（実施例２）したが、その他の方法による判定も本発明に含まれる。例えば、画像処理システムが有する物体認識の機能を用いて、画像に含まれるマーカーペンおよびホワイトボード消しを認識し、その座標の変化から、書込媒体に対して行われた操作を判定するように構成してもよい。
【図１】
2014109983.tif 000003
【図２】
2014109983.tif 000004
【図３】
2014109983.tif 000005
【図４】
2014109983.tif 000006
【図５】
2014109983.tif 000007
【図６】
2014109983.tif 000008
【図７】
2014109983.tif 000009
【図８】
2014109983.tif 000010
【図９】
2014109983.tif 000011
【図１０】
2014109983.tif 000012
【図１１】
2014109983.tif 000013
【図１２】
2014109983.tif 000014
【図１３】
2014109983.tif 000015
【図１４】
2014109983.tif 000016
【図１５】
2014109983.tif 000017
【図１６】
2014109983.tif 000018