(57)【要約】【課題】講義中の板書内容の表示及び記録を容易にすること。【解決手段】  画像処理システムであって、ライティングボードを撮影する撮影手段１０３と、初期状態のライティングボードを撮影して得た初期画像から基準輝度値を求める基準輝度値算出手段と、基準輝度値からの差分が所定値以上である領域の画像を前記ライティングボードに描かれた描画像として抽出する抽出手段と、抽出手段で抽出した描画像と予め用意された講義用の資料画像とを合成して出力する画像出力手段１０２ａと、を備えたことを特徴とする。【選択図】  図１
2011035831.tif 000002
【特許請求の範囲】
【請求項１】
ライティングボードを動画撮影する撮影手段と、
前記撮影手段によって初期状態のライティングボードを撮影して得た初期動画から基準輝度値を求める基準輝度値算出手段と、
前記撮影手段によって前記初期状態以降のライティングボードを撮影して得た動画中の画像の輝度値と、前記基準輝度値との差分をとり、該差分が所定値以上である領域の画像を前記ライティングボードに描かれた描画像として抽出する抽出手段と、
前記抽出手段で抽出した前記描画像と、予め用意された講義用の資料画像とを合成して出力する画像出力手段と、
を備えたことを特徴とする画像処理システム。
【請求項２】
前記抽出手段は、前記撮影手段で撮影して得た動画のうち、連続する２フレームの画像に対して、異なる前記基準輝度値を用いて２つの物体領域を認識し、それらの物体領域を合成することによって前記描画像を生成することを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記基準輝度値算出手段は、前記撮影手段で撮影して得た画像の輝度値の変化に応じて、前記基準輝度値を再計算することを特徴とする請求項２に記載の画像処理システム。
【請求項４】
前記基準輝度値算出手段は、前記基準輝度値の再計算を、前記連続する２フレームの画像の何れか一方に対する抽出処理の後で行なうことを特徴とする請求項３に記載の画像処理システム。
【請求項５】
前記基準輝度値算出手段は、所定のタイミングで、初期状態のライティングボードを撮影して得た初期動画の輝度値を、再度、前記基準輝度値として設定することを特徴とする請求項１に記載の画像処理システム。
【請求項６】
初期状態のライティングボードを撮影して得た初期動画から基準輝度値を求める基準輝度値算出工程と、
前記初期状態以降のライティングボードを撮影して得た動画中の画像の輝度値と、前記基準輝度値との差分をとり、該差分が所定値以上である領域の画像を、前記ライティングボードに描かれた描画像として抽出する抽出工程と、
前記抽出工程で抽出した前記描画像と、予め用意された講義用の資料画像とを合成して出力する画像出力工程と、
を備えたことを特徴とする画像処理方法。
【請求項７】
請求項６に記載の画像処理方法の各工程をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、取得した画像を分析し、合成して新たな画像を生成する技術に関する。
【背景技術】
【０００２】
従来から、カメラで撮影した講師の映像をコンピュータ画面上に表示する技術は知られている（特許文献１）。一方、黒板上の板書をカメラで撮影し、画像データを処理することにより板書に書かれた内容をベクターデータとして抽出できる技術も知られている（特許文献２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１４８４２５号公報
【特許文献２】特開２００６−１６２６９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし従来では、黒板などのライティングボード上に記載された文字や図形を画像データとして読みとって、リアルタイムでプロジェクタ画面等に表示し、講義中の板書内容の表示及び記録を容易にする技術は存在していなかった。
【０００５】
本発明は、上記従来技術の課題を解決するためになされたもので、講義中の板書内容の表示及び記録を容易にする技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明にかかる画像処理システムにあっては、
ライティングボードを動画撮影する撮影手段と、
前記撮影手段によって初期状態のライティングボードを撮影して得た初期動画から基準輝度値を求める基準輝度値算出手段と、
前記撮影手段によって前記初期状態以降のライティングボードを撮影して得た動画中の画像の輝度値と、前記基準輝度値との差分をとり、該差分が所定値以上である領域の画像を前記ライティングボードに描かれた描画像として抽出する抽出手段と、
前記抽出手段で抽出した前記描画像と、予め用意された講義用の資料画像とを合成して出力する画像出力手段と、
を備えたことを特徴とする。
【０００７】
上記目的を達成するため、本発明にかかる画像処理方法にあっては、
初期状態のライティングボードを撮影して得た初期動画から基準輝度値を求める基準輝度値算出工程と、
前記初期状態以降のライティングボードを撮影して得た動画中の画像の輝度値と、前記基準輝度値との差分をとり、該差分が所定値以上である領域の画像を、前記ライティングボードに描かれた描画像として抽出する抽出工程と、
前記抽出工程で抽出した前記描画像と、予め用意された講義用の資料画像とを合成して出力する画像出力工程と、
を備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、講義中の板書内容の表示及び記録を容易にする技術を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る画像処理システムの構成を示す図である。
【図２】本発明の実施形態に係る画像処理システムの使用状態例を示す図である。
【図３】本発明の実施形態に係る画像処理方法の全体を示すフローチャートである。
【図４】本発明の実施形態に係る画像処理方法の詳細な処理を示すフローチャートである。
【図５】本発明の実施形態に係る画像処理方法の詳細な処理を示すフローチャートである。
【図６】本発明の実施形態に係る画像処理方法による合成画像の例を示す図である。
【発明を実施するための形態】
【００１０】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【００１１】
（システム概要）
本発明の実施形態としての画像処理システムは、教室に設置した撮影手段としてのビデオカメラで、黒板やホワイトボードなどのライティングボードを撮影する。そして、撮影画像を加工して、描画された画像（描画像、所謂板書画像）と講師を切り抜いて、講師が持ち込んだノートＰＣの外部出力映像に重ねる。これにより、教室のスクリーンに、講師が予め作成した講義用資料と、その場でライティングボードに描画した文字等がリアルタイムに重ね合わされ、表示される。ライティングボード上の板書を消すとスクリーン上の表示も消える。更に、ライティングボードに書いた特定の記号を認識し、講義資料のスライドを操作することも可能となる。
【００１２】
板書抽出処理では、カメラから連続２フレーム分の画像を入力し、１フレーム目と、２フレーム目とで、異なる閾値を用いて物体抽出を行い、それらの結果を合成する。また、背景画像の初期パラメータを所定のタイミングで定期的に呼び出すことで、後に画面内に入ったもので動きのないものでも、消えることなく抽出できる。結果として、描画像の正確且つ高速な読取が可能になる。
【００１３】
（システム構成）
本発明の実施形態としての画像処理システム１の構成を図１に示す。画像処理システム１は、講師用ＰＣ（コンピュータ）１０１、画像合成ＰＣ１０２、ビデオカメラ１０３、ＲＧＢ分配器１０４、録画用ＰＣ１０５、マイク１０６、プロジェクタ１０７を含む。画像合成ＰＣ１０２には、クロマキー合成ソフトウェア１０２ａと画面表示ソフトウェア１０２ｂとがインストールされている。また、録画用ＰＣ１０５には、自動録画ソフトウェア１０５ａがインストールされている。
【００１４】
講師用ＰＣ１０１には、ノート型ＰＣまたはデスクトップ型ＰＣを用いる。ＯＳは問わない。ＶＧＡケーブルを用いて、外部モニタ出力端子より、画像合成ＰＣ１０２にＲＧＢ信号を出力する。
【００１５】
ビデオカメラ１０３は、描画像及び講師を撮影するビデオカメラであり、三脚を用いて教室に設置される。例えば、ＳＤ画質録画タイプの家庭用製品を利用する。ケーブルを用いて、ビデオカメラ１０３から出力されるアナログビデオ信号を不図示のアナログビデオキャプチャデバイス経由で画像合成ＰＣに出力する。最高ＶＧＡ（６４０×４８０ピクセル）解像度のアナログビデオ信号を出力できる。
【００１６】
画像合成ＰＣ１０２には、デスクトップ型ＰＣを用いることができる。高解像度フレームグラバーデバイスとアナログビデオキャプチャデバイスを装着する。画面表示ソフトウェア１０２ｂを用いて、講師用ＰＣ１０１の画面を表示させる。講師用ＰＣの表示解像度と同じ解像度で表示でき、最高ＳＸＧＡ（１２８０×１０２４ピクセル）解像度まで対応している。
【００１７】
クロマキー合成ソフトウェア１０２ａを用いて、ビデオカメラ映像から、描画像と講師の部分のみを切り抜き、講師用ＰＣ１０１から出力された画面に重ねる。重ね合わされた画像は、教室に設置されたプロジェクタ１０７により、リアルタイムに表示される。
【００１８】
ＲＧＢ分配器１０４は、画像合成ＰＣ１０２から出力された合成映像をプロジェクタ１０７と録画用ＰＣ１０５に分配する。
【００１９】
録画用ＰＣ１０５には、デスクトップ型ＰＣを用いており、高解像度フレームグラバーデバイスを装着する。録画用ＰＣ１０５は、画像合成ＰＣ１０２の画面を丸ごとキャプチャし、マイク１０６から入力した音声と共にリアルタイムエンコードする。最高ＳＸＧＡ（１２８０×１０２４ピクセル）の高解像度でＷｉｎｄｏｗｓ  Ｍｅｄｉａ  Ｖｉｄｅｏ（ＷＭＶ）（登録商標）形式のビデオファイルを作成する。
【００２０】
（システムの使用状態）
画像処理システム１の使用状態例を図２に示す。図２は、ライティングボード２０１と教壇２０３と複数の机が用意された教室を俯瞰視した図である。椅子及び生徒は、省略している。ライティングボード２０１に対して対向する位置に講師２０２が立っており、教壇２０３には、講師用ＰＣ１０１が載置される。講師２０２は、講師用ＰＣ１０１を操作することにより、スクリーン２０４や後側の座席に座った受講者用の後部モニタ１０８に表示されている画像を変更しながら講義を行なう。それと同時に講師２０２は、ライティングボード２０１に対してチョークで文字や図形を描画する。ライティングボード２０１の文字や図形、及び講師２０２は、ビデオカメラ１０３によって撮影され、その撮影画像は、画像合成ＰＣ１０２に出力される。
【００２１】
一方、講師用ＰＣ１０１の出力画像も、画像合成ＰＣ１０２に出力されており、画像合成ＰＣ１０２内において、板書及び講師画像と合成されて合成画像が生成される。生成された合成画像は、不図示のプロジェクタを介してスクリーン２０４及び後部モニタ１０８に表示され、同時に、録画用ＰＣ１０５に送られて録画される。
【００２２】
（画像処理）
次に、画像処理システム１で行なわれる画像処理方法の流れについて説明する。図３は、この画像処理方法の流れを示すフローチャートである。まず、ステップＳ１０１において、ビデオカメラ１０３から映像を入力する。次に、ステップＳ１０２において、ビデオカメラ１０３によって、板書がなく、講師もいない初期状態のライティングボードを撮影して得た初期画像から基準輝度値を求める。更に、ビデオカメラ１０３によって初期状態以降のライティングボードを撮影して得た画像の輝度値と、基準輝度値との差分をとる。そして、その差分が所定値以上である領域の画像をライティングボードに描かれた描画像として抽出する。
【００２３】
ステップＳ１０３では、抽出された画像のデータ形式を変換し、講師用ＰＣからの出力画像と合成できるフォーマットにする。そして最後に、ステップＳ１０４において、抽出した描画像を、背景を透過させて、講師用ＰＣからの出力画像（予め用意された講義用の資料画像）に合成し、出力する。
【００２４】
以上のように、カメラから映像を入力し、描画像・講師部分の抽出処理を行い、画面表示処理を行うことにより、スクリーン２０４又は後部モニタ１０８にリアルタイムに、描画像と講義資料画像との合成表示を行う。板書を消すと、表示画面上の描画像部分はリアルタイムで消える。更に、ステップＳ１０３においては、物体画像の認識をリアルタイムで行なうこともできる。例えば、ライティングボードの上端に右向き矢印→の図形が描かれたことを認識した場合には、画像合成ＰＣ１０２から講師用ＰＣ１０１に信号を送って、スライド画像を進める動作を行なわせることができる。さらには、ライティングボードの上端に→Ｘ（Ｘは数字）と記載された場合には、スライドがＸページに移動するように講師用ＰＣ１０１を制御しても良い。
【００２５】
（板書・講師部分抽出処理）
以下に、図３のステップＳ１０２で説明した抽出処理について、図４及び図５のフローチャートを用いてより詳しく説明する。ここで説明する抽出処理は、画像合成ＰＣ１０２のプロセッサが、クロマキー合成ソフトウェア１０２ａを実行することによって行なわれる。
【００２６】
板書・講師部分の抽出には、背景差分法を用いる。背景画像の時間的な変化を考慮した動的背景更新によるロバストな注目物体の検出手法は、既に知られている。例えば、森田 真司, 山澤 一誠, 寺沢 征彦, 横矢 直和: "全方位画像センサを用いたネットワーク対応型遠隔監視システム", 電子情報通信学会論文誌(D-II), Vol.J88-D-II, No.5, pp.864-875(2005)に開示がある。本実施形態では、この検出方法を独自に改良した手法を用いる。すなわち、本実施形態では、背景と認識した基準となる輝度値に対して所定値以上の輝度値の差がある領域を物体領域と判定している。また、連続する２フレームの画像からそれぞれ物体領域を抽出し、それらを合成する。更に、ｎフレーム目の処理とｎ＋１フレーム目の処理とで、物体領域と判定する輝度値の閾値を変化させている。そして、これらの連続する２フレームから抽出された物体領域を合成することで、動きが激しい場合においても、確実に物体領域を抽出できるようにしている。
【００２７】
図４のステップＳ２０１に示すように、まず、画像合成ＰＣ１０２のクロマキー合成ソフトウェア１０２ａを起動し、板書が無く、講師も映り込んでいない状態で、ビデオカメラを動作させ、初期状態としての背景画像を撮影する。画像合成ＰＣ１０２のＣＰＵ（不図示）は、クロマキー合成ソフトウェア１０２ａの実行することにより、撮影された所定数ｊの入力フレームから、各画素の輝度値の時間平均Ｉｍ0を算出する。次に、ステップＳ２０３において、ｊ＋１番目のフレームの各画素について、輝度値Ｉから、以下の式（１）を用いて、輝度振幅σ0を求める。
σ0＝2×（Ｉ−Ｉｍ0）2                  （１）
そして、ステップＳ２０５において、ステップＳ２０１、Ｓ２０３で求めた平均輝度Ｉｍ0、輝度振幅σ0を、背景の基準輝度値Ｉｍ及び輝度振幅の基準値σとする。つまりここまでの処理により、画像合成ＰＣ１０２のプロセッサは、基準輝度値算出手段として機能する。
【００２８】
次にステップＳ２０７において、次のフレームに進み、ステップＳ２０９において、カメラから入力された初期状態以降の映像（ｊ＋２フレーム目以降のフレーム（ｎフレーム目））において、各画素の輝度値Ｉを入力する。次に、ステップＳ２１１において、基準輝度値Ｉｍを中心として、所定範囲±（σ＋ζ）の範囲内にあるか否かを判定する。
【００２９】
すなわち、輝度値Ｉが以下の式（２）を満たす画素を、背景画素として認識し（Ｓ２１３）、満たさない画素を、物体画素として認識する（Ｓ２１５）。
Ｉｍ - σ - ζ ≦ I ≦ Iｍ + σ + ζ                        （２）
ここで、ζは、抽出対象を調整するための所定のスカラー値であり、抽出対象に応じて、大きく設定したり、小さく設定したりすることができる。例えば、調整値ζを小さく設定すれば、少しの輝度値の変化でも物体領域と判定される。つまり、人物を適格に抽出したい場合に効果的である。一方で、調整値ζを大きく設定すれば、大きく輝度値が変化しない限り背景領域と判定される。つまり、黒板に描かれた白い文字や、ホワイトボードに描かれた黒い文字などのみを抽出したい場合であって、人物などを抽出したくない場合に有効である。
【００３０】
このようにｎ番目のフレーム中の画素について、背景画素か物体画素かを判定していき、ステップＳ２１７においてフレーム中に未処理の画素がないと判断した場合には、ステップＳ２１９に進み、物体画素と判定された画素を集めて物体領域マスク１を生成する。
【００３１】
次に、ステップＳ２２１において、次のフレーム（ｎ＋１フレーム目）に進むと、図５のステップＳ２２３〜２３１では、ステップＳ２０９〜Ｓ２１７と同様の処理を繰り返す。
【００３２】
ただし、ステップＳ２２５では、ステップＳ２１１で用いた調整値ζとは異なる調整値γを用いる。Ｉｍとσとζとγの組合せとしては、例えば、（Ｉｍ，σ，ζ，γ）＝（5.0，1.0，10.0，20.0）といった関係や、（Ｉｍ，σ，ζ，γ）＝（6.0，2.0，110.0，115.0）といった関係が挙げられる(階調は8ビット（０〜２５５）)。このように、連続する２つのフレームで調整値を変化させることにより、物体領域を確実に把握することができる。
【００３３】
このようにｎ＋１番目のフレーム中の画素について、背景画素か物体画素かを判定していき、ステップＳ２３１においてフレーム中に未処理の画素がないと判断した場合には、ステップＳ２３３に進み、背景領域の基準輝度値Ｉｍと輝度振幅σとを、再計算する。具体的には、背景画素と判定された画素の輝度値Ｉを用いて、以下の式（３）により、基準輝度値Ｉｍと輝度振幅σとを求める。
【００３４】
Ｉｍ'＝（ｎ−１）／ｎ×Ｉｍ＋１／ｎ×Ｉ
σ'＝（ｎ−１）／ｎ×σ  ＋  １／ｎ×√{２×（Ｉ−Ｉｍ）2}  （３）
ｎ：更新速度パラメータ
これにより、背景のゆっくりとした変化（太陽光線の変化など）に対応することができる。
【００３５】
この点について、より詳しく説明する。窓の外からの日照の変化による教室の光線状態の変化や、板書と消去の繰り返しなどによって背景領域、特にライティングボードの輝度値が刻一刻と変化し、初期状態との差が段々開いてしまう。この時、初期状態との差分のみを基準に考えると、自然に輝度値が変化した背景領域まで物体領域として判定してしまう可能性がある。そこで、ロバストな物体検出を図るために、物体領域を検出する閾値となる基準輝度値及び輝度振幅を、２フレームごとに更新していく。すなわち、入力した動画の輝度値の変化に応じて、基準輝度値を再計算する。ただし、この基準輝度値の再計算を、連続する２フレームの画像の何れか一方に対する抽出処理の後で行なう。これにより、ゆっくりとしたスピードで徐々に輝度値が変化した背景領域は、物体領域として判定されない。
【００３６】
次に、ステップＳ２３５においては、急激な背景の変化や新たに監視環境中に置かれた静止物体に対応するため、物体領域の輝度振幅σを更新する。物体領域の基準輝度値Ｉｍは変化させない。すなわち、式（４）を用いてσを更新する。
Ｉｍ'＝Ｉｍ
σ'＝（ｍ−１）／ｍ×σ  ＋  １／ｍ×√{２×（Ｉ−Ｉｍ）2}  （４）
ｍ：更新速度パラメータ
【００３７】
一方で、物体がその場に静止し続けた場合には、σが徐々に増加し、そのうちその物体が背景と判断されるようになってしまう。ライティングボードに描かれた文字等については、背景と判断されると物体領域マスクから消えてしまうので、ｍをｎよりも大きくし、処理済みフレームの画素値の影響を小さくする。つまり、物体領域の輝度振幅σを、背景領域の輝度振幅σよりもゆっくりと更新する。これにより、撮影開始後に出現した物体は注目物体として検出され続け、背景画像に取り込まれにくくなる。言い換えれば、背景領域と物体領域とで輝度振幅の更新速度を変えている。
【００３８】
次に、ステップＳ２３７に進み、物体画素と判定された画素を集めて物体領域マスク１を生成する。そして、ステップＳ２３９においてｎフレーム目とｎ＋１フレーム目でそれぞれ抽出された物体領域マスクを加算合成し、抽出画像用マスクを生成する。つまり、連続する２フレームの画像に対して、異なる基準輝度値を用いて２つの物体領域を認識し、それらの物体領域を合成することによって抽出する物体領域を生成する。その後、ガシアン処理によるノイズ除去を行い、ｎフレーム目とｎ＋１フレーム目の抽出画像出力が完了する。
【００３９】
未処理のフレームがない場合には、このまま処理を終了するが、未処理のフレームがある場合には、ステップＳ２４１から、図４のステップＳ２４３に進む。そして、ここで、ステップＳ２０５から所定時間（例えば、３０秒又は１分）が経過したか否かを判定する。そして、所定時間が経過していれば、ステップＳ２０５の処理をもう一度行なう。つまり、最初に取得した背景領域の平均輝度値及び輝度振幅を呼び戻して、再度、基準となる輝度値Ｉｍ、及び輝度振幅σとする。
【００４０】
これは、ライティングボードに描かれた文字等が、徐々に薄くなり最後には消えてしまうという問題を解決するために行なわれる。つまり、新しく描かれた文字や図形についてロバストな物体検出を図りたいので物体領域の輝度振幅σを変化させていくが、そのままでは、動体と認識されたがその後長時間静止したもの、つまり、過去に描かれて残っている文字や図形が徐々に消えて行ってしまう。
【００４１】
そこで、この問題を解決するため、所定のタイミングで（例えば約３０秒〜１分毎）、最初に取得した背景領域の輝度平均の初期値及び輝度振幅の初期値を呼び戻して、それとの差分を取ることにより、過去に描かれて残っている文字や図形を鮮やかに復活させる。
【００４２】
（画面表示例）
ＯｐｅｎＣＶを用いて計算されたデータは、直接画面に出力する事ができないため、データを変換する必要がある。変換形式は、Ｗｉｎｄｏｗｓ（登録商標）が標準でサポートしているＢＭＰ（ビットマップ）形式を用いる。ＢＭＰ形式に変換されたデータの内、背景領域を透過色として扱うことで、抽出した描画像と講師の映像を講師用ＰＣの画面映像に重ねて表示している。
【００４３】
表示サイズはＸＧＡ（１０２４×７６８ｐｉｘ）サイズである。標準状態ではデスクトップ画面全面に重なるが、講師用ＰＣ画面上の講義資料が見えにくくなることを防ぐため、表示位置を４種類選択できる。また、一時的に非表示にすることも可能である。切り替えは抽出映像表示画面上端の位置変更メニューをマウスでクリックすることにより行う。カメラ入力画像の例を図５（ａ）に、クロマキー合成画像の例を図５（ｂ）に示す。
【００４４】
（実施形態の効果）
本実施形態の画像処理システムの利用により、講義中にライティングボードに描かれた文字や図を、表示された講義用資料と重ねて表示することができ、講義の質及び学生の理解度を向上させることができる。特に、本実施形態の画像処理システムを利用してえた画像を録画して講義ビデオとすることにより、受講生は非常に効果的に復習を行なうことが可能となる。
【００４５】
（他の実施形態）
以上、本発明の実施形態について詳述したが、上述のクロマキー合成ソフトウェアに対応するプログラムそのもの、又は、そのプログラムを格納したコンピュータ読取可能な記憶媒体も、本発明の範疇に含まれうる。
【図１】
2011035831.tif 000003
【図２】
2011035831.tif 000004
【図３】
2011035831.tif 000005
【図４】
2011035831.tif 000006
【図５】
2011035831.tif 000007
【図６】
2011035831.tif 000008