(57)【特許請求の範囲】
【請求項１】
背景画像データを記憶する記憶部と、
撮像装置によって撮像された撮影画像データの各画素と前記記憶部に記憶された前記背景画像データの各画素との差分を検出する検出部と、
前記検出部の検出結果に基づいて、除去対象とする被写体が存在する前記撮影画像データ中の領域を判定する判定部と、
前記判定部による判定結果を補正して前記被写体が存在する領域を決定する補正部と、
前記撮影画像データのうちの前記被写体が存在する領域の画像を前記背景画像データの画像と置換して得た新たな背景画像データを前記記憶部に格納する生成部とを備え、
前記判定部は、前記撮影画像データを各々が複数の画素を含む複数のブロックに分割して、前記検出部による検出結果を前記ブロック単位で集計し、前記検出部によって差分有りと判定された画素の数又は割合が所定の閾値を超える前記ブロックを前記被写体が存在するブロックと判定し、
前記補正部は、前記判定部によって前記被写体が存在すると判定されたブロックに加えて、これらのブロックに隣接する前記ブロックを前記被写体が存在するブロックとする画像処理装置。
【請求項２】
前記補正部はさらに、前記判定部によって前記被写体が存在すると判定された２つのブロックの間に位置するブロックを、前記被写体が存在するブロックとする請求項１に記載の画像処理装置。
【請求項３】
前記補正部はさらに、前記判定部によって前記被写体が存在すると判定されたブロックのうち、前記被写体が存在すると判定された他のブロックと隣接することなく孤立しているブロックに対する前記判定部の判定を取り消す請求項１又は２に記載の画像処理装置。
【請求項４】
前記閾値は、１つの前記ブロックに含まれる複数の画素の９８％以上かつ１００％以下である請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
前記撮影画像データは、時系列に沿って撮影され、第１のフレームレートを有する動画像を構成する画像データであり、
前記生成部は、前記第１のフレームレートより小さいフレームレートで前記新たな背景画像データを生成し、
前記記憶部は、前記生成部によって時系列に沿って生成される複数の背景画像データを記憶する請求項１に記載の画像処理装置。
【請求項６】
撮像装置によって撮影された撮影画像データに対する画像処理をコンピュータに実行させるための画像処理プログラムであって、前記画像処理は、
前記撮影画像データの各画素と、除去対象である被写体が含まれていない背景画像データの各画素との間で差分を検出し、
前記撮影画像データを各々が複数の画素を含む複数のブロックに分割して、前記差分の検出結果を前記ブロック単位で集計し、差分有りと判定された画素の数又は割合が所定の閾値を超える前記ブロックを前記被写体が存在するブロックと判定し、
前記閾値判定によって前記被写体が存在すると判定されたブロックに加えて、これらのブロックに隣接する前記ブロックを前記被写体が存在するブロックとし、
前記撮影画像データのうちの前記被写体が存在するブロックの画像を前記背景画像データの画像と置換して得た新たな背景画像データを記憶手段に格納する処理を含む画像処理プログラム。
【請求項７】
前記画像処理ではさらに、前記閾値判定によって前記被写体が存在すると判定された２つのブロックの間に位置するブロックを、前記被写体が存在するブロックとする請求項６に記載の画像処理プログラム。
【請求項８】
前記画像処理ではさらに、前記閾値判定によって前記被写体が存在すると判定されたブロックのうち、前記被写体が存在すると判定された他のブロックと隣接することなく孤立しているブロックに対する前記閾値判定の結果を取り消す請求項６又は７に記載の画像処理プログラム。
【請求項９】
前記閾値は、１つの前記ブロックに含まれる複数の画素の９８％以上かつ１００％以下である請求項６乃至８のいずれかに記載の画像処理プログラム。
【請求項１０】
撮像装置によって撮影された撮影画像データに対する画像処理方法であって、
前記撮影画像データの各画素と、除去対象である被写体が含まれていない背景画像データの各画素との間で差分を検出し、
前記撮影画像データを各々が複数の画素を含む複数のブロックに分割して、前記差分の検出結果を前記ブロック単位で集計し、差分有りと判定された画素の数又は割合が所定の閾値を超える前記ブロックを前記被写体が存在するブロックと判定し、
前記閾値判定によって前記被写体が存在すると判定されたブロックに加えて、これらのブロックに隣接する前記ブロックを前記被写体が存在するブロックとし、
前記撮影画像データのうちの前記被写体が存在するブロックの画像を前記背景画像データの画像と置換して得た新たな背景画像データを記憶手段に格納する画像処理方法。
【請求項１１】
さらに、前記閾値判定によって前記被写体が存在すると判定された２つのブロックの間に位置するブロックを、前記被写体が存在するブロックとする請求項１０に記載の画像処理方法。
【請求項１２】
さらに、前記閾値判定によって前記被写体が存在すると判定されたブロックのうち、前記被写体が存在すると判定された他のブロックと隣接することなく孤立しているブロックに対する前記閾値判定の結果を取り消す請求項１０又は１１に記載の画像処理方法。
【請求項１３】
前記閾値は、１つの前記ブロックに含まれる複数の画素の９８％以上かつ１００％以下である請求項１０乃至１２のいずれかに記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置によって撮像された画像に含まれている人物等の除去対象とする被写体を取り除き、除去対象とする被写体を含まない背景画像を生成する画像処理技術に関する。
【背景技術】
【０００２】
衛星通信などを利用して講義映像を遠隔地に配信する遠隔講義が従来から行われている。このような遠隔講義では、遠隔地で講義映像を視聴する受講者から講師が黒板に行う板書の文字が見えづらいという問題がある。この問題を解決するため、複数のビデオカメラによって講義を撮影し、講義状況に応じて自動的に送信映像を選択すること（例えば非特許文献１を参照）、板書や資料用の映像を講義映像とは別に撮影して遠隔地に送信すること等が行われている。
【０００３】
また、電子黒板やタブレットペンなどを用いて板書された文字、図形等を電子的なデータとして取得し、この電子データを遠隔地に送信することも行われている。
【０００４】
一方、ビデオカメラによって撮影した板書画像から文字を抽出する方法として、板書を行う前の黒板映像を背景画像とし、背景画像と板書画像との差分を検出する方法（非特許文献２を参照）、板書画像における隣接画素間の画素値の差分に基づいてエッジ検出を行って板書文字を抽出する方法（非特許文献３を参照）が知られている。
【非特許文献１】先山卓朗、他３名、「遠隔講義における講義状況に応じた送信映像選択」、電子情報通信学会論文誌、社団法人 電子情報通信学会、2001年2月、Vol.J84-D-II No.2、p.248-257
【非特許文献２】先山卓朗、他２名、「アーカイブのための黒板映像編集」、第５８回全国大会講演論文集、社団法人 情報処理学会、Vol.58、No.3、4U-2
【非特許文献３】大西正輝、他２名、「講義映像における板書領域のブロック抽出とその自動撮影」、電子情報通信学会技術研究報告、社団法人 電子情報通信学会、1999年11月、Vol.99、p.197-204
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述した複数のビデオカメラによって講義を撮影する方法では、複数のビデオカメラや映像切替器等の多くの機器を必要とすることから、システム規模が大きくなるという問題がある。
【０００６】
また、上述した電子黒板やタブレットペンなどを利用する方法では、講師が電子黒板やタブレットペンの操作に習熟する必要があり、習熟が十分でないと板書内容の取り込み精度が低下するおそれがある。
【０００７】
さらに、ビデオカメラによって撮影した板書画像から文字を抽出する上述した方法は、板書された文字の抽出を行うものであるため、板書された文字の誤検出や検出漏れを生じやすいという問題がある。また、差分検出は過去に検出した板書文字を背景画像として行うため、一度板書文字を誤検出すると、これを修復する機会が乏しいという問題がある。
【課題を解決するための手段】
【０００８】
本発明にかかる画像処理装置は、背景画像データを記憶する記憶部と、撮像装置によって撮像された撮影画像データの各画素と前記記憶部に記憶された前記背景画像データの各画素との差分を検出する検出部と、前記検出部の検出結果に基づいて、除去対象とする被写体が存在する前記撮影画像データ中の領域を判定する判定部と、前記判定部による判定結果を補正して前記被写体が存在する領域を決定する補正部と、前記撮影画像データのうちの前記被写体が存在する領域の画像を前記背景画像データの画像と置換した画像データを、新たな背景画像データとして前記記憶部に格納する生成部とを備えている。ここで、前記判定部は、前記撮影画像データを各々が複数の画素を含む複数のブロックに分割して、前記検出部による検出結果を前記ブロック単位で集計し、前記検出部によって差分有りと判定された画素の数又は割合が所定の閾値を超える前記ブロックを前記被写体が存在するブロックと判定するものである。さらに前記補正部は、前記判定部によって前記被写体が存在すると判定されたブロックに加えて、これらのブロックに隣接する前記ブロックを前記被写体が存在するブロックとするものである。
【０００９】
このような構成により、人物等の除去対象とする被写体を含むブロックを前記検出部において検出できる。さらに、被写体を部分的に含んでいるにもかかわらず前記検出部の検出から漏れたブロックを、前記補正部において前記被写体を含むブロックとして再判定することができる。このため、撮像装置によって撮影された講義画像等の撮影画像から人物等の除去対象とする被写体のみを取り除いて背景画像を生成することができる。
【００１０】
上述した本発明の画像処理装置を用いることによって、例えば、１つの撮像装置によって撮影した講義映像から板書映像を生成することが可能である。このため、複数のカメラを用いて講義を撮影する必要がなく、装置規模を抑制することができる。また、講義を行う講師は遠隔講義であることを特に意識せず講義を行えばよく、電子黒板やタブレットペン等の特別な機材を操作する必要がない。
【００１１】
また、上述した本発明の画像処理装置を用いることによって、例えば、板書された文字や図形そのものを差分検出の対象とするのではなく、人物を差分検出の対象としてこれを除去することができる。つまり、板書された文字、図形等よりも大きさが大きく誤検出の少ない人物部分を検出対象としているため、板書された文字、図形等を直接検出対象とする従来の方法に比べて文字の欠落を減らすことができる。
【００１２】
なお、上述した本発明の画像処理装置において、前記補正部はさらに、前記判定部によって前記被写体が存在すると判定された２つのブロックの間に位置するブロックを、前記被写体が存在するブロックとすることが望ましい。これによって、撮影画像中において１ブロックのサイズより十分大きな被写体を除去対象とする場合に、被写体が含まれるブロックを被写体が含まれないブロックとした前記判定部の誤判定を、前記補正部において修正することができる。このため、除去対象である被写体の検出精度を向上することができる。
【００１３】
前記補正部はさらに、前記判定部によって前記被写体が存在すると判定されたブロックのうち、前記被写体が存在すると判定された他のブロックと隣接することなく孤立しているブロックに対する前記判定部の判定を取り消すことが望ましい。１ブロックの大きさが除去対象である被写体より十分小さい場合には、このような孤立したブロックは、被写体が含まれないブロックを被写体が含まれるブロックと誤判定した可能性が高い。このため、孤立したブロックに対する前記判定部の判定を取り消すことにより、前記判定部の誤判定を前記補正部において修正することができる。このため、除去対象である被写体の検出精度を向上することができる。
【００１４】
前記判定部に適用する前記閾値は、１つの前記ブロックに含まれる複数の画素の９８％以上かつ１００％以下であることが望ましい。撮影画像中において１ブロックのサイズより十分大きな被写体を除去対象とする場合に、前記判定部が、被写体が含まれないブロックを被写体が含まれるブロックと判定する誤判定を減らすことができる。このため、除去対象である被写体の検出精度をさらに向上することができる。
【００１５】
また、上述した本発明の画像処理装置において、前記撮影画像データは、時系列に沿って撮影され、第１のフレームレートを有する動画像を構成する画像データであって、前記生成部は、前記第１のフレームレートより小さいフレームレートで前記新たな背景画像データを生成し、前記記憶部は、前記生成部によって時系列に沿って生成される複数の背景画像データを記憶することとしてもよい。例えば、撮影画像が講義風景を撮影した画像であり、背景画像が講師を除去した板書画像である場合には、板書画像のフレームレートを下げても視聴者の不具合は殆どなく、一方で板書画像データの記憶領域を低減することができる。
【００１６】
一方、本発明にかかる画像処理プログラムは、撮像装置によって撮影された撮影画像データに対する画像処理をコンピュータに実行させるための画像処理プログラムである。ここで、前記画像処理は、前記撮影画像データの各画素と、除去対象である被写体が含まれていない背景画像データの各画素との間で差分を検出し、前記撮影画像データを各々が複数の画素を含む複数のブロックに分割して、前記差分の検出結果を前記ブロック単位で集計し、差分有りと判定された画素の数又は割合が所定の閾値を超える前記ブロックを前記被写体が存在するブロックと判定し、前記閾値判定によって前記被写体が存在すると判定されたブロックに加えて、これらのブロックに隣接する前記ブロックを前記被写体が存在するブロックと判定し、前記撮影画像データのうちの前記被写体が存在するブロックの画像を前記背景画像データの画像と置換した画像データを、新たな背景画像データとして記憶手段に格納する処理を含む。
【００１７】
また、本発明にかかる画像処理方法は、撮像装置によって撮影された撮影画像データに対する画像処理方法である。まず、前記撮影画像データの各画素と、除去対象である被写体が含まれていない背景画像データの各画素との間で差分を検出する。次に、前記撮影画像データを各々が複数の画素を含む複数のブロックに分割して、前記差分の検出結果を前記ブロック単位で集計し、差分有りと判定された画素の数又は割合が所定の閾値を超える前記ブロックを前記被写体が存在するブロックと判定する。続いて、前記閾値判定によって前記被写体が存在すると判定されたブロックに加えて、これらのブロックに隣接する前記ブロックを前記被写体が存在するブロックと判定する。最後に、前記撮影画像データのうちの前記被写体が存在するブロックの画像を前記背景画像データの画像と置換した画像データを、新たな背景画像データとして記憶手段に格納する。
【００１８】
上述した、本発明の画像処理プログラム及び画像処理方法によっても、撮像装置によって撮影された講義画像等の画像から人物等の除去対象とする被写体のみを取り除いて、背景画像を生成することができる。
【発明の効果】
【００１９】
本発明により、撮像装置によって撮影された講義画像等の画像から人物等の除去対象とする被写体のみを取り除いて背景画像を生成する画像処理装置、画像処理プログラム及び画像処理方法を提供することができる。
【発明を実施するための最良の形態】
【００２０】
以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。なお、以下に説明する発明の実施の形態は、講師がマーカーボードを使って行う講義風景を撮影した動画像（以下、講義画像と呼ぶ）から講義を行っている人物を除去し、マーカーボードに行われた板書のみの動画像（以下、板書画像と呼ぶ）を生成する画像処理装置に本発明を適用したものである。
【００２１】
発明の実施の形態１．
本実施の形態にかかる画像処理装置１の構成を図１に示す。画像処理装置１は、撮像装置１００によって撮影した講義画像データを入力し、当該講義画像データから人物を除去する画像処理を行う。ここで、撮像装置１００は、ＣＣＤ等の撮像素子１０１及び撮像素子１０１によって得られたアナログ画像データをデジタル画像データに変換し、ホワイトバランスの調整、画素毎にＲＧＢ信号を得るための補間処理等を行って、ＲＧＢ画像データを出力する信号処理部１０２を備えている。なお、撮像装置１００は、この他にも撮像素子１０１の露光時間を制御する電子シャッタ機構、絞り制御機構、撮像信号の信号レベルを調整する利得制御機構等を備えている。
【００２２】
画像処理装置１が有する撮影画像記憶部１１は、撮像装置１００によって撮像された講義画像データを格納するメモリである。背景画像記憶部１２は、以下に説明する差分検出部１３において初期画像として使用される板書画像データ及び背景画像生成部１６によって時系列に沿って生成される板書画像データを格納するメモリである。ここで、初期画像とは、人物が写っていない状態で板書がなされていないマーカーボードを撮影した画像である。なお、マーカーボードに板書がなされた状態であっても、板書された文字、図形等は後述する人物ブロック判定部１４において人物ブロックとして検出されないため特に問題ないが、画像処理装置１によって得られる板書のみの動画像の時系列を維持するために、板書がなされていないマーカーボードの画像を初期画像とすることが望ましい。初期画像は、例えば撮像装置１００によって撮影し、予め背景画像記憶部１２に格納しておく。
【００２３】
差分検出部１３は、撮影画像記憶部１１に格納された講義画像データと、後述する背景画像生成部１６によって生成され、背景画像記憶部１２に格納された最新の板書画像データとを入力する。差分検出部１３は、講義画像データの各画素と板書画像データの同一座標の各画素との間で画素値の差分を算出し、算出した画素値の差分が所定の閾値を超えるか否かを判定することによって、講義画像に含まれている板書された文字や講義を行う人物に起因して生じる講義画像と背景画像の間の差分を検出する。差分検出部１３は、画素毎の差分検出結果を人物ブロック判定部１４に出力する。
【００２４】
ここで、差分検出部１３における画素間の差分検出には、画像データ中のＲＧＢの色成分の各々に適当な重み付けをして加算した値を用いることとすれば良い。このとき、マーカーボードの色は背景画像を占める主要な色であるため、マーカーボードの色に近似した色成分の重みを大きくすると誤判定を生じ易い。このため、差分検出を行う際の色成分重み付けでは、マーカーボードの色に近似した色成分の重みを小さくすることが望ましい。例えば、マーカーボードが緑色である場合は、Ｇ成分の重みを小さくするか又はゼロとするとよい。なお、画素間の差分検出を行う際は、Ｒ成分、Ｇ成分及びＢ成分のいずれか１つの成分を用いて比較を行っても良いし、Ｒ成分、Ｇ成分及びＢ成分で構成された画像データを輝度信号と色差信号に変換し、講義画像データと板書画像データとの間で輝度信号を比較することによって差分を検出してもよい。
【００２５】
人物ブロック判定部１４は、画像を複数の画素を含むブロック単位に分割し、それぞれのブロックに対して差分検出部１３が差分を検出した画素の数及び画素の割合の少なくとも一方を算出する。さらに、人物ブロック判定部１４は、１ブロック中に含まれる差分を検出した画素数又は画素の割合を所定の閾値と比較し、所定の閾値を超える場合に当該ブロックが人物を含むブロック（以下、人物ブロックと呼ぶ）であると判定し、所定の閾値を超えない場合に当該ブロックが人物を含まないブロック（以下、非人物ブロックと呼ぶ）であると判定する。
【００２６】
講義画像中に新たに板書された文字、図形等が存在する場合は、差分検出部１３は、これらの文字、図形等も背景画像との差分として検出することになる。このため、講義画像中に新たに板書された文字、図形等を背景画像として取り込むためには、人物ブロック判定部１４に適用する閾値は、板書された文字、図形等による差分のみを含むブロックを人物ブロックと判定することがないように設定する必要がある。つまり、１ブロックに含まれる複数の画素の大部分において差分を検出した場合に、人物ブロックと判定するよう閾値を設定することが望ましい。
【００２７】
具体例を以下に示す。幅１８０ｃｍ×高さ９０ｃｍのマーカーボードを用いて行う講義を、解像度が横１２８０×縦７２０ピクセルのデジタルハイビジョンカメラ（ＨＤＶ規格 ７２０ｐフォーマット）の画面内にちょうどマーカーボードが収まるように調整して撮影し、撮影した画像を１６×１６ピクセルのブロック単位に分割し、横８０×縦４５ブロックの各ブロックに対して判定を行った。このとき、１ブロックを構成する２５６画素のうち、２５３画素以上の画素で変化を検出した場合に人物ブロックと判定することにより、板書された文字、図形による変化を人物ブロックと誤判定することが少なく、良好な結果を得ることができた。また、２５２画素以下に閾値を設定すると、閾値を小さくするにつれて非人物ブロックを人物ブロックと判定する誤判定が増大した。このように、１ブロックの大きさを除去対象である人物の大きさに比べて十分小さくし、１ブロック中の差分を検出した画素の割合が９８％以上１００％以下となるように閾値を設定することによって、非人物ブロックを人物ブロックと誤判定することを軽減することができる。
【００２８】
なお、上述のように、１ブロックに含まれる複数の画素の大部分で差分を検出した場合にのみ人物ブロックと判定するよう閾値を設定した場合には、人物ブロックと判定すべきブロックを非人物ブロックと判定する誤判定が増えるという不具合が生じる。例えば、ブロック中の画素の一部に人物の一部を含むブロックを人物ブロックと判定することができない。また、人物の服装の一部の色が背景のマーカーボードの色と近似していると、この近似する部分がわずかであっても人物ブロックとすべき領域を非人物ブロックと誤判定する場合がある。これらの不具合を解消するため、本実施の形態の画像処理装置１では、補正部１１５において人物ブロック判定部１４による判定結果の補正を行う。
【００２９】
補正部１５は、人物ブロック判定部１４のブロック毎の判定結果を入力し、当該判定結果を補正して最終的な人物ブロック判定を行う。補正部１５が行う処理を図２及び図３を用いて説明する。
【００３０】
図２は、補正部１５が行う処理を示すフローチャートである。まず、ステップＳ１１では、人物ブロック判定部１４の判定結果において、他の人物ブロックと上下又は左右のいずれにも隣接しておらず孤立して存在する人物ブロックを検出し、この孤立した人物ブロックを非人物ブロックに変更する。１ブロックの大きさが除去対象である人物より十分小さい場合には、このような孤立した人物ブロックは、非人物ブロックを人物ブロックと誤判定した可能性が高い。このため、孤立した人物ブロックを非人物ブロックに変更することにより、人物ブロック判定部１４での誤判定を修正することができる。
【００３１】
ステップＳ１２では、非人物ブロックと判定されたブロックのうち、上下及び左右の少なくとも一方が人物ブロックと隣接しており、人物ブロックによって挟まれた状態にあるブロックを人物ブロックに変更する。人物の形状に照らすと、人物ブロックによって挟まれたブロックもまた人物ブロックである可能性が高いと推測できる。このため、ステップＳ１２の処理を行うことにより、人物ブロック判定部１４において人物ブロックを非人物ブロックとした誤判定を修正することができる。
【００３２】
さらに、ステップＳ１３では、人物ブロックの上下左右のいずれかに隣接している非人物ブロックを人物ブロックに変更し、人物ブロックの領域を成長させる。なお、さらに、人物ブロックと頂点同士が接し、斜め方向に隣接する非人物ブロックを人物ブロックに変更することとしてもよい。人物ブロック判定部１４が行う閾値判定では、人物の輪郭部分を含むブロックを人物ブロックと判定することができない。つまり、ブロック中の画素の一部のみが人物の一部であるようなブロックが人物ブロックと判定されない。しかしながら、ステップＳ１３の処理を行うことにより、輪郭部分を人物ブロックと判定することができる。
【００３３】
上述したステップＳ１１乃至Ｓ１３の処理を１回又は複数回繰り返して行うことにより、人物ブロックの判定精度を向上することができる。ステップＳ１４では、ステップＳ１１乃至Ｓ１３の処理の繰り返し回数が所定回数（例えば３回）に達したか否かを判定し、所定回数に満たない場合はステップＳ１１乃至Ｓ１３を再度実行する。繰り返し回数は、除去対象とする人物の大きさと、画素及びブロックの大きさを考慮し、ステップＳ１３の処理によって人物の輪郭部分を人物ブロックとできる回数に予め決定すれば良い。例えば、上述した幅１８０ｃｍ×高さ９０ｃｍのマーカーボードを用いた講義を撮影する具体例では、２回又は３回の繰り返し回数により、人物の輪郭部分を除去することができた。
【００３４】
補正部１５における処理の具体例を図３の概念図を用いて説明する。図３（ａ）は、撮像装置１００によって撮影された講義画像を示す概念図である。図３（ａ）の講義画像２１には人物２４と板書されたＡ〜Ｎの文字列２５を含むものとする。図３（ｂ）は、図３（ａ）の講義画像に対する人物ブロック判定部１４による判定結果の一例を示すものである。図３（ｂ）の講義画像２２の網掛け部分は、人物ブロック判定部１４によって人物ブロックと判定された領域を示している。このうち、ブロック２６は、文字列２５の一部を含むブロックが人物ブロックと誤判定されたブロックを表している。また、ブロック２７は、人物ブロックであるにもかかわらず非人物ブロックと誤判定されたブロックを表している。また、図３（ｂ）の講義画像２２において、人物２４の輪郭部分は非人物ブロックと判定された状態である。
【００３５】
一方、図３（ｃ）は、図３（ｂ）に示す人物ブロック判定部１４の判定結果に対して補正部１５による補正を実行した結果を示している。上述したステップＳ１１の処理によって、人物ブロックと誤判定されたブロック２６は非人物ブロックに変更される。また、上述したステップＳ１２の処理によって、非人物ブロックと誤判定されたブロック２７は、人物ブロックに変更される。さらに、上述したステップＳ１３の処理によって、人物２４の輪郭部分が人物ブロックに変更される。図３（ｃ）に追加した網掛け部分は、補正部によって非人物ブロックから人物ブロックに変更されたブロックを示している。
【００３６】
上述したように、１ブロックに含まれる複数の画素の大部分で差分を検出した場合にのみ人物ブロックと判定するよう人物ブロック判定部１４に適用する閾値を設定することによって、板書された文字列による差分を人物と検出する誤判定を軽減することができる。しかし、一方では、人物を一部に含むブロック等を非人物ブロックと判定してしまうという不具合がある。しかしながら、人物ブロック判定部１４の閾値判定の結果を補正部１５において補正することにより、上記の不具合を解消し、非人物ブロックを人物ブロックとする誤判定を軽減しつつ、さらに、人物ブロックを非人物ブロックとする誤判定も軽減することができ、人物ブロックの判定精度を向上することができる。
【００３７】
なお、補正部１５は、図２のステップＳ１１乃至Ｓ１３の処理の全てを必ずしも行う必要はなく、ステップＳ１１乃至Ｓ１３から選択した１つ又は２つの処理を実行することとしてもよい。
【００３８】
図１に戻って説明を続ける。背景画像生成部１６は、補正部１５によって補正された人物ブロックの判定結果を入力し、撮影画像記録部１１に格納された講義画像のうち人物ブロックと判定された領域の画像を、背景画像記憶部１２に格納された板書画像データの対応する位置の画像と置換する。このような置換によって、新たに追加された板書文字、図形等を取り込みつつ、人物は含まれていない新たな板書画像を得ることができる。
【００３９】
背景画像生成部１６は、人物ブロック部分の画像を置換することによって得た新たな板書画像データを背景画像記憶部１２に格納する。ここで、背景画像生成部１６は、元の講義画像と同じ時系列に沿った動画像として板書画像データを背景画像記憶部１２に格納する。これにより、非同期型の遠隔講義において、得られた動画像としての板書画像を、講師を含む動画映像（講義画像）と共に利用することが可能となる。
【００４０】
なお、背景画像生成部１６が生成する板書画像のフレームレートは、撮像装置１００によって撮影した講義画像のフレームレートと同一としても良いが、講義画像からフレームを間引くことにより、板書画像のフレームレートを講義画像のフレームレートより小さくしてもよい。具体的には、例えば、一文字を板書するのに要する時間を想定し、数秒程度の間隔で板書画像データを生成することとすればよい。板書画像のフレームレートを下げても視聴者の不具合は殆どなく、一方で板書画像データの記憶領域を低減することができる。
【００４１】
上述した画像処理装置１は、１つの撮像装置１００によって撮影した講義映像から板書映像を生成することが可能である。このため、複数のカメラを用いて講義を撮影する必要がなく、装置規模を抑制することができる。また、講義を行う講師は遠隔講義であることを特に意識せず講義を行えばよく、電子黒板やタブレットペン等の特別な機材を操作する必要がない。
【００４２】
また、上述した画像処理装置１は、板書された文字や図形そのものを差分検出の対象とするのではなく、人物を差分検出の対象としてこれを除去するものである。つまり板書された文字、図形等よりも大きく誤検出の少ない人物部分を差分検出による検出対象としているため、板書された文字、図形等を直接検出対象とする従来の方法に比べて文字の欠落を減らすことができる。
【００４３】
さらに、上述した画像処理装置１は、あるフレームで非人物ブロックを人物ブロックと誤判定し、当該フレームに含まれる新たな板書内容を当該フレームから生成する板書画像に取り込むことができなくても、次のフレームで誤判定が解消されることにより、過去に取りこぼした板書内容も取り込んで新たな板書画像を生成することができる。
【００４４】
なお、本実施の形態にかかる画像処理装置１は、典型的なコンピュータ・システムにより構成することが可能である。例えば図４に示すように、キーボード、マウス等の入力装置３１、液晶ディスプレイやＣＲＴ等の表示装置３２、ＬＡＮ、ＩＥＥＥ１３９４等のネットワークと接続してデータの送受信を行う通信インタフェース３３、演算処理を実行するＣＰＵ（Central Processing Unit）３４、ＲＡＭ（Random Access Memory）３５、ＲＯＭ（Read Only Memory）３６及び外部記憶装置３７を備えるコンピュータ・システム３０を利用できる。外部記憶装置３７としては、例えば、他の構成と共に単一のコンピュータ内に設けたハードディスク装置を使用してもよいが、物理的に隔離したデータベースとして構成してもよく、さらには複数のハードディスク装置を組み合わせて構成してもよい。
【００４５】
ＣＰＵ３４は、制御プログラムに基づいて、画像処理装置１内の各種処理を実行する中央制御装置である。なお制御プログラムとは、画像処理装置１に関する処理をＣＰＵ３４により実行させるためのプログラムであり、ＲＯＭ３６又は外部記憶装置３７に格納されている。なお、この制御プログラムは、遠隔に設けられた記憶手段から通信網を介して取得するようにしてもよい。
【００４６】
外部記憶装置３７には、画像処理プログラム３７１、撮像装置１００から通信インタフェース３３を介して入力した撮影画像データ（講義画像）及びコンピュータ・システム３０が画像処理装置１として動作することにより生成した背景画像データ（板書画像）を格納する。
【００４７】
ここで、画像処理プログラム３７１は、コンピュータ・システム３０に上述した画像処理装置が備える各機能部の動作を実行させるためのプログラムである。画像処理プログラム３７１は、ＲＡＭ３５上に読み出され、ＣＰＵ３４で実行される。ＣＰＵ３４が画像処理プログラム３７１に従って動作することにより、コンピュータ・システム３０が本実施の形態にかかる画像処理装置１として動作することができる。
【００４８】
画像処理プログラム３７１に基づくコンピュータ・システム３０の動作フローを図５に示す。ステップＳ２１では、背景画像データ３７３（板書画像）の初期画像を取得し、外部記憶装置３７に格納する。上述したように、初期画像とは、人物及び板書文字、図形を含まない画像である。
【００４９】
ステップＳ２２では、通信インタフェース３３を介して入力した撮影画像データ３７２（講義画像）を動画像として外部記憶装置３７に格納する。ステップＳ２３では、撮影画像データ３７２の最新フレームと背景画像データ３７３最新フレームとの間で、画素ごとに差分を検出する。当該ステップは、差分検出部１３の処理に対応する。ステップＳ２４では、ステップＳ２３での差分検出結果を用いて、ブロック単位で閾値比較を行うことにより人物ブロックの判定を行う。当該ステップは、人物ブロック判定部１４の処理に対応する。
【００５０】
ステップＳ２５では、図２に示したフローチャートの処理を実行し、ステップＳ２４の人物ブロックの判定結果を補正する。当該ステップは、補正部１５の処理に対応する。
【００５１】
ステップＳ２６では、ステップＳ２５で得た補正後の人物ブロック判定結果を用いて、撮影画像データ３７２の最新フレームの人物ブロック領域を背景画像データ３７３の最新フレームの対応する領域の画像と置換し、新たな背景画像データを生成する。ステップＳ２７では、生成した新たな背景画像データを背景画像データ３７３の新たなフレームとして追加する。ステップＳ２６及びＳ２７の処理は、背景画像生成部１６の処理に対応する。
【００５２】
ステップＳ１８では、撮影画像データ３７２に後続のフレームが存在するか否かを判定し、後続フレームが存在する場合には、ステップＳ２２乃至Ｓ２７の処理を繰り返して実行する。撮影画像データ３７２の最終フレームまで処理が終了した場合には、背景画像データ３７３の生成を終了する。
【００５３】
上述した画像処理プログラム３７１は、ハードディスク等の外部記憶装置３７に限らず様々な種類の記憶媒体に格納することが可能であり、また、通信媒体を介して伝達されることが可能である。ここで、記憶媒体には、例えば、フレキシブルディスク、ハードディスク、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭカートリッジ、バッテリバックアップ付きＲＡＭメモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジ等を含む。また、通信媒体には、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体等を含み、インターネットも含まれる。
【００５４】
本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。例えば、本発明は、講義を撮影した動画像から人物を除去した板書の動画像を生成する場合に限らず、撮影画像から人物等の除去対象を除去して背景画像を生成する画像処理装置に広く適用可能である。
【図面の簡単な説明】
【００５５】
【図１】本発明にかかる画像処理装置の構成図である。
【図２】本発明の画像処理装置が行う処理を示すフローチャートである。
【図３】本発明の画像処理装置が行う処理を説明するための概念図である。
【図４】本発明にかかる画像処理プログラムを実行するコンピュータ・システムの一例を示す図である。
【図５】本発明の画像処理プログラムが規定する処理手順を示すフローチャートである。
【符号の説明】
【００５６】
１  画像処理装置
１１  撮影画像記憶部
１２  背景画像記憶部
１３  差分検出部
１４  人物ブロック判定部
１５  補正部
１６  背景画像生成部
３０  コンピュータ・システム
３１  入力装置
３２  表示装置
３３  通信インタフェース
３４  ＣＰＵ
３５  ＲＡＭ
３６  ＲＯＭ
３７  外部記憶装置
１００  撮像装置
１０１  撮像素子
１０２  信号処理部
３７１  画像処理プログラム
３７２  撮影画像データ
３７３  背景画像データ
【図１】
0004830105.tif 000002
【図２】
0004830105.tif 000003
【図３】
0004830105.tif 000004
【図４】
0004830105.tif 000005
【図５】
0004830105.tif 000006