(57)【要約】【課題】利便性を向上させる。【解決手段】書画カメラ装置５１の画像取得部６２は、原稿台６１に配置された紙６４からの可視光を撮像して可視画像を得るとともに、紙６４からの赤外光を撮像して赤外画像を得る。そして画像取得部６２は、これから出力しようとする出力カラー画像の画素を注目画素として、注目画素と同じ位置にある赤外画像上の画素の画素値が閾値Ｐ１未満である場合、可視画像の全ての画素の画素値の平均値を注目画素の画素値とし、赤外画像の画素の画素値が閾値Ｐ１以上である場合、注目画素と同じ位置の可視画像の画素の画素値を、注目画素の画素値とする。これにより、可視画像から赤外画像に表示される部分が消去された出力カラー画像が生成される。本発明は、書画カメラ装置に適用することができる。【選択図】図４
2009117895.tif 000002
【特許請求の範囲】
【請求項１】
対象物からの第１の波長帯域の光を受光して得られる第１の画像と、前記対象物からの第２の波長帯域の光を受光して得られる第２の画像とを撮像する撮像手段と、
これから生成しようとする出力画像の画素を注目画素として、前記注目画素と同じ位置にある前記第１の画像の画素の画素値から、その画素に投影されている物質を特定し、その特定結果に応じて、前記注目画素と同じ位置の前記第１の画像の画素の画素値、または前記注目画素と同じ位置の前記第２の画像の画素の画素値を用いて注目画素の画素値を生成することにより、前記出力画像を生成する生成手段と
を備える画像処理装置。
【請求項２】
対象物からの第１の波長帯域の光を受光して得られる第１の画像と、前記対象物からの第２の波長帯域の光を受光して得られる第２の画像との撮像を制御し、
これから生成しようとする出力画像の画素を注目画素として、前記注目画素と同じ位置にある前記第１の画像の画素の画素値から、その画素に投影されている物質を特定し、その特定結果に応じて、前記注目画素と同じ位置の前記第１の画像の画素の画素値、または前記注目画素と同じ位置の前記第２の画像の画素の画素値を用いて注目画素の画素値を生成することにより、前記出力画像を生成する
ステップを含む画像処理方法。
【請求項３】
対象物からの第１の波長帯域の光を受光して得られる第１の画像と、前記対象物からの第２の波長帯域の光を受光して得られる第２の画像との撮像を制御し、
これから生成しようとする出力画像の画素を注目画素として、前記注目画素と同じ位置にある前記第１の画像の画素の画素値から、その画素に投影されている物質を特定し、その特定結果に応じて、前記注目画素と同じ位置の前記第１の画像の画素の画素値、または前記注目画素と同じ位置の前記第２の画像の画素の画素値を用いて注目画素の画素値を生成することにより、前記出力画像を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項４】
対象物からの第１の波長帯域の光を受光して得られる第１の画像と、前記対象物からの第２の波長帯域の光を受光して得られる第２の画像とを撮像する撮像手段と、
これから生成しようとする出力画像の画素を注目画素として、前記注目画素と同じ位置にある前記第１の画像の画素の画素値と、予め定められた閾値とを比較し、その比較結果に応じて、前記注目画素と同じ位置の前記第２の画像の画素の画素値を注目画素の画素値とするか、または所定の値を前記注目画素の画素値とすることにより、前記出力画像を生成する生成手段と
を備える画像処理装置。
【請求項５】
前記生成手段は、前記第１の画像の画素の画素値が前記閾値未満である場合、前記所定の値を前記注目画素の画素値とし、前記第１の画像の画素の画素値が前記閾値以上である場合、前記第２の画像の画素の画素値を前記注目画素の画素値とする
請求項４に記載の画像処理装置。
【請求項６】
前記生成手段は、前記第１の画像の画素の画素値が前記閾値未満である場合、前記第２の画像の画素の画素値を前記注目画素の画素値とし、前記第１の画像の画素の画素値が前記閾値以上である場合、前記所定の値を前記注目画素の画素値とする
請求項４に記載の画像処理装置。
【請求項７】
前記生成手段は、前記第２の画像の画素の画素値の平均値を前記所定の値とする
請求項４に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および方法、並びにプログラムに関し、特に、利便性を向上させることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、学校教育において、書画カメラ装置を利用した授業が一般化されてきている。そのような授業では、書画カメラ装置により撮像された画像が教室に設置されたスクリーンに投影されて表示され、教師は表示された画像を用いて説明を行い、授業を進めていく。
【０００３】
このような書画カメラ装置を利用した授業として、図１に示すスタイルが考えられる。図１では、教室内に書画カメラ装置１１、プロジェクタ１２、およびスクリーン１３が配置されており、書画カメラ装置１１にはプロジェクタ１２が接続されている。
【０００４】
また、教室には授業を行う教師１４と、授業を受ける複数人の生徒１５−１乃至生徒１５−４とがいて、教師１４はスクリーン１３に画像を表示させて授業を行い、生徒１５−１乃至生徒１５−４は、スクリーン１３に表示された画像を見ながら教師１４の説明を聞く。なお、以下、生徒１５−１乃至生徒１５−４のそれぞれを個々に区別する必要のない場合、単に生徒１５と称する。
【０００５】
より具体的に説明すると、書画カメラ装置１１には原稿台２１が設けられており、教師１４は白紙の紙２２に所望の文字や図形、例えば生徒１５に解かせる問題などを書き、問題の書かれた紙２２を原稿台２１上に配置する。書画カメラ装置１１は原稿台２１に配置された紙２２の画像を撮像し、これにより得られた画像データをプロジェクタ１２に供給する。そして、プロジェクタ１２は、書画カメラ装置１１からの画像データに基づいて、スクリーン１３に光を投光し、紙２２の画像を表示させる。
【０００６】
これにより、スクリーン１３には、例えば図２に示すように、拡大された紙２２の画像、すなわち教師１４により書かれた問題が表示される。図２では、スクリーン１３には、紙２２に書かれた問題を表す文字「１５+１４＝」が表示されている。
【０００７】
スクリーン１３に問題が表示されると、例えば教師１４は、複数の生徒１５のうちの一人を指名して問題の解答を紙２２に書かせる。そして、指名された生徒１５が紙２２に問題の解答を書くと、書画カメラ装置１１により解答の書かれた紙２２の画像が撮像されるので、スクリーン１３には、例えば図３に示すように問題と、その問題に対する解答とが表示される。図３では、スクリーン１３には、教師１４により書かれた問題を示す文字「１５+１４＝」と、生徒１５により書かれた解答を示す文字「２９」とが表示されている。
【０００８】
このように、書画カメラ装置１１を利用した授業では、教師１４や生徒１５により書かれた紙２２上の文字や図形の画像がスクリーン１３上に拡大されて表示されるため、生徒１５は見やすい大きさに拡大された画像を見ながら授業を受けることができる。
【０００９】
また、従来の書画カメラ装置には、赤外線を検知するカメラにより、赤外線を発光するLED（Light Emitting Diode）が取り付けられた指輪の位置を検出するものもある（例えば、特許文献１参照）。この書画カメラ装置では、ユーザが指に指輪を装着して撮像の対象となる原稿上の所望の位置を指し示すと、スクリーンには原稿の画像とともに、原稿上における指輪の位置を示す指示マークが表示される。
【００１０】
【特許文献１】特開２００３−３１５９１５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
ところで、書画カメラ装置１１を利用した授業では、例えば、教師１４が生徒１５に対して「復習です。答えを消しますので、もう一度同じ問題を解いてみましょう」と問いかけて、スクリーン１３に表示されている問題と解答のうち、生徒１５により書かれた解答を消して、問題だけを表示させたいと思うことがある。すなわち、図３に示した紙２２の画像のうち、解答を示す文字「２９」を消して、問題を示す文字「１５+１４＝」だけを表示させたい場合がある。
【００１２】
しかしながら、書画カメラ装置１１では、原稿台２１上に配置された紙２２を忠実に撮像し、撮像により得られた画像データをプロジェクタ１２に供給しているので、消しゴム等で文字を消したりしない限りは、紙２２に書かれた文字「１５+１４＝２９」を部分的に消すことはできない。そのため、教師１４は授業の進め方に制約を受けていた。
【００１３】
このように、上述した技術では、撮像の対象となる原稿（紙）に書いてしまった文字を消すことができないため、書画カメラ装置を利用するユーザは、表示させたい文字や図形を鉛筆で書いて、その一部を消しゴムで消したり、原稿台に配置する紙を新たなものに取り換えて、その新たに用意した紙に文字等を書き直したりしなければならなかった。
【００１４】
本発明は、このような状況に鑑みてなされたものであり、書画カメラ装置の利便性を向上させることができるようにするものである。
【課題を解決するための手段】
【００１５】
本発明の第１の側面の画像処理装置は、対象物からの第１の波長帯域の光を受光して得られる第１の画像と、前記対象物からの第２の波長帯域の光を受光して得られる第２の画像とを撮像する撮像手段と、これから生成しようとする出力画像の画素を注目画素として、前記注目画素と同じ位置にある前記第１の画像の画素の画素値から、その画素に投影されている物質を特定し、その特定結果に応じて、前記注目画素と同じ位置の前記第１の画像の画素の画素値、または前記注目画素と同じ位置の前記第２の画像の画素の画素値を用いて注目画素の画素値を生成することにより、前記出力画像を生成する生成手段とを備える。
【００１６】
本発明の第１の側面の画像処理方法またはプログラムは、対象物からの第１の波長帯域の光を受光して得られる第１の画像と、前記対象物からの第２の波長帯域の光を受光して得られる第２の画像との撮像を制御し、これから生成しようとする出力画像の画素を注目画素として、前記注目画素と同じ位置にある前記第１の画像の画素の画素値から、その画素に投影されている物質を特定し、その特定結果に応じて、前記注目画素と同じ位置の前記第１の画像の画素の画素値、または前記注目画素と同じ位置の前記第２の画像の画素の画素値を用いて注目画素の画素値を生成することにより、前記出力画像を生成するステップを含む。
【００１７】
本発明の第１の側面においては、対象物からの第１の波長帯域の光を受光して得られる第１の画像と、前記対象物からの第２の波長帯域の光を受光して得られる第２の画像とが撮像され、これから生成しようとする出力画像の画素が注目画素とされて、前記注目画素と同じ位置にある前記第１の画像の画素の画素値から、その画素に投影されている物質が特定され、その特定結果に応じて、前記注目画素と同じ位置の前記第２の画像の画素の画素値が用いられて注目画素の画素値が生成されることにより、前記出力画像が生成される。
【００１８】
本発明の第２の側面の画像処理装置は、対象物からの第１の波長帯域の光を受光して得られる第１の画像と、前記対象物からの第２の波長帯域の光を受光して得られる第２の画像とを撮像する撮像手段と、これから生成しようとする出力画像の画素を注目画素として、前記注目画素と同じ位置にある前記第１の画像の画素の画素値と、予め定められた閾値とを比較し、その比較結果に応じて、前記注目画素と同じ位置の前記第２の画像の画素の画素値を注目画素の画素値とするか、または所定の値を前記注目画素の画素値とすることにより、前記出力画像を生成する生成手段とを備える。
【００１９】
前記生成手段には、前記第１の画像の画素の画素値が前記閾値未満である場合、前記所定の値を前記注目画素の画素値とさせ、前記第１の画像の画素の画素値が前記閾値以上である場合、前記第２の画像の画素の画素値を前記注目画素の画素値とさせることができる。
【００２０】
前記生成手段には、前記第１の画像の画素の画素値が前記閾値未満である場合、前記第２の画像の画素の画素値を前記注目画素の画素値とさせ、前記第１の画像の画素の画素値が前記閾値以上である場合、前記所定の値を前記注目画素の画素値とさせることができる。
【００２１】
前記生成手段には、前記第２の画像の画素の画素値の平均値を前記所定の値とさせることができる。
【００２２】
本発明の第２の側面においては、対象物からの第１の波長帯域の光を受光して得られる第１の画像と、前記対象物からの第２の波長帯域の光を受光して得られる第２の画像とが撮像され、これから生成しようとする出力画像の画素が注目画素とされて、前記注目画素と同じ位置にある前記第１の画像の画素の画素値と、予め定められた閾値とが比較され、その比較結果に応じて、前記注目画素と同じ位置の前記第２の画像の画素の画素値が注目画素の画素値とされるか、または所定の値が前記注目画素の画素値とされて、前記出力画像が生成される。
【発明の効果】
【００２３】
本発明の第１の側面によれば、画像を撮像することができる。特に、本発明の第１の側面によれば、利便性を向上させることができる。
【００２４】
本発明の第２の側面によれば、画像を撮像することができる。特に、本発明の第２の側面によれば、利便性を向上させることができる。
【発明を実施するための最良の形態】
【００２５】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２６】
本発明の第１の側面の画像処理装置は、対象物からの第１の波長帯域の光を受光して得られる第１の画像と、前記対象物からの第２の波長帯域の光を受光して得られる第２の画像とを撮像する撮像手段（例えば、図４のカラーイメージセンサ７５およびモノクロイメージセンサ７７）と、これから生成しようとする出力画像の画素を注目画素として、前記注目画素と同じ位置にある前記第１の画像の画素の画素値から、その画素に投影されている物質を特定し、その特定結果に応じて、前記注目画素と同じ位置の前記第２の画像の画素の画素値を用いて注目画素の画素値を生成することにより、前記出力画像を生成する生成手段（例えば、図５の適応的画像選択部１０２）とを備える。
【００２７】
本発明の第１の側面の画像処理方法またはプログラムは、対象物からの第１の波長帯域の光を受光して得られる第１の画像と、前記対象物からの第２の波長帯域の光を受光して得られる第２の画像との撮像を制御し（例えば、図６のステップＳ１１およびステップＳ１２）、これから生成しようとする出力画像の画素を注目画素として、前記注目画素と同じ位置にある前記第１の画像の画素の画素値から、その画素に投影されている物質を特定し、その特定結果に応じて、前記注目画素と同じ位置の前記第１の画像の画素の画素値、または前記注目画素と同じ位置の前記第２の画像の画素の画素値を用いて注目画素の画素値を生成することにより、前記出力画像を生成する（例えば、図７のステップＳ４３およびステップＳ４４、または図８のステップＳ７３またはステップＳ７４）ステップを含む。
【００２８】
本発明の第２の側面の画像処理装置は、対象物からの第１の波長帯域の光を受光して得られる第１の画像（例えば、図４のモノクロイメージセンサ７７により撮像される赤外画像）と、前記対象物からの第２の波長帯域の光を受光して得られる第２の画像（例えば、図４のカラーイメージセンサ７５により撮像される可視画像）とを撮像する撮像手段（例えば、図４のカラーイメージセンサ７５およびモノクロイメージセンサ７７）と、これから生成しようとする出力画像の画素を注目画素として、前記注目画素と同じ位置にある前記第１の画像の画素の画素値と、予め定められた閾値とを比較し、その比較結果に応じて、前記注目画素と同じ位置の前記第２の画像の画素の画素値を注目画素の画素値とするか、または所定の値を前記注目画素の画素値とすることにより、前記出力画像を生成する生成手段（例えば、図５の適応的画像選択部１０２）とを備える。
【００２９】
前記生成手段には、前記第１の画像の画素の画素値が前記閾値未満である場合、前記所定の値を前記注目画素の画素値とさせ（例えば、図７のステップＳ４３の処理）、前記第１の画像の画素の画素値が前記閾値以上である場合、前記第２の画像の画素の画素値を前記注目画素の画素値とさせる（例えば、図７のステップＳ４４の処理）ことができる。
【００３０】
前記生成手段には、前記第１の画像の画素の画素値が前記閾値未満である場合、前記第２の画像の画素の画素値を前記注目画素の画素値とさせ（例えば、図８のステップＳ７３の処理）、前記第１の画像の画素の画素値が前記閾値以上である場合、前記所定の値を前記注目画素の画素値とさせる（例えば、図８のステップＳ７４の処理）ことができる。
【００３１】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００３２】
図４は、本発明を適用した書画カメラ装置の一実施の形態の構成例を示す図である。
【００３３】
書画カメラ装置５１には、原稿台６１、画像取得部６２、およびユーザインターフェース部６３が設けられている。書画カメラ装置５１の下側に設けられた原稿台６１には、撮像の対象物である原稿としての紙６４が配置され、画像取得部６２は、原稿台６１の図中、上側から紙６４の書画を撮像する。そして、画像取得部６２は撮像された画像（書画）を処理し、図示せぬスクリーンに表示させる画像である出力カラー画像、より詳細には出力カラー画像の画像データを生成する。
【００３４】
画像取得部６２は出力カラー画像を生成すると、生成した出力カラー画像を図示せぬプロジェクタに供給し、プロジェクタは、供給された出力カラー画像に基づいて図示せぬスクリーンに光を投光し、スクリーンに出力カラー画像を表示させる。
【００３５】
また、書画カメラ装置５１には、出力カラー画像をスクリーンに表示させるときのモードを切り換えるためのユーザインターフェース部６３が設けられている。ここで、出力カラー画像を表示させるときのモードには、モードＡ乃至モードＣの３つのモードがあり、ユーザは、それらの３つのモードから所望するものを選択することができる。
【００３６】
例えば、モードＡが選択された場合、スクリーンには、出力カラー画像として紙６４の画像がそのまま表示される。また、モードＢが選択された場合、スクリーンには、紙６４に書かれた文字や図形のうち、ボールペンで書かれた部分がそのまま表示され、鉛筆で書かれた部分は消去された画像が出力カラー画像として表示される。
【００３７】
さらに、モードＣが選択された場合、スクリーンには、紙６４に書かれた文字や図形のうち、鉛筆で書かれた部分がそのまま表示され、ボールペンで書かれた部分は消去された画像が出力カラー画像として表示される。
【００３８】
具体的には、図４の上側に示すように、ユーザインターフェース部６３にはモードを排他的に選択する操作ダイアルボタン７１が設けられており、ユーザはこの操作ダイアルボタン７１を回動させて所望のモードを選択する。すなわち、ユーザインターフェース部６３にはモードＡ乃至モードＣを示す文字「mode A」、「mode B」、および「mode C」が印字されている。そして、図４では、操作ダイアルボタン７１に設けられた突起が文字「mode A」の方向に向けられており、モードＡが選択されている状態となっている。
【００３９】
また、ユーザインターフェース部６３は、選択されているモードを示すモード信号を画像取得部６２に供給する。なお、何れのモードにおいても出力カラー画像は、赤、緑、および青の３色の成分のデータを有するカラー画像とされる。
【００４０】
このように、ユーザによりモードが選択されると、画像取得部６２は撮像された紙６４の画像を基に、選択されたモードに応じた出力カラー画像を生成して出力する。
【００４１】
また、より詳細には、図４の右側に示すように、画像取得部６２には、レンズ７２、ハーフミラー７３、赤外カットフィルタ７４、カラーイメージセンサ７５、赤外透過フィルタ７６、モノクロイメージセンサ７７、および信号処理部７８が設けられている。
【００４２】
レンズ７２は、原稿台６１上の紙６４から入射した光を集光してハーフミラー７３に入射させる。ハーフミラー７３は、レンズ７２から入射した光の一部を透過させて赤外カットフィルタ７４に入射させるとともに、残りの一部の光、つまり透過させなかった光を反射して赤外透過フィルタ７６に入射させる。
【００４３】
赤外カットフィルタ７４は、可視光だけを透過させ、他の成分を除去するフィルタであり、ハーフミラー７３から入射した光のうち、可視光成分だけを透過させてカラーイメージセンサ７５に入射させる。カラーイメージセンサ７５は、例えばCCD（Charge Coupled Devices）イメージセンサなどからなり、赤外カットフィルタ７４から入射した光を撮像する。そして、カラーイメージセンサ７５は、撮像により得られた画像データを信号処理部７８に供給する。
【００４４】
なお、より詳細には、カラーイメージセンサ７５の受光面の各画素には、赤、緑、または青の何れかの色だけを透過させるフィルタが設けられており、各色のフィルタは、例えばベイヤー配列となるように配置されている。したがって、カラーイメージセンサ７５により撮像されて得られた画像は、各画素が赤、緑、または青の何れか１つの色のデータを有する画像となる。
【００４５】
赤外透過フィルタ７６は、可視光を吸収し、赤外光成分だけを透過させるフィルタであり、ハーフミラー７３から入射した光のうち、赤外光成分だけを透過させてモノクロイメージセンサ７７に入射させる。モノクロイメージセンサ７７は、例えばCCDイメージセンサなどからなり、赤外透過フィルタ７６から入射した光を撮像する。そして、モノクロイメージセンサ７７は、撮像により得られた画像データを信号処理部７８に供給する。
【００４６】
ここで、カラーイメージセンサ７５は、可視光成分および赤外光成分の両方の光を受光する撮像素子であるが、カラーイメージセンサ７５の受光面とハーフミラー７３との間には、赤外カットフィルタ７４が配置されているため、紙６４からの光のうち、赤外光成分が除去されて可視光成分だけがカラーイメージセンサ７５に入射する。したがって、カラーイメージセンサ７５においては、可視光の波長帯域の画像、つまり赤、緑、および青の３色の成分の画像が撮像されるので、色再現の正しい画像が得られる。
【００４７】
また、モノクロイメージセンサ７７も可視光成分および赤外光成分の両方の光を受光する撮像素子であるが、モノクロイメージセンサ７７の受光面とハーフミラー７３との間には、赤外透過フィルタ７６が配置されているため、紙６４からの光のうち、可視光成分が除去されて赤外光成分だけがモノクロイメージセンサ７７に入射する。したがって、モノクロイメージセンサ７７においては、赤外光の波長帯域の画像、つまり赤成分の色の画像が撮像される。
【００４８】
なお、以下、カラーイメージセンサ７５により撮像された紙６４の画像を可視画像と呼ぶこととし、モノクロイメージセンサ７７により撮像された紙６４の画像を赤外画像と呼ぶこととする。
【００４９】
信号処理部７８は、ユーザインターフェース部６３から供給されたモード信号に基づいて、カラーイメージセンサ７５からの可視画像、およびモノクロイメージセンサ７７からの赤外画像から、ユーザにより選択されたモードに応じた出力カラー画像を生成する。そして、信号処理部７８は、生成した出力カラー画像を図示せぬプロジェクタに供給する。
【００５０】
また、信号処理部７８は、より詳細には図５に示すように、カラー画像生成部１０１および適応的画像選択部１０２を備えている。
【００５１】
カラー画像生成部１０１は、カラーイメージセンサ７５から供給された可視画像に、例えばデモザイク処理（カラー同時化処理）、ガンマ補正処理などの処理を施す。例えば、デモザイク処理が施されると、可視画像は各画素が赤、緑、または青のうちの１つの色のデータを有する画像から、各画素が赤、緑、および青の各色のデータ（スカラーデータ）を有するカラー画像に変換される。そして、カラー画像生成部１０１は、各種の処理が施された可視画像を適応的画像選択部１０２に供給する。
【００５２】
適応的画像選択部１０２は、カラー画像生成部１０１から供給された可視画像、モノクロイメージセンサ７７から供給された赤外画像、およびユーザインターフェース部６３から供給されたモード信号を用いて、モードに応じた出力カラー画像を生成する。
【００５３】
すなわち、適応的画像選択部１０２は、モード信号により示されるモードがモードＡである場合、可視画像を出力カラー画像としてそのままプロジェクタに出力する。また、適応的画像選択部１０２は、モード信号により示されるモードがモードＢである場合、赤外画像に表示されている部分を可視画像から消去した画像を出力カラー画像として出力する。
【００５４】
さらに、適応的画像選択部１０２は、モード信号により示されるモードがモードＣである場合、可視画像のうち赤外画像に表示されている部分だけが表示される画像、つまり可視画像から赤外画像に表示されていない部分を消去した画像を出力カラー画像として出力する。
【００５５】
ここで、紙６４に鉛筆とボールペンで書かれた文字や図形など（以下、単に文字として説明する）の性質について説明する。
【００５６】
鉛筆で書かれた文字は、人間の目には黒く見える。これは、鉛筆で書かれた文字、つまり鉛筆の顔料は、可視光成分を全域にわたって吸収するためである。そして、鉛筆で書かれた文字は、赤外光成分も吸収する。したがって、鉛筆で紙６４に書かれた文字は、赤外画像にも写る（表示される）ことになる。すなわち、鉛筆で書かれた文字は赤外画像上において黒く見える。
【００５７】
一方、ボールペンのインクは可視光成分を全域にわたって吸収するため、ボールペンで書かれた文字は、鉛筆の場合と同様に人間の目には黒く見える。また、ボールペンのインクは赤外光成分を吸収しない、つまり反射するため、ボールペンで紙６４に書かれた文字は、赤外画像には写らない。すなわち、ボールペンで書かれた文字は赤外画像上において白く見える。
【００５８】
このように、鉛筆で書かれた文字と、ボールペンで書かれた文字とは、赤外光に対して異なる特性を有しており、書画カメラ装置５１は、これらの筆記具の異なる特性を利用してモードごとの出力カラー画像を生成する。
【００５９】
すなわち、モードＡが選択されているときの出力カラー画像は、可視画像そのものであるので、人間が紙６４を見たものと同じ画像となる。すなわち、紙６４に鉛筆やボールペンで文字が書かれていれば、スクリーンに表示される出力カラー画像には、それらの文字がそのまま表示される。
【００６０】
また、モードＢが選択されているときの出力カラー画像は、赤外画像に表示されている部分を可視画像から消去して得られる画像である。したがって、紙６４に鉛筆やボールペンで文字が書かれていれば、スクリーンに表示される出力カラー画像には、鉛筆で書かれた文字は表示されず、ボールペンで書かれた文字だけがそのまま表示される。
【００６１】
さらに、モードＣが選択されているときの出力カラー画像は、赤外画像に表示されていない部分を可視画像から消去して得られる画像である。したがって、紙６４に鉛筆やボールペンで文字が書かれていれば、スクリーンに表示される出力カラー画像には、ボールペンで書かれた文字は表示されず、鉛筆で書かれた文字だけがそのまま表示される。
【００６２】
このように、可視画像と赤外画像とを用いてモードごとの出力カラー画像を生成するようにしたので、ユーザは紙６４に文字を書くための筆記具（鉛筆またはボールペン）を使い分け、モードを切り換えることにより、紙６４に書かれた文字の一部を選択的に消去することができる。
【００６３】
次に、図６のフローチャートを参照して、書画カメラ装置５１が紙６４の画像を撮像して、スクリーンに出力カラー画像を表示させる処理である表示制御処理について説明する。この表示制御処理は、原稿台６１に文字等の書かれた紙６４が配置され、ユーザにより出力カラー画像の表示が指示されると開始される。
【００６４】
ステップＳ１１において、カラーイメージセンサ７５は、可視画像を撮像する。すなわち、レンズ７２は、紙６４から入射した光を集光してハーフミラー７３に入射させる。ハーフミラー７３は、レンズ７２から入射した光の一部を透過させて赤外カットフィルタ７４に入射させるとともに、残りの光を反射して赤外透過フィルタ７６に入射させる。
【００６５】
また、赤外カットフィルタ７４は、ハーフミラー７３から入射した光のうち、可視光成分だけを透過させてカラーイメージセンサ７５に入射させる。そして、カラーイメージセンサ７５は、赤外カットフィルタ７４から入射した光を撮像し、これにより得られた可視画像をカラー画像生成部１０１に供給する。さらに、カラー画像生成部１０１は、カラーイメージセンサ７５からの可視画像に、デモザイク処理やガンマ補正処理などの処理を施し、処理の施された可視画像を適応的画像選択部１０２に供給する。
【００６６】
ステップＳ１２において、モノクロイメージセンサ７７は赤外画像を撮像する。すなわち、赤外透過フィルタ７６は、ハーフミラー７３から入射した光のうち、赤外光成分だけを透過させてモノクロイメージセンサ７７に入射させる。そして、モノクロイメージセンサ７７は、赤外透過フィルタ７６から入射した光を撮像して、これにより得られた赤外画像を適応的画像選択部１０２に供給する。なお、より詳細には、ステップＳ１１の処理およびステップＳ１２の処理は、同時に行われる。
【００６７】
ステップＳ１３において、適応的画像選択部１０２は、ユーザインターフェース部６３から供給されたモード信号に基づいて、モードＡが選択されているか否かを判定する。
【００６８】
ステップＳ１３において、モードＡが選択されていると判定された場合、ステップＳ１４において、適応的画像選択部１０２は、カラー画像生成部１０１から供給された可視画像から出力カラー画像を生成する。すなわち、適応的画像選択部１０２は、可視画像をそのまま出力カラー画像とする。そして、出力カラー画像が生成されると、その後、処理はステップＳ１８に進む。
【００６９】
これに対して、ステップＳ１３において、モードＡが選択されていないと判定された場合、ステップＳ１５において、適応的画像選択部１０２は、ユーザインターフェース部６３から供給されたモード信号に基づいて、モードＢが選択されているか否かを判定する。
【００７０】
ステップＳ１５において、モードＢが選択されていると判定された場合、ステップＳ１６において、適応的画像選択部１０２は、モードＢにおける画像生成処理を行う。なお、モードＢにおける画像生成処理の詳細は後述するが、このモードＢにおける画像生成処理において、適応的画像選択部１０２は、可視画像から赤外画像に表示されている部分を消去した出力カラー画像を生成する。そして、出力カラー画像が生成されると、処理はステップＳ１８に進む。
【００７１】
一方、ステップＳ１５において、モードＢが選択されていないと判定された場合、すなわちモードＣが選択されている場合、ステップＳ１７において、適応的画像選択部１０２は、モードＣにおける画像生成処理を行う。なお、モードＣにおける画像生成処理の詳細は後述するが、このモードＣにおける画像生成処理において、適応的画像選択部１０２は、可視画像から赤外画像に表示されていない部分を消去した出力カラー画像を生成する。そして、出力カラー画像が生成されると、処理はステップＳ１８に進む。
【００７２】
ステップＳ１４、ステップＳ１６、またはステップＳ１７において、出力カラー画像が生成されると、ステップＳ１８において、適応的画像選択部１０２は、生成した出力カラー画像を表示させる。すなわち、適応的画像選択部１０２は、書画カメラ装置５１に接続されている図示せぬプロジェクタに出力カラー画像を供給し、プロジェクタに出力カラー画像を表示させる。プロジェクタは、供給された出力カラー画像に基づいてスクリーンに光を投光し、スクリーンに出力カラー画像を表示させる。
【００７３】
ステップＳ１９において、適応的画像選択部１０２は、ユーザから出力カラー画像の表示の終了が指示されたか否かを判定する。
【００７４】
ステップＳ１９において、終了が指示されていないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。すなわち、原稿台６１上の紙６４の画像が撮像され、新たな出力カラー画像が生成されて表示される。このとき、ユーザにより操作ダイアルボタン７１が操作され、これまで選択されていたモードとは異なるモードが新たに選択されると、新たに選択されたモードの出力カラー画像が書画カメラ装置５１により生成され、表示される。
【００７５】
これに対して、ステップＳ１９において、終了が指示されたと判定された場合、書画カメラ装置５１の各部は行っている処理を終了して、表示制御処理は終了する。
【００７６】
このようにして、書画カメラ装置５１は、可視画像と赤外画像とを撮像し、撮像したそれらの画像から選択されているモードに応じた出力カラー画像を生成する。
【００７７】
このように、モードに応じて、可視画像と赤外画像とから出力カラー画像を生成することで、紙６４に書かれた文字や図形のうち、特定の筆記具により書かれた部分だけを消去して表示させることができ、書画カメラ装置５１の利便性を向上させることができる。
【００７８】
すなわち、所望する箇所だけが消去（削除）された出力カラー画像を生成することができるので、その出力カラー画像をプロジェクタに供給して、所望の文字や図形だけが消された画像をスクリーンに表示させることができる。したがって、ユーザは、操作ダイアルボタン７１を操作してモードを選択するという簡単な操作で、紙６４に書かれている文字または図形の一部を消すことができる。
【００７９】
例えば、教室で授業を行う教師が、書画カメラ装置５１の操作ダイアルボタン７１を操作してモードＡを選択し、白紙の紙６４にボールペンで問題を表す文字「１５+１４＝」を書いたとする。すると、スクリーンには、図２における場合と同様に、出力カラー画像としての文字「１５+１４＝」が表示される。
【００８０】
次に、教師が生徒の一人を指名して、その生徒に問題に対する解答を鉛筆で書かせたとする。このとき、例えば生徒は、問題の書かれた紙６４に、鉛筆により解答を表す文字「２９」を書いたとする。すると、スクリーンには、図３における場合と同様に、出力カラー画像として、問題および解答を表す文字「１５+１４＝２９」が表示される。
【００８１】
その後、教師が操作ダイアルボタン７１を操作して、書画カメラ装置５１のモードをモードＡからモードＢに切り換えると、スクリーンに表示されている出力カラー画像としての文字「１５+１４＝２９」のうち、生徒の書いた文字「２９」だけが消去される。つまり、スクリーンには、ボールペンで書かれた文字「１５+１４＝」だけが表示され、鉛筆で書かれた文字「２９」は消去される。
【００８２】
この状態から、さらにモードＣが選択されると、スクリーンには鉛筆で書かれた文字「２９」だけが表示され、再びモードＡが選択されると、スクリーンには鉛筆およびボールペンで書かれた文字「１５+１４＝２９」が表示される。
【００８３】
このように、教師はモードを選択するだけで、鉛筆で書かれた文字、またはボールペンで書かれた文字の何れか一方を簡単に消すことができ、円滑に授業を進めることができる。すなわち、書画カメラ装置５１によれば、授業やプレゼンテーションの進め方に、これまでにはできなかった新たな方法を提供することができる。
【００８４】
次に、図７のフローチャートを参照して、図６のステップＳ１６の処理に対応する、モードＢにおける画像生成処理について説明する。
【００８５】
ステップＳ４１において、適応的画像選択部１０２は、これから生成しようとする出力カラー画像の画素を１つ選択する。なお、出力カラー画像はこれから生成しようとする画像であり、現段階では存在しないため、仮想的に想定される。また、以下、選択されている出力カラー画像の画素を注目画素とも称する。
【００８６】
ステップＳ４２において、適応的画像選択部１０２は、モノクロイメージセンサ７７から供給された赤外画像上の画素であって、注目画素と同じ位置にある画素の画素値が、予め定められた閾値Ｐ１未満であるか否かを判定する。例えば、赤外画像の画素の画素値のとり得る値が０から２５５である場合、閾値Ｐ１は１６程度の値とされる。
【００８７】
ステップＳ４２において、閾値Ｐ１未満であると判定された場合、ステップＳ４３において、適応的画像選択部１０２は、カラー画像生成部１０１から供給された可視画像の全ての画素の画素値の平均値を注目画素の画素値とする。そして、注目画素の画素値が求められると、処理はステップＳ４５に進む。なお、より詳細には、可視画像の画素の赤、緑、青の成分の画素値の平均値のそれぞれが、注目画素の赤、緑、青の成分の画素値のそれぞれとされる。
【００８８】
例えば、画素値が閾値Ｐ１未満となる赤外画像の画素は、赤外画像上の黒い部分を表す画素である。つまり、紙６４における赤外光を吸収する部分を撮像すると、その部分が表示される画素の画素値は閾値Ｐ１未満の値となる。ここで、紙６４そのものと、ボールペンのインクとは赤外光を反射し、鉛筆の顔料は赤外光を吸収する。そのため、紙６４の何も書かれていない部分、つまり白紙の部分や、ボールペンで書かれた文字の部分の画素は明るく、その画素の画素値は閾値Ｐ１以上となり、鉛筆で書かれた文字の部分の画素の画素値はほぼ０となるはずである。したがって、赤外画像の画素のうち、画素値が閾値Ｐ１未満の画素は、鉛筆で書かれた文字の部分を撮像して得られた画像が表示される画素となる。
【００８９】
モードＢでは、可視画像から、赤外画像に写っている部分を消去して得られる画像を出力カラー画像とするので、適応的画像選択部１０２は、赤外画像に写っている鉛筆で書かれた文字を可視画像から消去する。そのために、適応的画像選択部１０２は、注目画素と同じ位置の赤外画像の画素の画素値が閾値Ｐ１未満である場合、つまり赤外画像の画素が鉛筆で書かれた文字を表示する画素である場合、注目画素と同じ位置の可視画像の画素には、鉛筆で書かれた文字が表示されるので、その画素の画素値を注目画素の画素値とはしない。そして、適応的画像選択部１０２は、可視画像の全部の画素の画素値の平均値を注目画素の画素値とする。
【００９０】
通常、紙６４には、ボールペンか鉛筆で文字が書かれるため、紙６４の殆どの部分は、何も書かれていない余白のままである。そのため、可視画像の全画素の画素値の平均値は、紙６４の何も書かれていない部分を撮像して得られた可視光の画像の画素の画素値とほぼ同じとなる。したがって、注目画素と同じ位置の可視画像の画素には、鉛筆で書かれた文字の部分が表示されているが、出力カラー画像の注目画素には、鉛筆の文字の書かれていない、紙６４そのものが表示されていることになる。
【００９１】
また、ステップＳ４２において画素値が閾値Ｐ１未満でない、つまり閾値Ｐ１以上であると判定された場合、ステップＳ４４において、適応的画像選択部１０２は、注目画素と同じ位置の可視画像の画素の画素値を、注目画素の画素値とする。そして、注目画素の画素値が求められると、処理はステップＳ４５に進む。
【００９２】
例えば、画素値が閾値Ｐ１以上となる赤外画像の画素は、赤外画像上の白い部分を表す画素である。上述したように、紙６４そのものと、ボールペンのインクとは赤外光を反射するので、画素値が閾値Ｐ１以上である画素は、紙６４上における、鉛筆でかかれた文字のない、ボールペンで書かれた文字または紙６４そのものの部分が表示される画素である。
【００９３】
したがって、注目画素と同じ位置にある可視画像の画素には、紙６４そのものか、またはボールペンで書かれた文字が表示されており、鉛筆で書かれた文字は表示されていないので、可視画像の画素の画素値を、そのまま注目画素の画素値とすればよいことになる。
【００９４】
ステップＳ４３またはステップＳ４４において注目画素の画素値が求められると、ステップＳ４５において、適応的画像選択部１０２は、出力カラー画像の全ての画素を注目画素としたか否か、つまり出力カラー画像の全ての画素の画素値を求めたか否かを判定する。
【００９５】
ステップＳ４５において、まだ全ての画素を注目画素としていないと判定された場合、処理はステップＳ４１に戻り、次の画素が注目画素とされて、その画素値が求められる。
【００９６】
これに対して、ステップＳ４５において、全ての画素を注目画素としたと判定された場合、出力カラー画像の全ての画素の画素値が求められ、出力カラー画像が生成されたので、処理は図６のステップＳ１８に進み、モードＢにおける画像生成処理は終了する。
【００９７】
このようにして、適応的画像選択部１０２は、注目画素と同じ位置の赤外画像の画素の画素値が閾値Ｐ１以上である場合、注目画素と同じ位置の可視画像の画素の画素値を、注目画素の画素値とし、赤外画像の画素の画素値が閾値Ｐ１未満である場合、可視画像の画素の画素値の平均値を注目画素の画素値とする。
【００９８】
このように、赤外画像の画素の画素値と、閾値Ｐ１とを比較してその比較の結果に応じて注目画素の画素値を求めることで、鉛筆で書かれた文字や図形だけが消去された紙６４の画像を出力カラー画像として生成することができる。
【００９９】
次に、図８のフローチャートを参照して、図６のステップＳ１７の処理に対応する、モードＣにおける画像生成処理について説明する。
【０１００】
ステップＳ７１において、適応的画像選択部１０２は、これから生成しようとする出力カラー画像の画素を１つ選択し、その画素を注目画素とする。
【０１０１】
ステップＳ７２において、適応的画像選択部１０２は、モノクロイメージセンサ７７から供給された赤外画像上の画素であって、注目画素と同じ位置にある画素の画素値が、閾値Ｐ１未満であるか否かを判定する。
【０１０２】
ステップＳ７２において、閾値Ｐ１未満であると判定された場合、ステップＳ７３において、適応的画像選択部１０２は、注目画素と同じ位置の可視画像の画素の画素値を、注目画素の画素値とする。そして、注目画素の画素値が求められると、処理はステップＳ７５に進む。
【０１０３】
例えば、モードＣでは、モードＢにおける場合とは逆に、可視画像から、赤外画像に写っていない部分を消去して得られる画像が出力カラー画像とされる。そこで、適応的画像選択部１０２は、赤外画像に写っている鉛筆で書かれた文字の部分、つまり画素値が閾値Ｐ１未満である赤外画像の画素の部分については、可視画像の画素の画素値をそのまま注目画素の画素値とする。また、適応的画像選択部１０２は、赤外画像に写っていない紙６４そのものや、ボールペンで書かれた文字の部分、つまり画素値が閾値Ｐ１以上である赤外画像の画素の部分については、可視画像の画素の画素値の平均値を注目画素の画素値とする。これにより、ボールペンで書かれた文字や図形だけが消去された紙６４の画像を出力カラー画像として生成することができる。
【０１０４】
また、ステップＳ７２において画素値が閾値Ｐ１未満でない、つまり閾値Ｐ１以上であると判定された場合、ステップＳ７４において、適応的画像選択部１０２は、カラー画像生成部１０１から供給された可視画像の全ての画素の画素値の平均値を注目画素の画素値とする。そして、注目画素の画素値が求められると、処理はステップＳ７５に進む。なお、より詳細には、可視画像の画素の赤、緑、青の成分の画素値の平均値のそれぞれが、注目画素の赤、緑、青の成分の画素値のそれぞれとされる。
【０１０５】
ステップＳ７３またはステップＳ７４において注目画素の画素値が求められると、ステップＳ７５において、適応的画像選択部１０２は、出力カラー画像の全ての画素を注目画素としたか否かを判定する。
【０１０６】
ステップＳ７５において、まだ全ての画素を注目画素としていないと判定された場合、処理はステップＳ７１に戻り、次の画素が注目画素とされて、その画素値が求められる。
【０１０７】
これに対して、ステップＳ７５において、全ての画素を注目画素としたと判定された場合、出力カラー画像の全ての画素の画素値が求められ、出力カラー画像が生成されたので、処理は図６のステップＳ１８に進み、モードＣにおける画像生成処理は終了する。
【０１０８】
このようにして、適応的画像選択部１０２は、注目画素と同じ位置の赤外画像の画素の画素値が閾値Ｐ１以上である場合、可視画像の画素の画素値の平均値を注目画素の画素値とし、赤外画像の画素の画素値が閾値Ｐ１未満である場合、注目画素と同じ位置の可視画像の画素の画素値を、注目画素の画素値とする。
【０１０９】
このように、赤外画像の画素の画素値と、閾値Ｐ１とを比較してその比較の結果に応じて注目画素の画素値を求めることで、ボールペンで書かれた文字や図形だけが消去された紙６４の画像を出力カラー画像として生成することができる。
【０１１０】
なお、以上においては、赤外画像の画素の画素値と閾値Ｐ１との比較の結果に応じて、可視画像の全ての画素の画素値の平均値を注目画素の画素値とすると説明したが、可視画像の一部の画素の画素値の平均値、または予め定められた値を注目画素の画素値とするようにしてもよい。
【０１１１】
また、可視画像、赤外画像、および出力カラー画像が同じ大きさ（画素数）の画像である場合を例に説明したが、出力カラー画像が可視画像および赤外画像よりも画素数の多い画像であってもよいし、画素数の少ない画像であってもよい。そのような場合、例えば注目画素を求めるために用いられる、注目画素に対応する可視画像の画素の画素値がそのまま注目画素の画素値とされたり、対応するいくつかの可視画像の画素の画素値の平均値が注目画素の画素値とされたりする。
【０１１２】
さらに、以上において説明した表示制御処理は、例えば、図９に示す擬似コードで表すことができる。図９では、図中、上側のＫ１１の部分は、可視画像の各画素の画素値の和を求めることを示している。
【０１１３】
ここで、可視画像、赤外画像、および出力カラー画像のそれぞれは、縦方向にＨ画素、横方向にＷ画素からなる画像とされている。また、ＣＲ（ｉ，ｊ），ＣＧ（ｉ，ｊ），ＣＢ（ｉ，ｊ）のそれぞれは、可視画像の横方向にｉ番目で縦方向にｊ番目の画素のＲ（赤色の成分），Ｇ（緑色の成分），Ｂ（青色の成分）の画素値のそれぞれを示している。
【０１１４】
Ｋ１１の部分では、「sum-R+＝CR(i,j)」は、変数ｉを１からＷまで変え、変数ｊを１からＨまで変えて、可視画像の画素のＲの画素値の総和を求めることを表している。同様に「sum-G+＝CG(i,j)」は、可視画像の画素のＧの画素値の総和を求めることを表しており、「sum-B+＝CB(i,j)」は、可視画像の画素のＢの画素値の総和を求めることを表している。
【０１１５】
また、図中、Ｋ１１の下のＫ１２の部分は、可視画像の全ての画素の画素値の平均値を求めることを示している。すなわち、「avg-R＝sum-R/(W・H)」は、Ｋ１１の部分で求めたＲの画素値の総和を、可視画像の画素数で除算することにより、可視画像の画素のＲの画素値の平均値を求めることを示している。同様に、「avg-G＝sum-G/(W・H)」は、可視画像の画素のＧの画素値の平均値を求めることを示しており、「avg-B＝sum-B/(W・H)」は、可視画像の画素のＢの画素値の平均値を求めることを示している。
【０１１６】
さらに、Ｋ１２の下のＫ１３の部分は、モードＡが選択されている場合に、可視画像をそのまま出力カラー画像とすることを示している。すなわち、ＯＲ（ｉ，ｊ），ＯＧ（ｉ，ｊ），ＯＢ（ｉ，ｊ）のそれぞれは、出力カラー画像の横方向にｉ番目で縦方向にｊ番目の画素のＲ，Ｇ，Ｂの画素値のそれぞれを示している。
【０１１７】
Ｋ１３の部分では、「OR(i、j)=CR(i、j)」は可視画像の画素のＲの画素値ＣＲ（ｉ，ｊ）を、出力カラー画像の画素のＲの画素値ＯＲ（ｉ，ｊ）とすることを示している。つまり、出力カラー画像の各画素について、その画素（注目画素）と同じ位置にある可視画像の画素のＲの画素値が、そのまま注目画素のＲの画素値とされる。
【０１１８】
同様に、「OG(i、j)=CG(i、j)」は可視画像の画素のＧの画素値ＣＧ（ｉ，ｊ）を、出力カラー画像の画素のＧの画素値ＯＧ（ｉ，ｊ）とすることを示しており、「OB(i、j)=CB(i、j)」は可視画像の画素のＢの画素値ＣＢ（ｉ，ｊ）を、出力カラー画像の画素のＢの画素値ＯＢ（ｉ，ｊ）とすることを示している。
【０１１９】
さらに、Ｋ１３の部分の下側のＫ１４およびＫ１５の部分は、モードＢが選択されており、赤外画像の画素の画素値が閾値Ｐ１未満である場合、可視画像の画素の画素値の平均値を出力カラー画像の画素の画素値とし、赤外画像の画素値が閾値Ｐ１以上である場合、可視画像の画素の画素値をそのまま出力カラー画像の画素の画素値とすることを示している。ここで、Ｍ（ｉ，ｊ）は、赤外画像の横方向にｉ番目で縦方向にｊ番目の画素の画素値を示している。
【０１２０】
Ｋ１４の部分において、「OR(i、j)=avg-R(i、j)」は、Ｍ（ｉ，ｊ）＜Ｐ１である場合、つまり赤外画像の画素の画素値が閾値Ｐ１未満である場合、Ｋ１２の部分で求めた可視画像のＲの画素値の平均値を、注目画素のＲの画素値ＯＲ（ｉ，ｊ）とすることを示している。
【０１２１】
同様に、「OG(i、j)=avg-G(i、j)」は、赤外画像の画素の画素値が閾値Ｐ１未満である場合、可視画像のＧの画素値の平均値を、注目画素のＧの画素値ＯＧ（ｉ，ｊ）とすることを示しており、「OB(i、j)=avg-B(i、j)」は、赤外画像の画素の画素値が閾値Ｐ１未満である場合、可視画像のＢの画素値の平均値を、注目画素のＢの画素値ＯＢ（ｉ，ｊ）とすることを示している。
【０１２２】
また、Ｋ１５の部分において、「OR(i、j)=CR(i、j)」，「OG(i、j)=CG(i、j)」，「OB(i、j)=CB(i、j)」のそれぞれは、赤外画像の画素の画素値が閾値Ｐ１以上である場合、可視画像の画素のＲの画素値ＣＲ（ｉ，ｊ），Ｇの画素値ＣＧ（ｉ，ｊ），Ｂの画素値ＣＢ（ｉ，ｊ）のそれぞれを、注目画素のＲの画素値ＯＲ（ｉ，ｊ），Ｇの画素値ＯＧ（ｉ，ｊ），Ｂの画素値ＯＢ（ｉ，ｊ）のそれぞれとすることを示している。
【０１２３】
さらに、Ｋ１５の部分の下側のＫ１６およびＫ１７の部分は、モードＣが選択されており、赤外画像の画素の画素値が閾値Ｐ１未満である場合、可視画像の画素の画素値をそのまま出力カラー画像の画素の画素値とし、赤外画像の画素値が閾値Ｐ１以上である場合、可視画像の画素の画素値の平均値を出力カラー画像の画素の画素値とすることを示している。
【０１２４】
Ｋ１６の部分において、「OR(i、j)=CR(i、j)」，「OG(i、j)=CG(i、j)」，「OB(i、j)=CB(i、j)」のそれぞれは、赤外画像の画素の画素値が閾値Ｐ１未満である場合、可視画像の画素のＲの画素値ＣＲ（ｉ，ｊ），Ｇの画素値ＣＧ（ｉ，ｊ），Ｂの画素値ＣＢ（ｉ，ｊ）のそれぞれを、注目画素のＲの画素値ＯＲ（ｉ，ｊ），Ｇの画素値ＯＧ（ｉ，ｊ），Ｂの画素値ＯＢ（ｉ，ｊ）のそれぞれとすることを示している。
【０１２５】
また、Ｋ１７の部分において、「OR(i、j)=avg-R(i、j)」，「OG(i、j)=avg-G(i、j)」，「OB(i、j)=avg-B(i、j)」は、赤外画像の画素の画素値が閾値Ｐ１以上である場合、可視画像のＲ，Ｇ，Ｂの画素値の平均値を、注目画素のＲの画素値ＯＲ（ｉ，ｊ），Ｇの画素値ＯＧ（ｉ，ｊ），Ｂの画素値ＯＢ（ｉ，ｊ）とすることを示している。
【０１２６】
以上のように、赤外画像の画素の画素値と、閾値Ｐ１との比較の結果に基づいて、モードごとに紙６４を撮像した画像、紙６４の画像から鉛筆で書かれた文字や図形が消去された画像、または紙６４の画像からボールペンで書かれた文字や図形が消去された画像を出力カラー画像として生成するようにしたので、簡単な操作で表示されている画像から特定の筆記具で書かれた部分を消去することができる。これにより、書画カメラ装置５１の利便性を向上させることができる。
【０１２７】
なお、以上においては、書画カメラ装置５１にカラーイメージセンサ７５およびモノクロイメージセンサ７７の２つの撮像素子が設けられると説明したが、１つの撮像素子で撮像された画像から可視画像および赤外画像が生成されるようにしてもよい。
【０１２８】
そのような場合、例えば書画カメラ装置５１には、紙６４を撮像する１つのイメージセンサが設けられ、そのイメージセンサの受光面の各画素には、赤色の成分、緑色の成分、青色の成分、および赤外光成分のそれぞれだけを透過させる色フィルタの何れかが設けられる。したがって、撮像により得られた画像の各画素は、赤色の成分、緑色の成分、青色の成分、または赤外光成分の何れかのデータを有することになる。
【０１２９】
書画カメラ装置５１は、さらに撮像により得られた画像にデモザイク処理を施して、各画素が赤色の成分、緑色の成分、青色の成分、および赤外光成分のそれぞれのデータを有する画像に変換する。そして、書画カメラ装置５１は変換により得られた画像を、各画素が赤色の成分、緑色の成分、および青色の成分のデータを有する可視画像と、各画素が赤外光成分のデータのみを有する赤外画像とに分離する。これにより、１つの撮像素子を用いても可視画像および赤外画像を得ることができる。
【０１３０】
また、書画カメラ装置５１は、２つの筆記具のそれぞれで書かれた文字が人間には同じ色に見えても、赤外画像上では異なる色に見えるという特徴を利用して、何れか一方の筆記具で書かれた文字を出力カラー画像上から消去し、あたかも他方の筆記具だけが用いられて文字が書かれているような画像を生成し、スクリーンに表示させている。
【０１３１】
そのため、書画カメラ装置５１によれば、異なる成分、つまり異なる波長特性を有するインクが用いられている複数のペンを用意して、それらのペンで書かれた文字を区別できる波長帯域の画像を撮像すれば、何れかのペンで書かれた文字だけを消去した画像を得ることができる。
【０１３２】
したがって、紙６４に書かれた文字の筆記具を区別するために用いる画像は、赤外画像に限らず、他の波長帯域の画像であってもよい。例えば、メーカの異なる２つのサインペンで紙６４に文字を書き、700nm乃至800nmの波長帯域の光を撮像して得られた画像を用いて、何れかのサインペンで書かれた文字が消去されるようにしてもよい。この場合、一方のサインペンのインクは、700nm乃至800nmの波長帯域の光を吸収し、他方のサインペンのインクは、700nm乃至800nmの波長帯域の光を反射する。
【０１３３】
また、以上においては、紙６４に書かれた文字の筆記具、すなわち赤外画像の画素に投影されている物質（筆記具のインク）を特定するために、赤外画像の画素の画素値と、閾値とを比較すると説明したが、例えば、赤外画像と可視画像とを比較するなど、筆記具が特定できればどのような処理であってもよい。
【０１３４】
より具体的には、例えば、赤外画像と可視画像の両方において黒く映っている画素位置は、鉛筆で書かれた部分である。また、赤外画像においては白く映っており、かつ可視画像においては黒く映っている画素位置は、ボールペンで書かれた部分である。したがって、このような場合には、赤外画像と可視画像とを比較することで、紙６４に書かれた文字の筆記具を特定することができる。
【０１３５】
さらに、以上においては、３つのモード（Ａ，Ｂ，Ｃ）について説明したが、これ以外に、以下のようなモードを追加することも可能である。すなわち、例えば、黒色の背景にボールペンで書かれた文字のみを白色で表示している画像を提示するモード（以下、モードＤと称する）である。
【０１３６】
このモードが選択されている場合には、具体的には、「注目画素と同じ位置の赤外画像の画素の画素値から、注目画素と同じ位置の可視画像の画素の画素値を減算した値を、注目画素の画素値とする」という処理を行えば良い。
【０１３７】
なぜなら、白い紙の部分が投影されている位置では赤外画像、可視画像ともに、それらの画素の画素値は大きな値であり、それらの画素値を減算した結果は、ほぼ０になる。つまり、出力カラー画像において、白い紙の部分が投影されている位置は黒色となる。
【０１３８】
また、鉛筆で書かれた部分が投影されている位置では赤外画像、可視画像ともに、それらの画素の画素値は小さな値であり、それらの画素値を減算した結果は、ほぼ０になる。つまり、出力カラー画像において、鉛筆で書かれた部分が投影されている位置は、黒色となる。
【０１３９】
一方、ボールペンで書かれた部分が投影されている位置では、赤外画像の画素の画素値は大きな値となり、可視画像の画素の画素値は小さな値となる。したがって、赤外画像と可視画像の画素の画素値を減算した結果は、大きな値（白）になる。つまり、出力カラー画像において、ボールペンで書かれた部分が投影されている位置は、白色となるからである。
【０１４０】
このように、モードＤでは、注目画素と同じ位置の赤外画像の画素の画素値から、注目画素と同じ位置の可視画像の画素の画素値を減算した値を、注目画素の画素値とすることで、紙６４に書かれた文字のうち、ボールペンで書かれた文字だけが白い色で、黒い色の背景に表示される画像を出力カラー画像として表示させることができる。
【０１４１】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１４２】
図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１４３】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１４４】
バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記録部２０８、ネットワークインターフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。
【０１４５】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１４６】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１４７】
そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。
【０１４８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１４９】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１５０】
【図１】従来の書画カメラ装置の利用例を示す図である。
【図２】書画カメラ装置により撮像された画像の表示例を示す図である。
【図３】書画カメラ装置により撮像された画像の表示例を示す図である。
【図４】本発明を適用した書画カメラ装置の一実施の形態の構成例を示す図である。
【図５】信号処理部の構成例を示す図である。
【図６】表示制御処理を説明するフローチャートである。
【図７】モードＢにおける画像生成処理を説明するフローチャートである。
【図８】モードＣにおける画像生成処理を説明するフローチャートである。
【図９】擬似コードの例を示す図である。
【図１０】コンピュータの構成例を示すブロック図である。
【符号の説明】
【０１５１】
５１  書画カメラ装置，  ６１  原稿台，  ６２  画像取得部，  ６３  ユーザインターフェース部，  ７１  操作ダイアルボタン，  ７５  カラーイメージセンサ，  ７７  モノクロイメージセンサ，  ７８  信号処理部，  １０２  適応的画像選択部
【図１】
2009117895.tif 000003
【図２】
2009117895.tif 000004
【図３】
2009117895.tif 000005
【図４】
2009117895.tif 000006
【図５】
2009117895.tif 000007
【図６】
2009117895.tif 000008
【図７】
2009117895.tif 000009
【図８】
2009117895.tif 000010
【図９】
2009117895.tif 000011
【図１０】
2009117895.tif 000012