(57)【要約】【課題】被写体の色成分を損なわずに２値化画像を撮影して記憶する。【解決手段】カラー画像を撮影するレンズ光学系12、ＣＣＤ13を含む撮像系と、この撮像系で得たカラー画像を構成する色成分別に分割し、分割した色成分毎にしきい値を設定して画像を２値化し、色成分別に２値化した画像を１つのカラー画像データとして再構築する画像処理部27と、この画像処理部27で得たカラー画像データをメモリカード28に記憶させる制御部22とを備える。【選択図】      図１
2005354600.tif 000002
【特許請求の範囲】
【請求項１】
複数の色を含むカラー画像を撮影する撮像手段と、
この撮像手段で得た複数の色を含むカラー画像を構成する色成分別に分割し、分割した色成分毎にしきい値を設定して画像を２値化する２値化手段と、
この２値化手段で色成分別に２値化した画像を複数の色を含む１つのカラー画像データとして再構築する再構築手段と、
この再構築手段で得た複数の色を含むカラー画像データを記憶媒体に記憶させる記憶制御手段と
を具備したことを特徴とする撮像装置。
【請求項２】
上記２値化手段は、上記撮像手段で得た複数の色を含むカラー画像を構成する色成分別に画像を複数のブロックに分割し、分割したブロック毎にしきい値を設定して画像を２値化し、
上記再構築手段は、この２値化手段で色成分別に複数のブロックに分割し、分割したブロック毎に２値化した画像を複数の色を含む１つのカラー画像データとして再構築する
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
上記再構築手段で得た複数の色を含むカラー画像データに対する文字認識処理を行なう文字認識手段をさらに具備し、
上記記憶制御手段は、この文字認識手段の認識結果に基づいたカラー文書データを上記複数の色を含むカラー画像データとは別に上記記憶媒体に記憶する
ことを特徴とする請求項１または２記載の撮像装置。
【請求項４】
複数の色を含むカラー画像を撮影する撮像工程と、
この撮像工程で得た複数の色を含むカラー画像を構成する色成分別に分割し、分割した色成分毎にしきい値を設定して画像を２値化する２値化工程と、
この２値化工程で色成分別に２値化した画像を複数の色を含む１つのカラー画像データとして再構築する再構築工程と、
この再構築手段で得た複数の色を含むカラー画像データを記憶媒体に記憶させる記憶工程と
を有したことを特徴とする撮像方法。
【請求項５】
撮像装置に内蔵されたコンピュータが実行するプログラムであって、
複数の色を含むカラー画像を撮影する撮像ステップと、
この撮像ステップで得た複数の色を含むカラー画像を構成する色成分別に分割し、分割した色成分毎にしきい値を設定して画像を２値化する２値化ステップと、
この２値化ステップで色成分別に２値化した画像を複数の色を含む１つのカラー画像データとして再構築する再構築ステップと、
この再構築ステップで得た複数の色を含むカラー画像データを記憶媒体に記憶させる記憶ステップと
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばホワイトボード上の書込み内容をメモ代わりに撮影する場合等に好適な撮像装置、撮像方法及びプログラムに関する。
【背景技術】
【０００２】
近年、銀塩フィルムを用いたカメラに代わって、ＣＣＤ等の固体撮像素子により画像の電子データを取得して記録することが可能なデジタルスチルカメラや、カメラ機能を有する携帯電話端末が広く一般に普及しており、例えばバスの時刻表を撮影しておくなど、日常生活の中でもより気軽に画像を撮影して利用することが可能となっている。
【０００３】
図７は、ホワイトボード上に黒と赤のマーカーペンにより手書きで書込まれた、ある新製品の開発スケジュールを例示する撮影画像であり、ほとんど全体の書込みが黒のマーカーペンでなされる一方で、画像中の左上端の破線で囲んで示すエリアＡ１の書込みのみが、赤のマーカーペンでなされているものとする。
【０００４】
同図では特許図面として粗密の度合いを３段階のハッチングで示しているが、実際の画像データでは当然ながら陰影がほぼ無段階の階調で表現されるもので、ここでは画像の下部の特に左右両端が円周状に沿って暗くなっていることから、この画像が点光源、すなわちカメラに備えられたストロボを用いて撮影したものであることが類推できる。
【０００５】
このように撮影対象が文字、記号等である場合に限っては、撮影画像の階調表現は必要なく、できうる限り画像を白黒２値化して表現した方が内容の判読が容易となる。
【０００６】
しかしながら、画像を２値化するにあたっては、そのしきい値の設定の仕方が難しく、安易な設定を行なうと、文字、記号等の必要な部分までもがかすれて白くなってしまうか、あるいは必要以上に黒い部分が増えて、文字、記号等がその中に埋没してしまうことにより、いずれも部分的に判読できなくなってしまうという不具合があった。
【０００７】
図８は、上記図７で示した撮影画像を一律に白黒２値化した場合を例示するもので、画像下部の特に中央から左右両端に外れるにしたがって大きな範囲で黒となった部分が広がっており、その範囲内にある文字、記号等の判読が不可能となっている。
【０００８】
このように、画像全体を一律に白黒２値化した場合、画像中の陰影の差が大きいと、その影響で判読ができなくなってしまう可能性が非常に高くなる。
【０００９】
また、属する技術分野は多少異なるが、鋼材などの形状が様々な対象物に印字された文字を読取る文字読取方法で、照明をあてたときの対象物表面の各領域における照度分布を対象物の種類毎に測定し、且つその測定結果から各対象物及び各領域毎にしきい値を設定し、各対象物の各領域の撮影画像を、その領域に対応するしきい値をもって２値化することにより、印字面が一様に照明されなくても２値化しきい値が各対象物の各領域毎に最適化されることから、適正な２値化を行なうようにした技術が考えられている。（例えば、特許文献１）
【特許文献１】特開平６−０７６１１１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、図７及び図８を用いて説明した技術、及び上記特許文献１に記載された技術のいずれも、画像を白黒２値化する技術について述べたものであり、撮影または読み取りの対象となる画像がカラー画像である場合については何ら考慮されていない。
【００１１】
したがって、上記図７で説明したエリアＡ１のように、赤のマーカーペンによる書込み部分を他の黒のマーカーペンによる書込み部分と区別して認識することはできず、単にその濃淡によって白または黒と判別されるにすぎない。
【００１２】
そのため、例えば３原色Ｒ，Ｇ，Ｂ中であればＧ（緑）、補色Ｙ，Ｍｇ，Ｃｙ中であればＹ（黄）などのように、淡い色で書込まれる部分は、２値化により白と判別される可能性が高く、且つ仮に黒と判別されて２値化処理の後も認識可能であるとしても、その色を本来黒の書込み部分と区別して認識することは不可能となる。
【００１３】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、被写体の色成分を損なわずに２値化画像を撮影して記憶することが可能な撮像装置、撮像方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１４】
請求項１記載の発明は、複数の色を含むカラー画像を撮影する撮像手段と、この撮像手段で得た複数の色を含むカラー画像を構成する色成分別に分割し、分割した色成分毎にしきい値を設定して画像を２値化する２値化手段と、この２値化手段で色成分別に２値化した画像を複数の色を含む１つのカラー画像データとして再構築する再構築手段と、この再構築手段で得た複数の色を含むカラー画像データを記憶媒体に記憶させる記憶制御手段とを具備したことを特徴とする。
【００１５】
請求項２記載の発明は、上記請求項１記載の発明において、上記２値化手段は、上記撮像手段で得た複数の色を含むカラー画像を構成する色成分別に画像を複数のブロックに分割し、分割したブロック毎にしきい値を設定して画像を２値化し、上記再構築手段は、この２値化手段で色成分別に複数のブロックに分割し、分割したブロック毎に２値化した画像を複数の色を含む１つのカラー画像データとして再構築することを特徴とする。
【００１６】
請求項３記載の発明は、上記請求項１または２記載の発明において、上記再構築手段で得た複数の色を含むカラー画像データに対する文字認識処理を行なう文字認識手段をさらに具備し、上記記憶制御手段は、この文字認識手段の認識結果に基づいたカラー文書データを上記複数の色を含むカラー画像データとは別に上記記憶媒体に記憶することを特徴とする。
【００１７】
請求項４記載の発明は、複数の色を含むカラー画像を撮影する撮像工程と、この撮像工程で得た複数の色を含むカラー画像を構成する色成分別に分割し、分割した色成分毎にしきい値を設定して画像を２値化する２値化工程と、この２値化工程で色成分別に２値化した画像を複数の色を含む１つのカラー画像データとして再構築する再構築工程と、この再構築手段で得た複数の色を含むカラー画像データを記憶媒体に記憶させる記憶工程とを有したことを特徴とする。
【００１８】
請求項５記載の発明は、撮像装置に内蔵されたコンピュータが実行するプログラムであって、複数の色を含むカラー画像を撮影する撮像ステップと、この撮像ステップで得た複数の色を含むカラー画像を構成する色成分別に分割し、分割した色成分毎にしきい値を設定して画像を２値化する２値化ステップと、この２値化ステップで色成分別に２値化した画像を複数の色を含む１つのカラー画像データとして再構築する再構築ステップと、この再構築ステップで得た複数の色を含むカラー画像データを記憶媒体に記憶させる記憶ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１９】
請求項１記載の発明によれば、被写体の色成分と撮影した複数の色を含むカラー画像を構成する色成分との相違によっては多少再現性が劣ってしまう可能性は有るものの、比較的容易に被写体の色成分を損なわずに２値化画像を撮影して、少ない容量で記憶することが可能となる。
【００２０】
請求項２記載の発明によれば、上記請求項１記載の発明の効果に加えて、ブロック分割によって全体画像中の位置による陰影の差を排除することができるため、より鮮明な複数の色を含むカラー２値化画像を取得することができる。
【００２１】
請求項３記載の発明によれば、上記請求項１または２記載の発明の効果に加えて、元の複数の色を含むカラー画像データを損なうことなく、自動的に文字認識結果に基づいたカラー文書データを別個に記憶させることができる。
【００２２】
請求項４記載の発明によれば、被写体の色成分と撮影した複数の色を含むカラー画像を構成する色成分との相違によっては多少再現性が劣ってしまう可能性は有るものの、比較的容易に被写体の色成分を損なわずに２値化画像を撮影して少ない容量で記憶させることが可能となる。
【００２３】
請求項５記載の発明によれば、被写体の色成分と撮影した複数の色を含むカラー画像を構成する色成分との相違によっては多少再現性が劣ってしまう可能性は有るものの、比較的容易に被写体の色成分を損なわずに２値化画像を撮影して少ない容量で記憶させることが可能となる。
【発明を実施するための最良の形態】
【００２４】
以下本発明をデジタルスチルカメラに適用した場合の実施の一形態について図面を参照して説明する。
【００２５】
図１は、その電子回路の機能構成を示すものである。同図で、基本モードである撮影モードにおいては、モータ（Ｍ）１１の駆動によりレンズ光学系１２の合焦位置や絞り位置が移動される。このレンズ光学系１２の撮影光軸後方には、撮像素子であるＣＣＤ１３が配置される。
【００２６】
このＣＣＤ１３は、例えばＲＧＢの原色系のカラーフィルタを形成しており、タイミング発生器（ＴＧ）１４、垂直ドライバ１５によって走査駆動されるもので、一定周期毎に結像した光像に対応する光電変換出力を１画面分出力する。
【００２７】
この光電変換出力は、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド回路（Ｓ／Ｈ）１６でサンプルホールドされ、Ａ／Ｄ変換器１７でデジタルデータに変換され、カラープロセス回路１８で画素補間処理、γ補正処理、及びマトリックス演算を含むカラープロセス処理が行なわれて、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒが生成され、ＤＭＡ（Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓ）コントローラ１９に出力される。
【００２８】
ＤＭＡコントローラ１９は、カラープロセス回路１８の出力する輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、同じくカラープロセス回路１８からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度ＤＭＡコントローラ１９内部のバッファに書込み、ＤＲＡＭインタフェース（Ｉ／Ｆ）２０を介してバッファメモリとして使用されるＤＲＡＭ２１にＤＭＡ転送を行なう。
【００２９】
制御部２２は、ＣＰＵと、後述する撮影モード時のシャッタキーの操作に対する処理を含む該ＣＰＵで実行される動作プログラムを固定的に記憶したＲＯＭ、及びワークメモリとして使用されるＲＡＭ等により構成され、このデジタルスチルカメラ全体の制御動作を司る。
【００３０】
しかして制御部２２は、上記輝度及び色差信号のＤＲＡＭ２１へのＤＭＡ転送終了後に、この輝度及び色差信号をＤＲＡＭインタフェース２０を介してＤＲＡＭ２１より読出し、ＶＲＡＭコントローラ２３を介してＶＲＡＭ２４に書込む。
【００３１】
デジタルビデオエンコーダ２５は、上記輝度及び色差信号をＶＲＡＭコントローラ２３を介してＶＲＡＭ２４より定期的に読出し、これらのデータを元にビデオ信号を発生して表示部２６に出力する。
【００３２】
この表示部２６は、このデジタルスチルカメラの背面側に設けられるもので、撮影モード時にはモニタ表示部（電子ファインダ）として機能し、デジタルビデオエンコーダ２５からのビデオ信号に基づいた表示を行なうことで、その時点でＶＲＡＭコントローラ２３から取込んでいる画像情報に基づく画像をリアルタイムに表示することとなる。
【００３３】
このように表示部２６にその時点での画像がモニタ画像としてリアルタイムに表示されている、所謂スルー画像の表示状態で、静止画撮影を行ないたいタイミングでシャッタキーを操作すると、トリガ信号を発生する。
【００３４】
制御部２２は、このトリガ信号に応じてその時点でＣＣＤ１３から取込んでいる１画面分の輝度及び色差信号のＤＲＡＭ２１へのＤＭＡ転送を取り止め、あらためて適正な露出条件に従った絞り値及びシャッタ速度でＣＣＤ１３を走査駆動して１画面分の起動及び色差信号を得てＤＲＡＭ２１へ転送し、その後にこの経路を停止し、記録保存の状態に遷移する。
【００３５】
この記録保存の状態では、制御部２２がＤＲＡＭ２１に書込まれている１フレーム分の輝度及び色差信号をＤＲＡＭインタフェース２０を介してＹ，Ｃｂ，Ｃｒの各コンポーネント毎に縦８画素×横８画素の基本ブロックと呼称される単位で読出して画像処理部２７に書込み、この画像処理部２７でＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈ  ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）規格に従ったＡＤＣＴ（Ａｄａｐｔｉｖｅ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ：適応離散コサイン変換）、エントロピ符号化方式であるハフマン符号化等の処理によりデータ圧縮する。
【００３６】
そして、得た符号データを１画像のデータファイルとして該画像処理部２７から読出し、このデジタルスチルカメラ１の記録媒体として着脱自在に装着されるメモリカード２８に書込む。
【００３７】
そして、１フレーム分の輝度及び色差信号の圧縮処理及びメモリカード２８への全圧縮データの書込み終了に伴なって、制御部２２はＣＣＤ１３からＤＲＡＭ２１への経路を再び起動する。
【００３８】
また、制御部２２には、キー入力部２９、音声処理部３０、及びストロボ駆動部３１が接続される。
【００３９】
キー入力部２９は、電源キー、シャッタキーや、モードスイッチ、メニューキー、十字キー及びセットキー等から構成され、それらのキー操作に伴なう信号は直接制御部２２へ送出される。
【００４０】
音声処理部３０は、ＰＣＭ音源等の音源回路を備え、音声の録音時にはマイクロホン部（ＭＩＣ）３２より入力された音声信号をデジタル化し、所定のデータファイル形式、例えばＭＰ３（ＭＰＥＧ−１  ａｕｄｉｏ  ｌａｙｅｒ  ３）規格にしたがってデータ圧縮して音声データファイルを作成してメモリカード２８へ送出する一方、音声の再生時にはメモリカード２８から送られてきた音声データファイルの圧縮を解いてアナログ化し、上述したデジタルスチルカメラの背面側に設けられるスピーカ部（ＳＰ）３３を駆動して、拡声放音させる。
【００４１】
ストロボ駆動部３１は、静止画像撮影時に図示しないストロボ用の大容量コンデンサを充電した上で、制御部２２からの制御に基づいてストロボ発光部３４を閃光駆動する。
【００４２】
しかるに、静止画像ではなく動画像の撮影時においては、１回目のシャッタキーが操作された時点で、上述した静止画データを画像処理部２７でデータ圧縮した静止画データファイルのメモリカード２８への記録を開始して、以後所定のフレームレート、例えば３０［フレーム／秒］でこれを連続して実行し、２回目にシャッタキーが操作されるか、または所定の制限時間、例えば３０秒が経過した時点でそれら一連の静止画データファイルを一括してモーションＪＰＥＧのデータファイル（ＡＶＩファイル）として設定し直す。
【００４３】
また、基本モードである再生モード時には、制御部２２がメモリカード２８に記録されている画像データを選択的に読出し、画像処理部２７で撮影モード時にデータ圧縮した手順と全く逆の手順で圧縮されている画像データを伸長し、伸長した画像データをＤＲＡＭインタフェース２０を介してＤＲＡＭ２１に保持させた上で、このＤＲＡＭ２１の保持内容をＶＲＡＭコントローラ２３を介してＶＲＡＭ２４に記憶させ、このＶＲＡＭ２４より定期的に画像データを読出してビデオ信号を発生し、上記表示部２６で再生出力させる。
【００４４】
選択した画像データが静止画像ではなく動画像であった場合、選択した動画像ファイルを構成する個々の静止画データの再生を時間的に連続して実行し、すべての静止画データの再生を終了した時点で、次に再生の指示がなされるまで先頭に位置する静止画データのみを用いて再生表示する。
【００４５】
次に上記実施の形態の動作について説明する。  
なお、以下に示す各処理は、基本的に制御部２２が予め固定記憶したプログラムに基づいて実行するものである。
【００４６】
また、本実施の形態においては、上記キー入力部２９のシャッタキーが２段階の操作ストロークで動作し、第１段階のストローク操作、一般に「半押し」と呼称される状態で合焦状態と露出状態とをロックし、その後の第２段階のストローク操作、一般に「全押し」と呼称される状態で上記ロックした合焦状態及び露出状態による撮影を実行するものとする。
【００４７】
加えて本実施の形態においては、基本モードである撮影モードの下で、さらに撮影した画像が階調表現を必要としないものである場合に、得た画像を２値化してから記憶する「２値化モード」を任意にモード設定可能であるものとする。
【００４８】
図２は、撮影モード時の処理内容を示すもので、その当初にはその時点で選択されている撮影レンズ２のズーム位置に対応した焦点距離でＡＦ処理及びＡＥ処理を実行し、合焦位置と適正な露出値とを得て、レンズ光学系１２内のフォーカスレンズ位置、絞り値及びシャッタ速度を設定する（ステップＳ０１，Ｓ０２）。
【００４９】
この場合、実際に撮影を実行するのではなく、スルー画像を表示する撮影準備状態であるため、該シャッタ速度がこのモニタ状態のフレームレートに対応した値、例えばフレームレートが３０［フレーム／秒］であれば１／３０［秒］を充分越える高い速度、例えば１／１２５［秒］となるように絞り値も調整してＣＣＤ１３から画像を得、併せて自動ホワイトバランス（ＡＷＢ）処理により光源の色温度に対応したホワイトバランスとなるようにカラープロセス回路１８で調整を施した上で、表示部２６にスルー画像を表示しながら（ステップＳ０３）、キー入力部２９のシャッタキーが半押し状態となったか否か判断し（ステップＳ０４）、半押し状態となっていなければ上記ステップＳ０１からの処理に戻る、という処理を繰返し実行することで、シャッタキーが半押し状態となるのを待機する。
【００５０】
しかして、シャッタキーが半押し状態となるとステップＳ０４でこれを判断し、直前の上記ステップＳ０１の処理で得た合焦位置をロックする（ステップＳ０５）。このとき同時に、ＡＥ処理を再度実行し、あらためてスルー画像のフレームレートに左右されない、適正な露出となる絞り値とシャッタ速度とを得てこれもロックする（ステップＳ０６）。
【００５１】
この合焦位置と露出の各撮影条件をロックした状態から、さらにシャッタキーが全押し操作されたか否か（ステップＳ０７）、同シャッタキーがまだ半押し操作されているか否か（ステップＳ０８）を繰返し判断することで、シャッタキーが半押し操作されていることを確認しながら、全押し操作されるのを待機する。
【００５２】
ここで、シャッタキーの半押し操作が解除された場合には、ステップＳ０８でこれを判断して上記撮影条件のロックを解き、再び上記ステップＳ０１からの処理に戻る。
【００５３】
また、上記撮影条件をロックした状態から、シャッタキーが全押し操作されると、ステップＳ０７でこれを判断し、上記ロックしていた撮影条件に従いＣＣＤ１３を走査駆動して画像データを得、ＤＲＡＭ２１に保持した後（ステップＳ０９）、この撮影モード下で上述した２値化モードが設定されているか否かを判断する（ステップＳ１０）。
【００５４】
ここで、２値化モードが設定されていないと判断した場合には、そのままＤＲＡＭ２１に保持している、撮影により得た画像データを画像処理部２７によりデータ圧縮してファイル化させた後に（ステップＳ１９）、メモリカード２８に記憶設定し（ステップＳ２０）、以上で一連の撮影に関する処理を終了して、再び次の撮影に備えるべく上記ステップＳ０１からの処理に戻る。
【００５５】
また、上記ステップＳ１０で２値化モードが設定されていると判断した場合には、画像処理部２７がＤＲＡＭ２１に保持しているカラーの画像データをマトリックス演算によりＲ，Ｇ，Ｂの各原色成分毎に分離する（ステップＳ１１）。
【００５６】
次いで、まず色成分Ｒの画像データを複数、例えば縦４×横６のブロックに分割し（ステップＳ１２）、分割した各ブロック毎にしきい値を設定した上で２値化する（ステップＳ１３）。
【００５７】
図３は、上記ブロック分割の概念を示すもので、ここではＲ，Ｇ，Ｂの各原色成分ではなく、マトリックス演算前の輝度信号Ｙをブロック化する場合について例示する。  
この場合、垂直方向の線Ｖ１〜Ｖ５と水平方向の線Ｈ１〜Ｈ３により画面左上端を基準としてブロック化している。１ブロックの大きさは、ＪＰＥＧ規格が縦８画素×横８画素を基本ブロックとしていることから、縦横共にその基本ブロックを整数倍した画素構成とすることが望ましい。
【００５８】
図４は上記図３の画像全体と各ブロックのヒストグラム（輝度分布）を例示するものである。いずれも横軸が輝度の階調値を示すもので、右端が完全な白、左端が完全な黒を示し、縦軸は画素数を示す。
【００５９】
図４（Ａ）は図３の画像全体の輝度分布を示すものであり、画像全体で輝度階調が中央よりやや高い（白い）位置に集中していることがわかる。
【００６０】
図４（Ｂ）は、図３の画像の上から１段目、左から２番目のブロックαの輝度分布を示すもので、画像中の明るい上段にあるブロックであることから、上記図４（Ａ）で示した画像全体の輝度分布に比しても、輝度階調がより高い（白い）位置で集中している。
【００６１】
図４（Ｃ）は、図３の画像の上から２段目、左から４番目のブロックβの輝度分布を示すもので、画像がほぼ均一に明るい２段目にあり、且つマーカーペンによる書込みが少ないブロックであることから、上記図４（Ａ）で示した画像全体の輝度分布中のより高い範囲部分と一致して、狭い輝度範囲に集中していることがわかる。
【００６２】
図４（Ｄ）は、図３の画像の第４段目、左から４番目のブロックγの輝度分布を示すもので、画像が暗い最下段にあり、且つマーカーペンによる書込みが少ないブロックであることから、上記図４（Ａ）で示した画像全体の輝度分布中のより低い範囲部分と一致して、狭い輝度範囲に集中していることがわかる。
【００６３】
そして、図４（Ｅ）は、画像の第３段目、左から１番目のブロックδの輝度分布を示すもので、画像が暗く、且つマーカーペンによる書込みが多いブロックであることから、上記図４（Ａ）で示した画像全体の輝度分布に比して、低い側の広い範囲に渡って輝度が分散していることがわかる。
【００６４】
このようにブロックの位置によっても輝度分布は大きく異なるため、ブロック単位でしきい値をここに設定して２値化することで、輝度の低い（＝暗い）領域に書込まれた内容も
なお、上記図３、図４は画像データのブロック分割と２値化処理について説明を容易にするべく、輝度信号（Ｙ）の分布をヒストグラムとした場合について説明したが、上記ステップＳ１２，Ｓ１３では、上記ステップＳ１１でのマトリックス演算により得た色成分Ｒの画像データをブロック分割し、分割した各ブロック毎にしきい値を設定して２値化するもので、この場合に作成されるヒストグラムは横軸が色成分Ｒの階調値となり、その右端が完全な赤、左端が完全な黒となり、縦軸が画素数となる。
【００６５】
しかして上記ステップＳ１２，Ｓ１３の処理後、同様に今度は色成分Ｇの画像データをブロック分割し（ステップＳ１４）、分割した各ブロック毎にしきい値を設定した上で２値化する（ステップＳ１５）。
【００６６】
続けて、色成分Ｂの画像データも同じくブロック分割し（ステップＳ１６）、分割した各ブロック毎にしきい値を設定した上で２値化する（ステップＳ１７）。
【００６７】
以上のステップＳ１１〜Ｓ１７の処理によりＲ，Ｇ，Ｂの各原色成分別に画像データをブロック分割し、分割したブロック毎に２値化を行なうことで、全体画像中の位置による陰影の差を排除した、各原色成分別に２値化した画像データが生成される。
【００６８】
図５は各色成分毎の２値化した画像データを例示するものである。図５（Ａ）は色成分Ｒの画像データを示すもので、全体画像中の位置による陰影の差を排除した上で、ホワイトボード上の黒のマーカーペンによる書込み部分はそのまま黒として表現されている一方で、図中のエリアＡ０で示すように、赤のマーカーペンによる書込み部分は、地の色（白）の一部を構成する色成分Ｒとの判別を行なうことができない状態となる。
【００６９】
図５（Ｂ）及び図５（Ｃ）は、色成分Ｇ，Ｂの各画像データを示すもので、それぞれ全体画像中の位置による陰影の差を排除した上で、ホワイトボード上の黒のマーカーペンによる書込み部分と赤のマーカーペンによる書込み部分とが共に黒として表現されている状態を示す。
【００７０】
このように各色成分別に２値化した画像データを所得した後、再度マトリックス演算によりＲＧＢ原色系のカラー画像データからＹＣｂＣｒ輝度色差系の画像データを算出することで画像データの再構築を実行する（ステップＳ１８）。
【００７１】
図６は、このステップＳ１８で再構築された画像データを例示するものであり、ホワイトボード上にマーカーペンで書込まれた内容が、全体画像中の位置による陰影の差を排除して鮮明に、且つマーカーペンの色に対応して２値化される。
【００７２】
すなわち、他の部分が黒のマーカーペンで書込まれたものであるのに対し、上記図７のエリアＡ１で示した範囲内にある書込みは赤のマーカーペンで書込まれたものであり、図６の２値化画像でも黒のマーカーペンと赤のマーカーペンそれぞれによる書込み内容をその色により認識することができる。
【００７３】
この場合、上記ステップＳ１１でカラー画像データを色成分別に分離した上でステップＳ１２〜Ｓ１７で各色成分毎に２値化処理を行なう。そのため、例えば赤紫の書込みを行なった場合にはその部分がほぼフル階調に近い赤成分と微少階調の青成分とに分離され、赤成分の画像データの２値化ではその書込み部分がしきい値より高い階調値により認識されて残るものの、青成分の画像データの２値化ではその書込み部分がしきい値より低い階調値であるために認識されずに切り捨てられてしまい、結果として画像データの再構築により赤の書込みとして再現される、というように、色によっては色成分毎の階調値がそのしきい値に至らず、再構築時に元の画像データとは色が変化してしまう可能性はある。
【００７４】
しかしながら、書込まれた内容が多少の色の変化はあっても、他の書込み部分とは明らかに異なる色で再現される、という点が重要であり、上述したホワイトボードへの書込み内容を２値化して容易に認識できる場合などのように、この２値化モードの機能が必要とされるケースは多々あり得る。
【００７５】
上記のようにして再構築された画像データは、その後、画像処理部２７によりデータ圧縮してファイル化させた後に（ステップＳ１９）、メモリカード２８に記憶設定し（ステップＳ２０）、以上で一連の撮影に関する処理を終了して、再び次の撮影に備えるべく上記ステップＳ０１からの処理に戻る。
【００７６】
このように、被写体本来の色成分と撮影したカラー画像を構成する色成分との相違によっては多少再現性が劣ってしまう可能性は有るものの、比較的容易に被写体の色成分を損なわずに２値化画像を撮影して、少ない容量で記憶させることが可能となる。
【００７７】
加えて、本実施の形態では各色成分別に画像データをブロック分割して全体画像中の位置による陰影の差等を排除するものとしたため、より鮮明なカラー２値化画像を取得することができる。
【００７８】
なお、上記実施の形態では、色成分別に２値化して再構築した画像データを記憶媒体であるメモリカード２８に記憶するものとしたが、これに加えて、再構築したカラーの画像データに対して文字認識処理を行ない、その認識結果から少なくとも各文字コードとそれに対応する文字修飾情報としての色情報とを付加するような簡易な文書ファイル、例えばリッチテキストファイルを別に作成して、メモリカード２８に記憶させるものとしてもよい。
【００７９】
こうすることで、撮影により得た画像データを単なるイメージデータとして取扱うだけではなく、カラー文書データとしても即時利用することができ、例えば授業中に黒板の内容をノートをとる手間を省いて授業の理解のみに専念し、黒板の内容は即時パソコンにカラー文書ファイルとして取込んでしまうなど、単にデータ容量を大幅に圧縮できるだけでなく、用途によっては大変有用な利用方法がユーザの想像力次第で適宜実現し得る。
【００８０】
なお、上記実施の形態は、本発明をデジタルスチルカメラに適用した場合について説明したものであるが、本発明はこれに限るものではなく、例えばカメラ機能付きの、携帯電話端末やＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ：個人向け携帯情報端末）などにも容易に適用可能である。
【００８１】
その他、本発明は上記実施の形態に限らず、その要旨を逸脱しない範囲内で種々変形して実施することが可能であるものとする。
【００８２】
さらに、上記実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組合わせにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも１つが解決でき、発明の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【図面の簡単な説明】
【００８３】
【図１】本発明の実施の一形態に係るデジタルスチルカメラの電子回路の機能構成を示すブロック図。
【図２】同実施の形態に係る撮影モード時のシャッタキー操作に対する処理内容を示すフローチャート。
【図３】同実施の形態に係る画像データのブロック分割状態を例示する図。
【図４】同実施の形態に係るブロック分割した画像データの位置毎のヒストグラムを例示する図。
【図５】同実施の形態に係る色成分毎の２値化画像を例示する図。
【図６】同実施の形態に係る再構築後の２値化画像を例示する図。
【図７】一般的な撮影画像を例示する図。
【図８】図７の撮影画像を２値化した場合を例示する図。
【符号の説明】
【００８４】
１１…モータ（Ｍ）、１２…レンズ光学系、１３…ＣＣＤ、１４…タイミング発生器（ＴＧ）、１５…垂直ドライバ、１６…サンプルホールド回路（Ｓ／Ｈ）、１７…Ａ／Ｄ変換器、１８…カラープロセス回路、１９…ＤＭＡコントローラ、２０…ＤＲＡＭインタフェース（Ｉ／Ｆ）、２１…ＤＲＡＭ、２２…制御部、２３…ＶＲＡＭコントローラ、２４…ＶＲＡＭ、２５…デジタルビデオエンコーダ、２６…表示部、２７…画像処理部、２８…メモリカード、２９…キー入力部、３０…音声処理部、３１…ストロボ駆動部、３２…マイクロホン部（ＭＩＣ）、３３…スピーカ部（ＳＰ）、３４…ストロボ発光部。
【図１】
2005354600.tif 000003
【図２】
2005354600.tif 000004
【図３】
2005354600.tif 000005
【図４】
2005354600.tif 000006
【図５】
2005354600.tif 000007
【図６】
2005354600.tif 000008
【図７】
2005354600.tif 000009
【図８】
2005354600.tif 000010