(57)【要約】【課題】銀塩写真中の日付文字など、カラー画像中から階調変化を伴う文字を構成する画素群を抽出できる画像処理方法を提供する。【解決手段】抽出対象領域に特徴的な第１の特徴量空間に処理対象となる画像データを第１投影画像データとして投影する主投影工程Ｓ２０と、前記第１の特徴量空間とは独立した第２の特徴量空間に処理対象となる画像データを第２投影画像データとして投影する副投影工程Ｓ２６と、前記第１投影画像データのうち所定条件を満たす値を有する画素と、前記第２投影画像データのうち所定条件を満たす値を有する画素とが画像平面において互いに所定の距離内にある場合に当該画素の位置を抽出対象領域に含まれる有効位置として抽出する有効位置抽出工程Ｓ３２とを含む画像処理方法。【選択図】        図２
2004192311.tif 000002
【特許請求の範囲】
【請求項１】
特定の特徴を有する抽出対象領域を画像データから抽出する画像処理方法であって、
抽出対象領域において特徴的な第１の特徴量空間に処理対象となる画像データを第１投影画像データとして投影する主投影工程と、
前記第１の特徴量空間とは独立した第２の特徴量空間に処理対象となる画像データを第２投影画像データとして投影する副投影工程と、
前記第１投影画像データのうち所定条件を満たす値を有する画素と、前記第２投影画像データのうち所定条件を満たす値を有する画素と、が画像平面において互いに所定の距離内にある場合に当該画素が存在する位置を抽出対象領域に含まれる有効位置として抽出する有効位置抽出工程と、
を含むことを特徴とする画像処理方法。
【請求項２】
請求項１に記載の画像処理方法において、
前記有効位置抽出工程は、
前記第１投影画像データを二値化して第１二値化データを生成する第１二値化工程と、
前記第２投影画像データを二値化して第２二値化データを生成する第２二値化工程と、
を含み、
前記第１二値化データにおける連結画素成分と、前記第２二値化データにおける連結画素成分と、が画像平面において互いに所定の距離内にある場合に当該連結画素成分が存在する位置を抽出対象領域に含まれる有効位置として抽出することを特徴とする画像処理方法。
【請求項３】
請求項２に記載の画像処理方法において、
前記第１二値化工程と前記第２二値化工程とにおいて、互いに異なる二値化処理を行うことを特徴とする画像処理方法。
【請求項４】
請求項２に記載の画像処理方法において、
前記第１二値化工程と前記第２二値化工程とにおいて、互いに異なる閾値を用いて同一の二値化処理を行うことを特徴とする画像処理方法。
【請求項５】
請求項１〜４のいずれか１つに記載の画像処理方法において、
前記第１の特徴量及び前記第２の特徴量は、画像データの色を表す特徴量、彩度等の鮮やかさを表す特徴量、輝度や明度等の明るさを表す特徴量のいずれか１つ又はこれらを組み合わせたものであることを特徴とする画像処理方法。
【請求項６】
特定の特徴を有する抽出対象領域を画像データから抽出する画像処理装置であって、
抽出対象領域に特徴的な第１の特徴量空間に処理対象となる画像データを第１投影画像データとして投影する主投影手段と、
前記主投影手段において選択された第１の特徴量空間とは独立した第２の特徴量空間に処理対象となる画像データを第２投影画像データとして投影する副投影手段と、
前記主投影手段において投影された第１投影画像データのうち所定条件を満たす値を有する画素と、前記副投影手段において投影された第２投影画像データのうち所定条件を満たす値を有する画素と、が画像平面において互いに所定の距離内にある場合に当該画素の位置を抽出対象領域に含まれる有効位置として抽出する有効位置抽出手段と、
を含むことを特徴とする画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記有効位置抽出手段は、
前記第１投影画像データを二値化して第１二値化データを生成する第１二値化手段と、
前記第２投影画像データを二値化して第２二値化データを生成する第２二値化手段と、
を含み、
前記第１二値化手段で生成された第１二値化データにおける連結画素成分と、前記第２二値化手段で生成された第２二値化データにおける連結画素成分と、が画像平面において互いに所定の距離内にある場合に当該連結画素成分が存在する位置を抽出対象領域に含まれる有効位置として抽出することを特徴とする画像処理装置。
【請求項８】
請求項６に記載の画像処理装置において、
前記第１二値化手段と前記第２二値化手段とにおいて、互いに異なる二値化処理を行うことを特徴とする画像処理装置。
【請求項９】
請求項６に記載の画像処理装置において、
前記第１二値化手段と前記第２二値化手段とにおいて、互いに異なる閾値を用いて同一の二値化処理を行うことを特徴とする画像処理装置。
【請求項１０】
請求項６〜８のいずれか１つに記載の画像処理装置において、
前記第１の特徴量及び前記第２の特徴量は、画像データの色を表す特徴量、彩度等の鮮やかさを表す特徴量、輝度や明度等の明るさを表す特徴量のいずれか１つ又はこれらを組み合わせたものであることを特徴とする画像処理装置。
【請求項１１】
特定の特徴を有する抽出対象領域を画像データから抽出する画像処理プログラムであって、
コンピュータに、
抽出対象領域に特徴的な第１の特徴量空間に処理対象となる画像データを第１投影画像データとして投影する主投影工程と、
前記第１の特徴量空間とは独立した第２の特徴量空間に処理対象となる画像データを第２投影画像データとして投影する副投影工程と、
前記第１投影画像データのうち所定条件を満たす値を有する画素と、前記第２投影画像データのうち所定条件を満たす値を有する画素と、が画像平面において互いに所定の距離内にある場合に当該画素の位置を抽出対象領域に含まれる有効位置として抽出する有効位置抽出工程と、
を含む処理を実行させることを特徴とする画像処理プログラム。
【請求項１２】
請求項１１に記載の画像処理プログラムにおいて、
前記有効位置抽出工程は、
前記第１投影画像データを二値化して第１二値化データを生成する第１二値化工程と、
前記第２投影画像データを二値化して第２二値化データを生成する第２二値化工程と、
前記第１二値化データにおける連結画素成分と、前記第２二値化データにおける連結画素成分と、が画像平面において互いに所定の距離内にある場合に当該連結画素成分が存在する位置を抽出対象領域に含まれる有効位置として抽出する工程と、
を含むことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カラー画像中から文字を構成する画素群を抽出する画像処理方法及び画像処理装置に関する。特に、銀塩写真中の日付文字のように階調変化を有する画素群を抽出する画像処理方法及び画像処理装置に関する。
【０００２】
【従来の技術】
近年、イメージスキャナやデジタルカメラ、カラープリンタなどの急激な普及により、個人が気軽にデジタル画像データ（以下、単に画像データという）をハンドリングできる環境が整いつつある。特にデジタルカメラは従来の銀塩カメラに比べて撮影から閲覧に至るコストが低く、気軽に利用できることから撮影される写真（画像データ）数も少なくない。一般的に、デジタルカメラで撮影された画像データはその一部分はプリントされるものの、大部分はディスプレイ上で閲覧されるに留まる傾向があり、このような用途向けに閲覧性に優れた電子アルバムのような機能を提供する画像ファイリングソフトウェアやＷｅｂサービスも数多い。
【０００３】
一方で、個人の多くは写真フィルムやプリントなどの形で従来の銀塩写真も大量に保有しており、これらを前記デジタルカメラで撮影した画像データとともに電子上で一元管理することができれば、利便性が向上するだけではなく、銀塩写真をデジタル化することで写真に写し込まれた画像の経年変化をも防ぐことができる。また、画像データであれば、コントラストや色調などの補正処理も個人で簡単に行うことができるなど数々の利点が挙げられる。
【０００４】
画像ファイリングソフトウェアでは、画像データをそれらが撮影された日時情報に基づいて管理する手法が一般的である。通常、デジタルカメラで撮影された画像データにおいては、画像データを構成する画素情報とは別にそれらが撮影された時点の日時情報を記録しており、この記録された日時情報は容易に利用することが可能である。銀塩写真においても、ＡＰＳのように写真フィルムに磁気記録媒体が形成されている新写真システムでは撮影日時が磁気情報として記録されるため、写真をデジタル化する際に磁気情報として記録された日時情報を読み取って画像データの付加情報として保存することで、デジタルカメラで撮影された画像データと同様に管理することが可能である。
【０００５】
一方、通常の銀塩カメラにおいて日付文字はＬＥＤ（発光ダイオード）によりフィルムを露光することで形成され、その写真フィルムやプリント（以下、これらを単に銀塩写真という）においては、日付文字は銀塩写真に焼き付けられている。従って、銀塩写真に焼き付けられた日時情報を利用するには、銀塩写真から読み取られた画像データから日付文字を構成する画素群を抽出する必要がある。日付文字を構成する画素群の抽出が良好であれば、抽出した画素群に対して文字認識処理を施すことにより日時情報を取得することができる。また、画像データから日付文字を構成する画素群を取り除いて、替わりにその周辺の画素で補完する等の新たな画像処理も行うことができる。
【０００６】
特開２０００−１３４４６２号公報には、日付付加機能を有する多くの銀塩カメラにおいて、撮影日時等が画面の右下に露光されることに着目し、この領域でシアン色相にのみ強く発色している領域を抽出する方法が開示されている。
【０００７】
また、特開平１１−２１２９９２号公報には、日付文字の露光に使用されているＬＥＤの発光色（発光波長）の種類が数個から数十個の範囲で限られていることから、予めこれらの日付文字の色に相当する文字色候補となるＲＧＢ成分の範囲を定めておき、画像データの四隅に設定した所定の矩形領域内でＲ，Ｇ，Ｂの各成分の値が文字色候補の範囲にある場合に、その画素を文字を構成する画素として抽出する方法が開示されている。
【０００８】
以下に、従来技術を説明することによって、その問題点を明確にする。従来の画像処理方法は、図９に示すフローチャートに沿ってコンピュータを用いて実行される。まず、ステップＳ１０では、抽出対象とする日付文字色を決定する。ここでは、概ね日付文字の露光に使用されているＬＥＤの発光色の種類から、あらかじめ数十種類の文字の色が候補として決定する。ステップＳ１２では、処理対象である画像データ中から、ステップＳ１０で決定された日付文字の色候補を有する画素を抽出する。このとき、画像データ全体を抽出対象としても良いが、通常銀塩写真の日付文字は画像の左上、右上、左下、右下の四隅に焼き付けられるので、これら四隅の所定の範囲を抽出対象範囲として設定してもよい。ステップＳ１４では、ステップＳ１２で抽出した画素のうち、日付文字として適切と考えられる画素のみを選択する。このとき、所定数以上だけ連結した画素を連結画素成分として抽出するようにしてもよいし、文字認識処理を実施しながら文字を構成する確率が高い画素のみを抽出するようにしてもよい。
【０００９】
【特許文献１】
特開２０００−１３４４６２号公報
【特許文献２】
特開平１１−２１２９９２号公報
【００１０】
【発明が解決しようとする課題】
しかしながら、上記従来技術では、銀塩写真上においてＬＥＤの発光色が日付文字色に良好に反映されている場合には有効であるものの、被写体からの光線とＬＥＤが発する光線が重なるなどの影響により、写しこまれた日付文字の色がＬＥＤの本来の発光色と異なった場合に日付文字の抽出ができない。
【００１１】
また、ＬＥＤの明るさやフィルムの感光特性といった複数の要因の重畳によって、ＬＥＤによる露光量が不十分となり日付文字が淡くなった場合や過剰露光によって日付文字の骨格部分の階調が失われて白く飛んでしまった場合にも同様に日付文字の抽出が困難となる。
【００１２】
図１０は、ＬＥＤによって露光されたフィルムを読み取った画像データの一例を示している。本例では、画像データに数字の「２」という文字が表されている。画像データはメッシュ状に区画されており、斜線のハッチングが施された区画はＬＥＤの発光色が良好に反映されている画素を示す。このようにＬＥＤの発光色が明瞭である場合には、上述した従来技術によって日付文字を抽出することが十分に可能である。
【００１３】
これに対して、図１１の例では、ＬＥＤによる文字の露光が強すぎる等の原因によって、白く抜けたメッシュ区画で示す文字の骨格部分において、いくつかの画素の階調が失われて白く飛んでおり、これらの画素を囲むようにしてハッチングが施されたメッシュ区画で示すＬＥＤ本来の発光色を反映した画素が存在している。このような画像データに対して従来技術を適用した場合、ＬＥＤ本来の発光色を反映した画素のみが抽出されてしまうか、又は、文字認識を併用した方法では日付文字を構成する画素の抽出自体ができなくなる。また、仮にＬＥＤ本来の発光色を反映した画素と、これらの画素に囲まれた文字の骨格部分（白く抜けた区画）とを日付文字を構成する画素として抽出したとしても、つぶれ気味の文字輪郭が得られ、文字認識ができない場合がある。さらに、１つの画像データ中において日付文字の表示状態が均一であるとは限らず、文字毎に発光が良好であったり、部分的に白く抜けていたりすることもある。このような場合、従来技術では日付文字を確実に抽出することができなくなる。
【００１４】
特に、印画紙上にプリントされた銀塩写真から読み取られた画像データでは、フィルムから読み取った画像データと比べて微妙な階調性が失われがちであり、日付文字の抽出が困難となる。
【００１５】
本発明は、上記従来技術の問題を鑑み、上記課題の少なくとも１つを解決すべく、画像データから階調変化を伴う画素群を確実かつ良好に抽出する画像処理方法及び画像処理装置を提供することを目的とする。
【００１６】
【課題を解決するための手段】
上記課題を解決できる本発明は、特定の特徴を有する抽出対象領域を画像データから抽出する画像処理方法であって、抽出対象領域に特徴的な第１の特徴量空間に処理対象となる画像データを第１投影画像データとして投影する主投影工程と、前記第１の特徴量空間とは独立した第２の特徴量空間に処理対象となる画像データを第２投影画像データとして投影する副投影工程と、前記第１投影画像データのうち所定条件を満たす値を有する画素と、前記第２投影画像データのうち所定条件を満たす値を有する画素と、が画像平面において互いに所定の距離内にある場合に当該画素の位置を抽出対象領域に含まれる有効位置として抽出する有効位置抽出工程とを含むことを特徴とする。
【００１７】
さらに、上記画像処理方法において、前記有効位置抽出工程は、前記第１投影画像データを二値化して第１二値化データを生成する第１二値化工程と、前記第２投影画像データを二値化して第２二値化データを生成する第２二値化工程とを含み、前記第１二値化データにおける連結画素成分と、前記第２二値化データにおける連結画素成分と、が画像平面において互いに所定の距離内にある場合に当該連結画素成分が存在する位置を抽出対象領域に含まれる有効位置として抽出するものとしても良い。
【００１８】
ここで、前記第１二値化工程と前記第２二値化工程とにおいて、互いに異なる二値化処理を行うことが好ましい。また、前記第１二値化工程と前記第２二値化工程とにおいて、互いに異なる閾値を用いて同一の二値化処理を行っても良い。
【００１９】
また、上記課題を解決できる本発明の別の態様は、特定の特徴を有する抽出対象領域を画像データから抽出する画像処理装置であって、抽出対象領域に特徴的な第１の特徴量空間に処理対象となる画像データを第１投影画像データとして投影する主投影手段と、前記主投影手段において選択された第１の特徴量空間とは独立した第２の特徴量空間に処理対象となる画像データを第２投影画像データとして投影する副投影手段と、前記主投影手段で投影された第１投影画像データのうち所定条件を満たす値を有する画素と、前記副投影手段において投影された第２投影画像データのうち所定条件を満たす値を有する画素と、が画像平面において互いに所定の距離内にある場合に当該画素の位置を抽出対象領域に含まれる有効位置として抽出する有効位置抽出手段とを含むことを特徴とする。
【００２０】
さらに、上記画像処理装置において、前記有効位置抽出手段は、前記第１投影画像データを二値化して第１二値化データを生成する第１二値化手段と、前記第２投影画像データを二値化して第２二値化データを生成する第２二値化手段とを含み、前記第１二値化手段で生成された第１二値化データにおける連結画素成分と、前記第２二値化手段で生成された第２二値化データにおける連結画素成分と、が画像平面において互いに所定の距離内にある場合に当該連結画素成分が存在する位置を抽出対象領域に含まれる有効位置として抽出するものとしても良い。
【００２１】
ここで、前記第１二値化手段と前記第２二値化手段とにおいて、互いに異なる二値化処理を行うことが好ましい。また、前記第１二値化手段と前記第２二値化手段とにおいて、互いに異なる閾値を用いて同一の二値化処理を行っても良い。
【００２２】
上記本発明の画像処理方法は、特定の特徴を有する抽出対象領域を画像データから抽出する画像処理プログラムであって、コンピュータに、抽出対象領域に特徴的な第１の特徴量空間に処理対象となる画像データを第１投影画像データとして投影する主投影工程と、前記第１の特徴量空間とは独立した第２の特徴量空間に処理対象となる画像データを第２投影画像データとして投影する副投影工程と、前記第１投影画像データのうち所定条件を満たす値を有する画素と、前記第２投影画像データのうち所定条件を満たす値を有する画素と、が画像平面において互いに所定の距離内にある場合に当該画素の位置を抽出対象領域に含まれる有効位置として抽出する有効位置抽出工程とを含む処理を実行させることを特徴とする画像処理プログラムによって実現できる。
【００２３】
さらに、上記画像処理プログラムにおいて、前記有効位置抽出工程は、前記第１投影画像データを二値化して第１二値化データを生成する第１二値化工程と、前記第２投影画像データを二値化して第２二値化データを生成する第２二値化工程と、前記第１二値化データにおける連結画素成分と、前記第２二値化データにおける連結画素成分と、が画像平面において互いに所定の距離内にある場合に当該連結画素成分が存在する位置を抽出対象領域に含まれる有効位置として抽出する工程とを含むものとしても良い。
【００２４】
このとき、前記第１の特徴量及び前記第２の特徴量は、画像データの色を表す特徴量、彩度等の鮮やかさを表す特徴量、輝度や明度等の明るさを表す特徴量のいずれか１つ又はこれらを組み合わせたものとすることができる。
【００２５】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２６】
＜第１の実施形態＞
本発明の第１の実施形態について、図面を参照して詳細に説明する。本発明の実施形態における画像処理装置１００は、図１に示すように、処理部１０、記憶部１２、入力部１４、出力部１６及び外部インターフェース１８から基本的に構成される。各部は、バス２０を介して互いに情報伝達可能に接続される。
【００２７】
処理部１０は、記憶部１２に格納及び保持されている画像処理プログラムを実行し、入力部１４又は外部インターフェース１８から受け取った処理命令や各種データを処理することによって画像処理を行う。処理部１０は、通常のコンピュータのＣＰＵに相当する。
【００２８】
記憶部１２は、画像処理プログラム、処理に必要な一時的なデータ及びデジタルカメラで撮影した画像データや銀塩カメラで撮影した写真をデジタル化して得た画像データ等を格納及び保持する。記憶部１２としては、半導体メモリ、ハードディスク装置、光ディスク装置等を用いることができる。
【００２９】
入力部１４は、ユーザからの処理命令、処理対象となる画像データの読み取り等のユーザや外部装置からの情報を受け付ける。入力部１４としては、マウス等のポインティングデバイス、キーボード等の文字入力装置、フィルムやプリントを読み取るスキャナ等の画像読取装置等を用いることができる。
【００３０】
出力部１６は、処理に必要な情報や処理結果をユーザに対して提示する。出力部１６としては、ＣＲＴ等のディスプレイ装置、画像出力を行う電子写真方式プリンタ又はインクジェット方式プリンタ等を用いることができる。
【００３１】
外部インターフェース１８は、画像処理装置１００を外部のネットワークに接続する。外部インターフェース１８は、例えば、ＴＣＰ／ＩＰ等の通信プロトコルを用いることによって、外部のネットワークを介して、ユーザからの処理命令や画像データ等を送受信することができる。これによって、画像処理装置１００を外部装置から遠隔操作したり、処理結果を外部装置で確認したりすることができる。
【００３２】
＜画像処理方法＞
本発明の実施の形態における画像処理方法は、図２に示すフローチャートに沿って処理される。フローチャートの各工程をコンピュータで実行可能なように画像処理プログラムにコーディングして記憶部１２に格納し、その画像処理プログラムを処理部１０によって実行することによって画像処理を行うことができる。
【００３３】
本実施の形態の画像処理を行う前に、記憶部１２には処理対象となる日付文字が写しこまれた画像データが格納されているものとする。
【００３４】
ステップＳ２０では、処理対象となる画像データを刺激値空間内の一平面に投影する。ここでは、ＲＧＢ空間で処理を実施するものとして説明を行う。まず、画像データに含まれる日付文字の色を最も良好に反映する平面を主平面として決定し、その主平面に対して処理対象の画像データを投影画像データとして投影する。
【００３５】
このとき、日付文字の色を最も良好に反映する平面は、従来技術と同様にＬＥＤの発光色の種類に基づいて、予め数十種類の文字色候補を設定しておき、それらに基づいて決定し、それぞれに画像データを投影しても良い。
【００３６】
ステップＳ２２では、ステップＳ２０で投影した投影画像データに対して二値化処理を実施する。二値化処理には既存の方法を用いることができる。なお、前記ステップＳ２０において複数の主平面に画像データを投影した場合には、投影画像データ毎に二値化処理を実施する。
【００３７】
二値化処理としては様々な具体的方法が提案されているが、例えば、移動平均法という名称で知られる方法を用いることができる。注目画素とその周辺画素が持つ平均的な画素の値を比較し、注目画素の値が比較対象の平均値に比べ所定の値以上に高い場合には当該注目画素をＯＮ画素とし、そうでなければＯＦＦ画素とする。
【００３８】
ステップＳ２４では、ステップＳ２２においてＯＮ画素となった画素のうち、日付文字を構成する可能性のある連結画素成分を抽出する。本実施形態では、日付文字を構成する可能性のある連結画素成分とみなす判定基準として、連結画素成分の外接矩形サイズ及び出現位置に着目する。図３は、連結画素成分の外接矩形サイズ取得例を示しており、斜線の矩形で示す複数の画素から構成される連結画素成分の外接矩形を破線で示しており、その高さはＲｅｃｔＨｅｉｇｈｔ、横幅はＲｅｃｔＷｉｄｔｈである。連結画素成分の出現位置については、従来技術と同様に画像データの四隅に所定の範囲を設定してもよい。
【００３９】
ステップＳ２６では、文字の骨格部分の白抜けした画素のように、何らかの理由でＬＥＤ本来の発光色とは異なる日付文字色、いわば副となる日付文字色を最も良好に反映する副平面を決定し、決定した副平面に対して画像データを投影画像データとして投影する。なお、ステップＳ２０であらかじめ複数の文字色候補を設定した場合には、それらから推測される数の平面を決定してもよい。
【００４０】
ステップＳ２８では、ステップＳ２６で投影した投影画像データに対して二値化処理を実施する。このときステップＳ２２と同様な二値化方法を用いても良いが、例えば、画像データ上では常に安定して十分な明るさを持つ日付文字を良好に反映する平面（例えば、ＬＥＤによる文字の露光が強すぎることに起因する画素の色）を副平面とした場合、その平面上で十分に高い画素値を閾値とし、投影画像データの持つ画素値がその閾値以上であればＯＮ画素とし、そうでなければＯＦＦ画素とする固定二値化処理を用いても良い。なお、ステップＳ２２と同様に、ステップＳ２６において複数の副平面に画像データを投影した場合には、投影画像データ毎に二値化処理を実施する。
【００４１】
ステップＳ３０では、ステップＳ２４と同様、二値化処理によってＯＮ画素となった画素から、日付文字を構成する可能性のある連結画素成分だけを抽出する。
【００４２】
以下の説明では、ステップＳ２０〜ステップＳ２４において、図４（ａ）に示すように、日付文字の色を最も良好に反映する色平面が主平面Ａに決定され、その主平面Ａ上に投影された画像データから連結画素成分が抽出されたものとする。また、ステップＳ２６〜ステップＳ３０において、図４（ｂ）に示すように、副となる日付文字色を最も良好に反映する色平面が副平面Ｂに決定され、その副平面Ｂ上に投影された画像データから連結画素成分が抽出されたものとする。
【００４３】
ステップＳ３２では、抽出された日付文字候補の連結画素成分から必要な画素と不要な画素を取捨選択する。ステップＳ３２はサブルーチン化されており、図５に示すフローチャートに沿って処理される。
【００４４】
ステップＳ３２−１では、主平面及び副平面の両平面において日付文字候補としての連結画素成分が少なくとも１つ抽出されたか否かを判定する。両平面において連結画素成分が抽出されている場合にはステップＳ３２−２に処理を移行し、どちらか一方において日付文字候補としての連結画素成分が抽出されなかった場合にはステップＳ３２−８に処理を移行する。
【００４５】
ステップＳ３２−２では、主平面及び副平面における連結画素成分間に画像平面において（すなわち、画像データの座標上で）所定の距離範囲内に存在する組み合わせがあれば、これらの連結画素成分をひとつのグループとみなすグループ化を行う。
【００４６】
例えば、図４（ａ）及び図４（ｂ）に示した連結画素成分に対しては、図６に示すように両平面を重ね合わせ、主平面においてハッチングが施されたメッシュ区画で示される連結画素成分（ステップＳ２４における抽出結果）と、白抜けしたメッシュ区画で示される連結画素成分（ステップＳ３０における抽出結果）が近い距離で存在するため、両者はひとつのグループを構成すると判定される。
【００４７】
ステップＳ３２−３では、ステップＳ３２−２の処理において少なくとも１つ以上のグループが構成されたか否かを判定する。グループが全く構成されなかった場合にはステップＳ３２−８に処理を移行し、少なくとも１つ以上のグループが構成された場合はＳ３２−４に処理を移行する。
【００４８】
以下のステップＳ３２−４からステップＳ３２−７にかけての処理は、構成された各グループ単位で実行される。
【００４９】
ステップＳ３２−４では、構成されたグループにおいて、各グループの周辺画素を求め、それら周辺画素群の代表値を取得する。本実施の形態では、注目グループを囲む１画素幅の領域に含まれる画素を周辺画素とする。ただし、これに限られるものではなく、１画素以上の幅を取って周辺画素を定義しても良い。
【００５０】
また、周辺画素群の代表値としては、例えば、原画像データ上で同一座標にある画素が持つＲ成分，Ｇ成分，Ｂ成分の各々の平均値とすることができる。
【００５１】
例えば、図６に示したグループに対しては図７に示すように周辺画素を求めることができる。図７において、黒いメッシュ区画で示した画素は、図４（ａ）において主平面Ａ上に投影された画像データ（ハッチングを施したメッシュ区画）の連結画素成分と、図４（ｂ）において副平面Ｂ上に投影された画像データ（白抜けしたメッシュ区画）の連結画素成分が１つのグループを構成し、そのグループに対して求められた周辺画素を示している。
【００５２】
ステップＳ３２−５では、グループに含まれる連結画素成分毎に代表値を取得する。例えば、ステップＳ３２−４と同様に、原画像データ上において連結画素成分を構成する画素と同一座標にある画素が持つＲ成分，Ｇ成分，Ｂ成分の各々の平均値を代表値とすることができる。
【００５３】
ステップＳ３２−６では、ステップＳ３２−４で取得した周辺画素の代表値とステップＳ３２−５で取得した各連結画素成分の代表値とのユークリッド距離を算出し、算出した代表値間の距離が最も近い連結画素成分を特定する。
【００５４】
ステップＳ３２−７では、ステップＳ３２−６で特定された連結画素成分が、主平面上の投影画像データに含まれるものか、副平面上の投影画像データに含まれるものかを判定し、特定された連結画素成分が属する平面に投影された投影画像データにおいて注目グループに含まれる連結画素成分を破棄し、特定された連結画素成分が属さない平面に投影された投影画像データの連結画素成分を日付文字候補して選択する。
【００５５】
すなわち、特定された連結画素成分が主平面に投影された投影画像データに属する場合には、主平面に投影された投影画像データに含まれる注目グループを構成する全ての連結画素成分を破棄し、副平面に投影された投影画像データは日付文字候補として選択する。他方、特定された連結画素成分が副平面に投影された投影画像データに属する場合には、副平面に投影された投影画像データに含まれる注目グループを構成する全ての連結画素成分を破棄し、日付文字候補として選択し、主平面に投影された投影画像データを日付文字候補として選択する。
【００５６】
このような処理を行うのは、例えば、図７のように、白抜けしたメッシュ区画で示される文字骨格部分の画素の値よりも、ハッチングを施したメッシュ区画で示される文字周辺の画素の方がより周辺画素の代表値に近い値を有する傾向があることに着目したものである。
【００５７】
図４及び図７に示す例では、図７において黒い矩形で示す周辺画素の代表値と図４（ａ）のＬＥＤの発光色を適切に反映した画素から構成される連結画素成分との代表値間のユークリッド距離の方が、図４（ｂ）の白抜けした画素から構成される連結画素成分との代表値間のユークリッド距離よりも近ければ、図４（ｂ）に示す文字骨格部分の連結画素成分のみを日付文字候補として選択することができる。
【００５８】
ステップＳ３２−８では、主平面及び副平面の両平面に投影された投影画像データに含まれる全ての連結画素成分を日付文字候補と判定する。
【００５９】
例えば、日付文字が図１０に示すようなＬＥＤの発光色のみを反映した画素群のみから構成される場合には、副平面上の投影画像データには連結画素成分は存在しないため、ステップＳ３２−１からステップＳ３２−８に処理が移行され、主平面上の投影画像データに含まれる全ての連結画素成分がそのまま選択される。なお、この場合でもグループを構成しない連結画素成分については、これらを無条件で日付文字候補と判定することが好適である。
【００６０】
両平面から日付文字候補としての連結画素成分が抽出されなかった場合には、いうまでもなく選択すべき連結画素成分は存在しないものと判定する。
【００６１】
＜変形例＞
本発明の実施の形態における変形例について、図を参照して詳細に説明する。本変形例における画像処理方法は、図８に示すフローチャートに沿って処理される。フローチャートの各工程をコンピュータで実行可能なように画像処理プログラムにコーディングして記憶部１２に格納し、その画像処理プログラムを処理部１０によって実行することによって画像処理を行うことができる。
【００６２】
ステップＳ４０では、知覚色空間において抽出すべき日付文字の色を最も特徴的に表す色相平面を決定し、決定した色相平面に対して処理対象となる画像データを投影画像データとして投影する。ここでは、ＨＳＢ空間で処理を実施するものとして説明を行う。このとき、日付文字色として、ＬＥＤの発光色の種類から予め数十種類の文字色候補を設定しておいても良い。
【００６３】
ステップＳ４２では、色相平面に投影された投影画像データに対して、彩度に基づき二値化を実施する。二値化処理の具体的な手法については、上記ステップＳ２２と同様に移動平均法を用いることができる。すなわち、注目画素の彩度がその周辺画素における彩度の平均値に比べ所定の値以上に高い場合には当該注目画素をＯＮ画素とし、そうでなければＯＦＦ画素とする。
【００６４】
例えば、図４（ａ）のハッチングが施されたメッシュ区画のように、文字を構成する画素からＬＥＤの発光色を強く反映した画素を抽出することが目的であるため、ＬＥＤの発光色に近い文字色の色相を持ち、かつ、周辺の画素に比べて彩度の高い画素を抽出する。
【００６５】
ステップＳ４４では、上記ステップＳ２４と同様に、日付文字候補となる連結画素成分を抽出する。具体的な処理については説明を割愛する。
【００６６】
ステップＳ４６では、ステップＳ４０で色相平面上に投影した投影画像データに対して輝度や明度といった明るさに基づき二値化を実施する。
【００６７】
ここでは、図４（ｂ）において白抜けしたメッシュ区画で示される文字骨格部分の画素のように、何らかの理由でＬＥＤ本来の発光色とは異なる色を持つ画素を抽出することを目的とする。比較的多く見られる現象として、ＬＥＤによる文字の露光が強すぎるなどの原因でＬＥＤ本来が持つ発光色の階調が飛んでしまった例では、これらの画素が投影画像データ上でも常に安定して明るいという特性（より具体的には高明度低彩度といえる）を持つため、十分に明るい明度を特徴量として、投影画像データにおける各画素の持つ明度が所定の閾値以上であればＯＮ画素、そうでなければＯＦＦ画素とする固定二値化処理を用いることが好ましい。
【００６８】
ステップＳ４８では、上記ステップＳ３０と同様に、日付文字候補となる連結画素成分を抽出する。具体的な処理については説明を割愛する。
【００６９】
その後、ステップＳ５０において連結画素成分の取捨選択を行う。具体的な処理は、上記ステップＳ３２と同様であるので、説明は割愛する。
【００７０】
以上のように、本実施の形態の画像処理方法及びその変形例によれば、日付文字を構成する画素群として望ましい文字の骨格部分の画素を日付文字候補として抽出することができる。すなわち、文字として適切な輪郭形状を保ちながら日付文字候補を抽出することができる。特に、銀塩写真の日付文字を抽出対象とした場合、文字がＬＥＤの発光色と同様な色を持つ画素から構成される場合はこれら画素群を文字として抽出し、ＬＥＤによる文字の露光条件が良好ではなく、例えば本来抽出すべきＬＥＤの発光色を持つ画素が文字としての輪郭を構成していないようなケースにおいては、より文字の輪郭（または骨格）を良好に表す画素を選択して抽出することができる。これにより、従来の文字抽出方式に比べ抽出した文字に対する文字認識率を高めることができるようになる。その結果、これまで困難であった銀塩写真中の日付文字を抽出することが可能となる。
【００７１】
なお、本実施の形態及び変形例では、銀塩写真の画像データから日付文字を抽出する場合について説明したが、本発明は他の用途にも用いることができる。本発明は２つの特徴量の関係を利用することによりあいまいさを有する情報を抽出できることに特徴を有しているので、例えば、階調が不明瞭な文字領域を抽出したり、文書情報に対してあいまい検索したりする場合にも用いることができる。
【００７２】
【発明の効果】
本発明によれば、銀塩写真の日付文字のように階調変化を有する情報を含む画像データから、その情報の骨格部分を確実かつ良好に抽出することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における画像処理装置の構成を示すブロック図である。
【図２】本発明の実施の形態における画像処理方法のフローチャートを示す図である。
【図３】本発明の実施の形態において連結画素成分を抽出する方法を説明する図である。
【図４】本発明の実施の形態における投影画像データの例を示す図である。
【図５】本発明の実施の形態における日付文字候補となる連結画素成分の抽出工程のフローチャートを示す図である。
【図６】本発明の実施の形態においてグループ化された連結画素成分の例を示す図である。
【図７】本発明の実施の形態におけるグループ化された連結画素成分の周辺画素を求めた例を示す図である。
【図８】本発明の実施の形態における画像処理方法の変形例のフローチャートを示す図である。
【図９】従来の画像処理方法のフローチャートを示す図である。
【図１０】ＬＥＤの発光色を適切に反映した文字骨格部分を有する画像データの例を示す図である。
【図１１】文字骨格部分が白く飛んだ画像データの例を示す図である。
【符号の説明】
１０  処理部、１２  記憶部、１４  入力部、１６  出力部、１８  外部インターフェース、２０  バス、１００  画像処理装置。
【図１】
2004192311.tif 000003
【図２】
2004192311.tif 000004
【図３】
2004192311.tif 000005
【図４】
2004192311.tif 000006
【図５】
2004192311.tif 000007
【図６】
2004192311.tif 000008
【図７】
2004192311.tif 000009
【図８】
2004192311.tif 000010
【図９】
2004192311.tif 000011
【図１０】
2004192311.tif 000012
【図１１】
2004192311.tif 000013