(57)【要約】【課題】レイアウト情報を利用することにより、画像データから画像及び／又は文字列の配置を適切に解析し、抽出することを目的とする画像処理装置等を提供する。【解決手段】画像データ入力部５０２により入力された画像データに基づいて、レイアウト情報抽出部５０４が、レイアウト情報を抽出する。そして、レイアウト情報比較部５０６は、抽出されたレイアウト情報と一致するものを、レイアウト情報記憶部５０８に記憶されているレイアウト情報と比較する。そして、レイアウトが決定され、文脈情報解析部５１０により解析された文字列等が文脈情報出力部５１２により出力される。【選択図】図１
2008112228.tif 000002
【特許請求の範囲】
【請求項１】
画像データを入力する画像データ入力手段と、
前記画像データ入力手段により入力された画像データから、レイアウトを判定するレイアウト判定手段と、
前記レイアウト判定手段により判定されたレイアウトに基づいて、入力された画像データから画像及び／又は文字列を抽出する画像文字列抽出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記入力された画像データから、画像要素を抽出する画像要素抽出手段を有し、
前記レイアウト判定手段は、前記画像要素抽出手段により抽出された画像要素をグループ化することにより、入力された画像データのレイアウトを判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
画像データのレイアウトを画像レイアウト情報として記憶するレイアウト情報記憶手段を更に有し、
前記レイアウト判定手段は、前記画像要素抽出手段により抽出された画像要素をグループ化し、前記レイアウト情報記憶手段に記憶された画像レイアウト情報と比較することにより、入力された画像データのレイアウトを判定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
画像データを記憶する画像データ記憶手段を更に備え、
前記画像データ入力手段は、前記画像データ記憶手段に記憶された画像データの中から、画像データを入力することを特徴とする請求項１から３のうちいずれか一項に記載の画像処理装置。
【請求項５】
コンピュータに、
画像データを入力する画像データ入力機能と、
前記画像データ入力機能により入力された画像データから、レイアウトを判定するレイアウト判定機能と、
前記レイアウト判定機能により判定されたレイアウトに基づいて、入力された画像データから画像及び／又は文字列を抽出する画像文字列抽出機能と、
を実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来から、画像データのレイアウトを解析することにより、画像データに含まれる画像及び／又は文字列の情報を抽出するための装置が知られている。これらの装置に関し、以下のような発明が知られている。入力した画像データについて、フォントに関するグループ化を行い、文字列を抽出する発明が知られている（例えば、特許文献１参照）。また、角度を考慮した画像データに含まれる各要素のグループ化を行い、文字列を抽出する発明が知られている（例えば、特許文献２参照）。また、印刷時に構造情報を付加することにより、画像データを読み込む際に、文字列を抽出する発明が知られている（例えば、特許文献３参照）。
【特許文献１】特開平６−２１５１９７号公報
【特許文献２】特開平１１−２０３４９４号公報
【特許文献３】特開２００２−１０８８４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述した発明には以下のような問題点があった。すなわち、特許文献１に記載された発明では、単純にグループ化可能な画像データからしか文字列が抽出出来ず、例えばポスターや広告といった複雑なレイアウトの画像データから文字列を抽出したり、画像データに含まれる特殊な飾り文字から文字列を抽出したりすることが出来なかった。
【０００４】
また、特許文献２に記載された発明では、例えば、アイキャッチや多段組みといった複雑なレイアウトから文字列を抽出する場合において、それぞれのアイキャッチや段組間での文字列間の関連付けを行うことができないという問題点があった。
【０００５】
また、特許文献３に記載された発明では、構造情報が付加されていない既存の画像データに対して適用できないという問題があった。
【０００６】
さらに、画像データをレイアウトに基づいて解析し、画像データに含まれる画像や文字列を抽出する場合、画像データの入力及び解析をするためには高性能なコンピュータ等が必要であった。近年、携帯電話や携帯型端末（ＰＤＡ）等において、カメラが内蔵された端末が多く流通している。これらの携帯電話等に内蔵されているカメラで撮影された画像データに基づいて、文字列等を抽出しようとした場合、携帯電話等の端末の性能では複雑なレイアウトの解析ができなかったり、解析を行うとしても非常に時間がかかったりするといった問題点があった。
【０００７】
上述した課題に鑑み、本発明が目的とするところは、レイアウト情報を利用することにより、画像データから画像及び／又は文字列の配置を適切に解析し、抽出することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために、本発明における画像処理装置は、画像データを入力する画像データ入力手段と、前記画像データ入力手段により入力された画像データから、レイアウトを判定するレイアウト判定手段と、前記レイアウト判定手段により判定されたレイアウトに基づいて、入力された画像データから画像及び／又は文字列を抽出する画像文字列抽出手段と、を備えることを特徴とする。
【０００９】
また、本発明における画像処理装置は、前記入力された画像データから、画像要素を抽出する画像要素抽出手段を有し、前記レイアウト判定手段は、前記画像要素抽出手段により抽出された画像要素をグループ化することにより、入力された画像データのレイアウトを判定することを特徴とする。
【００１０】
また、本発明における画像処理装置は、画像データのレイアウトを画像レイアウト情報として記憶するレイアウト情報記憶手段を更に有し、前記レイアウト判定手段は、前記画像要素抽出手段により抽出された画像要素をグループ化し、前記レイアウト情報記憶手段に記憶された画像レイアウト情報と比較することにより、入力された画像データのレイアウトを判定することを特徴とする。
【００１１】
また、本発明における画像処理装置は、画像データを記憶する画像データ記憶手段を更に備え、前記画像データ入力手段は、前記画像データ記憶手段に記憶された画像データの中から、画像データを入力することを特徴とする。
【００１２】
また、本発明におけるプログラムは、コンピュータに、画像データを入力する画像データ入力機能と、前記画像データ入力機能により入力された画像データから、レイアウトを判定するレイアウト判定機能と、前記レイアウト判定機能により判定されたレイアウトに基づいて、入力された画像から画像及び／又は文字列を抽出する画像文字列抽出機能と、を実現させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、入力された画像データからレイアウトを判定し、当該判定されたレイアウトに基づいて、入力された画像データから画像及び／又は文字列を抽出することができる。したがって、入力された画像データのレイアウトを判定してから、画像及び／又は文字を抽出することにより、例えば広告等の複雑なレイアウトの画像データからであっても、画像や文字列を適切に抽出することができるようになる。
【００１４】
また、本発明によれば、入力された画像データから、画像要素を抽出し、抽出された画像要素をグループ化することによりレイアウトを判定することができる。したがって、入力された画像データから、画像や、文字の画像要素を抽出し、抽出された画像要素がグループ化されることにより、より適切にレイアウトを判定することができ、当該レイアウトに応じて文字列等の判定を行うことができる。
【００１５】
また、本発明によれば、レイアウトが画像レイアウト情報として記憶されており、入力された画像データと、当該画像レイアウト情報とを比較することにより、入力された画像のレイアウトを判定することが出来る。したがって、画像レイアウト情報と比較するだけで、入力された画像のレイアウトを判定することができることとなるため、適切にレイアウトが判定できるだけではなく、画像データを解析する場合、処理の負荷が軽減される。
【００１６】
また、本発明によれば、画像記憶手段に記憶された画像データの中から、画像を入力することができる。したがって、外部から取り込まれた画像データや、以前入力された画像データに基づいて、レイアウトを判定し、画像及び／又は文字列を抽出することが出来ることとなる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明に係る画像処理装置等の実施形態において、最良の形態の一例を説明する。図１は、本発明における画像処理装置を、携帯電話に適用した場合の一例である。なお、本実施形態においては、携帯電話に適用した場合について説明するが、本発明が適用可能な装置は携帯電話に限定されるものではない。
【００１８】
まず、図１に本発明を適用した携帯電話１の構成を示す。携帯電話１は、入力部１０と、表示部１５と、音声処理部２０と、通信部２５と、画像入力部３０と、画像データ記憶部３５と、処理部４０と、画像データ処理部５０とを備えて構成されている。
【００１９】
入力部１０は、携帯電話１に対してユーザから指示・操作等を行うための機能部である。例えば、ダイヤルボタンやタッチパネル等において構成されている。表示部１５は、携帯電話１における各種情報等を表示するための機能部であり、例えば液晶ディスプレイ（ＬＣＤ）や、有機ＥＬディスプレイ等で構成されている。
【００２０】
音声処理部２０は、ユーザから入力された音声をデジタルデータに符号化したり、受信された音声データを復号し、出力したりする機能部である。例えば、音声を入力する装置としてはマイク、音声を出力する装置としてはスピーカ等から構成されている。
【００２１】
通信部２５は、携帯電話１が携帯電話基地局に接続し、通信を行うための機能部である。通信部２５を介して、音声データが送受信されたり、画像データが送受信されたりすることとなる。
【００２２】
画像入力部３０は、撮像素子を介して撮影された画像データを取り込む機能部である。例えば、画像入力部３０は、ＣＣＤの撮像素子等により構成されている。ＣＣＤにおいて取り込まれた画像データは、画像データ３５に記憶されることとなる。
【００２３】
画像データ記憶部３５は、画像データを記憶する機能部であり、フラッシュメモリ等から構成されている。ここで、記憶される画像データは、例えば画像入力部３０から取り込まれた（撮影された）画像データであっても良いし、通信部２５を介して外部から通信により取り込まれた画像データであってもよい。
【００２４】
処理部４０は、携帯電話１に関する様々な処理を実行することにより、当該処理に対応した機能を実現するための機能部である。ここで、処理部４０は、ＣＰＵが１チップから構成されていることとしても良いし、制御用ＣＰＵ、画像データ用ＣＰＵ、通信用ＣＰＵ等のように各ＣＰＵが分散していても良い。
【００２５】
続いて、画像データ処理部５０は、画像入力部３０から入力された画像データ又は画像データ記憶部３５に記憶された画像データを元に、処理を行う機能部である。
【００２６】
画像データ処理部５０は、画像データ入力部５０２と、レイアウト情報抽出部５０４と、レイアウト情報比較部５０６と、レイアウト情報記憶部５０８と、文脈情報解析部５１０と、文脈情報出力部５１２とを備えて構成されている。
【００２７】
ここで、画像データ処理部５０の動作について、図１及び図２を用いて説明する。まず、画像データ入力部５０２は、画像データを取得する（ステップＳ１０）。ここで、画像データを取得する先としては、画像データ記憶部３５に記憶されている画像データでも良いし、画像入力部３０から入力された画像データでも良いし、通信部２５より受信された画像データであっても良い。
【００２８】
続いて、レイアウト情報抽出部５０４により入力された画像データを解析し、画像要素を抽出する（ステップＳ１２）。ここで、画像要素とは、画像データを構成する要素であり、本実施形態においては「文字」や「画像」を要素としている。
【００２９】
続いて、レイアウト情報抽出部５０４は、抽出された画像要素をグループ化する（ステップＳ１４）。例えば、画像要素として「文字」が続いていれば、一連の「文字」を文字列としてグループ化し、また、文字列を「段落」にグループ化する。そして、グループ化することにより、画像データ内の画像要素の配置として、配置情報を判定する（ステップＳ１６）。具体的には、画像データのどの部分が「段落」であり、どの部分が「画像」であるかを判定する。さらに、「段落」は「縦書き」であるか「横書き」であるか等を判定される。
【００３０】
次に、レイアウト情報比較部５０６により、配置情報と、レイアウト情報記憶部５０８に記憶されているレイアウト情報とを比較し、レイアウトを判定する（ステップＳ１８）。すなわち、レイアウト情報記憶部５０８に記憶されているレイアウト情報の中から、ステップＳ１６により抽出された配置情報と一致するものがあるか否かを比較し、どのレイアウトであるかを判定する。
【００３１】
ここで、レイアウト情報記憶部５０８に記憶されているレイアウト情報の一例を図３に示す。図３では、レイアウトの種別として、「中段見出し型」と、「二段組み型」と、「アイキャッチ型」が登録されている。
【００３２】
例えば、入力された画像データの右上に「文字」が大きく配置されており、その他の部分に縦書きの文字列が配置されている配置情報の場合、レイアウト情報の「アイキャッチ型」と一致するため、入力された画像データは「アイキャッチ型」のレイアウトと判定される。
【００３３】
また、入力された画像データの上下に縦書きの文字列が配置されており、中央に大きな文字列が配置されている場合には、レイアウト情報の「中段見出し型」と一致するため、入力された画像データは「中段見出し型」のレイアウトと判定される。
【００３４】
さらに、レイアウト情報の配置には順序が文脈情報として記憶されている。例えば、中段見出し型のレイアウト情報には、中段の「文字列（大）」が１番目として、上段の「縦書き文字列」が２番目として、下段の「縦書き文字列」が３番目としてそれぞれ記憶されている。後述する文脈情報解析部５１０は、この記憶されている文脈情報に従って文字列を抽出する。
【００３５】
続いて、文脈情報解析部５１０は、判定されたレイアウト情報に基づいて、画像データから画像及び／又は文字列情報を抽出する（ステップＳ２０）。具体的には、レイアウト情報記憶部５０８に記憶された文脈情報の順序に従って、画像及び／又は文字列を抽出する。例えば、図３を参照すると、レイアウト「二段組み型」の場合、まず始めに左側のグループ化された領域の文字列が抽出され、続いて右側のグループ化された領域の文字列が抽出されることとなる。そして抽出された画像・文字列情報は、文脈情報出力部５１２により、画像・文字列情報として出力される（ステップＳ２２）。
【００３６】
具体的に、図４及び図５を用いて、本実施形態における処理について説明する。図４（ａ）は、画像データ入力部５０２により入力された画像データの一例を示す図である。まず、レイアウト情報抽出部５０４により画像データが解析され、画像要素を抽出する。（図３のステップＳ１２）。始めに、図４（ｂ）に示すように入力された画像データを各画像要素に分割する。そして、分割された画像要素が単なる画像か、文字かを図５（ａ）に示すように解析する。つづいて、それぞれ配置された画像要素をグループ化する。
【００３７】
ここでは図５（ｂ）に示すように右上に大きな文字と、他の部分とに画像要素をグループ化する。そして、「１」の部分に大きな文字が、「２」の部分に縦書きの文字列が配置されていると、配置情報を判定する。そして、レイアウト情報比較部５０６は、レイアウト情報記憶部５０８に記憶されているレイアウト情報と比較して、入力された画像データのレイアウトを判定する。
【００３８】
これにより、入力された画像データは「アイキャッチ型」のレイアウトであることが判定され、「アイキャッチ型」のレイアウトに従って文字列が抽出される。すなわち、右上の文字が抽出され、続いて「２」の部分の縦書きの文字列が続いて読み出される。そして、抽出された文字列が文脈情報出力部５１２により出力される。
【００３９】
このように、本実施形態によれば、レイアウト情報に基づいて、画像のレイアウトを解析し、画像及び／又は文字列を適切に抽出することが出来る。また、記憶されているレイアウト情報と比較することにより、負荷がかかることなくレイアウトを適切に解析することが可能となる。したがって、本実施形態において説明した携帯電話や、携帯用端末等のように、処理能力が十分でない装置においても、適切にレイアウトを解析し、画像及び／又は文字を抽出することが可能となる。
【００４０】
なお、上述した実施形態では、画像処理装置の一例として携帯電話を例として説明したが、これに限られず、例えばＰＤＡ等の携帯型小型情報端末や、コンピュータ等においても適用可能なことは勿論である。
【図面の簡単な説明】
【００４１】
【図１】本実施形態における携帯電話の構成を示した図。
【図２】本実施形態における画像データ処理部の動作フローを示した図。
【図３】レイアウト情報記憶部のデータ構成の一例を示した図。
【図４】本実施形態の動作例を示した図。
【図５】本実施形態の動作例を示した図。
【符号の説明】
【００４２】
１  携帯電話
１０  入力部
１５  表示部
２０  音声処理部
３０  画像入力部
３５  画像データ記憶部
４０  処理部
５０  画像データ処理部
５０２  画像データ入力部
５０４  レイアウト情報抽出部
５０６  レイアウト情報比較部
５０８  レイアウト情報記憶部
５１０  文脈情報解析部
５１２  文脈情報出力部
【図１】
2008112228.tif 000003
【図２】
2008112228.tif 000004
【図３】
2008112228.tif 000005
【図４】
2008112228.tif 000006
【図５】
2008112228.tif 000007