(57)【要約】【課題】  画像データを保存する際に、画像データの詳細な属性情報を付加できる画像入力装置を提供すること。【解決手段】  被写体を撮影する撮影手段６１と、撮影手段により撮影された被写体の画像を表示可能な画像表示手段と、を有する画像入力装置において、画像表示手段に表示された画像の一部を選択する画像領域選択手段５９と、画像領域選択手段５９により選択された領域に含まれる記号を認識する記号認識手段６２と、記号認識手段６２により認識された記号を画像と関連づけて、画像と共に記憶する画像データ記憶手段とを有することを特徴とする画像入力装置を提供する。【選択図】  図１
2005236432.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影する撮影手段と、前記撮影手段により撮影された被写体の画像を表示する画像表示手段と、を有する画像入力装置において、
前記画像表示手段に表示された画像の一部を選択する画像領域選択手段と、
前記画像領域選択手段により選択された領域に含まれる記号を認識する記号認識手段と、
前記記号認識手段により認識された記号を前記画像と関連づけて、前記画像と共に記憶する画像データ記憶手段と、
を有することを特徴とする画像入力装置。
【請求項２】
前記画像データ記憶手段により記憶された前記画像データのリストを前記画像表示手段に表示する画像データリスト表示手段と、
前記画像データリスト表示手段により表示された前記画像データのリストから一以上の画像データを選択する画像データ選択手段と、
を有することを特徴とする請求項１記載の画像入力装置。
【請求項３】
ネットワークに接続するネットワーク接続手段と、
前記ネットワーク上に公開されたウェブページを表示するブラウザ手段と、
前記記号認識手段により認識された記号を前記ブラウザ手段の検索欄に入力する認識記号入力手段と、
前記認識記号入力手段により入力された記号を、ネットワーク上にウェブページを検索する検索サーバに送信する検索記号送信手段と、
前記検索サーバにより検索された検索の結果を受信する検索結果受信手段と、
前記検索結果受信手段が受信した検索結果を前記ブラウザ手段により前記画像表示手段に表示する検索結果表示手段と、
を有することを特徴とする請求項１記載の画像入力装置。
【請求項４】
辞書データベースと、
前記記号認識手段により認識された記号に基づき前記辞書データベースで検索する辞書データベース検索手段と、を有し、
前記辞書データベース検索手段で検索された結果を、前記画像表示手段で表示する、ことを特徴とする請求項１記載の画像入力装置。
【請求項５】
前記画像データは所定のデータ記録フォーマットで記録されており、前記記号認識手段により認識された記号は、前記データ記録フォーマットにおいてデータが記録されていない未使用領域に記録される、ことを特徴とする請求項１記載の画像入力装置。
【請求項６】
被写体を撮影する撮影手段と、前記撮影手段により撮影された被写体の画像を表示するな画像表示手段と、を有する画像入力装置において、
前記撮影手段により撮影された画像に含まれる記号を自動的に認識する記号自動認識手段と、
前記記号自動認識手段により認識された記号を、前記自動記号認識手段により記号を認識した画像又は当該画像と関連した画像と関連づけて、前記画像又は当該画像と関連した画像と共に記憶する画像データ記憶手段と、
を有することを特徴とする画像入力装置。
【請求項７】
前記記号自動認識手段により認識される記号は、画像表示手段の所定の領域に表示されることを特徴とする請求項６記載の画像入力装置。
【請求項８】
画像入力装置により撮影された画像データが記録された画像データ記憶手段を有する画像データ管理装置において、
前記画像データ記憶手段に記憶された画像データを表示する画像表示手段と、
前記画像表示手段により表示された前記画像の一部を選択する画像領域選択手段と、
前記画像領域選択手段により選択された領域に含まれる記号を認識する記号認識手段と、
前記記号認識手段による認識の対象とされた前記画像データ及び前記領域と、認識された記号とを関連づける関連付け情報を生成する関連付け情報生成手段と、
を有することを特徴とする画像データ管理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像入力装置又は画像データ管理装置に関し、特に撮影された画像から記号を認識可能な画像入力装置、及び、当該画像入力装置で撮影された画像を管理する画像データ管理装置に関する。
【背景技術】
【０００２】
画像を電子的に記録するデジタルカメラ等は、撮影された画像を電子データとして記録できる。デジタルカメラやデジカメ機能のついた撮影装置の普及に伴い、電子データ化された画像データは幅広く活用されている。しかしながら、記録された画像データは、撮影された時に自動的に付与されるファイル名や撮影日時などからしか識別できない。画像を記録する際に、露出やシャッタ速度等の撮影条件、GPS(Global Positioning System)による位置情報等を属性情報として付与することも行われているが充分ではない。
【０００３】
撮影した画像の検索性を良くする為には、撮影画像をPCに転送し、PC上の画像管理ソフトにより分かりやすいファイル名等の属性情報を付けることが考えられる。しかし、画像情報を用いてデータベースを作成するような定型業務においてさえ、検索や分類を行う為に、オペレータが手作業で属性情報を付与する必要がある。
【０００４】
撮影された画像データ等を検索容易にする方法として、例えば、画像データなどマルチメディア情報を収集し、収集された画像データに対して、当該画像データに撮影されている画像を利用して属性情報を付与するデータベースの作成方法が提案されている。当該データベースの作成方法によれば、例えば画像中の文字を認識して、認識された文字の内容に基づき他のマルチメディア情報との対応付けをすることができる（例えば、特許文献１参照。）。
【特許文献１】特開２００１−９２８３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１記載の発明は、例えばデジタルカメラで画像の撮影した時に、属性情報を付与するものではなく、ＰＣ等を用いて、画像データを他のマルチメディア情報と関連付けて、編集するときに付与するものである。したがって、特許文献１記載の発明では、少なくともデジタルカメラ等に保存してある画像データを検索するための属性情報を、当該画像データに付加することはできないという不都合がある。したがって、画像を撮影した時に、検索や分類を行う上で充分な属性情報を自動的に付与する仕組みが要求されている。
【０００６】
本発明は、上記の問題に鑑み、画像データを保存する際に、画像データの詳細な属性情報を付加できる画像入力装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記問題に鑑み、請求項１記載の発明は、被写体を撮影する撮影手段と、撮影手段により撮影された被写体の画像を表示可能な画像表示手段と、を有する画像入力装置において、画像表示手段に表示された画像の一部を選択する画像領域選択手段と、画像領域選択手段により選択された領域に含まれる記号を認識する記号認識手段と、記号認識手段により認識された記号を画像と関連づけて、画像と共に記憶する画像データ記憶手段と、を有することを特徴とする画像入力装置を提供する。
【０００８】
本発明によれば、画像データを保存する際に、画像データの詳細な属性情報を付加できる画像入力装置を提供することができる。なお、記号とは、一定の事柄を指し示すための知覚対象物であって、主に文字や数字、符号などをいう。
【０００９】
また、請求項２記載の発明は、請求項１記載の画像入力装置において、画像データ記憶手段により記憶された画像データのリストを画像表示手段に表示する画像データリスト表示手段と、記画像データリスト表示手段により表示された画像データのリストから一以上の画像データを選択する画像データ選択手段と、を有することを特徴とする。
【００１０】
請求項２記載の発明によれば、記号認識手段により認識された記号と関連づけて記憶された画像を、認識された記号などにより選択できる。したがって、デジタルカメラなどで撮影された画像データの検索性が向上する。画像データのリストは、記号認識手段により認識された文字であってもよいし、ファイル名などであってもよい。
【００１１】
また、請求項３記載の発明は、請求項１記載の画像入力装置において、ネットワークに接続するネットワーク接続手段と、ネットワーク上に公開されたウェブページを表示するブラウザ手段と、記号認識手段により認識された記号を前記ブラウザ手段の検索欄に入力する認識記号入力手段と、認識記号入力手段により入力された記号を、ネットワーク上にウェブページを検索する検索サーバに送信する検索記号送信手段と、検索サーバにより検索された検索の結果を受信する検索結果受信手段と、検索結果受信手段が受信した検索結果をブラウザ手段により前記画像表示手段に表示する検索結果表示手段と、を有することを特徴とする。請求項３記載の発明によれば、画像を撮影するだけで、画像に関連する情報をインターネットなどから検索することができる。
【００１２】
また、請求項４記載の発明は、請求項１記載の画像入力装置において、辞書データベースと、記号認識手段により認識された記号に基づき辞書データベースで検索する辞書データベース検索手段とを有し、辞書データベース検索手段で検索された結果を、画像表示手段で表示する、ことを特徴とする。請求項４記載の画像入力装置によれば、画像を撮影するだけで、画像が有する文字などの意味や翻訳後を検索することができる。
【００１３】
また、請求項５記載の発明は、請求項１記載の画像入路奥装置において、画像データは所定のデータ記録フォーマットで記録されており、記号認識手段により認識された記号は、データ記録フォーマットにおいてデータが記録されていない未使用領域に記録される、ことを特徴とする。請求項５記載の画像入力装置によれば、規格化や標準化された画像データのフォーマットに属性情報を記録できるので、画像データの管理が簡便になる。
【００１４】
また、請求項６記載の発明は、被写体を撮影する撮影手段と、撮影手段により撮影された被写体の画像を表示可能な画像表示手段とを有する画像入力装置において、撮影手段により撮影された画像に含まれる記号を自動的に認識する記号自動認識手段と、記号自動認識手段により認識された記号を、自動記号認識手段により記号を認識した画像又は当該画像と関連した画像と関連づけて、画像又は当該画像と関連した画像と共に記憶する画像データ記憶手段と、を有することを特徴とする。
【００１５】
請求項６記載の画像入力装置によれば、画像データを保存する際に、自動的に記号の認識を行い、画像データの詳細な属性情報を付加できる画像入力装置を提供することができる。また、画像に付加する属性情報を文字認識した画像とは別の画像でユーザが設定できるので、画像検索や画像分類の際の属性情報をより多くすることができる。
【００１６】
また、請求項７記載の発明は、請求項６記載の画像入力装置において、記号自動認識手段により認識される記号の領域が、予め固定されていることを特徴とする。請求項７記載の画像入力装置によれば、文字認識する領域が固定されているので、領域指定の作業が省略できる。
【００１７】
また、請求項８記載の発明は、画像入力装置により撮影された画像データが記録された画像データ記憶手段を有する画像データ管理装置において、画像データ記憶手段に記憶された画像データを表示する画像表示手段と、画像表示手段により表示された画像の一部を選択する画像領域選択手段と、画像領域選択手段により選択された領域に含まれる記号を認識する記号認識手段と、記号認識手段による認識の対象とされた画像データ及び領域と、認識された記号とを関連づける関連付け情報を生成する関連付け情報生成手段と、を有することを特徴とする。
【００１８】
請求項８記載の画像データ管理装置によれば、関連付け情報により、文字認識により得られた文字から元の画像を参照できる。
【発明の効果】
【００１９】
画像データを保存する際に、画像データの詳細な属性情報を付加できる画像入力装置を提供できる。
【発明を実施するための最良の形態】
【００２０】
本発明では、撮影された画像から文字を認識し、認識された文字を、画像を記録する際に属性情報として付与する。例えば、画像は、デジタルカメラ等で撮影され、デジタルカメラ等の液晶画面で表示される。当該画像において、テキスト情報が撮影された領域を指定できるような領域選択手段を有し、領域選択手段で選択された領域の文字や記号をテキストデータとして認識させる。本発明によれば、認識されたテキストデータを用いて、当該画像の属性情報として画像データに付与することや、ネットワーク上のコンテンツを検索すること等が可能な画像入力装置が提供される。以下、本発明を好適に実施した形態について、その具体例を上げ、図面を用いて詳細に説明する。
【００２１】
始めに、画像入力装置について説明する。図１（ａ）は、画像入力装置のハードウェア構成図の一例を示す。被写体の像は、固定レンズ１、ズームレンズ２、絞り機構３、フォーカスレンズ５を通過し、シャッタ４により露光時間が調節された後に、撮像素子６上に形成される。撮像素子６からの画像信号はＣＤＳ（Correlated Double Sampling）（相関二重サンプリング）回路７でサンプリングされた後、Ａ／Ｄ変換器８でデジタル信号化される。この時のタイミングはＴＧ（Timing Generator）９で生成される。画像信号はその後、ＩＰＰ（Image Pre-Processor）１０でアパーチャ補正などの画像処理、圧縮などを行いフラッシュメモリ等のメモリ１１に保存される。各ユニットの動作は、ＭＰＵ１２にて制御される。
【００２２】
ＭＰＵ１２にはＩ／Ｏ(Input/Output)コントローラ１３が接続され、更にＩ／Ｏデバイス１４が接続されている。該Ｉ／Ｏデバイスとしては、ＲＳ−２３２Ｃ, ＵＳＢ(Universal Serial Bus), ｉＬｉｎｋ(登録商標（IEEE1394）), ネットワークアダプタなどのインターフェースが用いられるものとする。
【００２３】
次に、図１（ｂ）に基づき、画像入力装置の機能構成について説明する。画像入力装置は、撮影手段６１、画像領域選択手段５９、文字認識手段６２、属性情報付与手段６３、画像データリスト表示手段５３、画像データ選択手段５４及び記憶手段６５、を有するように構成される。撮影手段６１は、被写体を撮影し、画像データを生成する。画像領域選択手段５９は、撮影された画像から文字などの記号が含まれた領域を選択することを可能にする。文字認識手段６２は、画像データにおいて文字認識領域を指定可能とし、文字認識領域に文字が撮影されている場合に文字をテキストデータに変換する。文字認識手段６２は、例えば、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｏｒ Ｒｅａｄｅｒ）機能を提供する。属性情報付与手段６３は、文字認識手段６２により認識された文字を、撮影手段６１により生成された画像データに属性情報として付与する。画像データリスト表示手段５３は、画像データ記憶手段に記憶された画像データのリストを表示する。画像データ選択手段５４は、画像データリスト表示手段５３により表示された画像データのリストから一以上の画像データの選択を可能にする。記憶手段６５には、文字認識の結果が一時的に保存され、属性情報が付与された画像データが保存される。
【００２４】
図２は、本実施例における画像入力装置の外観の一例を示す。図２（ａ）は、画像入力装置のフロント面を、図２（ｂ）は裏面を、それぞれ示す。画像入力装置のフロント面は、測距センサ25、撮影光学系26を有する。測距センサ２５は、超音波やＬＥＤ等の反射を利用して被写体との距離を測る。撮影光学系２６に入射した被写体の像は、上述の固定レンズ１等を通過して画像入力装置に取り込まれる。
【００２５】
画像入力装置の裏面は、電源ＳＷ（スイッチ）１６、光学式ファインダ１７、液晶ファインダ１８、レリーズボタン１９、ＳＷ２０〜ＳＷ２４の操作部を有する。光学式ファインダ１７は、フロント面まで貫通しており、被写体が撮影範囲に収まっているか等を確認する。液晶ファインダ１８は、撮影光学系２６に入射した被写体の像を液晶画面に表示する。光学式ファインダ１７や液晶ファインダ１８で被写体の像を確認し、レリーズボタン１９を押下すると、画像入力装置により画像が撮影される。ＳＷ２０〜ＳＷ２４は、文字の認識領域を選択等するための操作ボタンであり、詳しくは後述する。
【００２６】
画像入力装置により被写体を撮影する際は、撮影者が画像入力装置を支持してもよいし、支持台などで支持してもよい。図３は、支持台で支持された画像入力装置の概略斜視図を示す。画像入力装置１５は、支持台Ａ２８、支持台Ｂ２９及び支柱２７により所定の位置に支持される。画像入力装置１５は、点線で示された領域を撮影領域３２とし、撮影領域３２に配置された被写体を撮影することができる。撮影領域３２に紙面３０を配置し撮影すると、紙面３０の画像データが画像入力装置に入力される。画像入力装置１５の撮影領域３２は、紙面２０の大きさに合わせて、支柱２７、 支持台Ａ２８、 支持台Ｂ２９の仕様（サイズ, 位置関係（レイアウト））が決定される。画像入力装置がズーム機能を有していてもよい。支持台Ｂ２９には、操作スイッチ３１が設けられている。操作スイッチ３１によりその画像取得条件の設定や画像取得の指示など、画像入力装置の機能を操作する。
【実施例１】
【００２７】
以上の構成に基づき、画像入力装置１５による画像の入力及び画像データから文字認識された文字を当該画像データの属性情報として付与する処理について説明する。図４は、画像入力装置による撮影から属性情報の付与までの処理を示すフローチャート図の一例を示す。ステップＳ１−１で、カメラの電源が電源ＳＷ１６によりオンにされる。ステップＳ１−２では、画像入力装置が撮影可能な状態に設定される。例えば動作モードであれば、ドキュメント撮影モード、風景撮影モードなどに設定される。ステップＳ１０３では、撮影領域が決定される。光学式ファインダ１７又は液晶ファインダ１８に被写体が表示され、撮影範囲が決定される。
【００２８】
ステップＳ１−４では、画像領域選択手段５９により、文字認識を行う領域（以下、文字認識領域という）が設定される。ＳＷ２０〜２４の操作により、光学式ファインダ１７又は液晶ファインダ１８に表示された撮影領域のうち、認識したい文字が含まれている領域が選択される。例えば、液晶ファインダ１８に表示されている矩形のポインタ等の目印が、ＳＷ２０、ＳＷ２２の上下スイッチ、ＳＷ２１、ＳＷ２３の左右スイッチを押下することで、移動する。文字認識する領域にポインタが移動したら、ＳＷ２４を押下することで領域が決定される。液晶ファインダ１８をタッチパネルで構成し、ペン型入力装置が接触した座標を検出して、領域の指定を行うようにしてもよい。
【００２９】
文字認識領域が選択された一例を図５に示す。図５（ａ）及び（ｃ）の被写体は、紙面であり、図５（ｂ）及び（ｄ）の被写体は、風景である。図５（ａ）ないし（ｄ）では、Ａ、Ｂ、Ｃ及びＤを有する領域が文字認識領域として選択されているが、ＡないしＤは、意味をなす複数の文字であることが好適である。なお、図５では、矩形の領域を文字認識領域としたが、文字認識領域は、多角形、円形、楕円形等、いかなる形状であってもよい。
【００３０】
ステップＳ１−５では、レリーズボタン１９が押下され、撮影が行われる。撮影により画像データが取り込まれると、ステップＳ１−６において、文字認識手段６２により、選択した文字認識領域に撮影された文字が文字認識される。文字認識の方法について簡単に説明する。画像を２値画像に変換し、行の切り出し、文字の切り出し処理を行い、各文字の大きさを一定の大きさに正規化する。次に、正規化された文字の特徴抽出を行う。特徴量としては文字の方向成分を用いる。抽出した特長量を予め準備した標準パターン（辞書データ）とマッチング処理（パターンマッチング）を行い、ユークリッド距離を求め、所定の距離以下の場合を認識結果とする。更に、単語情報を利用して知識処理を行っても良い。認識結果はテキストデータ等のデジタル情報として出力される。
【００３１】
ステップＳ１−７では、文字の認識結果が一時的にメモリに保存される。ステップＳ１−８では、一時的に保存された文字の認識結果が、属性情報付与手段６３により、撮影した画像データの属性情報として付与される。
【００３２】
ステップＳ１−９では、属性情報が付与された画像データが記憶手段６５に記録される。画像データの記録形式について説明する。図５（ａ）ないし（ｄ）に示す被写体が撮影された場合、各画像データについて、文字の認識結果、画像データ、ファイルパスがテーブルに記録される。図６（ａ）は、画像データが記録された画像データテーブルの一例を示す。「選択領域の文字認識結果」欄には、選択した文字認識領域から認識された文字が記録される。図５（ａ）の撮影結果では、Ａとなる。「取得した画像データ」欄には、被写体の名称が記録される。図５（ａ）の撮影結果では、ドキュメント１となる。被写体の名称は、例えば撮影モード毎に連番が付されるなど、画像入力装置が自動的に付与する。「ファイルパス」欄には、記憶手段６５における画像データの保存場所が記録される。本実施例では、\DCIM\Pictureのフォルダに画像データが保存される。\DCIM\Pictureは予め定められているデフォルトのファイルパスであるが、ユーザが自由に設定、変更してもよい。なお、図６（ａ）のように、文字認識結果を利用して画像のファイル名としてもよいし、文字認識結果を画像データに付加して記録してもよい。例えば、画像データを記録するフォーマットに従い、当該フォーマットの未使用のヘッダ領域に記録できる。デジタルカメラの場合は、画像データの標準的なフォーマットとしてEXIF(Exchangeable image file format for Digital Still Camera)が知られている。図６（ｂ）は、ＥＸＩＦのヘッダータグの一例を示す。ＥＸＩＦは、ＴＩＦＦ形式のタグを利用してカメラの機種、撮影日時、絞り、シャッタースピードなどの情報を画像データに埋め込む。図６（ｂ）のように、文字認識結果をＥＸＩＦの未使用のタグ領域に付与できる。文字認識により得られた文字を規格化や標準化されたフォーマットに記録することで、画像データ及びその属性情報の汎用性が向上する。
【００３３】
次に、保存された画像データの呼び出しについて説明する。図７（ａ）は、液晶ファインダ１８に表示された画像データの選択画面の一例を、図７（ｂ）は選択された画像データが液晶ファインダ１８に表示された図の一例を、それぞれ示す。例えば、ＳＷ２０〜２４の所定の操作で、図７（ａ）のような画像データの選択画面が表示される。図７（ａ）では、保存されている画像データの一覧が液晶ファインダ１８に表示されている。ユーザは、選択記号４１を、ＳＷ２０等で移動させ、呼び出す画像を選択する。図７（ａ）では、一例として、\DCIM\Picture\B.jpgが選択されている。画像データを選択すると、図７（ｂ）のように選択された画像データの画像が表示される。
【００３４】
本実施例によれば、デジタルカメラなどで撮影された画像に、簡単に属性情報を付与できる。属性情報は、撮影された画像を文字認識して生成されるので、ユーザの特別な操作なしに、容易に画像の分類、検索性の向上が図られる。
【実施例２】
【００３５】
実施例１では、文字認識する画像データと、文字認識された文字が属性情報として付与される画像データとが同一であった。実施例２では、文字認識する画像データと、文字認識された文字を属性情報として付与する画像データとが同一でない画像入力装置について説明する。なお、画像入力装置のハードウェア構成図及び機能構成図は、実施例１と同様であるのでその説明は省略する。
【００３６】
図８は、画像入力装置により画像データから文字情報を取得する処理を示すフローチャート図の一例を示す。ステップＳ２−１で、カメラの電源がオンにされる。ステップＳ２−２で、撮影可能な状態にカメラの動作モードが設定され、ステップＳ２−３で動作モードが文字情報取得モードに設定される。文字情報取得モードでは、撮影領域の文字を画像として撮影し、画像から文字認識することができる。
【００３７】
ステップＳ２−４では、光学式ファインダ１７又は液晶ファインダ１８で表示される画像に基づき、撮影領域が決定される。図９（ａ）は、被写体の撮影から文字認識、属性情報の付与までの流れを示す。まず、液晶ファインダ１８に表示された被写体１０１が撮影される。被写体１０１は紙面であり、本実施例では、機能仕様書である。
【００３８】
ステップＳ２−５では、原稿を撮影する。ステップＳ２−６では、撮影された画像を文字認識する。文字認識により、「機能仕様書」という文字が認識される。ステップＳ２−７では、認識された文字を一時記録領域に一時的に保存する。文字情報取得モードでは、画像データを記録の対象としないので、画像データの保存をしなくともよい。ステップＳ２−８では、動作モードとして設定された文字情報取得モードを解除する。
【００３９】
続いて、ステップＳ２−９で、画像データとして記録される被写体が撮影される。被写体１０２は、画像データとして撮影される被写体を示す。被写体１０２は、例えば機能仕様書の内容の一部である。
【００４０】
ステップＳ２−１０では、撮影された被写体１０２の画像データに、一時的に保存されていた文字認識結果が付与される。図９（ｂ）は、被写体１０２の画像データが記録されたテーブルの一例を示す。図９（ｂ）では、文字情報取得モードにおける文字の認識の結果得られた「機能仕様書」というテキストデータが、被写体１０２の画像データに付与される。被写体１０２の画像データには、ドキュメント３という名前が自動的に付与される。また、被写体１０２の画像データが保存される保存場所がファイルパスに記録される。また、画像データのファイル名として「機能仕様書」（機能仕様書.jpg）が付与される。ステップＳ２−１１では、画像データが記憶手段６５に保存される。
【００４１】
本実施例では、画像に付加する属性情報を文字認識した画像とは別の画像でユーザが設定できるので、画像検索や画像分類の際の属性情報をより多くすることができる。
【実施例３】
【００４２】
次に、認識された文字を用いて、ネットワーク上のコンテンツを検索可能な画像入力装置について説明する。図１０（ａ）は、ネットワークに接続された画像入力装置の一例を示す。画像入力装置１５は、ネットワーク３０を介してコンピュータ８１ａや８１ｂと通信することができる。図１０（ｂ）は、本実施例における画像入力装置の機能構成図を示す。本実施例では、画像入力装置１５は、撮影手段６１、文字認識手段６２及び通信手段６４を有するように構成される。通信手段６４は、ネットワークと接続を確立し、データ通信を行う。撮影手段６１及び文字認識手段６２については実施例１と同様であるので説明を省略する。
【００４３】
通信手段６４は、ブラウザ手段７３及び認識記号入力手段７４を有する。通信手段６４は、例えば、モデムやルータであり、LAN(Local Area Network)、Bluetooth、インターネット等のネットワーク３０へ接続できる。ブラウザ手段７３は、例えば、Microsoft社のInternet Explorer（登録商標）等であり、インターネット上のコンテンツ（ハイパーテキストで記述された情報等）を閲覧できる。また、認識記号入力段７４は、文字認識された文字をブラウザ手段７３へ入力する。ブラウザ手段は、通信手段６４を用いて、当該文字を、ネットワーク上のウェブページを検索する検索サーバに送信し、検索結果を受信する。
【００４４】
図１１に基づき本実施例を説明する。図１１の被写体１０３は、液晶ファインダ１８に表示された被写体の一例として雑誌の記事を示す。液晶ファインダ１８に表示された画像から、文字の認識領域として、”Caplio RR30”と書かれている領域を選択し、撮影して文字認識を行う。
【００４５】
文字認識して得られた文字「Caplio RR30」は、認識記号入力段７４により、ブラウザ手段７３が提供する検索ワード欄に自動的に入力される。入力されると、通信手段６４が、ネットワーク接続を確立する。次いで、「Caplio RR30」が検索サーバに送信され、検索サーバによる検索結果が、ブラウザ手段７３へ送信される。ブラウザ手段７３は検索結果を液晶ファインダ１８に表示する。
【００４６】
検索結果１０４は、液晶ファインダ１８に表示された検索結果の一例を示す。例えば、「Caplio RR30」に関連する企業のホームページなどのアドレスが検索される。本実施例によれば、ユーザはテキスト情報を撮影するだけで、該テキスト情報に関連する情報を取得できる。
【００４７】
なお、本実施例のように、撮影された画像から文字を認識し、認識された文字に基づき検索などを行う場合には、光学式ファインダ１７や液晶ファインダ１８において、予め文字の認識領域を固定しておくことが好適である。文字認識領域が固定されていることで、文字認識領域の指定を行う作業が省略される。図１２は、文字の認識領域が固定された光学式ファインダ１７や液晶ファインダ１８の一例を示す。例えば、ＳＷ２０等が操作されることで、動作モードを文字認識領域固定撮影モードに設定される。文字認識領域固定撮影モードに設定されると、光学式ファインダ１７や液晶ファインダ１８に、視認可能な文字認識領域固定枠４３が表示される。文字認識領域固定枠４３は、実線や透明色が付され、それらにより識別可能である。文字認識領域固定枠４３の位置は光学式ファインダ１７や液晶ファインダ１８のいずれの場所でもよく、いくつかの形状からユーザが選択可能としてもよいし、ユーザが操作して設定可能としてもよい。
【００４８】
本実施例によれば、画像を撮影するだけで、画像に関連する情報をインターネットなどから検索することができる。
【実施例４】
【００４９】
次に、認識された文字を用いて用語検索を行える画像入力装置について説明する。図１３は、本実施例における画像入力装置の機能構成図の一例を示す。本実施例では、画像入力装置１５は、撮影手段６１、文字認識手段６２及び用語検索手段７５を有するように構成される。撮影手段６１及び文字認識手段６２については実施例１と同様であるので説明を省略する。
【００５０】
用語検索手段７５は、例えば、英和辞典、和英辞典、国語辞典、漢和辞典等の辞書データと検索機能を有する電子辞書である。本実施例では、文字認識の結果得られた文字列を、電子辞書機能の検索ワードとして入力し、検索結果を液晶ファインダ１８に表示する。
【００５１】
図１４に基づき本実施例を説明する。図１４の被写体１０５は、液晶ファインダ１８に表示された英字新聞を示す。液晶ファインダ１８に表示された画像から、文字の認識領域として、“ａｐｐｌｉａｎｃｅ”と書かれている領域を選択し、撮影する。次いで、撮影結果から選択領域の文字認識が行われ、認識された文字が英和辞書データベースの検索欄へ入力される。英和辞書データベースから“ａｐｐｌｉａｎｃｅ”の意味が検索され、液晶ファインダ１８に検索結果が表示される。検索結果１０６は、液晶ファインダ１８に表示された検索結果の一例を示す。検索結果１０６では、“ａｐｐｌｉａｎｃｅ”の発音や日本語訳等が表示される。本実施例によれば、ユーザはテキスト情報を撮影するだけで、該テキスト情報の意味や翻訳語等を取得できる。
【実施例５】
【００５２】
続いて、画像入力機器を用いて入力した画像データを管理する画像データ管理装置について説明する。図１５（ａ）は、画像データ管理装置のハードウェア構成図の一例を示す。図１５（ａ）のハードウェア構成図は、それぞれバスを介して相互に接続されているＣＰＵ８１（中央処理装置）、Ｉ／Ｏ制御装置８２（入出力制御装置）、ドライブ装置８３、通信装置８４，主記憶装置８５、記憶装置８６、を有するように構成される。
【００５３】
ＣＰＵ８１は、画像データ管理装置が行う処理を統括的に制御する。Ｉ／Ｏ制御装置８２は、記憶装置８６やドライブ装置８３とのデータの入出力を制御する。ドライブ装置８３は、記録媒体８７からプログラムやデータを読み込み、又、記録媒体８７にプログラムやデータを書き込む。通信装置８４は、ネットワークや画像入力装置と接続する為のインターフェイスである。主記憶装置８５は、オペレーティングシステムやプログラム、データを一時保管する記憶領域である。記憶装置８６は、プログラム、データの保管装置である。記録媒体８７は、画像データ管理装置の各種機能を提供するプログラムが記録された記録媒体であり、例えばＣＤ−ＲＯＭ等である。記録媒体８７は、ドライブ装置８３にセットされ、画像データ管理プログラムがドライブ装置８３を介して記憶装置８６にインストールされる。
【００５４】
図１５（ｂ）は、画像データ管理装置の機能構成図の一例を示す。画像データ管理装置は、画像ビューワ手段６６、画像データ管理手段６７、文字認識手段７１及びリンク画像記憶手段７２を有するように構成される。画像ビューワ手段６６は、画像データを表示する。文字認識手段７１は、画像データにおいて文字認識領域を指定可能とし、文字認識領域に文字が撮影されている場合に文字をテキストデータに変換する。文字認識手段７１は、画像ビューワ手段６６により表示された画像から文字を認識するＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｏｒ Ｒｅａｄｅｒ）機能を有する
画像データ管理手段６７は、テキストボックス生成手段６８と元画像リンク情報生成・参照手段６９を有する。テキストボックス生成手段６８は、画像データから文字認識された文字をテキストボックスとして生成する。テキストボックスとは、画像データの一部又は全部から文字認識された文字の集合をいう。元画像リンク情報生成・参照手段６９は、画像データとテキストボックスをリンクさせる元画像リンク情報を生成し、また参照する。元画像リンク情報により、画像データとテキストボックスを結びつけ、また、画像データのどの部分の画像から認識されたテキストデータなのかを画像データ上の位置座標を用いて結びつける。画像記憶手段７２には、画像データ、テキストボックス、元画像リンク情報が保存される（以後、テキストボックス、テキストボックスの名前、元の画像データのファイルパス、元の画像データにおける座標値、を関連づけるための情報を元画像リンク情報と称す。）。
【００５５】
画像データ管理装置について詳細に説明する。図１６（ａ）は、画像データ管理手段により一覧表示された画像データ管理画面の一例を示す。画像入力装置で入力された画像データは、BMP、JPEG、TIFF、GIF等の汎用フォーマットで保存されており、また、画像データは、スキャナ、書画カメラ、デジタルカメラ等のいずれで入力されたものであってもよい。なお、図１６（ａ）では、画像データ入力装置により入力された画像データだけでなく、同様に管理できる文書データ等も共に表示されている。文書データ等とは、例えば、Microsoft社のWord（登録商標）やJUSTSYSTEM社の一太郎（登録商標）等に代表される電子文書作成プログラムにより作成された電子文書データや、Web等から収集した画像データ等である。画像データ管理画面は、例えばWindows（登録商標）、Linux（登録商標）やMac OS（登録商標）等のオペレーティングシステム上で表示される。なお、画像管理画面を表示するためのオペレーティングシステムは、上記したＷｉｎｄｏｗｓ（登録商標）に限られない。
【００５６】
画像データ管理画面は、タイトルバー４５、メニューバー４６、フォルダビュー４７、イメージビュー４８とを有するように構成される。タイトルバー４５は、プログラム名、アイコン、ウィンドウ最小化、最大化、クローズから構成される。タイトルバー４５には、画像データ管理画面のタイトル、最大化・最小化・クローズの各ボタンを有する。メニューバー４６は、ファイル操作を行う“ファイル”メニュー、表示のレイアウトやアイコンなどを設定する“表示”メニュー、表示する画像データの大きさや通信設定などを行う“設定”メニュー、画像データの分割や統合・角度調整などを行う“ツール”メニュー、ヘルプ機能を提供する“ヘルプ”メニューを有する。なお、画像管理画面のインターフェイスは、SDI(Single Dialog Interface)であっても、MDI(Multi Dialog Interface)であってもよい。
【００５７】
フォルダビュー４７は、フォルダの一覧をツリー状に表示する。図１６（ａ）では、フォルダビュー４７は、Imageフォルダの下にbook、trip、business、paper、poster、newspaper、home、deskのサブフォルダを有する。図１６（ｂ）は、画像データが保存されたフォルダのフォルダ構造の一例を示す。図１６（ｂ）に示すように、本実施例ではImageフォルダはc:\というルートディレクトリ上に存在する。
【００５８】
イメージビュー４８は、画像データや電子文書データを表示する。イメージビュー４８は、各フォルダに保存された画像データ、電子文書データのアイコンや縮小画像（サムネイル画像）を表示する。電子文書データでは、１ページ目や代表ページをサムネイル画像として表示させる。イメージビュー４８では、画像データ、電子文書データのアイコンやサムネイル画像と共に、データ名が表示される。
【００５９】
続いて、画像データ管理画面に表示された画像データを表示して文字認識を行い、文字認識された文字を用いて元画像リンク情報を生成する処理について、図１７に基づき説明する。図１７は、画像データの表示から文字認識された文字を用いて元画像リンク情報を生成する処理のフローチャート図を示す。
【００６０】
ステップＳ３−１及びステップＳ３−２では、イメージビュー４８に表示された画像データからダブルクリックされ、画像ビューワが起動して画像データが表示される。イメージビュー４８のサムネイル画像をマウスでダブルクリックすることで、画像ビューワ手段６６が起動する。サムネイル表示されたそれぞれのデータに対応づけられたアプリケーションが起動してもよい。図１６（ａ）では、文書を撮影したサムネイル画像４９がダブルクリックされる。サムネイル画像４９の画像データは、画像ビューワ手段６６により又は当該画像データに対応づけられたアプリケーションにより表示される。図１８（ａ）は、サムネイル画像４９の画像データが表示された一例を示す。
【００６１】
ステップＳ３−３では、画像ビューワに表示された画像データにおいて、ＯＣＲ指定領域５１が選択される。文字認識手段７１は、例えば矩形の文字認識を行う領域を表示する。図１８（ａ）では、画像データに重畳して、選択されたOCR指定領域５１が表示されている。
【００６２】
ステップＳ３−４では、文字認識が実行され、ステップＳ３−５では、文字認識されたテキストデータが表示される。画像データ上でＯＣＲ指定領域５１が選択されると、ＯＣＲ機能により文字認識が行われる。図１８（ｂ）は、文字認識される前のＯＣＲ指定領域５１を、図１８（ｃ）は、文字認識された文字の集合を、それぞれ示す。テキスト化された複数の文字は、複数の文字の集合からなるテキストボックスを形成する。個々のテキストボックスには、一意に識別可能な名前が付与されると共に、図１８（ａ）の画像データの記録されている場所（ファイルパス（絶対パスや相対パス））及びＯＣＲ指定領域５１を示す座標値が付与される。
【００６３】
ステップＳ３−６では、表示されたテキストデータの保存が指示され、ステップＳ３−７では、画像データやテキストボックス等が保存される。保存が指示されると、元画像リンク情報生成・参照手段６９は、元画像リンクリンク情報により、テキスト化された文字、テキストボックスの名前を、元の画像データのファイルパス、元の画像データにおける座標値と関連づける。
【００６４】
図１９は、元画像リンク情報の一例を示す。元画像リンク情報は、元の画像を指定する「元画像」欄、元の画像データにおける座標値を示す「ＯＣＲ指定領域」欄、テキストボックスの名前が示された「テキストボックス名」欄、元の画像の記録場所が示される「ファイルパス」欄を有する。「ＯＣＲ指定領域」欄は、画像データの一領域を指定するため、例えば矩形領域の対角の座標を、紙面の左上の角を原点に表示する。元画像リンク情報は、元画像リンク情報を記録するデータファイルとして生成されてもよく、デジタル画像データのヘッダ情報等に記録して管理してもよい。
【００６５】
ステップＳ３−８では、テキストボックス等が保存される。画像データ、テキストボックス及び元画像リンク情報は、画像記憶手段７２に保存される。テキストボックスは、所定のフォルダに保存され、図１６（ａ）のようにサムネイル表示される。
【００６６】
次に、保存された文字認識結果を呼び出す処理について、図２０のフローチャート図に基づき説明する。ステップＳ４−１及びステップＳ４−２では、所定のテキストボックスをダブルクリックすることなどで、テキストデータが表示される。Word（登録商標）等のアプリケーションにより文字認識された文字を保存した場合には、Word（登録商標）等で作成された文書を開くことができる。
【００６７】
ステップＳ４−３では、表示されたテキストボックスを文字認識した画像データの呼び出しが指示される。ステップＳ４−４では、元画像リンク情報が参照され、元の画像データに関する情報が抽出される。ステップＳ４−５及びＳ４−６では、画像リンク情報から抽出された情報に基づき、画像ビューワ手段６６により当該画像が表示される。
【００６８】
ステップＳ４−７では、画像ビューワ手段６６により、表示された画像にＯＣＲ指定領域５１が視認可能に表示される。ＯＣＲ指定領域５１は、元画像リンク情報の「ＯＣＲ指定領域」欄に記録されているので、元画像リンク情報を参照することで元の画像データにおいて文字認識した領域を表示できる。
【００６９】
本実施例によれば、例えば、文字認識の結果から、元の画像データを参照でき、画像データ上の文字認識結果を、より高機能な画像管理装置により管理できる。
【図面の簡単な説明】
【００７０】
【図１】画像入力装置のハードウェア構成図及び機能構成図の一例である。
【図２】画像入力装置の外観の一例である。
【図３】支持台で支持された画像入力装置の概略斜視図の一例である。
【図４】画像入力装置による撮影から属性情報の付与までの処理を示すフローチャート図の一例である。
【図５】ファインダに表示された被写体の一例である。
【図６】画像データが記録された画像データテーブル及びＥＸＩＦのヘッダータグの一例である。
【図７】液晶ファインダに表示された画像データの選択画面の一例である。
【図８】画像入力装置により画像データから文字情報を取得する処理を示すフローチャート図の一例である。
【図９】被写体の撮影から文字認識、属性情報の付与までの一例を示す図である。
【図１０】ネットワークに接続された画像入力装置及び機能構成図の一例である。
【図１１】被写体の撮影から文字認識、ネットワークの検索までの一例を示す図である。
【図１２】文字の認識領域が固定された光学式ファインダや液晶ファインダの一例を示す図である。
【図１３】辞書検索機能を有する画像入力装置の機能構成図の一例である。
【図１４】被写体の撮影から文字認識、辞書の検索までの一例を示す図である。
【図１５】画像データ管理装置のハードウェア構成図及び機能構成図の一例である。
【図１６】画像データ管理画面及びフォルダ構造の一例である。
【図１７】画像データの表示から文字認識された文字を用いて元画像リンク情報を生成する処理のフローチャート図の一例である。
【図１８】画像ビューワにより表示された画像データの一例である。
【図１９】元画像リンク情報の一例である。
【図２０】保存された文字認識結果を呼び出す処理を示すフローチャート図の一例である。
【符号の説明】
【００７１】
１５    画像入力装置    
１７    光学式ファインダ
１８    液晶ファインダ
２０〜２４  スイッチ
２６    撮影光学系
３０    ネットワーク
４３    文字認識領域固定枠
５３    画像データリスト表示手段
５４    画像データ選択手段
５９    画像領域選択手段
６１    撮影手段
６２    文字認識手段
６３    属性情報付与手段
６５    記憶手段
６６    画像ビューワ手段
６７    画像データ管理手段
６８    テキストボックス生成手段
６９    元画像リンク情報生成・参照手段
７３    ブラウザ手段
７４    認識記号入力手段
７５    用語検索手段
【図１】
2005236432.tif 000003
【図２】
2005236432.tif 000004
【図３】
2005236432.tif 000005
【図４】
2005236432.tif 000006
【図５】
2005236432.tif 000007
【図６】
2005236432.tif 000008
【図７】
2005236432.tif 000009
【図８】
2005236432.tif 000010
【図９】
2005236432.tif 000011
【図１０】
2005236432.tif 000012
【図１１】
2005236432.tif 000013
【図１２】
2005236432.tif 000014
【図１３】
2005236432.tif 000015
【図１４】
2005236432.tif 000016
【図１５】
2005236432.tif 000017
【図１６】
2005236432.tif 000018
【図１７】
2005236432.tif 000019
【図１８】
2005236432.tif 000020
【図１９】
2005236432.tif 000021
【図２０】
2005236432.tif 000022