(57)【要約】【課題】撮影者が意図して撮影した文字列であるか否かを判別できるようにする。【解決手段】外部から画像データを取得し、前記取得した画像データから文字領域を抽出して文字列を認識する。そして、文字認識された文字列の成立性を判定する。このとき、文字列の成立性の判定は、文字領域と前記画像データに係る画像の各辺との距離、間の画素集合の個数または密度、各文字の幅及び高さの均一性、連接確率などに基づいて行われる。【選択図】図１
2012113433.tif 000002
【特許請求の範囲】
【請求項１】
画像データを取得する取得手段と、
前記取得手段によって取得された画像データから文字領域を抽出して文字列を認識する文字認識手段と、
前記文字認識手段によって認識された文字列の成立性を判定する判定手段とを有することを特徴とする文字認識装置。
【請求項２】
前記判定手段により文字列が成立していると判定された場合に、前記文字列の大きさが所定値以上になるように、前記画像データの画面の縮小率を調整してレイアウトを変更するレイアウト手段をさらに有することを特徴とする請求項１に記載の文字認識装置。
【請求項３】
前記判定手段により文字列が成立していると判定された場合に、前記文字列をメタデータとして前記画像データに付与する付与手段をさらに有することを特徴とする請求項１または２に記載の文字認識装置。
【請求項４】
前記判定手段は、前記文字認識手段により抽出された文字領域と前記画像データに係る画像の各辺との距離に基づいて判定することを特徴とする請求項１〜３の何れか１項に記載の文字認識装置。
【請求項５】
前記判定手段は、前記文字認識手段により抽出された文字領域と前記画像データに係る画像の各辺との間の画素集合の個数または密度に基づいて判定することを特徴とする請求項１〜４の何れか１項に記載の文字認識装置。
【請求項６】
前記判定手段は、前記文字認識手段により抽出された文字領域と前記画像データに係る画像の重要オブジェクトとの距離に基づいて判定することを特徴とする請求項１〜５の何れか１項に記載の文字認識装置。
【請求項７】
前記判定手段は、前記文字認識手段により抽出された文字領域と前記画像データに係る重要オブジェクトとの間の画素集合の個数または密度に基づいて判定することを特徴とする請求項１〜６の何れか１項に記載の文字認識装置。
【請求項８】
前記判定手段は、前記文字認識手段により抽出された文字領域が前記画像データに係る重要オブジェクトの前景であるか否かに基づいて判定することを特徴とする請求項１〜７の何れか１項に記載の文字認識装置。
【請求項９】
前記判定手段は、前記文字認識手段により認識された各文字の確信度が閾値以上か否かに基づいて判定することを特徴とする請求項１〜８の何れか１項に記載の文字認識装置。
【請求項１０】
前記判定手段は、前記文字認識手段により認識された各文字の連接確率が閾値以上か否かに基づいて判定することを特徴とする請求項１〜９の何れか１項に記載の文字認識装置。
【請求項１１】
前記判定手段は、前記文字認識手段により認識された文字列の各単語の出現頻度が閾値以上か否かに基づいて判定することを特徴とする請求項１〜１０の何れか１項に記載の文字認識装置。
【請求項１２】
前記判定手段は、前記文字認識手段により認識された文字列の各単語の連接確率が閾値以上か否かに基づいて判定することを特徴とする請求項１〜１１の何れか１項に記載の文字認識装置。
【請求項１３】
前記判定手段は、前記文字認識手段により認識された各文字の幅及び高さの均一性に基づいて判定することを特徴とする請求項１〜１２の何れか１項に記載の文字認識装置。
【請求項１４】
前記判定手段は、前記文字認識手段により認識した各文字が描かれているオブジェクトと前記画像データに係る画像の各辺との距離が閾値以上か否かに基づいて判定することを特徴とする請求項１〜１３の何れか１項に記載の文字認識装置。
【請求項１５】
前記判定手段は、前記文字認識手段により認識した各文字が描かれているオブジェクトと重要オブジェクトとの距離が閾値以上か否かに基づいて判定することを特徴とする請求項１〜１４の何れか１項に記載の文字認識装置。
【請求項１６】
前記重要オブジェクトが顔であることを特徴とする請求項６〜８の何れか１項に記載の文字認識装置。
【請求項１７】
前記重要オブジェクトが人体であることを特徴とする請求項６〜８の何れか１項に記載の文字認識装置。
【請求項１８】
画像データを取得する取得工程と、
前記取得工程において取得された画像データから文字領域を抽出して文字列を認識する文字認識工程と、
前記文字認識工程において認識された文字列の成立性を判定する判定工程とを有することを特徴とする文字認識方法。
【請求項１９】
画像データを取得する取得工程と、
前記取得工程において取得された画像データから文字領域を抽出して文字列を認識する文字認識工程と、
前記文字認識工程において認識された文字列の成立性を判定する判定工程とをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、写真などに含まれている文字を判定するために用いて好適な文字認識装置、文字認識方法及びプログラムに関する。
【背景技術】
【０００２】
従来、写真などの画像から文字認識によりテキストを抽出してメタデータを付与して検索し、また、テキストや画像を複数のレイアウトにして１つの文書を作成することが行われている。例えば、これらの文書などを縮小レイアウト処理によりオリジナルの描画情報中に含まれる文字、線、画像が可読できないような印刷を防止する装置が提案されている（例えば、特許文献１参照）。また、出力画像の文字ポイント数が所定値を下回らない推奨最大縮小率を設定する。そして、この推奨最大縮小率の範囲内の縮小率となるレイアウトや用紙サイズと推奨最大縮小率の範囲を超える縮小率となるレイアウトや用紙サイズとをユーザが区別可能にコピー設定画面に表示する装置も提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１８５３０７号公報
【特許文献２】特開２００９−１２４２９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前述した従来技術では、例えば、写真にたまたま写ってしまった文字列に対しても文字認識が行われる。その結果、このような文字列が小さくなり過ぎないように縮小率が制限されるため、必要以上に文字列が大きなサイズになってしまう場合がある。
【０００５】
本発明は前述の問題点に鑑み、撮影者が意図して撮影した文字列であるか否かを判別できるようにすることを目的としている。
【課題を解決するための手段】
【０００６】
本発明の文字認識装置は、画像データを取得する取得手段と、前記取得手段によって取得された画像データから文字領域を抽出して文字列を認識する文字認識手段と、前記文字認識手段によって認識された文字列の成立性を判定する判定手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、撮影者が意図して撮影した文字列であるか否かを判別することができる。これにより、意図して撮影した重要な文字列については縮小を制限して撮影意図を維持することができ、意図して撮影していないたまたま写りこんだ文字列については縮小を制限しないようにすることができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係る画像処理装置の構成例を示すブロック図である。
【図２】画像処理装置が複数接続されたネットワーク構成例を示す図である。
【図３】文字列の見切りを判定するまでの手順例を示すフローチャートである。
【図４】レイアウトした結果の画像の一例を示す図である。
【図５】重要オブジェクトと文字領域との位置関係の一例を示す図である。
【図６】図３のステップＳ３０３の詳細な手順例を示すフローチャートである。
【図７】図６のステップＳ６０３の詳細な手順例を示すフローチャートである。
【図８】図１２のステップＳ１２０１の詳細な手順例を示すフローチャートである。
【図９】図１２のステップＳ１２０２の詳細な手順例を示すフローチャートである。
【図１０】図１２のステップＳ１２０３の詳細な手順例を示すフローチャートである。
【図１１】文字列がはみ出している例及び文字背景オブジェクトを示す図である。
【図１２】図３のステップＳ３０５の詳細な手順例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面を参照しながら説明する。
図１は、本実施形態に係る画像処理装置１００の構成例を示すブロック図である。また、図２は、本実施形態に係る画像処理装置１００が複数接続されたネットワーク構成例を示す図である。
【００１０】
図１において、画像処理装置１００は、入力部１１３、ＣＰＵであるデータ処理部１１５、記憶部１１１、表示部１１６、及びネットワークＩ／Ｆ部１１７を備えている。なお、記憶部１１１には、後述するパターン辞書や文字連接確率辞書など、文字認識等に用いる各辞書が記憶されている。また、図１に示す画像処理装置１００は、例えば図２に示すように、ネットワークに接続されている。図２には、本実施形態に係る画像処理装置として、第１の画像処理装置２０１、第２の画像処理装置２０２、及び第３の画像処理装置２０３の３台が接続されている例を示している。
【００１１】
本実施形態に係る画像処理装置１００は、入力部１１３から画像データが入力されると、以下に説明する文字列の成立性（見切れ）判定処理を行う。文字列の成立性（見切れ）判定処理とは、文字列が見切れているか否かを判定する処理である。ここで、例えば、図５（ａ）や図５（ｂ）に示すように、画像中の文字列がすべて識別可能な状態を見切れていない状態（文字列として成立している）と定義する。一方、図５（ｃ）に示すように文字列が人に隠れて識別できない状態や、図１１（ａ）に示すように画像から文字列が一部はみ出ている状態を見切れている（文字列として成立していない）状態と定義する。
【００１２】
次に、本実施形態における処理手順について図３に基づいて説明する。図３は、本実施形態において、文字列が見切れているか否かを判定するまでの処理手順の一例を示すフローチャートである。図３に示す処理は、画像取得処理（ステップＳ３０１）と重要オブジェクト検出処理（ステップＳ３０２）と文字認識処理（ステップＳ３０３）と画像傾斜補正処理（ステップＳ３０４）と文字列の成立性（見切れ）判定処理（ステップＳ３０５）とから構成される。なお、図３に示す各処理は、データ処理部１１５の制御により行われる。
【００１３】
以下、図３に示す処理手順について、図５（ａ）に示す例を用いて概要を説明する。まず、画像取得処理（ステップＳ３０１）では、入力部１１３から処理する対象となる画像データを取得する。次に、重要オブジェクト検出処理（ステップＳ３０２）では、顔認識や人体認識などを利用して顔部分を示す破線領域５０１や人体部分を示す一点鎖線領域５０２などの重要オブジェクトを検出する。
【００１４】
次に、文字認識処理（ステップＳ３０３）では、入力された画像データから文字認識を行うために、長破線領域５０３（文字領域）を抽出して文字を認識し、文字列「東明公園」を抽出する。
【００１５】
図６は、図３のステップＳ３０３における文字認識処理の詳細な処理手順の一例を示すフローチャートである。図６に示す文字認識処理は、フィルタ処理（ステップＳ６０１）と２値化処理（ステップＳ４０２）と画素集合（文字パーツ）取得処理（ステップＳ６０３）と文字領域生成処理（ステップＳ６０４）とが含まれている。さらに、傾き補正処理（ステップＳ６０５）と文字パターン照合処理（ステップＳ６０６）とが含まれている。
【００１６】
まず、フィルタ処理（ステップＳ６０１）では、後述するステップＳ６０２における２値化処理の前処理として、文字の元となる画素集合を抽出しやすくするためにノイズを除去するフィルタ処理を行う。次に、２値化処理（ステップＳ６０２）では、後述するステップＳ６０３における画素集合を取得するための処理の負荷を軽減するために、多値画像から２値画像に変換処理を行う。次に、画素集合（文字パーツ）取得処理（ステップＳ６０３）では、文字パーツとなる画素集合（画素塊）を抽出する。
【００１７】
図７は、図６のステップＳ６０３における画素集合取得処理の詳細な処理手順の一例を示すフローチャートである。図７に示す画素集合取得処理は、不採用画素集合判定処理（ステップＳ７０１）と採用画素集合判定処理（ステップＳ７０２）と決定処理（ステップＳ７０３〜Ｓ７０５）とから構成される。
【００１８】
まず、不採用画素集合判定処理（ステップＳ７０１）では、例えば画素集合が、
１０＜長辺＜１００  かつ
短辺＞２  かつ
長辺／短辺＜６  かつ
密度＞０．１
という条件を満たしているか否かを判定する。この判定の結果、前述の条件を満たしている場合は次のステップＳ７０２へ進む。一方、前述の条件を満たしていない場合はステップＳ７０４へ進み、正しくない部分文字と判定し、画素集合として採用しないものと決定する。
【００１９】
次に、採用画素集合判定処理（ステップＳ７０２）では、例えば画素集合がさらに、
短辺＞４  かつ
長辺／短辺＜３  かつ
密度＞０．２
という条件を満たしているか否かを判定する。この判定の結果、前述の条件も満たしている場合はステップＳ７０３へ進み、正しい部分文字と判定し、画素集合として採用するものと決定する。一方、前述の条件を満たしていない場合はステップＳ７０５へ進み、正しい可能性がある部分文字として判定し、採用画素集合と不採用画素集合との中間状態の画素集合として決定する。このように本実施形態では、画素集合を３段階に分類して抽出するようにしている。
【００２０】
図６の説明に戻り、次に、文字領域生成処理（ステップＳ６０４）では、ステップＳ６０３で判定した画素集合の並びや密度によって文字領域を抽出する。次に、傾き補正処理（ステップＳ６０５）では、後述するステップＳ６０６におけるパターン照合処理の前処理として文字領域の傾きを検出して、文字領域の傾きを補正する。次に、文字パターン照合処理（ステップＳ６０６）では、記憶部１１１に記憶されているパターン辞書と照合して文字領域から文字列を抽出する。
【００２１】
図３の説明に戻り、次に、画像傾斜補正処理（ステップＳ３０４）では、ステップＳ３０３において文字認識により検出した傾きで画像全体を傾斜補正する。次に、文字列の成立性（見切れ）判定処理（ステップＳ３０５）では、ステップＳ３０３で抽出した文字領域や文字認識により認識された文字列が見切れているか否かを判定する。
【００２２】
図１２は、図３のステップＳ３０５の文字列の成立性（見切れ）判定処理の詳細な処理手順の一例を示すフローチャートである。図１２に示す文字列の成立性（見切れ）判定処理は、文字領域周辺判定処理（ステップＳ１２０１）と文字領域内判定処理（ステップＳ１２０２）と文字領域背景判定処理（ステップＳ１２０３）とから構成される。
【００２３】
まず、文字領域周辺判定処理（ステップＳ１２０１）では、ステップＳ３０３で抽出された文字領域とステップＳ３０４で補正された画像の各辺との間隔（距離）などに基づいて文字列が見切れているか否かを判定する。このとき、さらにステップＳ３０２で抽出された重要オブジェクトとの間隔（距離）に基づいて文字列が見切れているか否かを判定し、その間に文字にならなかった画像集合が存在するか否かも判定する。
【００２４】
図８は、図１２のステップＳ１２０１における文字領域周辺判定処理の詳細な処理手順の一例を示すフローチャートである。図８に示す文字領域周辺判定処理は、シーン分類処理（ステップＳ８０１）と前景判定処理（ステップＳ８０２）と文字領域周辺距離判定処理（ステップＳ８０３）と文字領域周辺画素集合判定処理（ステップＳ８０４）とから構成される。
【００２５】
まず、シーン分類処理（ステップＳ８０１）では、ステップＳ３０２での重要オブジェクトの検出結果などによって、対象画像を重要オブジェクトがある場合とない場合とに分類する。次に、前景判定処理（ステップＳ８０２）では、重要オブジェクトがある場合に、重要オブジェクト、文字領域のどちらが前景であるかを判定する。
【００２６】
次に、文字領域周辺距離判定処理（ステップＳ８０３）では、重要オブジェクトまたは画像の各辺と文字領域との距離に基づいて文字列が見切れているか否かを判定する。例えば図５に示す例の場合、
重要オブジェクト（人体）と文字領域との距離５０５＞文字幅×３文字分  かつ
画像左辺との距離５０６＞文字幅×３文字分  かつ
画像右辺との距離５０８＞文字幅×３文字分  かつ
画像上辺との距離５０７＞文字高さ×３文字分  かつ
画像下辺との距離５０９＞文字高さ×３文字分
という条件を満たす場合は、文字列が見切れていない（文字列として成立している）と判定する。
【００２７】
次に、文字領域周辺画素集合判定処理（ステップＳ８０４）では、ステップＳ６０３の画素集合取得処理で採用しないもしくは中間状態と決定された画素集合（部分文字）の個数や密度を利用して文字列が見切れていないか否かを判定する。例えば、
正しくない部分文字（不採用画素集合）個数×２（重み）＋正しい可能性がある部分文字（中間画素集合）個数×５（重み）＜閾値
という条件を満たす場合は、文字列が見切れていない（文字列として成立している）と判定する。
【００２８】
図１２の説明に戻り、次に、文字領域内判定処理（ステップＳ１２０２）では、ステップＳ３０３で認識された各文字の出現頻度や文字の連接確率、単語の出現頻度や連接確率などに基づいて文字列が見切れているか否かを判定する。
【００２９】
図９は、図１２のステップＳ１２０２における文字領域判定処理の詳細な処理手順の一例を示すフローチャートである。図９に示す文字領域判定処理は、大きさ判定処理（ステップＳ９０１）と文字の幅、高さの均一性判定処理（ステップＳ９０２）と文字の連接確率判定処理（ステップＳ９０３）とが含まれている。さらに、単語の出現頻度判定処理（ステップＳ９０４）と単語の連接確率判定処理（ステップＳ９０５）とが含まれている。以下、図１１（ａ）に示す例を用いて図９の処理について説明する。
【００３０】
まず、大きさ判定処理（ステップＳ９０１）では、ステップＳ３０２の文字認識処理で認識した文字列に対して、文字及び文字領域の大きさを判定する。例えば、
各文字の大きさ＜４０ドット
という条件を満たす場合は、文字列を意図して撮影していないと判定する。また、
文字縦画素数／縦総画素数＞０．１
という条件を満たす場合は、文字列を意図して撮影したと判定する。さらに、文字領域の大きさが、
文字領域面積／画像面積＞０．５
という条件を満たす場合は、文字列を意図して撮影した可能性が高いと判定する。
【００３１】
次に、文字の幅、高さの均一性判定処理（ステップＳ９０２）では、各文字の幅の略均一であるか否かを判定する。例えば各文字の幅ｔがすべて、
（平均文字幅×０．７）＜ｔ＜（平均文字幅×１．３）
という条件を満たす場合は、文字列が見切れていない（文字列として成立している）と判定する。
【００３２】
図１１（ａ）に示す例の場合、文字幅１１０１が他の文字幅１１０２、１１０３より広いため、文字列が見切れていると判定される。なお、文字高も同様の手順により判定することができる。さらに例外として、文字認識での確信度（文字パターンとの類似度）が閾値以上である場合には、文字列が見切れていない（文字列として成立している）と判定する。
【００３３】
次に、文字の連接確率判定処理（ステップＳ９０３）では、文字の連接確率から文字列が見切れていないかを判定する。例えば、記憶部１１１に記憶されている文字連接確率辞書から文字連接確率の情報を取得して平均の連接確率を計算し、連接確率が閾値以上である場合は文字列が見切れていない（文字列として成立している）と判定する。
【００３４】
次に、単語の出現頻度判定処理（ステップＳ９０４）では、記憶部１１１に記憶されている単語の辞書に基づいて形態素解析を行い、未知語や頻度を抽出して文字列が見切れているかを判定する。特に、文字領域の各辺周辺に未知語が存在する場合は、文字列が見切れている（文字列として成立していない）可能性が高いと考えられる。
【００３５】
図１１（ａ）に示す例では、「森林交付税」という文字列の全部が画像の中に含まれていないため、文字認識された文字列は「校付税」となっている。そこで、「校付税」または「校付」という単語が形態素解析により未知語として検出され、文字列が見切れている（文字列として成立していない）と判定される。
【００３６】
次に、単語の連接確率判定処理（ステップＳ９０５）では、形態素解析の結果と単語連接確率辞書とを利用して文字列が見切れているか否かを判定する。例えば、各単語の連接確率の平均が閾値以上である場合は文字列が見切れていない（文字列として成立している）と判定する。
【００３７】
図１２の説明に戻り、次に、文字領域背景判定処理（ステップＳ１２０３）では、ステップＳ３０３で抽出した文字領域の背景オブジェクトとして抽出し、大きさなどに基づいて文字列が見切れているか否かを判定する。ここで、背景オブジェクトとは、例えば図５に示す二点鎖線領域５０４を示している。
【００３８】
図１０は、図１２のステップＳ１２０３文字背景判定処理の詳細な処理手順の一例を示すフローチャートである。図１０に示す文字背景判定処理は、文字背景取得処理（ステップＳ１００１）と各辺との距離判定処理（ステップＳ１００２）とが含まれている。さらに、重要オブジェクトとの距離判定処理（ステップＳ１００３）と重要オブジェクトとの前景判定処理（ステップＳ１００４）とが含まれている。以下、図１１（ｂ）に示す例を用いて図１０の処理について説明する。
【００３９】
まず、文字背景取得処理（ステップＳ１００１）では、文字が書かれている背景のオブジェクトを取得する。図１１（ｂ）に示す例では、文字が書かれた領域１１０９を文字背景オブジェクトとして取得する。
【００４０】
次に、各辺との距離判定処理（ステップＳ１００２）では、文字背景オブジェクトと各辺との距離とから文字列が見切れているか否かを判定する。例えば、
文字背景オブジェクトと左辺との距離１１０４＞文字幅×１文字分  かつ
文字背景オブジェクトと右辺との距離１１０７＞文字幅×１文字分  かつ
文字背景オブジェクトと上辺との距離１１０６＞文字高さ×１文字分  かつ
文字背景オブジェクトと下辺との距離１１０８＞文字高さ×１文字分
という条件を満たす場合は、文字列が見切れていない（文字列として成立している）と判定する。
【００４１】
次に、重要オブジェクトとの距離判定処理（ステップＳ１００３）では、文字背景オブジェクトと重要オブジェクトとの距離から文字列が見切れているか否かを判定する。例えば、
文字背景オブジェクトと重要オブジェクトとの距離１１０５＞文字幅×１文字分
という条件を満たす場合は、文字列が見切れていない（文字列として成立している）と判定する。
【００４２】
そして、重要オブジェクトとの前景判定処理（ステップＳ１００４）では、重要オブジェクトと文字背景オブジェクトとのどちらが前景であるかを判定する。例えば文字背景オブジェクトの方が前景である場合は、意図して撮影されていると判定する。
【００４３】
以上のように図１２のステップＳ１２０１〜Ｓ１２０３の判定処理において、少なくとも１つの処理において文字列が見切れていると判定された場合には、最終的に文字列が見切れているものと決定する。なお、図１２のステップＳ１２０１〜Ｓ１２０３の順序に限らず、重要度の高い判定を先に行いその段階で判定を決定してもよいが、各判定の組合せや各判定の順序は必ずしも同じ各判定の組合せや同じ各判定の順序である必要はない。また、各判定に重要度を加味して総合的に判定してもよい。例えば、多変量解析の１手法である主成分分析などで複数の判定スコア間の共分散（相関）を少数の合成スコアとして、共分散行列の固有値問題の解を得ることにより文字列が見切れているか否かを判定してもよい。
【００４４】
以上のような手順により、文字領域の大きさが閾値以上であるか、または文字の大きさが閾値以上で見切れていないと判定した場合は、文字列を意図して撮影したと判定できる。この場合、データ処理部１１５は、入力された画像データに対し、図４（ａ）に示すように、文字が識別可能な大きさ（所定値以上の大きさ）で画面の縮小率を変更してレイアウトする。一方、文字列を意図して撮影していないと判定した場合、図４（ｂ）に示すように、文字を識別できない大きさまで調整してレイアウトしてもよい。また、意図して撮影された文字列であると判定した場合に、データ処理部１１５は、その文字列をメタデータとして画像データに付与してもよい。
【００４５】
また、図２に示すように、第１の画像処理装置２０１、第２の画像処理装置２０２、第３の画像処理装置２０３がネットワークに接続されている場合に以下のような構成であってもよい。例えば第１の画像処理装置２０１が画像データを取得して、第２の画像処理装置２０２が文字列を認識し、第３の画像処理装置２０３が見切れ判定を行うといった構成であってもよい。
【００４６】
以上のように本実施形態によれば、認識した文字列について見切り判定を行うようにしたので、撮影者が意図して撮影した文字列であるか否かを判別することができる。これにより、意図して撮影した重要な文字列については縮小を制限して撮影意図を維持することができ、意図して撮影していないたまたま写りこんだ文字列については縮小を制限しないようにすることができる。
【００４７】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４８】
１１３  入力部
１１５  データ処理部
【図１】
2012113433.tif 000003
【図２】
2012113433.tif 000004
【図３】
2012113433.tif 000005
【図４】
2012113433.tif 000006
【図５】
2012113433.tif 000007
【図６】
2012113433.tif 000008
【図７】
2012113433.tif 000009
【図８】
2012113433.tif 000010
【図９】
2012113433.tif 000011
【図１０】
2012113433.tif 000012
【図１１】
2012113433.tif 000013
【図１２】
2012113433.tif 000014