(57)【要約】【課題】  高性能のＣＰＵを使うことなく、ユーザの要望に合致した適切な広告を自動的に付加することにより、ユーザ及び広告主の双方に利点を与えることのできる画像形成装置を提供する。【解決手段】  画像形成が開始する時に、画像データを解析して得られる選択キーワードが決定しなかった場合に、前記画像データ及び予め記憶された暫定付加画像情報に基づく画像形成を行い、かつキーワードが決定した時点で、前記画像データ及び決定されたキーワードと関連付けられた付加画像情報に基づく画像形成を行う。【選択図】        図４
2005096334.tif 000002
【特許請求の範囲】
【請求項１】
画像データに基づいて画像を認識する画像認識部と、
前記画像認識部で認識された画像から選択キーワードを決定する決定部と、
付加画像情報とキーワードとを予め関連付けて記憶する付加画像記憶部と、
前記付加画像記憶部に記憶された付加画像情報の中から、前記決定部で決定された選択キーワードと関連付けられた付加画像情報を選択する選択部と、
前記画像データ及び前記選択部で選択された付加画像情報に基づき、記録紙上に画像形成を行う画像形成部とを有する画像形成装置において、
前記付加画像記憶部は、暫定付加画像情報を記憶し、
前記画像形成部に、前記画像データ及び前記付加画像記憶部に記憶された暫定付加画像情報に基づく画像形成を行わせた後、前記画像データ及び前記選択部で選択された付加画像情報に基づく画像形成を行わせる制御部を有することを特徴とする画像形成装置。
【請求項２】
前記制御部は、前記選択部において選択された付加画像情報に基づく画像形成ができないと判断した場合に、前記画像形成部に、前記画像データ及び前記付加画像記憶部に記憶された暫定付加画像情報に基づく画像形成を行わせ、かつ前記決定部において選択キーワードが決定した時点で、前記画像データ及び前記選択部で選択された付加画像情報に基づく画像形成を行わせることを特徴とする請求項１に記載の画像形成装置。
【請求項３】
前記決定部は、選択キーワードを逐次決定し、
前記制御部は、前記選択部に、前記決定部で逐次決定された選択キーワードと関連付けられた付加画像情報を選択させ、前記画像形成部に、画像データ及び前記選択部で選択された付加画像情報に基づく画像形成を行わせることを特徴とする請求項１又は２に記載の画像形成装置。
【請求項４】
画像データに基づいて画像を認識する画像認識部と、
前記画像認識部で認識された画像から選択キーワードを決定する決定部と、
付加画像情報とキーワードとを予め関連付けて記憶する付加画像記憶部と、
前記付加画像記憶部に記憶された付加画像情報の中から、前記決定部で決定された選択キーワードと関連付けられた付加画像情報を選択する選択部と、
前記画像データ及び前記選択部で選択された付加画像情報に基づき、記録紙上に画像形成を行う画像形成部とを有する画像形成装置において、
画像データの特徴を抽出する特徴抽出部と、
キーワードと画像データの特徴とを予め関連付けて記憶するキーワード記憶部と、
前記決定部に、前記キーワード記憶部に記憶されたキーワードの中から、前記特徴抽出部で抽出された画像データの特徴と関連付けられたキーワードを探索させ、
前記キーワード記憶部に前記特徴抽出部で抽出された画像データの特徴と関連付けられたキーワードがあった場合に、当該画像データの特徴と関連付けられたキーワードを選択キーワードとして決定させ、
前記キーワード記憶部に前記特徴抽出部で抽出された画像データの特徴と関連付けられたキーワードがない場合に、前記決定部に、前記画像認識部で認識された画像から選択キーワードを決定させ、かつ前記決定部で決定された選択キーワードを前記特徴抽出部で抽出された画像データの特徴と関連付けて前記キーワード記憶部に記憶させる制御部とを有することを特徴とする画像形成装置。
【請求項５】
前記画像認識部は、画像データに基づいて文字列を認識し、
前記決定部は、前記画像認識部で認識された文字列からキーワードを決定することを特徴とする請求項１〜４のいずれか１項に記載の画像形成装置。
【請求項６】
画像データに基づいて画像を認識する画像認識工程と、
認識された画像から選択キーワードを決定する決定工程と、
予めキーワードと関連付けて記憶された付加画像情報の中から、決定された選択キーワードと関連付けられた付加画像情報を選択する選択工程と、
前記画像データ及び選択された付加画像情報に基づき、記録紙上に画像形成を行う画像形成工程とを含む画像形成方法において、
前記画像データ及び予め記憶された暫定付加画像情報に基づく画像形成を行った後、前記画像データ及び前記選択工程で選択された付加画像情報に基づく画像形成を行うことを特徴とする画像形成方法。
【請求項７】
画像データに基づいて画像を認識する画像認識工程と、
認識された画像から選択キーワードを決定する決定工程と、
予めキーワードと関連付けて記憶された付加画像情報の中から、前記決定工程で決定された選択キーワードと関連付けられた付加画像情報を選択する選択工程と、
前記画像データ及び前記選択工程で選択された付加画像情報に基づき、記録紙上に画像形成を行う画像形成工程とを含む画像形成方法において、
画像データの特徴を抽出する特徴抽出工程と、
予め画像データの特徴と関連付けて記憶されたキーワードの中から、前記特徴抽出工程で抽出された画像データの特徴と関連付けられたキーワードを探索する探索工程とを含み、
前記決定工程は、前記探索工程において、前記特徴抽出工程で抽出された画像データの特徴と関連付けられたキーワードがあった場合に、当該画像データの特徴と関連付けられたキーワードを選択キーワードとして決定し、前記特徴抽出工程で抽出された画像データの特徴と関連付けられたキーワードがない場合に、前記画像認識工程で認識された画像に基づいて選択キーワードを決定し、かつ当該選択キーワードを前記特徴抽出工程で抽出された画像データの特徴と対応付けて記憶することを特徴とする画像形成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像形成装置及び画像形成方法に係り、より詳しくは、画像データを解析し、画像の内容に合致した情報を付加する画像形成装置及び画像形成方法に関する。
【背景技術】
【０００２】
広告などの所定の情報を画像データなどに付加して画像形成する装置、例えば、複写機やプリンタが知られている。付加画像である広告を原稿画像に付加して出力する代わりに、記録紙の出力枚数に応じて課金する金額を一部広告主に負担してもらい、ユーザが支払うコピー料金を減額するという広告付きの画像形成システムも提案されている。（例えば、特許文献１）
また、ユーザの要望に合致した適切な広告を自動的に付加するために、原稿を読み取って出力された画像データに基づいて文字列を認識し、認識した文字列からキーワードを決定し、決定したキーワードに基づいて広告などの付加画像情報を選択し、画像データ及び選択した付加画像情報を合成してプリントする複写機が知られている（例えば、特許文献２）。
【特許文献１】特開２００２−８６８１６号公報
【特許文献２】特開２００２−２９０７０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、画像データに基づいて文字列を認識し、認識した文字列からキーワードを決定するためには、高度の画像データの解析が必要とされ、一般的なＣＰＵを搭載した画像形成装置では、原稿画像を読み取った後、画像形成が開始されるまでにキーワードが決定せず、画像データとは何ら関係のない特定広告が暫定付加画像情報として画像データと合成されて、プリントされる場合が多かった。
【０００４】
しかも、特許文献２に記載の複写機においては、画像形成を開始する前のある時点でキーワードが決定しなかった場合には、特定広告が選択されて、それ以降は画像データの解析が中断されてしまうので、１回のプリント指示に対して出力枚数が多い場合には、全ての記録紙に特定広告が付加されてプリントされることになってしまい、特定広告以外の広告が付加されてプリントされる機会が極端に減少してしまい、ユーザにとっても、広告主にとっても、有効な広告がプリントされたものとはなっていなかった。
【０００５】
そこで本発明は、高性能のＣＰＵを使うことなく、ユーザの要望に合致した適切な画像情報を自動的に付加することにより、ユーザ及び情報提供者の双方に利点を与えることのできる画像形成装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に係る発明は、画像データに基づいて画像を認識する画像認識部と、
前記画像認識部で認識された画像から選択キーワードを決定する決定部と、
付加画像情報とキーワードとを予め関連付けて記憶する付加画像記憶部と、
前記付加画像記憶部に記憶された付加画像情報の中から、前記決定部で決定された選択キーワードと関連付けられた付加画像情報を選択する選択部と、
前記画像データ及び前記選択部で選択された付加画像情報に基づき、記録紙上に画像形成を行う画像形成部とを有する画像形成装置において、
前記付加画像記憶部は、暫定付加画像情報を記憶し、
前記画像形成部に、前記画像データ及び前記付加画像記憶部に記憶された暫定付加画像情報に基づく画像形成を行わせた後、前記画像データ及び前記選択部で選択された付加画像情報に基づく画像形成を行わせる制御部を有することを特徴とする画像形成装置である。
【０００７】
請求項２に係る発明は、前記制御部は、前記選択部において選択された付加画像情報に基づく画像形成ができないと判断した場合に、前記画像形成部に、前記画像データ及び前記付加画像記憶部に記憶された暫定付加画像情報に基づく画像形成を行わせ、かつ前記決定部において選択キーワードが決定した時点で、前記画像データ及び前記選択部で選択された付加画像情報に基づく画像形成を行わせることを特徴とする請求項１に記載の画像形成装置である。
【０００８】
請求項３に係る発明は、前記決定部は、選択キーワードを逐次決定し、
前記制御部は、前記選択部に、前記決定部で逐次決定された選択キーワードと関連付けられた付加画像情報を選択させ、前記画像形成部に、画像データ及び前記選択部で選択された付加画像情報に基づく画像形成を行わせることを特徴とする請求項１又は２に記載の画像形成装置である。
【０００９】
請求項４に係る発明は、画像データに基づいて画像を認識する画像認識部と、
前記画像認識部で認識された画像から選択キーワードを決定する決定部と、
付加画像情報とキーワードとを予め関連付けて記憶する付加画像記憶部と、
前記付加画像記憶部に記憶された付加画像情報の中から、前記決定部で決定された選択キーワードと関連付けられた付加画像情報を選択する選択部と、
前記画像データ及び前記選択部で選択された付加画像情報に基づき、記録紙上に画像形成を行う画像形成部とを有する画像形成装置において、
画像データの特徴を抽出する特徴抽出部と、
キーワードと画像データの特徴とを予め関連付けて記憶するキーワード記憶部と、
前記決定部に、前記キーワード記憶部に記憶されたキーワードの中から、前記特徴抽出部で抽出された画像データの特徴と関連付けられたキーワードを探索させ、
前記キーワード記憶部に前記特徴抽出部で抽出された画像データの特徴と関連付けられたキーワードがあった場合に、当該画像データの特徴と関連付けられたキーワードを選択キーワードとして決定させ、
前記キーワード記憶部に前記特徴抽出部で抽出された画像データの特徴と関連付けられたキーワードがない場合に、前記決定部に、前記画像認識部で認識された画像から選択キーワードを決定させ、かつ前記決定部で決定された選択キーワードを前記特徴抽出部で抽出された画像データの特徴と関連付けて前記キーワード記憶部に記憶させる制御部とを有することを特徴とする画像形成装置である。
【００１０】
請求項５に係る発明は、前記画像認識部は、画像データに基づいて文字列を認識し、
前記決定部は、前記画像認識部で認識された文字列からキーワードを決定することを特徴とする請求項１〜４のいずれか１項に記載の画像形成装置である。
【００１１】
請求項６に係る発明は、画像データに基づいて画像を認識する画像認識工程と、
認識された画像から選択キーワードを決定する決定工程と、
予めキーワードと関連付けて記憶された付加画像情報の中から、決定された選択キーワードと関連付けられた付加画像情報を選択する選択工程と、
前記画像データ及び選択された付加画像情報に基づき、記録紙上に画像形成を行う画像形成工程とを含む画像形成方法において、
前記画像データ及び予め記憶された暫定付加画像情報に基づく画像形成を行った後、前記画像データ及び前記選択工程で選択された付加画像情報に基づく画像形成を行うことを特徴とする画像形成方法である。
【００１２】
請求項７に係る発明は、画像データに基づいて画像を認識する画像認識工程と、
認識された画像から選択キーワードを決定する決定工程と、
予めキーワードと関連付けて記憶された付加画像情報の中から、前記決定工程で決定された選択キーワードと関連付けられた付加画像情報を選択する選択工程と、
前記画像データ及び前記選択工程で選択された付加画像情報に基づき、記録紙上に画像形成を行う画像形成工程とを含む画像形成方法において、
画像データの特徴を抽出する特徴抽出工程と、
予め画像データの特徴と関連付けて記憶されたキーワードの中から、前記特徴抽出工程で抽出された画像データの特徴と関連付けられたキーワードを探索する探索工程とを含み、
前記決定工程は、前記探索工程において、前記特徴抽出工程で抽出された画像データの特徴と関連付けられたキーワードがあった場合に、当該画像データの特徴と関連付けられたキーワードを選択キーワードとして決定し、前記特徴抽出工程で抽出された画像データの特徴と関連付けられたキーワードがない場合に、前記画像認識工程で認識された画像に基づいて選択キーワードを決定し、かつ当該選択キーワードを前記特徴抽出工程で抽出された画像データの特徴と対応付けて記憶することを特徴とする画像形成方法である。
【発明の効果】
【００１３】
請求項１及び６に記載の発明によれば、画像データ及び付加画像記憶部に記憶された暫定付加画像情報に基づく画像形成を行った後に、画像データ及び選択部で選択された付加画像情報に基づく画像形成を行うので、暫定付加画像情報である特定広告を付加したプリントを行う間に、画像データの解析を完了することができ、ユーザの要望に合致した適切な画像である広告を付加してプリントすることが可能となり、ユーザ及び情報提供者である広告主の双方に利点を与えることが可能となる。なお、本発明において画像データの解析とは、画像データに基づいて画像を認識し、認識された画像から選択キーワードを決定し、決定された選択キーワードと関連付けられた付加画像情報を選択することとする。
【００１４】
請求項２に記載の発明によれば、画像形成が開始する前のある時点で選択キーワードが決定しなかった場合に、画像データに暫定付加画像情報を付加して画像形成を行う一方、画像データ解析を並行して行い、選択キーワードが決定した時点で、暫定付加画像情報を選択キーワードに関連付けられた付加画像情報に差し替えて画像形成を行うので、当初はユーザの要望に十分合致したとは言えない暫定付加画像である特定広告を付加してプリントしていても、プリントと並行して画像データの解析が進むにつれて、ユーザの要望に合致した適切な付加画像情報である広告を付加してプリントすることが可能となる。
【００１５】
請求項３に記載の発明によれば、画像データの解析が進行するにつれて、逐次決定される選択キーワードと連動して、逐次、付加画像情報を差し替えて画像形成を行うので、当初はユーザの要望に十分合致したとは言えない広告を付加してプリントしていても、プリントを継続するにつれて、ユーザの要望に合致した適切な広告を付加してプリントすることが可能となり、ユーザの要望に合致した適切な付加画像情報である広告を付加してプリントすることが可能となる。
【００１６】
請求項４及び７に記載の発明によれば、比較的簡易な処理で抽出できる画像データの特徴に基づいて選択キーワードを決定し、抽出された画像データの特徴と関連付けられたキーワードがみつからなかった場合にのみ、画像データに基づく画像の認識並びに選択キーワードの決定を行い、しかも、決定された選択キーワードを、抽出した画像データの特徴と関連付けて記憶しておくので、次回以降に同様の画像データに基づくプリントを行う場合には、複雑な処理が要求される画像や文字の認識は不要となり、比較的処理能力の低いＣＰＵであっても、短時間のうちにユーザの要望に合致した適切な画像を自動的に付加することが可能となる。
【００１７】
請求項５に記載の発明によれば、画像データに基づいて文字列を認識し、認識した文字列に基づいて選択キーワードを決定するので、ユーザの要望に合致した適切な情報を付加することが可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態を、図面を参照しつつ説明する。
【００１９】
図１は、本発明に係る画像形成装置を含む広告システムの概略図である。広告システムは、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等のネットワークＮと、ネットワークＮに接続される画像形成装置１０と、ネットワークＮに接続される情報処理装置であるクライアント２０と、ネットワークＮに接続される情報処理装置である広告サーバ３０とを含んでいる。
【００２０】
画像形成装置１０は、多機能型の複合画像形成装置（ＭＦＰ）であり、クライアント２０から送信される画像データや、後述する画像読取部で原稿を読み取って出力された画像データに基づいて記録紙上に画像を形成するとともに、広告サーバ３０から送信される、広告を示す画像データである付加画像情報や特定広告を示す画像データである暫定付加画像情報を受信し、広告を付加したプリント枚数等を広告実績データとして記録し、広告サーバ３０に送信する機能等を有する。
【００２１】
広告サーバ３０は、画像形成装置１０から送信される広告実績データを集計する機能、集計した広告実績に応じた広告料を広告主に対して請求する機能、集計した広告実績に応じた対価（キャッシュバックやプリント料金割引等）を画像形成装置１０のユーザに還元する機能、広告画像データを画像形成装置１０に配信する機能等を有する。
【００２２】
図２は、本発明に係る画像形成装置１０の概略構成を示すブロック図である。
【００２３】
画像形成装置１０は、制御部１０１、画像読取部１０２、画像形成部１０３、操作表示部１０４、メモリ１０５、記憶部１０６、タイマ１０７、ネットワーク制御部１０８を具備して構成され、各々がシステムバス１０９で接続されている。
【００２４】
制御部１０１は、図示しないＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等から構成され、記憶部１０６に記憶されているプログラムをメモリ１０５に読み出し、当該プログラムに従って画像形成装置１０を構成する各部を集中制御する。すなわち、制御部１０１は画像形成に関する各種処理を実行し、処理結果をメモリ１０５に格納するとともに操作表示部１０４に表示させる。そして、メモリ１０５に格納した処理結果を記憶部１０６内部の所定の格納領域に保存させる。
【００２５】
また制御部１０１は、下記の各機能を有する。
（１）画像認識部
クライアント２０若しくは画像読取部１０２から出力された画像データから画像を認識する画像認識部として機能する。画像認識は、公知の画像認識手法を用いることが可能である。
【００２６】
例えば、画像の濃度差（エッジ）に応じて、矩形領域として切り出しを行い、矩形領域内の画像データを、予め記憶部１０６に記憶された複数の基準パターンのデータ（テンプレート）と順次比較し、最も類似した基準パターンから切り出した画像が何であるかを判定し、最も類似した基準パターンに予め関連付けられた文字列として出力する。なお、基準パターンは、例えば、認識すべき部品の全体の形状又は一部分の形状を表す画像データである。
【００２７】
また、文字認識部として文字の認識を行う場合には、基準パターンを文字画像とし、文字が認識された矩形領域内の画像を文字画像として抽出し、文字コードデータに変換して、文字列として出力する。
（２）特徴抽出部
画像データの特徴を抽出する特徴抽出部として機能する。本発明において、画像データの特徴抽出とは、前述の画像認識の如く、画像のエッジに応じた矩形領域の切り出しや、切り出した画像と基準パターンとの比較を必要としない、簡易な画像データの解析のことを言う。
【００２８】
画像データの特徴としては、例えば、原稿の用紙サイズ、記録紙の用紙サイズ、画像の所定位置に含まれる文字コード内容（「丸秘」や「ＤＲＡＦＴ」等）及びその位置や大きさ、画像データに含まれるＲＧＢデータのヒストグラム、画像データ符号量、画像の黒化率等があるが、詳細については後述する。
（３）決定部
画像認識部で認識された画像あるいは特徴抽出部で抽出された画像データの特徴から、付加画像情報である広告画像データを選択するための選択キーワードを探索し、決定する決定部として機能する。
【００２９】
例えば、画像認識部で出力された文字列と、記憶部１０６に予め記憶された複数のキーワードとを比較し、出力された文字列から選択キーワードを決定する。キーワードは、１文字ではなく、例えば、「カメラ」や「会議」など、複数個の文字からなる文字列である。複数個のキーワードが候補にあがった場合には、出現した頻度が多いか、画像サイズが大きいか、画像の色が他の画像と異なるか、太字や斜体などの修飾が加えられているか、などを基準に、ユーザの志向、すなわちユーザが重要な文字列あるいは画像として使用しているか否かを検討し、選択キーワードを決定する。
【００３０】
特徴抽出部で抽出された画像データの特徴にあっては、キーワード記憶部として機能する記憶部１０６に予め記憶されたキーワードの中から、特徴抽出部で抽出された画像データの特徴と合致する画像データの特徴と関連付けられたキーワードを選択キーワードとして決定する。
（４）選択部
付加画像記憶部として機能する記憶部１０６に予め記憶された広告画像データの中から、決定部で決定された選択キーワードと関連付けられた広告画像データを選択する選択部として機能する。
【００３１】
なお、制御部１０１における画像認識、選択キーワードの決定ならびに広告画像データの選択は、画像形成装置１０において実行する、クライアント２０若しくはユーザからの１回の指示で実行されるプリントの対象となる画像データ全体に対して行うのが一般的であるが、該画像データを例えばページ毎に複数個に分割し、プリント実行中に、分割された画像データに対する画像認識ならびにキーワードの決定を逐次行うようにすることで、広告画像データの選択までに要する時間を短縮できるとともに、分割された画像データそれぞれに対して、逐次広告画像データを差し替えることができるので、よりユーザの要望に合致した適切な画像を付加することが可能となる。
【００３２】
画像読取部１０２は、露光ユニット、ミラーユニット、結像レンズ、ＣＣＤイメージセンサ（以下、単にＣＣＤという）及びこれらの駆動源等により、いわゆるスキャナを構成し、原稿画像を読み取る機能を提供する。読み取った原稿画像はをデジタルデータ化して画像データとし、メモリ１０５の特定領域に書き込む。また、画像読取部１０２は、必要に応じて原稿送り装置を具備し、読み取り対象となる複数枚の原稿をスキャナに搬送する。ここで、画像データは、図形や写真などのイメージデータに限らず、文字や記号などのテキストデータも含む。
【００３３】
画像形成部１０３は、電子写真方式やインクジェット方式による画像形成装置を具備し、特定のメモリ領域に書き込まれた画像データに基づく画像を記録紙に印刷する機能を提供する。必要に応じフィニッシャを具備し、印刷が完了した複数の記録紙の仕分けやステープル止め、孔空け、折り等を行う。
【００３４】
操作表示部１０４は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）やＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）等の表示素子及び透明電極が格子状に配置された感圧式（抵抗膜圧式）のタッチパネル、コピー枚数などを設定するテンキー、動作の開始を指示するスタートキー、動作の停止を指示するストップキーや、各種設定を切り換える機能キーなどの各種操作キーにより構成され、ユーザからのサービス要求等の操作を受け付けたり、画像形成装置１０の動作状況等を表示する。
【００３５】
メモリ１０５は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成されており、制御部１０１により実行制御される各種処理において、記憶部１０６から読み出されたプログラム、入力、若しくは出力データ及びパラメータ等の一時的な格納領域を形成する。例えば、各部間で画像データを受け渡しする際に、ページメモリやバンドバッファメモリ、ブロックメモリとして機能し、特定領域が各部に配分される。
【００３６】
記憶部１０６は、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−ＯｎｌｙＭｅｍｏｒｙ）等の不揮発性の半導体メモリにより構成され、画像形成装置１０で実行可能な各種プログラムや機能に応じた設定内容などを記憶する。記憶部１０６は、例えば下記の内容を記憶する。
（１）広告サーバ３０から送信される、キーワードと関連付けられた、付加画像情報である広告画像データ。
（２）広告サーバ３０から送信される、暫定付加画像情報である特定広告画像データ。
（３）制御部１０１によって書き込まれる、画像データの特徴と関連付けられたキーワード。
（４）補足情報と関連付けられた広告画像データ。
（５）画像認識部で使用される基準パターンの画像データ。
（６）広告実績データ。
【００３７】
ここに、補足情報はキーワードに関連しない情報である。具体的には、補足情報は、制御部１０１により抽出される情報であって、当該画像形成装置１０の設置位置、当該画像形成装置１０に設定されている動作条件又は現在時刻などを含んでいる。
【００３８】
すなわち記憶部１０６は、付加画像記憶部、キーワード記憶部、基準パターン記憶部及び広告実績データ記憶部としての機能も有する。
【００３９】
タイマ１０７は、発振子、クロックカウンタ等により構成されており、制御部１０１の処理時間を計測し、リセット動作により初期設定値（通常は０）に戻る。
【００４０】
ネットワーク制御部１０８は、ＬＡＮ等のネットワークに接続されて、ＬＡＮに接続されたクライアント２０、広告サーバ３０等との広告実績データ、画像データや制御データの送受信機能を提供し、１種類以上のネットワークプロトコルを使用して、クライアント２０及び広告サーバ３０から送られてくるＰＤＬ等のプリントデータやＪＰＥＧ／ＴＩＦＦ／ＧＩＦ等のフォーマットで記述される、広告画像データを含む画像データファイルを受信したり、特定のメモリ領域に書き込まれた画像データを所定のフォーマットでファイル化してクライアント２０に送信したりする。
【００４１】
次に、図３及び図４を用いて画像形成装置１０の動作の一例を説明する。
【００４２】
図３は、制御部１０１により実行される画像形成処理（以下、プリントと呼ぶ）を示すフローチャートである。
【００４３】
ステップＳ１０１では、画像形成装置１０で行われるプリントが、広告付加モードを選択された否かが判断される。
【００４４】
ここで、画像形成装置１０は、広告を付加せずに通常のプリントを実行する通常モードと、広告を付加するプリントを実行する広告付加モードとを備えている。
【００４５】
一般的に、ユーザは、プリント代金が安くなる場合には広告の付加を許容する。しかしながら、ユーザによっては、例えば公文書などをコピーするユーザは、広告の付加を希望しないことも考えられる。したがって、画像形成装置１０は、ユーザが通常モード又は広告付加モードを選択するための選択手段を有している。この選択手段は、操作表示部１０４に設けたボタンなどから構成される。また、スタートキーが押下される度に、広告を付加する必要性をユーザに問い合わせる形態でもよい。また、画像形成装置１０の設置場所によっては、情報としてのお知らせを強制的に付加したい場合も考えられる。かかる場合には、通常モードを選択できない制限を加えてもよい。
【００４６】
広告付加モードが選択されたと判断されると（ステップＳ１０１；ＹＥＳ）、ステップＳ１０２の処理が実行され、通常モードを選択されたと判断されると（ステップＳ１０１；ＮＯ）ステップＳ１０５の処理が実行される。
【００４７】
ステップＳ１０２では、広告を付加するプリント（広告付加プリント）が実行される。
【００４８】
ステップＳ１０３では、広告実績データを記録する処理が実行される。具体的には、ステップＳ１０２で実行された広告付加プリントにおける、プリントされた広告画像データの種類、そのプリント枚数、画像サイズ、プリント実行日時等を、広告実績データとして記憶部１０６に記憶させる。この時、記憶部１０６は広告実績データ記憶部として機能する。なお、記憶部１０６に記憶された広告実績データは適当なタイミングで集計されて、ネットワークを介して広告サーバ３０に送信される。
【００４９】
ステップＳ１０４では、画像形成装置１０を使用したユーザに対するプリント代金の課金処理が行われる。ユーザに課されるプリント代金は、選択されたモードによって変更され、広告付加モードを選択すると１枚当たりのプリント代金が安く設定される。安くした分のコピー代金は、広告料に相当するので、広告実績データに基づいて広告主に課金される。ステップＳ１０４の処理が実行された後、処理が終了される。
【００５０】
ステップＳ１０５では、広告を付加しない通常のプリントが実行され、ステップＳ１０４の処理が実行される。
【００５１】
図４は、図３におけるステップＳ１０２の広告を付加するプリントの詳細を示すフローチャートである。
【００５２】
ステップＳ２０１では、タイマ１０７による時間計測が開始される。
【００５３】
ステップＳ２０２では、特徴抽出部により画像データの特徴が抽出される（特徴抽出工程）。
【００５４】
ステップＳ２０３では、ステップＳ２０２で抽出された画像データの特徴に合致するものが、記憶部１０６に予め記憶された画像データの特徴の中にあるか否かが判断される（探索工程）。合致するものがあると判断されると（ステップＳ２０３；ＹＥＳ）、当該合致した特徴と関連付けられたキーワードが選択キーワードとして決定された後（ステップＳ２１３）、ステップＳ２０７の処理が実行さる。合致するものがないと判断された場合、すなわちキーワード記憶部に特徴抽出部で抽出された画像データの特徴と関連付けられたキーワードがなかった場合（ステップＳ２０３；ＮＯ）、ステップＳ２０４の処理が実行される。
【００５５】
ステップＳ２０４では、画像認識部により、画像に含まれる文字列が認識される（画像認識工程）。
【００５６】
ステップＳ２０５では、決定部により、選択キーワードが探索された後、決定される（決定工程）。
【００５７】
ステップＳ２０６では、タイマ１０７による計測が開始されてから所定時間内に決定部により選択キーワードが決定できたか否かが判断される。ステップＳ２０４の画像認識工程ならびにステップＳ２０５の決定工程には、高度な処理が必要とされ、一般的なＣＰＵを搭載した画像形成装置ではプリントが開始するまでに処理が完了しない場合がある。そこで、タイマ１０７による計測が開始されてから所定時間内に処理が完了しない場合には、暫定的に特定広告画像を付加してプリントするものである。
【００５８】
所定時間は、画像形成部１０３によるプリントが開始する時に、選択部において選択された広告画像データが付加された画像データに基づくプリントが可能となるタイミングから逆算して設定される。キーワードが決定できた場合（Ｓ２０６；ＹＥＳ）、ステップＳ２０７の処理が実行され、選択キーワードが決定できなかった場合、すなわち画像形成部１０３によるプリントが開始される時に、選択部において選択された広告画像データに基づくプリントができない場合（Ｓ２０６；ＮＯ）、暫定画像情報である特定広告画像データが選択され、画像形成部１０３に出力された後（ステップＳ２１４）、ステップＳ２０８の処理が実行される。
【００５９】
ステップＳ２０７では、選択部により、ステップＳ１０５若しくはステップＳ２１３で決定した選択キーワードに基づいて、記憶部１０６から広告画像データが選択され、画像形成部１０３に選択された広告画像データが出力される。選択キーワードに基づいて、又は、選択キーワード及び補足情報に基づいて広告画像データを選択する手法は、データベースシステムなどで一般的な手法が用いられる。
【００６０】
ステップＳ２０８では、画像形成部１０３により、画像データ及びステップＳ２０７で選択された広告画像データ若しくはステップＳ２１４で選択された特定広告画像データに基づくプリントが行われる。
【００６１】
ステップＳ２０９では、画像形成部１０３におけるプリントが終了したか否かが判断される。プリントが終了したと判断されると（ステップＳ２０９；ＹＥＳ）、ステップＳ２１０の処理が実行され、プリントが完了していないと判断されると（ステップＳ２０９；ＮＯ）、次の記録紙若しくは次の記録紙群に画像形成される広告画像を選択するべく、タイマ１０７がリセットされ（ステップＳ２１５）、ステップＳ２０４の処理に戻る。このようにすることで、プリントが継続している間は、選択キーワードが決定した場合には、暫定的に付加していた特定広告画像を広告画像に差し替えて以降のプリントを行うことができるので、当初はユーザの要望に十分合致したとは言えない特定広告画像を付加してプリントしていても、プリントが進むにつれて、ユーザの要望に合致した適切な広告画像を付加してプリントすることが可能となり、ユーザ及び広告主の双方に大きな利点を与えることが可能となる。
【００６２】
ステップＳ２１０では、プリントを行った画像データの選択キーワードが決定したか否かが判断される。選択キーワードが決定する前に画像形成処理が完了しても、選択キーワードを決定しておき、次回以降の同様の画像データに基づく広告付加モードのプリントに備えるものである。選択キーワードが決定したと判断されると（ステップＳ２１０；ＹＥＳ）、ステップＳ２１２の処理が実行され、選択キーワードが決定していない判断されると（ステップＳ２１０；ＮＯ）、ステップＳ２１１の処理が実行される。
【００６３】
ステップＳ２１１では、画像認識部により、画像に含まれる文字列が認識され、決定部により、選択キーワードが決定される。
【００６４】
ステップＳ２１２では、ステップＳ２０５若しくはステップＳ２１１で決定した選択キーワードが、ステップＳ２０２で抽出された画像データの特徴とともに、キーワード記憶部に記憶される。このようにすることで、次回以降に同じ画像データに基づく広告付加モードのプリントを行う場合には、画像データの特徴を抽出するだけで選択キーワードを決定することができ、画像データに基づいて文字列若しくは画像を認識し、認識した文字列若しくは画像から選択キーワードを決定する場合に比べて処理時間を大幅に短縮するこができ、１枚目からユーザの要望に合致した広告画像を付加したプリントが可能となる。
【００６５】
図４のステップＳ２０２で、特徴抽出部により抽出される画像データの特徴の詳細について、図５を用いて説明する。図５（ａ）は、画像データに基づいてプリントされる画像Ｓの模式図であり、図５（ｂ）は、キーワード記憶部である記憶部１０７に記憶される、画像データの特徴と関連付けられたキーワードの一例を示す概念図である。
【００６６】
図５においては、画像データの特徴として、用紙サイズ、画像の黒化率及び画像データ符号量がキーワードと関連付けられて記憶部１０７に記憶される。
【００６７】
用紙サイズは、画像形成装置１０の画像読取部１０２に備えられた原稿サイズ検知センサで検知される原稿のサイズや、クライアント２０で設定される用紙サイズであり、「Ａ４」、「Ａ３」、「Ｂ５」、「Ｂ４」、「リーガル」、「レター」等の定型サイズ名や、不定型の場合には、「○○ｍｍ×○○ｍｍ」といった長辺及び短辺の長さが抽出される。
【００６８】
画像の黒化率は、画面全体の面積を１００％としたときのトナーやインク等の色材が付着している面積の割合であるが、本実施の形態においては、画像データに基づくシミュレーションによって画像のページ単位若しくは用紙単位で抽出され、画像全体の黒化率ならびに、画像ＳをＡ、Ｂ、Ｃ、Ｄの４つの領域に分割し、それぞれの領域における黒化率を、黒化率Ａ、黒化率Ｂ、黒化率Ｃ、黒化率Ｄとして抽出される。
【００６９】
画像データの符号量は、画像データを、ＭＭＲ符号化法やＪＰＥＧ法の如き公知の方法で符号化した時のデータの量であり、画像のページ単位若しくは用紙単位で抽出され、画像全体の符号量ならびに、画像ＳをＡ、Ｂ、Ｃ、Ｄの４つの領域に分割し、それぞれの領域における符号量が、符号量Ａ、符号量Ｂ、符号量Ｃ、符号量Ｄとして抽出される。符号量は、例えばｋｂｙｔｅ（キロバイト）で示される。
【００７０】
さらに、ステップＳ２０３（探索工程）の詳細についても、ここで図５を用いて説明する。予め記憶された用紙サイズ、画像の黒化率（全体、Ａ、Ｂ、Ｃ、Ｄの各領域）及び画像データ符号量（全体、Ａ、Ｂ、Ｃ、Ｄの各領域）が、新たにプリントされる画像データの用紙サイズ、画像の黒化率（全体、Ａ、Ｂ、Ｃ、Ｄの各領域）及び画像データ符号量（全体、Ａ、Ｂ、Ｃ、Ｄの各領域）とそれぞれ比較され、例えば、全体として近似しているか否か、一部だけの変更であるか、などで判断される。また、４つの領域に分割した黒化率及び符号量については、各領域についての同一領域だけでなく、画像データの天地が逆である場合も想定し、位相が１８０度異なる領域（例えば、ＡとＤ、ＢとＣ）についても比較される。
【００７１】
キーワードは、以前に画像データの解析を行った際に、決定部で決定された選択キーワードを表す文字列である。画像データの解析を行った際に複数の選択キーワードが逐次決定された場合には、「キーワード１」、「キーワード２」の如く複数のキーワードを記憶してもよい。
【００７２】
図４のステップＳ２０８のプリントにおける、広告画像を付加する場所について、図６を用いて説明する。
【００７３】
図６（Ａ）に示すように、余白がない画像Ｓを原稿としてプリントする場合、両面プリントが可能であれば、当該画像ＳのプリントＰは、図６（Ｂ）に示すように、１枚の記録紙の表面に画像Ｓがプリントされ、裏面に広告画像４１がプリントされる。両面プリントが不可能であれば、当該画像ＳのプリントＰは、図６（Ｃ）に示すように、強制的に作った余白に、広告画像４１がプリントされる。また、画像Ｓの下方部分に余白がもともとある場合には、余白に広告画像がプリントされる。
【００７４】
複数（ｎ−１）ページのプリントを複数（Ｎ）部プリントする場合、図６（Ｄ）に示すように、１ページ目若しくは特定のページ（例えば、余白となるｎページ目）にのみ広告画像４１がプリントされる。このようにすることで、ユーザにとって目障りにならない程度の節度ある広告画像を付加したプリントが可能になり、ユーザの要望に合致した適切な広告画像を付加したプリントが可能となる。また、プリント中の、画像データに基づいて文字列若しくは画像を認識し、認識した文字列若しくは画像から選択キーワードを決定するためのＣＰＵへの負荷が軽減され、高性能のＣＰＵを使うことなく、ユーザの要望に合致した適切な画像情報を付加することが可能となる。すなわち、１部目の１ページ目のプリントには特定広告画像４２が付加されていたのが、１部目のｎページ目には広告画像４１が付加され、さらにＮ部目の１ページ目のプリントには他の広告画像４１ｂが付加されるようなプリントが、高性能のＣＰＵを使用することなく可能となる。
【００７５】
なお、広告画像を印刷する位置は、記録紙の既存の余白、用紙の裏面、強制的に作った余白に限定されない。例えば、画像データをプリントする記録紙とは異なる記録紙に広告をプリントすることも可能である。
【００７６】
なお、上記実施の形態における記述内容は、本発明に係る画像形成装置の好適な一例であり、これに限定されるものではない。
【００７７】
例えば、画像形成装置１０の設置位置、設定されている動作条件又は現在時刻などを含む補足情報に基づいて広告画像データを選択する場合、図４のステップＳ２０２〜ステップＳ２０７に代えて、以下の処理が行われる。
【００７８】
制御部１０１は、補足情報として、当該画像形成装置１０が設置されている位置、当該画像形成装置１０に設定されている動作条件、現在時刻などを抽出する。画像形成装置１０が設置される位置は、例えば、コンビニエンスストア、学校、駅、図書館、国や地方自治体の施設などである。この設置位置に関するデータは、当該画像形成装置１０の設置時に設定され、記憶部１０６に記憶されている。制御部１０１は、記憶部１０６から、設置位置に関するデータを呼び出す。動作条件は、ユーザが表示操作部１０４を操作したりクライアント２０を操作して設定するものであり、例えば、カラーコピーモード、モノクロコピーモードなどがある。動作条件に関するデータは、プリントを開始する際に、制御部１０１が抽出する。そして、制御部１０１は、抽出した補足情報に基づいて広告画像データを選択する。
【００７９】
このようにすることで、現在時刻において利用できるサービスについての広告を選択したり、カラーコピーモードが設定されているときにカラー広告画像をプリントしたりすることができる。したがって、ユーザの要望に一層合致した広告を選択できる。
【００８０】
また、既に広告画像が付加された原稿を再度コピーする場合に、広告画像をさらに付加すると、広告画像ばかりが目立ってコピーが見苦しくなる。そこで、ステップＳ２０８において、既に付加された広告画像と差し替える形態で選択された広告画像データを付加する処理を行うことで、プリント画像が見苦しくなることが回避できるとともに、ユーザは、最新の広告を取得するができる。具体的には、制御部１０１が、画像データに広告であることを示すコード番号やバーコードなどからなる識別符号が既に含まれているか否かを判断し、識別符号が含まれている場合には、既に含まれている広告に相当する画像データが選択した広告画像データに差し替えられて、プリントが行われる。
【００８１】
なお、本実施の形態において、画像形成装置として多機能型の複合画像形成装置を例にとり説明したが、複写機、ファクシミリ、プリンタ情報提供端末（例えばキオスク端末）等の画像形成装置に対しても適用可能である。
【００８２】
さらに、本発明の目的は前述した実施形態の機能を実現するソフトウェアのプログラムを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵ若しくはＭＰＵ）が記憶媒体に格納されたプログラムを読出し実行することによっても、達成されることは言うまでもない。
【００８３】
その他、画像形成装置を構成する各構成の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【図面の簡単な説明】
【００８４】
【図１】本発明に係る画像形成装置を含む広告システムの概略図である。
【図２】本発明に係る画像形成装置の概略構成を示すブロック図である。
【図３】制御部により実行される画像形成処理を示すフローチャートである。
【図４】図３における広告を付加する画像形成処理の詳細を示すフローチャートである。
【図５】図５（ａ）は画像データに基づいてプリントされる画像Ｓの模式図であり、図５（ｂ）はキーワード記憶部である記憶部に記憶される、画像データの特徴と関連付けられたキーワードの一例を示す概念図である。
【図６】図６（Ａ）は原稿の一例、及び図６（Ｂ）〜（Ｄ）はユーザが広告を付加する画像形成処理を選択した場合におけるプリントの一例を示す模式図である。
【符号の説明】
【００８５】
１０  画像形成装置
１０１  制御部
１０２  画像読取部
１０３  画像形成部
１０４  操作表示部
１０５  メモリ
１０６  記憶部
１０７  タイマ
１０８  ネットワーク制御部
１０９  システムバス
２０  クライアント
３０  広告サーバ
Ｎ  ネットワーク
Ｓ  画像
Ｐ  プリント
【図１】
2005096334.tif 000003
【図２】
2005096334.tif 000004
【図３】
2005096334.tif 000005
【図４】
2005096334.tif 000006
【図５】
2005096334.tif 000007
【図６】
2005096334.tif 000008