(57)【要約】【課題】本発明は、画像内のオブジェクトごとにカラー化処理を実行するとともに、オブジェクト単位で学習サンプルを好適に収集して、カラー化処理における機械学習に利用する仕組みを提供する。【解決手段】本画像処理装置は、ページ単位の画像データを入力し、入力された画像データに対応するページ画像に含まれるオブジェクトを検出する。また、本画像処理装置は、複数の処理部を備えるカラー変換部において、検出されたオブジェクトがモノクロ画像の場合に、オブジェクトごとに、モノクロ画像をカラー画像に変換するカラー化処理を実行する。さらに、本画像処理装置は、検出されたオブジェクトがカラー画像の場合に、当該カラー画像の画像データと、モノクロ画像に変換した画像データとを、複数の処理部で使用される、カラー化処理に関わるパラメータの学習サンプルとして保存する。【選択図】  図４
2019153061.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置であって、
ページ単位の画像データを入力する入力手段と、
前記入力手段によって入力された画像データに対応するページ画像に含まれるオブジェクトを検出する検出手段と、
複数の処理部を備え、前記検出手段によって検出されたオブジェクトがモノクロ画像の場合に、オブジェクトごとに、モノクロ画像をカラー画像に変換するカラー化処理を実行するカラー変換手段と、
前記検出手段によって検出されたオブジェクトがカラー画像の場合に、該カラー画像の画像データと、モノクロ画像に変換した画像データとを、前記複数の処理部で使用される、前記カラー化処理に関わるパラメータの学習サンプルとして保存する保存手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記カラー化処理を実行するか否かを、ユーザ入力に従って設定する設定手段と、
前記設定手段によって設定された情報に従って、前記カラー変換手段による前記カラー化処理を実行するか否かを判定する判定手段と
をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定手段は、前記検出手段によって検出されたオブジェクトごとに、前記カラー変換手段による前記カラー化処理を実行するか否かを判定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記カラー変換手段は、前記判定手段によって前記カラー化処理を実行すると判定され、かつ、前記検出手段によって検出されたオブジェクトがモノクロ画像の場合に、前記カラー化処理を実行することを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記保存手段によって保存されたオブジェクトごとに、モノクロ画像の画像データを学習サンプルの入力画像として、カラー画像の画像データを学習サンプルの期待画像として紐づけて格納する学習テーブルを記憶する記憶手段をさらに備えることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記学習テーブルにおける入力画像に対して、前記カラー変換手段による前記カラー化処理を実行した出力画像と、該入力画像に対応して前記学習テーブルに格納されている前記期待画像との乖離を誤差関数により評価し、その評価値を前記複数の処理部で使用される、前記カラー化処理に関わるパラメータへのフィードバックとして利用し、該パラメータを更新する学習手段をさらに備えることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記検出手段によって検出されたオブジェクトの種別を分類する分類手段をさらに備え、
前記記憶手段は、前記分類手段によって分類された種別ごとに前記学習テーブルを記憶し、
前記カラー変換手段は、前記オブジェクトの種別ごとに複数の処理部を備え、
前記学習手段は、オブジェクトの種別ごとに対応する前記複数の処理部で使用されるパラメータを更新することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記カラー変換手段によってカラー画像に変換されたオブジェクトを前記ページ画像に合成する合成手段をさらに備えることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項９】
前記入力手段は、原稿から画像を読み取る読取手段を備えることを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
画像処理装置の制御方法であって、
入力手段が、ページ単位の画像データを入力する入力工程と、
検出手段が、前記入力工程で入力された画像データに対応するページ画像に含まれるオブジェクトを検出する検出工程と、
複数の処理部を備えるカラー変換手段が、前記検出工程で検出されたオブジェクトがモノクロ画像の場合に、オブジェクトごとに、モノクロ画像をカラー画像に変換するカラー化処理を実行するカラー変換工程と、
保存手段が、前記検出工程で検出されたオブジェクトがカラー画像の場合に、該カラー画像の画像データと、モノクロ画像に変換した画像データとを、前記複数の処理部で使用される、前記カラー化処理に関わるパラメータの学習サンプルとして保存する保存工程と
を含むことを特徴とする画像処理装置の制御方法。
【請求項１１】
画像処理装置の制御方法における各工程をコンピュータに実行させるためのプログラムであって、前記制御方法は、
入力手段が、ページ単位の画像データを入力する入力工程と、
検出手段が、前記入力工程で入力された画像データに対応するページ画像に含まれるオブジェクトを検出する検出工程と、
複数の処理部を備えるカラー変換手段が、前記検出工程で検出されたオブジェクトがモノクロ画像の場合に、オブジェクトごとに、モノクロ画像をカラー画像に変換するカラー化処理を実行するカラー変換工程と、
保存手段が、前記検出工程で検出されたオブジェクトがカラー画像の場合に、該カラー画像の画像データと、モノクロ画像に変換した画像データとを、前記複数の処理部で使用される、前記カラー化処理に関わるパラメータの学習サンプルとして保存する保存工程と
を含むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モノクロ画像をカラー画像に変換する処理を学習する画像処理装置、その制御方法、及びプログラムに関する。
【背景技術】
【０００２】
マルチファンクションプリンタ（以後、ＭＦＰと称する。）では、スキャナで読み取ったモノクロ画像をカラー画像に変換する画像処理（以後、カラー化処理と称する。）を実行するものがある。従来のカラー化処理における画像処理の設定値は、製品ごとの出荷時に予め決められた値であるか、或いは、ファーム更新時に変更された値である。
【０００３】
特許文献１には、カラー化処理後の画像の視認性を向上させるために複数の設定値を保持して基準を満たすよう制御することが提案されている。また、画像処理の設定値は想定される一般のデータを用いた評価に基づいて決定されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−６６７３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術には以下に記載する課題がある。例えば、上記従来技術では、カラー化処理に対する色相の組み合わせが非常に多く、また画像処理の設定値はユーザ毎に適切な値に設定されていない。従って、必ずしもユーザが期待するカラー画像が得られるとは限らなかった。
【０００６】
一方、収集した学習サンプルを使用して機械を学習させ、学習モデルを作成して文字や物体認識する技術が知られている。これらの技術は一般に機械学習と呼ばれるものであり、特に物体認識ではディープラーニングと呼ばれる手法が用いられる。ディープラーニングは、多層のニューラルネットワークによって構成され、入力データと期待データとを備えた学習サンプルを学習させる。多層のニューラルネットワークに与えた入力データに対する出力データと期待データとの乖離を誤差関数で評価し、その評価に応じてバックプロパゲーションにより多層のニューラルネットワークのパラメータにフィードバックを与える。多数の学習サンプル（以後、学習データと称する。）を繰り返し学習することによって、出力データと期待データとの乖離を最小限にするパラメータを得ることができる。このようにして、多層のニューラルネットワークから期待するデータが出力されるようになる。なお、特に入力データとして画像データを用いる場合には、上記した多層のニューラルネットワークとして、多層のコンボリューションニューラルネットワーク（以後、ＣＮＮと称する。）を用いることが一般的である。
【０００７】
このような機械学習をカラー化処理に適用すれば収集した学習サンプルに沿った色相の出力物が得られるものと考えられる。しかし、現行のＭＦＰにおいては学習サンプルを収集する方法が無く、学習サンプルはユーザ毎に収集した学習モデルを作成しなければユーザ毎に適切な設定値にならないという課題がある。
【０００８】
また、ＭＦＰに入力されるスキャン画像において画像内に多くのオブジェクトが混在する場合、学習サンプルとして同様の画像を予め用意して学習モデルを作成する必要がある。しかし、オブジェクトの組み合わせは非常に多くすべてを網羅的に学習させることは現実的でないという課題があった。
【０００９】
本発明は、上述の問題の少なくとも一つに鑑みて成されたものであり、画像内のオブジェクトごとにカラー化処理を実行するとともに、オブジェクト単位で学習サンプルを好適に収集して、カラー化処理における機械学習に利用する仕組みを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、例えば、画像処理装置であって、ページ単位の画像データを入力する入力手段と、前記入力手段によって入力された画像データに対応するページ画像に含まれるオブジェクトを検出する検出手段と、複数の処理部を備え、前記検出手段によって検出されたオブジェクトがモノクロ画像の場合に、オブジェクトごとに、モノクロ画像をカラー画像に変換するカラー化処理を実行するカラー変換手段と、前記検出手段によって検出されたオブジェクトがカラー画像の場合に、該カラー画像の画像データと、モノクロ画像に変換した画像データとを、前記複数の処理部で使用される、前記カラー化処理に関わるパラメータの学習サンプルとして保存する保存手段とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、画像内のオブジェクトごとにカラー化処理を実行するとともに、オブジェクト単位で学習サンプルを好適に収集して、カラー化処理における機械学習に利用することができる。
【図面の簡単な説明】
【００１２】
【図１】一実施形態に係るシステムの構成図。
【図２】一実施形態に係るＭＦＰ構成図。
【図３】一実施形態に係るＭＦＰの画像処理部の構成図。
【図４】一実施形態に係るＭＦＰのコピー処理のフローチャート。
【図５】一実施形態に係るＭＦＰの学習処理のフローチャート。
【図６】一実施形態に係る学習テーブルの一例。
【図７】一実施形態に係るカラー変換部で行われる処理例の模式図。
【図８】一実施形態に係るカラー変換設定時のＵＩ画面の一例を示す図。
【図９】一実施形態に係るオブジェクト検出及びオブジェクトテーブルの一例を示す図。
【図１０】一実施形態に係るＭＦＰの学習処理のフローチャート。
【図１１】一実施形態に係る学習テーブルの一例を示す図。
【発明を実施するための形態】
【００１３】
以下に本発明の一実施形態を示す。以下で説明される個別の実施形態は、本発明の上位概念、中位概念及び下位概念など種々の概念を理解するために役立つであろう。また、本発明の技術的範囲は、特許請求の範囲によって確立されるのであって、以下の個別の実施形態によって限定されるわけではない。
【００１４】
＜第１の実施形態＞
＜システム構成＞
以下では、本発明の第１の実施形態について説明する。本発明に係る一実施形態としてＭＦＰを用いて説明する。なお、特に断らない限り、本発明の機能が実行されるのであれば、単体の機器であっても、複数の機器からなるシステムであっても、本発明を適用できることは言うまでもない。
【００１５】
まず、図１を参照して本実施形態に係るシステムの構成を説明する。本システムは、ＭＦＰ１０１、ＰＣ１０２、及びサーバ１０３を含む、各装置はＬＡＮ１０４を介して通信可能に接続される。なお、これらの接続は無線接続でも有線接続で実現されてもよい。同図において、１０１はＭＦＰであって、ＬＡＮ１０４上の他の機器と通信する。ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）１０４は、ＭＦＰ１０１やＰＣ１０２、サーバ１０３を相互に接続して通信を可能にする。物理層及びリンク層にＥｔｈｅｒｎｅｔを利用するのが一般的である。なお、説明を簡略化するため各装置が１台のみシステムに含まれる例で説明するが、各装置が複数台設けられるシステムであっても本発明を適用することは可能である。
【００１６】
ＭＦＰ１０１は、モノクロ画像をカラー画像に変換するカラー化処理を実行する画像処理装置、画像読取装置、及び画像形成装置の一例である。当該カラー化処理は、ＭＦＰ１０１が提供するコピー、印刷、ファクシミリ送信、ＳＥＮＤ等に係る画像処理に利用されうる。変換対象となるモノクロ画像は、外部装置であるＰＣ１０２やサーバ１０３から入力されてもよいし、ＭＦＰ１０１のスキャナによって得られた画像データでもよい。ＰＣ１０２は、ＭＦＰ１０１を利用する情報処理装置であり、画像処理対象の画像データをＭＦＰ１０１にＬＡＮ１０４を介して送信したり、ＭＦＰ１０１から画像データを受信する。
【００１７】
サーバ１０３は、ＭＦＰ１０１の機械学習を支援する機能を少なくとも有する装置である。例えば、ＬＡＮ１０４に複数のＭＦＰが接続されている場合には、各ＭＦＰ１０１の機械学習内容である学習サンプルを収集して管理し、当該学習サンプルを各ＭＦＰへ提供することなどを行う。
【００１８】
＜画像処理装置の構成＞
次に、図２を参照して、本実施形態に係るＭＦＰ１０１の構成を説明する。ＭＦＰ１０１は、ＣＰＵ２０１、ＤＲＡＭ２０２、操作部２０３、ネットワークＩ／Ｆ（インタフェース）２０４、プリンタ部２０５、スキャナ部２０６、ＦＡＸ２０７、ＨＤＤ２０８、画像処理部２１１、フラッシュＲＯＭ２１２、シリアルＩ／Ｆ２１３を備える。各モジュールは、システムバス２０９を介して接続され、相互に信号を伝達することができる。
【００１９】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１は、ＭＦＰ１０１全体の制御を司る。ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０２は、ＣＰＵ２０１で実行されるプログラムを格納すると共に一時的なデータのワークエリアとして機能する。操作部２０３は、シリアルＩ／Ｆ２１３を介してＣＰＵ２０１にユーザによる操作入力を通知する。
【００２０】
ネットワークＩ／Ｆ２０４は、ＬＡＮ１０４と接続して外部装置と通信を行う。プリンタ部２０５は、画像データを紙面等の記録媒体上に印字する。スキャナ部２０６は、紙面上の画像を光学的に読み取って電気信号に変換し、スキャン画像データを生成して出力する。ＦＡＸ２０７は、公衆回線２１０と接続して外部装置とファクシミリ通信を行う。ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）２０８は、ＣＰＵ２０１で実行されるプログラムを格納すると共にプリントジョブやスキャンジョブ等のスプール領域としても利用される。２１０は公衆回線であり、ＦＡＸ２０７と外部装置を相互接続する。
【００２１】
画像処理部２１１は、ネットワークＩ／Ｆ２０４で受信したプリントジョブをプリンタ部２０５で印刷するのに適した画像データへの変換処理と、スキャナ部２０６で読み取ったスキャン画像に施す画像処理とを実行する。また、画像処理部２１１は、ＬＡＮ１０４からネットワークＩ／Ｆ２０４を経由し外部装置から受信した画像データ（ＰＤＬコード）をビットマップデータに展開する。さらに、画像処理部２１１は、プリンタ部２０５で画像データを印字するための前処理としての画像処理を行う。画像処理部２１１での詳細な処理については後述する。
【００２２】
フラッシュＲＯＭ（ＦＬＡＳＨ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２１２は、ＣＰＵ２０１で実行されるプログラムを格納する。さらに、フラッシュＲＯＭ２１２は、ＭＦＰ１０１のデフォルト設定値、ユーザごとのデフォルト設定値、及び一時的なカスタム設定値（以降、まとめてデフォルト設定値と称する。）等を記憶する。シリアルＩ／Ｆ２１３は、操作部２０３とシステムバス２０９とを相互接続する。
【００２３】
＜画像処理部の構成＞
次に、図３を参照して、本実施形態に係る画像処理部２１１の制御構成を説明する。画像処理部２１１は、システムバスＩ／Ｆ３０１、スキャン画像処理部３０２、レンダリング処理部３０３、プリント画像処理部３０４、カラー判定部３０５、モノクロ変換部３０６、カラー変換部３０７、オブジェクト検出部３０８、及びオブジェクト合成部３０９を備える。各モジュールは、信号バス３１０を介して接続され、相互に信号を伝達することができる。システムバスＩ／Ｆ３０１は、システムバス２０９と信号バス３１０のプロトコル変換や調停を行い画像処理部２１１の各モジュールとシステムバス２０９に接続された各モジュールを相互接続させることができる。
【００２４】
スキャン画像処理部３０２は、スキャナ部２０６で読み取ったスキャン画像データに施すシェーディング補正処理やＭＴＦ補正処理、入力ガンマ補正やフィルタ処理といった画像処理を実行する。さらに、スキャン画像処理部３０２は、ノイズ除去や色空間変換、回転、圧縮等の処理も実行する。レンダリング処理部３０３は、ＬＡＮ１０４からネットワークＩ／Ｆ２０４及びシステムバスＩ／Ｆ３０１を経由し外部装置から受信した画像データ（ＰＤＬコード）をビットマップデータに展開する。
【００２５】
プリント画像処理部３０４は、プリンタ部２０５で画像データを印字するための前処理としての画像処理を実行する。具体的には、プリント画像処理部３０４が実行する画像処理には、ＲＧＢをＣＭＹＫに変換する色空間変換処理やディザ法や誤差拡散法による中間調処理、ガンマ補正などが含まれる。画像処理後の画像データはプリンタ部２０５へ出力される。プリント画像処理部３０４は、プリンタ部２０５の起動及び給紙に合わせてプリンタ部２０５へ画像データを出力する必要がある。そのため、プリント画像処理部３０４は、画像データの出力タイミングまでの待ち合わせ用のバッファとしてＤＲＡＭ２０２へ画像データを一時的に書き込む。そして、プリント画像処理部３０４は、記録媒体の給紙のタイミングに同期させて、ＤＲＡＭ２０２から画像データを読み込み、プリンタ部２０５へ出力する。
【００２６】
カラー判定部３０５は、オブジェクト検出部３０８で検出した画像がカラー画像かモノクロ画像かの判定を行う。モノクロ変換部３０６は、オブジェクト検出部３０８で検出したカラー画像をモノクロ画像に変換する。モノクロ変換は、カラー画像の画素毎にＲＧＢのコンポーネントを演算することによって算出された値をモノクロ画像の画素値として変換する方式である。
【００２７】
カラー変換部３０７は、オブジェクト検出部３０８で検出したモノクロ画像をカラー画像に変換するカラー化処理を実行する。図７に本処理の模式図を一例として示す。図７に示すＣｏｎｖとは、畳み込みの処理であり、Ｐｏｏｌとは、プーリングの処理である。図７では４つのＣｏｎｖとＰｏｏｌで処理が構成される例である。まず、入力画像としては輝度画像（モノクロ画像）を使用する。これをＣｏｎｖ＿１に入力して畳み込み処理を行い、続いてＰｏｏｌ＿１に入力してプーリング処理を行う。その後、次々と各ＣｏｎｖとＰｏｏｌで処理を実行する。Ｐｏｏｌ＿４の処理が完了すると、Ｌａｂ空間のａｂ空間にマッピングされたａｂ画像が生成される。これを輝度画像とともにカラー画像に変換することによってカラー変換するものである。各Ｃｏｎｖの畳み込みのパラメータは学習によって決定されるものであり、詳細については後述する。学習はＣＰＵ２０１又は不図示のＧＰＵ等によって行われる。
【００２８】
オブジェクト検出部３０８は、スキャン画像処理部３０２で処理されたスキャンデータの内部からオブジェクトを検出する。ここで、オブジェクトとは、ページ画像内に含まれる、文字以外のイラストや図形、写真などの画像である。オブジェクト合成部３０９は、カラー変換部３０７でカラー変換したオブジェクトをオブジェクト検出部３０８で検出した領域に書き戻す。
【００２９】
＜カラー変換コピー処理＞
図４を参照して、基本的なスキャン画像をカラー変換して印字させるコピー処理について説明する。以下で説明する処理は、例えばＣＰＵ２０１がフラッシュＲＯＭ２１２に格納されたプログラムをＤＲＡＭ２０２に読み出して実行することにより実現される。
【００３０】
Ｓ４０１で、ＣＰＵ２０１は、スキャナ部２０６において原稿を読み取らせ、スキャナ部２０６から出力された画像データをＤＲＡＭ２０２に記憶する。続いて、Ｓ４０２で、スキャン画像処理部３０２は、Ｓ４０１で読み取った画像データに対して、予めフラッシュＲＯＭ２１２に記憶されている設定値に基づいてスキャン画像処理を実行し、Ｓ４０３へ進む。なお、ここでは、スキャナ部２０６において原稿を読み取ってページ単位の画像データを入力する例について説明するが、本発明はこれに限定されず、例えば、ＰＣ１０２等の外部装置からページ単位の画像データを入力してもよい。
【００３１】
Ｓ４０３で、オブジェクト検出部３０８は、Ｓ４０２でスキャン画像処理された画像データからオブジェクトを検出する。なお、オブジェクト検出方法に関しては、パターンマッチングや勾配方向をヒストグラム化して特徴量を抽出し文字やオブジェクトを検出する方法が公知の技術としてあるが、ここでは詳細な説明は省略する。このオブジェクト検出処理では、後段でオブジェクト毎に処理を行えるように座標や画像サイズなどの情報をオブジェクトテーブルとしてＤＲＡＭ２０２に記憶する。
【００３２】
図９にオブジェクト検出した例を示す。９０１はスキャン画像処理したページ画像の画像データである。９０２、９０３は９０１からオブジェクト検出された図形及び写真のオブジェクトである。９０４はオブジェクトテーブルであり、オブジェクト番号と座標、画像サイズがＤＲＡＭ２０２に記憶されるものとする。ここではオブジェクトの情報として座標と画像サイズを示しているが、本発明はこれに限定されず、例えば、その他にオブジェクトの種類、不図示の回転角度、色情報などを属性情報として記載して後段の処理に用いてもよい。
【００３３】
図４の説明に戻る。Ｓ４０４で、ＣＰＵ２０１は、Ｓ４０３のオブジェクトテーブルを順に参照して、全てのオブジェクトに対して後述の画像処理を実行したか否かを判定する。全てのオブジェクトに対して画像処理の実行が終わっていればＳ４０９へ進む。一方、オブジェクトテーブルに処理していないオブジェクトがあればＳ４０５へ進む。
【００３４】
Ｓ４０５で、カラー判定部３０５は、選択されたオブジェクトがモノクロかカラー画像かを判定する。モノクロ画像と判定した場合はＳ４０７へ進み、カラー画像と判定した場合はＳ４０６へ進む。Ｓ４０６で、画像処理部２１１は、ＣＰＵ２０１に対して学習処理通知を行う。学習処理通知が行われると、ＣＰＵ２０１は、並行して後述する学習処理フローを実行する。
【００３５】
一方、モノクロ画像と判定した場合はＳ４０７で、画像処理部２１１は、カラー変換条件が満たされているか否かを判定する。ここで、カラー変換条件について詳細に説明する。ここで、カラー変換条件は、ユーザによってカラー変換処理を意図した設定が行われていれば満足される。図８に操作部２０３の画面例を示す。画面８０１は、ユーザ入力に従って、コピーの出力モードを設定する設定画面を示している。本出力モードの設定画面では、「白黒→カラー」の出力の指定を行うことでカラー変換条件が満たされるものとする。Ｓ４０７では、Ｓ４０５で既に画像がモノクロ画像であると判定された後であるが、出力モードの設定が「白黒→カラー」になっているため、カラー変換処理が必要であると判断する。また、画面８０２には、ユーザ入力によってコピーの機能設定を行う画面を示しており、「白黒カラー変換」の機能ボタンを表示している。ユーザは本ボタンを押下することでも、白黒カラー変換機能の指定を行うことができる。押下後に遷移する画面は、８０３である。画面８０３は、既に白黒カラー変換モードがＯＮとなっている。白黒カラー変換モードがＯＮとなっている場合は出力モード画面にすると自動的に画面８０１のように「白黒→カラー」の出力の指定がされるものとする。この設定の場合は、カラー変換処理が行われる。以上説明したように、ユーザの指定した設定と原稿のモノクロカラー判定結果に応じて、適切にカラー変換処理が実施されるように処理フローは構成される。カラー変換条件を満たす場合、Ｓ４０８へ進み、カラー変換条件を満たさない場合はＳ４０４へ遷移する。
【００３６】
Ｓ４０８で、カラー変換部３０７は、Ｓ４０４で選択したオブジェクト画像データに対してカラー化処理を実行し、処理をＳ４０４に戻す。つまり、ここでは、ページ画像全体に対してカラー化処理を実行するのではなく、選択したオブジェクト画像に対してのみカラー化処理を実行する。カラー化処理が施されたオブジェクト画像データは、カラーのオブジェクト画像データとなる。画像処理部２１１は、カラーのオブジェクト画像データをＤＲＡＭ２０２に格納する。
【００３７】
Ｓ４０４で全てのオブジェクトに対する処理を実行するとＳ４０９に進む。Ｓ４０９で、オブジェクト合成部３０９は、Ｓ４０８でカラー化処理されたオブジェクト画像データを、オブジェクトテーブルの情報に基づいて、スキャン画像処理した画像データのオブジェクトと置き換え、Ｓ４１０に進む。Ｓ４１０で、プリント画像処理部３０４は、ＤＲＡＭ２０２に格納された画像データに対して、予めフラッシュＲＯＭ２１２に記憶されている設定値に基づいてプリント画像処理を実行する。その後プリンタ部２０５は、プリント画像処理が行われた画像データに従って印字した記録媒体を機外へ出力し、本フローチャートを終了する。
【００３８】
＜学習処理＞
次に、図５を参照して、Ｓ４０６で学習処理通知が発行された場合に対してカラー変換部を生成して更新する処理手順を説明する。以下で説明する処理は、例えばＣＰＵ２０１がフラッシュＲＯＭ２１２に格納されたプログラムをＤＲＡＭ２０２に読み出して実行することにより実現される。
【００３９】
Ｓ５０１で、ＣＰＵ２０１は、Ｓ４０３でオブジェクト検出部３０８を用いて検出したオブジェクト画像のうち、Ｓ４０５でカラー判定部３０５を用いてカラー画像と判定した画像データを学習サンプルの期待画像としてＨＤＤ２０８に保存する。具体的には、ＣＰＵ２０１は、対象オブジェクト画像のＤＲＡＭ２０２にスプールされているカラーオブジェクト画像データを、学習サンプルの期待画像としてＨＤＤ２０８に保存する。ここでは、ファイルサイズを小さくするために不図示の圧縮処理部でＪＰＥＧなどのフォーマットに圧縮してもよいものとする。ここで、学習サンプルとは、入力画像Ｘに対して、理想の出力画像Ｄのペア（Ｘ，Ｄ）を示す。また、期待画像とは、学習時に使用する期待画像を示し、上記理想の出力画像に相当する。
【００４０】
次に、Ｓ５０２で、モノクロ変換部３０６は、ＤＲＡＭ２０２から読み出したカラーオブジェクト画像データに対して、モノクロ画像データに変換しＤＲＡＭ２０２にスプールする。なお、ここでは、ＤＲＡＭ２０２にスプールされているカラーオブジェクト画像データをモノクロ画像データに変換するのではなく、そのコピーをモノクロ画像データへ変換することが望ましい。
【００４１】
次に、Ｓ５０３で、ＣＰＵ２０１は、Ｓ５０２でモノクロ変換処理されてＤＲＡＭ２０２にスプールされているモノクロ画像データを学習サンプルの入力画像としてＨＤＤ２０８に保存し、Ｓ５０４に進む。ここでは、ファイルサイズを小さくするために不図示の圧縮処理部でＪＰＥＧなどのフォーマットに圧縮してもよいものとする。ここで、学習サンプルの入力画像とは、上記入力画像Ｘのことを示す。
【００４２】
Ｓ５０４で、ＣＰＵ２０１は、Ｓ５０１及び５０３で格納した画像ファイル（期待画像及び入力画像）の情報を学習テーブルに追加し、Ｓ５０５に進む。図６に学習テーブルを示す。学習テーブル６００は、ＨＤＤ２０８に保存され、オブジェクト画像ごとに、学習サンプルの入力画像へのパス６０１と、期待画像へのパス６０２とを紐づけて格納する。
【００４３】
Ｓ５０５で、ＣＰＵ２０１は、Ｓ５０４で生成した学習テーブル６００に記載された画像を用いて学習処理を実行する。上述したように、カラー変換部３０７は図７の例で示したように、複数の処理部（Ｃｏｎｖ、Ｐｏｏｌ）によって構成される。上記学習処理では、これらの処理部のそれぞれで使用されるパラメータを学習により更新していく。学習処理では、学習テーブルの入力画像Ｘと期待画像Ｄの対を学習サンプルとし、その集合体である学習データ（Ｘ，Ｄ）を用いる。学習処理において、ＣＰＵ２０１は、まず学習サンプルの入力画像に対してカラー化処理を実行した出力画像と期待画像の乖離を誤差関数により評価する。続いて、ＣＰＵ２０１は、その評価値をバックプロパゲーションにより複数の処理部のパラメータにフィードバックを与えることで更新を行う。図７の例では、Ｃｏｎｖ＿１、Ｐｏｏｌ＿１、Ｃｏｎｖ＿２、Ｐｏｏｌ＿２、Ｃｏｎｖ＿３、Ｐｏｏｌ＿３、Ｃｏｎｖ＿４、及びＰｏｏｌ＿４のパラメータを学習により更新していくものである。なお、各パラメータは、ＭＦＰの開発段階で与えられた学習データによって決定されたものが初期状態として組み込まれているものとする。このパラメータをユーザ環境で適宜更新していくことになる。
【００４４】
次に、Ｓ５０６で、ＣＰＵ２０１は、カラー変換部３０７を更新する。具体的には、ＣＰＵ２０１は、Ｓ５０５で学習により更新された各処理部のパラメータをカラー変換部３０７の処理部に設定することで実現されるものである。なお、ＭＦＰ１０１は画像処理部２１１が動作している場合は動作完了するまで待機し、動作完了後に更新するのは言うまでもない。
【００４５】
以上説明したように、本実施形態の画像処理装置は、ページ単位の画像データを入力し、入力された画像データに対応するページ画像に含まれるオブジェクトを検出する。また、本画像処理装置は、複数の処理部を備えるカラー変換部において、検出されたオブジェクトがモノクロ画像の場合に、オブジェクトごとに、モノクロ画像をカラー画像に変換するカラー化処理を実行する。さらに、本画像処理装置は、検出されたオブジェクトがカラー画像の場合に、当該カラー画像の画像データと、モノクロ画像に変換した画像データとを、複数の処理部で使用される、カラー化処理に関わるパラメータの学習サンプルとして保存する。これにより、本実施形態によれば、ユーザ環境においてオブジェクトごとに自動で学習サンプルを収集することが可能である。学習サンプルが生成されると、複数の処理部で構成されるカラー変換部のパラメータを再度学習し直すことにより機械学習を実現する。従って、ユーザのよく使用される原稿パターンや使用色のパターンなどに沿ったカラー変換処理部を構築することが可能となり、カラー化処理の精度をユーザの利用と共に向上させることができる。
【００４６】
＜第２の実施形態＞
以下では、本発明の第２の実施形態について説明する。上記第１の実施形態では、カラー変換部３０７のパラメータは取得された画像サンプルから学習されて生成された。しかしながら、学習サンプルを種別ごとに学習させることでさらにカラー化の再現率の向上が見込まれることがある。このことからオブジェクト検出時にオブジェクトの特徴からオブジェクト種別を分類し、その種別ごとに学習してパラメータを生成するように制御する実施例を説明する。なお、上記第１の実施形態と同様の処理や構成については説明を省略する。
【００４７】
＜カラー変換コピー処理＞
図４、図１０及び図１１を参照して、基本的なスキャン画像をカラー変換して印字させるコピー処理について説明する。以下で説明する処理は、例えばＣＰＵ２０１がフラッシュＲＯＭ２１２に格納されたプログラムをＤＲＡＭ２０２に読み出して実行することにより実現される。Ｓ４０３及びＳ４０８以外の処理については上記第１の実施形態と同様のため説明を省略する。
【００４８】
Ｓ４０３で、オブジェクト検出部３０８は、Ｓ４０２でスキャン画像処理された画像データからオブジェクトを検出する。ここで、上記第１の実施形態と異なり、検出したオブジェクトのオブジェクト種別ごとにオブジェクトテーブルを生成する。オブジェクトテーブルの詳細については図１１を参照して後述する。
【００４９】
その後Ｓ４０８で、カラー変換部３０７は、Ｓ４０４で選択したオブジェクト画像データに対してカラー化処理を実行する。ここで、カラー変換部３０７は、上記Ｓ４０３で生成したオブジェクトテーブルにおけるオブジェクト種別によって処理を変えるものとする。図１１に示すように、オブジェクトテーブル１１０１〜１１０３は、オブジェクト種別ごとに生成されている。例えばオブジェクト種別が図形の場合は、カラー変換部３０７は、後述の図形画像で学習したパラメータを用いてカラー化処理を実行する。同様にオブジェクト種別が写真、イラストであった場合には、それらの種別毎のパラメータを用いてカラー化処理を実行する。カラー化処理を実行したオブジェクト画像データは、カラーのオブジェクト画像データとなる。カラー変換部３０７は、カラーのオブジェクト画像データをＤＲＡＭ２０２に格納する。なお、オブジェクト毎に変換部のパラメータを設定してもよいし、変換部を複数持って別々のパラメータを設定しオブジェクトによって変換部を選択して処理させてもよい。
【００５０】
＜学習処理＞
続いてＳ４０６において学習処理通知が発行された場合に対してカラー変換部を生成して更新するフローについて図１０を用いて説明をする。以下で説明する処理は、例えばＣＰＵ２０１がフラッシュＲＯＭ２１２に格納されたプログラムをＤＲＡＭ２０２に読み出して実行することにより実現される。なお、Ｓ１００１からＳ１００３はＳ５０１からＳ５０３と同様の処理のため説明を省略する。
【００５１】
Ｓ１００４で、ＣＰＵ２０１は、選択されたオブジェクトのオブジェクト種別を参照する。オブジェクト種別が図形の場合はＳ１００５へ、写真の場合はＳ１００８へ、イラストの場合はＳ１０１１へ進む。
【００５２】
Ｓ１００５で、ＣＰＵ２０１は、期待画像及び入力画像を、図形学習テーブル１１０１に追加する。Ｓ１００８及びＳ１０１１も同様に、ＣＰＵ２０１は、入力画像をその種別に応じて、写真学習テーブル１１０２、イラスト学習テーブル１１０３に追加する。
【００５３】
Ｓ１００６で、ＣＰＵ２０１は、図形学習テーブル１１０１の学習サンプルを用いて学習処理を実行する。Ｓ１００９及びＳ１０１２も同様に、ＣＰＵ２０１は、写真学習テーブル１１０２、イラスト学習テーブル１１０３の学習サンプルを用いて学習処理を実行する。なお、詳細はＳ５０５と同様のため説明を省略する。
【００５４】
Ｓ１００７で、ＣＰＵ２０１は、図形用のカラー変換部３０７を更新し、処理を終了する。Ｓ１０１０及びＳ１０１３も同様に、ＣＰＵ２０１は、写真用のカラー変換部３０７、イラスト用のカラー変換部３０７を更新し、処理を終了する。
【００５５】
以上説明したように、本実施形態に係る画像処理装置では、ユーザ環境において自動でオブジェクト種別毎に学習サンプルを生成することが可能である。オブジェクト種別毎の学習サンプルが生成されると、複数の処理部で構成されるオブジェクト種別毎のカラー変換部のパラメータを再度学習し直す。従って、ユーザのよく使用されるオブジェクトパターンに沿ったカラー変換処理部を構築することが可能となる。
【００５６】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５７】
１０１：ＭＦＰ、２０１：ＣＰＵ、２０２：ＤＲＡＭ、２０３：操作部、２０４：ネットワークＩ／Ｆ、２０５：プリンタ部、２０６：スキャナ部、２０７：ＦＡＸ、２０８：ＨＤＤ、２０９：システムバス、２１１：画像処理部、２１２：フラッシュＲＯＭ、２１３：システムＩ／Ｆ、３０５：カラー判定部、３０６：モノクロ変換部、３０７：カラー変換部
【図１】
2019153061.tif 000003
【図２】
2019153061.tif 000004
【図３】
2019153061.tif 000005
【図４】
2019153061.tif 000006
【図５】
2019153061.tif 000007
【図６】
2019153061.tif 000008
【図７】
2019153061.tif 000009
【図８】
2019153061.tif 000010
【図９】
2019153061.tif 000011
【図１０】
2019153061.tif 000012
【図１１】
2019153061.tif 000013