(57)【要約】【課題】機械学習技術を用いたモノクロ画像をカラー画像に変換する処理において、ユーザの所望のカラー変換が行われない場合がある。さらに、システム側ではカラー化に失敗しているとは判断できない場合がある。【解決手段】画像処理装置であって、読取手段にて読み取られた原稿の画像データを取得する取得手段と、前記画像データからオブジェクトを検出する検出手段と、前記検出手段にて検出されたオブジェクトがカラー画像かモノクロ画像かを判定するカラー判定手段と、前記カラー判定手段にてモノクロ画像であると判定されたオブジェクトそれぞれをカラー画像に変換する変換手段と、前記変換手段にて変換されたオブジェクトそれぞれに対し、ユーザによる編集が可能なように表示を行う表示手段とを備える。【選択図】  図４
2019145030.tif 000002
【特許請求の範囲】
【請求項１】
読取手段にて読み取られた原稿の画像データを取得する取得手段と、
前記画像データからオブジェクトを検出する検出手段と、
前記検出手段にて検出されたオブジェクトがカラー画像かモノクロ画像かを判定するカラー判定手段と、
前記カラー判定手段にてモノクロ画像であると判定されたオブジェクトそれぞれをカラー画像に変換する変換手段と、
前記変換手段にて変換されたオブジェクトそれぞれに対し、ユーザによる編集が可能なように表示を行う表示手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記表示手段は、オブジェクトの色相の調整を受け付けるためのスライドバーを表示することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記表示手段は、オブジェクトに対する色を指定するためのカラーパレットを表示することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記表示手段によるオブジェクトに対する編集を可能とするための設定を行う設定手段を更に有することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項５】
前記表示手段は、オブジェクトの種別に応じて、当該オブジェクトに対する編集の方法を切り替えて表示することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項６】
前記表示手段は、前記変換手段にて変換されたオブジェクトそれぞれに対し、変換される前のモノクロ画像に変更が可能なように表示を行うことを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
【請求項７】
前記オブジェクトは、イラスト、図形、写真、及びロゴマークのいずれかの種別であることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
【請求項８】
前記変換手段は、前記カラー判定手段にてカラー画像であると判定されたオブジェクトの画像データを用いて、オブジェクトを変換するためのパラメータを算出する算出処理を行うことを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
【請求項９】
前記算出処理は、前記カラー判定手段にてカラー画像であると判定されたオブジェクトの画像データと、当該オブジェクトの画像データをモノクロ変換処理して得られた画像データとを用いた機械学習による処理であることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
請求項１乃至９のいずれか一項に記載の画像処理装置と、
原稿から画像データを読み取る読取手段と、
前記画像処理装置にて処理された画像データを用いて印刷を行う印刷手段と
を備えることを特徴とする画像形成装置。
【請求項１１】
読取手段にて読み取られた原稿の画像データを取得する取得工程と、
前記画像データからオブジェクトを検出する検出工程と、
前記検出工程にて検出されたオブジェクトがカラー画像かモノクロ画像かを判定するカラー判定工程と、
前記カラー判定工程にてモノクロ画像であると判定されたオブジェクトそれぞれをカラー画像に変換する変換工程と、
前記変換工程にて変換されたオブジェクトそれぞれに対し、ユーザによる編集が可能なように表示部に表示を行う表示工程と
を有することを特徴とする画像処理方法。
【請求項１２】
コンピュータを、
読取手段にて読み取られた原稿の画像データを取得する取得手段、
前記画像データからオブジェクトを検出する検出手段、
前記検出手段にて検出されたオブジェクトがカラー画像かモノクロ画像かを判定するカラー判定手段、
前記カラー判定手段にてモノクロ画像であると判定されたオブジェクトそれぞれをカラー画像に変換する変換手段、
前記変換手段にて変換されたオブジェクトそれぞれに対し、ユーザによる編集が可能なように表示を行う表示手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像形成装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、マルチファンクションプリンター（以後、ＭＦＰと呼ぶ）においてスキャナで読み取ったモノクロ画像をカラー画像に変換する画像処理（以後、カラー化処理と呼ぶ）がある。従来のカラー化処理は、入力したモノクロ画像を予め備えた処理アルゴリズムに基づきカラー画像に変換する。処理アルゴリズムは所定の設定値を備え、複数の設定値に基づきカラー化処理後の画像の見栄えを変更できる（例えば、特許文献１参照）。
【０００３】
一方、設定値を予め定めて画像処理を行う手法とは別に、所定の設定値を備えた処理モデルへの入力データと、それに対して期待する出力データとの誤差を評価し、誤差が最小となるように設定値を変更することで所望の処理を実現する機械学習による手法がある。近年では人の視野覚細胞の構成を模した畳み込みニューラルネットワーク（以降、ＣＮＮと呼ぶ）を用いた機械学習処理モデルにより高度な画像処理が行われている。カラー化処理の分野において、多数のモノクロ画像と期待するカラー画像との組をＣＮＮに学習させることで多様な入力画像に対して精度良くカラー変換された出力画像結果が得られることが知られている（例えば、非特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−６６７３４号公報
【非特許文献】
【０００５】
【非特許文献１】飯塚  里志、他２名、“ディープネットワークを用いた大域特徴と局所特徴の学習による白黒写真の自動色付け”、［ｏｎｌｉｎｅ］、平成２８年、ＳＩＧＧＲＡＰＨ  ２０１６、［平成２９年１２月２６日検索］、インターネット
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ＣＮＮを用いた機械学習技術に基づくカラー化処理においても、これまで学習した画像とは大きく異なる未知の入力画像に対してはカラー化が失敗する場合がある。また、統計用のグラフなどが記載されるオフィス文書のカラー化においては、カラー化されたグラフの色使いが、オフィス文書を使用するユーザの嗜好と合わない場合が考えられる。さらに、ロゴマークのように本来特定の色に決まっているものに異なる色使いでカラー化されたとしても、システム側ではカラー化に失敗しているとは判断できないという問題もある。カラー化処理によってユーザの目的とする画像が得られないと、ユーザに提供するべき利便性が低下してしまう。
【０００７】
上記問題を鑑み、本発明では、ＣＮＮを用いた機械学習技術に基づくカラー化処理において、カラー化する領域をユーザの操作によって確認、編集する手段を提供してユーザの利便性を向上することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために本願発明は以下の構成を有する。すなわち、画像処理装置であって、読取手段にて読み取られた原稿の画像データを取得する取得手段と、前記画像データからオブジェクトを検出する検出手段と、前記検出手段にて検出されたオブジェクトがカラー画像かモノクロ画像かを判定するカラー判定手段と、前記カラー判定手段にてモノクロ画像であると判定されたオブジェクトそれぞれをカラー画像に変換する変換手段と、  前記変換手段にて変換されたオブジェクトそれぞれに対し、ユーザによる編集が可能なように表示を行う表示手段とを備える。
【発明の効果】
【０００９】
本発明により、機械学習技術に基づくカラー化処理の結果をユーザによって確認、編集することが可能となり、ユーザの利便性が向上する。
【図面の簡単な説明】
【００１０】
【図１】本実施形態に係るシステムの構成例を示す図。
【図２】本実施形態に係るＭＦＰのハードウェア構成の例を示す図。
【図３】本実施形態に係るＭＦＰの画像処理部の構成例を示す図。
【図４】本実施形態に係るＭＦＰのコピー処理のフローチャート。
【図５】本実施形態に係るＭＦＰの学習処理のフローチャート。
【図６】本実施形態に係る学習テーブルの例を示す図。
【図７】本実施形態に係るカラー変換部の処理モデルの模式図。
【図８】本実施形態に係るＭＦＰの操作部の画面の構成例を示す図。
【図９】本実施形態に係るオブジェクトの例を示す図。
【図１０】本実施形態に係るカラー編集処理の画面の構成例を示す図。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態について図面を用いて説明する。
【００１２】
＜第１実施形態＞
以下、図面を参照して本発明を適用できる実施形態を詳細に説明する。なお、各図面において同様の機能を有する箇所には同一の符号を付し、説明の重複は適宜省略する。
【００１３】
［システム構成］
図１は、本実施形態に係るシステム構成の例を示す図である。本システムにおいて、ＭＦＰ１０１、ＰＣ１０２、サーバ１０３を含んで構成され、各装置は、ＬＡＮ１０４を介して通信可能に接続されている。ＭＦＰ１０１は、画像形成装置の一例であり、印刷機能やスキャナ機能などを有する装置である。ＰＣ１０２、サーバ１０３は、情報処理装置であり、必要に応じて、ＭＦＰ１０１と連携して処理を実行する。ＬＡＮ１０４のネットワーク構成は特に限定するものではなく、有線／無線も問わない。また、図１においては、各装置が１台ずつ示されているが、これに限定するものではない。
【００１４】
［ＭＦＰ］
図２は、本実施形態に係るＭＦＰ１０１のハードウェア構成の例を示す図である。ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１は、ＭＦＰ１０１全体の制御を司る。ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）であり２０２は、ＣＰＵ２０１で実行されるプログラムを格納すると共に一時的なデータのワークエリアとして機能する。操作部２０３は、シリアルＩ／Ｆ２１３を介してＣＰＵ２０１にユーザによる操作を通知する。ネットワークＩ／Ｆ２０４は、ＬＡＮ１０４と接続して外部機器と通信を行う。プリンタ部２０５は、画像データに基づいて、記録媒体（例えば、紙）上に印刷を行う。スキャナ部２０６は、原稿に対する読取手段であり、記録媒体上の画像を光学的に読み取り電気信号に変換してスキャン画像を生成する。
【００１５】
ＦＡＸ２０７は、公衆回線２１０と接続して外部機器とファクシミリ通信を行う。ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）２０８は、ＣＰＵ２０１で実行されるプログラムを格納すると共にプリントジョブやスキャンジョブ等のスプール領域としても利用される。システムバス２０９は、各モジュールを相互に接続し、モジュール間の通信を行う。公衆回線２１０は、ＦＡＸ２０７と外部機器を相互接続する。画像処理部２１１は、ネットワークＩ／Ｆ２０４を介して受信したプリントジョブをプリンタ部２０５で印刷するのに適した画像への変換処理や、スキャナ部２０６で読み取ったスキャン画像に対する画像処理を実行する。また、画像処理部２１１は、ＬＡＮ１０４からネットワークＩ／Ｆ２０４を経由し外部装置から受信した画像データ（ＰＤＬコード）をビットマップデータに展開する。さらに画像処理部２１１は、プリンタ部２０５で画像データを印刷するための前処理としての画像処理を行う。画像処理部２１１の詳細は後述する。ＦＬＡＳＨ  ＲＯＭ（ＦＬＡＳＨ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２１２は、ＣＰＵ２０１で実行されるプログラムを格納すると共にＭＦＰ１０１のデフォルト設定値、ユーザごとのデフォルト設定値、一時的なカスタム設定値、等を記憶する。シリアルＩ／Ｆ２１３は、操作部２０３とシステムバス２０９を相互接続する。
【００１６】
（画像処理部）
図３は、本実施形態に係るＭＦＰ１０１が備える画像処理部２１１の内部構成の例を示す図である。図３において、システムバスＩ／Ｆ３０１は、システムバス２０９と信号バス３１０のプロトコル変換や調停を行い画像処理部２１１の各モジュールとシステムバス２０９に接続された各モジュールを相互接続する。スキャン画像処理部３０２は、スキャナ部２０６で読み取ったスキャン画像に施すシェーディング補正処理やＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）補正処理、入力ガンマ補正やフィルタ処理を行う。更には、これらに加え、スキャン画像処理部３０２は、ノイズ除去や色空間変換、回転、圧縮等の画像処理を行う。レンダリング処理部３０３は、外部装置から受信した画像データ（ＰＤＬコード）をビットマップデータに展開する。
【００１７】
プリント画像処理部３０４は、プリンタ部２０５で画像データを印刷するための前処理となる画像処理を行う。前処理として、具体的には、ＲＧＢをＣＭＹＫに変換する色空間変換処理やディザ法や誤差拡散法による中間調処理、ガンマ補正などが挙げられる。画像処理後の画像データは、プリンタ部２０５へ出力される。ここで、プリント画像処理部３０４は、プリンタ部２０５の起動および給紙に合わせてプリンタ部２０５へ画像データを出力するために、タイミング同期用のバッファであるＤＲＡＭ２０２へ画像データを一時的に書き込む。そして、プリント画像処理部３０４は、記録媒体の給紙のタイミングと同期してＤＲＡＭ２０２から画像データを読み込み、プリンタ部２０５へ出力する。
【００１８】
カラー判定部３０５は、スキャン画像処理部３０２で処理した画像がカラー画像かモノクロ画像かの判定を行う。ここでは、画像全体を画素毎に走査して得た画素を構成するＲ、Ｇ、Ｂの各コンポーネントの値から画素の色味を取得して積算し、色味の累計が所定値を超えていた場合、その画像はカラー画像であると判定する。一方、色味の累計が所定値以下であった場合、その画像はモノクロ画像であると判定する。モノクロ変換部３０６は、スキャン画像処理部３０２で処理したカラー画像の画素毎にＲＧＢのコンポーネントを演算することによって算出された値をモノクロ画像の画素値とすることでモノクロ変換を行う。カラー変換部３０７は、スキャン画像処理部３０２で処理したモノクロ画像をカラー画像に変換する。本実施形態ではＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）で構成した機械学習技術に基づいて算出処理を行う処理モデルを用いる。カラー変換部３０７の詳細は後述する。
【００１９】
オブジェクト検出部３０８は、スキャン画像処理部３０２で処理されたスキャンデータの内部からオブジェクトを検出する。ここでオブジェクトとは、文字以外のイラストや図形、写真、ロゴマークなどの画像の領域を示す。しかし、これに限定するものではなく、例えば、文字であっても図形化されている場合には、オブジェクト（オブジェクト領域）として扱ってもよい。オブジェクト合成部３０９は、カラー変換部３０７でカラー変換したオブジェクトをオブジェクト検出部３０８で検出した領域に書き戻す。画像処理部２１１の信号バス３１０は、各モジュールを相互に接続して通信を行う。
【００２０】
［カラー変換コピー動作］
図４を用いてＭＦＰ１０１におけるカラー化処理として、スキャン画像をカラー変換して紙出力するコピー動作を説明する。以下の動作処理は、特に明記した場合を除いて、ＣＰＵ２０１がＦＬＡＳＨ  ＲＯＭ２１２に格納されたプログラムに基づき各処理部に指示を与えて処理を実行するものとする。
【００２１】
Ｓ４０１にて、スキャナ部２０６は、不図示の原稿台または紙搬送部に置かれた原稿（記録媒体）を画像データとして読み取り、ＤＲＡＭ２０２に保存する。
【００２２】
Ｓ４０２にて、スキャン画像処理部３０２は、Ｓ４０１で読み取った画像データに対してスキャン用画像処理を行う。ここでのスキャン用画像処理は、ＦＬＡＳＨ  ＲＯＭ２１２が予め記憶している設定値に基づいて行うものとして説明する。
【００２３】
Ｓ４０３にて、ＣＰＵ２０１は、カラー化処理を行うためのモード設定の有無を判定する。カラー化処理モードは、例えば、ＭＦＰ１０１の操作部２０３が備える画面を介してユーザが設定するものである。本設定の詳細は後述する。カラー化処理モードが設定されている場合は（Ｓ４０３にてＹＥＳ）Ｓ４０４へ遷移し、設定されていない場合は（Ｓ４０３にてＮＯ）Ｓ４１２へ遷移する。
【００２４】
Ｓ４０４にて、オブジェクト検出部３０８は、Ｓ４０２でスキャン用画像処理を施した画像データからオブジェクトを検出する。ここで、オブジェクト検出方法としては、パターンマッチング法や、勾配方向をヒストグラム化して特徴量を抽出して文字やオブジェクトを検出する方法などが挙げられる。本実施形態においても、同様な手法を用いてオブジェクト検出を行う。なお、オブジェクト検出方法は、上記に限定するものではなく、他の方法を用いてもよい。そして、オブジェクト検出部３０８は、検出したオブジェクトに対する元画像における座標位置や画像サイズ等の情報をオブジェクト管理テーブルに登録し、ＤＲＡＭ２０２に記憶する。オブジェクト管理テーブルの詳細は図９を用いて後述する。
【００２５】
Ｓ４０５にて、ＣＰＵ２０１は、Ｓ４０４で作成したオブジェクト管理テーブルの全オブジェクトに対して、後述する本フローチャートの処理（Ｓ４０６〜Ｓ４０８）を実行したかを判定する。未処理のオブジェクトがあれば（Ｓ４０５にてＮＯ）、ＣＰＵ２０１は、未処理のオブジェクトの中から１つを選択し、Ｓ４０６へ遷移して処理を行う。一方、全オブジェクトに対する処理が終了したと判定した場合は（Ｓ４０５にてＹＥＳ）Ｓ４０９へ遷移する。
【００２６】
Ｓ４０６にて、カラー判定部３０５は、Ｓ４０４で検出したオブジェクトがモノクロ画像かカラー画像かを判定する。上述したように、ここでの判定では、画素を構成するＲ、Ｇ、Ｂの各コンポーネントの値から画素の色味を取得して積算し、色味の累計が所定値を超えていた場合、その画像はカラー画像であると判定する。モノクロ画像であると判定した場合は（Ｓ４０６にてＮＯ）Ｓ４０７へ遷移する。一方、カラー画像であると判定した場合は（Ｓ４０６にてＹＥＳ）Ｓ４０８へ遷移する。
【００２７】
Ｓ４０７にて、カラー変換部３０７は、Ｓ４０６でモノクロ画像と判定されたオブジェクトに対してカラー化処理を行う。上述したように、カラー化処理は、ＣＮＮにて学習された処理モデルに基づいて画像処理が行われるものとする。したがって、学習が進み、この学習内容に基づいて算出されたパラメータを用いることで、同じオブジェクトであっても異なる処理結果が出力されることとなる。その後、Ｓ４０５の処理へ戻る。
【００２８】
Ｓ４０８にて、ＣＰＵ２０１は、Ｓ４０６でカラー画像と判定したオブジェクトに対して学習処理を行うための通知処理を行う。ＣＰＵ２０１は、この学習処理通知に基づき、当該オブジェクトを用いた学習処理を行う。ここでの学習処理の詳細は図５を用いて後述する。その後、Ｓ４０５の処理へ戻る。
【００２９】
Ｓ４０９にて、ＣＰＵ２０１は、カラー編集処理を行うためのモード設定の有無を判定する。カラー編集モードは、例えば、操作部２０３を介してユーザにより設定される。本設定の詳細については後述する。カラー編集モードが設定されている場合は（Ｓ４０９にてＹＥＳ）Ｓ４１０へ遷移し、設定されていない場合は（Ｓ４０９にてＮＯ）Ｓ４１１へ遷移する。
【００３０】
Ｓ４１０にて、ＣＰＵ２０１は、操作部２０３において、ＤＲＡＭ２０２から読み出したスキャン用画像処理を施した画像とＳ４０７でカラー化処理を行ったオブジェクトを配置したプレビュー画面を表示させる。更に、ＣＰＵ２０１は、操作部２０３を介してユーザからの入力を受け付け、カラー化処理を行ったオブジェクトに対するカラー編集指示に基づいて、カラー化されたオブジェクトの色変換処理を行う。そして、ＣＰＵ２０１は、カラー編集処理後のオブジェクトをＤＲＡＭ２０２に格納する。本処理の詳細は後述する。その誤、Ｓ４１１の処理へ進む。
【００３１】
Ｓ４１０にて、オブジェクト合成部３０９は、画像合成処理を行う。ここでは、Ｓ４０７でカラー化処理したオブジェクト、および、Ｓ４１０でカラー編集処理によって修正されたオブジェクトが、スキャン用画像処理を施した画像上のオブジェクトと置き換えられる。その結果、ユーザにより編集されたオブジェクトを含む画像データが生成される。オブジェクト合成部３０９は、置き換え後の画像データをＤＲＡＭ２０２に格納する。
【００３２】
Ｓ４１２にて、プリント画像処理部３０４は、ＤＲＡＭ２０２に格納されている画像データに対してＦＬＡＳＨ  ＲＯＭ２１２の記憶した設定値に基づきプリント用画像処理を行う。そして、プリンタ部２０５は、画像を記録媒体に印刷して出力する。そして、本処理フローを終了する。
【００３３】
なお、本処理フローでは、Ｓ４１０の処理はカラー編集処理モードが設定されているときに実行するものとした。しかし、例えば、Ｓ４０７におけるカラー化処理において、カラー化処理の成否を判定し、カラー化したオブジェクトにひとつでも失敗の可能性がある場合にＳ４１０のカラー編集処理を実行するような構成であってもよい。
【００３４】
［学習処理］
図５〜図７を用いて、図４のＳ４０９において学習処理通知が発行された場合に、学習処理を行い、カラー変換部３０７にて用いられる処理モデルを更新する処理フローについて説明をする。本処理は、特に明記した場合を除いて、ＣＰＵ２０１がＦＬＡＳＨ  ＲＯＭ２１２に格納されたプログラムに基づき、各処理部を指示することで実行するものとする。
【００３５】
Ｓ５０１にて、ＣＰＵ２０１は、Ｓ４０４でオブジェクト検出部３０８が検出したオブジェクトのうち、Ｓ４０５でカラー判定部３０５がカラー画像と判定したカラーオブジェクトの画像データを、ＤＲＡＭ２０２から読み出す。そして、ＣＰＵ２０１は、読み出したカラーオブジェクトの画像データを学習サンプルの期待画像としてＨＤＤ２０８に保存する。このとき、ファイルサイズを小さくするために圧縮伸長処理部（不図示）でＪＰＥＧなどのフォーマットに圧縮してもよい。
【００３６】
Ｓ５０２にて、モノクロ変換部３０６は、ＨＤＤ２０８に保存した画像データを読み出し、モノクロ画像データに変換してＤＲＡＭ２０２に記憶する。上述したように、ここでは、カラー画像の画素毎にＲＧＢのコンポーネントを演算することによって算出された値を、対応するモノクロ画像の画素値とすることでモノクロ変換を行う。なお、ＨＤＤ２０８から読み出した画像がＪＰＥＧ等の圧縮形式の場合は、圧縮伸長処理部（不図示）で画像伸長した後にモノクロ変換処理を行うものとする。
【００３７】
Ｓ５０３にて、ＣＰＵ２０１は、Ｓ５０２でモノクロ変換してＤＲＡＭ２０２に記憶したモノクロ画像データを学習処理の入力画像としてＨＤＤ２０８に保存する。ここでもファイルサイズを小さくするために圧縮伸長処理部（不図示）でＪＰＥＧなどのフォーマットに圧縮してもよい。
【００３８】
Ｓ５０４にて、ＣＰＵ２０１は、Ｓ５０１およびＳ５０３で記憶した画像ファイルを学習テーブルに追加する。学習テーブルの構成例を図６に示す。学習テーブル６０１は、前述の各画像のパスを有し、ＨＤＤ２０８に記憶されている。図６の学習テーブル６０１において、学習サンプル入力画像は、Ｓ５０３にて保存されたモノクロ画像のパスを示し、学習サンプル期待画像は、Ｓ５０１にて保存されたカラー画像のパスを示す。
【００３９】
Ｓ５０５にて、ＣＰＵ２０１は、Ｓ５０４で生成した学習テーブル６０１で示された画像と、カラー変換部３０７とを用いて学習を行う。
【００４０】
図７は、カラー変換部３０７における処理モデルを模式的に示している。図７に示すＣｏｎｖは、畳み込み処理を行う階層である。各畳み込み層はそれぞれ不図示の２次元フィルタ関数（例えば、５×５のフィルタ）を備え、各畳み込み層の入力画像データに対して２次元フィルタ関数を用いて畳み込み演算を行う。また、図７に示すＰｏｏｌは、プーリング処理を行う階層である。各プーリング層はそれぞれ不図示の２次元プーリング関数を備え、各プーリング層の入力に対して２次元プーリング関数のウィンドウ内の画素から条件に合致する画素を取り出す。例えば、ウィンドウサイズが２×２の最大プーリングであれば、ウィンドウ内の４画素の中から最大画素値を有する画素を取り出す。
【００４１】
本実施形態に係るカラー変換部３０７における処理モデルは、例えば、Ｃｏｎｖ層とＰｏｏｌ層との組を４組直列に接続した構成で学習を行う。まず、輝度情報のみを備えたモノクロ画像を入力データとして用意する。これを第１層のＣｏｎｖ＿１に入力し畳み込み処理を行い、続いてＰｏｏｌ＿１でプーリング処理を行う。その後、第２層から第４層の各Ｃｏｎｖ層とＰｏｏｌ層に前層の処理結果入力して処理を行う。そして、Ｐｏｏｌ＿４の処理後のデータを、輝度（Ｌ）と彩度（ａｂ）とで構成される色空間（Ｌａｂ空間）のａｂ空間にマッピングして中間カラー画像を生成する。最後に、中間カラー画像と輝度画像とを合成してカラー画像に変換することでカラー化処理を行う。
【００４２】
Ｓ５０５では、このカラー変換部３０７における処理モデルの各層が備えるパラメータの学習が行われる。まず、学習テーブル６０１の入力画像（モノクロ画像）と期待画像（カラー画像）の対を学習サンプルとし、その集合体である学習データを用意する。次に、学習サンプルの入力画像を入力した処理モデルを構成する各層の処理部から得られた出力画像と、当該入力画像と対になる期待画像との乖離度を誤差関数で評価する。本実施形態では、例えば、出力画像と期待画像とで画素毎の濃度差を交差エントロピー等の誤差関数で評価する。得られた評価値に基づき、バックプロパゲーションによりパラメータを更新する。具体的には、例えば、確率的勾配降下法等の最適化関数を用いて、出力結果の画素値が学習テーブル６０１の学習サンプル期待画像の対応する画素値に近づくようにパラメータ更新値を決定する。これを出力側のＰｏｏｌ＿４から入力側に遡る順で各層に適用して各層のパラメータを更新する。なお、上記に示した処理の流れは一例であり、他の関数や評価基準を用いてもよい。
【００４３】
なお、カラー変換部３０７における処理モデルが備えるパラメータは、ＭＦＰ１０１の出荷時には不図示の多数の学習サンプルで予め学習して生成したパラメータが初期値として設定されているものとする。出荷後には、ＭＦＰ１０１を使用するたびに、上述した学習処理に基づきパラメータが更新されるものとする。
【００４４】
Ｓ５０６にて、ＣＰＵ２０１は、Ｓ５０５の学習処理が完了により、カラー変換部３０７における処理モデルを更新する。そして本処理フローを終了する。なお、学習処理は、図４のＳ４０８における学習処理通知後に、Ｓ４０５にて全オブジェクトの処理終了を検知した後に実行するものとする。
【００４５】
［カラー化処理モード設定］
図８を用いて、本実施形態のカラー化処理モード設定に係る、ＭＦＰ１０１の操作部２０３にける画面の表示例を説明する。図８（ａ）、（ｂ）にコピーの出力モードの設定画面を示す。本出力モードの設定画面において、「フルカラー」の出力の指定（ボタン８０１）、または、「白黒→カラー」の出力の指定（ボタン８０２）によりカラー化処理モードが有効設定される。また、図８（ｃ）は、コピーの機能設定画面を示しており、「白黒カラー変換」のボタン８０３が表示される。ユーザはボタン８０３を押下することで、白黒カラー変換機能の実行を設定できる。ボタン８０３押下後に表示される図８（ｄ）の画面では既に白黒カラー変換モードが設定済であり、カラー化処理モードが有効設定される。さらに、図８（ｄ）に示す画面ではカラー編集モードの設定が含んで構成され、ユーザはボタン８０４を押下することで、カラー編集モードが有効設定される。なお、カラー編集モードはデフォルト設定で有効としていてもよい。
【００４６】
［オブジェクト管理テーブル］
図９を用いて、スキャナ部２０６にて読み込んだ原稿からオブジェクト検出した例を示す。画像データ９０１は、図４のＳ４０２においてスキャン用画像処理を施した画像データである。オブジェクト９０２、９０３、９０４は、図４のＳ４０４において画像データ９０１からオブジェクト検出された図形、写真、およびロゴマークのオブジェクトである。ここでは、３つのオブジェクトが検出されたものとして説明する。オブジェクト管理テーブル９０５は、検出された各オブジェクトを管理するためのテーブルであり、ＤＲＡＭ２０２に保持される。オブジェクト管理テーブル９０５では、オブジェクトを一意に識別するためのオブジェクト番号、画像データ９０１上での座標、画像サイズ、保存先情報９１１、および、カラー変換処理後の保存先情報９１２が対応付けて保持される。
【００４７】
なお、オブジェクト管理テーブル９０５にて管理されるオブジェクトの情報は上記の情報に限定するものではない。例えば、その他にオブジェクトの種類、不図示の回転角度、色情報や、カラー化処理結果を判定する場合には成否の判定結果などを属性情報として備えてもよい。
【００４８】
［カラー編集処理］
図１０に示すカラー編集処理に係る操作部２０３の表示例を用いて、前述した図４のＳ４１０で行うカラー編集処理の詳細について説明する。
【００４９】
図１０（ａ）の画像データ１００１は、図４のＳ４０５からＳ４０９にフローが遷移する時点（Ｓ４０５にてＹＥＳ）で得られる画像である。画像データ１００１は、Ｓ４０２でスキャン用画像処理を施した画像とＳ４０７でカラー化処理を行ったオブジェクトを配置したプレビュー画面として、図１０（ｃ）のように操作部２０３に表示される。
【００５０】
図１０（ａ）において、オブジェクト１００２、１００３、１００４は、図９の画像データ９０１と同様に、図４のＳ４０２において検出されたオブジェクトであり、これらのオブジェクトに対しては、Ｓ４０７におけるカラー化処理が施されている。
【００５１】
ユーザは、表示部である操作部２０３に表示された画面を参照し、操作部２０３を介していずれかのオブジェクトを選択することによって、カラー化されたオブジェクトのカラー編集を行う。図１０（ｄ）、（ｅ）はそれぞれ、ユーザからカラー編集するオブジェクトとしてオブジェクト１００２、１００４の指示を受け付けた場合の、操作部２０３にて表示されるカラー編集画面の構成例を示している。
【００５２】
図１０（ｄ）、（ｅ）に示すカラー編集画面は、カラー編集として色相を調整するためのスライドバー１００５、および、使用する色を選択指定するためのカラーパレット１００６が配置される。色相調整を行うスライドバー１００５は、オブジェクト１００２のように図形のグラフの色相をユーザの好みに合わせて調整するのに適している。例えば、オブジェクト１００２は、スライドバー１００５の位置に応じて調整された結果、オブジェクト１０１２のように表示される。ここでは、調整前後の対比が分かるように、オブジェクト１００２、１０１２がそれぞれ表示されている。
【００５３】
色を選択するカラーパレット１００６は、オブジェクト１００４のようなロゴマークに対して、コーポレートカラーのように特定の色使いを指定してするのに適している。例えば、オブジェクト１００４は、選択された色に応じて調整された結果、オブジェクト１０１４のように表示される。ここでは、調整前後の対比が分かるように、オブジェクト１００４、１０１４がそれぞれ表示されている。
【００５４】
図１０（ｄ）、（ｅ）に示すカラー編集画面でのカラー編集操作が完了すると、図１０（ｃ）のプレビュー画面が表示される。操作部２０３において、元の図１０（ａ）の表示から図１０（ｂ）に示すようなカラー編集されたオブジェクトに置き換えた表示に更新された結果がプレビュー画面として表示される。
【００５５】
なお、図１０（ｃ）では示していないが、カラー化処理を行う前のモノクロ画像としてのオブジェクトを対比可能な様に画面上に示してもよい。また、図１０（ｄ）（ｅ）においても、カラー化処理を行う前のモノクロ画像としてのオブジェクトを対比可能な様に画面上に表示してもよい。また、オブジェクトごとに、カラー化処理前のモノクロ画像に戻すような指定が可能なように構成してもよい。
【００５６】
また、上記の例では、オブジェクトの編集方法として、スライドバーによる色相調整と、カラーバレットによる色指定の方法を挙げたが、これに限定するものではない。例えば、ＲＧＢの各色に対して色値を入力可能なフィールドを設けてもよい。
【００５７】
また、上記の図１０の例では、グラフに対応するオブジェクト１００２について１つのオブジェクトとして扱っていたが、編集時には、更に詳細な領域ごとに色の指定が可能な様にしてもよい。また、オブジェクトの種別ごとに編集に用いる指定方法を変更するようにしてもよい。
【００５８】
また、上記の例では、図１０に示す画面をＭＦＰ１０１が備える操作部２０３に表示する構成であったが、これに限定するものではない。例えば、ＬＡＮ１０４を介してＰＣ１０２が備える表示部上にて表示させるようにしてもよい。この場合、ＭＦＰ１０１が備える操作部２０３よりも大きな表示部（ディスプレイ）上で表示が可能となるため、より詳細な設定が可能となる。
【００５９】
以上、本実施形態により、カラー化処理結果をユーザに提示するとともに、ユーザにカラー化されたオブジェクトのカラー編集の指示手段を提供することができる。その結果、ユーザの利便性が向上する。
【００６０】
＜その他の実施形態＞
本発明は上述した実施形態に限定するものではない。他の構成例について、以下に述べる。
【００６１】
カラー変換部３０７の処理モデルの構成は、図７で示した畳み込み層（Ｃｏｎｖ層）とプーリング層（Ｐｏｏｌ層）との組を４つ直列に接続した構成に限定するものではない。例えば、畳み込み層とプーリング層の数は増減してもよく、フィルタサイズ、プーリング関数のサイズも増減してもよい。更には、他の処理を行う階層（例えば、全結合層）を適宜追加しても良い。例えば、畳み込み層とプーリング層の組数を減らすと学習処理（Ｓ５０５）の時間が短縮でき、一方、組数を増やせばより多くの入力画像に対して高いカラー化変換結果が得られる可能性が高まる。
【００６２】
また、図５のＳ５０５で行われる学習処理はＣＰＵ２０１だけでなく、システムバス２０９に接続した不図示のＧＰＵ（Ｇｒａｐｈｉｃａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）で行ってもよい。または、学習処理は、ネットワークＩ／Ｆ２０４を介してＬＡＮ１０４に接続するサーバ１０３上で適宜通信しながら行ってもよい。これにより、学習処理をより高速に実行でき、学習処理によるカラー化変換処理のダウンタイムを削減できる。
【００６３】
本発明は上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６４】
１０１…ＭＦＰ、２１１…画像処理部、３０２…スキャン画像処理部、３０３…レンダリング処理部、３０４…プリント処理部、３０５…カラー判定部、３０６…モノクロ変換部、３０７…カラー変換部、３０８…オブジェクト検出部、３０９…オブジェクト合成部
【図１】
2019145030.tif 000003
【図２】
2019145030.tif 000004
【図３】
2019145030.tif 000005
【図４】
2019145030.tif 000006
【図５】
2019145030.tif 000007
【図６】
2019145030.tif 000008
【図７】
2019145030.tif 000009
【図８】
2019145030.tif 000010
【図９】
2019145030.tif 000011
【図１０】
2019145030.tif 000012