(57)【要約】【課題】画像形成装置において、原稿の読み取りの際に原稿が傾き画像欠損が発生した場合でも、欠損部分を補うことができる技術を提供する。【解決手段】ＭＦＰ１０は、ＡＤＦ３３を用いて原稿Ｄ１を読み取る（Ｓ１）。プラテンガラス３４で原稿Ｄ２が傾いて読み取られると、ＭＦＰ１０は、傾きを補正し、向きが正しいが欠損がある原稿Ｄ３を取得する（Ｓ２）。このとき、画像欠損Ｄ３１が生じる。つぎに、ＭＦＰ１０は、類似画像探索処理として、ウェブサーバー８１やクラウドサーバー８２に対して、読み取った画像データを渡し（Ｓ３）、類似画像データＤ４を探索する（Ｓ４）。ＭＦＰ１０は、探索された類似画像データＤ４を取得し（Ｓ５）、そのデータから欠損部分に相当する画像データＤ５ａを抽出し、エラー画像データＤ３の欠損部分に埋め込む画像処理を行い、合成画像データＤ５を得る（Ｓ６）。【選択図】図２
2017050676.tif 000002
【特許請求の範囲】
【請求項１】
読み取った原稿の画像データに傾きがある場合に、前記傾きを補正する傾き補正部と、
前記傾きを補正した画像データに欠損が発生しているか否かを判断し、欠損が判断している場合に、前記読み取った原稿と類似の画像データを探索する類似画像探索部と、
前記読み取った原稿の画像データと、探索された画像データとを合成し欠損を補う画像補完部と
を備えることを特徴とする画像形成装置。
【請求項２】
前記類似画像探索部は、ネットワーク上の所定のサーバーに含まれる画像データを参照して、前記読み取った原稿と類似の画像データを探索することを特徴とする請求項１に記載の画像形成装置。
【請求項３】
前記類似画像探索部は、内蔵の記憶領域に蓄積されている画像データを参照して、前記読み取った原稿と類似の画像データを探索することを特徴とする請求項１または２に記載の画像形成装置。
【請求項４】
前記類似画像探索部は、前記読み取った原稿と、参照される画像データの色のヒストグラムに基づいて、前記類似の画像データを探索することを特徴とする請求項２または３に記載の画像形成装置。
【請求項５】
前記類似画像探索部は、前記読み取った原稿と参照される画像データをパターンマッチングして、前記類似の画像データを探索することを特徴とする請求項２または３に記載の画像形成装置。
【請求項６】
前記類似画像探索部は、前記読み取った原稿と、参照される画像データが同一の場合、前記参照される画像データを前記類似の画像データとして取得しないことを特徴とする請求項２から５のいずれかに記載の画像形成装置。
【請求項７】
前記読み取った原稿の画像データに欠損が生じている場合に、その旨を通知する通知部を備えることを特徴とする請求項１から６までのいずれかに記載の画像形成装置。
【請求項８】
読み取った原稿の画像データに傾きがある場合に、前記傾きを補正する傾き補正工程と、
前記傾きを補正した画像データに欠損が発生しているか否かを判断する欠損判断工程と、
前記欠損が発生している場合に、読み取った原稿と類似の画像データを探索する類似画像探索工程と、
前記読み取った原稿の画像データと、探索された画像データとを合成し欠損を補う画像補完工程と
を画像形成装置に実行させることを特徴とする画像補完プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像形成装置及び画像補完プログラムに係り、例えば、原稿を読み取ったときに傾きがあったときに傾きを補正する画像形成装置及び画像補完プログラムに関する。
【背景技術】
【０００２】
複合機（ＭＦＰ）等の画像形成装置では、原稿を読み取ることで取得した画像を補正する技術が知られている。例えば、ページ左右で連続性を持った印字結果を実現するため、画像を中心部にシフトする処理を行う技術がある（例えば特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−０５２６２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１に開示の技術では、ページ左右で連続性を持った印字結果を実現することができるが、画像読込時の失敗を補正することはできない。すなわち、原稿読み取り装置で、原稿の向きが不適切になった結果、画像きれ（画像欠損）が発生した場合には、そのまま印字されてしまうという課題があり、対策技術が求められていた。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、上記課題を解決できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像形成装置は、読み取った原稿の画像データに傾きがある場合に、前記傾きを補正する傾き補正部と、前記傾きを補正した画像データに欠損が発生しているか否かを判断し、欠損が判断している場合に、前記読み取った原稿と類似の画像データを探索する類似画像探索部と、前記読み取った原稿の画像データと、探索された画像データとを合成し欠損を補う画像補完部とを備える。
また、前記類似画像探索部は、ネットワーク上の所定のサーバーに含まれる画像データを参照して、前記読み取った原稿と類似の画像データを探索してもよい。
また、前記類似画像探索部は、内蔵の記憶領域に蓄積されている画像データを参照して、前記読み取った原稿と類似の画像データを探索してもよい。
また、前記類似画像探索部は、前記読み取った原稿と、参照される画像データの色のヒストグラムに基づいて、前記類似の画像データを探索してもよい。
また、前記類似画像探索部は、前記読み取った原稿と参照される画像データをパターンマッチングして、前記類似の画像データを探索してもよい。
また、前記類似画像探索部は、前記読み取った原稿と、参照される画像データが同一の場合、前記参照される画像データを前記類似の画像データとして取得しなくてもよい。
また、前記読み取った原稿の画像データに欠損が生じている場合に、その旨を通知する通知部を備えてもよい。
本発明の画像補完プログラムは、読み取った原稿の画像データに傾きがある場合に、前記傾きを補正する傾き補正工程と、前記傾きを補正した画像データに欠損が発生しているか否かを判断する欠損判断工程と、前記欠損が発生している場合に、読み取った原稿と類似の画像データを探索する類似画像探索工程と、前記読み取った原稿の画像データと、探索された画像データとを合成し欠損を補う画像補完工程とを画像形成装置に実行させる。
【発明の効果】
【０００７】
本発明によると、画像形成装置において、原稿の読み取りの際に、原稿の向きが不適切になった結果、画像欠損が発生した場合であっても、欠損部分を補うことができる技術を実現できる。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係る、本実施形態に係る画像形成システムを示す図である。
【図２】実施形態に係る、欠損部分を補う処理の概要を示す図である。
【図３】実施形態に係る、ＭＦＰの概略構成を示すブロック図である。
【図４】実施形態に係る、画像補正制御部の構成を示すブロック図である。
【図５】実施形態に係る、欠損部分を補う処理のフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための形態（以下、「実施形態」という）について図面を参照して説明する。ここでは、画像形成装置としてＭＦＰ（複合機）について例示するが、これに限定する趣旨では無い。
【００１０】
図１は、本実施形態に係る画像処理システム１を示す図である。画像処理システム１は、ＭＦＰ１０と、ウェブサーバー８１と、クラウドサーバー８２とがネットワーク２で相互に接続されている。ＭＦＰ１０は、読み取り部（後述のＡＤＦ３３）において、原稿の傾き等により原稿読み取りに失敗し画像データの一部に画像切れ（画像欠損）等が生じた場合、ユーザーに画像切れが生じていることを通知し、さらに不足データ分については、ネットワーク上（ウェブサーバー８１やクラウドサーバー８２）や自身の記憶領域を参照し類似画像を探し出して合成し、違和感のない画像になるように補間を行う。
【００１１】
図２は、欠損部分を補う処理の概要を示す図である。ここで、図２を参照して、本実施形態において特徴的な機能・処理を説明する。まず、ＭＦＰ１０は、ＡＤＦ３３を用いて原稿Ｄ１を読み取る（Ｓ１）。プラテンガラス３４（読み取り領域）において、傾いた状態になった原稿Ｄ２が読み取られると、ＭＦＰ１０は、傾きを補正して、向きが正しいが欠損がある原稿（エラー画像データＤ３）を得る（Ｓ２）。このとき、画像欠損Ｄ３１が生じる。ここでは、オリジナルの原稿Ｄ１の右下領域の丸いオブジェクトの一部が欠損している。
【００１２】
つぎに、ＭＦＰ１０は、類似画像探索処理として、ネットワーク２を介してウェブサーバー８１やクラウドサーバー８２に対して、読み取った画像データを渡し（Ｓ３）、類似画像データＤ４を探索する（Ｓ４）。ＭＦＰ１０は、探索された類似画像データＤ４を取得し（Ｓ５）、そのデータから欠損部分に相当する画像データＤ５ａを抽出し、エラー画像データＤ３の欠損部分に埋め込む画像処理を行い、合成画像データＤ５を得る（Ｓ６）。
【００１３】
図３は、ＭＦＰ１０の概略構成を示すブロック図であって、主に、上述の欠損部分を補う処理に着目して示している。
【００１４】
ＭＦＰ１０は、制御部２０と、通信処理部２２と、記憶部２４と、印刷実行処理部３１と、スキャン実行処理部３２と、ユーザーＩＦ４０と、画像補正制御部６０とを備える。
【００１５】
制御部２０は、ＭＰＵ（Micro-Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備え、各構成要素を統括的に制御することで、印刷出力処理や、原稿等の読み取り処理、構成要素の動作のステータス監視処理や動作制御処理等を行う。
【００１６】
通信処理部２２は、有線ＬＡＮや無線ＬＡＮ、ＵＳＢ通信等の通信インターフェイスであり、ネットワーク２を介して、ウェブサーバー８１やクラウドサーバー８２等と通信可能に接続される。
【００１７】
印刷実行処理部３１は、一般的な印刷実行機能を有し、制御部２０からの指示により印刷動作を実行する。スキャン実行処理部３２は、一般的な構成であって、ＡＤＦ３３、スキャナー、プラテンガラス、原稿読取スリット等を備え、原稿の読み取り処理を実行する。
【００１８】
ユーザーＩＦ４０は、表示パネル部４１と、操作ボタン部４２を備える。表示パネル部４１は、ＭＦＰ１０に関するステータス情報や操作情報等を表示する。操作ボタン部４２は、ＭＦＰ１０に対するユーザー操作を受け付ける。なお、操作ボタン部４２は、表示パネル部４１と一体に構成されるタッチパネル式のＩＦや物理的ボタンのＩＦがあり、それらが組み合わさったインターフェイスであってもよい。
【００１９】
記憶部２４は、例えば、大容量のＨＤＤやＳＳＤ等の内蔵記憶装置であって、印刷実行処理部３１における印刷ジョブやスキャン実行処理部３２からの送信ジョブを、一旦データを蓄積してから実行される。蓄積されたデータは、所定期間保持される。
【００２０】
図４は、画像補正制御部６０の構成を示すブロック図である。画像補正制御部６０は、傾き補正等の一般的な画像補正処理を行うとともに、傾きに伴う画像切れ（画像欠損）等が発生している場合には補完処理を行う画像処理用のプロセッサーである。画像補正制御部６０は、その補完処理の場合には、ユーザーにその旨を通知するとともに、ウェブサーバー８１やクラウドサーバー８２、記憶部２４から類似画像を探し出して、欠損部分の補完を行う。その処理を実現するために、画像補正制御部６０は、画像欠損認識部６１と、類似画像探索部６２と、画像補完部６３と、エラー通知部６４と、を備える。具体的には、画像補正制御部６０は、画像補完プログラムを実行することにより、画像欠損認識部６１、類似画像探索部６２、画像補完部６３、及びエラー通知部６４として動作する。
【００２１】
画像欠損認識部６１は、原稿を傾いて読み込んだかを判断し、原稿が傾いて読み込まれた場合に、画像欠損が発生しているか否かを判断する。ここで、画像欠損認識部６１は、原稿の辺を検知し、原稿の辺が読み取りの走査方向と並行又は垂直でない場合、原稿が傾いて読み込まれたと判断することができる。
【００２２】
画像欠損認識部６１は、読み込まれた原稿の形状が矩形ではない場合、画像欠損が発生していると判断する。なお、上記の原稿の傾きの判断方法、画像欠損の発生の判断方法は、原稿が矩形であるとした場合の例である。
【００２３】
類似画像探索部６２は、画像欠損認識部６１が画像欠損の発生を検知した場合、類似画像探索処理を行う。すなわち、類似画像探索部６２は、ウェブサーバー８１、クラウドサーバー８２又は記憶部２４を参照して、類似画像データを探索し取得する。具体的には、類似画像探索部６２は、読み込んだ分の原稿画像データ（以下、「エラー画像データ」と言う。）を、ウェブサーバー８１、クラウドサーバー８２又は記憶部２４に記憶されている画像データ（以下、「参照画像データ」と言う。）と比較して、類似画像データの探索を行い、類似画像データを取得する。例えば、類似画像探索部６２は、エラー画像データと参照画像データのそれぞれについて色のヒストグラムを生成し、両者のヒストグラムが最も類似する参照画像データを類似画像データとして取得する。このとき、類似画像探索部６２は、エラー画像データと参照画像データのヒストグラムが同一の場合、エラー画像データの原稿と参照画像データの原稿は異なるか、参照画像データに画像欠損があることが推定されるので、類似画像データとして取得しない。
【００２４】
また、類似画像探索部６２は、エラー画像データと参照画像データのそれぞれについて、画像の１ライン毎のヒストグラムを生成し、対応するライン毎にヒストグラムを比較してもよい。この場合、類似画像探索部６２は、エラー画像データの各ラインに対応する参照画像の各ラインの類似度の総和から導かれる最も類似する参照画像データを類似画像データとして取得する。その他の方法として、画像探索部６２は、エラー画像データの各ラインに対応する参照画像の各ラインの類似度を参照画像データ間で比較し、最も類似するラインが最多となる参照画像データを類似画像データとして取得してもよい。但し、上記と同様に、類似画像探索部６２は、エラー画像データと参照画像データのヒストグラムが同一の場合、類似画像データとして取得しない。
【００２５】
また、画像探索部６２は、エラー画像データと参照画像データをパターンマッチングして、最も類似する参照画像データを類似画像データとして取得してもよい。このとき、エラー画像データと参照画像データが同一の場合、参照画像データに画像欠損があることが推定されるので、類似画像データとして取得しない。
【００２６】
なお、類似画像探索部６２は、類似画像データの探索先をユーザーから指定されてもよい。例えば、内蔵の記憶部２４には、類似画像データが存在する可能性が高い。しかし、記憶部２４を用いることはセキュリティーの観点から好ましくない場合もある。したがって、記憶部２４を用いる場合には、ＭＦＰ１０の管理者の許可が必要としてもよい。また、類似画像探索部６２は、ユーザーＩＦ４０を用いて許可用のコードをユーザーから取得し、認証した場合のみ記憶部２４へアクセスするようにしてもよい。また、探索先は、ネットワーク２に接続される他のＭＦＰ１０やクライアント端末（図示せず）でもよい。
【００２７】
画像補完部６３は、エラー画像データの欠損部分を補う処理を行う。より具体的には、画像補完部６３は、探索して得られた類似画像データから、欠損部分に対応するデータを抽出して、エラー画像データと合成する。例えば、画像補完部６３は、類似画像データをエラー画像データのサイズに合わせて拡大又は縮小し、類似画像データとエラー画像データを重ね合わせたときの類似画像データの余剰部分を欠損部分に対応するデータとして抽出する。合成の際には、画像補完部６３は、エラー画像データの色調等に合わせた画像変換処理を行う。
【００２８】
なお、画像補完部６３は、合成した部分を破線等によって示し、オリジナルの画像と区別可能に表してもよい。また、画像補完部６３は、探索の結果、欠損部分以外が同一の画像データのように、読み込んだ原稿と同一と想定される（エラー画像データとは類似の）画像データが存在した場合、探索した画像データを読み込んだ原稿のデータと差し替えてもよい。
【００２９】
エラー通知部６４は、エラー画像データが発生した場合、その旨を表示パネル部４１等に表示させユーザーに通知する。このとき、エラー画像データの欠損部分を補う処理をユーザーに確認するようにしてもよい。すなわち、その場合、ユーザーは、操作ボタン部４２を操作して、ＭＦＰ１０に対して欠損部分を補う処理を実行するか否かを指示する。また、エラー通知部６４は、欠損部分を補う処理を実行した場合、実行した処理内容を記憶部２４に記録したり、印刷実行処理部３１から印刷出力したりしてもよい。
【００３０】
図５は、欠損部分を補う処理のフローチャートである。
ユーザーが原稿をＡＤＦ３３にセットしスキャンを開始すると（Ｓ１０）、スキャン実行処理部３２は原稿を画像データとして取得する（Ｓ１２）。
【００３１】
画像補正制御部６０は、取得した画像データに傾きが発生しているか否かを判断する（Ｓ１４）。傾きが発生していない場合（Ｓ１４のＮ）、画像補正制御部６０は欠損を補う処理をせずに、出力処理を行う（Ｓ１６）。
【００３２】
傾きが発生している場合、画像補正制御部６０は、原稿の画像データの傾きを適切にする補正処理を行う（Ｓ１８）。つぎに、画像欠損認識部６１は、原稿の傾きが原因で画像欠損が発生しているか否かを判断する（Ｓ２０）。欠損が発生していない場合（Ｓ２０のＮ）、画像補正制御部６０は、欠損を補う処理をせずに、傾きを補正しただけの画像データの出力処理を行う。
【００３３】
欠損が発生している場合（Ｓ２０のＹ）、類似画像探索部６２は、類似画像探索処理を実行する。類似画像が探索されなかった場合（Ｓ２４のＮ）、画像補正制御部６０は
なされる（Ｓ１６）。
【００３４】
類似画像が探索された場合（Ｓ２４のＹ）、画像補完部６３は、類似画像による補完処理を行い（Ｓ２６）、補完後の画像データの出力処理がなされる（Ｓ１６）。
【００３５】
以上、実施形態によると、ＭＦＰ１０においてＡＤＦ３３にて原稿の読み取りに失敗し原稿が傾き欠損が生じた場合に、ウェブサーバー８１やクラウドサーバー８２、記憶部２４上に存在する大量の類似画像データを使って、違和感のない画像を補間することができる。また、補完処理はユーザーに通知されるので、時間が経ってから欠損に気づいてやり直しをしたりすることを回避することができる。
【００３６】
以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００３７】
１  画像処理システム
２  ネットワーク
１０  ＭＦＰ（画像形成装置）
２０  制御部
２２  通信処理部
２４  記憶部
３１  印刷実行処理部
３２  スキャン実行処理部
３３  ＡＤＦ
３４  プラテンガラス
４０  ユーザーＩＦ
４１  表示パネル部
４２  操作ボタン部
６０  画像補正制御部
６１  画像欠損認識部
６２  類似画像探索部
６３  画像補完部
６４  エラー通知部
８１  ウェブサーバー
８２  クラウドサーバー
【図１】
2017050676.tif 000003
【図２】
2017050676.tif 000004
【図３】
2017050676.tif 000005
【図４】
2017050676.tif 000006
【図５】
2017050676.tif 000007