(57)【要約】【課題】  認識処理の開発効率を向上でき、また、実現方法も簡素化できる利便性の高い画像処理装置を提供すること。【解決手段】  原稿を読取り電子化した画像データを得る画像読取装置と、転写紙に画像データを印字する画像書込装置と、画像データおよび画像データの付帯情報を蓄積するメモリ装置と、外部装置と画像データを送受する外部I/F装置と、前記画像読取装置からの画像データを処理する画像データ処理装置１と、前記メモリ装置からの画像データを処理する画像データ処理装置２と、上記各装置を接続するバス制御装置とを備える画像処理装置において、画像処理による認識機能とその認識結果により画像処理を行なう機能とを独立して具備することを特徴とする。【選択図】    図１
2007080178.tif 000002
【特許請求の範囲】
【請求項１】
原稿を読取り電子化した画像データを得る画像読取装置と、
転写紙に画像データを印字する画像書込装置と、
画像データおよび画像データの付帯情報を蓄積するメモリ装置と、
外部装置と画像データを送受する外部I/F装置と、
前記画像読取装置からの画像データを処理する画像データ処理装置１と、
前記メモリ装置からの画像データを処理する画像データ処理装置２と、
上記各装置を接続するバス制御装置とを備える画像処理装置において、
画像処理による認識機能とその認識結果により画像処理を行なう機能とを独立して具備することを特徴とする画像処理装置。
【請求項２】
前記画像データ処理装置２の画像処理による認識機能において、
天地識別処理、スキュー補正処理の少なくても１つを実現することを特徴として具備する請求項１に記載の画像処理装置。
【請求項３】
前記画像データ処理装置２の画像処理による認識機能において、
前記天地識別処理の天地識別検知処理と、前記スキュー補正処理のスキュー角度検知処理について、天地識別とスキュー補正処理の選択を操作表示装置を介してＯＮ／ＯＦＦのいずれかに選択できることを特徴として具備する請求項２に記載の画像処理装置。
【請求項４】
前記画像データ処理装置２において、
クライアントＰＣへ電子データを配信する場合でファイル出力フォーマットがＰＤＦ形式の場合、天地識別とスキュー補正の回転処理をせずにＰＤＦファイルのヘッダーに回転情報を記述することによって、クライアントＰＣ側のビューワにより回転することを特徴として具備する請求項２に記載の画像処理装置。
【請求項５】
前記画像データ処理装置２において、
クライアントＰＣへ電子データを配信する場合でファイル出力フォーマットがＰＤＦ形式の場合、スキュー補正の平行移動処理をせずにＰＤＦファイルのヘッダーに移動量情報を記述することによって、クライアントＰＣ側のビューワにより平行移動することを特徴として具備する請求項２に記載の画像処理装置。
【請求項６】
前記画像データ処理装置２の画像処理による認識機能において、
天地識別とスキュー補正処理の回転処理は、画像データと付帯情報を回転する機能を有することを特徴として具備する請求項２に記載の画像処理装置。
【請求項７】
前記画像データ処理装置２の画像処理による認識機能において、
天地識別とスキュー補正処理は、画像の情報がない白紙と判断した場合、検知と回転処理を打ち切ることを特徴として具備する請求項２に記載の画像処理装置。
【請求項８】
前記画像データ処理装置２の画像処理による認識機能において、
天地識別とスキュー補正処理は、高解像度の画像の場合、画像情報を間引いて検知処理をすることを特徴として具備する請求項２に記載の画像処理装置。
【請求項９】
前記画像データ処理装置２の画像処理による認識機能において、
フルカラー時、該フルカラーを構成する各色のプレーンのうちのある1プレーンのみ天地識別・スキュー補正検知を行ない、その結果を他のプレーンにも適用して天地回転、スキュー回転することを特徴として具備する請求項２に記載の画像処理装置。
【請求項１０】
前記画像データ処理装置２の画像処理による認識機能において、
天地識別とスキュー補正処理は、付帯情報により付帯情報を回転するか判断する機能を有し、二次記憶装置に蓄積する場合、画像データと付帯情報を回転補正して二次記憶装置に蓄積することを特徴として具備する請求項２または６のいずれかに記載の画像処理装置。
【請求項１１】
前記画像データ処理装置２の画像処理による認識機能において、
二次記憶装置に蓄積する場合、天地識別とスキュー補正処理は、画像データと付帯情報を回転補正し、回転補正したサムネールを表示することを特徴として具備する請求項２、６または１０のいずれかに記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、詳細には、デジタル画像の画像処理技術や画像処理認識技術に関する。
【背景技術】
【０００２】
ＣＣＤ光電変換素子からなるラインセンサを用いた読み取り装置や、レーザー照射によるトナー書き込み装置の発展により、アナログ複写機からデジタル化された画像データにてコピーを作成するデジタル複写機が登場した。
【０００３】
デジタル複写機となってからは、デジタル画像データを扱う他の装置との親和性が高まり、複写機としての機能だけでなく、ファクシミリ機能，プリンター機能、スキャナー機能等、いろいろな機能と複合し、単なるデジタル複写機ではなく、デジタル複合機（ＭＦＰ）と呼ばれるようになった。
【０００４】
ＨＤＤドライブ等メモリ大容量化・低コスト化、ネットワーク等通信技術の高速化や普及、ＣＰＵの処理能力の向上、デジタル画像データに関連する技術（圧縮技術等）等々、ＭＦＰに関連する技術の進化に伴い、ＭＦＰに搭載される機能も多種・多様化してきている。
【０００５】
ＭＦＰの使われ方も多種・多様化してきている。例えばＰＣの横にペアで設置され、操作者が手軽に複写機・ファクシミリ・プリンター・スキャナの機能を使用することができる小型ＭＦＰ、部署や課単位の複数名で共有され、ある程度の生産性やソート・パンチ・ステープル等の機能が使用できる中型のＭＦＰ、企業の中で複写関連業務を集中して行なう部署、もしくは複写関連業務そのものを生業とする会社では、高生産性・高品位で、多機能な大型のＭＦＰが使用されている。
【０００６】
小型〜大型まで多様化してきているＭＦＰであるが、各クラスにわたって共有できる機能も存在するが、クラスごとに要求が強い機能も存在する。
【０００７】
たとえば大型ＭＦＰではパンチ・ステープル・紙折り等、プロット後の紙に対する後加工や、複写業務と同時に電子ファイリング化すること等が求められ、小型ＭＦＰではインターネットＦＡＸやＰＣ−ＦＡＸ等の充実や、パーソナル的な使用目的として、専用紙に対する高品位画像印刷等が求められる。
【０００８】
このように多種・多様化してきているＭＦＰ市場に対して、従来は各クラスに必要な機能をセットにしたシステムを構築し、販売・提供していた。
【０００９】
ビジネスにおける情報価値の重要性は既に認知されており、情報を早く・正確に・確実に伝えるだけでなく、分かりやすく・効果的に伝えることも要求されている。
【００１０】
通信技術の高速化／普及化・メモリの大容量化／低コスト化／小型化・ＰＣの高性能化にともない、デジタルデータを利用した情報を効率的にあつかう新しい機能が提供されてきており、デジタルデータの一部であるデジタル画像データを扱うＭＦＰにも、新機能の提供や融合が望まれてきている。
【００１１】
コピー、スキャナ、ＦＡＸ、ＨＤＤ蓄積アプリに対応するデジタルデータを使用するＭＦＰが登場し、ネットワークにも接続されいろいろな用途で使用されている。読取り装置において、原稿が傾いた状態で読取られたり、大量原稿を印刷する場合によく使用される、ドキュメントフィーダ（ＤＦ）の搬送によって原稿が傾くことがある。その結果、出力される紙データや電子データが傾いてしまう。その他に、ユーザが天地を意識することなくセットすることによって、出力される紙データや電子データの天地が読取られたままの状態で出力されるので、これらの原稿傾きや、天地自動補正をＭＦＰ機器側で対応することによりユーザは意識せずに補正されることが望まれている。
【００１２】
ビジネス用途で使用するＭＦＰの使い方として、天地をそろえて出力するためにあらかじめ自分で天地をそろえる必要がある。デジタルデータをＯＣＲにかけてテキストデータにする場合、原稿の傾きによる認識率の低下が問題になっている。
【００１３】
ＭＦＰからのデジタル画像を扱うため、ＩＴ機と呼ばれるＭＦＰの隣にＰＣを接続して、これら天地を自動判別して回転する機能や、原稿の傾き角度を判別して微小角度の傾きを補正するスキュー補正機能を搭載したＭＦＰが登場した。ＭＦＰのＰＣが連動してＭＦＰ上で天地を認識し、天地をそろえたり、原稿傾きを認識し、スキュー補正する。
【００１４】
現状登場したこれら天地識別やスキュー補正機能に対応したＭＦＰはＰＣをオプションとして処理を連動して使用するため、標準に搭載されていないと、これら機能は使用できなく、オプション用のＰＣのコストがかかる。また、オプション用ＰＣを搭載してシステムを構築したとしても、ＨＤＤ蓄積アプリのみに対応しておらず、その他コピー、スキャナー、ＦＡＸを選択した場合は天地を自分で揃え、原稿が傾いて読み取られた場合、出力結果も補正していない。
【００１５】
ＭＦＰ本体のＣＰＵの処理能力の向上、メモリ、ＨＤＤの大容量化に伴い、オプション用ＰＣがなくても低コストで、ＭＦＰ側に標準機能として搭載することが望まれている。また、コピー、スキャナー、ＦＡＸ、ＨＤＤアプリ等さまざまなアプリケーションに対応できるようになり、天地識別やスキュー補正の認識して画像補正する、これら機能もＭＦＰが取り扱う全アプリケーションに対応することが望まれている。
【００１６】
特許文献１では、蓄積・保存した画像データに対し、画像処理を行う第２の画像処理手段を設けることが知られているが、第２の画像処理を設けることによる処理速度向上を目的とし、画像処理認識やその認識処理によって処理を切り替えることに対応していない。
【００１７】
原稿面と読取り装置との傾きに応じた補正処理を行なう方法もあるが、この方法では、読取り装置から入力された画像に対して補正処理が行なえるがネットワークから入力されるプリントアプリに対応できない問題点がある。補正処理に対象は画像データで、画像の付帯情報の補正を行なっていないため、ＨＤＤ蓄積アプリのように時間を置いて再利用され、再び画像処理を行なうことを想定していない。
【００１８】
特許文献２は、ＤＦから読取られた原稿に対して傾きを検出し補正する。この方法では、ＤＦでの読取りが前提になるため、圧版での読取りに対応していない。また、ネットワークから入力されるプリントアプリに対応できない問題点がある。補正処理に対象は画像データで、画像の付帯情報の補正を行なっていないため、ＨＤＤ蓄積アプリのように時間を置いて再利用され、再び画像処理を行なうことを想定していない。
【００１９】
特許文献３は、読取装置自体にスキュー検知を取り入れてその検知結果より補正処理を行なう。この方法では、読取り装置のＣＣＤ読取りが前提になるため、ネットワークから入力されるプリントアプリに対応できない問題点がある。また、スキュー補正のみ対応で、天地識別を行なわない。補正処理に対象は画像データで、画像の付帯情報の補正を行なっていないため、ＨＤＤ蓄積アプリのように時間を置いて再利用され、再び画像処理を行なうことを想定していない。
【特許文献１】特開2002-111988号公報
【特許文献２】特開平09-200507号公報
【特許文献３】特開2001-358914号公報
【発明の開示】
【発明が解決しようとする課題】
【００２０】
一方、メモリ大容量化・低コスト化と、紙原稿をデジタル画像データにするＭＦＰが有する機能が融合進化し、近年、ＭＦＰ内部にデジタル画像データを蓄積・保存しておき、その情報が必要になった場合に、再出力する使われ方増えてきている。
【００２１】
ＭＦＰ内部に蓄積・保存しておいたデジタル画像データを再度出力する場合、データの蓄積・保存時から時間が経過していることが多く、その間に再出力操作者の状況、すなわち要求・ニーズが変化することが多くなっており、その要求・ニーズの変化に対応できないという問題・課題が発生してきた。
【００２２】
例えば、コピー機能を使用したときにＭＦＰ内部に保存したデジタル画像データを、ＦＡＸ送信したい場合に、そういう使い方ができなかったり、できたとしても画質が大きく異なってしまったり、生産性が著しく落ちてしまったりする課題が挙げられる。
【００２３】
画像処理による認識処理と、その結果の補正処理も再利用されることを考慮して、再利用を前提としているアーキテクチャにおいて最適な検知部と、その他の画像処理のため画像データへの補正と、画像の付帯情報の補正を行なう必要がある。
【００２４】
例えば、ＨＤＤ蓄積機能を使用したときに、天地識別や、スキュー補正を行ないＭＦＰ内部のＨＤＤに蓄積する。この天地識別や、スキュー補正を行なった画像に対してプリントアウトのみ行なう場合と、ＦＡＸ送信する場合を想定する。プリントアウトする場合、画像の付帯情報である分離データを用いて画像処理を行ない、出力される。ＦＡＸ送信される場合も画像の付帯情報である分離データより文字部を強調する画像処理が施され送信される。ＨＤＤに蓄積される場合、画像のみ天地回転や、スキュー補正処理が行なわれ、画像の付帯情報に対して同様の回転処理が行なわれない場合、プリントアウト時やＦＡＸ送信時の画像処理が最適に行なわれない課題が挙げられる。
【００２５】
本発明は係る事情に鑑みてなされたものであり、認識処理の開発効率を向上でき、また、実現方法も簡素化できる利便性の高い画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００２６】
請求項１に記載の画像処理装置は、原稿を読取り電子化した画像データを得る画像読取装置と、転写紙に画像データを印字する画像書込装置と、画像データおよび画像データの付帯情報を蓄積するメモリ装置と、外部装置と画像データを送受する外部I/F装置と、前記画像読取装置からの画像データを処理する画像データ処理装置１と、前記メモリ装置からの画像データを処理する画像データ処理装置２と、上記各装置を接続するバス制御装置とを備える画像処理装置において、画像処理による認識機能とその認識結果により画像処理を行なう機能とを独立して具備することを特徴とする。
【００２７】
請求項２に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記画像データ処理装置２の画像処理による認識機能において、天地識別処理、スキュー補正処理の少なくても１つを実現することを特徴として具備する。
【００２８】
請求項３に記載の画像処理装置は、請求項２に記載の画像処理装置において、前記画像データ処理装置２の画像処理による認識機能において、前記天地識別処理の天地識別検知処理と、前記スキュー補正処理のスキュー角度検知処理について、天地識別とスキュー補正処理の選択を操作表示装置を介してＯＮ／ＯＦＦのいずれかに選択できることを特徴として具備する。
【００２９】
請求項４に記載の画像処理装置は、請求項２に記載の画像処理装置において、前記画像データ処理装置２において、クライアントＰＣへ電子データを配信する場合でファイル出力フォーマットがＰＤＦ形式の場合、天地識別とスキュー補正の回転処理をせずにＰＤＦファイルのヘッダーに回転情報を記述することによって、クライアントＰＣ側のビューワにより回転することを特徴として具備する。
【００３０】
請求項５に記載の画像処理装置は、前記画像データ処理装置２において、請求項２に記載の画像処理装置において、クライアントＰＣへ電子データを配信する場合でファイル出力フォーマットがＰＤＦ形式の場合、スキュー補正の平行移動処理をせずにＰＤＦファイルのヘッダーに移動量情報を記述することによって、クライアントＰＣ側のビューワにより平行移動することを特徴として具備する。
【００３１】
請求項６に記載の画像処理装置は、請求項２に記載の画像処理装置において、前記画像データ処理装置２の画像処理による認識機能において、天地識別とスキュー補正処理の回転処理は、画像データと付帯情報を回転する機能を有することを特徴として具備する。
【００３２】
請求項７に記載の画像処理装置は、請求項２に記載の画像処理装置において、前記画像データ処理装置２の画像処理による認識機能において、天地識別とスキュー補正処理は、画像の情報がない白紙と判断した場合、検知と回転処理を打ち切ることを特徴として具備する。
【００３３】
請求項８に記載の画像処理装置は、請求項２に記載の画像処理装置において、前記画像データ処理装置２の画像処理による認識機能において、天地識別とスキュー補正処理は、高解像度の画像の場合、画像情報を間引いて検知処理をすることを特徴として具備する。
【００３４】
請求項９に記載の画像処理装置は、請求項２に記載の画像処理装置において、前記画像データ処理装置２の画像処理による認識機能において、フルカラー時、該フルカラーを構成する各色のプレーンのうちのある1プレーンのみ天地識別・スキュー補正検知を行ない、その結果を他のプレーンにも適用して天地回転、スキュー回転することを特徴として具備する。
【００３５】
請求項１０に記載の画像処理装置は、請求項２または６のいずれかに記載の画像処理装置において、前記画像データ処理装置２の画像処理による認識機能において、天地識別とスキュー補正処理は、付帯情報により付帯情報を回転するか判断する機能を有し、二次記憶装置に蓄積する場合、画像データと付帯情報を回転補正して二次記憶装置に蓄積することを特徴として具備する。
【００３６】
請求項１１に記載の画像処理装置は、請求項２、６または１０のいずれかに記載の画像処理装置において、前記画像データ処理装置２の画像処理による認識機能において、二次記憶装置に蓄積する場合、天地識別とスキュー補正処理は、画像データと付帯情報を回転補正し、回転補正したサムネールを表示することを特徴として具備する。
【発明の効果】
【００３７】
請求項１に係る発明によれば、原稿を読取り電子化した画像データを得る画像読取装置と、転写紙に画像データを印字する画像書込装置と、画像データおよび画像データの付帯情報を蓄積するメモリ装置と、外部装置と画像データを送受する外部Ｉ／Ｆ装置と、前記画像読取装置からの画像データを処理する画像データ処理装置１と、前記メモリ装置からの画像データを処理する画像データ処理装置２と、上記各装置を接続するバス制御装置を備える。次に、前記画像データ処理装置１が前記画像書込装置と前記外部装置の両方に利用可能となるように画像データの性質を統一し、性質を統一した画像データを前記メモリ装置に蓄積し、画像データ処理装置２が画像処理認識処理とその結果の補正処理を行ない、画像書き込み装置および外部Ｉ／Ｆ装置への出力に適する性質に画像データを処理することを行なう。そして、前段の画像データ処理装置１により統一された画像データをもとに、画像データ処理装置２で画像処理による認識処理を行なうことにより、その統一された画像データに最適な認識処理にまとめられるため、認識処理の開発効率は向上し、かつ実現方法も単一の処理になるため簡素化する。コピー、プリント、スキャナー、ＦＡＸ、ＨＤＤ蓄積アプリと想定している全てのアプリケーションに関して画像データ処理装置２で画像処理を行なうため、必ず画像処理パスに存在するので全アプリケーションに対応する。また、画像データ処理装置２に入力される画像は統一化され、最終出力画像はこれ以上画像処理を行なわない状態であるため、認識処理の検知処理を簡素化でき、認識結果を反映する処理を最終出力画像にすることに分離することによって、その他の画像データ処理装置２で行なわれる画像処理の影響なく画像認識処理を組み込むことができる。再利用する場合を考慮して、認識処理の結果の反映処理は、画像データのみではなく、画像の付帯情報に行なうことにより、画像データと付帯情報をＨＤＤに蓄積することができ、再利用時に行なう画像処理を最適に行なうことが可能となる。コピーように１度ＨＤＤに蓄積して再利用しないアプリケーションの場合は、検出処理を前段で行ない、出力の出力に適する性質に画像処理を行ない、最終段で回転が必要な画像データのみ行なう。出力に適する性質に画像処理では、画像データとその付帯情報を用いて処理を行なうが、検知部とその認識結果を反映する処理を分離することによって、付帯情報についての回転処理を省くことができるため、処理を高速化することができる。
【００３８】
請求項２に係る発明によれば、原稿を読取り電子化した画像データを得る画像読取装置と、転写紙に画像データを印字する画像書込装置と、画像データおよび画像データの付帯情報を蓄積するメモリ装置と、外部装置と画像データを送受する外部Ｉ／Ｆ装置と、前記画像読取装置からの画像データを処理する画像データ処理装置１と、前記メモリ装置からの画像データを処理する画像データ処理装置２と、上記各装置を接続するバス制御装置を備える。次に、前記画像データ処理装置１が前記画像書込装置と前記外部装置の両方に利用可能となるように画像データの性質を統一し、性質を統一した画像データを前記メモリ装置に蓄積し、画像データ処理装置２が画像天地識別・スキュー検知処理とその結果の天地回転・スキュー補正処理を行ない、画像書き込み装置および外部Ｉ／Ｆ装置への出力に適する性質に画像データを処理することを行なう。そして、前段の画像データ処理装置１により統一された画像データをもとに、画像データ処理装置２で画像処理による認識処理を行なうことにより、その統一された画像データに最適な天地識別・スキュー検知処理にまとめられるため、天地識別・スキュー検知処理の開発効率は向上し、かつ実現方法も単一の処理になるため簡素化する。コピー、プリント、スキャナー、ＦＡＸ、ＨＤＤ蓄積アプリと想定している全てのアプリケーションに関して画像データ処理装置２で画像処理を行なうため、必ず画像処理パスに存在するので全アプリケーションに対応する。また、画像データ処理装置２に入力される画像は統一化され、最終出力画像はこれ以上画像処理を行なわない状態であるため、天地識別、スキュー検知処理を簡素化でき、天地回転・スキュー補正を反映される処理を最終出力画像にすることに分離することによって、その他の画像データ処理装置２で行なわれる画像処理の影響なく画像認識処理を組み込むことができる。再利用する場合を考慮して、天地回転とスキュー補正処理は、画像データのみではなく、画像の付帯情報に行なうことにより、画像データと付帯情報をＨＤＤに蓄積することができ、再利用時に行なう画像処理を最適に行なうことを可能となる。
【００３９】
請求項３に係る発明によれば、ユーザに天地識別・スキュー補正処理の実行選択のＯＮ／ＯＦＦを選択できる操作表示装置を提供することによって、天地識別・スキュー補正機能を望まないユーザに対し、天地識別・スキュー補正機能をスルーさせることができるので、処理時間の短縮になる。また、選択するアプリケーションによって天地識別のみとか、スキュー補正のみ要求するような使用用途にもほとんど構成を変更しなくても対応でき、開発効率の向上と処理時間の短縮になる。
【００４０】
請求項４に係る発明によれば、ＰＤＦフォーマットに標準搭載されている、画像の方向と、回転角度を用いてヘッダー情報に、画像データ装置２の天地識別とスキュー検知処理の結果を反映させ、実画像を実際に回転しないで、ビューワで見かけ上、回転した画像を提供することにより、天地回転処理とスキュー回転処理にかかる時間を短縮できる。
【００４１】
請求項５に係る発明によれば、ＰＤＦフォーマットに標準搭載されている、画像の移動量を用いてヘッダー情報に、画像データ装置２のスキュー検知処理の結果を反映させ、実画像を実際に平行移動しないで、ビューワで見かけ上、平行移動した画像を提供することにより、スキュー回転処理にかかる時間を短縮できる。また、スキュー角度によって回転原点を考慮して平行移動することにより、画像情報の欠落を最小限に防ぐことができる。
【００４２】
請求項６に係る発明によれば、原稿を読取り電子化した画像データを得る画像読取装置と、転写紙に画像データを印字する画像書込装置と、画像データおよび画像データの付帯情報を蓄積するメモリ装置と、外部装置と画像データを送受する外部Ｉ／Ｆ装置と、前記画像読取装置からの画像データを処理する画像データ処理装置１と、前記メモリ装置からの画像データを処理する画像データ処理装置２と、上記各装置を接続するバス制御装置を備える。次に、前記画像データ処理装置１が前記画像書込装置と前記外部装置の両方に利用可能となるように画像データの性質を統一し、性質を統一した画像データを前記メモリ装置に蓄積し、画像データ処理装置２が画像天地識別・スキュー検知処理とその結果の天地回転・スキュー補正処理を行ない、画像書き込み装置および外部Ｉ／Ｆ装置への出力に適する性質に画像データを処理することを行なう。そして、天地識別とスキュー補正処理は、画像データ装置２の前段で検知も回転処理も行なう場合、画像データのみを回転するのではなく、付帯情報である分離データについても回転することにより、その他の画像データ装置２で行なわれる出力に適する性質にする画像処理の悪影響を防ぐ。また、すぐに出力されないＨＤＤ蓄積アプリについてもＨＤＤに蓄積される前に画像データとその付帯情報である分離データを回転することによって、時間がたって再利用されるときに、画像データ装置２で行なわれる出力に適する性質にする画像処理の悪影響を防ぐ。
【００４３】
請求項７に係る発明によれば、天地識別とスキュー補正処理は、検知処理の前段で画像の情報がない白画像と判断して処理を打ち切ることによって、検出処理にかかる処理時間の短縮することができる。
【００４４】
請求項８に係る発明によれば、天地識別とスキュー補正処理は、検知処理の前段で高解像度と画像の付帯情報により判断した場合、画像を間引いて検知処理を行なうことによって、検出処理にかかる処理時間の短縮することができる。画像を間引くことによって画像自体の情報量は減るが、高解像度画像はもともと情報量が高いため、間引いたことによる画像情報低下のため誤認識する可能性は低い。
【００４５】
請求項９に係る発明によれば、天地識別とスキュー補正処理は、フルカラーのように画像プレーン情報が複数ある場合でもある１プレーンのみを検出処理に用いることによって、検出処理にかかる処理時間の短縮することができる。また、２値やグレースケール時の処理はもともと１プレーンしか画像情報がない処理と共通に行なうことができるので、開発効率は向上し、かつ実現方法も単一の処理になるため簡素化する。
【００４６】
請求項１０に係る発明によれば、原稿を読取り電子化した画像データを得る画像読取装置と、転写紙に画像データを印字する画像書込装置と、画像データおよび画像データの付帯情報を蓄積するメモリ装置と、外部装置と画像データを送受する外部Ｉ／Ｆ装置と、前記画像読取装置からの画像データを処理する画像データ処理装置１と、前記メモリ装置からの画像データを処理する画像データ処理装置２と、上記各装置を接続するバス制御装置を備える。次に、前記画像データ処理装置１が前記画像書込装置と前記外部装置の両方に利用可能となるように画像データの性質を統一し、性質を統一した画像データを前記メモリ装置に蓄積し、画像データ処理装置２が画像天地識別・スキュー検知処理とその結果の天地回転・スキュー補正処理を行ない、画像書き込み装置および外部Ｉ／Ｆ装置への出力に適する性質に画像データを処理することを行なう。そして、天地識別とスキュー補正処理は、画像データ装置２の前段で検知も回転処理も行なう場合、画像データのみを回転するのではなく、付帯情報である分離データについても回転することにより、その他の画像データ装置２で行なわれる出力に適する性質にする画像処理の悪影響を防ぐ。また、すぐに出力されないＨＤＤ蓄積アプリについてもＨＤＤに蓄積される前に画像データとその付帯情報である分離データを回転することによって、時間がたって再利用されるときに、画像データ装置２で行なわれる出力に適する性質にする画像処理の悪影響を防ぐ。さらに、ＨＤＤに蓄積する前に回転処理も行なうことによって、そのデータを複数回再利用する際でもＨＤＤにためる前の１度で行なえるため、処理の高速化が可能である。
【００４７】
請求項１１に係る発明によれば、原稿を読取り電子化した画像データを得る画像読取装置と、転写紙に画像データを印字する画像書込装置と、画像データおよび画像データの付帯情報を蓄積するメモリ装置と、外部装置と画像データを送受する外部Ｉ／Ｆ装置と、前記画像読取装置からの画像データを処理する画像データ処理装置１と、前記メモリ装置からの画像データを処理する画像データ処理装置２と、上記各装置を接続するバス制御装置を備える。次に、前記画像データ処理装置１が前記画像書込装置と前記外部装置の両方に利用可能となるように画像データの性質を統一し、性質を統一した画像データを前記メモリ装置に蓄積し、画像データ処理装置２が画像天地識別・スキュー検知処理とその結果の天地回転・スキュー補正処理を行ない、画像書き込み装置および外部Ｉ／Ｆ装置への出力に適する性質に画像データを処理することを行なう。そして、天地識別とスキュー補正処理は、画像データ装置２の前段で検知も回転処理も行なう場合、画像データのみを回転するのではなく、付帯情報である分離データについても回転することにより、その他の画像データ装置２で行なわれる出力に適する性質にする画像処理の悪影響を防ぐ。また、すぐに出力されないＨＤＤ蓄積アプリについてもＨＤＤに蓄積される前に画像データとその付帯情報である分離データを回転することによって、時間がたって再利用されるときに、画像データ装置２で行なわれる出力に適する性質にする画像処理の悪影響を防ぐ。また、ＨＤＤに蓄積する前に回転処理も行なうことによって、そのデータを複数回、再利用する際でもＨＤＤにためる前の１度で行なえるため、処理の高速化が可能である。サムネール表示するために蓄積された画像からサムネール画像を作成する際にも、天地識別・スキュー補正がされているか判断することなく、天地回転・スキュー補正をした画像をためておき、その画像に対してサムネール画像を作成するので、処理を単一化でき、簡素化でき、かつ複雑な制御を必要としないため、開発効率が向上する。
【発明を実施するための最良の形態】
【００４８】
以下、添付図面を参照しながら、本発明を実施するための最良の形態について説明する。
【００４９】
先ず、図１に請求項１に係る実施例に係る画像処理装置のシステム構成について示す。
【００５０】
読取り装置１０１はＣＣＤ光電変換素子からなるラインセンサとＡ／Ｄコンバータとそれら駆動回路を具備し、セットされた原稿をスキャンすることで得る原稿の濃淡情報から、ＲＧＢ各８ビットのデジタル画像データを生成し出力する。
【００５１】
画像データ処理装置１  １０２は、読取り装置１０１からのデジタル画像データに対し、予め定めた特性に統一する処理を施して出力する。本装置では、読取り装置１０１の特性は変わらず、出力もあらかじめ定められて統一された画像データであるため、専用の画像処理回路であるＡＳＩＣにより、決められた画像処理を実現する。
【００５２】
バス制御装置１０３は、本デジタル画像処理装置内で必要な画像データや制御コマンド等各種データのやり取りを行なうデータバスの制御装置で、複数種のバス規格間のブリッジ機能も有している。本実施例では、画像データ処理装置１  １０２，画像データ処理装置２  １０４，ＣＰＵ１０６とはＰＣＩやＰＣＩ−Ｅｘｐｒｅｓｓバス，ＨＤＤ１０５とはＡＴＡバスで接続し、ＡＳＩＣ化している。
【００５３】
画像データ処理装置２  １０４は、画像データ処理装置１  １０２で予め定めた特性を統一されたデジタル画像データに対し、ユーザーから指定される出力先に適した画像処理を施し出力する。本装置の画像処理認識処理は、この画像処理装置２  １０４の入力画像データは、統一化された特性なので、この出力先に適した画像処理の前段で認識処理を施し、本装置の画像処理による認識処理の結果による画像処理を後段に行なう。
【００５４】
ＨＤＤ１０５は、デスクトップパソコンにも使用されている電子データを保存するための大型の記憶装置で、本デジタル画像処理装置内では主にデジタル画像データおよびデジタル画像データの付帯情報を蓄積する。本実施例ではＩＤＥを拡張して規格化されているＡＴＡバス接続のハードディスクを使用する。
【００５５】
ＣＰＵ１０６は、本デジタル画像処理装置の制御全体を司るマイクロプロセッサである。実施例では、全体制御のためのシーケンス管理や各装置への要求管理やハードウェアの設定管理、タイミング管理や複数のユーザー要求に対するタスク管理、画像データ処理装置２  １０４のソフトウェアによる画像処理もこのＣＰＵ１０６を用いて実行される。
【００５６】
メモリ１０７は、ＣＰＵ１０６が制御するためにプログラムされた内容を実行する際に、プログラムや中間処理データや画像データを一時的に記憶する揮発性メモリである。オブジェクト指向プログラムにより、各制御単位にオブジェクト化されたオブジェクトデータを保存しておき、ユーザー要求に従って各オブジェクトの責務に従って制御処理を遂行する。
【００５７】
プロッタＩ／Ｆ装置１０８は、ＣＰＵ１０６のプリント要求に従い、汎用規格Ｉ／Ｆ経由で送られてくるＣＭＹＫからなるデジタル画像データを受け取ると、プロッタ装置１０９の専用Ｉ／Ｆに出力するバスブリッジ処理を行なう。本実施例で使用している汎用規格Ｉ／ＦはＰＣＩやＰＣＩ−Ｅｘｐｒｅｓｓバスである。
【００５８】
プロッタ装置１０９はＣＭＹＫからなるデジタル画像データを受け取ると、レーザービームを用いた電子写真プロセスを使って、転写紙に受け取った画像データを出力する。
【００５９】
Ｓ．Ｂ．１１３は、パーソナルコンピュータに使用されるチップセットのひとつで、サウスブリッジと呼ばれる汎用の電子デバイスである。
【００６０】
ＲＯＭ１１４は、ＣＰＵ１０６が本デジタル画像処理装置の制御を行う際の制御プログラムが格納されるメモリである。また、画像処理装置２  １０４内のミドルウェア（デジタルシグナルプロセッサ  以下ＤＳＰ）用の画像処理アセンブラコードや画像処理である、フィルタ処理やγ処理等の画像処理パラメータが格納されていて、ＤＳＰで画像処理を行なう場合、ＲＯＭ１１４にあらかじめ格納されているアセンブラコードや画像処理パラメータをダウンロードしてＤＳＰで画像処理を行なう際に用いる。
【００６１】
操作表示装置１１０は、本デジタル画像処理装置とユーザーのインターフェースを行なう部分で、液晶表示装置（以下  ＬＣＤ）とキースイッチから構成され、装置の各種状態や操作方法をＬＣＤに表示し、ユーザーからのキースイッチ入力を検知する。本実施例ではＰＣＩやＰＣＩ−Ｅｘｐｒｅｓｓバスを介してＣＰＵ１０６と接続する。コピー、スキャナ、ＨＤＤ蓄積、ＦＡＸ送信に対応している。
【００６２】
回線Ｉ／Ｆ装置１１１はＰＣＩやＰＣＩ−Ｅｘｐｒｅｓｓバスと電話回線を接続する装置で、この装置により本デジタル画像処理装置は電話回線を介して各種データのやり取りを行なうことが可能になる。
【００６３】
ＦＡＸ１１５は通常のファクシミリで、電話回線を介して本デジタル画像処理装置と画像データの受信を行なう。
【００６４】
外部Ｉ／Ｆ装置１１２はＰＣＩやＰＣＩ−Ｅｘｐｒｅｓｓバスと外部装置を接続する装置で、この装置により本デジタル画像処理装置は外部装置と各種データのやり取りを行なうことが可能になる。本実施例では機器側にＩＰアドレスが割り振られ、その接続Ｉ／ＦにイーサーネットワークによるＴＣＰ／ＩＰ接続される。
【００６５】
クライアントＰＣ１１６はいわゆるパーソナルコンピュータで、パーソナルコンピュータにインストールされたアプリケーションソフトやドライバを介して、ユーザーは本実施例ではＴｗａｉｎドライバによるスキャナ読取や、プリントアウトを行なう。
【００６６】
図２に画像データ処理装置２  １０４で認識処理とその結果による補正処理を追加した例を示す。
【００６７】
例えば、コピー動作の場合、読取り装置１０１でデジタル化された画像がシステムに入力される。そのデータをもとに画像データ装置１  １０２はある特性（色空間等）に統一化された画像に変換する。画像データ処理装置２  １０４の入力画像２０５は、画像データ装置１  １０２で統一化されたデジタル画像データである。もう１方の付帯情報２０６は入力画像２０５の付帯情報になる。この付帯情報とは、操作表示装置１１０での入力情報（原稿モード、変倍率、画像サイズ等）や、画像データの１画素ごとに対応した分離データ（文字／写真／網点等）である。分離データは、画像データ処理装置１  １０２で生成される。
【００６８】
図２（ａ）は、認識処理２０３や認識処理の結果による補正処理２０４を行ない構成で、プリント出力のため、フィルタ処理２０１、γ処理２０２処理を行ない出力のプロッタ装置１０９の出力に最適になるように画像処理を行ない、出力画像２０７と付帯情報２０６を出力する。付帯情報２０６により、フィルタ処理２０１、γ処理２０２は処理や画像処理パラメータを切り替えるために用いる。この基本構成に対し、本発明では、認識処理２０３と認識処理の結果による補正処理２０４を追加した。
【００６９】
また、この２つの処理を独立して保有することにより、（ｂ）（ｃ）のように構成を変えることが可能である。認識処理では、入力画像２０５と付帯情報２０６を用いて画像の特徴量を認識して認識結果２０８を得る。後段の処理である、認識処理の結果による補正処理２０４は、この認識結果２０８を元に、入力画像２０５や分離データなどの付帯情報２０６に対して画像処理で補正処理を行なう。
【００７０】
請求項２以降の実施例では、出力用の画像処理であるフィルタ処理２０１、γ処理２０２等に対し、認識処理の結果による補正処理２０４による画質の変化の影響を受けないようにするために、画像データ処理装置２  １０４の構成（ｂ）で行なった。
【００７１】
次に、請求項２に係る実施例について説明する。
【００７２】
図３に本実施例の画像データ処理装置２  １０４内の画像処理構成を示す。請求項２の実施例もコピー動作、読取り装置１０１でデジタル化された画像がシステムに入力された例を用いて動作説明を行なう。
【００７３】
認識処理２０３として、天地識別処理３０１とスキュー検知処理３０２処理を行なった。天地識別処理３０１は、画像内の特徴量を元に、画像の方向を認識する。天地識別結果３０５は、北、南、東、西、方向不明の５種類になる。図４に天地識別処理の入出力の例を示す。３つのような入力画像に対し、画像、文字、図形が北向きになるように補正する。
【００７４】
スキュー検知処理３０２は、画像内の特徴量を元に、画像の傾きを検出する。スキュー検出結果３０６は、スキュー角度（±Ｘ度）とスキュー判別結果（スキュー角度検知成功、失敗）になる。図５にスキュー補正処理の入出力の例を示す。入力画像はある角度θ傾いて入力されるのに対し、傾いていないような画像に回転する。
【００７５】
認識処理２０３である天地識別処理３０１とスキュー検知処理３０２処理を画像データ処理装置２  １０４の最初で行なっているのは、フィルタ処理２０１やγ処理２０２等の影響により認識精度に依存するため、まだ画像処理が行なわれていない状態で検知処理を行ない検知精度の向上を可能にした。
【００７６】
認識処理２０３である天地識別処理３０１とスキュー検知処理３０２処理を行ない、認識結果２０８である天地識別結果３０５とスキュー検出結果３０６を出力し、次のフィルタ処理２０１やγ処理２０２を行なっていく。フィルタ処理２０１やγ処理２０２は、画像の特徴を変更する処理であるが、位置情報に影響しないため、フィルタ処理２０１やγ処理２０２が行なわれた画像に対し、フィルタ処理２０１やγ処理２０２が行なわれていない状態で検知した認識結果２０３を用いても特に問題ない。
【００７７】
出力装置に最適な画像処理が施された状態の画像データに対し、認識処理の結果による補正処理２０４である、天地回転処理３０３とスキュー補正処理３０４を行なう。
【００７８】
天地回転処理３０３では、入力画像２０５を天地識別結果３０５の結果により９０度単位の回転を行なう。天地識別結果３０５が方向不明の場合、天地回転処理３０３を行なわず処理をスルーして入力をそのまま出力とする。
【００７９】
スキュー補正処理３０４では、入力画像２０５をスキュー補正結果３０６の結果により微小角度の回転を行なう。スキュー補正結果３０６がスキュー角度検知失敗の場合、スキュー補正処理３０４を行なわず処理をスルーして入力をそのまま出力とする。
【００８０】
次に、請求項３に係る実施例について説明する。
【００８１】
図６に操作表示装置１１０の例を示す。ユーザーにあらかじめ方向を決めてもらうモードの他に自動方向判別（天地識別３０１、天地回転処理３０３）と原稿傾き補正処理（スキュー検知３０２、スキュー補正３０４）をユーザーインタフェースに加えた図になる。このユーザーインタフェースは天地識別機能とスキュー補正機能を独立に扱え、（１）〜（６）の６通りの設定をユーザーに選択させる。
【００８２】
（１）は、ユーザーが天地識別は選択せずに、自分で原稿を東向きにセットし、スキュー補正機能をしない。（１）のときは、図３では、認識処理２０３である天地識別処理３０１とスキュー検知処理３０２処理は処理スルーになる。画像の付帯情報２０６に画像方向を東向きと保存しておき、認識処理の結果による補正処理２０４である、天地回転処理３０３で東向きを北向きに補正する。スキュー補正処理３０４は処理スルーする。
【００８３】
（２）は、ユーザーが天地識別は選択せずに、自分で原稿を北向きにセットし、スキュー補正機能をしない。（２）のときは、図３では、認識処理２０３である天地識別処理３０１とスキュー検知処理３０２処理は処理スルーになる。画像の付帯情報２０６に画像方向を北向きと保存しておき、認識処理の結果による補正処理２０４である、天地回転処理３０３とスキュー補正処理３０４は処理スルーする。
【００８４】
（３）は、ユーザーが自動方向判別を選択しているため天地識別は選択し、読取られる画像の向きは不明で、スキュー補正機能をしない。（３）のときは、図３では、認識処理２０３である天地識別処理３０１で検知処理を行ない、天地識別結果３０５を出力する。スキュー検知処理３０２処理は処理スルーになる。認識処理の結果による補正処理２０４である、天地回転処理３０３では、先ほどの天地識別結果３０５を用いて画像を回転する。天地識別結果３０５が不明の場合、入力画像をそのまま出力する。スキュー補正処理３０４は処理スルーする。
【００８５】
（４）は、ユーザーが天地識別は選択せずに、自分で原稿を東向きにセットし、スキュー補正機能を選択する。（４）のときは、図３では、認識処理２０３である天地識別処理３０１は処理スルーし、スキュー検知処理３０２処理は実行し、スキュー補正結果３０６を出力する。画像の付帯情報２０６に画像方向を東向きと保存しておき、認識処理の結果による補正処理２０４である、天地回転処理３０３で東向きを北向きに補正する。スキュー補正結果３０６を元にスキュー補正処理３０４を行なう。スキュー補正処理３０４がスキュー角度検知失敗の場合、入力画像をそのまま出力する。
【００８６】
（５）は、ユーザーが天地識別は選択せずに、自分で原稿を北向きにセットし、スキュー補正機能を選択する。（５）のときは、図３では、認識処理２０３である天地識別処理３０１は処理スルーし、スキュー検知処理３０２処理は実行し、スキュー補正結果３０６を出力する。画像の付帯情報２０６に画像方向を北向きと保存しておき、認識処理の結果による補正処理２０４である、天地回転処理３０３は処理スルーする。スキュー補正結果３０６を元にスキュー補正処理３０４を行なう。スキュー補正処理３０４がスキュー角度検知失敗の場合、入力画像をそのまま出力する。
【００８７】
（６）は、ユーザーが自動方向判別を選択しているため天地識別は選択し、読取られる画像の向きは不明で、スキュー補正機能を選択する。（６）のときは、図３では、認識処理２０３である天地識別処理３０１で検知処理を行ない、天地識別結果３０５を出力する。スキュー検知処理３０２では処理は実行し、スキュー補正結果３０６を出力する。認識処理の結果による補正処理２０４である、天地回転処理３０３では、先ほどの天地識別結果３０５を用いて画像を回転する。天地識別結果３０５が不明の場合、入力画像をそのまま出力する。スキュー補正結果３０６を元にスキュー補正処理３０４を行なう。スキュー補正処理３０４がスキュー角度検知失敗の場合、入力画像をそのまま出力する。
【００８８】
請求項３の例は、コピー動作における読取り装置１０１からの入力に対応した操作表示装置１１０のユーザーインタフェース例とその選択時の画像データ処理装置２  １０４の動作例であるが、スキャナ動作のＴｗａｉｎのようなクライアントＰＣから設定を行なう場合のユーザーインタフェースに対してもこの（１）〜（６）を選択できるようにすればネットワーク入力に対しても天地識別やスキュー補正処理が選択することができ、システムが実行可能になる。
【００８９】
次に、請求項４に係る実施例について説明する。
【００９０】
図７にＰＤＦファイルの構成例を示す。この例では、スキャナアプリの配信時に選択できるＰＤＦファイルのファイル形式の例を示している。必ず必要なカタログオブジェクト７０１、ページツリー７０２、ページ７０３が存在する。読取り装置１０１より読取った画像のオブジェクトにかかわる、コンテントストリーム７０４、画像オブジェクト７０５が存在する。画像１枚に対してＰＤＦファイルにするシングルＰＤＦ形式の例になる。
【００９１】
図８に画像方向と回転角度と移動量を追記したＰＤＦヘッダーの例を示す。図７で示した構成のＰＤＦファイルのヘッダー情報を抜粋している。青文字で示す文字列は実際にＰＤＦファイルに記述されることはない。説明のために記述している。
【００９２】
実施例３の画像データ処理装置２  １０４内の天地識別処理３０１により判定された結果をＰＤＦヘッダーに反映させてクライアントＰＣ１１６にインストールされているビューワが表示時にヘッダー情報を認識して回転させて表示する。
【００９３】
図８の例では、天地識別処理３０１は、天地識別結果３０５が西向きであると判定する。画像の付帯情報２０６に出力ファイルのフォーマット情報（ＰＤＦ出力）を保存しておき、天地回転処理３０３では、実画像を回転せず、処理をスルーする。
【００９４】
ＣＰＵ１０６で行なう、ＰＤＦファイルフォーマットへのエンコード処理で、ＰＤＦファイルフォーマットへ変換する。エンコード処理ではＰＤＦヘッダーを作成する。このヘッダー作成時に天地識別結果３０５（西向き）を読取り、図８の「／Ｒｏｔａｔｅ  ９０」を記述する。
【００９５】
クライアントＰＣ１１６はＰＤＦフォーマットとして配信されてきたＰＤＦファイルを表示するため、ビューワを起動する。ビューワは、本装置がＰＤＦファイルを作成するときに追記した方向情報を読取り、画像の方向を時計回りに９０度回転させる。
【００９６】
図８の例では、スキュー検知処理３０２は、スキュー検知結果３０６がスキュー角度１度であると判定する。画像の付帯情報２０６に出力ファイルのフォーマット情報（ＰＤＦ出力）を保存しておき、スキュー補正処理３０４では、実画像を回転せず、処理をスルーする。
【００９７】
ＣＰＵ１０６で行なう、ＰＤＦファイルフォーマットへのエンコード処理で、ＰＤＦファイルフォーマットへ変換する。エンコード処理ではＰＤＦヘッダーを作成する。このヘッダー作成時にスキュー補正結果３０６を読取り、図８の「0.999848 -0.017452 0.017452 0.999848」を記述する。
【００９８】
クライアントＰＣ１１６はＰＤＦフォーマットとして配信されてきたＰＤＦファイルを表示するため、ビューワを起動する。ビューワは、本装置がＰＤＦファイルを作成するときに追記した回転角度情報を読取り、画像の１度回転させる。
【００９９】
次に、請求項５に係る実施例について説明する。
【０１００】
図８の例では、スキュー検知処理３０２は、スキュー検知結果３０６がスキュー角度１度であると判定する。画像の付帯情報２０６に出力ファイルのフォーマット情報（ＰＤＦ出力）を保存しておき、スキュー補正処理３０４では、実画像を回転せず、処理をスルーする。
【０１０１】
ＣＰＵ１０６で行なう、ＰＤＦファイルフォーマットへのエンコード処理で、ＰＤＦファイルフォーマットへ変換する。エンコード処理ではＰＤＦヘッダーを作成する。このヘッダー作成時にスキュー補正結果３０６を読取り、図８の「-48.08874240.826193」を記述する。この請求項５の例では、移動量を以下の式を用いて求めている。
【０１０２】
主走査方向の移動量  ＝  −  画像の副走査サイズ  ＊  ｔａｎ（−スキュー角度）  ＋  Ａ  （Ａ：オフセット）
【０１０３】
副走査方向の移動量  ＝  画像の主走査サイズ  ＊  ｔａｎ（−スキュー角度）  ＋  Ｂ  （Ｂ：オフセット）
【０１０４】
クライアントＰＣ１１６はＰＤＦフォーマットとして配信されてきたＰＤＦファイルを表示するため、ビューワを起動する。ビューワは、本装置がＰＤＦファイルを作成するときに追記した移動量情報を読取り、画像を指定画素分、平行移動させる。
【０１０５】
次に、請求項６に係る実施例について説明する。
【０１０６】
図９にカラー時の入力画像２０５情報と付帯情報２０６の構成要素一覧の例を示す。画像データ処理装置２  １０４の入力である入力画像２０５と、付帯情報２０６を構成する要素を示している。認識処理２０３である、天地識別処理３０１とスキュー検知処理３０２の入力情報になる。
【０１０７】
カラー選択時、画像データ処理装置２  １０４には入力画像２０５として、統一された色空間であるＲＧＢカラー画像が主走査サイズＸ掛ける副走査サイズＹ量の１次元配列としてＲプレーン９０１、Ｇプレーン９０２、Ｂプレーンの３プレーン画像情報になる。
【０１０８】
付帯情報２０６として大きく分けて、分離プレーン９０４、操作表示装置１１０入力情報９０５、認識処理３０１の認識結果９０６になる。分離プレーン９０４情報は、画像情報の１画素ごとに分離情報Ｎ  ｂｉｔが対応していて、画像サイズ（主走査サイズＸ掛ける副走査サイズＹ量）の１次元配列となる。この分離プレーン９０４は画像データ処理装置１  １０２で入力画像の特徴により生成される情報である。
【０１０９】
操作表示装置１１０入力情報９０５は、ユーザーが設定する設定のことである。図９の例では、カラーモード、アプリタイプ、原稿モード、変倍率、解像度、階調数、ノッチ（原稿の濃さ）、主走査サイズＸ、副走査サイズＹ等がある。
【０１１０】
認識処理３０１の認識結果９０６は、画像データ処理装置２  １０４の認識処理３０１で認識した検知結果である、天地方向、スキュー角度、スキュー検出結果がある。なお、ユーザーが認識処理を選択していない場合、認識処理３０１の認識結果９０６の天地方向は、ユーザーが指定した画像方向が設定され、スキュー角度は０度、スキュー検出結果はスキューを行なわないという操作表示装置１１０から選択された情報が格納される。このあらかじめ設定してある、認識処理３０１の認識結果９０６を参照し、認識処理２０３である、天地識別処理３０１とスキュー検知処理３０２や、認識処理の結果による補正処理２０４である、天地回転処理３０３とスキュー補正処理３０４は処理の実行／処理スルーを選択する。
【０１１１】
本発明では、認識処理の結果による補正処理２０４である、天地回転処理３０３とスキュー補正処理３０４は入力画像２０５と付帯情報２０６内の分離プレーン９０４の１プレーンごとに画像情報が格納されているフォーマットに対して、１プレーンごとの回転を行なうことを特徴としている。
【０１１２】
図１０に天地回転処理３０３の時系列での処理フローと図１１にスキュー補正処理３０４の時系列での処理フローを示す。図１０と図１１の処理フローでは、カラー情報も考慮されている。２値、グレースケールモードの場合、Ｇプレーン９０２に情報が格納されるため、Ｇプレーンの回転は常に行なわれる。２値画像の場合、１画素１Ｂｉｔに画像データがパッキングされているため、天地回転３０３、スキュー補正３０４ともに２値用の天地回転（２値回転）１００１、スキュー補正（２値回転）１１０１を用いて回転を行なう。図１０、１１の実施例では、グレースケール、カラー時には同じ階調数でかつ分離プレーン９０４も画像プレーンと同一の階調数の例になる。階調数Ｎ  ｂｉｔに対して、天地回転３０３、スキュー補正３０４ともに多値（Ｎ値）用の天地回転（多値回転）１００２、スキュー補正（多値回転）１１０２を用いて回転を行なう。
【０１１３】
天地回転３０３、スキュー補正３０４処理は、画像の階調数に依存する。分離プレーン９０４の階調数が画像プレーンの階調数と異なる場合、分離プレーン９０４用の回転処理を新規に構築し、回転処理を行なう。
【０１１４】
新規に回転処理を追加することによって画像プレーンであるＲプレーン９０１、Ｇプレーン９０２、Ｂプレーンの回転のみではなく、分離プレーン９０４の回転にも対応する。
【０１１５】
今回の実施例では、認識処理２０３は天地識別３０１、スキュー補正３０４処理であるが、ＯＣＲによる文字認識や、バーコード認識処理を行なう。付帯情報２０６にテキストデータを追加し、二次記憶装置であるＨＤＤにそのテキストデータも保存する。ユーザーがＨＤＤ１０５内に蓄積された画像を選択するときにテキスト検索によって検索効率向上等の使用用途も考えられる。
【０１１６】
次に、請求項７に係る実施例について説明する。
【０１１７】
図１２に各処理と画像方向の関係を示す。この図は、認識処理２０３と、認識処理の結果による補正処理２０４の処理の抜粋になる。請求項３の実施例の（６）の天地識別３０１処理、スキュー補正３０４処理が両方選択された場合の処理内容になる。天地識別３０１処理は、前処理として、２値化１２０１と間引き処理１２０２を行なう。その画像を対象に天地識別３０１処理を行ない、天地識別結果３０５である画像の方向情報を得る。
【０１１８】
その後に、スキュー検知３０２処理を実行する。スキュー検知３０２処理は、前処理として、２値化１２０３、間引き処理１２０４を行なう。その画像を対象にスキュー検知３０２処理を行ない、スキュー検出結果３０６であるスキュー角度情報を得る。
【０１１９】
この例では、グレースケール画像を対象としている。認識処理２０３内にある２値化１２０１、間引き処理１２０２、天地識別３０１、２値化１２０３、間引き処理１２０４、スキュー検知３０２処理は、西向きの少し傾いた画像が入力になる。
【０１２０】
認識処理の結果による補正処理２０４である、天地回転多値１００２では、西向きの少し傾いた画像が入力と天地識別結果３０５になり、北向きの少し傾いた画像を出力となる。スキュー回転多値１１０２では、北向きの少し傾いた画像とスキュー検出結果３０６が入力となり、北向きの画像を出力する。
【０１２１】
２値化処理１２０１と１２０３と間引き処理１２０２と１２０４は天地識別３０１用とスキュー検出３０２用に２種類ずつ存在する。実施例では、天地識別３０１とスキュー補正３０４に最適に認識処理が行なえるように処理が異なっているためである。
【０１２２】
２値化処理１２０１と１２０３処理内で、あるしきい値Ａに対し、白と判定される割合（白画素÷全画素）を比較し、しきい値以下の画像の場合、２値化結果に対し、ほとんど白い画像であると判定されるので、この後の処理である、間引き処理１２０２と１２０４、天地識別３０１とスキュー検出３０２を省略し、認識失敗として処理を打ち切る。
【０１２３】
また、２値化処理１２０１と１２０３処理内で、あるしきい値Ｂに対し、黒と判定される割合（１−白と判定される割合）を計算し、しきい値比較してほとんど黒い画像であると判定された場合に対しても処理を打ち切る。
【０１２４】
次に、請求項８に係る実施例について説明する。
【０１２５】
図１３に認識処理２０３全体処理フローを示す。図１３は、図１２の処理をフローチャート形式にした図である。また、図１２では間引き処理１２０２と１２０４を常に行なう構成になっているが、図１３のフローチャートでは、入力画像２０５であるＧプレーン９０２画像と、付帯情報２０６を用いて、２値化処理１２０１と１２０３の処理後に画像の解像度情報を参照し、あるしきい値Ｃ以上の画像では、間引き処理１２０２と１２０４を行ない、未満の画像では、間引き処理１２０２と１２０４を行なう条件分岐を追加している。
【０１２６】
高解像度の画像は画像サイズが大きく、天地識別３０１処理やスキュー検知３０２処理での計算量が増大し、処理時間がかかるが、あるしきい値Ｃ、Ｄ以上の高解像度画像と判定した画像に対しては、間引き処理１２０２と１２０４を追加して間引いた画像で、天地識別３０１処理やスキュー検知３０２処理を実行するので、高解像度時において処理時間短縮する。
【０１２７】
実施例では、天地識別３０１とスキュー補正３０２の前処理である間引き処理１２０２と１２０４を実行するか選択するためのしきい値Ｃ、Ｄは天地識別３０１とスキュー補正３０２の画像の解像度と検知精度の関係が違うため違う値である。
【０１２８】
間引き処理１２０２は、主走査、副走査Ｉライン中に１ラインを採用する単純間引き処理を行なった。
【０１２９】
間引き処理１２０４は、主走査Ｊ画素、副走査Ｋ画素の領域を参照し、１画素でも黒画素が存在する場合黒画素にするＯＲ間引き処理を行なった。
【０１３０】
次に、請求項９に係る実施例について説明する。
【０１３１】
図１４に天地識別３０１処理であるプレーン情報の検出結果により全プレーン天地回転１００２する例を、図１５にスキュー検知３０２処理であるプレーン情報の検出結果により全プレーンスキュー補正１１０２する例を示す。図１４も図１５もＧプレーン９０２を認識処理２０３に用い、カラー時で、入力画像２０５であるＲプレーン９０１、Ｇプレーン９０２、Ｂプレーン９０３、付帯情報２０６である、分離プレーン９０４を回転している図でなる。
【０１３２】
図１４の天地識別３０１処理は、実施例７、８で説明したように前処理である２値化１２０１と間引き処理１２０２と天地識別３０１処理をまとめ１つの処理ブロックとしている。
【０１３３】
図１５のスキュー検知３０２処理処理は、実施例７、８で説明したように前処理である２値化１２０３と間引き処理１２０４とスキュー検知３０２処理をまとめ１つの処理ブロックとしている。
【０１３４】
認識処理２０３にＧプレーン９０２を用いる利点として、２値、グレースケール時においてもこのＧプレーン９０２に画像データが格納されるため、カラーモード情報により処理の切り替えがなく処理を簡素化できる。
【０１３５】
また、単一のＧプレーン９０２の結果を他のプレーンに反映するため、各プレーンごとで異なる天地識別結果３０５や、スキュー検出結果３０６で回転することがないので、方向の不一致やスキュー角度が異なることによる色ずれが起こることがない。
【０１３６】
次に、請求項１０に係る実施例について説明する。
【０１３７】
本実施例の説明で用いる、ＨＤＤ蓄積アプリ時の画像データ（入力画像２０５）と付帯情報２０６のシステム内の流れについて説明する。
【０１３８】
ＨＤＤ蓄積アプリでは、ユーザーは原稿を読取り装置１０１にセットし、所望するモード等の設定とスキャナ配信開始の入力を操作表示装置１１０に行なう。
【０１３９】
制御シーケンスは、操作表示装置１１０はユーザーから入力された情報を、機器内部の制御コマンドデータに変換し発行する。発行された制御コマンドデータはＰＣＩかＰＣＩ−Ｅｘｐｒｅｓｓバスを介してＣＰＵ１０６に通知される。
【０１４０】
次に、ＣＰＵ１０６はＨＤＤ蓄積アプリ開始の制御コマンドデータに従って、ＨＤＤ蓄積アプリ動作プロセスのプログラムを実行する。
【０１４１】
画像データ（入力画像１０５）と付帯情報１０６の流れは、読取り装置１０１で原稿をスキャンして得られたＲＧＢ各８ビットのデジタル画像データ（入力画像２０５）は、画像データ処理装置１  １０２で予め定めた特性に統一され、バス制御装置１０３に送られる。また、入力画像２０５より、分離データ（付帯情報２０６）を画像データ処理装置１  １０２が生成し、バス制御装置１０３に送られる。
【０１４２】
バス制御装置１０３は画像データ処理装置１  １０２からのＲＧＢ画像データ（入力画像２０５）と分離データ（付帯情報２０６）を受け取ると、ＣＰＵ１０６を介してメモリ１０７に蓄積する。
【０１４３】
次にメモリ１０７に蓄積されたＲＧＢ画像データ（入力画像２０５）と分離データ（付帯情報２０６）は、ＣＰＵ１０６及びバス制御装置１０３を介して、画像データ処理装置２  １０４に送られる。
【０１４４】
画像データ処理装置２  １０４は受け取ったＲＧＢ画像データ（入力画像２０５）と分離データ（付帯情報２０６）に対し、認識処理２０３と、認識処理の結果による補正処理２０４を行なう。
【０１４５】
バス制御装置１０３は画像データ処理装置２  １０４からの画像データ（入力画像２０５）と分離データ（付帯情報２０６）を受け取ると、ＣＰＵ１０６を介してメモリ１０７に蓄積する。
【０１４６】
次にメモリ１０７に蓄積された画像データ（入力画像２０５）と分離データ（付帯情報２０６）は、ＣＰＵ１０６を介して、バス制御装置１０３を介してＨＤＤ１０５に送られ、蓄積される。
【０１４７】
ＨＤＤ１０５に蓄積された画像データ（入力画像２０５）と分離データ（付帯情報２０６）は、電子配信や、紙出力等の再利用することが可能である。
【０１４８】
本発明である画像データ処理装置２  １０４内の認識処理２０３と、認識処理の結果による補正処理２０４は、付帯情報２０６によって分離データを回転するか選択する。
【０１４９】
図１６に天地識別３０１処理でアプリ情報により分離データの天地回転１００２を実行するか切り替える例と、図１７にスキュー検知３０２処理でアプリ情報により分離データのスキュー補正１１０２を実行するか切り替える例を示す。この図１６、１７は、請求項９の構成で説明したカラー選択時、分離プレーン９０４を天地回転１００２、スキュー補正１１０２を行なうか切り替えを行なう。
【０１５０】
分離プレーン９０４は、画像データ処理装置２  １０４のフィルタ処理２０１やγ処理２０２で必要なため、図３の構成では、認識処理の結果による補正処理２０４が最終段にあるので、分離プレーン９０４は、ＨＤＤ１０５に蓄積して再利用するＨＤＤ蓄積アプリ以外は回転処理を行なう必要がない。
【０１５１】
このため、ＨＤＤ蓄積アプリ以外のコピー、プリント、スキャナー、ＦＡＸ、については分離プレーン９０４の回転処理を実行しない。
【０１５２】
次に、請求項１１に係る実施例について説明する。
【０１５３】
ＨＤＤ蓄積アプリ時には、画像データと分離データ（付帯情報２０６）とサムネール（付帯情報２０６）がＨＤＤ１０５に蓄積される。このサムネール（付帯情報２０６）は、画像データ処理装置２  １０４の画像処理終了後、ＣＰＵ１０６が画像データをもとに画像データから一覧表示するために縮小された画像を作成する。
【０１５４】
画像データ処理装置２  １０４の画像処理終了時に出力される画像データは、天地回転１００２やスキュー補正１１０２が行なわれている画像のため、天地回転１００２やスキュー補正１１０２が行なわれているサムネールを作成するには、付帯情報２０６のアプリ情報からＨＤＤ蓄積アプリ時に作成すればできる。
【０１５５】
また、請求項３の例である、（１）〜（６）までユーザーが画像方向を設定して、スキュー補正処理を選択しない場合でも、天地識別３０１処理やスキュー補正３０４処理を選択した場合に関係なくＣＰＵ１０６は画像データ処理装置２  １０４の出力結果からサムネール画像を作成する。
【０１５６】
このサムネール画像は、操作表示装置１１０にＨＤＤ蓄積文書から選択して再利用する場合にひょうじされる。また、クライアントＰＣのドライバによりＨＤＤ１０５内の画像を選択する場合に、クライアントＰＣに接続された表示装置に表示され、ユーザーの画像選択に利用される。
【０１５７】
ユーザーが天地識別３０１処理や、スキュー補正３０４処理を選択した場合、画像データ処理装置２  １０４で天地回転１００２やスキュー補正１１０２が行なわれ、その画像を用いてＣＰＵ１０６はサムネール画像を作成するため、ＨＤＤ１０５には認識処理の結果による補正処理２０４である、天地回転後の画像や、スキュー補正後の画像のサムネール画像が蓄積され、ユーザーは選択時に天地回転後の画像や、スキュー補正後の画像のサムネール画像を閲覧できる。
【０１５８】
以上説明した本発明を実施するための最良の形態においては、認識処理２０３は天地識別３０１、スキュー補正３０４処理であるが、ＯＣＲによる文字認識や、バーコード認識処理を行なう、付帯情報２０６にテキストデータを追加し、二次記憶装置であるＨＤＤにそのテキストデータも保存する、ユーザーがＨＤＤ１０５内に蓄積された画像を選択するときにテキスト検索によって検索効率向上等の使用用途も考えられる。
【０１５９】
なお、以上本発明を実施するための最良の形態について説明したが、本発明は上記のものに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【図面の簡単な説明】
【０１６０】
【図１】本発明を実施するための最良の形態に係る画像処理装置のシステム構成の概要について示す図である。
【図２】画像データ処理装置２での認識処理とその結果による補正処理を追加した例について示す図である。
【図３】画像データ処理装置２内の画像処理構成について示す図である。
【図４】天地識別処理の入出力の例について示す図である。
【図５】スキュー補正処理の入出力の例について示す図である。
【図６】操作表示装置１１０の例について示す図である。
【図７】ＰＤＦファイルの構成例について示す図である。
【図８】画像方向と回転角度と移動量を追記したＰＤＦヘッダーの例について示す図である。
【図９】カラー時の入力画像２０５情報と付帯情報２０６の構成要素一覧の例について示す図である。
【図１０】天地回転処理３０３の時系列での処理フローについて示す図である。
【図１１】スキュー補正処理３０４の時系列での処理フローについて示す図である。
【図１２】各処理と画像方向の関係について示す図である。
【図１３】認識処理２０３の全体処理フローについて示す図である。
【図１４】天地識別３０１処理であるプレーン情報の検出結果により全プレーン天地回転１００２する例について示す図である。
【図１５】スキュー検知３０２処理であるプレーン情報の検出結果により全プレーンスキュー補正１１０２する例について示す図である。
【図１６】天地識別３０１処理でアプリ情報により分離データの天地回転１００２を実行するか切り替える例について示す図である。
【図１７】図１７  スキュー検知３０２処理でアプリ情報により分離データのスキュー補正１１０２を実行するか切り替える例
【符号の説明】
【０１６１】
１０１  読取り装置
１０２  画像データ処理装置１
１０４  画像データ処理装置２
【図１】
2007080178.tif 000003
【図２】
2007080178.tif 000004
【図３】
2007080178.tif 000005
【図４】
2007080178.tif 000006
【図５】
2007080178.tif 000007
【図６】
2007080178.tif 000008
【図７】
2007080178.tif 000009
【図８】
2007080178.tif 000010
【図９】
2007080178.tif 000011
【図１０】
2007080178.tif 000012
【図１１】
2007080178.tif 000013
【図１２】
2007080178.tif 000014
【図１３】
2007080178.tif 000015
【図１４】
2007080178.tif 000016
【図１５】
2007080178.tif 000017
【図１６】
2007080178.tif 000018
【図１７】
2007080178.tif 000019