(57)【要約】【課題】原稿台に、どの向きに手書き合成シートを置いても、傾きのない状態で合成することができる画像形成装置を提供することを目的とする。【解決手段】手書き画像と画像データを合成するためのシートを読み取る読取手段と、上記読取手段で読み取られた手書き画像の位置を検出する手書き画像の位置検出手段と、上記の読取手段で読み取られた手書き画像の向きを検出する手書き画像の向き検出手段と、上記手書き画像の位置検出手段が検出した手書き画像の位置と、上記手書き画像の向き検出手段が検出した向きとに基づいて、上記手書き画像の向きと画像データの向きとを合わせて、上記手書き画像と上記画像データとを合成する合成手段とを有することを特徴とする画像形成装置である。【選択図】図４
2010004405.tif 000002
【特許請求の範囲】
【請求項１】
手書き画像と画像データとを合成するためのシートを読み取る読取手段と；
上記読取手段が読み取った手書き画像の位置を検出する手書き画像の位置検出手段と；
上記読取手段が読み取った手書き画像の向きを検出する手書き画像の向き検出手段と；
上記手書き画像の位置検出手段が検出した手書き画像の位置と、上記手書き画像の向き検出手段が検出した向きとに基づいて、上記手書き画像の向きと画像データの向きとを合わせて、上記手書き画像と上記画像データとを合成する合成手段と；
を有することを特徴とする画像形成装置。
【請求項２】
請求項１において、
上記手書き画像の位置検出手段は、シートに記載されたマークに基づいて、手書き画像の位置と手書き画像の傾きとを検出する手段であり、
上記合成手段は、検出された位置と傾きとに応じて、上記手書き画像と上記画像データとを合成する手段であることを特徴とする画像形成装置。
【請求項３】
請求項２において、
上記手書き画像の向き検出手段が検出した原稿台に対する向きと、上記手書き画像の位置検出手段が検出したマークとに基づいて、上記手書き画像を回転する回転手段を有し、
上記合成手段は、上記回転手段が回転した手書き画像と上記画像データとを合成する手段であることを特徴とする画像形成装置。
【請求項４】
手書き画像と画像データとを合成するためのシートを読み取る読取工程と；
上記読取工程で読み取られた手書き画像の位置を、位置検出手段が検出する手書き画像の位置検出工程と；
上記読取工程で読み取られた手書き画像の向きを、向き検出手段が検出する手書き画像の向き検出工程と；
上記手書き画像の位置検出工程で検出された手書き画像の位置と、上記手書き画像の向き検出工程で検出された向きとに基づいて、上記手書き画像の向きと画像データの向きとを合わせて、上記手書き画像と上記画像データとを合成する合成工程と；
を有することを特徴とする画像形成装置の制御方法。
【請求項５】
請求項４において、
上記手書き画像の位置検出工程は、シートに記載されたマークに基づいて、手書き画像の位置と手書き画像の傾きとを検出する工程であり、
上記合成工程は、検出された位置と傾きとに応じて、上記手書き画像と上記画像データとを合成する工程であることを特徴とする画像形成装置の制御方法。
【請求項６】
請求項５において、
上記手書き画像の向き検出工程で検出された原稿台に対する向きと、上記手書き画像の位置検出工程で検出されたマークとに基づいて、上記手書き画像を回転する回転工程を有し、
上記合成工程は、上記回転工程で回転された手書き画像と上記画像データとを合成する工程であることを特徴とする画像形成装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スキャナ等の画像読取装置と、プリンタ等の印字装置と、記憶媒体に保存されているデジタル画像を読み込む機能をもつ画像形成装置において、デジタル画像とユーザの手書き画像とを合成する画像形成装置に関する。
【背景技術】
【０００２】
複合機の機能の１つとして、記憶媒体に保存されているデジタル画像と、スキャナで読み取った手書き画像とを合成し、印刷する発明が知られている（たとえば、特許文献１参照）。
【０００３】
このような画像形成システムは、手書き画像を書き込む手書き合成シートを印刷し、手書き画像を書き込んだ後の手書き合成シートを読み込み、手書き合成シートの画像から手書き画像を抽出し、抽出した手書き画像を、デジタル画像と合成する。
【０００４】
また、手書き画像が書かれた手書き合成シートを読み込むときに、手書き画像が手書き合成シートのどの位置にあるかを特定し、より精度の高い合成をする方法が提案されている（たとえば、特許文献２参照）。
【特許文献１】特開２００３−８０７８９号公報
【特許文献２】特開２００７−４９６２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上記従来例では、手書き合成シートをスキャンする際に、手書き合成シートを原稿台に傾いた状態で置くと、手書き合成シートの手書き画像が、傾いたまま合成されるという問題がある。
【０００６】
図１は、従来例において、手書き合成シートが原稿台に傾いた状態で置かれている状態を説明する図である。
【０００７】
図１（ａ）は、ユーザが合成することを望む写真合成画像を示す図である。合成写真画像は、合成の対象である写真画像である。
【０００８】
図１（ｂ）は、手書き合成シートが原稿台に対して傾いていない状態で読込まれた場合における合成結果を示す図である。このうち、手書き画像５５は、ユーザがペン等の筆記用具を使って書き込んだ文字や図画である。
【０００９】
図１（ｃ）は、手書き合成シートが、原稿台に対して傾いた状態でスキャンされた場合の合成結果を示す図である。従来例では、図１（ｃ）に示すように、手書き画像５５ｂが、合成写真画像に対して傾いた状態で合成されている。
【００１０】
これと同じように、手書き合成シートを逆向きに置くと、手書き画像５５が逆向きのまま合成される。これを防ぐために、手書き合成シートをスキャンする際に、原稿台の突き当て位置に、手書き合成シートのどの部分を置くかが指定されている。つまり、原稿台に対して手書き合成シートの置き方は、自由度が低いという問題がある。
【００１１】
本発明は、原稿台に、どの向きに手書き合成シートを置いても、傾きのない状態で合成することができる画像形成装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、手書き画像と画像データとを合成するためのシートを読み取る読取手段と、上記読取手段が読み取った手書き画像の位置を検出する手書き画像の位置検出手段と、上記読取手段が読み取った手書き画像の向きを検出する手書き画像の向き検出手段と、上記手書き画像の位置検出手段が検出した手書き画像の位置と、上記手書き画像の向き検出手段が検出した向きとに基づいて、上記手書き画像の向きと画像データの向きとを合わせて、上記手書き画像と上記画像データとを合成する合成手段とを有する画像形成装置である。
【発明の効果】
【００１３】
本発明によれば、スキャン結果となる画像内に、傾き検出のためのマークと、相対位置を検出するためのマークがあるので、原稿台に、どの向きに手書き合成シートを置いても、傾きのない状態で合成することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１４】
発明を実施するための最良の形態は、次の実施例である。
【実施例１】
【００１５】
図２は、本発明の実施例１である画像形成装置１００を示すブロック図である。
【００１６】
画像形成装置１００は、スキャナ部１０と、プリンタ部２０と、操作部３０と、制御部４０とを有する。
【００１７】
スキャナ部１０は、たとえばＣＩＳ方式、またはＣＣＤ方式のカラースキャナによって構成されている。
【００１８】
スキャナ部１０は、照明１１と、イメージセンサ１２と、ＡＤ変換部１３と、センサデータ制御部１４と、センサ駆動制御部１５とを有する。
【００１９】
スキャナ部１０で得られたデータは、センサデータ制御部１４が、ＲＡＭ４２に保存する。
【００２０】
プリンタ部２０は、たとえばインクジェット方式のプリンタによって構成されている。インクジェット方式のプリンタは、不図示のインクカートリッジから供給されるインクを、印字用紙に吹きつけることによって、画像を形成する。
【００２１】
プリンタ部２０は、プリントヘッド２１と、印字駆動制御部２２と、印字紙搬送部２３と、印字データ制御部２４とを有する。
【００２２】
操作部３０は、ユーザが、画像形成装置１００に指令を出すための部分であり、ユーザインタフェース部３１と、記憶媒体制御部３２と、記憶媒体３３とを有する。
【００２３】
ユーザインタフェース部３１は、たとえば、キーや液晶画面で構成されているオペレーションパネル等の操作部分である。
【００２４】
記憶媒体制御部３２は、ＳＤカード等の外部から着脱可能な記憶媒体３３を、画像形成装置１００と接続する部分であり、接続された記憶媒体３３に、画像データが存在すると、記憶媒体制御部３２は、これを認識し、制御部４０に通達する。
【００２５】
制御部４０は、ＲＯＭ４１と、ＲＡＭ４２と、ＣＰＵ４３とを有する。
【００２６】
ＲＯＭ４１は、この画像形成装置１００の制御プログラムが格納されている不揮発性メモリである。ＣＰＵ４３は、この制御プログラムを実行することによって、スキャナ制御ユニット、プリンタ制御ユニット等として機能する。
【００２７】
実施例１は、この他に、手書き合成シート印刷ユニット、手書き合成シートスキャンユニット、合成実行ユニット及び合成結果印刷ユニットとして機能する。
【００２８】
操作部３０を介して、ユーザが手書き合成シートの作成を依頼したときに、写真画像を用いて、手書き合成シートのデジタルデータを作成し、プリンタ部２０が出力することによって、上記手書き合成シート印刷ユニットを構成する。
【００２９】
スキャナ部１０が手書き合成シートをスキャンすることによって、デジタル画像データを取得し、この取得したデジタル画像データから、手書き画像５５を抽出することによって、上記手書き合成シートスキャンユニットを構成する。
【００３０】
上記合成実行ユニットは、手書き画像５５と写真画像とを合成し、この合成結果をプリンタ部２０に送信する。
【００３１】
ＲＡＭ４２は、スキャナ部１０が読み取った画像データや、プリンタ部２０が印字をするためにＪＰＥＧ形式のファイルを印字データに変換したもの等、一時的に必要なデータを逐次保存し、必要がなくなり次第、削除する。
【００３２】
図３は、実施例１において使用する手書き合成シートＳＨ１と、手書き合成シートＳＨ１における手書きエリア５４との例を示す図である。
【００３３】
手書き合成シート判別マーク５１は、手書き合成シートＳＨ１をスキャンしたときに、スキャンした原稿が、手書き合成シートＳＨ１であることを認識するために使用するマークである。合成したい画像が、記憶媒体に格納されている画像のうちのどの画像であるか等の情報が、この手書き合成シート判別マーク５１に入っているので、手書き合成シートＳＨ１によって形状が変化する。
【００３４】
用紙選択エリア５２は、画像を合成した後に、印刷を行うときの用紙サイズをユーザが選択するために設けられている欄である。
【００３５】
エリア検出マーク５３ａ、５３ｂ、５３ｃ、５３ｄは、手書き合成シートＳＨ１をスキャンした際に、手書き部分を正しく抽出するために用いる位置検出マークである。実施例１では、エリア検出マーク５３ａ〜５３ｄを、原稿台に対して手書き合成シートＳＨ１が傾いていた場合に検出する傾き検出マークとして用いる。同時に、傾き補正のためのパラメータを求めるためのマークとして用いる。
【００３６】
手書きエリア５４は、ユーザが手書き画像５５を書き込む領域である。手書きエリア５４には、手書き画像５５と写真画像との位置関係が、合成の結果どのようになるかをユーザが分かりやすいように、写真画像が薄く印字してある。写真画像の一部５４ａ、５４ｂは、薄く印字してある写真画像の一部である。
【００３７】
手書き画像５５は、印刷した手書き合成シートＳＨ１に、ユーザが書き足した文字である。
【００３８】
図４は、実施例１に係る手書き合成シートＳＨ１を印刷する動作を示すフローチャートである。
【００３９】
フローチャートにおいて、「画像データ」は、１つの画素が、Ｒ、Ｇ、Ｂの３つの信号で表現され、各信号が独自の値を持つデジタルデータである。また、「二値化画像データ」は、１つの画素が１か０かの値を持ち、１であれば黒、０であれば白である。
【００４０】
Ｓ１で、ユーザが、ユーザインタフェース部３１を操作し、手書き合成シートＳＨ１の印刷実行を選択する。このときに、ＣＰＵ４３が、手書き合成シート印刷ユニットとして動作し、記憶媒体３３に保存されている写真画像のサムネイル画像を、ＲＡＭ４２に作成し、ユーザインタフェース部３１に表示する。
【００４１】
Ｓ２で、ユーザが、表示された写真画像を見ながら、ユーザインタフェース部３１を操作し、合成したい写真画像を選択する。
【００４２】
Ｓ３で、ＣＰＵ４３が、記憶媒体３３から写真画像ファイルを読み込み、ＲＡＭ４２に一時的に保存する。また、このときに、ＣＰＵ４３は、記憶媒体３３内のどの画像を用いたかを示す情報を入れた手書き合成シート判別マーク５１を作成する。
【００４３】
また、図３（ａ）に示す写真画像を、手書き合成シートＳＨ１の手書きエリア５４に薄く印字するための画像データを作成する。まず、手書きエリア５４の縦横比と同じになるように、写真画像の上下または左右を切り出す。切り出した画像を、手書き合成シートＳＨ１のデジタル画像フォーマット中の手書きエリア５４と同じサイズになるように、リサイズする。
【００４４】
図５は、手書き合成シートＳＨ１の薄だし画像を作成する場合における入出力関係をグラフ化した図である。
【００４５】
図５に示すように、写真画像図３（ａ）の階調数を減らし、低濃度領域のみで表現する画像へ変換する。上記処理によって作成した画像データを、「薄だし画像データ」とする。ＣＰＵ４３は、上記方法で作成した手書き合成シート判別マーク５１と、薄だし画像データとを、ＲＡＭ４２に保存する。
【００４６】
Ｓ４で、ＣＰＵ４３が、ＲＯＭ４１に保存されている手書き合成シートＳＨ１のデジタル画像のフォーマットを、ＲＡＭ４２に保存する。
【００４７】
Ｓ５で、ＣＰＵ４３が、手書き合成シートＳＨ１の手書きエリア５４の部分に、図３（ａ）の薄だし画像データを嵌め込み、手書き合成シート判別マーク５１を、所定の位置に嵌め込んで、手書き合成シートＳＨ１の印字データを作成する。
【００４８】
Ｓ６で、ＣＰＵ４３は、作成された手書き合成シートＳＨ１の画像データを、プリンタ部２０に出力させる。
【００４９】
図６は、実施例１に係る手書き合成シートＳＨ１をスキャンする動作を示すフローチャートである。
【００５０】
このときに、ＣＰＵ４３は、手書き合成シートスキャンユニットとして機能する。
【００５１】
Ｓ１１で、ＣＰＵ４３は、ユーザインタフェース部３１に、手書き合成シート読み込みを促す表示をさせる。ユーザは、これを確認し、書き込みが終了した手書き合成シートＳＨ１を、スキャナ部１０に読み取らせる。
【００５２】
図７は、読み取った手書き合成シートＳＨ１が傾いている場合の動作説明図である。
【００５３】
図７（ａ）は、読み取った手書き合成シートＳＨ１が傾いている場合の一例を示す図である。
【００５４】
Ｓ１２で、ＣＰＵ４３が、ＲＡＭ４２に保存されている手書き合成シート判別マーク５１、用紙選択エリア５２、エリア検出マーク５３ａ〜５３ｄの位置情報を得る。
【００５５】
Ｓ１３で、ＣＰＵ４３は、手書き合成シート判別マーク５１の位置情報に基づいて、手書き合成シートＳＨ１の画像データから、手書き合成シート判別マーク５１が存在していると予測される領域を解析する。記憶媒体３３に存在しているどの画像を用いて、手書き合成シートＳＨ１が作成されたかを示す情報が、手書き合成シート判別マーク５１に存在している。これに基づいて、合成する写真画像を特定し、記憶媒体３３に存在している写真画像の画像ファイルを、ＲＡＭ４２に保存する。
【００５６】
このときに、手書きエリア５４の縦横比と同じになるように、写真画像の上下または左右を切り出し、切り出した画像を、手書き合成シートＳＨ１のデジタル画像フォーマット中の手書きエリア５４と同じサイズになるようにリサイズする。手書きエリア５４の画像サイズは、読み取りを実行したときの解像度と、ＲＯＭ４１に保存されている手書きエリア５４の物理的な大きさとから導くことができる。
【００５７】
図７（ｂ）、（ｃ）は、実施例１に係る傾き補正領域を示す図である。
【００５８】
Ｓ１４で、ＣＰＵ４３は、エリア検出マーク５３ａ〜５３ｄの位置情報に基づいて、手書き合成シートＳＨ１の画像データから、エリア検出マーク５３ａ〜５３ｄを全て含むと予測される領域を切り出す。この切り出した結果が、図７（ｃ）に示す領域である。
【００５９】
図８は、実施例１におけるエリア検出マーク５３ａ〜５３ｄの形状の一例を示す図である。
【００６０】
実施例１で、エリア検出マーク５３ａ〜５３ｄは、全て、縦ＢＡＲ＿Ｌ［ｐｉｘｅｌ］、横ＢＡＲ＿Ｗ［ｐｉｘｅｌ］の長方形を、中心で二つ重ねた形状である。
【００６１】
Ｓ１５で、図７（ｃ）に示す画像のうちで、エリア検出マーク５３ａ〜５３ｄの正確な位置を、パターンマッチングによって特定する。
【００６２】
＜傾き検出マークを用いた傾き補正処理（Ｓ１６）の詳細＞
Ｓ１６で、図７（ｃ）に示す画像のうちで、手書きエリア５４が，画像に対して平行になるように、画像（ｃ）を回転する。
【００６３】
実施例１で、画像を回転する場合、ホモグラフィー変換を用いる。
【００６４】
以下に、ホモグラフィー変換の詳細について記述する。
【００６５】
図９は、実施例１において、傾き補正処理を行う画像中、エリア検出マーク５３ａ〜５３ｄの実際の位置と、手書きエリア５４がスキャン画像に対して傾いていない状態でのエリア検出マーク５３ａ〜５３ｄの位置との関係を示す図である。
【００６６】
実施例１において、変換前の座標位置Ｐは、図９における実際の検出マークの座標位置である。変換後の座標位置Ｑは、傾きのない状態での検出マークの座標位置である。
【００６７】
変換前の座標位置Ｐにおいて、図７（ａ）に示す画像データの中で、左上にあるエリア検出マーク５３ａの変換前の座標Ｐ１を、（ｘ１，ｙ１）とする。
【００６８】
図７（ａ）に示す画像データの中で、左下にあるエリア検出マーク５３ｂの変換前の座標Ｐ２を、（ｘ２，ｙ２）とする。
【００６９】
図７（ａ）に示す画像データの中で、右上にあるエリア検出マーク５３ｃの変換前の座標Ｐ３を、（ｘ３，ｙ３）とする。
【００７０】
図７（ａ）に示す画像データの中で、右下にあるエリア検出マーク５３ｄの変換前の座標Ｐ４を、（ｘ４，ｙ４）とする。
【００７１】
変換後の座標位置Ｑにおいて、図７（ｃ）の左上に位置するエリア検出マーク５３ａの変換後の座標Ｑ１を、（Ｓ１，Ｔ１）とする。これと同様に、左下に位置するエリア検出マーク５３ｂの変換後の座標Ｑ２を、（Ｓ２，Ｔ２）とする。右上に位置するエリア検出マーク５３ｃの変換後の座標Ｑ３を、（Ｓ３，Ｔ３）とする。右下に位置するエリア検出マーク５３ｄの変換後の座標Ｑ４を、（Ｓ４，Ｔ４）とする。
【００７２】
図１０は、切り出した画像データにおいて、変換前後の座標の関係の式を示す図である。
【００７３】
図１０に示す式（１０ａ）は、実施例１において、エリア検出マーク５３ａ〜５３ｄが作る長方形の短辺の長さを求める式である。
【００７４】
図１０に示す式（１０ｂ）は、実施例１において、エリア検出マーク５３ａ〜５３ｄが作る長方形の長辺の長さを求める式である。
【００７５】
変換前の座標Ｐのうちで、左上の位置にあるエリア検出マーク５３ａの位置が、変換前後で位置変化のない「基準座標」であるとする。つまり、実施例１において、エリア検出マーク５３ａの座標Ｐ１が、座標Ｑ１である。
【００７６】
図１０に示す式（１０ｃ）は、実施例１において、座標Ｑ１とＰ１との関係を示す式である。
【００７７】
ＣＰＵ４３は、エリア検出マーク５３を全て線で結んだときに描かれる長方形の短辺が、画像データに対して垂直になり、上記長方形の長辺が、画像データに対して水平になるように、エリア検出マーク５３ａ〜５３ｄの変換後の座標位置を求める。
【００７８】
座標Ｑ２は、座標Ｑ１から、ｙ軸と平行に進んだ位置にあるので、座標Ｑ２のｘ軸上の値は、座標Ｑ１のｘ軸上の値と同じである。また、座標Ｑ２のｙ軸上の値は、座標Ｑ１のｙ軸上の値ｔ１から、Ｐ１とＰ２との距離（Ｌｅｎｇｔｈ）だけ移動させた値である。よって、式（１０ｄ）を求めることができる。
【００７９】
これと同様に、座標Ｑ３は、座標Ｑ１からｘ軸と平行に進んだ位置にあるので、座標Ｑ３のｙ軸上の値は、座標Ｑ１のｙ軸上の値と等しく、座標Ｑ３のｘ軸上の値は、座標Ｑ１のｘ軸上の値ｓ１に、Ｐ１とＰ３との距離（Ｗｉｄｔｈ）だけ移動させた値である。よって、式（１０ｅ）を求めることができる。
【００８０】
座標Ｑ４のｘ軸上の値は、座標Ｑ３のｘ軸上の値と同じである。座標Ｑ４のｙ軸上の値は、座標Ｑ２のｙ軸上の値と同じである。よって、式（１０ｆ）を求めることができる。      
【００８１】
図１１−１、図１１−２は、ホモグラフィー変換に必要な行列を求める過程の式を示す図である。
【００８２】
ここで、（ｓ，ｔ）座標系と、（ｘ，ｙ）座標系との間に、式（１１ａ）を満たす行列Ｈが存在する。つまり、行列Ｈを求め、（ｘ，ｙ）座標系の各点に行列Ｈを掛けると、（ｓ，ｔ）座標系に変換することができる。
【００８３】
実施例１では、ＣＰＵ４３は、以下のようにして、行列Ｈを求める。
【００８４】
まず、式（１１ａ）に、変換前の座標Ｐ１と、変換後の座標Ｑ１とを代入する。この結果得られる式が、式（１１ｃ）、式（１１ｄ）、式（１１ｅ）である。これら３つの式を、１つの式にまとめる。式（１１ｅ）において、両辺から１を引き、ｘ１の項を左辺に移動すると、式（１１ｆ）を得る。さらに、両辺にＳ１をかけ、式（１１ｇ）を得る。
【００８５】
一方、式（１１ｃ）の両辺に、−（マイナス）をかけ、式（１１ｈ）を得る。この式の右辺に、式（１１ｇ）の両辺を足すと、式（１１ｇ）は、両辺の絶対値が同じで符合が異なるので、式（１１ｉ）を得ることができる。式（１１ｄ）を、上記と同じように変換し、式（１１ｊ）を得る。
【００８６】
これと同じ形式の式を、変換前の座標Ｐ２〜Ｐ４と、変換後の座標Ｑ２〜Ｑ４の式にも、適応させ、行列にまとめた式が、式（１１ｌ）である。この関係を、簡単に記述した式が、式（１１ｋ）であり、この式から、Ｃの逆行列を求め、Ｒにかければ、行列Ａを求めることができる。逆行列の解法については、吐き出し法等が知られている。
【００８７】
行列Ａは、行列Ｈの要素を並び替えた行列であるので、行列Ａを求めることによって、行列Ｈを導くことができる。
【００８８】
行列Ｈを求めることができたら、切り出された画像を構成する全ての画素に対し、式（１１ａ）を実行し、画像を回転する。ただし、ホモグラフィー変換は、非線形変換であるので、この方法で回転を行うと、変換後の座標と変換前の座標との関係が、必ずしも１対１の関係にならない。したがって、変換後の座標系のうちで、存在しない座標位置のデータを補完する必要がある。この方法には、最近接内挿法や共一次内挿法等がある。
【００８９】
図１２及び図１３は、実施例１において傾き補正を行った場合の前後の状態を模式的に示す図である。
【００９０】
元画像のそれぞれの座標に行列Ｈをかけ、新座標系に変換している。
【００９１】
＜傾きエリア検出マーク５３ａ〜５３ｄを用いた傾き補正処理（Ｓ１６）の詳細２＞
Ｓ１６で、上記ホモグラフィー変換の代わりに、アフィン変換を用いるようにしてもよい。
【００９２】
たとえば、アフィン変換を用いて原稿の傾きを補正する場合、エリア検出マーク５３ａ〜５３ｄの中の一点を中心とし、画像全体をθ度回転させる方法がある。具体的には、左下にあるエリア検出マーク５３ｂを画像の回転の中心とした場合、エリア検出マーク５３ｂを頂点とし、右下にあるエリア検出マーク５３ｄと、エリア検出マーク５３ｄの理想位置とでなす角度を、回転角θとして画像全体を回転する方法が考えられる。
【００９３】
図１４は、アフィン変換を用いて回転をかける場合における各パラメータの算出方法を示す図である。
【００９４】
右下のエリア検出マーク５３ｄの理想的な座標Ｑ４（Ｓ４，Ｔ４）を、式（１０ｆ）で求めることができる。また、現実の座標（ｘ，ｙ）と理想的な座標（Ｓ，Ｔ）とには、式（１４ａ）が成り立つ。
【００９５】
式（１４ａ）中、画像データ内の位置関係によって、ｃｏｓθとｓｉｎθとは、それぞれ、式（１４ｄ）、式（１４ｃ）で求めることができる。ｃｏｓθとｓｉｎθとを求めた後に、式（１４ｅ）、式（１４ｆ）に、変換前のエリア検出マーク５３ｄの座標Ｐ４と、変換後のエリア検出マーク５３ｄの座標Ｑ４とを代入することによって、ｘ＿ｓｈｉｆｔと、ｙ＿ｓｈｉｆｔとを得ることができる。
【００９６】
以上によって、全てのパラメータを求めることができたので、画像全体の座標に対して、式（１４ａ）を実行し、各座標の（Ｓ，Ｔ）を求めることによって、回転を行う。
【００９７】
アフィン変換では、三角関数を導出に用いているので、変換後の座標の算出結果が実数型になる。しかし、デジタル画像データの座標は、正数型であるので、実数の算出結果の小数点以下がまるめこまれ、この結果、変換前の座標と変換後の座標とが、１対１にならないことがある。したがって、ホモグラフィー変換と同様に、存在しない座標位置のデータを補完する必要がある。この方法には、最近接内挿法や共一次内挿法等がある。
【００９８】
図１５は、実施例１において、エリア検出マーク５３と、手書きエリア５４との位置関係を示す図である。
【００９９】
図１５（ａ）は、全体図であり、図１５（ｂ）は、そのうちで、１つのエリア検出マーク５３ａと、手書きエリア５４との位置関係を示す図である。
【０１００】
Ｓ１７で、傾き補正が終了した後に、エリア検出マーク５３ａの座標Ｑ１から、図１５における距離Ｍ１、Ｍ２を足した位置（ｘ１＋Ｍ１，ｙ１＋Ｍ２）を起点として、幅ＡＲＥＡ＿Ｗ、長さＡＲＥＡ＿Ｌの長方形を切り出す。
【０１０１】
図１６は、実施例１において、切り出された幅ＡＲＥＡ＿Ｗ、長さＡＲＥＡ＿Ｌの長方形を模式的に示す図である。
【０１０２】
この画像を、手書きエリア５４の中の画像として扱う。
【０１０３】
Ｓ１８で、Ｓ１７までの手順で得られた手書きエリア５４の画像データに対し、手書き画像５５だけを写真と合成するためのマスクデータを作成する。
【０１０４】
マスクデータを作成する場合、薄く記載されている写真画像の一部５４ａ、５４ｂと、手書き画像５５との、輝度値の差を利用する。
【０１０５】
図１７は、Ｇｒａｙ値を、ある閾値で二値化したときに作成される手書き画像５５のマスクデータを示す図である。
【０１０６】
図１７（ａ）は、写真画像の一部である薄だし画像と、手書き画像５５との輝度値ヒストグラムとの関係を示す図である。
【０１０７】
薄だし画像は、図４のＳ３で、低濃度側の少ない階調数で印字されている。したがって、これをスキャンし、デジタルデータ化すると、その輝度値ヒストグラムは、図１７（ａ）に示すように、高輝度側に分布する。一方、手書き画像５５の輝度値ヒストグラムとは、低輝度側に分布することを予測できる。
【０１０８】
以上のことを利用し、薄だし画像の最低輝度よりも高くならないように決定された閾値によって、手書きエリア５４のデータを、二値化する。具体的には、以下のようにする。まず、手書きエリア５４と同じ縦、横のサイズを持った二値化画像データを、ＲＡＭ４２内に用意する。この配列の要素は、１か０しか値をもたず、初期値は、全て０である。手書きエリア５４の画素に対し、式（１８）に従って、輝度値Ｇｒａｙの値を求め、この値が閾値以上であれば、マスクデータ中の同じ位置にある要素のビットを立てる。この処理を手書きエリア５４内の全ての画素に対して行う。
【０１０９】
このようにして求めた二値化画像データを、ＲＡＭ４２内に保存し、マスクデータとする。図１７（ｂ）は、切り出された領域から作成したマスクデータの模式図であり、このうちで、「ありがとう」で記されている部分が、マスクビットが立っている部分である。
【０１１０】
図１８は、実施例１において、Ｒ、Ｇ、Ｂの値からＧｒａｙ値を求めるための式（１８）を示す図である。
【０１１１】
マスクデータの判断について使用する式は、式（１８）のような輝度値を用いたものの他、色濃度を用いたものでもよく、または、何らかのフィルタを用いる方法も考えられる。さらに、これらの結果を組み合わせる方法を採用するようにしてもよい。
【０１１２】
Ｓ１９で、上記のようにして得られたマスクデータと、手書きエリア５４の画像データと、図３（ａ）に示す写真画像とを用いて、画像を合成する。
【０１１３】
まず、ＲＡＭ４２上に保存されている手書きエリア５４と同じ画像サイズに変換された合成したい画像データの各画素に対して、その画素に対応する位置に存在しているマスクデータの要素を参照する。
【０１１４】
マスクデータの要素が０である場合、写真画像データに対して何の処理も行わない。マスクデータの要素が１であれば、写真画像データのマスクデータと同じ位置にある画素を、手書きエリア５４の画像データ内の同じ位置の画素で上書きする。
【０１１５】
図１９は、実施例１において、傾き補正した後における合成結果を示す図である。
【０１１６】
上記のように、実施例１の画像処理によれば、傾いた状態でスキャンされた手書き合成シートＳＨ１の画像から得た手書き画像５５と、写真画像の一部５４ａ、５４ｂとを、同じ向きにした状態で合成することができる。
【実施例２】
【０１１７】
本発明における実施例２である画像処理装置について説明する。
【０１１８】
実施例１に示した手書き合成シートＳＨ１において、手書き合成シート判別マーク５１は、１次元的にしか情報を持たない。したがって、手書き合成シートＳＨ１に示すシートが原稿台に対して天地逆に設置された場合、シートが天地逆に設置されているのか、または、逆の構成の手書き合成シート判別マーク５１を持つシートが設置されているかを判別することができない。
【０１１９】
実施例２は、手書き合成シートＳＨ１に示したシートに、相対位置マーク６２を追加する実施例である。実施例２によれば、手書き合成シートが天地逆に設置された場合、手書き合成シートが天地逆に設置されていることを解析することができる。
【０１２０】
実施例２は、装置構成、手書き合成シートの印刷方法について、実施例１と同様であるので、それらの詳細な説明は省略する。
【０１２１】
図２０は、実施例２において使用する手書き合成シートＳＨ２を示す図である。
【０１２２】
手書き合成シートＳＨ２は、手書き合成シートＳＨ１に、相対位置マーク６２を追加したシートである。相対位置マーク６２は、手書き合成シートＳＨ２において、傾きエリア検出マーク５３の相対位置を知るためのマークである。
【０１２３】
図２１は、実施例２において、相対位置マーク６２を用いて、手書きエリア５４の回転を行う動作を示すフローチャートである。
【０１２４】
ＣＰＵ４３は、手書き合成シートスキャンユニットとして機能する。
【０１２５】
Ｓ２１で、ＣＰＵ４３は、ユーザインタフェース部３１に、手書き合成シートＳＨ２の読み込みを促す表示をさせる。ユーザは、この表示を確認し、書き込みが終了した手書き合成シートＳＨ２を、スキャナ部１０に読み取らせる。
【０１２６】
図２２は、実施例２において、つきあて位置に対し、天地が逆さになって読み込まれた場合の手書き合成シートＳＨ２を示す図である。
【０１２７】
図２３は、ホモグラフィー変換を用いて任意の向きに置かれた手書き合成シートＳＨ２の画像を回転補正する場合における変換前後の座標の位置関係を示す図である。
【０１２８】
図２２（ａ）は、実施例２において、読み取った結果が反転している例を示す図である。
【０１２９】
Ｓ２２で、ＣＰＵ４３は、これによって得られた手書き合成シートＳＨ２の画像データから、相対位置マーク６２と同じパターンを持つ画像を検出する。この検出に際して、既存のパターンマッチング技術を用いる。
【０１３０】
Ｓ２３で、ＣＰＵ４３は、相対位置マーク６２の位置から、手書き合成シート判別マーク５１が存在している位置を、相対的に予測し、この予測した領域を解析する。手書き合成シート判別マーク５１には、手書き合成シートＳＨ２を作成する際に使用した画像が、記憶媒体３３に格納されている画像のうちでどの画像であるかを示す情報が存在している。この情報に基づいて、合成する写真画像を特定し、記憶媒体３３に存在している写真画像の画像ファイルを、ＲＡＭ４２に保存する。このときに、手書きエリア５４の画像データと同じ縦横の画素数を持つサイズにリサイズする。読み取りを実行したときの解像度と、ＲＯＭ４１に保存されている手書きエリア５４の物理的な大きさとに基づいて、手書きエリア５４の画像のサイズを導く。
【０１３１】
さらに、相対位置マーク６２の位置から、用紙選択エリア５２が存在している領域を予測する。この予測された領域に、ＯＣＲ等の技術を用いて、用紙選択エリア５２のどれがチェックされているかを判定し、この判定された用紙選択エリア５２における印刷条件を設定する。
【０１３２】
Ｓ２４で、ＣＰＵ４３が、画像データ上の相対位置マーク６２の位置と向きとに基づいて、エリア検出マーク５３ａ〜５３ｄの全てを含むと思われる部分を、おおまかに推定する。
【０１３３】
図２２（ｂ）は、実施例２において、エリア検出マーク５３ａ〜５３ｄの全てを含むと推定した領域を示す模式図である。
【０１３４】
推定した場所に対し、ＣＰＵ４３は、横Ｗ１  ｐｉｘｅｌ、縦Ｌ１  ｐｉｘｅｌの範囲を切り出す。
【０１３５】
図２２（ｃ）は、実施例２において、横Ｗ１  ｐｉｘｅｌ、縦Ｌ１  ｐｉｘｅｌの範囲をＣＰＵ４３が切り出した領域を示す模式図である。
【０１３６】
Ｓ２５で、ＣＰＵ４３が、切り出したデータから、全てのエリア検出マーク５３ａ〜５３ｄの正確な位置座標を検出する。この手順は、実施例１のＳ１５と同じ方法である。
【０１３７】
Ｓ２６で、切り出された画像を回転する。ホモグラフィー変換を用いる場合、変換前のエリア検出マーク５３の座標Ｐ１〜Ｐ４と、変換後のエリア検出マーク５３の座標Ｑ１〜Ｑ４との設定の仕方に、以下のようなルールを設ける。
【０１３８】
まず、変換前には、切り出された画像がどのようなものであっても、相対位置マーク６２に最も近い位置にあったエリア検出マーク５３の座標を、Ｐ１とする。座標Ｐ１に最も近いエリア検出マーク５３を、座標Ｐ２とする。座標Ｐ１に、次に近いエリア検出マーク５３の座標を、Ｐ３とする。座標Ｐ１から、最も遠い検出にある判別マークの座標を、Ｐ４とする。
【０１３９】
次に、変換後には、切り出された画像がどのようなものであっても、長辺が横（Ｗｉｄｔｈ）であり、短辺が縦（Ｌｅｎｇｔｈ）である画像として扱う。切り出した画像のうちで、左上の隅から一番近い位置にあるエリア検出マーク５３の座標を、基準の座標Ｑ１とする。基準の座標Ｑ１を通り、画像の短辺に対して平行に走る直線上で、基準の座標Ｑ１からの距離がＰ１〜Ｐ２の距離と等しい位置にある点を、座標Ｑ２とする。
【０１４０】
基準の座標Ｑ１を通り、画像の長辺と平行な直線上で、基準の座標Ｑ１からの距離が、Ｐ１とＰ３との距離と等しい位置にある点を、座標Ｑ３とする。座標Ｑ２を通り、長辺に平行に走る直線と、座標Ｑ３を通り、短辺に平行に走る直線の交点を、座標Ｑ４とする。
【０１４１】
上記ルールに基づいて、各エリア検出マーク５３ａ〜５３ｄの変換後の座標を求める。次に、式（１０ａ）、式（１０ｂ）を用いて各辺の長さを算出する。
【０１４２】
図２４は、変換前後の座標の関係を示す図である。
【０１４３】
式（２４ａ）〜式（２４ｄ）を用い、各エリア検出マーク５３ａ〜５３ｄの変換後の座標を求める。この結果を、式（１１ｅ）に代入し、行列Ａの各要素を求めることによって、行列Ｈを導出する。行列Ａは、式（１１ｍ）から、行列Ｃの逆行列を、行列Ｒにかけることによって、求めることができる。ここで求められた行列Ｈは、図２２（ｂ）の画像データの天地を逆さまにし、さらに、手書きエリア５４が、画像データに対し水平にする座標変換を行える行列である。
【０１４４】
図２２（ｂ）の各画素の座標に対し、求められた行列Ｈを代入し、式（１１ａ）を計算し、回転後の座標を得る。
【０１４５】
Ｓ２６で、アフィン変換を用いて回転するようにしてもよい。まず、エリア検出マーク５３ａ〜５３ｄのうちのどのマークを中心に回転させるかを決定する。この例では、相対位置マーク６２に一番近いエリア検出マークを中心に回転させる。したがって、図２２（ｃ）に示すような切り取られた画像では、エリア検出マーク５３ｂが回転中心になる。
【０１４６】
次に、回転する角度を決定する。図２２（ａ）に示す例では、エリア検出マーク５３ｂとエリア検出マーク５３ｄとを通る直線と、画像の長辺とが作る角度を回転角とする。
【０１４７】
図２５は、実施例２において、任意の向きに置かれた手書き合成シートＳＨ２の画像を、アフィン変換で回転補正する場合、変換前後の座標の位置関係を示す図である。
【０１４８】
図２６は、実施例２において、アフィン変換で任意の向きに置かれた手書き合成シートＳＨ２の画像を回転補正する場合におけるパラメータの算出方法を示す図である。
【０１４９】
次に、式（２６ａ）、式（２６ｂ）を用いて、ｓｉｎθとｃｏｓθとを求める。さらに、式（１４ａ）に代入する値の正負を決定する。相対位置マーク６２の位置と向きとに基づいて、手書き合成シートＳＨ２が、原稿台のつきあて位置に対してどのように回転しているかを判断する。
【０１５０】
図２７は、実施例２において、任意の向きに置かれた手書き合成シートＳＨ２の画像を、アフィン変換で回転補正する場合における変換前後の画像の位置関係を示す図である。
【０１５１】
図２２に示す例では、相対位置マーク６２が画像データの右端にあり、矢印が下を向いているので、図２７に示す回転前の状態になっていることが分かる。つまり、この場合、時計回りに、（θ＋１８０）度回転させると、正しい向きになる。
【０１５２】
ここで、三角関数の性質が、
ｓｉｎ（θ＋１８０°）＝−ｓｉｎθ、ｃｏｓ（θ＋１８０°）＝−ｃｏｓθ
であるので、時計回りに（θ＋１８０）度回転させるには、式（２６ａ）と式（２６ｂ）から求めたｓｉｎθとｃｏｓθとをそれぞれ負数にしたものを、式（１４ａ）に代入すればよいことが分かる。
【０１５３】
代入したものから求められた各座標は、図２７に示すように、エリア検出マーク５３ｂを中心に、１回転した座標であるので、これをさらに平行移動させる必要がある。平行移動するためには、式（１４ａ）のｘ＿ｓｈｉｆｔと、ｙ＿ｓｈｉｆｔとを求める必要がある。このために、まず、エリア検出マーク５３ｄの理想的な座標を求める。
【０１５４】
この場合のエリア検出マーク５３ｄの理想的な座標は、エリア検出マーク５３ｂから水平に、距離ＣＲＯＳＳ＿Ｗだけ移動させた位置である。
【０１５５】
図２８は、実施例２において、アフィン変換で任意の向きに置かれた手書き合成シートＳＨ２の画像を回転補正する場合に、座標位置を算出するときに使用する式を示す図である。
【０１５６】
したがって、図２８に示す式が、成り立つ。式（２８ａ）、式（２８ｂ）を、式（２６ｃ）、式（２６ｄ）に代入すると、平行移動量ｘ＿ｓｈｉｆｔと、ｙ＿ｓｈｉｆｔとを求めることができる。
【０１５７】
このように、各エリア検出マーク５３の位置関係を把握することができ、かつ、エリア検出マーク５３ａ〜５３ｄの１辺と画像データの１辺との作る角度が分かっていれば、回転と平行移動とによって、画像データを回転する。
【０１５８】
Ｓ２７で、回転が終了した後に、エリア検出マーク５３ａの座標Ｑ１から、図１５において、距離Ｍ１、Ｍ２を足した位置（ｘ１＋Ｍ１，ｙ１＋Ｍ２）を起点とし、幅ＡＲＥＡ＿Ｗ、長さＡＲＥＡ＿Ｌの長方形を切り出す。この模式図を、図１６に示してある。この画像を、手書きエリア５４の中の画像として扱う。
【０１５９】
Ｓ２８で、Ｓ１８と同様の方法を用いて、マスクデータを作成する。Ｓ２９では、Ｓ１９と同様の方法を用いて、画像を合成する。なお、上記マスクデータは、図１７（ｂ）に示すマスクデータであり、手書き画像５５ｂと、写真画像の一部５４ａ、５４ｂとを区別するために作成する。
【０１６０】
以上の構成によって、ユーザが原稿台に対して、どのような向きで手書き合成シートＳＨ２を設置しても、手書き画像５５と、合成したい画像ファイルとを、同じ向きで合成することができる。
【０１６１】
手書き合成シートＳＨ２では、手書き合成シートＳＨ１に、相対位置マーク６２を追加することによって、天地を判断する。この相対位置マーク６２を追加する代わりに、手書き合成シート判別マーク５１を、ＱＲコードのような天地判断可能なマークにすることによって、実施例２に示した方法を実現するようにしてもよい。
【０１６２】
また、このマークと、手書き合成シート判別マーク５１との位置関係から、シートが原稿台に対し、どのような向きで設置されているかを判定することも可能である。
【０１６３】
実施例１においての傾き補正のパラメータを作成するために用いることも、実施例２においての相対位置を検出するために用いることも可能である。このように、エリア検出のためのマークと、傾き検出のためのマークを、別々に設置することもできる。
【実施例３】
【０１６４】
図２９は、実施例３において使用する手書き合成シートＳＨ３を示す図である。
【０１６５】
実施例３は、手書き合成シートＳＨ３を使用する実施例である。手書き合成シートＳＨ３は、手書き合成シートＳＨ１において、エリア検出マーク５３ａの代わりに、エリア検出マーク６４ａを記載したシートである。
【０１６６】
エリア検出マーク６４ａの形状が、他のエリア検出マーク５３ｂ〜５３ｄの形状と異なっている。なお、実施例３における装置構成、手書き合成シートＳＨ３の印刷方法については、実施例１と同様であるので、詳細な説明を省略する。
【０１６７】
実施例３における動作は、実施例２の動作とほぼ同様である。したがって、解析フローチャートは、図２１に示すフローチャートと同様である。
【０１６８】
ただし、図２１のＳ２２において、相対位置マーク６２の位置を検出する代わりに、エリア検出マーク６４ａを検出する。このときの検出に用いられるマッチングパラターン（パターンマッチング）は、他のエリア検出マーク５３ｂ〜５３ｄ用のものとは異なる。さらに、Ｓ２４において、エリア検出マーク６４ａの位置から、切り出し位置を推定する。
【０１６９】
Ｓ２５では、エリア検出マーク６４ａは、既に検出されているので、残りの３つのエリア検出マーク５３ｂ〜５３ｄを検出する。
【０１７０】
また、Ｓ２６で、回転のためのパラメータを求める際に、形状が異なったエリア検出マーク６４ａが回転後に左上になるような回転パラメータを設定する。
【０１７１】
手書き合成シートＳＨ３によれば、手書き合成シートＳＨ３に印字する項目を少なくすることができる。
【実施例４】
【０１７２】
本発明の実施例４は、実施例２において、Ｓ１８のマスクデータの作成を先に実行し、マスクデータが存在する領域にのみ、回転処理を実行し、回転をかける実施例である。
【０１７３】
図３０は、本発明の実施例４の説明図であり、マスクデータを先に作成してから、画像を回転する実施例４の模式図である。
【０１７４】
図１２に示すように、マスクデータの作成よりも画像の回転を先に行う場合と比較すると、実施例５では、回転対象が少ないので、より早く回転処理を実行することができる。
【０１７５】
図３１は、本発明の実施例４において、画像の回転補正よりも先に、マスクデータを作成する場合の動作を示すフローチャートである。
【０１７６】
なお、実施例４の装置構成、手書き合成シートＳＨ３の印刷方法は、実施例２と同様であるので、詳細な説明を省略する。図３１において、Ｓ４５までの処理は、実施例２と同様であるので、詳細な説明を省略する。
【０１７７】
Ｓ４６で、式（１８）を用いて切り出した画像をＧｒａｙ値にする。この値が、ある閾値を超えるかどうかを判断する。Ｇｒａｙ値が閾値を超えている画素の座標と色情報（ＲＧＢ３色の輝度値）とを、ＲＡＭ４２内の別の領域に保存する。実施例４では、この座標と色情報とからなるテーブルを、マスクデータとして用いる。
【０１７８】
Ｓ４７で、エリア検出マーク５３の位置から、画像の回転パラメータを算出し、画像データを回転する。回転パラメータの算出は、実施例２と同様であるので、詳細な説明を省略する。
【０１７９】
Ｓ４８で、マスクデータのテーブルに保存されている座標を、手書きエリア５４の座標に変換する。図１５での説明によって、各エリア検出マーク５３の座標と、エリア検出マーク５３と、手書きエリア５４との位置関係に基づいて、変換することができる。
【０１８０】
Ｓ４９で、手書き画像５５と写真情報とを合成する。合成処理については、実施例２と同様であるので、詳細な説明を省略する。
【０１８１】
実施例４における手書き合成フローチャートによれば、手書き画像５５の画像データが少ない場合、回転処理をする画素が少なくなる。したがって、より処理時間が短い手書き画像５５の回転が実現可能である。
【図面の簡単な説明】
【０１８２】
【図１】従来例において、手書き合成シートが原稿台に傾いた状態で置かれている状態を説明する図である。
【図２】本発明の実施例１である画像形成装置１００を示すブロック図である。
【図３】実施例１において使用する手書き合成シートＳＨ１と、手書き合成シートＳＨ１における手書きエリア５４との例を示す図である。
【図４】実施例１に係る手書き合成シートＳＨ１の印刷動作を示すフローチャートである。
【図５】手書き合成シートＳＨ１の薄だし画像を作成する場合における入出力関係をグラフ化した図である。
【図６】実施例１に係る手書き合成シートＳＨ１をスキャンする動作を示すフローチャートである。
【図７】読み取った手書き合成シートＳＨ１が傾いている場合の動作説明図である。
【図８】実施例１におけるエリア検出マーク５３ａ〜５３ｄの形状の一例を示す図である。
【図９】実施例１において、傾き補正処理を行う画像中、エリア検出マーク５３ａ〜５３ｄの実際の位置と、手書きエリア５４がスキャン画像に対して傾いていない状態でのエリア検出マーク５３ａ〜５３ｄの位置との関係を示す図である。
【図１０】切り出した画像データにおいて、変換前後の座標の関係の式を示す図である。
【図１１−１】ホモグラフィー変換に必要な行列を求める過程の式を示す図である。
【図１１−２】ホモグラフィー変換に必要な行列を求める過程の式を示す図である。
【図１２】実施例１において傾き補正を行った場合の前後の状態を模式的に示す図である。
【図１３】実施例１において、回転の中心と回転角θとを示す図である。
【図１４】実施例１において、回転の中心と回転角θとを示す図である。
【図１５】実施例１において、エリア検出マーク５３と、手書きエリア５４との位置関係を示す図である。
【図１６】実施例１において、切り出された幅ＡＲＥＡ＿Ｗ、長さＡＲＥＡ＿Ｌの長方形を模式的に示す図である。
【図１７】Ｇｒａｙ値を、ある閾値で二値化したときに作成される手書き画像５５のマスクデータを示す図である。
【図１８】実施例１において、Ｒ、Ｇ、Ｂの値からＧｒａｙ値を求めるための式（１８）を示す図である。
【図１９】実施例１において、傾き補正した後における合成結果を示す図である。
【図２０】実施例２において使用する手書き合成シートＳＨ２を示す図である。
【図２１】実施例２において、相対位置マーク６２を用いて、手書きエリア５４の回転を行う動作を示すフローチャートである。
【図２２】実施例２において、つきあて位置に対し、天地が逆さになって読み込まれた場合の手書き合成シートＳＨ２を示す図である。
【図２３】ホモグラフィー変換を用いて任意の向きに置かれた手書き合成シートＳＨ２の画像を回転補正する場合における変換前後の座標の位置関係を示す図である。
【図２４】変換前後の座標の関係を示す図である。
【図２５】実施例２において、任意の向きに置かれた手書き合成シートＳＨ２の画像を、アフィン変換で回転補正する場合、変換前後の座標の位置関係を示す図である。
【図２６】実施例２において、アフィン変換で任意の向きに置かれた手書き合成シートＳＨ２の画像を回転補正する場合におけるパラメータの算出方法を示す図である。
【図２７】実施例２において、任意の向きに置かれた手書き合成シートＳＨ２の画像を、アフィン変換で回転補正する場合における変換前後の画像の位置関係を示す図である。
【図２８】実施例２において、アフィン変換で任意の向きに置かれた手書き合成シートＳＨ２の画像を回転補正する場合に、座標位置の算出するときに使用する式を示す図である。
【図２９】実施例３において使用する手書き合成シートＳＨ３を示す図である。
【図３０】本発明の実施例４の説明図であり、マスクデータを先に作成してから、画像を回転する実施例４の模式図である。
【図３１】本発明の実施例４において、画像の回転補正よりも先に、マスクデータを作成する場合の動作を示すフローチャートである。
【符号の説明】
【０１８３】
１００…画像形成装置、
１０…スキャナ部、
２０…プリンタ部、
３０…操作部、
４０…制御部、
ＳＨ１、ＳＨ２、ＳＨ３、ＳＨ４…手書き合成シート、
５１…手書き合成シート判別マーク、
５２…用紙選択エリア、
５３ａ〜５３ｄ…エリア検出マーク、
５４…手書きエリア、
５４ａ、５４ｂ…写真画像の一部、
５５…手書き画像、
６２…相対位置マーク、
６４ａ…エリア検出マーク。
【図１】
2010004405.tif 000003
【図２】
2010004405.tif 000004
【図３】
2010004405.tif 000005
【図４】
2010004405.tif 000006
【図５】
2010004405.tif 000007
【図６】
2010004405.tif 000008
【図７】
2010004405.tif 000009
【図８】
2010004405.tif 000010
【図９】
2010004405.tif 000011
【図１０】
2010004405.tif 000012
【図１１−１】
2010004405.tif 000013
【図１１−２】
2010004405.tif 000014
【図１２】
2010004405.tif 000015
【図１３】
2010004405.tif 000016
【図１４】
2010004405.tif 000017
【図１５】
2010004405.tif 000018
【図１６】
2010004405.tif 000019
【図１７】
2010004405.tif 000020
【図１８】
2010004405.tif 000021
【図１９】
2010004405.tif 000022
【図２０】
2010004405.tif 000023
【図２１】
2010004405.tif 000024
【図２２】
2010004405.tif 000025
【図２３】
2010004405.tif 000026
【図２４】
2010004405.tif 000027
【図２５】
2010004405.tif 000028
【図２６】
2010004405.tif 000029
【図２７】
2010004405.tif 000030
【図２８】
2010004405.tif 000031
【図２９】
2010004405.tif 000032
【図３０】
2010004405.tif 000033
【図３１】
2010004405.tif 000034