(57)【要約】【課題】  印刷装置において、撮影画像とフレーム画像の配置的な整合性が合った状態で印刷することができるようにする。【解決手段】  本発明は、画像を受信して印刷用に処理する画像処理装置であって、メイン画像とこのメイン画像に対するサブ画像を取得し、メイン画像を印刷媒体に適合するようにフィッティング処理を行う。また、サブ画像をフィッティング処理が施されたメイン画像に適合するように変更処理を行う。そして、フィッティング処理が施されたメイン画像と変更処理が施されたサブ画像とを合成する。さらに、サブ画像の種類を判定し、この種類に応じて変更処理が行われるようになっている。【選択図】  図１１
2006181844.tif 000002
【特許請求の範囲】
【請求項１】
画像を受信して印刷用に処理する画像処理装置であって、
メイン画像とこのメイン画像に対するサブ画像を取得する画像取得手段と、
前記メイン画像を印刷媒体に適合するようにフィッティング処理を行う第１の画像処理手段と、
前記サブ画像を前記フィッティング処理が施されたメイン画像に適合するように変更処理を行う第２の画像処理手段と、
前記第１の画像処理手段によるフィッティング処理が施されたメイン画像と前記第２の画像処理手段による変更処理が施されたサブ画像とを合成する画像合成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
さらに、前記サブ画像の種類を判定するサブ画像種別判定手段を備え、
前記第２の画像処理手段は、前記サブ画像種別判定処理手段の判定結果に基づいて、前記変更処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定結果が前記サブ画像はフレーム画像であることを示す場合、前記第２の画像処理手段は、前記サブ画像が前記メイン画像に適合するようにフィッティング処理を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記判定結果が前記サブ画像はワンポイント画像であることを示す場合、前記第２の画像処理手段は、前記サブ画像のフィッティング処理は行わず、前記メイン画像中の指定された位置に指定された倍率で配置されるように処理することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記判定結果が前記サブ画像は文字列画像であることを示す場合、前記第２の画像処理手段は、前記サブ画像にスムージング処理を行い、メイン画像中の指定位置に配置されるように処理することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記サブ画像種別判定手段は、前記サブ画像のヘッダに付加されている画像種別情報に基づいてサブ画像の種類を判定することを特徴とする請求項２乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記サブ画像種別判定手段は、前記サブ画像の特徴を解析し、この特徴に基づいてサブ画像の種類を判定することを特徴とする請求項２乃至５の何れか１項に記載の画像処理装置。
【請求項８】
画像を受信して印刷用に処理する画像処理方法であって、
メイン画像とこのメイン画像に対するサブ画像を取得する画像取得工程と、
前記メイン画像を印刷媒体に適合するようにフィッティング処理を行う第１の画像処理工程と、
前記サブ画像を前記フィッティング処理が施されたメイン画像に適合するように変更処理を行う第２の画像処理工程と、
前記第１の画像処理工程でフィッティング処理が施されたメイン画像と前記第２の画像処理工程で変更処理が施されたサブ画像とを合成する画像合成工程と、
を備えることを特徴とする画像処理方法。
【請求項９】
さらに、前記サブ画像の種類を判定するサブ画像種別判定工程を備え、
前記第２の画像処理工程は、前記サブ画像種別判定処理工程における判定結果に基づいて、前記変更処理を行うことを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記判定結果が前記サブ画像はフレーム画像であることを示す場合、前記第２の画像処理工程は、前記サブ画像が前記メイン画像に適合するようにフィッティング処理を行うことを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
前記判定結果が前記サブ画像はワンポイント画像であることを示す場合、前記第２の画像処理工程は、前記サブ画像のフィッティング処理は行わず、前記メイン画像中の指定された位置に指定された倍率で配置されるように処理することを特徴とする請求項９に記載の画像処理方法。
【請求項１２】
前記判定結果が前記サブ画像は文字列画像であることを示す場合、前記第２の画像処理工程は、前記サブ画像にスムージング処理を行い、メイン画像中の指定位置に配置されるように処理することを特徴とする請求項９に記載の画像処理方法。
【請求項１３】
前記サブ画像種別判定工程は、前記サブ画像のヘッダに付加されている画像種別情報に基づいてサブ画像の種類を判定することを特徴とする請求項９乃至１２の何れか１項に記載の画像処理方法。
【請求項１４】
前記サブ画像種別判定工程は、前記サブ画像の特徴を解析し、この特徴に基づいてサブ画像の種類を判定することを特徴とする請求項９乃至１２の何れか１項に記載の画像処理方法。  
【請求項１５】
画像供給デバイスと印刷装置とを有し、前記画像供給デバイスから供給される画像データに基づいて前記印刷装置により画像を印刷する印刷システムであって、
前記画像供給デバイスと前記印刷装置との間の通信接続に応じて、前記印刷装置の機種情報および機能情報を取得する手段と、
前記機能情報に基づいてＵＩを構築して表示する手段と、
複数画像を合成するＵＩを構築して合成画像を表示する手段と、
前記印刷装置からのデータ要求に応じて、前記ＵＩで選択された複数画像データを前記印刷装置に送信する送信手段と、を備え、
前記印刷装置は前記データ要求に応じて前記送信手段により送信された前記複数の画像データを合成して印刷することを特徴とする印刷システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像供給デバイスから供給される画像データと合成データを印刷用に合成する画像処理装置及び方法、並びに、この画像処理装置を有する印刷装置と画像供給デバイスを備える印刷システムに関するものである。
【背景技術】
【０００２】
プリンタとデジタルスチルカメラ（以下、ＤＳＣという）やカメラ付き携帯電話（以下、ＤＳＣＰという）をＵＳＢ等のインタフェースを介して直接接続し、ＤＳＣやＤＳＣＰの記憶媒体（メモリカード）に記憶されている写真画像をプリンタに送信して印刷する、所謂、ダイレクトプリントシステムが一般的となってきている。さらには、写真画像に加えて、フレームなどの合成画像をプリンタに送信して、プリンタ側で合成した結果を印刷する所謂、ダイレクト合成プリントシステムが一般的になる傾向が生じてきている。
【０００３】
このようなプリントシステムでは、一般的にはＤＳＣから、印刷対象となる画像のＪＰＥＧファイルと合成画像のＰＮＧファイル（Portable Network Graphics File）をプリンタに送信し、プリンタ側で、そのＪＰＥＧファイルとＰＮＧファイルの解凍、色変換、リサイズ、回転等を行ってプリント可能なデータ形式へ変換し、ＪＰＥＧとＰＮＧの合成した結果を印刷する処理を行っている。
【０００４】
一方、画像とフレームを合成して印刷を行う提案や製品およびアプリケーションが開発済みである。
【０００５】
例えば、特許文献１では、任意のサイズや縦横比の画像と、写真枠などのテンプレートとをバランスよく合成した合成画像を作成できる合成画像方法およびプログラムが提案されている。
【０００６】
また、特許文献２では、デジタル画像と拡大または縮小されたテンプレートとを合成する手段を持つ多品種プリンタ装置が提案されている。
【０００７】
フレーム合成アプリケーションとしては、小片のフレームデータを写真画像の外枠に対してタイル上に貼り付けるもの（フレーム合成アプリケーション１）、用紙サイズに写真画像とフレームデータを拡大フィッティングさせるもの（フレーム合成アプリケーション２）、用紙サイズと同じサイズのフレームデータを用紙サイズ毎に持ち拡大（倍率変更）処理をしないで等倍のまま貼り付けるもの（フレーム合成アプリケーション３）などが開発され製品化されている。
【０００８】
そして、上述のデジタルカメラダイレクトプリントシステムにおける通信手順を規定したPictBridgeにより、デジタルカメラダイレクトプリントシステムが益々普及してきており、更には、ＤＳＣＰで撮影した写真画像にフレーム枠を付け、合成したデータを印刷できる製品も普及してきている。
【特許文献１】特開２００３−３４８３３４号公報
【特許文献２】特開２０００−１３４４５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、このようなＤＳＣＰにおいては、ＣＰＵパワー不足やメモリ容量が少ないことから、ＤＳＣＰ側で合成した画像は解像度が荒く、ＤＳＣＰ側で合成した結果を高解像度プリンタに送信して印刷した場合、品質の悪い印字結果を生成する結果となっていた。
【００１０】
また、写真画像とフレーム画像の両方の生のデータをＤＳＣＰからプリンタに送信し、プリンタ側で合成して印刷するシステムにおいては、印字品位の低下については解消されるものの、写真画像とフレーム画像のアスペクト比が異なる場合、写真画像の中にフレームが合成されてしまう問題が生じていた。
【００１１】
特に、上述の特許文献１及び２に記載された処理は、写真画像のサイズに応じてテンプレートを電子変倍するものであり、写真画像とテンプレートがフィッティングするものではなく、両データ間に隙間が発生するなどの問題点があることが分かっている。
【００１２】
さらに、上記フレーム合成アプリケーション１では、１つのパターンをタイル上に並べるために、デザイン性の高いフレームを生成することができないという問題点があることが分かっている。
【００１３】
また、フレーム合成アプリケーション２では、写真画像に対してフレームをフィッティングさせて出力することはできないという問題点があるということが分かっている。
【００１４】
フレーム合成アプリケーション３では、用紙サイズ毎にフレームデータを持つ必要があるため多量なＲＯＭ容量を必要とする問題点があることが分かっている。
【００１５】
本発明は上述の課題に鑑みてなされたものであり、複数の画像を合成して印刷する際に、各画像間の大きさが異なる等の事情がある場合でも効率よく、自然に合成画像が生成できるようにする画像処理装置及び方法を提供するものである。
【課題を解決するための手段】
【００１６】
上記課題を解決するために、本発明による画像処理装置は、画像を受信して印刷用に処理する画像処理装置であって、メイン画像とこのメイン画像に対するサブ画像を受信する画像受信手段と、前記メイン画像を印刷媒体に適合するようにフィッティング処理を行う第１の画像処理手段と、前記サブ画像を前記フィッティング処理が施されたメイン画像に適合するように変更処理を行う第２の画像処理手段と、前記第１の画像処理手段によるフィッティング処理が施されたメイン画像と前記第２の画像処理手段による変更処理が施されたサブ画像とを合成する画像合成手段と、を備えることを特徴とする。
【００１７】
また、本発明による画像処理方法は、画像を受信して印刷用に処理する画像処理方法であって、メイン画像とこのメイン画像に対するサブ画像を受信する画像受信工程と、前記メイン画像を印刷媒体に適合するようにフィッティング処理を行う第１の画像処理工程と、前記サブ画像を前記フィッティング処理が施されたメイン画像に適合するように変更処理を行う第２の画像処理工程と、前記第１の画像処理工程でフィッティング処理が施されたメイン画像と前記第２の画像処理工程で変更処理が施されたサブ画像とを合成する画像合成工程と、を備えることを特徴とする。
【００１８】
さらに、本発明による印刷システムは、画像供給デバイスと印刷装置とを有し、前記画像供給デバイスから供給される画像データに基づいて前記印刷装置により画像を印刷する印刷システムであって、前記画像供給デバイスと前記印刷装置との間の通信接続に応じて、前記印刷装置の機種情報および機能情報を取得する手段と、前記機能情報に基づいてＵＩを構築して表示する手段と、複数画像を合成するＵＩを構築して合成画像を表示する手段と、前記印刷装置からのデータ要求に応じて、前記ＵＩで選択された複数画像データを前記印刷装置に送信する送信手段と、を備え、前記印刷装置は前記データ要求に応じて前記送信手段により送信された前記複数の画像データを合成して印刷することを特徴とする。
【発明の効果】
【００１９】
本発明の画像処理装置及び方法によれば、複数の画像を合成して印刷する際に、各画像間の大きさが異なる等の事情がある場合でも効率よく、自然に合成画像を生成できるようになる。
【発明を実施するための最良の形態】
【００２０】
以下、添付図面を参照して本発明の好適な実施の形態を詳しく説明する。尚、本実施の形態では、カメラ付き携帯電話とプリンタとの間でダイレクトプリントを実現するPictBridgeを利用した場合で説明するが、本発明はこれに限定されるものではない。
【００２１】
図１は、本発明の実施の形態に係るフォトダイレクトプリンタ装置（以下、ＰＤプリンタ）１０００の概観斜視図である。このＰＤプリンタ１０００は、ホストコンピュータ（ＰＣ）からデータを受信して印刷する通常のＰＣプリンタとしての機能と、メモリカードなどの記憶媒体に記憶されている画像データを直接読取って印刷したり、或いはカメラ付き携帯電話などからの画像データを受信して印刷する機能を備えている。
【００２２】
図１において、本実施の形態に係るＰＤプリンタ１０００の外殻をなす本体は、下ケース１００１、上ケース１００２、アクセスカバー１００３及び排出トレイ１００４の外装部材を有している。
【００２３】
また、下ケース１００１は、ＰＤプリンタ１０００の略下半部を、上ケース１００２は本体の略上半部をそれぞれ形成しており、両ケースの組合せによって内部に後述の各機構を収納する収納空間を有する中空体構造をなし、その上面部及び前面部にはそれぞれ開口部が形成されている。
【００２４】
さらに、排出トレイ１００４は、その一端部が下ケース１００１に回転自在に保持され、その回転によって下ケース１００１の前面部に形成される開口部を開閉させ得るようになっている。このため、記録動作を実行させる際には、排出トレイ１００４を前面側へと回転させて開口部を開成させることにより、ここから記録されたシート（普通紙、専用紙、樹脂シート等を含む。以下単にシートとする）が排出可能となると共に、排出されたシートを順次積載し得るようになっている。
【００２５】
また、排紙トレイ１００４には、２枚の補助トレイ１００４ａ，１００４ｂが収納されており、必要に応じて各トレイを手前に引き出すことにより、シートの支持面積を３段階に拡大、縮小させ得るようになっている。
【００２６】
アクセスカバー１００３は、その一端部が上ケース１００２に回転自在に保持され、上面に形成される開口部を開閉し得るようになっており、このアクセスカバー１００３を開くことによって本体内部に収納されている記録ヘッドカートリッジ（不図示）或いはインクタンク（不図示）等の交換が可能となる。
【００２７】
尚、ここでは特に図示しないが、アクセスカバー１００３を開閉させると、その裏面に形成された突起がカバー開閉レバーを回転させるようになっており、そのレバーの回転位置をマイクロスイッチなどで検出することにより、アクセスカバー１００３の開閉状態を検出し得るようになっている。
【００２８】
上ケース１００２の上面には、電源キー１００５が設けられている。上ケース１００２の右側には、液晶表示部１００６や各種キースイッチ等を備える操作パネル１０１０が設けられている。この操作パネル１０１０の構造は、図２を参照して詳しく後述する。１００７は自動給送部で、シートを装置本体内へと自動的に給送する。１００８は紙間選択レバーで、プリントヘッドとシートとの間隔を調整するためのレバーである。１００９はカードスロットで、ここにメモリカードを装着可能なアダプタが挿入され、このアダプタを介してメモリカードに記憶されている画像データを直接取り込んで印刷することができる。このメモリカード（ＰＣ）としては、例えばコンパクトフラッシュ（登録商標）メモリ、スマートメディア、メモリスティック等がある。
【００２９】
１０１１はビューワ（液晶表示部）で、このＰＤプリンタ１０００の本体に着脱可能であり、ＰＣカードに記憶されている画像の中からプリントしたい画像を検索する場合などに、１コマ毎の画像やインデックス画像などを表示するのに使用される。１０１２は後述するカメラ付き携帯電話を接続するためのＵＳＢ端子である。また、このＰＤ装置１０００の後面には、パーソナルコンピュータ（ＰＣ）を接続するためのＵＳＢコネクタが設けられている。
【００３０】
図２は本実施の形態に係るＰＤプリンタ１０００の操作パネル１０１０の概観図である。
【００３１】
図２において、液晶表示部１００６には、その左右に印刷されている項目に関するデータを各種設定するためのメニュー項目が表示される。ここに表示される項目としては、例えば、複数ある写真画像ファイルの内、印刷したい写真画像の先頭番号、指定コマ番号（開始コマ指定／印刷コマ指定）、印刷を終了したい最後の写真番号（終了）、印刷部数（部数）、印刷に使用するシートの種類（用紙種類）、１枚のシートに印刷する写真の枚数設定（レイアウト）、印刷の品位の指定（品位）、撮影した日付を印刷するかどうかの指定（日付印刷）、写真を補正して印刷するかどうかの指定（画像補正）、印刷に必要なシートの枚数表示（用紙枚数）等がある。これら各項目は、カーソルキー２００１を用いて選択、或いは指定される。
【００３２】
２００２はモードキーで、このキーを押下する毎に、印刷の種類（インデックス印刷、全コマ印刷、１コマ印刷、指定コマ印刷等）を切り替えることができ、これに応じてＬＥＤ２００３の対応するＬＥＤが点灯される。２００４はメンテナンスキーで、プリントヘッドのクリーニング等、プリンタのメンテナンスを行わせるためのキーである。２００５は印刷開始キーで、印刷の開始を指示する時、或いはメンテナンスの設定を確立する際に押下される。２００６は印刷中止キーで、印刷を中止させる時や、メンテナンスの中止を指示する際に押下される。
【００３３】
次に図３を参照して、本実施の形態に係るＰＤプリンタ１０００の制御に係る主要部の構成を説明する。尚、図３においては、前述の図面と共通する部分は同じ記号を付与して、それらの説明を省略することとする。
【００３４】
図３は、本実施の形態に係るＰＤプリンタの制御に係る主要部の構成を示すブロック図である。
【００３５】
図３において、３０００は制御部（制御基板）を示している。３００１はＡＳＩＣ（専用カスタムＬＳＩ）を示している。３００２はＤＳＰ（デジタル信号処理プロセッサ）で、内部にＣＰＵを有し、後述する各種制御処理及び、輝度信号（ＲＧＢ）から濃度信号（ＣＭＹＫ）への変換、スケーリング、ガンマ変換、誤差拡散等の画像処理等を担当している。
【００３６】
３００３はメモリで、ＤＳＰ３００２のＣＰＵの制御プログラムを記憶するプログラムメモリ３００３ａ、及び実行時のプログラムを記憶するＲＡＭエリア、画像データなどを記憶するワークメモリとして機能するメモリエリアを有している。３００４はプリンタエンジンで、ここでは、複数色のカラーインクを用いてカラー画像を印刷するインクジェットプリンタのプリンタエンジンが搭載されている。
【００３７】
３００５はデジタルカメラ（ＤＳＣ）３０１２を接続するためのポートとしてのＵＳＢコネクタである。３００６はビューワ１０１１を接続するためのコネクタである。３００８はＵＳＢハブ(USBHUB)で、このＰＤプリンタ１０００がＰＣ３０１０からの画像データに基づいて印刷を行う際には、ＰＣ３０１０からのデータをそのままスルーし、ＵＳＢ３０２１を介してプリンタエンジン３００４に出力する。これにより、接続されているＰＣ３０１０は、プリンタエンジン３００４と直接、データや信号のやり取りを行って印刷を実行することができる（一般的なＰＣプリンタとして機能する）。
【００３８】
３００９は電源コネクタで、電源３０１９により、商用ＡＣから変換された直流電圧を入力している。ＰＣ３０１０は一般的なパーソナルコンピュータ、３０１１は前述したメモリカード（ＰＣカード）、３０１２はカメラ付き携帯電話（以下、ＤＳＣＰ）である。
【００３９】
尚、この制御部３０００とプリンタエンジン３００４との間の信号のやり取りは、前述したＵＳＢ３０２１又はＩＥＥＥ１２８４バス３０２２を介して行われる。
【００４０】
＜カメラ付き携帯電話（ＤＳＣＰ）の概要説明＞
図４は、本実施の形態に係るＤＳＣＰ３０１２の構成を示すブロック図である。
【００４１】
同図において、３１００はＤＳＣＰ３０１２全体の制御を司るＣＰＵであり、３１０１はＣＰＵ３１００による処理手順を記憶しているＲＯＭである。３１０２はＣＰＵ３１００のワークエリアとして使用されるＲＡＭであり、３１０３は各種操作を行うスイッチ群で、シャッター、モード切替スイッチ、選択スイッチやカーソルキー等が含まれている。２７００は液晶表示部であり、現時点で撮影している映像や、撮像されてメモリカードに記憶されている画像を表示したり、各種設定を行う際のメニューを表示するために使用される。
【００４２】
３１２０は無線部であり、３１２１アンテナを介して送受信処理を行うための送受信回路で構成される。３１３０ＢＡＴＴは内蔵電源である。３１０５は光学ユニットであり、主としてレンズ及びその駆動系で構成される。３１０６はＣＣＤ素子であり、３１０７はＣＰＵ３１００の制御下において光学ユニット３１０５を駆動制御するドライバである。３１０８は記憶媒体３１０９（ＳＤカード等）を接続するためのコネクタであり、３１１０はＰＣ或いは実施の形態におけるＰＤプリンタ１０００と接続するためのＵＳＢインターフェース（ＵＳＢのスレーブ側）である。
【００４３】
＜ダイレクトプリント概要説明＞
図５は、上述のPictBridgeを採用した印刷システムにおいて、ＤＳＣＰ３０１２からＰＤプリンタ１０００に対してプリント要求を発行して印刷を行う場合の大まかな信号フローを説明する図である。
【００４４】
この処理手順は、ＰＤプリンタ１０００とＤＳＣＰ３０１２とがＵＳＢケーブルを介して接続された後、或は無線により通信を行うことにより互いにＤＰＳ仕様に準拠していることを確認した後に実行される。まずＤＳＣＰ３０１２は「ConfigurePrintService」をＰＤプリンタ１０００に送信して、ＰＤプリンタ１０００の状態をチェックする（６００）。
【００４５】
これに対して、ＰＤプリンタ１０００から、その時点でのＰＤプリンタ１０００の状態（ここでは「アイドル」状態）が通知される（６０１）。ここでは「アイドル」状態であるため、ＤＳＣＰ３０１２はＰＤプリンタ１０００のCapabilityを問合せ（６０２）、そのCapabilityに応じたプリント開始要求（StartJob）を発行する（６０３）。尚、このプリント開始要求は、６０１で、後述するＰＤプリンタ１０００からのステータス情報の中の「newJobOK」が「True（真）」になっていることを条件に、ＤＳＣＰ３０１２からＰＤプリンタ１０００に発行される。
【００４６】
このプリント開始要求に対してＰＤプリンタ１０００は、印刷が指示された画像データのファイルＩＤに基づいてファイル情報をＤＳＣＰ３０１２に要求する（GetFileInfo）（６０４）。これに応答してＤＳＣＰ３０１２から、そのファイル情報（FileInfo）が送信される。このファイル情報にはファイル容量等の情報が含まれる。
【００４７】
そして、ＰＤプリンタ１０００がそのファイル情報を受信して処理可能であると判断すると、そのファイル情報をＤＳＣＰ３０１２に要求する（GetFile）（６０５）。これによりその要求されたファイルの画像データ（ImageFile）がＤＳＣＰ３０１２からＰＤプリンタ１０００に送られる。これによりＰＤプリンタ１０００がプリント処理を開始すると、６０６で「印刷中（Printing）」を示すステータス情報が、ＰＤプリンタ１０００からＤＳＣＰ３０１２に「NotifyDeviceStatus」によって送られる。
【００４８】
１頁のプリント処理が終了すると、次のページの処理開始時にＰＤプリンタ１０００から「NotifyJobStatus」６０７により、それが通知される。そして１頁だけの印刷であれば、そのプリント要求した１頁の印刷が終了すると、次に「NotifyDviceStatus」６０８によりＰＤプリンタ１０００が「アイドル」状態になったことが通知される（NotifyDeviceStatus(Idle)）。
【００４９】
尚、例えば、１頁に複数（Ｎ）の画像をレイアウトして印刷するＮ−ｕｐ印刷の場合には、Ｎ枚の画像を印刷する度に、「NotifyJobStatus」６０７がＰＤプリンタ１０００からＤＳＣＰ３０１２に送られることになる。本実施の形態での「NotifyJobStatus」及び「NotifyDeviceStatus」の発行タイミングと画像データの取得の順番は一例であり、製品の実装によっては様々なケースが起こりうる。
【００５０】
図６は、本発明の実施形態に係るデジタルカメラ（ＤＳＣ）３０１２とＰＤプリンタ１０００との間で通信を行って、ＤＳＣＰ３０１２からＰＤプリンタ１０００に画像データを供給してフレーム合成印刷を行う場合の処理を説明する図である。図において、ステップＳ１〜Ｓ１３はＤＳＣＰ３０１２における処理を示し、ステップＳ２１〜Ｓ３７はＰＤプリンタ１０００における処理を示している。
【００５１】
ステップＳ１及びステップＳ２１では、ＤＳＣＰ３０１２とＰＤプリンタ１０００との間で、互いにＤＰＳ仕様に準拠し且つフレーム合成対応いることを確認する。この状態でＤＳＣＰ３０１２はＰＤプリンタ１０００に対して、プリンタの状態やデバイス情報を問合せる。これに対してＰＤプリンタ１０００から、その時点でのＰＤプリンタ１０００の状態やデバイス情報が通知される。
【００５２】
このデバイス情報には、例えば接続プロトコルのバージョンや、プリンタのベンダー名や機種名等が通知される。こうしてステップＳ２で、ＤＳＣＰ３０１２は、プリンタの状態及びデバイス情報の中で必要とする情報（情報１）をＲＡＭ３１０２に記憶する。この「情報１」には、後に、ＤＳＣＰ３０１２で画像ファイルを変換する際に必要となる情報が含まれている。
【００５３】
次にＤＳＣＰ３０１２は、図５の６０２で示すように、ＰＤプリンタ１０００に対して、そのCapabilityを要求する。これによりＰＤプリンタ１０００は、ステップＳ２２で、ＰＤプリンタ１０００の印刷機能に関する能力情報（Capability）を作成してＤＳＣ３０１２に送信する。ＤＳＣＰ３０１２はこのCapabilityを受信する（ステップＳ３）。
【００５４】
そしてステップＳ４で、このCapabilityを基にＵＩを構築して表示部２７００に表示する。ここでは、例えば、用紙サイズがＡ４判とＢ５判で、ＰＤプリンタ１０００が普通紙と写真用用紙を装着しており、１−ｕｐ、２−ｕｐ，４−ｕｐのレイアウト印刷が「縁なし」、或いは「縁あり」で可能で、更に日付印刷が可能な場合は、これらの項目を任意に選択可能で、それ以外の項目は選択できないようなＵＩ画面が表示部２７００に表示される。
【００５５】
次にステップＳ５では、ＤＳＣＰ３０１２のユーザは、その構築されたＵＩ画面を参照して、印刷したい画像を選択し、それら画像の印刷形式を設定する。この画像の印刷形式の設定とは、印刷枚数や、用紙サイズ、レイアウト、日付印刷の有無等といった、ステップＳ３で受信したＰＤプリンタ１０００のCapabilityに基づいたものとなる。
【００５６】
そして、このＵＩを使用してユーザにより印刷開始が指示されるとステップＳ６に進み、その印刷を指示するための印刷ジョブファイルを作成し、ステップＳ７で、その作成した印刷ジョブファイルをＰＤプリンタ１０００に送信する。この印刷ジョブファイルはステップＳ２３でＰＤプリンタ１０００により受信される。
【００５７】
次にステップＳ２４で、ＰＤプリンタ１０００は、その受信した印刷ジョブファイルを解析してプリントの準備を行う。そして、その印刷ジョブファイルに記載されている印刷対象の「画像ファイル情報の取得要求」（画像ファイル名）をＤＳＣＰ３０１２に対して発行する。
【００５８】
尚、この「画像ファイル情報の取得要求」は、例えばPictBridgeのようなＵＳＢ上のＰＴＰ（Pictutre Transfer Protocol）で動作するサービスでは、そのＰＴＰで規定されている「GetObjectInfo」に相当している。
【００５９】
しかしながら、この実施の形態における「画像ファイル情報の取得要求」の役割は、画像ファイルの作成タイミングをＰＤプリンタ１０００からＤＳＣＰ３０１２に伝えることにある。本実施の形態では、この作成タイミングを伝える一つの手段として「画像ファイル情報の取得要求」を用いたが、このような手段はこれに限定されるものでなく、他の専用のコマンドや既存の通信コマンドを利用しても良い。この実施の形態では、「印刷用の画像ファイル作成」のタイミングをＰＤプリンタ１０００からＤＳＣＰ３０１２に対して通知することを特徴としている。
【００６０】
そしてステップＳ８で、この「画像ファイル情報の取得要求」がＤＳＣＰ３０１２により受信されるとステップＳ９に進み、本実施の形態の特徴である、ＰＤプリンタ１０００に対して送信する印刷用の画像ファイルを作成する処理を実行する。その作成した印刷用の画像ファイルの情報（ObjectInfo Dataset：画像ファイル名、データサイズ、ディレクトリ、日付などを含む）を、ステップＳ９でＰＤプリンタ１０００に送信する。
【００６１】
次にステップＳ２５で、ＰＤプリンタ１０００は、その印刷用の画像ファイルの情報を受信すると、ステップＳ２６でＪＯＢファイルを解析し通常印刷か合成印刷かを判定し、内部フラグに状態を記憶する。続いて、ステップＳ２７でメモリ確保などの印刷開始処理が行われ、ＤＳＣＰ３０１２から画像ファイル受信待ち状態となる。
【００６２】
ＤＳＣＰ３１０２では、ＰＤプリンタ１０００から要求されたＪＰＥＧ画像ファイル（メイン画像として位置付けられる）をステップＳ１０で送信を行う。ＤＳＣＰ３１０２はステップＳ２８でＪＰＥＧ画像の受信処理を行った後、ステップＳ２９において、ＪＰＥＧ画像のヘッダ情報を参照して拡大、回転方向を決め、ステップＳ３０で受信したＪＰＥＧ画像のデコード処理、拡大（倍率変更）処理が行われる。
【００６３】
拡大（倍率変更）処理および回転処理は、ＪＰＥＧ画像のサイズと用紙サイズの関係および方向によって演算により求められる。ＪＰＥＧ画像の印刷処理が完了した時点で、先に記憶した内部フラグを判定し、フレーム合成印刷の場合には、以下ステップＳ３１からステップＳ３４までの、ＪＰＥＧに合成するためのＰＮＧ画像ファイルの受信処理および合成処理が行われる。
【００６４】
ＤＳＣＰ３０１２はＪＰＥＧ画像ファイルの送信が完了すると、ステップＳ１０でフレームデータとなるＰＮＧ画像ファイル（サブ画像として位置付けられる）の送信処理を行う。ＰＮＧ画像ファイルは複数送信し、重ね合わせることを想定しているため、ステップＳ１１でのＵＩで設定されたＰＮＧ画像を全て送信したかを判定し、ＰＮＧ画像ファイルの送信処理は、完了するまで繰り返し処理される。複数のＰＮＧ画像ファイルは、例えば、フレーム枠、ワンポイントアクセントデータ、文字列データなどが実用面で考えられる。
【００６５】
一方、ＰＮＧ画像ファイル受信待ち状態となっているＰＤプリンタ１０００は、ステップＳ３１でＰＮＧ画像ファイルを受信する。続いて、ステップＳ３２でＰＮＧの拡大、回転方向を決定し、その結果に基づき、ステップＳ３３でＰＮＧの拡大、回転処理を行う。
【００６６】
その後、ＪＰＥＧ画像との合成処理が行われる（ステップＳ３４）。ＰＮＧ画像ファイルには透過率を表すα値が画素毎に記憶できる仕様であるが、合成処理は画素値に対して、α値を演算することにより透過率を反映した形で行うことが一般的に考えられる。なお、ステップＳ３３のＰＮＧの拡大（倍率変更）処理については、詳細を後述する（図７乃至１１）。
【００６７】
先に述べたように、複数のＰＮＧ画像ファイルを受信し合成することを想定していることから、受信されるＰＮＧ画像ファイル分に対して、ステップＳ３１からステップＳ３４の処理が繰り返し行われ、最終的な合成後のデータが生成されることになる。
【００６８】
ＲＧＢベースの合成処理が完了すると、プリンタに出力するためにＣＭＹＫ形式に変換、量子化処理が、ステップＳ３５で行われた後に、ステップＳ３６でプリンタエンジンに送信することにより、装着された用紙への印刷処理が行われる。以上の処理フローにより、１ＵＰレイアウトの場合のフレーム合成印刷処理が完了する。２ＵＰ、４ＵＰなどの場合は、以上の処理をＮＵＰ分繰り返すことにより実現されることは言うまでもない。
【００６９】
印刷処理が完了すると、ＤＳＣＰ３１０２は、ステップＳ３６でＰＤプリンタ１０００に対して印刷終了通知情報を送信し、フレーム合成印刷処理を完結する。一方、ＰＤプリンタ１０００は、ステップＳ１２で、印刷終了通知情報を受信することで、フレーム合成印刷処理を完結する。
【００７０】
図７は、本実施形態におけるフレーム合成印刷の関する説明図である。図７Ａは、従来のフチあり印刷モードにおけるフレーム合成の印字結果例を示す図である。
【００７１】
従来技術では、画像とフレームのアスペクト比を保ったまま出力矩形に対して拡大（倍率変更）処理を行うために、それぞれのアスペクト比が異なる場合、出力結果で示すように、画像の中にフレームが入り込んで印刷される問題が発生してしまう。
【００７２】
図７Ｂは、フレーム合成印刷におけるフチあり印刷モードのフレーム合成の印字結果例を示す図である。ここでは、まず、出力矩形に対して画像をフチありモードで拡大を行い、画像出力矩形を求める。次に、求めた画像出力矩形に対してフレームをフチなし拡大モードで拡大（倍率変更）処理を行うことにより、図７Ｂで示すように、画像内にフレームが入り込むことはなくなり、画像とフレームの整合性がとれた出力結果が生成出力されることを示している。
【００７３】
ここで、フチあり拡大モードとは、画像およびフレームを拡大する場合において、出力矩形の短辺に当たるまで拡大（倍率変更）処理を行うモードである。従って、画像およびフレームと出力矩形のアスペクト比が異なる場合、図７Ａの出力結果で示すように、長辺側に空白が発生することになる。
【００７４】
また、フチなし拡大モードとは、画像およびフレームを拡大する場合において、出力矩形の長辺に当たるまで拡大（倍率変更）処理を行い、はみ出した部分については切り取る／出力しないモードである。従って、画像およびフレームと出力矩形のアスペクト比が異なる場合、図７Ｂの出力結果で示すように、フレームが画像に張り付くように出力され、はみ出した部分があれば切り取られて出力される結果となる。
【００７５】
図７は、本実施形態における１ＵＰ出力（用紙１枚に１つのフレーム合成結果を出力）の場合の説明図であるが、図８は、本実施形態における４ＵＰ出力（用紙１枚に４つのフレーム合成結果を出力）の場合の説明図である。
【００７６】
図８では、画像１とフレームを４ＵＰの１列目に出力、画像２とフレームを２列目に出力した場合の出力結果を示している。１列目に対しては、画像１の出力矩形の対してフレームをフチなし拡大を行い、２列目に対しては、画像２の出力矩形の対してフレームをフチなし拡大を行う処理が行われる結果、図８の出力結果で示すように、１列目に対しても２列目に対しても、画像とフレームの整合性の取れた印字結果を生成されることとなる。当然のことながら、４ＵＰの全ての画像、全てのフレームが異なる場合であっても、本発明１を実施することにより、整合性の取れた最適なフレーム合成印字結果を生成して出力できることは言うまでもない。
【００７７】
図９は、本実施形態におけるワンポイント画像の合成を含むフレーム合成印刷に関する説明図である。図７および８では、画像とフレームの合成を説明したが、これに対して図９は、さらにワンポイント画像を付加して合成する機能を搭載した場合を説明するものである。
【００７８】
画像とフレームとワンポイントの３画像を合成する場合、一番下に画像、その上にワンポイント、一番上にフレーム画像を配置して合成することが考えられる。この場合において、ワンポイント画像を、前述したフレームの場合と同じ拡大（倍率変更）処理を行ってしまうと、ワンポイント画像が撮影画像に重なったり、ワンポイント画像がフレームで覆い被されてしまう現象が発生してしまう問題が引き起こってしまう。ここでは、以上の問題を解消するためのものである。
【００７９】
つまり、ワンポイント画像に対しては、印字位置情報と拡大率（倍率）情報を送信されてきたＰＮＧ画像のヘッダから取得し、プリンタ内のメモリに記憶させておく。そして、フレーム合成処理においては、ワンポイント画像と判断された場合、この情報を参照して、拡大（倍率変更）処理および撮影画像への位置を決めて、合成処理を行うようにする。図９ではワンポイント画像を出力矩形原点から（Ｘ, Ｙ）の位置に、１倍で出力するように記述された場合における、３種のデータの合成結果を示したものである。
【００８０】
合成画像の種別がフレームかワンポイントかは、合成画像のヘッダ部に記載しておくことが必要となる。たとえば、合成画像がＰＮＧファイルであった場合においては、テキストチャンク内に種別を記載することなどが実施形では考えられる。
【００８１】
図１０は、本実施形態における文字列の合成を含むフレーム合成印刷に関する説明図である。図９では、画像とフレームとワンポイント画像の合成について説明したが、これに対して図１０は、さらに文字列画像を付加して合成する機能を搭載した実施形への発明を説明するための説明図である。画像とフレームと文字列の３画像を合成する場合、一番下に画像、その上に文字列、一番上にフレーム画像を配置して合成することが考えられる。
【００８２】
文字列画像の場合においても、印字位置と拡大率（倍率）情報を送信されてきたＰＮＧ画像のヘッダから取得し、プリンタ内のメモリに記憶させておく。そして、ワンポイント画像の場合と同様に処理を行うことで、撮影画像やフレームとの重なりを解消することはもちろんのことである。さらに文字列の場合、単純に拡大（倍率変更）処理を行った場合、図１０の出力結果１で示すように、ジャギーやボケが発生してしまう。ここでは、これらの問題点を解消するために、文字列画像と判断された場合、ジャギーおよびボケ解消機能を持った補間拡大処理を行うようにする。
【００８３】
図１０の出力結果２では文字列画像を出力矩形原点から（Ａ, Ｂ）の位置に、２倍で出力するように記述された場合における、３種のデータの合成結果を示したものである。合成画像の種別がフレームかワンポイントか文字列かは、合成画像のヘッダ部に記載しておくことが必要となる。たとえば、合成画像がＰＮＧファイルであった場合においては、テキストチャンク内に種別を記載することなどが実施形では考えられる。
【００８４】
撮影画像、フレーム、ワンポイント、文字列を合成することにより、年賀状データを作成印刷することが実用面で想定されるが、これは、図９の処理と図１０の処理を組み合わせることにより、実現できる。
【００８５】
次に、本実施形態の画像合成処理の動作について、図１１のフローチャートを用いて説明する。なお、ＤＰＳのプロトコルにおけるネゴシエーションの部分およびファイルの受信処理については、本発明とは直接関係はしないので、これらの内容については、説明を割愛している。
【００８６】
本プログラムは、ＰＤプリンタ１０００がＤＳＣＰ３０１２から、撮影画像、例えばＪＰＥＧファイルと合成画像、例えばＰＮＧファイルを受信完了して、ＰＤプリンタ内の受信メモリへの格納が完了したタイミングで起動される。
【００８７】
まず、ステップＳ４０で、ＲＡＭ３１０２内の受信メモリに格納されたＪＰＥＧ画像ヘッダ情報から画像サイズとなる幅情報と高さ情報を取得する。そして、ＲＯＭ３１０１に記憶される用紙サイズ情報から、画像出力矩形サイズを求めＲＡＭ３１０２上に記憶する処理を行う。前述したように、フチありモードにおける画像出力矩形サイズは、ＪＰＥＧ画像の短辺が用紙出力矩形に張り付くように拡大率（倍率）求めることにより求められる。
【００８８】
次に、ステップＳ４１で、ＲＡＭ３１０２内の受信メモリに格納されたＰＮＧ画像ヘッダ情報から合成画像サイズである幅情報、高さ情報と合成画像種別を取得し、ＲＡＭ３１０２上に記憶する。さらに、種別がワンポイント画像もしくは文字列画像であった場合は、付属される印字位置情報と拡大率（倍率）情報についても、ＲＡＭ３１０２上に記憶する。
【００８９】
以上の前処理に続いて、ＪＰＥＧデータの復号化処理、拡大（倍率変更）処理、配置処理、ＰＮＧデータの復号化処理、拡大（倍率変更）処理、合成配置処理を以下ステップＳ４２からステップＳ５１までの処理が繰り返される。
【００９０】
まず、ステップＳ４２で、ＪＰＥＧデータの復号化処理が行われる。復号化処理の単位は、ＲＡＭ３１０２の容量次第であるが、例えば１６ライン単位で処理が行われることが、ＰＤプリンタ１０００としては考えられるため、その単位で処理を繰り返すフローチャート図としている。
【００９１】
次に、ステップＳ４３で、復号化処理したＪＰＥＧデータを、ステップＳ４０で算出記憶した画像出力矩形サイズに基づき、フチありモードで拡大（倍率変更）処理を行い、ＲＡＭ３１０２上の印字出力バッファへの格納処理を行う。
【００９２】
ＪＰＥＧデータ処理に続いて、ステップＳ４４で、ＰＮＧデータの復号化処理が行われる。なお、ＰＮＧデータのデコード処理もＪＰＥＧデータと同様に、例えば１６ライン単位で行われる実施形を想定したフローチャート図としている。さらに、ＰＮＧデータは複数受信して合成する実施形を想定したフローチャート図としている。
【００９３】
次に、ステップＳ４５で取得記憶した合成画像種別情報の判定処理（ＰＮＧ画像種別判定）を行う。フレーム画像と判定された場合はステップＳ４６の処理を、ワンポイント画像と判定された場合はステップＳ４７の処理を、文字列画像と判定された場合はステップＳ４８の処理へと分岐処理が行われる。ここで、ＰＮＧ画像種別を判定は、例えば、ＰＮＧ画像ヘッダ情報に付加されている画像種別情報を用いたり、或いは、復号されたＰＮＧ画像を解析してその特徴を抽出し、ＰＮＧ画像の外縁の全て若しくは大部分（例えば７０％以上）が透過領域となっていいる場合にはフレーム画像であると判断したり、また、ＰＮＧの復号化像を解析して、例えば、外縁の大部分がいろデータを有し、中央付近が透過データであればフレーム画像であると判断する、といった方法が考えられる。
【００９４】
フレーム画像であった場合は、ステップＳ４６にて、復号化されたＰＮＧデータを、ステップＳ４０で算出記憶した画像出力矩形サイズを参照して、そのサイズにフィッティングするようにフチなし拡大（倍率変更）処理を行い、結果をＲＡＭ３１０２テンポラリワーク上に記憶する。
【００９５】
ワンポイント画像であった場合は、ステップＳ４７にて、復号化されたＰＮＧデータを、ステップＳ５４で算出記憶した印字位置情報と拡大率（倍率）情報を参照して、印字位置に合わせた拡大（倍率変更）処理を行い、結果をＲＡＭ３１０２テンポラリワーク上に記憶する。
【００９６】
文字列画像であった場合は、ステップＳ４８にて、復号化されたＰＮＧデータを、ステップＳ５４で算出記憶した印字位置情報と拡大率（倍率）情報を参照して、印字位置に合わせた拡大（倍率変更）処理を行い、結果をＲＡＭ３１０２テンポラリワーク上に記憶する。基本的にはワンポイント画像の場合の処理と同じであるが、文字列の場合においてはスムージング拡大（倍率変更）処理を行うことが特徴的なこととなる。
【００９７】
以上のステップＳ４３のＪＰＥＧ出力結果とステップＳ４６〜ステップＳ４８でのＰＮＧ出力結果を、ステップＳ４９で合成処理を行う。ＰＮＧファイルが画素毎に透過率を示すα値を持っており、合成処理はα値を使用した合成処理を行うことが実用上考えられる。
【００９８】
以上の合成処理が終了に続いて、ステップＳ５０で受信した全ＰＮＧ画像に対して、復号化処理、拡大（倍率変更）処理、合成処理が完了したかの判定処理を行う。全てに対しての処理が完了していない場合は、ステップＳ４４から処理の繰り返しが行われる。完了済みの場合は、ステップＳ５１へと処理を進める。
【００９９】
ステップＳ５１は、本プログラムの最終ステップであり、ＪＥＰＧかつＰＮＧ画像に対して全処理が完了したかの判定処理を行う。完了していなければ、さらに次の１６ラインに対するデコード処理を行うために、ステップＳ４２より処理を繰り返すように戻される。完了と判定された場合は、本プログラムの呼び出し元のプログラムに制御が戻される。
【０１００】
以上のような動作によって各種合成画像が効率よく、かつより自然に見えるように生成される。
【０１０１】
本実施形態によれば、カメラ付き携帯電話ＤＳＣＰやデジタルカメラから撮影された画像とフレームなどの合成データを印刷装置に送信し、印刷装置側で合成して印刷するシステムにおいて、画像データと合成データのアスペクト比が異なる場合に、フチあり／フチなし印刷モードに関係なく、整合性のとれた画像合成結果を生成して印刷することが可能となる格別の効果が生まれる。また、合成画像の種別や特性が異なった場合においても、整合性のとれた画像合成結果を生成して印刷することが可能となる格別の効果が生まれる。
【図面の簡単な説明】
【０１０２】
【図１】本発明の実施形態に係るＰＤプリンタの概観斜視図である。
【図２】本実施形態に係るＰＤプリンタの操作パネルの概観図である。
【図３】本実施形態に係るＰＤプリンタの制御に係る主要部の構成を示すブロック図である。
【図４】本実施形態に係るＤＳＣＰの構成を示すブロック図である。
【図５】本実施形態に係る印刷システムにおいて、ＤＳＣＰからＰＤプリンタに対してプリント要求を発行して印刷を行う場合の大まかな信号フローを説明する図である。
【図６】本発明実施の形態に係るカメラ付き携帯電話（ＤＳＣＰ）とＰＤプリンタとの間で通信を行って、ＤＳＣＰからＰＤプリンタに画像データを供給して印刷を行う場合の処理を説明する図である。
【図７】本実施形態におけるフレーム合成印刷に関する説明図である。
【図８】本実施形態におけるフレーム合成印刷に関するＮＵＰレイアウトの場合に関する説明図である。
【図９】本実施形態におけるワンポイント画像合成を含むフレーム合成印刷に関する説明図である。
【図１０】本実施形態における文字列合成を含むフレーム合成印刷に関する説明図である。
【図１１】本発明の実施形態に係る画像データの合成データの合成処理を説明するためのフローチャートである。
【図１】
2006181844.tif 000003
【図２】
2006181844.tif 000004
【図３】
2006181844.tif 000005
【図４】
2006181844.tif 000006
【図５】
2006181844.tif 000007
【図６】
2006181844.tif 000008
【図７】
2006181844.tif 000009
【図８】
2006181844.tif 000010
【図９】
2006181844.tif 000011
【図１０】
2006181844.tif 000012
【図１１】
2006181844.tif 000013