(57)【要約】【課題】写真画像と印刷記録媒体でアスペクト比が異なる場合、フチなし印刷するためには写真画像の両端が欠けたり、画像が欠けることなく印刷するためには印刷記録媒体の両端に大きく余白が発生したりする。【解決手段】原画像と印刷記録媒体の基準方向のサイズを基に倍率を決定して配置し、原画像の外側にできる余白部分には、原画像の内容から原画像領域外の画像を推定した補完画像を合成して印刷する。【選択図】  図８
2019134324.tif 000002
【特許請求の範囲】
【請求項１】
画像データを取得する取得手段と、
前記画像データおよび前記画像データを印刷する記録媒体それぞれのアスペクト比に基づいて、前記画像データに対する倍率を決定する決定手段と、
前記決定手段にて決定した倍率を用いて拡大または縮小した前記画像データを、前記記録媒体に配置する配置手段と、
前記配置手段にて前記記録媒体に前記画像データを配置することに伴って生じる、前記記録媒体の余白領域に対応する補完画像を生成する生成手段と、
前記決定手段にて決定した倍率を用いて拡大または縮小した前記画像データと、前記生成手段にて生成した補完画像とを合成し、印刷画像を生成する合成手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記決定手段は、前記画像データおよび前記記録媒体それぞれのアスペクト比に基づいて、前記画像データおよび前記記録媒体それぞれの基準方向を決定し、前記基準方向の長さが一致するように前記倍率を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記画像データの短辺に対する長辺の比率として得られる第１の値と、前記記録媒体の短辺に対する長辺の比率として得られる第２の値とを比較し、前記第１の値の方が大きい場合は、前記画像データおよび前記記録媒体それぞれの長辺を前記基準方向とし、前記第１の値の方が大きくない場合は、前記画像データおよび前記記録媒体それぞれの短辺を前記基準方向として決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
基準画像を保持する第１のデータベースと、
学習により得られた前記基準画像の特徴データを保持する第２のデータベースと、
を更に備え、
前記生成手段は、
前記画像データと、前記第１のデータベースに保持された基準画像とを比較することにより、前記画像データに含まれるオブジェクトを認識し、
当該認識したオブジェクトに対応する前記第２のデータベースに保持された特徴データを用いて、前記記録媒体の余白領域に対応する補完画像を生成する
ことを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項５】
前記学習は、前記第１のデータベースに保持された基準画像を用いたディープラーニングによる画像学習であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記認識は、ディープラーニングによる画像認識により行われることを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
前記配置手段は、前記記録媒体の予め規定された位置に、前記画像データを配置することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
【請求項８】
前記配置手段は、前記画像データの属性情報に応じて、前記記録媒体における前記画像データを配置する位置を決定することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
【請求項９】
前記配置手段は、前記画像データに含まれるオブジェクトもしくは当該オブジェクトの前記画像データ内の位置に応じて、前記記録媒体における前記画像データを配置する位置を決定することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
【請求項１０】
前記合成手段にて生成された印刷画像を評価する評価手段を更に備え、
前記配置手段は、前記記録媒体における前記画像データの複数の配置位置を設定し、
前記生成手段は、前記複数の配置位置それぞれに対応する複数の補完画像を生成し、
前記合成手段は、前記複数の補完画像それぞれを用いた複数の印刷画像を生成し、当該複数の印刷画像のうち、前記評価手段による評価の値が最も高い印刷画像を印刷対象とする
ことを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。
【請求項１１】
画像データを取得する取得工程と、
前記画像データおよび前記画像データを印刷する記録媒体それぞれのアスペクト比に基づいて、前記画像データに対する倍率を決定する決定工程と、
前記決定工程にて決定した倍率を用いて拡大または縮小した前記画像データを、前記記録媒体に配置する配置工程と、
前記配置工程にて前記記録媒体に前記画像データを配置することに伴って生じる、前記記録媒体の余白領域に対応する補完画像を生成する生成工程と、
前記決定工程にて決定した倍率を用いて拡大または縮小した前記画像データと、前記生成工程にて生成した補完画像とを合成し、印刷画像を生成する合成工程と
を有することを特徴とする画像処理方法。
【請求項１２】
コンピュータを、
画像データを取得する取得手段、
前記画像データおよび前記画像データを印刷する記録媒体それぞれのアスペクト比に基づいて、前記画像データに対する倍率を決定する決定手段、
前記決定手段にて決定した倍率を用いて拡大または縮小した前記画像データを、前記記録媒体に配置する配置手段、
前記配置手段にて前記記録媒体に前記画像データを配置することに伴って生じる、前記記録媒体の余白領域に対応する補完画像を生成する生成手段、
前記決定手段にて決定した倍率を用いて拡大または縮小した前記画像データと、前記生成手段にて生成した補完画像とを合成し、印刷画像を生成する合成手段
として機能させるためのプログラム。
【請求項１３】
印刷システムであって、
画像データを取得する取得手段と、
前記画像データおよび前記画像データを印刷する記録媒体それぞれのアスペクト比に基づいて、前記画像データに対する倍率を決定する決定手段と、
前記決定手段にて決定した倍率を用いて拡大または縮小した前記画像データを、前記記録媒体に配置する配置手段と、
前記配置手段にて前記記録媒体に前記画像データを配置することに伴って生じる、前記記録媒体の余白領域に対応する補完画像を生成する生成手段と、
前記決定手段にて決定した倍率を用いて拡大または縮小した前記画像データと、前記生成手段にて生成した補完画像とを合成し、印刷画像を生成する合成手段と、
前記合成手段にて生成された印刷画像を、前記記録媒体に印刷する印刷手段と
を有することを特徴とする印刷システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、プログラム、及び印刷システムに関する。
【背景技術】
【０００２】
従来の記録装置における写真画像の印刷方法として、記録媒体の４辺に対してフチなし印刷を行う方法が考案されている。例えば、特許文献１では、写真画像を記録媒体の大きさに合わせてリサイズし、端部画像をはみ出し部分にコピーして生成することにより、周辺部分が欠けることなくフチなし印刷を行う方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２７４１４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一方、従来のデジタルカメラなどの撮影機器では画像の長辺と短辺の比率（以下、アスペクト比と記す）が３：２や４：３のものが主流であった。しかし、近年、写真撮影機器が多様化することに伴って、例えば、１６：９のハイビジョンサイズと呼ばれるものや１：１の真四角サイズと呼ばれるものも使われるようになっている。これらの画像サイズにおけるアスペクト比は、写真画像印刷の記録媒体として多く利用されているＬ判や２Ｌ判、はがきサイズなどとはアスペクト比が大きく異なっている。
【０００５】
しかしながら、写真画像と記録媒体でアスペクト比が異なる場合、フチなし印刷するためには写真画像の両端が欠けるおそれがあった。また、画像が欠けることなく印刷するためには記録媒体の両端に大きく余白が発生したりするおそれがあった。
【０００６】
そこで、本発明は、原画像のアスペクト比と記録媒体のアスペクト比が異なる場合であっても、見栄えの良い印刷を行うことを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明は以下の構成を有する。すなわち、画像処理装置であって、画像データを取得する取得手段と、前記画像データおよび前記画像データを印刷する記録媒体それぞれのアスペクト比に基づいて、前記画像データに対する倍率を決定する決定手段と、前記決定手段にて決定した倍率を用いて拡大または縮小した前記画像データを、前記記録媒体に配置する配置手段と、前記配置手段にて前記記録媒体に前記画像データを配置することに伴って生じる、前記記録媒体の余白領域に対応する補完画像を生成する生成手段と、前記決定手段にて決定した倍率を用いて拡大または縮小した前記画像データと、前記生成手段にて生成した補完画像とを合成し、印刷画像を生成する合成手段とを有する。
【発明の効果】
【０００８】
本発明によれば、原画像のアスペクト比と記録媒体のアスペクト比が異なる場合であっても、見栄えの良い印刷を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】写真画像印刷のレイアウトを説明するための図。
【図２】本実施形態に係る写真画像印刷システムの構成例を示す図。
【図３】本実施形態に係るサーバーの制御系の構成例を示す図。
【図４】本実施形態に係るサーバー上で動作するソフトウェアのモジュール構成の例を示す図。
【図５】本実施形態に係る端末装置の制御系の構成例を示す図。
【図６】本実施形態に係る記録装置の制御系の構成例を示す図。
【図７】本実施形態に係る端末装置の処理を示すフローチャート。
【図８】本実施形態に係るサーバーの処理を示すフローチャート。
【図９】本実施形態に係る記録装置の処理を示すフローチャート。
【図１０】本実施形態に係る写真画像印刷システムの動作を示すシーケンス図。
【図１１】本実施形態に係る画像変換処理の例を示す図。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について詳細に説明する。なお、この実施の形態に記載されている構成要素は、本発明の例としての形態を示すものであり、この発明の範囲をそれらのみに限定するものではない。
【００１１】
＜第１実施形態＞
図１は、本願発明にて解決しようとする課題をより具体的に説明するための図である。図１（ａ）は印刷対象の原画像１０を示す。ここでは１６：９のハイビジョンサイズで撮影された画像の例を示している。図１（ｂ）は原画像１０を従来技術でフチなし印刷する場合の例を示している。原画像１０は上下のフチなしはみ出し量を考慮した大きさの領域１０ｂにリサイズされて印刷される。記録媒体２０に記録される範囲を太線で表している。図１（ｂ）においては、原画像１０の左右端部分１１、１２が、フチなしのはみ出し部分のサイズ以上に欠けてしまう。
【００１２】
一方、図１（ｃ）は原画像１０が欠けないように記録媒体２０より小さいサイズの領域１０ｃにレイアウトして印刷する場合の例を示している。図１（ｃ）においては、原画像１０は左右端まで欠けることなく記録媒体２０上に記録されているが、領域１０ｃの上下部分１３、１４に大きな余白が発生することになる。このように、図１（ｂ）や図１（ｃ）のような場合には、見栄えの良くない写真が出力されてしまう。
【００１３】
［システム構成］
図２は、本発明の一実施形態である印刷システムとしての写真画像印刷システム１００の構成例を示す図である。写真画像印刷システム１００は、端末装置２００、記録装置３００、及びサーバー４００を含んで構成され、これらがインターネット１０１を経由して相互に接続されている。端末装置２００と記録装置３００は同一ＬＡＮ上で通信可能に接続されていてもよいし、図２に示す通り、インターネット１０１経由で通信可能に接続されていてもよい。端末装置２００と記録装置３００がインターネット１０１経由で接続されている場合は端末装置２００と記録装置３００を遠隔地に設置して使用することも可能である。端末装置２００、記録装置３００、及びサーバー４００の各装置がインターネット１０１と接続する構成については既存の技術を用いるものとする。ネットワーク構成においては、有線ＬＡＮ、無線ＬＡＮ、携帯電話回線などを利用する方法などが挙げられ、これらを組み合わせた構成であってもよい。また、図２においては、各装置が１台ずつ示されているが、これに限定するものではなく、複数台の装置が写真画像印刷システム１００に含まれていてもよい。
【００１４】
［装置構成］
本実施形態では、端末装置２００として、スマートフォンを例に挙げて説明する。スマートフォンとは、携帯電話の機能の他に、撮像装置であるカメラや、Ｗｅｂブラウザ、メール機能などを搭載した多機能型の携帯電話のことである。なお、ここではスマートフォンの例を記載したが、端末装置２００として用いられる装置はタブレット端末やＰＣ端末、その他の電子機器によるものであってもよい。また、本実施形態では、記録装置３００として、印刷装置とスキャナ、その他の機能を兼ね備えたマルチファンクションプリンタ（以下、ＭＦＰ）を例に挙げて説明する。
【００１５】
図３は、サーバー４００の制御系の構成例を示す図である。サーバー４００は、装置全体の制御を行うメインボード４１０、ネットワーク接続ユニット４０１、ハードディスクユニット４０２を含んで構成される。メインボード４１０に配置されるマイクロプロセッサ形態のＣＰＵ４１１は、内部バス４１２を介して接続されているプログラムメモリ４１３に格納されている制御プログラムと、データメモリ４１４の内容とに従って動作する。ＣＰＵ４１１は、ネットワーク制御回路４１５を介してネットワーク接続ユニット４０１を制御することで、外部ネットワークであるインターネット１０１と接続し他の装置との通信を行う。ＣＰＵ４１１は、ハードディスク制御回路４１６を経由して接続されたハードディスクユニット４０２にデータを読み書きする。ハードディスクユニット４０２には、プログラムメモリ４１３にロードして使用されるオペレーティングシステム（ＯＳ）や各種制御ソフトウェアが格納されるほか、各種のデータも格納される。
【００１６】
図４は、サーバー４００上で動作するソフトウェアのモジュール構成の例を示す図である。各モジュールはサーバー４００で動作するＯＳ上で動作し、ハードディスクユニット４０２に格納されているものがプログラムメモリ４１３およびデータメモリ４１４に適宜ロードして実行される。クラウド印刷サービス４２０は、インターネット１０１経由で端末装置２００から印刷ジョブリクエストを受け付け、インターネット１０１経由で接続されている記録装置３００に印刷ジョブを実行させるためのサービスモジュールである。クラウド印刷サービス４２０は、ＨＴＴＰ(Hypertext Transfer Protocol)やＴＣＰ／ＩＰなど各種のネットワークプロトコルを管轄するネットワークプロトコルスタック４２２を利用してネットワーク通信を行う。これにより、サーバー４００は、印刷ジョブリクエストを受け付けたり、記録装置３００に印刷ジョブを送信して実行させたりする。
【００１７】
画像変換サービス４２１は、外部から画像変換リクエストを受けて、画像変換処理を行ってレスポンスを返すサービスモジュールである。画像変換サービス４２１は、ネットワークプロトコルスタック４２２を利用してネットワーク経由で画像変換リクエストやレスポンスを送受信する。また、画像変換サービス４２１は、サーバー４００内の他のモジュール、例えばクラウド印刷サービス４２０からリクエストを受けて動作することも可能である。画像変換サービス４２１は、サービスの提供に際して画像認識モジュール４２３、画像合成モジュール４２４、および画像学習処理モジュール４２５を利用する。
【００１８】
画像認識モジュール４２３は、受け取った写真画像データを基に、画像学習処理モジュール４２５を用いて写真画像に写っている内容を認識するモジュールである。画像合成モジュール４２４は、写真画像データとその認識結果を基に、画像学習処理モジュール４２５を用いて補完画像を生成し、合成するモジュールである。ここでの補完画像の詳細については、後述する。また、画像変換サービス４２１は、画像学習処理モジュール４２５に新たな画像データを学習させることも可能である。
【００１９】
画像学習処理モジュール４２５は、画像データに対する画像学習処理を提供するモジュールである。画像学習処理とは、例えば、受け取った写真画像の特徴量を抽出し、特徴量情報から新たな画像を学習することなどが挙げられる。ここで、画像学習処理の技術としては、例えば、ディープラーニング技術として既に提供されている技術などを用いるものとし、ここでは説明を省略する。なお、学習処理の手法は特に限定するものではなく、様々な機械学習の手法が用いられていてもよいし、複数の手法を組み合わせて用いてもよい。画像学習処理モジュール４２５は、画像データや、画像データから抽出して学習した学習データを、それぞれ画像データベース４２６、および学習データベース４２７に格納する。
【００２０】
図５は、端末装置２００の制御系の構成例を示す図である。端末装置２００は、装置全体の制御を行うメインボード２１０、無線ＬＡＮユニット２０１、回線接続ユニット２０２を含んで構成される。メインボード２１０に配置されるマイクロプロセッサ形態のＣＰＵ２１１は、内部バス２１２を介して接続されているＲＯＭ形態のプログラムメモリ２１３に格納されている制御プログラムと、ＲＡＭ形態のデータメモリ２１４の内容とに従って動作する。ＣＰＵ２１１は、無線ＬＡＮ制御回路２１５を介して無線ＬＡＮユニット２０１を制御することで、他の通信端末装置と無線ＬＡＮ通信を行う。ＣＰＵ２１１は、回線接続制御回路２１６を介して回線接続ユニット２０２を制御することで、携帯電話回線網に接続し、通話やデータ送受信を行う。ＣＰＵ２１１は、操作部制御回路２１７を制御することによってタッチパネルディスプレイ２０３に所望の表示を行ったり、ユーザからの操作を受け付けたりする。ＣＰＵ２１１は、カメラ制御回路２１８を介してカメラ２０５を制御して画像を撮影し、撮影した画像をデータメモリ２１４中の画像メモリ２１９に格納する。また、ＣＰＵ２１１は、撮影した画像以外にも、携帯電話回線や無線ＬＡＮを通じて外部から取得した画像を画像メモリ２１９に格納したり、逆に外部に送信したりする。
【００２１】
不揮発性メモリ２２０はフラッシュメモリ等で構成され、電源をオフされた後でも保存しておきたいデータを格納する。例えば、電話帳データや、各種通信接続情報や過去に接続したデバイス情報などの他、保存しておきたい画像データ、あるいは端末装置２００に各種機能を実現するアプリケーションソフトウェアなどが不揮発性メモリ２２０に格納される。
【００２２】
図６は、記録装置３００の制御系の構成例を示す図である。マイクロプロセッサ形態のＣＰＵ３１１は、内部バス３１２を介して接続されているＲＯＭ形態のプログラムメモリ３１３に格納されている制御プログラムと、ＲＡＭ形態のデータメモリ３１４の内容とに従って動作する。ＣＰＵ３１１は、スキャナ部３１５を制御して読み取り対象である原稿を読み取り、データメモリ３１４中の画像メモリ３１６に格納する。また、ＣＰＵ３１１は、印刷部３１７を制御してデータメモリ３１４中の画像メモリ３１６の画像を記録媒体に印刷する。ＣＰＵ３１１は、無線ＬＡＮユニット３１８を制御することで、外部に設けられた無線ＬＡＮアクセスポイント（不図示）経由で無線ＬＡＮ通信を行う。無線ＬＡＮアクセスポイント（不図示）はインターネット１０１と接続されており、記録装置３００のＣＰＵ３１１は無線ＬＡＮアクセスポイント（不図示）経由でインターネット１０１と接続し他の装置と通信を行う。
【００２３】
ＣＰＵ３１１は、操作部制御回路３１９を制御することによって、記録装置３００に設けられた操作パネル３２０に記録装置３００の状態の表示や機能選択メニューの表示を行ったり、ユーザからの操作を受け付けたりする。上記の構成を組み合わせることで、記録装置３００は様々な機能をユーザに提供する。例えば、記録装置３００は、インターネット１０１経由で接続されたサーバー４００から印刷ジョブを取得し、その印刷ジョブに従って、印刷部３１７を制御して記録媒体に印刷を行う。また、記録装置３００は、スキャナ部３１５を制御して原稿を読み取った画像をサーバー４００や他の装置に送信する。さらに、記録装置３００は、操作パネル３２０へのユーザ入力を受けて記録装置３００内の動作を開始したり、スキャナ部３１５を制御して原稿を読み取った画像を印刷部３１７で印刷することでコピー機能を実行したりする。
【００２４】
［処理フロー］
（端末装置）
図７は、端末装置２００のＣＰＵ２１１の処理内容を示すフローチャートである。ここでは、サーバー４００が提供するクラウド印刷サービス４２０を利用することで、端末装置２００から記録装置３００による印刷を指示するものとする。ここでの利用方法としては、クラウド印刷サービス４２０に対応したアプリケーションが端末装置２００にインストールされ、これを起動して実行することで実現してもよい。または、端末装置２００が備えるＷｅｂブラウザ（不図示）を用いて、クラウド印刷サービス４２０が提供するＷｅｂページを介して実現してもよい。
【００２５】
Ｓ７０１にて、ＣＰＵ２１１は、画像選択画面（不図示）をタッチパネルディスプレイ２０３に表示し、ユーザに印刷対象となる写真画像を選択させる。画像選択画面は、画像メモリ２１９に保持された各種画像を選択可能に表示する。もしくは、端末装置２００の外部に保持された写真画像を対象とする場合には、その格納先を指示できるようにしてもよい。また、画像選択画面は、ユーザ指示に応じて複数の画像をフィルタリングした上で、選択する画像の候補を表示してもよい。なお、ここではユーザに画像を選択させる場合を説明したが、他のアプリや他のデバイスから受け取った画像を対象に処理するように構成してもよい。
【００２６】
Ｓ７０２にて、ＣＰＵ２１１は、記録装置３００にて対応可能な用紙サイズの一覧をタッチパネルディスプレイ２０３に表示し、ユーザに印刷に使用する用紙サイズを選択させる。このとき表示される用紙サイズの情報は、端末装置２００がサーバー４００と連携を行い、記録装置３００にて印刷可能な用紙サイズの種類の情報を取得した上で表示してよい。
【００２７】
Ｓ７０３にて、ＣＰＵ２１１は、Ｓ７０１で選択された写真画像データとＳ７０２で選択された用紙サイズ情報を、印刷ジョブリクエストとしてサーバー４００に送信する。そして、本処理フローを終了する。
【００２８】
なお、端末装置２００とサーバー４００間で送受信が行われる情報は、上記に限定するものではなく、画像処理に関する情報や印刷枚数などの他の情報が含まれてもよい。
【００２９】
（サーバー）
図８は、サーバー４００のＣＰＵ４１１の処理内容を示すフローチャートである。本処理フローは、ＣＰＵ４１１がハードディスクユニット４０２に格納されたプログラムをプログラムメモリ４１３に読み出して実行することにより実現される。
【００３０】
Ｓ８０１にて、ＣＰＵ４１１は、端末装置２００から印刷ジョブリクエストを受信するまで待機する。印刷ジョブリクエストを受信すると（Ｓ８０１にてＹＥＳ）Ｓ８０２へ進む。
【００３１】
Ｓ８０２にて、ＣＰＵ４１１は、印刷ジョブリクエストで指定された写真画像データを取得する。なお、印刷ジョブリクエストにて、写真画像データの格納先が指定されていた場合には、ＣＰＵ４１１は、その格納先から写真画像データを取得するようにしてもよい。
【００３２】
Ｓ８０３にて、ＣＰＵ４１１は、取得した写真画像データから画像の長辺の長さＬ１及び短辺の長さＳ１を取得することにより、画像アスペクト比をＲ１＝Ｌ１／Ｓ１として算出する。なお、写真画像データの画像の辺がいずれも同一である場合には（すなわち正方形の場合）、いずれの辺をＬ１（＝Ｓ１）として扱ってもよい。この場合、Ｒ１＝１となる。
【００３３】
Ｓ８０４にて、ＣＰＵ４１１は、印刷ジョブリクエストで指定された用紙サイズ情報から、印刷用紙に応じた印刷領域の長辺の長さＬ２及び短辺の長さＳ２を取得する。そして、ＣＰＵ４１１は、印刷領域のアスペクト比をＲ２＝Ｌ２／Ｓ２として算出する。このとき、印刷用紙の４辺に白フチがでない、いわゆるフチなし印刷を行う場合には、Ｌ２、Ｓ２を実際の印刷用紙の長辺、短辺に所定のフチなしはみ出し量を加えた大きさにする。はみ出し量については、印刷用紙のサイズに応じて予め規定されていてもよいし、印刷ジョブリクエストにてユーザにより指定されていてもよい。指定された印刷用紙の辺がいずれも同一である場合には（すなわち正方形の場合）、いずれの辺をＬ２（＝Ｓ２）として扱ってもよい。この場合、Ｒ２＝１となる。
【００３４】
Ｓ８０５にて、ＣＰＵ４１１は、Ｓ８０３で算出したＲ１とＳ８０４で算出したＲ２を比較する。Ｒ１＞Ｒ２である場合とは、画像の方が印刷用紙より細長い場合である。例えば、図１（ｃ）にて示したような関係となる。一方、Ｒ１≦Ｒ２である場合とは、画像と用紙のアスペクト比が等しいか、用紙の方が画像より細長い場合である。Ｒ１＞Ｒ２の場合は（Ｓ８０５にてＹＥＳ）Ｓ８０６へ進み、Ｒ１≦Ｒ２の場合は（Ｓ８０５にてＮＯ）Ｓ８０７へ進む。
【００３５】
Ｓ８０６にて、ＣＰＵ４１１は、長辺Ｌ１、Ｌ２の方向を基準方向Ｘとし、短辺Ｓ１、Ｓ２の方向を従属方向Ｙとする。そして、Ｓ８０８へ進む。
【００３６】
Ｓ８０７にて、ＣＰＵ４１１は、短辺Ｓ１、Ｓ２の方向を基準方向Ｘとし、長辺Ｌ１、Ｌ２の方向を従属方向Ｙとする。そして、Ｓ８０９へ進む。
【００３７】
Ｓ８０８にて、ＣＰＵ４１１は、Ｓ８０６またはＳ８０７にて設定した方向に基づき、基準方向の画像サイズをＸ１とし、従属方向の画像サイズをＹ１とする。
【００３８】
Ｓ８０９にて、ＣＰＵ４１１は、Ｓ８０６またはＳ８０７にて設定した方向に基づき、基準方向の印刷領域サイズをＸ２とし、従属方向の印刷領域サイズをＹ２とする。
【００３９】
Ｓ８１０にて、ＣＰＵ４１１は、画像の拡大縮小倍率をＭ＝Ｘ２／Ｘ１として算出する。これにより、印刷対象となる写真画像の基準方向のサイズが印刷領域に基準方向のサイズに一致するように倍率が決定される。基準方向のサイズが一致するように倍率が決定されているため、拡大縮小後の従属方向の画像サイズはＹ３＝Ｍ×Ｙ１として求められる。このとき、Ｙ３≦Ｙ２となり、印刷領域より画像の方が小さい、もしくは、同じということになる。つまり、Ｓ８１０で算出された倍率で画像を拡大することで、画像の欠けを発生することなく画像が記録媒体に配置される。
【００４０】
Ｓ８１１にて、ＣＰＵ４１１は、写真画像を印刷領域中のどこに配置するかを決定する。基準方向においては印刷領域と画像のサイズが一致しているため、ここでは従属方向の位置を決定することとなる。配置の決定の仕方として、例えば、従属方向の印刷領域の中央に画像を配置する方法が挙げられる。あるいは、従属方向のどちらかの端に接して配置する方法や、所定の比率で両端を空けて配置する方法でもよい。このとき、決定した配置位置に応じて、印刷領域中に画像データがない領域が発生する。以後これを「余白領域」という。
【００４１】
Ｓ８１２にて、ＣＰＵ４１１は、余白領域の補完画像を生成する。補完画像の生成方法としては、まず画像認識モジュール４２３を用いて印刷対象の写真画像に写っている内容を認識させる。そして、画像合成モジュール４２４により余白領域の補完画像を生成させる。上述したように、本実施形態では、画像学習処理モジュール４２５が、補完画像を生成するための学習を行っており、学習の状況に応じて補完画像の生成結果は異なる。
【００４２】
Ｓ８１３にて、ＣＰＵ４１１は、ユーザにより指定された写真画像に補完画像を合成した画像を印刷対象として印刷ジョブを生成し、記録装置３００に送信する。そして、印刷ジョブリクエストに対する本処理フローを終了する。
【００４３】
（記録装置）
図９は、記録装置３００のＣＰＵ３１１の処理内容を示すフローチャートである。本処理フローは、ＣＰＵ３１１がプログラムメモリ３１３に読み出したプログラムを実行することにより実現される。
【００４４】
Ｓ９０１にて、ＣＰＵ３１１は、サーバー４００から印刷ジョブを受信するまで待機する。印刷ジョブを受信すると（Ｓ９０１にてＹＥＳ）Ｓ９０２へ進む。
【００４５】
Ｓ９０２にて、ＣＰＵ３１１は、印刷ジョブで指定された画像データを取得する。ここで受信する画像データは、サーバー４００側で写真画像に補完画像を合成することで生成された画像である。このとき、印刷対象となる画像データは、印刷ジョブに含まれていてもよいし、画像データの格納先が指定されていてもよい。
【００４６】
Ｓ９０３にて、ＣＰＵ３１１は、印刷ジョブに基づいて記録装置３００の印刷部３１７を制御し、Ｓ９０２にて取得した画像データを印刷する。そして、本処理フローを終了する。
【００４７】
［処理シーケンス］
図１０は、写真画像印刷システム１００の動作を示すシーケンス図である。各装置における処理は、図７〜図９にて上述した処理に対応する。
【００４８】
Ｓ１００１にて、端末装置２００は、ユーザ５００の画像選択操作を受け付ける。
【００４９】
Ｓ１００２にて、端末装置２００は、ユーザ５００の用紙選択操作を受け付ける。このとき、サーバー４００から印刷可能な用紙サイズの情報を取得してもよい。
【００５０】
Ｓ１００３にて、端末装置２００は、ユーザ５００の印刷指示操作を受け付ける。なお、Ｓ１００１とＳ１００２は順番が逆であってもよいし、その他の印刷に関する設定等をＳ１００３にて受け付けるような構成であってもよい。
【００５１】
Ｓ１００４にて、端末装置２００は、Ｓ１００１〜Ｓ１００３の操作内容に基づき、サーバー４００に印刷ジョブリクエストを送信する。
【００５２】
Ｓ１００５にて、サーバー４００は、端末装置２００から印刷ジョブリクエストを受信すると、画像変換処理を実行する。本工程の処理は、図８にて説明した処理に相当する。
【００５３】
Ｓ１００６にて、サーバー４００は、Ｓ１００５の画像変換処理の処理結果に基づいて印刷ジョブを記録装置３００に送信する。
【００５４】
Ｓ１００７にて、記録装置３００は、サーバー４００から印刷ジョブを受信すると、印刷画像を取得するため、サーバー４００に画像要求を送信する。
【００５５】
Ｓ１００８にて、サーバー４００は、記録装置３００からの画像要求に応答して、画像データを記録装置３００に送信する。
【００５６】
Ｓ１００９にて、記録装置３００は、サーバー４００から受信した画像データを用いて印刷を実行する。ここでの印刷は、印刷ジョブにて指定された各種情報に基づいて実行されるものとする。そして、本シーケンスを終了する。
【００５７】
［変換処理の例］
図１１は、画像変換処理の例を示す図である。図８のＳ８０３〜Ｓ８１２にて示したサーバー４００において行われる処理に相当する。ここでは、原画像１０の下端が印刷領域の下端と一致するように配置され、原画像１０の上部に余白領域が生じている例を示す。
【００５８】
Ｓ１１０１にて、サーバー４００は、原画像１０と、画像データベース４２６に格納されている多数の基準画像データとの照合比較を行う。ここでの比較方法については、特に限定するものでは無いが、例えば、原画像１０を複数の領域に分割して行ってもよいし、所定のオブジェクトごとに行ってもよい。
【００５９】
Ｓ１１０２にて、サーバー４００は、Ｓ１１０１の比較結果に基づき、学習データベース４２７に格納されている、基準画像データの特徴データ情報を参照することにより、原画像１０に対する特徴データ１５を抽出する。この例では、原画像１０に写っているオブジェクトの特徴データとして山の中腹部分、雲、人物などの情報が抽出される。なお、特徴データ１５には、原画像１０に含まれているオブジェクトの他、色空間情報や撮影条件など、補完画像を生成する際に利用される他の情報が含まれていてもよい。
【００６０】
Ｓ１１０３にて、サーバー４００は、抽出された特徴データ１５を基に、原画像１０の上側の余白部分の領域に相当する補完画像１６を生成する。ここでは特徴データ１５を基に、画像データベース４２６に格納されている多数の基準画像データと学習データベース４２７に格納されている基準画像データの特徴データを使用する。この例では、特徴データ１５から余白部分に存在すると推定される山頂部分と、雲の上部部分の画像を生成している。また、特徴データ１５に応じて、補完画像１６に対する画像処理を行ってもよい。
【００６１】
Ｓ１１０４にて、サーバー４００は、原画像１０と補完画像１６を結合して印刷画像１７を生成する。
【００６２】
Ｓ１１０５にて、サーバー４００は、印刷画像１７を記録媒体２０にフチなしはみ出し量を加えた大きさで印刷するように記録装置３００に指示する。
【００６３】
以上のように制御することで、例えば、図１１に示す原画像１０のように複数の人物が横に並んで写っている場合でも、左右両端の人物が欠けることなく、かつ、上下に余白のない見栄えの良いフチなし印刷を行うことができる。
【００６４】
なお、図１１の例では、原画像１０を記録媒体２０の印刷領域の下端に寄せて配置し、原画像１０の上側にできる余白部分に補完画像を生成して合成する場合を説明した。図８のＳ８１１で説明したように、中央に配置する方法、どちらかの端に接して配置する方法や、所定の比率で両端を空けて配置する方法などで配置を決定してもよい。さらには、配置位置は、原画像１０の内容に応じて動的に変更するようにしてもよい。例えば、写真撮影画像が縦位置で撮影されたものか横位置で撮影されたものかによって配置を変えてもよい。つまり、写真撮影画像の属性情報や撮影時の設定に応じて配置位置を決定してよい。
【００６５】
また、配置位置は、原画像１０を画像認識して抽出した特徴データなどを用いて動的に変更してもよい。例えば、画像データ内のオブジェクトの位置（例えば、原画像１０内の人物が写っている位置）に応じて配置を決めるなどの方法が考えられる。原画像１０の従属方向両側の補完画像を生成してみて、どちら側の補完画像がより確度が高いかによって配置を決定するように構成してもよい。もしくは、多数の写真画像からより好ましい構図である画像を学習させておいて、画像変換後の印刷画像のアスペクト比に対して原画像１０をどこに配置すればより好ましい構図に近づくかを基準として配置を決定するように構成してもよい。
【００６６】
また、図８の処理フローでは、Ｓ８１１にて配置位置を決定した後、Ｓ８１２にて余白領域の補完画像を生成する構成であった。しかし、この流れに限定するものではない。例えば、複数の配置位置を設定し、それぞれの配置位置に応じた補完画像を生成した上で印刷対象の候補となる複数の画像を生成する。そしてこれらの複数の画像の評価を行い、最も補完の評価の値が高いものを選択する構成であってもよい。このときの評価は、機械学習により得られた基準に基づいて行われてもよい。また、複数の補完後の画像の中からユーザ選択を受け付けるような構成であってもよい。もしくは、Ｓ８１２にて補完画像を生成し、この生成が失敗した場合には、Ｓ８１１にて再度配置位置を決定するような構成であってもよい。
【００６７】
また、本実施形態においては、画像認識、画像生成についてディープラーニングに基づく機械学習技術を利用するものとしたが、その他の方法を用いるものであってもよい。例えば、同じ場所、同じ時間帯に撮影された他の画像を参照することによって、より精度の高い補完画像を生成することも可能である。
【００６８】
また、本実施形態においては、画像の学習は予め終えたものをデータベースに格納されている場合を想定して説明したが、逐次利用した画像を学習しながら利用するように構成してもよい。例えば、印刷し終わった写真画像を画像学習処理モジュール４２５に学習させ、画像データベース４２６および学習データベース４２７に蓄積するように構成してもよい。
【００６９】
＜その他の実施形態＞
上記の実施形態においては、印刷ジョブリクエストが端末装置２００から発行され、サーバー４００経由で印刷ジョブが記録装置３００へ送られ、サーバー４００を経由する際に画像変換処理を実行する場合を説明した。この構成に限定するものではなく、本発明の実施の方法としては、異なる構成で行う場合であってもよい。
【００７０】
例えば、サーバー４００は画像変換処理だけを行い、端末装置２００がサーバー４００に画像変換処理をリクエストして、サーバー４００は画像変換処理結果を応答として端末装置２００に返すようにしてもよい。端末装置２００は、受信した画像を用いて記録装置３００に印刷ジョブを発行するように構成してもよい。あるいは、端末装置２００は、原画像１０をそのまま記録装置３００に印刷ジョブとして送り、記録装置３００がサーバー４００へ画像変換処理をリクエストするように構成してもよい。さらには、サーバー４００を利用せず、端末装置２００内で画像変換処理を行う構成や、記録装置３００内で画像変換処理を行う構成も可能である。画像変換処理を実行するモジュールと、画像データベース４２６や学習データベース４２７を異なる装置で備えるように構成してもよい。
【００７１】
言い換えると、上記の実施形態にて説明したサーバー４００の各種モジュールや処理は、端末装置２００や記録装置３００に分散して配置されてよい。また、印刷処理を実行する際の各装置間の連携や処理の流れが入れ替わっていてもよい。
【００７２】
本発明は上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７３】
１００…写真画像印刷システム、１０１…インターネット、２００…端末装置、３００…記録装置、４００…サーバー
【図１】
2019134324.tif 000003
【図２】
2019134324.tif 000004
【図３】
2019134324.tif 000005
【図４】
2019134324.tif 000006
【図５】
2019134324.tif 000007
【図６】
2019134324.tif 000008
【図７】
2019134324.tif 000009
【図８】
2019134324.tif 000010
【図９】
2019134324.tif 000011
【図１０】
2019134324.tif 000012
【図１１】
2019134324.tif 000013