(57)【要約】【課題】画像の内容の一部が互いに重複する第１の画像と第２の画像とをつなぎ合わせて一体の画像にする画像処理技術において、画像のつなぎ目を目立たなくすることのできる技術を提供する。【解決手段】画像の内容の一部が互いに重複する第１の画像と第２の画像とをつなぎ合わせて一体の画像にする場合において、第１の画像Ｉ1のうち第２の画像Ｉ2と重複する重複領域Ｉc1の一部を所定の切断線Ｌc1で切除した第１の部分画像Ｉp1と、第２の画像Ｉ2のうち第１の画像Ｉ1と互いの重複領域を重ねたときに第１の部分画像Ｉp1と重複する部分を切除した第２の部分画像Ｉp2とを、互いの切断線を一致させてつなぎ合わせ、しかも切断線を非直線とする。【選択図】図３
2012142795.tif 000002
【特許請求の範囲】
【請求項１】
画像の内容の一部が互いに重複する第１の画像と第２の画像とをつなぎ合わせて一体の画像にする画像処理方法において、
前記第１の画像のうち前記第２の画像と重複する重複領域の一部を所定の切断線で切除した第１の部分画像と、前記第２の画像のうち前記第１の画像と互いの重複領域を重ねたときに前記第１の部分画像と重複する部分を切除した第２の部分画像とを、互いの切断線を一致させてつなぎ合わせ、
前記切断線を非直線とすることを特徴とする画像処理方法。
【請求項２】
前記切断線が折れ線または曲線である請求項１に記載の画像処理方法。
【請求項３】
前記切断線が一定の繰り返しパターンを持たない折れ線または曲線である請求項２に記載の画像処理方法。
【請求項４】
前記第１の画像および前記第２の画像はそれぞれ所定の配列方向に複数の画素が一列に配されてなる画素列を前記配列方向に直交する方向に複数配してなる二次元的構造を有しており、
前記第１の画像と前記第２の画像とを前記配列方向を一致させてつなぎ合わせるとともに、前記第１の画像と前記第２の画像とをつなぎ合わせてなる合成画像では、前記配列方向の各画素列において前記第１の画像と前記第２の画像とが１箇所のみで接するようにする請求項１ないし３のいずれかに記載の画像処理方法。
【請求項５】
画像の内容の一部が互いに重複する第１の画像と第２の画像とをつなぎ合わせて一体の画像にする画像処理機能をコンピューターに実行させる制御プログラムにおいて、
前記画像処理機能は、前記第１の画像のうち前記第２の画像と重複する重複領域の一部を所定の切断線で切除した第１の部分画像と、前記第２の画像のうち前記第１の画像と互いの重複領域を重ねたときに前記第１の部分画像と重複する部分を切除した第２の部分画像とを、互いの切断線を一致させてつなぎ合わせるものであり、前記切断線が非直線であることを特徴とする制御プログラム。
【請求項６】
画像の内容の一部が互いに重複する第１の画像と第２の画像とを取得する画像取得手段と、
前記第１の画像のうち前記第２の画像と重複する重複領域の一部を所定の切断線で切除した第１の部分画像と、前記第２の画像のうち前記第１の画像と互いの重複領域を重ねたときに前記第１の部分画像と重複する部分を切除した第２の部分画像とを、互いの切断線を一致させてつなぎ合わせることで一体の画像を作成する画像処理手段と
を備え、
前記切断線が非直線であることを特徴とする画像処理装置。
【請求項７】
前記画像取得手段は、前記第１の画像および前記第２の画像を撮像する撮像部と、前記撮像部による前記第１の画像および前記第２の画像の撮像時のそれぞれにおいて露出を最適化する露出調整部とを備える請求項６に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像の内容の一部が互いに重複する第１の画像と第２の画像とをつなぎ合わせて一体の画像にする画像処理技術に関するものである。
【背景技術】
【０００２】
例えばカメラで写真を撮影する際、画像のフレームに収まりきらない被写体の画像を作成するなどの目的のために、撮影対象である被写体の一部を重複させて複数枚の画像を撮影し、画像処理によりそれらをつなぎ合わせて一体の画像を作成する技術がある。例えば特許文献１に記載の技術では、位置合わせの精度が十分でない場合のつなぎ目における画像の不自然さを解消するために、重複部分の画像の複雑さを解析して重複部分の幅を決定し、その重複部分において２つの画像の合成割合を連続的に変化させつつマージさせることで２つの画像をつなぎ合わせている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１１９７３０号公報（例えば、図１３）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この種のつなぎ合わせ技術においては、つなぎ合わせの対象となる２つの画像間で被写体への光の当たり方や露出に違いが出ることに起因して、つなぎ目の両側において画像の色合いまたは明るさの差が目立ってしまう場合がある。しかしながら、上記した従来技術ではこの点について考慮されておらず、つなぎ合わされた画像の品質という点において改善の余地が残されていた。
【０００５】
この発明にかかるいくつかの態様は、画像の内容の一部が互いに重複する第１の画像と第２の画像とをつなぎ合わせて一体の画像にする画像処理技術において、上記課題を解決し、画像のつなぎ目を目立たなくすることのできる技術を提供するものである。
【課題を解決するための手段】
【０００６】
この発明の一の態様は、画像の内容の一部が互いに重複する第１の画像と第２の画像とをつなぎ合わせて一体の画像にする画像処理方法において、上記課題を解決するため、前記第１の画像のうち前記第２の画像と重複する重複領域の一部を所定の切断線で切除した第１の部分画像と、前記第２の画像のうち前記第１の画像と互いの重複領域を重ねたときに前記第１の部分画像と重複する部分を切除した第２の部分画像とを、互いの切断線を一致させてつなぎ合わせ、前記切断線を非直線とすることを特徴としている。
【０００７】
また、この発明の他の態様は、画像の内容の一部が互いに重複する第１の画像と第２の画像とをつなぎ合わせて一体の画像にする画像処理機能をコンピューターに実行させる制御プログラムにおいて、上記課題を解決するため、前記画像処理機能は、前記第１の画像のうち前記第２の画像と重複する重複領域の一部を所定の切断線で切除した第１の部分画像と、前記第２の画像のうち前記第１の画像と互いの重複領域を重ねたときに前記第１の部分画像と重複する部分を切除した第２の部分画像とを、互いの切断線を一致させてつなぎ合わせるものであり、前記切断線が非直線であることを特徴としている。
【０００８】
このように構成された発明では、２つの画像をそれぞれ一部ずつ切除して切断線同士で突き合わせてつなぎ合わせる。そのため、比較的簡単な画像処理で画像をつなぎ合わせることができ、しかも、その切断線が非直線であるため、画像のつなぎ目を目立ちにくくすることができる。
【０００９】
この発明において、切断線としては、例えば折れ線または曲線とすることができ、より好ましくは、一定の繰り返しパターンを持たない折れ線または曲線とすることができる。切断線の形状を単純なものとせず折れ線や曲線とすることで、画像のつなぎ目をより目立ちにくくすることができる。折れ線としては線分の接続点が複数あるものが好ましく、曲線としては変曲点が複数あるものが好ましい。ここで、一定の繰り返しパターンを有する折れ線や曲線ではその規則性が画像に表れるとつなぎ目が目立ちやすくなるので、このような繰り返しパターンを持たない折れ線または曲線で切断線を構成することで、つなぎ目が目立つのを抑えることができる。
【００１０】
また、例えば、第１の画像および第２の画像をそれぞれ所定の配列方向に複数の画素が一列に配されてなる画素列を配列方向に直交する方向に複数配してなる二次元的構造とし、第１の画像と第２の画像とを該配列方向を一致させてつなぎ合わせるとともに、第１の画像と第２の画像とをつなぎ合わせてなる合成画像では、配列方向の各画素列において第１の画像と第２の画像とが１箇所のみで接するようにしてもよい。このような画像処理は、第１の画像を構成する１つの画素列と、第２の画像を構成する１つの画素列とをそれぞれ１箇所で切断して互いにつなぎ合わせる、という比較的単純な処理のみによって実現可能である。
【００１１】
また、この発明の他の態様は、画像の内容の一部が互いに重複する第１の画像と第２の画像とを取得する画像取得手段と、前記第１の画像のうち前記第２の画像と重複する重複領域の一部を所定の切断線で切除した第１の部分画像と、前記第２の画像のうち前記第１の画像と互いの重複領域を重ねたときに前記第１の部分画像と重複する部分を切除した第２の部分画像とを、互いの切断線を一致させてつなぎ合わせることで一体の画像を作成する画像処理手段とを備え、前記切断線が非直線であることを特徴とする画像処理装置である。
【００１２】
このように構成された発明では、上記した画像処理方法の発明と同様に、比較的簡単な画像処理で画像をつなぎ合わせることができ、しかも、その切断線が非直線であるため、画像のつなぎ目を目立ちにくくすることができる。
【００１３】
この画像処理装置において、画像取得手段は、第１の画像および第２の画像を撮像する撮像部と、撮像部による第１の画像および第２の画像の撮像時のそれぞれにおいて露出を最適化する露出調整部とを備えるものであってもよい。このような画像処理装置は撮像装置として機能するものであるが、別々に撮像した第１の画像と第２の画像とをそのつなぎ目を目立たせないようにつなぎ合わせることができるため、第１の画像と第２の画像との間で露出やシャッタースピード等の撮像条件を必ずしも一致させる必要がない。そのため、それぞれの画像に最適な撮像条件を適用して撮像を行うことができるので、品質の良好な画像を作成することが可能である。
【図面の簡単な説明】
【００１４】
【図１】本発明にかかる画像処理装置の一実施形態を用いた印刷システムを示す図。
【図２】この発明にかかる画像処理方法を好適に適用可能な画像の例を示す図。
【図３】この発明にかかる画像処理方法の原理を示す図。
【図４】この実施形態における画像のつなぎ合わせ処理を示すフローチャート。
【図５】画像の切断線の他の例を示す第１の図。
【図６】画像の切断線の他の例を示す第２の図。
【図７】画素単位で見た画像のつなぎ目を模式的に示す図。
【発明を実施するための形態】
【００１５】
図１は、本発明にかかる画像処理装置の一実施形態を用いた印刷システムを示す図である。この印刷システムは、被写体を撮影して画像データを作成する例えばデジタルカメラである撮像装置２００と、デジタルカメラ２００で作成された画像データを編集処理可能な機能を有するパーソナルコンピューター３００と、デジタルカメラ２００またはパーソナルコンピューター３００で編集された画像データに対応する画像を印刷する例えばフォトプリンターである印刷装置１００とを備えている。
【００１６】
デジタルカメラ２００では、同図に示すように、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、ＣＣＤ（Charge Coupled Device）２０４、グラフィックプロセッサー（Graphic Processor；ＧＰ）２０５およびインターフェース（Interface；Ｉ／Ｆ）２０６がバス２０７を介して相互に接続され、これらの間で情報の授受が可能となっている。そして、ＣＰＵ２０１はＲＯＭ２０２に格納されているプログラムに応じて各種演算処理を実行しながらデジタルカメラ２００の制御を行う。このとき一時的に必要となるデータはＲＡＭ２０３に格納される。また、ＣＣＤ２０４は、光学系２０８によって集光された被写体からの光学像を電気信号に変換して出力する。この光学系２０８は、複数のレンズおよびアクチュエータによって構成されており、ＣＰＵ２０１からの制御指令に応じて動作する駆動部２１０がアクチュエータを駆動することによってフォーカス等を調整しながら被写体の光学像を複数のレンズによってＣＣＤ２０４の受光面に結像する。さらに、ＧＰ２０５は、ＣＰＵ２０１から供給される表示命令に基づいて表示用の画像処理を実行し、得られた表示用画像データを液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）２０９に供給して表示させる。
【００１７】
Ｉ／Ｆ２０６はデジタルカメラ２００の入出力機能を提供するものであり、デジタルカメラ２００と外部装置またはユーザーとの間で情報を授受する際に、データの表現形式を適宜変換する装置である。Ｉ／Ｆ２０６には操作ボタン２１１、メディアスロット２１２およびＵＳＢポート２１３が接続されている。操作ボタン２１０には、電源、モード切替え、シャッターなどのボタンや、各種機能を設定できる入力手段があり、これらによってユーザーはデジタルカメラ２００を任意に制御して動作させることが可能となっている。
【００１８】
また、メディアスロット２１３は例えばメモリカードのような外部記録媒体を装着可能に構成されており、該メディアスロット２１３に装着された外部記録媒体からデータを読み出してＩ／Ｆ２０６を介しＣＰＵ２０１等に送出したり、逆にＩ／Ｆ２０６を介してＣＰＵ２０１等から与えられるデータを外部記録媒体に書き込む機能を有する。ＵＳＢポート２１３はＵＳＢコネクタを有しており、該コネクタに接続されたＵＳＢメモリや他の外部装置とデジタルカメラ２００との間でのデータ授受を制御する機能を有する。
【００１９】
パーソナルコンピューター３００はこの種の装置として一般的な構成を有するものであり、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ハードディスクドライブ（Hard Disk Drive；ＨＤＤ）３０４、ＧＰ３０５、Ｉ／Ｆ３０６などを備えており、これらがバス３０７を介して相互に接続されている。ＧＰ３０５には例えば液晶ディスプレイ（ＬＣＤ）からなるモニター３０９が接続される。一方、Ｉ／Ｆ３０６には、マウスやキーボードなどの入力デバイス３１１が接続されるほか、デジタルカメラ２００と同様にメディアスロット３１２、ＵＳＢポート３１３などを備えており、これらの機能はデジタルカメラ２００における対応デバイスと同様である。
【００２０】
印刷装置１００は次のように構成されている。印刷装置１００では、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）１０４、ＧＰ１０５およびＩ／Ｆ１０６がバス１０７を介して相互に接続され、これらの間で情報の授受が可能となっている。ＣＰＵ１０１はＲＯＭ１０２およびＥＥＰＲＯＭ１０４に格納されているプログラムに応じて各種演算処理を実行するとともに印刷装置１００の各部を制御する。また、ＣＰＵ１０１が実行対象とするプログラムやデータについてはＲＡＭ１０３に一時的に格納される一方、印刷装置の電源が切断された後も保持しておくデータ等についてはＥＥＰＲＯＭ１０４に格納される。さらに、ＣＰＵ１０１は必要に応じてＧＰ１０５に対して表示命令を与え、この表示命令に応じてＧＰ１０５が表示用の画像処理を実行し、その処理結果をＬＣＤ１０９に供給して表示させる。
【００２１】
Ｉ／Ｆ１０６は、操作ボタン１１１、メディアスロット１１２、ＵＳＢポート１１３およびプリンターエンジン１１０が接続されており、これらの間およびこれらとＣＰＵ１０１等との間で情報を授受する際に、データの表現形式を適宜変換する機能を有する装置である。印刷装置１００では、操作ボタン１１１は印刷装置１００のメニュー選択等を行う時に押されるように構成されている。また、メディアスロット１１２およびＵＳＢポート１１３は、メモリカード、ＵＳＢメモリ、外部装置などからのデータを受け付ける機能を有する。プリンターエンジン１１０は、ＣＰＵ１０１からの制御指令に応じて所定の印刷動作を実行することにより、メディアスロット１１２またはＵＳＢポート１１３を介して外部から与えられる画像データに対応する画像を記録紙上に印刷する。
【００２２】
上記のように構成された印刷システムを構成する各装置１００，２００，３００の間では、メモリカードやＵＳＢメモリなどの外部記録媒体を介して間接的に、または、ＵＳＢケーブルによって相互に直接接続されることによって、装置間で各種のデータ授受を行うことができる。この場合において、図１にドットを付した矢印で示すように、デジタルカメラ２００とパーソナルコンピューター３００との間、およびパーソナルコンピューター３００と印刷装置１００との間をそれぞれ接続することが可能である。また、同図に斜線を付した矢印で示すように、デジタルカメラ２００と印刷装置１００とを直接接続することも可能である。この意味において、本発明を適用可能な印刷システムとしてパーソナルコンピューターは必須の構成というわけではない。
【００２３】
また、各装置間でのデータの授受方法は上記に限定されるものではなく、例えば装置間が専用ケーブルで接続されたり、有線または無線ＬＡＮ（Local Area Network）によって接続されてもよい。またインターネット等の電気通信回線を介してデータ授受が行われるようにしてもよい。
【００２４】
なお、本実施形態の各装置間で送受される画像データは、公知の標準化されたデータ形式に準拠した形式、例えばＥｘｉｆ（Exchangeable Image File Format）画像ファイル形式とすることが好ましい。このＥｘｉｆ画像ファイルの構造は、基本的には通常のＪＰＥＧ（Joint Photographic Experts Group）画像形式そのものであり、その中にサムネイル画像や撮影関連データ等のデータをＪＰＥＧの規約に準拠した形で埋め込んだものである。
【００２５】
次に、本発明にかかる画像処理方法の具体的態様について説明するが、この画像処理方法は、上記したデジタルカメラ２００、パーソナルコンピューター３００および印刷装置１００のいずれにおいて実行されてもよい。すなわち、デジタルカメラ２００のＲＯＭ２０２に予め記憶された制御プログラムに基づき、ＣＰＵ２０１が以下に説明する本発明の画像処理方法を実行することができる。一方、本発明の画像処理方法を実行するための制御プログラムをパーソナルコンピューター３００のＨＤＤ３０４に記憶しておき、ＣＰＵ３０１が該制御プログラムに基づいて本発明の画像処理方法を実行してもよい。さらに、同制御プログラムを印刷装置１００のＲＯＭ１０２またはＥＥＰＲＯＭ１０４に記憶させておき、ＣＰＵ１０１がこれを実行するようにしてもよい。
【００２６】
図２はこの発明にかかる画像処理方法を好適に適用可能な画像の例を示す図である。同図に示すように、被写体の一部を互いに重複させて撮影した写真画像である原画像Ｉ1およびＩ2をその重複部分を互いに重ねてつなぎ合わせることで一体の（例えば「パノラマ画像」と称される）画像Ｉｓを作成する場合に、本発明の画像処理方法を好適に適用することが可能である。この場合において、最も単純には、例えば図２に一点鎖線で示すように、原画像Ｉ1を画像Ｉ2と重複する重複領域内でまっすぐ切断するとともに、もう１つの原画像Ｉ2を該切断線と対応する位置で切断し、切断線同士を重ねるようにして２つの画像をつなぐことができる。しかしながら、例えば被写体への光の当たり方や露出、シャッタースピード等の撮影条件の差異に起因して、２つの原画像Ｉ1，Ｉ2の間で画像の明るさや色合いに若干の差異が生じている場合があり、このような場合に上記のようなつなぎ合わせ方ではつなぎ目が目立ってしまうという問題がある。
【００２７】
図３はこの発明にかかる画像処理方法の原理を示す図である。図３（ａ）に示すように、画像内容が互いに重複する重複部分Ｉc1，Ｉc2をそれぞれ有する原画像Ｉ1，Ｉ2をつなぎ合わせるケースを考える。なお重複部分の形状や寸法は図示したものに限定されず、任意のものであってよい。ここで、各原画像Ｉ1，Ｉ2については、それぞれ図３（ａ）における左上隅を原点として、横方向（画像の長手方向）をＸ方向、これに直交する縦方向をＹ方向とする。ビットマップ表現された画像データ列においては、Ｘ方向に沿って並ぶ各画素ごとの画素データが順番に配列されるものとする。
【００２８】
図３（ｂ）に示すように、この画像処理方法では、２つの原画像のうちの一方、ここでは原画像Ｉ1における他の原画像Ｉ2との重複部分Ｉc1の一部を所定の切断線Ｌc1により分断し、該切断線Ｌc1により原画像Ｉ1の非重複部分Ｉn1とは分離された部分を切除することで、原画像Ｉ1から該切除部分を除外した部分画像Ｉp1を得る。一方、他方の原画像Ｉ2については、重複部分同士を重ねたときに上記した部分画像Ｉp1と重複することになる部分を、切断線Ｌc2によって切除することで部分画像Ｉp2を得る。したがって、原画像Ｉ1，Ｉ2において互いに重複する重複部分Ｉc1，Ｉc2のうち、一方の部分画像に残された部分は他方の部分画像に含まれないこととなる。また、２つの切断線Ｌc1，Ｌc2は同一形状となる。
【００２９】
そして、図３（ｃ）に示すように、互いの切断線同士を重ねるように２つの部分画像Ｉp1，Ｉp2をつなぎ合わせることにより、２つの原画像Ｉ1，Ｉ2がつなぎ合わされてなる合成画像Ｉｓが作成される。このとき、画像のつなぎ目が非直線であるため、２つの原画像Ｉ1，Ｉ2の間に明るさや色合いの相違があったとしてもそれが目立つことが抑制される。原画像が３枚以上ありそれらをつなぎ合わせる場合においても、上記と同様の原理でつなぎ合わせを行うことが可能である。上記原理に基づき、この実施形態においては、以下のようにして画像の合成（つなぎ合わせ）処理が実行される。
【００３０】
図４はこの実施形態における画像のつなぎ合わせ処理を示すフローチャートである。まず、合成処理の対象となる複数の原画像（合成対象画像）の画像データを取得する（ステップＳ１０１）。ここで、原画像の画像データについては、既に撮像が終了し画像データとして何らかの記録媒体に記録されたものであってもよく、デジタルカメラ２００により新規に撮像されてもよい。
【００３１】
続いて、合成対象画像間で画像内容が互いに共通している重複部分の特定を行う（ステップＳ１０２）。この処理については、いずれかの装置において画像データに基づき画像内容を解析することで自動的に行うようにしてもよいし、例えばパーソナルコンピューター３００のモニター３０９上に、ユーザー操作によって自由に移動可能な状態で合成対象画像を表示させ、ユーザー作業により重複部分を決定させるようにしてもよい。
【００３２】
こうして重複部分が特定されると、該重複部分に対してこれを分断する切断線を設定し（ステップＳ１０３）、設定された切断線で各合成対象画像を切断して部分画像を作成する（ステップＳ１０４）。このとき、前記したように、一方の合成対象画像の部分画像に含まれている部分は他方の合成対象画像の部分画像からは切除するようにする。
【００３３】
そして、こうして得た合成対象画像の部分画像をその切断線同士が重なるようにして結合して合成画像データを作成し（ステップＳ１０５）、得られた合成画像データについては適宜の記憶手段（ＲＡＭ、ＨＤＤ、メモリカード等）に記憶保存する（ステップＳ１０６）。保存された合成画像データについては、パーソナルコンピューター３００によりさらに加工編集したり、印刷装置１００によって画像を記録紙上に印刷することができる。
【００３４】
図５および図６は画像の切断線の他の例を示す図である。上記した原理説明においては、図３（ｂ）に示したように、２つの原画像Ｉ1，Ｉ2の互いに重複する重複部分Ｉc1，Ｉc2をいずれも同一形状のＸ方向を長手方向とする短冊状に分割するような、周期的な繰り返しを有する切断線Ｌc1，Ｌc2を用いた。これは発明の原理の理解を容易にするためであり、実際の画像処理においては、このような一定の周期的パターンによるつなぎ目はその周期性ゆえに目に付きやすい。この問題を解消しつなぎ目を目立ちにくくするためには、以下に例示するように、一定の繰り返しパターンを持たない切断線を用いることが望ましい。
【００３５】
図５（ａ）に示す例では、切断線Ｌc3により重複部分を短冊状に分割する点では上記例と同様であるが、折れ線である切断線Ｌc3を構成する各線分のうちＹ方向成分を有する線分の長さが一定ではなく、したがってＹ方向における各短冊の寸法がランダムな値となっている。また、図５（ｂ）に示す例では、切断線Ｌc4を構成する各線分のうちＸ方向成分を有する線分の長さがランダムになっている。このような切断線で原画像を切断しつなぎ合わせることで、つなぎ目における明るさや色合いの境界が二次元的に分散されるため、つなぎ目が人の目に付きにくくなる。もちろん、図５（ａ）におけるＹ方向のランダムさと、図５（ｂ）におけるＸ方向におけるランダムさとを組み合わせた切断線を用いてもよい。
【００３６】
図６（ａ）に示す例では、切断線Ｌc5が一定の繰り返しパターンを持たない曲線により構成されている。また、図６（ｂ）に示す例では、Ｘ方向、Ｙ方向のいずれにも平行でない線分からなる折れ線により切断線Ｌc6が構成されている。このようなランダムな曲線や折れ線の切断線による画像のつなぎ合わせによっても、つなぎ目を目立たないようにすることが可能である。これ以外にも、例えば折れ線と曲線とが混在する切断線を用いてもよい。
【００３７】
なお、切断線の形状、すなわち２つの画像のつなぎ目の形状については原理的には任意であるが、単純なパターンではつなぎ目が目立ちやすいため、ある程度複雑な形状のパターンであることが望ましい。例えば、切断線を複数の線分を接続してなる折れ線とする場合には、線分の接続点が少なくとも２箇所あることが望ましい。また、切断線を曲線とする場合には、当該曲線を適当な座標平面（例えばＸＹ平面）内の関数曲線とみたときの変曲点が少なくとも２箇所あることが望ましい。
【００３８】
また、合成画像を作成するための画像データ処理の観点からは以下の条件を満たすつなぎ目とすることが好ましい。すなわち、２つの画像のつなぎ目を一方端部から他方端部まで辿ったときに、その全区間においてＹ方向（画素データの配列方向に直交する方向）の座標が単調に減少しまたは単調に増加するようなつなぎ目とすることが望ましい。ここで、Ｙ方向の座標が一定となる区間のあることは許容されるが、減少する区間と増加する区間とが混在することは許容されない。したがってここでいう単調減少および単調増加は、いわゆる広義の単調減少および単調増加を意味する。この点について図７を参照してより詳しく説明する。
【００３９】
図７は画素単位で見た画像のつなぎ目を模式的に示す図である。図７においては、各マス目が１つ１つの画素を表す。また、ドットを付した領域と斜線を付した領域とは、それぞれ合成画像を構成する２つの部分画像Ｉp1，Ｉp2を示しており、両者の境界の太線が原画像の切断線、つまり合成画像におけるつなぎ目を表している。
【００４０】
図７（ａ）に示すように、好ましいつなぎ目を同図の位置Ａから位置Ｂに向かって辿った場合、そのＹ方向位置は広義の単調増加となっている。つまり、図７（ａ）において上向きの区間がない。このような場合、例えば図７（ａ）に一点鎖線矢印で示すように、合成画像におけるＸ方向の画素の列を見ると、当該列における画素は、つなぎ目の位置まで（つなぎ目より左方）は全て部分画像Ｉp1由来の画素である一方、つなぎ目以降（つなぎ目より右方）は全て部分画像Ｉp2由来の画素であり、結局この画素列における２つの部分画像のつなぎ目は１箇所のみである。このような画像のつなぎ合わせは、画素データ列の比較的単純な組み換えによって実現することが可能である。
【００４１】
これに対して、図７（ｂ）に示す比較例では、つなぎ目を同図の位置Ｃから位置Ｄに向かって辿った場合、Ｙ方向の座標位置が増大する（図において下向きの）区間と減少する（図において上向きの）区間とが混在している。例えば位置Ｃから位置Ｅまでの区間ではＹ方向の座標位置が増大する一方、位置Ｆから位置Ｇまでの区間ではＹ方向の座標位置が減少する。このような場合、例えば図７（ｂ）に一点鎖線矢印で示すように、合成画像におけるＸ方向の画素の列を見ると、当該画素列においては、第１の部分画像Ｉp1に属する画素と第２の部分画像Ｉp2に属する画素とが交互に表れる区間が生じる。つまり、当該画素列においては２つの部分画像のつなぎ目が２箇所以上ある。このような画素データ列を得るためのデータ処理は、上記した好ましいケースと比べてより複雑なものとなってしまう。
【００４２】
このことから、画像のつなぎ合わせをより単純な処理で効率よく行うためには、上記したように、画素データの配列方向であるＸ方向に直交するＹ方向において座標位置が広義の単調減少または単調増加となるようなつなぎ目を用いることが好ましい。
【００４３】
以上のように、この実施形態では、画像内容の一部が互いに重複した２つの画像Ｉ1，Ｉ2をつなぎ合わせて一体の画像Ｉｓとする画像処理において、それぞれの画像の重複部分Ｉc1，Ｉc2の一部を非直線である同一形状の切断線Ｌc1，Ｌc2によって切除し、該切断線同士を重ねるようにつなぎ合わせる。こうすることで、２つの画像のつなぎ目の形状は切断線と同様に非直線となって、人目に付きにくくなる。
【００４４】
切断線の形状は折れ線であっても曲線であってもよく、またこれらが混在したものであってもよいが、一定の繰り返しパターンを持たない形状とすることにより、つなぎ目がその規則性により目立ってしまうという問題を回避することができる。また、画素の配列方向において２つの画像のつなぎ目が１箇所のみとなるような切断線を適用することにより、画像をつなぎ合わせるための画像データ処理を単純にすることができる。
【００４５】
上記した画像のつなぎ合わせ処理をデジタルカメラ２００において実施する場合、該デジタルカメラ２００が本発明の「画像処理装置」として機能することとなる。この場合、ＣＰＵ２０１が本発明の「画像処理手段」として機能する一方、ＣＣＤ２０４、光学系２０８およびこれを駆動する駆動部２１０が一体として本発明の「画像取得手段」として機能する。
【００４６】
また、これらを次のように動作させるようにしてもよく、その場合には、特にＣＣＤ２０４が本発明の「撮像部」として機能する一方、光学系２０８および駆動部２１０が本発明の「露出調整部」として機能することとなる。すなわち、当該デジタルカメラ２００において、画像内容の一部を重複させた複数枚の合成対象画像を撮像する際に、各合成対象画像ごとに、駆動部２１０が光学系２０８のアクチュエータを駆動して露出を最適化する。
【００４７】
つなぎ合わせを前提とする複数の画像を連続して撮像する際においては、各画像間で明るさや色合いの差が出ないように、露出やシャッタースピード等の撮像条件を予め揃えておくことも考えられる。しかしながら、このようにした場合、それぞれの画像についての撮像条件が必ずしも最適なものとならないことがある。例えば、先に撮像した画像において最適に調整された条件で後の画像を撮像したとき、例えば被写体への光の当たり方の違いに起因して、後の画像が露出過多もしくは露出不足となって最良の画質が得られないことがある。
【００４８】
一方で、それぞれの画像をそれぞれ最適化された撮像条件で撮像すると、単独での画像の品質は良好であるが、重複部分の明るさや色合いが不揃いとなる。上記のように、この実施形態のつなぎ合わせ技術においてはつなぎ目を目立たせずに画像をつなぎ合わせることができるため、合成対象画像の撮像時には光学系２０８および駆動部２１０により露出をそれぞれ最適化して撮像を行うことが可能である。こうすることで、それぞれ最適化された撮像条件で撮像された画像をつなぎ目を目立たせることなくつなぎ合わせて、画質の良好な一体の画像を得ることができる。
【００４９】
また、上記した画像のつなぎ合わせ処理をパーソナルコンピューター３００において実施する場合には、当該パーソナルコンピューター３００が本発明の「画像処理装置」として機能することとなる。この場合、外部から画像データを受け付けるメディアスロット３１２、ＵＳＢポート３１３、Ｉ／Ｆ３０６等が本発明の「画像取得手段」として機能する一方、ＣＰＵ３０１が本発明の「画像処理手段」として機能する。
【００５０】
また、上記した画像のつなぎ合わせ処理を印刷装置１００において実施する場合には、当該印刷装置１００が本発明の「画像処理装置」として機能することとなる。この場合、外部から画像データを受け付けるメディアスロット１１２、ＵＳＢポート１１３、Ｉ／Ｆ１０６等が本発明の「画像取得手段」として機能する一方、ＣＰＵ１０１が本発明の「画像処理手段」として機能する。
【００５１】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上記したもの以外に種々の変更を行うことが可能である。例えば、合成画像のつなぎ目の形状を決める原画像の切断線のパターンは上記実施形態において例示したものに限定されず種々のものを用いることが可能である。また、合成後の画像においてそれぞれの原画像の重複部分から由来する画素数の比率は特に限定しないが、特別の事情がなければ５０％ずつとすることが好ましい。
【００５２】
また、例えば、上記実施形態では画素データ自体には加工をしていないため、つなぎ目を境界として２つの原画像に由来する画素が明確に区分されるが、つなぎ目の前後において画素データを公知のスムージング処理、例えば移動平均処理によって加工するようにしてもよい。こうすることで、つなぎ目をより目立ちにくくすることができる。この場合でも、画像のＸ方向におけるつなぎ目の位置がＹ方向において分散されているため、スムージング処理はＸ方向、つまり画素データの配列方向についてのみ行えばよいので、比較的単純なデータ処理でも効果的に、つなぎ目を見えなくすることができる。
【００５３】
また、例えば、上記実施形態はデジタルカメラ２００、パーソナルコンピューター３００および印刷装置１００を備えた印刷システムであるが、上記したようにこれらのそれぞれが本発明の「画像処理装置」として機能し得るものであり、いずれかの装置を単体で使用する場合にも本発明を適用することが可能である。また、原画像はデジタルスチルカメラにより撮像されたものに限定されず、例えばムービーカメラで撮影された動画や、スキャナーで読み込まれた画像等の種々の画像を原画像とすることもできる。
【００５４】
また、上記実施形態は、本発明にかかる画像処理方法を実行するための制御プログラムをいずれかの装置に組み込んだ状態のものであるが、上記した処理をコンピューター製品、またはマイクロプロセッサーを組み込んだ装置に実行させるための制御プログラム自体も、本発明の範疇に含まれるものである。
【符号の説明】
【００５５】
１００…印刷装置（画像処理装置）、  １０１…ＣＰＵ（画像処理手段）、  １０６…Ｉ／Ｆ（画像取得手段）、  １１２…メディアスロット（画像取得手段）、  １１３…ＵＳＢポート（画像取得手段）、  ２００…デジタルカメラ（画像処理装置）、  ２０１…ＣＰＵ（画像処理手段）、  ２０４…ＣＣＤ（画像取得手段、撮像部）、  ２０８…光学系（露出調整部）、  ２１０…駆動部（露出調整部）、  ３００…パーソナルコンピューター（画像処理装置）、  ３０１…ＣＰＵ（画像処理手段）、  ３０６…Ｉ／Ｆ（画像取得手段）、  ３１２…メディアスロット（画像取得手段）、  ３１３…ＵＳＢポート（画像取得手段）
【図１】
2012142795.tif 000003
【図２】
2012142795.tif 000004
【図３】
2012142795.tif 000005
【図４】
2012142795.tif 000006
【図５】
2012142795.tif 000007
【図６】
2012142795.tif 000008
【図７】
2012142795.tif 000009