(57)【特許請求の範囲】
【請求項１】
一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報と、これらの画像情報の矩形でなる撮影画面の長辺に係る２方向および短辺に係る２方向の内の１方向を示す撮影方向および上記複数の画像情報の撮影順序に係る情報を含む付随情報と、を記録可能な記録媒体と、
この記録媒体に記録された画像情報の概要を示すインデックス画像を複数同時に表示する表示手段と、
上記付随情報に基づいて、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報に係るインデックス画像にそれ以外の画像情報に係るインデックス画像と識別するための識別表示を行うべく上記表示手段を制御する表示制御手段と、
上記付随情報の撮影方向に係る情報に基づいて、上記複数の画像情報を上記撮影順序の昇順または降順に並び替える並替手段と、
この並替手段により上記昇順または降順に並び替えられた画像情報を、一画像となるように一方向から継ぎ合わせて合成する画像合成手段と、
を具備したことを特徴とする画像合成処理装置。
【請求項２】
上記識別表示はマークであることを特徴とする請求項１に記載の画像合成処理装置。
【請求項３】
上記インデックス画像は周縁にフレームを有して表示され、上記識別表示はこのフレームの色彩もしくは模様またはこれらの結合を上記それ以外の画像情報に係るインデックス画像のフレームと異ならせるものであることを特徴とする請求項１に記載の画像合成処理装置。
【請求項４】
一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報と、これらの画像情報の矩形でなる撮影画面の長辺に係る２方向および短辺に係る２方向の内の１方向を示す撮影方向および上記複数の画像情報の撮影順序に係る情報を含む付随情報と、を記録可能な記録媒体と、
上記付随情報の撮影方向に係る情報に基づいて、上記複数の画像情報を上記撮影順序の昇順または降順に並び替える並替手段と、
この並替手段により上記昇順または降順に並び替えられた画像情報を、一画像となるように一方向から継ぎ合わせて合成する画像合成手段と、
上記一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報の内の少なくとも１つの画像情報を指定するための指示入力手段と、
この指示入力手段の操作に応じて、上記並替手段および画像合成手段による処理が自動的に行われるよう制御する制御手段と、
を具備したことを特徴とする画像合成処理装置。
【請求項５】
上記画像合成手段により継ぎ合わせて合成された画像を表示する表示手段を備えたことを特徴とする請求項４に記載の画像合成処理装置。
【請求項６】
上記画像合成手段による処理は、一画像情報とこれに続く画像情報とを継ぎ合わせて一段階の合成画像とし、さらに処理対象となる画像情報が存在する場合には、この合成画像に次の画像情報を継ぎ合わせて次の段階の合成画像とする順序で行われるものであり、上記表示手段は、各段階における合成画像を表示するものであることを特徴とする請求項５に記載の画像合成処理装置。
【請求項７】
上記記録媒体に記録された画像情報の概要を示すインデックス画像を複数同時に表示する表示手段を備え、上記指示入力手段はこの表示手段による表示を参照しながら操作可能であることを特徴とする請求項４に記載の画像合成処理装置。
【請求項８】
上記制御手段は、上記指示入力手段による一画像情報の指定に応じて、当該一画像情報が属する一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報の全てについて、上記並替手段および画像合成手段による処理が自動的に行われるよう制御するものであることを特徴とする請求項４または請求項７に記載の画像合成処理装置。
【請求項９】
上記制御手段は、上記付随情報に基づき、上記指示入力手段によって指定された一画像情報が属する一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報を判断するものであることを特徴とする請求項８に記載の画像合成処理装置。
【請求項１０】
上記制御手段は、上記指示入力手段による指定に応じて、上記一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報の内の一部のみを、上記並替手段および画像合成手段による処理が自動的に行われる対象とするように制御するものであることを特徴とする請求項４または請求項７に記載の画像合成処理装置。
【請求項１１】
上記制御手段は、上記指示入力手段によって指定された第１の画像情報を、上記並替手段および画像合成手段による自動的な処理において処理対象となる先頭の画像情報とするものであることを特徴とする請求項１０に記載の画像合成処理装置。
【請求項１２】
上記制御手段は、上記指示入力手段によって指定された第２の画像情報を、上記並替手段および画像合成手段による自動的な処理において処理対象となる後尾の画像情報とするものであることを特徴とする請求項１１に記載の画像合成処理装置。
【請求項１３】
上記指示入力手段は、上記並替手段および画像合成手段による自動的な処理の対象となる画像情報の数をさらに指定可能なことを特徴とする請求項１０に記載の画像合成処理装置。
【請求項１４】
上記制御手段は、上記指示入力手段によって指定された画像情報を、上記並替手段および画像合成手段による自動的な処理の対象から外すように制御するものであることを特徴とする請求項４または請求項７に記載の画像合成処理装置。
【請求項１５】
上記制御手段は、上記指示入力手段によって指定された画像情報が、当該一画像情報が属する一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報中の、先頭側の２つおよび後尾側の２つを除く中間部分の画像情報の何れかである場合には、該指定された画像情報よりも先頭側となる一連の画像情報と後尾側となる一連の画像情報とを、新たな２つ以上の処理対象として分割して処理するものであることを特徴とする請求項１４に記載の画像合成処理装置。
【請求項１６】
上記制御手段は、上記指示入力手段によって指定された画像情報を、上記並替手段および画像合成手段による自動的な処理の対象から外すように制御するとともに、その旨を上記記録媒体に記録するべく制御するものであることを特徴とする請求項１４に記載の画像合成処理装置。
【請求項１７】
上記指示入力手段は、上記並替手段および画像合成手段による処理を手動により行うための選択を入力可能であり、
上記制御手段は、この指示入力手段による手動処理の選択操作に応じて、上記並替手段および画像合成手段による処理が手動により行われるよう制御するものであることを特徴とする請求項４または請求項７に記載の画像合成処理装置。
【請求項１８】
上記指示入力手段は、上記並替手段および画像合成手段による手動処理の対象となる画像情報を指定可能であることを特徴とする請求項１７に記載の画像合成処理装置。
【請求項１９】
コンピュータに、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報を継ぎ合わせる処理を行わせる画像合成処理プログラムを記録した記録媒体であって、上記画像合成処理プログラムは、コンピュータに、
画像情報の概要を示すインデックス画像を複数同時に表示させるべく表示手段を制御させ、
上記画像情報の矩形でなる撮影画面の長辺に係る２方向および短辺に係る２方向の内の１方向を示す撮影方向および上記複数の画像情報の撮影順序に係る情報を含む付随情報に基づいて、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報に係るインデックス画像にそれ以外の画像情報に係るインデックス画像と識別するための識別表示を行うべく上記表示手段を制御させ、
上記付随情報の撮影方向に係る情報に基づいて、上記複数の画像情報を上記撮影順序の昇順または降順に並び替えさせ、
上記昇順または降順に並び替えられた画像情報を、一画像となるように一方向から継ぎ合わせて合成させるものであることを特徴とする、
画像合成処理プログラムを記録した記録媒体。
【請求項２０】
コンピュータに、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報を継ぎ合わせる処理を行わせる画像合成処理プログラムを記録した記録媒体であって、上記画像合成処理プログラムは、コンピュータに、
上記画像情報の矩形でなる撮影画面の長辺に係る２方向および短辺に係る２方向の内の１方向を示す撮影方向および上記複数の画像情報の撮影順序に係る情報を含む付随情報の、撮影方向に係る情報に基づいて、上記複数の画像情報を上記撮影順序の昇順または降順に並び替えさせ、
上記昇順または降順に並び替えられた画像情報を、一画像となるように一方向から継ぎ合わせて合成させ、
上記一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報の内の少なくとも１つの画像情報が指定されるのに応じて、上記並べ替えの処理および画像合成の処理が自動的に行われるよう制御させるものであることを特徴とする、
画像合成処理プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像合成処理装置および画像合成処理プログラムを記録した記録媒体、より詳しくは、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報を継ぎ合わせる画像合成処理装置および画像合成処理プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
銀塩カメラにおいては、撮影時にカメラの方向をずらしながら同一の被写体を連続的に撮影し、これらフィルム上に露光された複数の撮影画像からプリントを作成する際に、各画像の重複位置をうまく合わせながら一枚のパノラマプリントを得る技術が知られている。
【０００３】
このような技術をＣＣＤ等の撮像素子を用いた電子的撮像装置に応用したものが開発されていて、例えば本出願人が、特願平９−１５７０８３号において提案したものが挙げられる。
【０００４】
この特願平９−１５７０８３号に記載のものは、パノラマ撮影により撮影された１組の画像に対応する画像情報を記録媒体に記録可能な電子的撮像装置であって、上記パノラマ撮影における上記電子的撮像装置の回転方向に対応する情報を設定する回転方向設定手段と、該回転方向設定手段によって設定された上記回転方向に対応する情報を上記記録媒体に記録する回転方向記録手段と、該記録媒体に記録された上記回転方向に対応する情報に基づいて上記１組のパノラマ画像の配列を制御する制御手段と、該制御手段により配列されたパノラマ画像に対して所定の画像編集を行うための編集情報を表示する表示手段と、該表示手段に表示された編集情報に基づいて所定の編集作業を行うための制御手段とを備えた電子的撮像装置である。
【０００５】
上述したような電子的撮像装置により、一被写体像を構成するために互いに重複する部分を有するように撮影された複数の画像情報は、該電子的撮像装置自体で継ぎ合わせを行って一画像を合成しても良いが、現状では、処理速度や処理プログラムのサイズなどから、パーソナルコンピュータ等のコンピュータ上で行うことが現実的である。
【０００６】
そこで、ユーザが複雑な操作を行う必要なく、こうした画像合成を手軽に行うことができる処理装置や処理プログラムの実現が望まれている。
【０００７】
【発明が解決しようとする課題】
コンピュータ等で画像情報の処理を行う場合に、記録媒体に記録された画像情報をインデックス画像として複数並べてユーザに表示する技術が知られているが、これを単純に画像合成処理装置や画像合成処理プログラムに適用してインデックス画像を並べただけでは、どの画像が継ぎ合わせて合成を行う処理の対象となるのかを直ちに判別することができない。
【０００８】
また、従来の画像合成処理装置や画像合成処理プログラムにおいては、継ぎ合わせて合成を行う処理の対象となる一連の画像情報を一括して簡便に指定する手段については、特に考慮されていなかった。
【０００９】
さらに、電子的撮像装置を画像合成によるパノラマモードに設定してユーザが撮影した後に、パノラマモードの解除を忘れたまま単一コマの撮影を行ってしまう場合があり、従来の画像合成処理装置や画像合成処理プログラムにおいては、このような場合に対処する手段が講じられていなかった。
【００１０】
本発明は上記事情に鑑みてなされたものであり、操作性の良い画像合成処理装置および操作性の向上を図ることが可能な画像合成処理プログラムを記録した記録媒体を提供することを目的としている。
【００１１】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明による画像合成処理装置は、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報とこれらの画像情報の矩形でなる撮影画面の長辺に係る２方向および短辺に係る２方向の内の１方向を示す撮影方向および上記複数の画像情報の撮影順序に係る情報を含む付随情報とを記録可能な記録媒体と、この記録媒体に記録された画像情報の概要を示すインデックス画像を複数同時に表示する表示手段と、上記付随情報に基づいて一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報に係るインデックス画像にそれ以外の画像情報に係るインデックス画像と識別するための識別表示を行うべく上記表示手段を制御する表示制御手段と、上記付随情報の撮影方向に係る情報に基づいて上記複数の画像情報を上記撮影順序の昇順または降順に並び替える並替手段と、この並替手段により上記昇順または降順に並び替えられた画像情報を一画像となるように一方向から継ぎ合わせて合成する画像合成手段とを備えたものである。
【００１２】
また、第２の発明による画像合成処理装置は、上記第１の発明による画像合成処理装置において、上記識別表示がマークである。
【００１３】
さらに、第３の発明による画像合成処理装置は、上記第１の発明による画像合成処理装置において、上記インデックス画像は周縁にフレームを有して表示され、上記識別表示はこのフレームの色彩もしくは模様またはこれらの結合を、上記それ以外の画像情報に係るインデックス画像のフレームと異ならせるものである。
【００１４】
第４の発明による画像合成処理装置は、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報とこれらの画像情報の矩形でなる撮影画面の長辺に係る２方向および短辺に係る２方向の内の１方向を示す撮影方向および上記複数の画像情報の撮影順序に係る情報を含む付随情報とを記録可能な記録媒体と、上記付随情報の撮影方向に係る情報に基づいて上記複数の画像情報を上記撮影順序の昇順または降順に並び替える並替手段と、この並替手段により上記昇順または降順に並び替えられた画像情報を一画像となるように一方向から継ぎ合わせて合成する画像合成手段と、上記一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報の内の少なくとも１つの画像情報を指定するための指示入力手段と、この指示入力手段の操作に応じて上記並替手段および画像合成手段による処理が自動的に行われるよう制御する制御手段とを備えたものである。
【００１５】
第５の発明による画像合成処理装置は、上記第４の発明による画像合成処理装置において、上記画像合成手段により継ぎ合わせて合成された画像を表示する表示手段を備えたものである。
【００１６】
第６の発明による画像合成処理装置は、上記第５の発明による画像合成処理装置において、上記画像合成手段による処理は、一画像情報とこれに続く画像情報とを継ぎ合わせて一段階の合成画像とし、さらに処理対象となる画像情報が存在する場合にはこの合成画像に次の画像情報を継ぎ合わせて次の段階の合成画像とする順序で行われるものであり、上記表示手段は、各段階における合成画像を表示するものである。
【００１７】
第７の発明による画像合成処理装置は、上記第４の発明による画像合成処理装置において、上記記録媒体に記録された画像情報の概要を示すインデックス画像を複数同時に表示する表示手段を備え、上記指示入力手段はこの表示手段による表示を参照しながら操作可能なものである。
【００１８】
第８の発明による画像合成処理装置は、上記第４または第７の発明による画像合成処理装置において、上記制御手段が、上記指示入力手段による一画像情報の指定に応じて、当該一画像情報が属する一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報の全てについて、上記並替手段および画像合成手段による処理が自動的に行われるよう制御するものである。
【００１９】
第９の発明による画像合成処理装置は、上記第８の発明による画像合成処理装置において、上記制御手段が、上記付随情報に基づき、上記指示入力手段によって指定された一画像情報が属する一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報を判断するものである。
【００２０】
第１０の発明による画像合成処理装置は、上記第４または第７の発明による画像合成処理装置において、上記制御手段が、上記指示入力手段による指定に応じて、上記一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報の内の一部のみを、上記並替手段および画像合成手段による処理が自動的に行われる対象とするように制御するものである。
【００２１】
第１１の発明による画像合成処理装置は、上記第１０の発明による画像合成処理装置において、上記制御手段が、上記指示入力手段によって指定された第１の画像情報を、上記並替手段および画像合成手段による自動的な処理において処理対象となる先頭の画像情報とするものである。
【００２２】
第１２の発明による画像合成処理装置は、上記第１１の発明による画像合成処理装置において、上記制御手段が、上記指示入力手段によって指定された第２の画像情報を、上記並替手段および画像合成手段による自動的な処理において処理対象となる後尾の画像情報とするものである。
【００２３】
第１３の発明による画像合成処理装置は、上記第１０の発明による画像合成処理装置において、上記指示入力手段が、上記並替手段および画像合成手段による自動的な処理の対象となる画像情報の数をさらに指定可能なものである。
【００２４】
第１４の発明による画像合成処理装置は、上記第４または第７の発明による画像合成処理装置において、上記制御手段が、上記指示入力手段によって指定された画像情報を、上記並替手段および画像合成手段による自動的な処理の対象から外すように制御するものである。
【００２５】
第１５の発明による画像合成処理装置は、上記第１４の発明による画像合成処理装置において、上記制御手段が、上記指示入力手段によって指定された画像情報が当該一画像情報が属する一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報中の先頭側の２つおよび後尾側の２つを除く中間部分の画像情報の何れかである場合には、該指定された画像情報よりも先頭側となる一連の画像情報と後尾側となる一連の画像情報とを、新たな２つ以上の処理対象として分割して処理するものである。
【００２６】
第１６の発明による画像合成処理装置は、上記第１４の発明による画像合成処理装置において、上記制御手段が、上記指示入力手段によって指定された画像情報を、上記並替手段および画像合成手段による自動的な処理の対象から外すように制御するとともに、その旨を上記記録媒体に記録するべく制御するものである。
【００２７】
第１７の発明による画像合成処理装置は、上記第４または第７の発明による画像合成処理装置において、上記指示入力手段が上記並替手段および画像合成手段による処理を手動により行うための選択を入力可能であり、上記制御手段は、この指示入力手段による手動処理の選択操作に応じて、上記並替手段および画像合成手段による処理が手動により行われるよう制御するものである。
【００２８】
第１８の発明による画像合成処理装置は、上記第１７の発明による画像合成処理装置において、上記指示入力手段が、上記並替手段および画像合成手段による手動処理の対象となる画像情報を指定可能なものである。
【００２９】
第１９の発明による画像合成処理プログラムを記録した記録媒体に記録された画像合成処理プログラムは、コンピュータに、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報を継ぎ合わせる処理を行わせるものであって、画像情報の概要を示すインデックス画像を複数同時に表示させるべく表示手段を制御させ、上記画像情報の矩形でなる撮影画面の長辺に係る２方向および短辺に係る２方向の内の１方向を示す撮影方向および上記複数の画像情報の撮影順序に係る情報を含む付随情報に基づいて一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報に係るインデックス画像にそれ以外の画像情報に係るインデックス画像と識別するための識別表示を行うべく上記表示手段を制御させ、上記付随情報の撮影方向に係る情報に基づいて上記複数の画像情報を上記撮影順序の昇順または降順に並び替えさせ、上記昇順または降順に並び替えられた画像情報を一画像となるように一方向から継ぎ合わせて合成させるものである。
【００３０】
第２０の発明による画像合成処理プログラムを記録した記録媒体に記録された画像合成処理プログラムは、コンピュータに、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報を継ぎ合わせる処理を行わせるものであって、上記画像情報の矩形でなる撮影画面の長辺に係る２方向および短辺に係る２方向の内の１方向を示す撮影方向および上記複数の画像情報の撮影順序に係る情報を含む付随情報の撮影方向に係る情報に基づいて上記複数の画像情報を上記撮影順序の昇順または降順に並び替えさせ、上記昇順または降順に並び替えられた画像情報を一画像となるように一方向から継ぎ合わせて合成させ、上記一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報の内の少なくとも１つの画像情報が指定されるのに応じて上記並べ替えの処理および画像合成の処理が自動的に行われるよう制御させるものである。
【００３１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１から図２６は本発明の一実施形態を示したものであり、図１は画像合成処理装置が適用されるシステムの構成を示す図である。
【００３２】
電子的撮像装置であるデジタルカメラ１は、内蔵するＣＣＤ等の撮像素子により光電変換した画像のデータを、例えばフラッシュメモリ等でなる着脱自在の記録媒体２に記録するものである。
【００３３】
この記録媒体２は、コンピュータとしてのパーソナルコンピュータ３に設けられたリーダ部に装着されて、記録された画像データが読み込まれるようになっている。このパーソナルコンピュータ３には、画像やその他の処理情報を表示するための表示手段たるディスプレイ４と、主として文字入力等を行うための指示入力手段たるキーボード５と、上記ディスプレイ４に表示された画面上の位置を指し示すための同指示入力手段たるマウス６とが接続されている。
【００３４】
さらに、このパーソナルコンピュータ３には、大量の画像データを記録するためのデジタルレコーダ７や、画像の印刷を行うためのプリンタ８などが、必要に応じて接続されるようになっている。
【００３５】
次に、図２を参照して上記パーソナルコンピュータ３の内部構成について説明する。
【００３６】
このパーソナルコンピュータ３は、画像合成処理プログラムに従って画像の継ぎ合わせを行うとともにその他の各種プログラムに応じて各種の演算や制御などを行う並替手段、画像合成手段、制御手段、表示制御手段を兼ねたＣＰＵ１１と、このＣＰＵ１１の作業領域であって上記画像合成処理プログラムがロードされることにより該画像合成処理プログラムを記録した記録媒体となるメインメモリ１２と、例えばハードディスクやフロッピーディスク等でなり上記画像合成処理プログラムを記録した記録媒体たる内部記録媒体１３と、上記デジタルレコーダ７やプリンタ８などの各種の外部機器に接続するための外部ポート１４と、上記ディスプレイ４を接続するインターフェース（以下、ＩＦと略す）１６と、上記キーボード５やマウス６を接続するＩＦ１７と、上記記録媒体２が電気的に接続されるコネクタ１８およびＩＦ１５と、を有して構成されていて、上記ＣＰＵ１１、メインメモリ１２、内部記録媒体１３、外部ポート１４、ＩＦ１５，１６，１７は、バスを介して互いに接続されている。
【００３７】
次に、図３は上記記録媒体２に記録されるデータの構成を示す図である。
【００３８】
上記デジタルカメラ１により撮影された画像データは、例えば圧縮等の処理を施した後に、記録媒体２にファイル単位で記録されるようになっていて、該記録媒体２にはこれらの画像ファイルの位置を示すファイル位置テーブルが設けられている。
【００３９】
なお、上記記録媒体２は、汎用のものであっても良いが、パノラマ撮影用に設けられた専用のものであっても良い。
【００４０】
上記画像ファイルは、画像データ（画像情報）と、この画像データに係る各種の情報を含んでなる付随情報たるヘッダ情報とを有して構成されている。
【００４１】
このヘッダ情報は、画像ファイルのファイル名と、各撮影毎に割り振られるコマ番号と、撮影日時と、デジタルカメラ１が有する各種の撮影モードの内のどのモードでそのコマが撮影されたかを示す撮影モード情報と、後述する識別情報と、上記画像データの概要を示すインデックス表示等に用いるためのインデックス画像データと、を含んで構成されている。
【００４２】
上記識別情報は、互いに重複部分または隣接部分を有して撮影された複数コマの画像データを継ぎ合わせてパノラマ画像を構成する際に用いられる情報であり、例えば２バイトのデータで構成されている。すなわち、該識別情報の１バイト目は、上記デジタルカメラ１による撮影方向、つまり一パノラマ画像を構成する複数のコマがどの方向に撮影されたかを示す情報が格納されており、該デジタルカメラ１の矩形でなる撮影画面の長辺側の２方向（左右方向）および短辺側の２方向（上下方向）の合計４方向の情報が含まれている。具体的には、長辺側の右方向のとき「１」、長辺側の左方向のとき「２」、短辺側の上方向のとき「３」、短辺側の下方向のとき「４」のデータがそれぞれ記録される。
【００４３】
次に、上記識別情報の２バイト目は、そのコマの画像データが、複数コマの画像データで構成されるパノラマ画像において何番目に撮影されたかを示す情報であり、撮影順序に応じて１から順に割り振られるようになっている。
【００４４】
なお、各コマがパノラマ画像の一部であるか否かは、この識別情報の有無により判断することができるようになっている。
【００４５】
図４はパーソナルコンピュータ３により実行される画像合成処理プログラムのメインルーチンを示すフローチャートである。
【００４６】
なお、このメインルーチンや後述するサブルーチンを含む画像合成処理プログラムは、上述したように、内部記録媒体１３に記録されており、実行時にはメインメモリ１２にロードされて、上記ＣＰＵ１１により順次処理されるようになっている。そして、該画像合成処理プログラムは、上記内部記録媒体１３に記録可能なサイズかつ上記メインメモリ１２にロード可能なサイズとなるようにプログラミングされたものである。
【００４７】
この処理は、ユーザがマウス６やキーボード５を操作して、インデックス画像表示の処理を起動する（ステップＳ１）ことにより開始される。すなわち、内部記録媒体１３に記録されている該画像合成処理プログラムがメインメモリ１２にロードされて、ＣＰＵ１１により順次実行される。
【００４８】
まず、後述するような画像インデックスが表示されるとともに、継ぎ合わせて画像合成を行う対象のコマを、その他の単一撮影のコマ等に対して容易に判別することができるような表示を行う（ステップＳ２）。
【００４９】
そして、ユーザが対象コマの何れかを選択すると（ステップＳ３）、上記識別情報に基づいてその対象コマを含むパノラマ画像を構成する全ての対象コマが自動的に検出されて（ステップＳ４）、上記デジタルカメラ１による撮影状態に対応した後述するような１２個の各ケースに応じて自動的に画像データを継ぎ合わせて一のパノラマ画像を合成する処理を行い（ステップＳ５）、継ぎ合わせた結果の画像を表示する（ステップＳ６）。
【００５０】
その後、自動的に継ぎ合わされた画像ではユーザが満足できない場合には、さらに手動で継ぎ合わせる処理を選択することができるようになっていて、この手動処理が選択されたか否かを判断し（ステップＳ７）、選択されていない場合にはそのまま、選択された場合には後述する手動処理を行ってから（ステップＳ８）、終了する。
【００５１】
図５は、上記図４におけるステップＳ２の表示判別処理の詳細を示すフローチャートである。
【００５２】
この表示判別処理が開始されると、画像ファイルを構成するデータの内のヘッダ情報をまず読み込む（ステップＳ１１）。
【００５３】
そして、ヘッダ情報内の識別情報の１バイト目が１以上４以下であるか否かを判断することにより、その画像データがパノラマ画像を構成するものであるかを判断する（ステップＳ１２）。
【００５４】
ここで識別情報の１バイト目が１以上４以下である場合には、図６または図７に例示するような表示を行う（ステップＳ１３）。
【００５５】
図６は画像の背景（フレーム）の表示色を変化させて識別表示とする例である。
【００５６】
画像インデックスの画面２１内には、各コマを表示する領域２２が複数配列されていて、この領域２２内に各コマの画像２４が表示され、その周縁はフレーム２３となっている。
【００５７】
この図６の例では、上段の２コマ目および３コマ目が第１の継ぎ合わせ用画像の組であり、下段の４コマ目および５コマ目が第２の継ぎ合わせ用画像の組となっていて、その背景（フレーム）の表示色を変化させることにより、これらの画像がパノラマ画像を構成するものである旨を表示している。
【００５８】
なお、ここでは色彩を変化させているが、フレームの模様を変化させても良いし、あるいは色彩および模様の双方を変化させて、その他の画像と識別可能となるようにしても良い。
【００５９】
また、図７はフレームにマークを表示して識別表示とする例である。
【００６０】
この例では、対象となるフレームの例えば右下にマーク２５を表示させることにより、これらの画像がパノラマ画像を構成するものである旨を表示するようになっている。
【００６１】
このステップＳ１３が終了するか、あるいは上記ステップＳ１２において識別情報の１バイト目が１未満または４より大きいときには、次のコマ（次のヘッダ情報）があるか否かを判定し（ステップＳ１４）、ある場合には上記ステップＳ１１に戻って次のコマに対して同様の処理を繰り返す。また、このステップＳ１４において次のコマがない場合には、この処理を抜ける。
【００６２】
図８は上記図４のステップＳ４における対象画像自動検出の処理を示すフローチャートである。
【００６３】
この処理は、一パノラマ画像を構成する複数コマの画像の内の何れが選択されても、全ての処理対象のコマを適切に判別するものである。
【００６４】
ユーザが上記キーボード５またはマウス６により、画像インデックス内から１コマの画像をポイントして選択することにより（ステップＳ２１）、この処理が始まる。
【００６５】
そして、メニューまたはアイコンなどにより、ユーザが継ぎ合わせ処理モードを起動する（ステップＳ２２）。なお、このステップＳ２２と上記ステップＳ２１は順序を入れ替えて処理することも可能である。
【００６６】
まず、ヘッダ情報内の識別情報の１バイト目が１以上４以下であるか否かを判断することにより、その画像データがパノラマ画像を構成するものであるかを確認し（ステップＳ２３）、パノラマ画像を構成するものでない場合にはそのままこの処理を抜ける。
【００６７】
一方、パノラマ画像を構成する画像であることが確認された場合には、識別情報の１バイト目を記憶領域Ａに格納し、識別情報の２バイト目を記憶領域Ｂおよび記憶領域Ｃにそれぞれ格納し、コマ番号（画像順番）を記憶領域Ｐに格納する（ステップＳ２４）。
【００６８】
そして、現在のコマを継ぎ合わせ対象画像として記録してから（ステップＳ２５）、次のコマのヘッダ情報を読み込み（ステップＳ２６）、読み込みが成功したか否かを判断する（ステップＳ２７）。このステップＳ２７は、次のコマがあるか否かを判定するものであり、次のコマがあれば読み込みを行うことができ、現コマが最終コマで次にはコマがもう存在しない場合には、読み込みが不成功となる。
【００６９】
読み込みが成功した場合には、識別情報の１バイト目が上記記憶領域Ａに格納された値と等しくかつ識別情報の２バイト目が上記記憶領域Ｃに格納された値に１を加算した値と等しいか否かを判定する（ステップＳ２８）。これにより、同一のパノラマ画像を構成するコマで、かつ連続する次のコマであるか否かを判断する。
【００７０】
この条件が成立する場合には、上記記憶領域Ｃに格納される値をインクリメントし（ステップＳ２９）、上記ステップＳ２５に戻る。
【００７１】
また、上記ステップＳ２７において読み込みが不成功であるか、あるいは上記ステップＳ２８の条件が成立しない場合には、記憶領域Ｂに格納された値を記憶領域Ｃにコピーし（ステップＳ３０）、上記記憶領域Ｐに格納されているコマ番号よりも一つ小さい値のコマ番号のヘッダ情報、つまり１コマ前のコマのヘッダ情報を読み込む（ステップＳ３１）。
【００７２】
そして、読み込みが成功したか否かを判断し（ステップＳ３２）、成功した場合には識別情報の１バイト目が上記記憶領域Ａに格納された値と等しくかつ識別情報の２バイト目が上記記憶領域Ｃに格納された値から１を減算した値と等しいか否かを判定する（ステップＳ３３）。これにより、同一のパノラマ画像を構成するコマで、かつ連続する前のコマであるか否かを判断する。
【００７３】
この条件が成立する場合には、上記記憶領域Ｃに格納される値をデクリメントし（ステップＳ３４）、継ぎ合わせ対象画像として記録して（ステップＳ３５）、次のコマのヘッダ情報を読み込んで（ステップＳ３６）、上記ステップＳ３２に戻る。
【００７４】
また、上記ステップＳ３２において読み込みが不成功であるか、あるいは上記ステップＳ３３の条件が成立しない場合には、記録されている継ぎ合わせ対象画像の枚数が２以上であるかを判断し（ステップＳ３７）、２に達しない場合には画像合成を行うことができないために、その旨のメッセージをダイアログボックス等によってユーザに表示して（ステップＳ３８）、この処理を抜ける。
【００７５】
また、記録されている継ぎ合わせ対象画像の枚数が２以上である場合には、上記記憶領域Ａに格納されている値に基づいて、後述するような自動継ぎ合わせを行うための各ケース毎の処理に分岐する（ステップＳ３９）。
【００７６】
次に、図９は上記各ケースにおいて行われる継ぎ合わせ処理の基本的なアルゴリズムを示したものであり、図１０を参照しながら説明する。
【００７７】
なお、後で各ケース毎に説明するように、継ぎ合わせ処理が行われる前の段階において、並替手段であるＣＰＵ１１により、パノラマ画像を構成する複数コマの画像情報が、上記識別情報に基づいて、図１０の最上段に示すように左から右に向かう所定の順序に並べ替えられるようになっている。
【００７８】
この継ぎ合わせ処理が始まると、まず、左から１枚目の画像（図１０の画像１）を読み込むとともに（ステップＳ４１）、その次の右画像（図１０の画像２）を読み込んで（ステップＳ４２）、これら２枚の画像について継ぎ合わせ演算処理を行い（ステップＳ４３）、図１０に示すような結果画像１を得る。
【００７９】
次に、次の右画像はまだあるか否かを判断し（ステップＳ４４）、ある場合には上記処理した結果画像１を左画像として（ステップＳ４５）、上記ステップＳ４２に戻り続く右側画像の継ぎ合わせ処理を行う。
【００８０】
また、上記ステップＳ４４において、右画像がもうないと判断される場合には、この処理を抜ける。
【００８１】
このように、この継ぎ合わせ処理においては、左側から画像を２枚ずつ順次継ぎ合わせて、最終的なパノラマ画像を得るようになっている。なお、図１０に示すような各段階における結果画像、つまり結果画像１，結果画像２…は、その段階毎にディスプレイ４に表示させるようにして、処理状態をユーザが把握し易いようにしている。
【００８２】
続いて、図１１から図２２を参照して、上記図４のステップＳ５における各ケース毎の自動処理について説明する。
【００８３】
図１１は、ケース１において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャートである。
【００８４】
このケース１は、デジタルカメラ１を把持する右手が右となるような横位置に構えて、被写体を左側から右側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における長辺側の右方向に向けて撮影が行われるために識別コード（識別情報と同じ、以下同様）の１バイト目は１となり、識別コードの２バイト目は左から右に向かって昇順となる。
【００８５】
従って、このケース１では、図１１（Ｂ）に示すように、上記図９に示した継ぎ合わせ処理をそのまま行って（ステップＳ５１）、リターンする。
【００８６】
次に図１２は、ケース２において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャートである。
【００８７】
このケース２は、デジタルカメラ１を把持する右手が右となるような横位置に構えて、被写体を右側から左側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における長辺側の左方向に向けて撮影が行われるために識別コードの１バイト目は２となり、識別コードの２バイト目は右から左に向かって昇順となる。
【００８８】
従って、このケース２では、図１２（Ｂ）に示すように、まず識別情報の２バイト目が降順となるように画像データを並べ替えて（ステップＳ５２）、その後、上記図９に示した継ぎ合わせ処理を行って（ステップＳ５３）、リターンする。
【００８９】
図１３は、ケース３において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャートである。
【００９０】
このケース３は、デジタルカメラ１を把持する右手が下となるような縦位置に構えて、被写体を左側から右側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における短辺側の上方向に向けて撮影が行われるために識別コードの１バイト目は３となり、識別コードの２バイト目は左から右に向かって昇順となる。
【００９１】
従って、このケース３では、図１３（Ｂ）に示すように、まず全ての処理対象画像を時計回りに９０度回転して（ステップＳ５４）、その後、上記図９に示した継ぎ合わせ処理を行って（ステップＳ５５）、リターンする。
【００９２】
図１４は、ケース４において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャートである。
【００９３】
このケース４は、デジタルカメラ１を把持する右手が下となるような縦位置に構えて、被写体を右側から左側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における短辺側の下方向に向けて撮影が行われるために識別コードの１バイト目は４となり、識別コードの２バイト目は右から左に向かって昇順となる。
【００９４】
従って、このケース４では、図１４（Ｂ）に示すように、まず全ての処理対象画像を時計回りに９０度回転し（ステップＳ５６）、識別情報の２バイト目が降順となるように画像データを並べ替えて（ステップＳ５７）、その後、上記図９に示した継ぎ合わせ処理を行い（ステップＳ５８）、リターンする。
【００９５】
本実施形態では、上記図１１から図１４までに示したケース１からケース４を基本ケースとして、その他のケースを変形ケースとし、これらの基本ケースに帰着させるように処理している。
【００９６】
図１５は、ケース５において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャートである。
【００９７】
このケース５は、デジタルカメラ１を把持する右手が上となるような縦位置に構えて、被写体を下側から上側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における長辺側の右方向に向けて撮影が行われるために識別コードの１バイト目は１となり、識別コードの２バイト目は下から上に向かって昇順となる。
【００９８】
従って、このケース５では、図１５（Ｂ）に示すように、まず上記図９に示した継ぎ合わせ処理を行い（ステップＳ５９）、その後、結果画像を反時計回りに９０度回転して（ステップＳ６０）、リターンする。ここに、ステップＳ５９の処理は、基本ケースの１つである上記ケース１処理の内容と同じであり、ステップＳ６０の処理は結果画像を見たユーザが行うことになる。
【００９９】
図１６は、ケース６において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャートである。
【０１００】
このケース６は、デジタルカメラ１を把持する右手が上となるような縦位置に構えて、被写体を上側から下側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における長辺側の左方向に向けて撮影が行われるために識別コードの１バイト目は２となり、識別コードの２バイト目は上から下に向かって昇順となる。
【０１０１】
従って、このケース６では、図１６（Ｂ）に示すように、まず識別情報の２バイト目が降順となるように画像データを並べ替えて（ステップＳ６１）、上記図９に示した継ぎ合わせ処理を行い（ステップＳ６２）、その後、結果画像を反時計回りに９０度回転して（ステップＳ６３）、リターンする。ここに、ステップＳ６１およびステップＳ６２の処理は、基本ケースの１つである上記ケース２処理の内容と同じであり、ステップＳ６３の処理は結果画像を見たユーザが行うことになる。
【０１０２】
図１７は、ケース７において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャートである。
【０１０３】
このケース７は、デジタルカメラ１を把持する右手が下となるような縦位置に構えて、被写体を下側から上側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における長辺側の左方向に向けて撮影が行われるために識別コードの１バイト目は２となり、識別コードの２バイト目は下から上に向かって昇順となる。
【０１０４】
従って、このケース７では、図１７（Ｂ）に示すように、まず識別情報の２バイト目が降順となるように画像データを並べ替えて（ステップＳ６４）、上記図９に示した継ぎ合わせ処理を行い（ステップＳ６５）、その後、結果画像を時計回りに９０度回転して（ステップＳ６６）、リターンする。ここに、ステップＳ６４およびステップＳ６５の処理は、基本ケースの１つである上記ケース２処理の内容と同じであり、ステップＳ６６の処理は結果画像を見たユーザが行うことになる。
【０１０５】
図１８は、ケース８において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャートである。
【０１０６】
このケース８は、デジタルカメラ１を把持する右手が下となるような縦位置に構えて、被写体を上側から下側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における長辺側の右方向に向けて撮影が行われるために識別コードの１バイト目は１となり、識別コードの２バイト目は上から下に向かって昇順となる。
【０１０７】
従って、このケース８では、図１８（Ｂ）に示すように、まず上記図９に示した継ぎ合わせ処理を行い（ステップＳ６７）、その後、結果画像を時計回りに９０度回転して（ステップＳ６８）、リターンする。ここに、ステップＳ６７の処理は、基本ケースの１つである上記ケース１処理の内容と同じであり、ステップＳ６８の処理は結果画像を見たユーザが行うことになる。
【０１０８】
図１９は、ケース９において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャートである。
【０１０９】
このケース９は、デジタルカメラ１を把持する右手が右となるような横位置に構えて、被写体を下側から上側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における短辺側の上方向に向けて撮影が行われるために識別コードの１バイト目は３となり、識別コードの２バイト目は下から上に向かって昇順となる。
【０１１０】
従って、このケース９では、図１９（Ｂ）に示すように、まず全ての処理対象画像を時計回りに９０度回転し（ステップＳ６９）、上記図９に示した継ぎ合わせ処理を行い（ステップＳ７０）、その後、結果画像を反時計回りに９０度回転して（ステップＳ７１）、リターンする。ここに、ステップＳ６９およびステップＳ７０の処理は、基本ケースの１つである上記ケース３処理の内容と同じであり、ステップＳ７１の処理は結果画像を見たユーザが行うことになる。
【０１１１】
図２０は、ケース１０において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャートである。
【０１１２】
このケース１０は、デジタルカメラ１を把持する右手が右となるような横位置に構えて、被写体を上側から下側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における短辺側の下方向に向けて撮影が行われるために識別コードの１バイト目は４となり、識別コードの２バイト目は上から下に向かって昇順となる。
【０１１３】
従って、このケース１０では、図２０（Ｂ）に示すように、まず全ての処理対象画像を時計回りに９０度回転し（ステップＳ７２）、識別情報の２バイト目が降順となるように画像データを並べ替えて（ステップＳ７３）、上記図９に示した継ぎ合わせ処理を行い（ステップＳ７４）、その後、結果画像を反時計回りに９０度回転して（ステップＳ７５）リターンする。ここに、ステップＳ７２からステップＳ７４の処理は、基本ケースの１つである上記ケース４処理の内容と同じであり、ステップＳ７５の処理は結果画像を見たユーザが行うことになる。
【０１１４】
図２１は、ケース１１において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャートである。
【０１１５】
このケース１１は、デジタルカメラ１を把持する右手が上となるような縦位置に構えて、被写体を左側から右側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における短辺側の下方向に向けて撮影が行われるために識別コードの１バイト目は４となり、識別コードの２バイト目は左から右に向かって昇順となる。
【０１１６】
従って、このケース１１では、図２１（Ｂ）に示すように、まず全ての処理対象画像を時計回りに９０度回転し（ステップＳ７６）、識別情報の２バイト目が降順となるように画像データを並べ替えて（ステップＳ７７）、上記図９に示した継ぎ合わせ処理を行い（ステップＳ７８）、その後、結果画像を１８０度回転して（ステップＳ７９）、リターンする。ここに、ステップＳ７６からステップＳ７８の処理は、基本ケースの１つである上記ケース４処理の内容と同じであり、ステップＳ７９の処理は結果画像を見たユーザが行うことになる。
【０１１７】
図２２は、ケース１２において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャートである。
【０１１８】
このケース１２は、デジタルカメラ１を把持する右手が上となるような縦位置に構えて、被写体を右側から左側に向かって順に複数枚に分けて撮影したときの場合である。このときには、撮影画面における短辺側の上方向に向けて撮影が行われるために識別コードの１バイト目は３となり、識別コードの２バイト目は右から左に向かって昇順となる。
【０１１９】
従って、このケース１２では、図２２（Ｂ）に示すように、まず全ての処理対象画像を時計回りに９０度回転し（ステップＳ８０）、上記図９に示した継ぎ合わせ処理を行って（ステップＳ８１）、その後、結果画像を１８０度回転して（ステップＳ８２）、リターンする。ここに、ステップＳ８０およびステップＳ８１の処理は、基本ケースの１つである上記ケース３処理の内容と同じであり、ステップＳ８２の処理は結果画像を見たユーザが行うことになる。
【０１２０】
上述したように、撮影時の状態は１２個に分別されるが、ユーザの操作による処理部分を除いては、全て４つの基本ケースに帰着されることがわかる。そして、どの基本ケースが適用されるかは、識別コードの１バイト目の値に応じて、つまり、１バイト目が１であればケース１の処理、２であればケース２の処理、３であればケース３の処理、４であればケース４の処理がそれぞれ自動的に行われることになる。
【０１２１】
さらに、これらの４つの基本ケースの何れにおいても同一のアルゴリズムによる図９の継ぎ合わせ処理を行っているために、極めてコンパクトで効率の良い処理プログラムとなっている。
【０１２２】
なお、上述では各ケース処理の内の一部をユーザの操作により行っているが、デジタルカメラ１に重力センサ等を設けてカメラの撮影姿勢を検出するか、あるいは該デジタルカメラ１に角速度センサ等を設けて回転角度および回転方向を検出し、検出した情報を画像ファイルのヘッダ情報として加えるようにすれば、ユーザの操作によることなく自動的に行うことも可能となる。
【０１２３】
次に、図２３は、上記図４のステップＳ８における手動処理の内容を主として表示画面の様子により示すフローチャートである。
【０１２４】
上述したような自動処理により継ぎ合わせた結果画像３２は、上記図４のステップＳ６において、画面３１内に表示される。この画面３１には、さらに、この結果画像３２を見たユーザがその結果に満足した際に該結果画像３２を確定するための継ぎ合わせＯＫボタン３３と、ユーザが満足せず手動による再処理を行う際に操作する手動ボタン３４と、この処理を抜けるための処理終了ボタン３５とが、上記マウス６やキーボード５等により操作可能に表示されている。
【０１２５】
この状態で上記手動ボタン３４を操作すると（ステップＳ９１）、上記図１０に示したような順序で画像の継ぎ合わせを手動により行うために、まず第１の画像（画像１）３６と第２の画像（画像２）３７が画面３１内に表示される。さらに、このときの画面３１には、これら第１の画像３６と第２の画像３７の一致させる部分を示すための位置合せ用指標３６ａ，３７ａを指定するよう促すメッセージ３８が表示される。また、この画面３１では、上記処理終了ボタン３５と、次の処理に進むための実行ボタン３９とが表示されている。
【０１２６】
位置合せ用指標３６ａ，３７ａを指定した後に実行ボタン３９を操作すると（ステップＳ９２）、これら位置合せ用指標３６ａ，３７ａが合致するような手動継ぎ合わせ処理の演算が上記ＣＰＵ１１により行われる（ステップＳ９３）。
【０１２７】
そして、この継ぎ合わせを行った結果画像４０が画面３１に表示されるとともに、さらに続いて継ぎ合わせを行う対象の画像データ（例えば図中の第３の画像４１）がある場合には、それも表示する。このとき、画像が長くなって同時に表示することができない場合には、スライド操作することによって表示位置を変更することができるスライドバー４２が表示されるようになっている。また、この画面３１においては、上記継ぎ合わせＯＫボタン３３と、処理終了ボタン３５が表示されるとともに、ユーザがこの手動による第１の画像３６と第２の画像３７の継ぎ合わせ結果が気に入らず、もう一度継ぎ合わせを行いたい場合に操作する戻るボタン４３が表示されている。
【０１２８】
この戻るボタン４３が操作された場合には（ステップＳ９４）、上記ステップＳ９２に処理に戻って手動による継ぎ合わせ処理をやり直すことができる。
【０１２９】
上述したような継ぎ合わせ処理の対象となる画像は、上記デジタルカメラ１におけるパノラマ撮影時に指定されるが、これをパーソナルコンピュータ３側で解除することも可能である。
【０１３０】
図２４は上述のような継ぎ合わせ処理の対象解除を行うときの画面の様子を示す図である。
【０１３１】
上述した図６と同様に、上段の２コマ目および３コマ目が第１の継ぎ合わせ用画像の組であり、下段の４コマ目および５コマ目が第２の継ぎ合わせ用画像の組となっている状態において、上段の２コマ目を解除しようとする場合には、まずこの２コマ目をマウス６やキーボード５等により指定する。このとき、指定した画像のフレーム２３は、継ぎ合わせ対象の画像とはさらに異なる背景色となって、指定されていることが簡単に視認できるようになっている。
【０１３２】
そして、メニューの中の画像に関するプルダウンメニュー２６からパノラマ解除の項目２６ａを選択することにより、該上段の２コマ目が継ぎ合わせ処理の対象から解除される。
【０１３３】
このときに、上段の３コマ目は継ぎ合わせの対象を自ずから失うために、これを判断して該上段の３コマ目についても自動的に対象解除を行うようにしても良いし、あるいは、その他の処理に用いる可能性がある場合には、上段の３コマ目については対象解除を行わず、そのままにしておいても良い。
【０１３４】
図２５は、例えば上段の１コマ目から５コマ目までが一パノラマ画像を構成する画像データである場合に、その途中の３コマ目の対象解除を行うときの画面の様子を示す図である。
【０１３５】
この場合には、上段の１コマ目と２コマ目は連続した画像であるためにこれらから新しい継ぎ合わせ画像を構成することができ、上段の４コマ目と５コマ目も同様に連続した画像であるために新しい継ぎ合わせ画像を構成することができる。
【０１３６】
こうして、１つの長いパノラマ画像の一部を対象解除することにより、残りの部分から複数のパノラマ画像を構成することが可能となる。
【０１３７】
なお、この例のように１つの長いパノラマ画像を２つ以上に分割しようとする場合には、対象解除をするのは最初の２コマおよび最後の２コマを除く中間部分の画像データについてとなる。なぜならば、両端のコマを対象解除してもパノラマ画像の範囲が縮まるだけであり、両端の１つ内側のコマを対象解除しても、その外側である両端のコマは単一のコマとなってパノラマ画像を構成する対象とはならないからである。
【０１３８】
図２６は、上記図２５と同様に例えば上段の１コマ目から５コマ目までが一パノラマ画像を構成する画像データである場合に、一部を対象解除することで、継ぎ合わせの対象を限定するときの画面の様子を示す図である。
【０１３９】
すなわち、上段の１コマ目および２コマ目を継ぎ合わせの対象から解除することにより、残る上段の３コマ目から５コマ目のみが継ぎ合わせの対象となって、一パノラマ画像を構成するものである。
【０１４０】
なお、上述したような継ぎ合わせ処理の対象解除は、メインメモリ１２上にロードされているインデックス画像データを含むヘッダ情報の部分についてのみ行って、記録媒体２や内部記録媒体１３に記録されている情報は変更しないようにしても良い。この場合には、これら記録媒体２や内部記録媒体１３の画像ファイルを再度読み込むと、再び対象解除が行われていない画像インデックスが表示されることになる。
【０１４１】
あるいは、対象解除を行った結果を記録媒体２や内部記録媒体１３に書き込むように、ＣＰＵ１１により制御させても良い。この場合には、これら記録媒体２や内部記録媒体１３の画像ファイルを再度読み込むと、対象解除を行った状態の画像インデックスが表示されることになる。
【０１４２】
さらには、対象解除をまずメインメモリ１２上の情報についてのみ行い、その後、その結果を書き込むか否かをユーザが選択することができるようにすればなお良い。
【０１４３】
なお、上述ではパノラマ画像を構成する複数のコマの内の一部のみを継ぎ合わせ処理の対象とするために、所望のコマを対象から解除する手段を用いたが、これに限るものではなく、例えば、上記マウス６やキーボード５により処理対象の先頭コマや後尾コマを指定させる手段を用いても良いし、あるいは処理対象のコマ数を指定することができるようにしても良い。
【０１４４】
また、手動処理においても対象となるコマをユーザーが所望に指定することができるようにするとなお良い。
【０１４５】
そして、上述では指示入力手段としてマウスやキーボードを例に挙げたが、むろんこれらに限定されるものではなく、種々の手段を広く適用することが可能である。
【０１４６】
このような実施形態によれば、画像ファイルのヘッダ情報として識別情報を設けたために、どの画像が継ぎ合わせの対象となっているかを判別することができ、さらに、該識別情報内の撮影方向や撮影順序の情報に基づいて、ケース毎に用意されている複数の処理を選択し、自動的に継ぎ合わせ処理を行うことが可能となる。
【０１４７】
また、撮影方向や撮影順序に対応する複数のケースについて、基本的な幾つかの処理ケースと、その他の処理ケースとに分類して、基本的な処理ケースをその他の処理ケースの一部にそのまま適用可能としているために、画像合成処理プログラムの軽量化および高速化を図ることができ、メインメモリや内部記録媒体等を占有する容量を減少させることができる。
【０１４８】
さらに、継ぎ合わせ処理の基本的なアルゴリズムは全て同一のものを用いているために、より一層の画像合成処理プログラムの軽量化および高速化を図ることが可能となる。
【０１４９】
そして、画像合成処理プログラムをプログラミングする際にも、コーディングおよびデバッグを行う時間を短縮することができ、開発効率が向上する。
【０１５０】
また、画像インデックスを表示するときには、継ぎ合わせ処理の対象となる画像について、自動的にフレームの色や模様を変化させたりマークを表示させたりしているために、ユーザが一目で処理対象の画像を識別することができる。
【０１５１】
そして、処理対象の画像を１つ指定するだけで、一のパノラマ画像を構成するその他の処理対象の画像を自動的に検出するために、操作が簡便になって効率を向上させることができるとともに、ユーザが選択を誤るなどを防ぐことが可能となる。
【０１５２】
ユーザが自動的な継ぎ合わせ処理の結果に満足しない場合や、自動的な継ぎ合わせでは良好な処理が行えない場合には、手動による処理に移行することができるために、操作の自由度が高まる。
【０１５３】
加えて、継ぎ合わせ対象となっている画像を、その対象から外すことが可能であるために、ユーザがパノラマモードにより撮影をして、その後、パノラマモードの解除を忘れたまま撮影を行った場合にも、パーソナルコンピュータでの処理時に任意に対象解除を行えば、柔軟に対応することができる。
【０１５４】
また、継ぎ合わせ対象となる複数の画像の内の途中の画像を処理対象から外すことにより、その画像の前の複数の画像を継ぎ合わせ対象としたパノラマ画像を構成するとともに、該画像の後の複数の画像を継ぎ合わせ対象としたパノラマ画像を構成することができ、分割継ぎ合わせ処理が可能となる。
【０１５５】
なお、本発明は上述した各実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【０１５６】
【発明の効果】
以上説明したように請求項１による本発明の画像合成処理装置によれば、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報に係るインデックス画像を、それ以外の画像情報に係るインデックス画像と容易に識別することができ、操作性が向上する。
【０１５７】
また、請求項２による本発明の画像合成処理装置によれば、請求項１の発明と同様の効果を奏するとともに、マークによって一目で識別可能となる。
【０１５８】
さらに、請求項３による本発明の画像合成処理装置によれば、請求項１の発明と同様の効果を奏するとともに、フレームの色彩もしくは模様またはこれらの結合により、一目で識別可能となる。
【０１５９】
請求項４による本発明の画像合成処理装置によれば、指示入力手段の操作に応じて、上記並替手段および画像合成手段による処理が自動的に行われるために、処理対象となる画像情報の全てを指定する必要がなくなり操作性が向上する。
【０１６０】
請求項５による本発明の画像合成処理装置によれば、請求項４の発明と同様の効果を奏するとともに、画像合成手段により継ぎ合わせて合成された画像が表示されるために、合成画像を確認することができる。
【０１６１】
請求項６による本発明の画像合成処理装置によれば、請求項５の発明と同様の効果を奏するとともに、各段階における合成画像が表示されるために、継ぎ合わせて合成される画像を順次確認することができる。
【０１６２】
請求項７による本発明の画像合成処理装置によれば、請求項４の発明と同様の効果を奏するとともに、インデックス画像を参照しながら指示入力手段を操作可能であるために、操作性がさらに向上する。
【０１６３】
請求項８による本発明の画像合成処理装置によれば、請求項４または請求項７の発明と同様の効果を奏するとともに、一画像情報を指定するだけで、処理対象となる全ての画像情報について自動的に処理が行われるために、操作性がさらに向上する。
【０１６４】
請求項９による本発明の画像合成処理装置によれば、請求項８の発明と同様の効果を奏するとともに、付随情報を有効に用いることにより、操作性の向上を図ることができる。
【０１６５】
請求項１０による本発明の画像合成処理装置によれば、請求項４または請求項７の発明と同様の効果を奏するとともに、ユーザの意図に応じたより細かい処理が可能となる。
【０１６６】
請求項１１による本発明の画像合成処理装置によれば、請求項１０の発明と同様の効果を奏するとともに、処理対象となる先頭の画像情報をユーザの意図に応じて指定することが可能となる。
【０１６７】
請求項１２による本発明の画像合成処理装置によれば、請求項１１の発明と同様の効果を奏するとともに、処理対象となる後尾の画像情報をユーザの意図に応じて指定することが可能となる。
【０１６８】
請求項１３による本発明の画像合成処理装置によれば、請求項１０の発明と同様の効果を奏するとともに、処理対象となる画像情報の数をユーザの意図に応じて指定することが可能となる。
【０１６９】
請求項１４による本発明の画像合成処理装置によれば、請求項４または請求項７の発明と同様の効果を奏するとともに、処理対象から外す画像情報を指定することにより、ユーザの意図に応じたより細かい処理が可能となる。
【０１７０】
請求項１５による本発明の画像合成処理装置によれば、請求項１４の発明と同様の効果を奏するとともに、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報を、複数に分割することが可能となる。
【０１７１】
請求項１６による本発明の画像合成処理装置によれば、請求項１４の発明と同様の効果を奏するとともに、記録媒体から画像情報を再び読み込んだ場合に、処理対象から外したい画像情報を再び指定する必要がなく、操作性がさらに向上する。
【０１７２】
請求項１７による本発明の画像合成処理装置によれば、請求項４または請求項７の発明と同様の効果を奏するとともに、手動による処理が可能となって、より一層ユーザの意図に応じた処理が可能となる。
【０１７３】
請求項１８による本発明の画像合成処理装置によれば、請求項１７の発明と同様の効果を奏するとともに、ユーザが所望の画像情報のみを手動処理の対象として指定することができる。
【０１７４】
請求項１９による本発明の画像合成処理プログラムを記録した記録媒体によれば、コンピュータに、一被写体像を構成するべく互いに重複部分を有して撮影された複数の画像情報に係るインデックス画像を、それ以外の画像情報に係るインデックス画像と容易に識別可能となるように表示手段を制御させることができるために、操作性の向上を図ることが可能となる。
【０１７５】
請求項２０による本発明の画像合成処理プログラムを記録した記録媒体によれば、コンピュータに、少なくとも１つの画像情報が指定されるのに応じて、並べ替えの処理および画像合成の処理が自動的に行われるように制御させているために、処理対象となる画像情報の全てを指定する必要をなくして操作性の向上を図ることが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態の画像合成処理装置が適用されるシステムの構成を示す図。
【図２】上記実施形態のパーソナルコンピュータの内部構成を示すブロック図。
【図３】上記実施形態の記録媒体に記録されるデータの構成を示す図。
【図４】上記実施形態のパーソナルコンピュータにより実行される画像合成処理プログラムのメインルーチンを示すフローチャート。
【図５】上記実施形態における表示判別処理の詳細を示すフローチャート。
【図６】上記実施形態において、処理対象の画像のフレームの表示色を変化させる例を示す図。
【図７】上記実施形態において、処理対象の画像のフレームにマークを表示させる例を示す図。
【図８】上記実施形態における対象画像自動検出の処理を示すフローチャート。
【図９】上記実施形態における継ぎ合わせ処理の基本的なアルゴリズムを示すフローチャート。
【図１０】上記図９のアルゴリズムにより継ぎ合わされる画像の様子を示す図。
【図１１】上記実施形態のケース１処理において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャート。
【図１２】上記実施形態のケース２処理において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャート。
【図１３】上記実施形態のケース３処理において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャート。
【図１４】上記実施形態のケース４処理において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャート。
【図１５】上記実施形態のケース５処理において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャート。
【図１６】上記実施形態のケース６処理において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャート。
【図１７】上記実施形態のケース７処理において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャート。
【図１８】上記実施形態のケース８処理において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャート。
【図１９】上記実施形態のケース９処理において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャート。
【図２０】上記実施形態のケース１０処理において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャート。
【図２１】上記実施形態のケース１１処理において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャート。
【図２２】上記実施形態のケース１２処理において、（Ａ）撮影された画像の方向や順序を識別コードとともに示す図、（Ｂ）処理内容を示すフローチャート。
【図２３】上記実施形態における手動処理の内容を主として表示画面の様子により示すフローチャート。
【図２４】上記実施形態において、継ぎ合わせ処理の対象解除を行うときの画面の様子を示す図。
【図２５】上記実施形態において、上段の１コマ目から５コマ目までが一パノラマ画像を構成する画像データである場合に、その途中の３コマ目の対象解除を行うときの画面の様子を示す図。
【図２６】上記実施形態において、上段の１コマ目から５コマ目までが一パノラマ画像を構成する画像データである場合に、一部を対象解除することで、継ぎ合わせの対象を限定するときの画面の様子を示す図。
【符号の説明】
１…デジタルカメラ
２…記録媒体
３…パーソナルコンピュータ
４…ディスプレイ（表示手段）
５…キーボード（指示入力手段）
６…マウス（指示入力手段）
１１…ＣＰＵ（並替手段、画像合成手段、制御手段、表示制御手段）
１２…メインメモリ（画像合成処理プログラムを記録した記録媒体）
１３…内部記録媒体（画像合成処理プログラムを記録した記録媒体）
２３…フレーム
２５…マーク（識別表示）
【図１】
0003947290.tif 000002
【図２】
0003947290.tif 000003
【図３】
0003947290.tif 000004
【図４】
0003947290.tif 000005
【図５】
0003947290.tif 000006
【図６】
0003947290.tif 000007
【図７】
0003947290.tif 000008
【図８】
0003947290.tif 000009
【図９】
0003947290.tif 000010
【図１０】
0003947290.tif 000011
【図１１】
0003947290.tif 000012
【図１２】
0003947290.tif 000013
【図１３】
0003947290.tif 000014
【図１４】
0003947290.tif 000015
【図１５】
0003947290.tif 000016
【図１６】
0003947290.tif 000017
【図１７】
0003947290.tif 000018
【図１８】
0003947290.tif 000019
【図１９】
0003947290.tif 000020
【図２０】
0003947290.tif 000021
【図２１】
0003947290.tif 000022
【図２２】
0003947290.tif 000023
【図２３】
0003947290.tif 000024
【図２４】
0003947290.tif 000025
【図２５】
0003947290.tif 000026
【図２６】
0003947290.tif 000027