(57)【要約】【課題】カメラの使用形態に関わらず、パノラマ画像合成の際の使用メモリをより有効に利用できるパノラマ画像合成方法および装置を提供する。【解決手段】長方形状の有効画素領域を有するカメラ１０１の出力画像からパノラマ画像を合成する装置であって、切り出しサイズに従ってカメラ出力画像から第１画像を切り出す画像切出手段１０３と、第１画像をパノラマ画像の縦方向に関して所定画素数となるように縮小することで第２画像を生成する画像縮小手段１０４と、メモリを利用して第２画像からパノラマ画像を合成するパノラマ画像合成手段１０５と、カメラ１０１の向きに応じて、少なくともカメラ出力画像から切り出し可能な最大正方形領域を示す切り出しサイズを設定する制御手段１０８と、を有する。【選択図】図１
2010263546.tif 000002
【特許請求の範囲】
【請求項１】
長方形状の有効画素領域を有するカメラの出力画像からパノラマ画像を合成する装置であって、
切り出しサイズに従って、前記カメラ出力画像から第１画像を切り出す画像切出手段と、
前記第１画像をパノラマ画像の縦方向に関して所定画素数となるように縮小することで第２画像を生成する画像縮小手段と、
メモリを利用して前記第２画像からパノラマ画像を合成するパノラマ画像合成手段と、
前記カメラの向きに応じて、少なくとも前記カメラ出力画像から切り出し可能な最大正方形領域を示す前記切り出しサイズを設定する制御手段と、
を有することを特徴とするパノラマ画像合成装置。
【請求項２】
前記カメラの有効画素領域の長手方向が縦方向である場合、前記切り出しサイズに従って切り出される前記第１画像は、前記最大正方形領域の画像または前記カメラ出力画像そのもののいずれかであることを特徴とする請求項１に記載のパノラマ画像合成装置。
【請求項３】
前記第１画像は、パノラマ画像の画質を優先する場合には前記最大正方形領域の画像であり、前記パノラマ画像のデータ削減量を優先する場合には前記カメラ出力画像そのものであることを特徴とする請求項２に記載のパノラマ画像合成装置。
【請求項４】
前記カメラの有効画素領域の長手方向が横方向である場合、前記切り出しサイズに従って切り出される前記第１画像は、前記最大正方形領域の画像あることを特徴とする請求項１−３のいずれか１項に記載のパノラマ画像合成装置。
【請求項５】
長方形状の有効画素領域を有するカメラの出力画像からパノラマ画像を合成する方法であって、
前記カメラの向きに応じて、少なくとも前記カメラ出力画像から切り出し可能な最大正方形領域を示す切り出しサイズを設定し、
画像切出手段が前記切り出しサイズに従って、前記カメラ出力画像から第１画像を切り出し、
画像縮小手段が前記第１画像をパノラマ画像の縦方向に関して所定画素数となるように縮小することで第２画像を生成し、
パノラマ画像合成手段がメモリを利用して前記第２画像からパノラマ画像を合成する、
ことを特徴とするパノラマ画像合成方法。
【請求項６】
前記カメラの有効画素領域の長手方向が縦方向である場合、前記切り出しサイズに従って切り出される前記第１画像は、前記最大正方形領域の画像または前記カメラ出力画像そのもののいずれかであることを特徴とする請求項５に記載のパノラマ画像合成方法。
【請求項７】
前記第１画像は、パノラマ画像の画質を優先する場合には前記最大正方形領域の画像であり、前記パノラマ画像のデータ削減量を優先する場合には前記カメラ出力画像そのものであることを特徴とする請求項６に記載のパノラマ画像合成方法。
【請求項８】
前記カメラの有効画素領域の長手方向が横方向である場合、前記切り出しサイズに従って切り出される前記第１画像は、前記カメラ出力画像から切り出し可能な最大正方形領域の画像あることを特徴とする請求項５−７のいずれか１項に記載のパノラマ画像合成方法。
【請求項９】
長方形状の有効画素領域を有するカメラの出力画像からパノラマ画像を合成する装置としてプログラム制御プロセッサを機能させるプログラムであって、
切り出しサイズに従って、前記カメラ出力画像から第１画像を切り出す画像切出手段と、
前記第１画像をパノラマ画像の縦方向に関して所定画素数となるように縮小することで第２画像を生成する画像縮小手段と、
メモリを利用して前記第２画像からパノラマ画像を合成するパノラマ画像合成手段と、
前記カメラの向きに応じて、少なくとも前記カメラ出力画像から切り出し可能な最大正方形領域を示す前記切り出しサイズを設定する制御手段と、
を有するパノラマ画像合成装置として前記プログラム制御プロセッサを機能させることを特徴とするプログラム。
【請求項１０】
前記カメラの有効画素領域の長手方向が縦方向である場合、前記切り出しサイズに従って切り出される前記第１画像は、前記最大正方形領域の画像または前記カメラ出力画像そのもののいずれかであることを特徴とする請求項９に記載のプログラム。
【請求項１１】
前記第１画像は、パノラマ画像の画質を優先する場合には前記最大正方形領域の画像であり、前記パノラマ画像のデータ削減量を優先する場合には前記カメラ出力画像そのものであることを特徴とする請求項１０に記載のプログラム。
【請求項１２】
前記カメラの有効画素領域の長手方向が横方向である場合、前記切り出しサイズに従って切り出される前記第１画像は、前記カメラ出力画像から切り出し可能な最大正方形領域の画像あることを特徴とする請求項９−１１のいずれか１項に記載のプログラム。
【請求項１３】
請求項１−４のいずれかに記載のパノラマ画像合成装置を有するカメラ付き携帯通信端末。
【請求項１４】
請求項５−８のいずれかに記載のパノラマ画像合成方法を実行するカメラ付き携帯通信端末。
【請求項１５】
請求項９−１２のいずれかに記載のプログラムを実行する制御部を有するカメラ付き携帯通信端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は複数の画像を合成してパノラマ画像を生成する方法および装置に関する。
【背景技術】
【０００２】
複数の画像を合成してパノラマ画像を生成する画像処理装置が特許文献１に開示されている。この画像処理装置は、使用可能なメモリ量以下で複数の画像が合成可能となるように各画像の最大の縮小率を決定しようとするものである（特許文献１の段落００２２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−３５５５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、近年、表示部を設けたハウジングと操作部を設けたハウジングとが別々に設けられ、これらが相対的に移動可能あるいは回転可能に連結された携帯電話機が普及している。このような携帯電話機のなかには、表示部のハウジングが９０°回転して縦長画面と横長画面とを切り替えることができるもの、あるいは表示部のハウジングを裏返して操作部のハウジングと重ねた状態で、通常のデジタルカメラのような操作性を狙ったものも市販されている。このようなカメラ付き携帯電話機では、種々の使用形態でカメラ撮影が行われると想定する必要がある。
【０００５】
しかしながら、特許文献１に開示されたパノラマ画像合成では、使用可能メモリ量に応じて画像を一律に縮小するだけであるために、カメラの使用形態によってはパノラマ画像の合成に最も適した画像縮小にならない場合がある。その結果として、特許文献１の方法では、メモリの十分な有効利用を達成できないという課題が依然として残っている。
【０００６】
そこで、本発明の目的は、カメラの使用形態に関わらず、パノラマ画像合成の際の使用メモリをより有効に利用できるパノラマ画像合成方法および装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明によるパノラマ画像合成装置は、長方形状の有効画素領域を有するカメラの出力画像からパノラマ画像を合成する装置であって、切り出しサイズに従って、前記カメラ出力画像から第１画像を切り出す画像切出手段と、前記第１画像をパノラマ画像の縦方向に関して所定画素数となるように縮小することで第２画像を生成する画像縮小手段と、メモリを利用して前記第２画像からパノラマ画像を合成するパノラマ画像合成手段と、前記カメラの向きに応じて、少なくとも前記カメラ出力画像から切り出し可能な最大正方形領域を示す前記切り出しサイズを設定する制御手段と、を有することを特徴とする。
【０００８】
本発明によるパノラマ画像合成方法は、長方形状の有効画素領域を有するカメラの出力画像からパノラマ画像を合成する方法であって、前記カメラの向きに応じて、少なくとも前記カメラ出力画像から切り出し可能な最大正方形領域を示す切り出しサイズを設定し、画像切出手段が前記切り出しサイズに従って、前記カメラ出力画像から第１画像を切り出し、画像縮小手段が前記第１画像をパノラマ画像の縦方向に関して所定画素数となるように縮小することで第２画像を生成し、パノラマ画像合成手段がメモリを利用して前記第２画像からパノラマ画像を合成する、ことを特徴とする。
【０００９】
本発明によるプログラムは、長方形状の有効画素領域を有するカメラの出力画像からパノラマ画像を合成する装置としてプログラム制御プロセッサを機能させるプログラムであって、切り出しサイズに従って、前記カメラ出力画像から第１画像を切り出す画像切出手段と、前記第１画像をパノラマ画像の縦方向に関して所定画素数となるように縮小することで第２画像を生成する画像縮小手段と、メモリを利用して前記第２画像からパノラマ画像を合成するパノラマ画像合成手段と、前記カメラの向きに応じて、少なくとも前記カメラ出力画像から切り出し可能な最大正方形領域を示す前記切り出しサイズを設定する制御手段と、を有するパノラマ画像合成装置として前記プログラム制御プロセッサを機能させることを特徴とする。
【発明の効果】
【００１０】
本発明により、カメラの使用形態に関わらず、パノラマ画像合成の際の使用メモリをより有効に利用できる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１実施形態によるパノラマ画像合成装置の機能的な構成を示すブロック図である。
【図２】本発明の一適用例である携帯通信端末の外観を示し、（Ａ）は表示部およびカメラの向きがスタイル１である場合の平面図、（Ｂ）は表示部およびカメラの向きがスタイル２である場合の平面図である。
【図３】本発明の一適用例である携帯通信端末の表示部およびカメラの向きがスタイル３である場合の平面図である。
【図４】本発明の一実施例によるパノラマ画像合成方法の第１例を示す模式的フローチャートである。
【図５】本実施例によるパノラマ画像合成方法の第２例を示す模式的フローチャートである。
【図６】本実施例によるパノラマ画像合成方法の第３例を示す模式的フローチャートである。
【図７】本発明の一適用例である携帯通信端末の概略的な内部回路構成を示すブロック図である。
【図８】（Ａ）は比較例（１）によるパノラマ画像合成方法を示す模式的フローチャート、（Ｂ）は比較例（２）によるパノラマ画像合成方法を示す模式的フローチャートである。
【図９】（Ａ）は第１実施例および第２実施例と比較例（１）との対比を示すテーブルであり、（Ｂ）は第３実施例と比較例（２）との対比を示すテーブルである。
【図１０】本発明の第２実施形態によるパノラマ画像合成装置の機能的な構成を示すブロック図である。
【発明を実施するための形態】
【００１２】
１．第１実施形態
図１に示すように、撮像装置としてのカメラ１０１には２次元フォトセンサからなるカメラセンサ１０２が設けられ、その有効画素領域の撮像信号が、たとえば一定時間間隔（フレーム間隔）で画像メモリ１０２に格納される。画像切出部１０３は、指定されたサイズの画像を画像メモリ１０２に格納されている画像データから順次切り出し画像縮小部１０４へ出力する。画像縮小部１０４は、切り出された画像を指定された間引き率に従って縮小し、複数の縮小画像を動画としてパノラマ合成エンジン１０５へ出力する。
【００１３】
パノラマ合成エンジン１０５はメモリ１０６を使用して複数の縮小画像を合成してパノラマ画像を生成し、画像符号化部１０７へ出力する。パノラマ画像合成は一般的な処理方法を有するものとする。たとえば入力画像を動画として扱い、動画の各フレーム間の非共通部分を継ぎ足して所定サイズの合成結果を静止画像として生成する。また、一般に、パノラマ画像の画素数が多くなればパノラマ画像生成に必要なメモリ１０６の容量も大きくなる。
【００１４】
画像符号化部１０７は、所定の符号化方式によりパノラマ画像データを符号化し、表示部（図示せず。）などへ出力する。
【００１５】
画像処理制御部１０８は、パノラマ合成エンジン１０５の入力許容画像サイズおよび後述するカメラ１０１の向き（スタイル）に依存して、画像切出部１０３の切出サイズ、画像縮小部１０４の間引き率などのパラメータを決定する。具体的には後述するように、カメラ１０１の向きに応じて切出サイズを決定し、パノラマ合成エンジン１０５の入力許容画像サイズに応じて間引き率を決定する。さらに、画像処理制御部１０８はパノラマ合成エンジン１０５および画像符号化部１０７の動作制御を行う。
【００１６】
２．一実施例
以下、カメラ機能付き携帯電話機を一例として用い、視野角３６０°のパノラマ画像を合成する場合を詳細に説明する。
【００１７】
図２に示すように、この例における携帯電話機は、上側ハウジング１０と下側ハウジング２０とが相対的に回動可能に連結された構成を有し、上側ハウジング１０に表示部１１が設けられている。下側ハウジング２０の裏側には、下側ハウジング２０の長手方向と有効画素領域の長手方向（矢印Ｓ方向）とが一致するようにカメラ１２が搭載されているものと仮定する。
【００１８】
図２（Ａ）は、上側ハウジング１０と下側ハウジング２０とを開いた状態で、表示部１１の長手方向が下側ハウジング２０の長手方向（カメラの矢印Ｓ方向）と一致している姿勢を示し、これをスタイル１とする。図２（Ｂ）は、上側ハウジング１０を開いて、更に下側ハウジング２０に対して９０°回転させた状態で、表示部１１の長手方向が下側ハウジング２０の長手方向（カメラの矢印Ｓ方向）と直交している姿勢を示し、これをスタイル２とする。いずれのスタイルであっても、ユーザは下側ハウジング２０を手で持ち、カメラ１２を被写体へ向け、表示部１１の被写体画像を見ながらシャッタボタンを押すという操作が行われる。
【００１９】
さらに、この携帯電話機は、図３に示すように、上側ハウジング１０の表示部１１を表側に露出させた状態で下側ハウジング２０と重ねて折り畳むことができるものとする。この状態は、表示部１１の長手方向が下側ハウジング２０の長手方向（カメラの矢印Ｓ方向）と一致して重なっており、表示部１１とカメラ１２とがほぼ同じ視線上で反対方向に向いている姿勢を示し、これをスタイル３とする。スタイル３では、ユーザは、通常のデジタルカメラのように、重なったハウジングの上下を手で持ち、カメラ１２を被写体へ向け、表示部１１の横長画面を見ながらシャッタボタンを押すという操作が行われる。
【００２０】
この携帯電話機は、現在の姿勢がどのスタイルであるかを検出する手段を有しており、このスタイル検出手段自体は周知の方式を採用すればよい。後述するように、本実施例によれば、携帯電話機のカメラの向き（スタイル）に応じて適切な画像切り出しおよび画像縮小を行うことができ、メモリを効率的に使用しながらパノラマ画像を合成することができる。
【００２１】
また、実施例の前提条件として、カメラセンサ１０２の有効画素数は横（長辺）方向に１６３２ピクセル、縦（短辺）方向に１２２４ピクセル、水平（横）画角５７°、垂直（縦）画角４４°、カメラレンズの最大ズーム倍率は２．５５倍、パノラマ合成エンジン１０５の入力画像（合成元の画像）の縦方向許容最大画素数は４８０、画像符号化部１０７はＪＰＥＧ(Joint Photographic Experts Group)エンコーダであるとする。
【００２２】
２．１）例１
ここでは、図２（Ａ）あるいは図２（Ｂ）に示すスタイル１またはスタイル２でカメラ１０１が使用されたものとする。
【００２３】
図４において、カメラセンサ１０２が出力する有効画素領域の原画像２０１は、図２に示すようにカメラセンサ１０２が縦向き（矢印Ｓ方向）であるから、横１２２４×縦１６３２（ピクセル）となる。
【００２４】
画像切出部１０３は、画像処理制御部１０８からのサイズ設定に従って、原画像２０１から最大の正方形画像２０２を切り出す。この場合、最大正方形画像２０２は画素数１２２４×１２２４となる。したがって、横方向の垂直画角（４４°）を変化させることなく画像を切り出すことができる。
【００２５】
続いて、画像縮小部１０４は、画像処理制御部１０８からの間引き率に従って、画素数１２２４×１２２４の正方形画像２０２をパノラマ画像合成エンジン１０５により許容される画素数に縮小する。パノラマ画像合成エンジン１０５により許容される画素数は、メモリ１０６の容量と画像符号化部１０７の符号化処理可能な最大画像サイズとに依存する。ここでは、パノラマ画像合成エンジン１０５の縦方向の許容される最大画素数は４８０であるから、画素数１２２４×１２２４の正方形画像２０２は画素数４８０×４８０の縮小画像２０３に縮小される（倍率２．５５）。縮小するだけなので横方向の画角は４４°に保持される。
【００２６】
このようにして、携帯電話機のカメラをパンすることでＮ枚の縮小画像２０３が画像縮小部１０４からパノラマ画像合成エンジン１０５へ動画として出力される。パノラマ画像合成エンジン１０５において３６０°のパノラマ画像を生成するためには、Ｎ＝３６０°÷画角４４°＝約８．１８となり、８．１８枚の縮小画像（４８０×４８０）が必要となる。この場合、パノラマ合成画像の横方向の画素数は、４８０画素×８．１８枚＝３９２６画素である。
【００２７】
したがって、一般に、図２（Ａ）あるいは図２（Ｂ）に示すスタイル１またはスタイル２の時、視野角がθ°であれば、画像処理制御部１０８は、縮小画像の枚数Ｎをθ／４４で求め、現在のスタイルに応じて画像切取サイズを、パノラマ画像合成エンジン１０５により許容される画素数が得られるように画像間引き率をそれぞれ決定し、画像切出部１０３および画像縮小部１０４を制御する。
【００２８】
２．２）例２
図２（Ａ）あるいは図２（Ｂ）に示すスタイル１またはスタイル２でカメラが使用された場合、上記例１とは異なり、原画像をそのまま縮小する上記条件にあった縮小画像を生成することも可能である。
【００２９】
図５において、カメラセンサ１０２が出力する有効画素領域の原画像３０１は、図２に示すようにカメラセンサ１０２が縦向き（矢印Ｓ方向）であるから、横１２２４×縦１６３２（ピクセル）となる。
【００３０】
本例２によれば、画像切出部１０３による切り出しを行わず、画像縮小部１０４により原画像３０１をパノラマ合成エンジン１０５に入力可能な画素数まで直接縮小する。すなわち、画像縮小部１０４は、画像処理制御部１０８からの間引き率（倍率３．４）に従って、画素数１２２４×１６３２の原画像３０１をパノラマ画像合成エンジン１０５により許容される画素数３６０×４８０の縮小画像３０２に縮小する。縮小するだけなので横方向の画角は４４°に保持される。
【００３１】
このようにして、携帯電話機のカメラをパンすることでＮ枚の縮小画像３０２が画像縮小部１０４からパノラマ画像合成エンジン１０５へ動画として出力される。パノラマ画像合成エンジン１０５において３６０°のパノラマ画像を生成するためには、Ｎ＝３６０°÷画角４４°＝約８．１８となり、８．１８枚の縮小画像（３６０×４８０）が必要となる。この場合、パノラマ合成画像の横方向の画素数は、３６０画素×８．１８枚＝２９４５画素である。
【００３２】
したがって、一般に、図２（Ａ）あるいは図２（Ｂ）に示すスタイル１またはスタイル２の時、視野角がθ°であれば、画像処理制御部１０８は、縮小画像の枚数Ｎをθ／４４で求め、パノラマ画像合成エンジン１０５により許容される画素数が得られるように画像間引き率を決定し、画像縮小部１０４を制御する。
【００３３】
２．３）例３
例３では、図３に示すスタイル３でカメラが使用され、横長画面の原画像が撮像されたものとする。
【００３４】
図６において、カメラセンサ１０２が出力する有効画素領域の原画像４０１は、図３に示すようにカメラセンサ１０２が横向き（矢印Ｓ方向）であるから、横１６３２×縦１２２４（ピクセル）となる。
【００３５】
画像切出部１０３は、画像処理制御部１０８からのサイズ設定に従って、原画像４０１から最大の正方形画像４０２を切り出す。この場合、最大正方形画像４０２は画素数１２２４×１２２４となる。横方向がサイズ制限されたので、この場合の水平画角は原画像の５７°から４２．７５°に変化する。
【００３６】
続いて、画像縮小部１０４は、画像処理制御部１０８からの間引き率に従って、画素数１２２４×１２２４の正方形画像４０２をパノラマ画像合成エンジン１０５により許容される画素数に縮小する。ここでは、パノラマ画像合成エンジン１０５の縦方向の許容される最大画素数は４８０であるから、画素数１２２４×１２２４の正方形画像２０２は画素数４８０×４８０の縮小画像４０３に縮小される（倍率２．５５）。縮小するだけなので横方向の画角は４２．７５°に保持される。
【００３７】
このようにして、携帯電話機のカメラをパンすることでＮ枚の縮小画像４０３が画像縮小部１０４からパノラマ画像合成エンジン１０５へ動画として出力される。パノラマ画像合成エンジン１０５において３６０°のパノラマ画像を生成するためには、Ｎ＝３６０°÷画角４２．７５°＝約８．４２となり、８．４２枚の縮小画像（４８０×４８０）が必要となる。この場合、パノラマ合成画像の横方向の画素数は、４８０画素×８．４２枚＝４０４２画素である。
【００３８】
したがって、一般に、図３に示すスタイル３の時、視野角がθ°であれば、画像処理制御部１０８は、縮小画像の枚数Ｎをθ／４２．７５で求め、現在のスタイルに応じて画像切取サイズを、パノラマ画像合成エンジン１０５により許容される画素数が得られるように画像間引き率をそれぞれ決定し、画像切出部１０３および画像縮小部１０４を制御する。
【００３９】
３．カメラ機能付き携帯通信端末
上述した実施例によれば、携帯電話機のカメラの向き（スタイル）に応じて、適切な画像切り出しおよび画像縮小を行うことで、所望の視野角のパノラマ画像の合成とメモリ節約とを両立させることができる。以下、上述した実施例によるパノラマ画像合成装置を内蔵した携帯通信端末について説明する。
【００４０】
図７において、携帯通信端末は、カメラ５０１、液晶ディスプレイ（ＬＣＤ）等の表示部５０２、カメラ５０１の向きを検出するスタイル検出部５０３、キーパッドやタッチパネル等の操作部５０４、各種プログラムや画像データなどを格納するメモリ５０５、移動通信システムの基地局と無線通信を行うための無線送受信部５０６、および、携帯通信端末の各種機能を実現するための制御部５０７を有する。制御部５０７は、ＣＰＵ等のプログラム制御プロセッサにより実現可能である。
【００４１】
カメラ５０１はＴＶ電話や通常の撮影を行うことができ、表示部５０２はカメラの映像情報などを表示可能とする。なお、メモリ５０５には、画像切出部１０３、画像縮小部１０４、パノラマ画像合成エンジン１０５、ＪＰＥＧエンコーダ１０７および画像処理制御部１０８をそれぞれ実現するためのプログラムが格納され、制御部５０７がそれらのプログラムを必要に応じて実行することで、上述した本実施例によるパノラマ画像合成装置を実現することもできる。その他、制御部５０７は、無線送受信部５０６を介した基地局との間の通信制御を行う。
【００４２】
図７に示す携帯通信端末は、図２および図３に示すように、上側ハウジング１０と下側ハウジング２０とが相対的に回動可能に連結された構成を有し、上側ハウジング１０に表示部５０２が設けられている。下側ハウジング２０の裏側には、下側ハウジング２０の長手方向と有効画素領域の長手方向（矢印Ｓ方向）とが一致するようにカメラ５０１が搭載されている。
【００４３】
上述したように、制御部５０７により画像切出部１０３、画像縮小部１０４、パノラマ画像合成エンジン１０５、ＪＰＥＧエンコーダ１０７および画像処理制御部１０８をそれぞれ実現するためのプログラムが実行されることで、スタイル検出部５０３により検出されたカメラ５０１の向き（スタイル）に応じて、適切な画像切り出しおよび画像縮小が実行され、メモリ５０５を有効に使用しながら所望の視野角のパノラマ画像を合成することができる。
【００４４】
４．効果
以下、上述した実施例の効果を比較例と対比しながら説明する。
【００４５】
４．１）比較例
図８（Ａ）はカメラ向きが縦向きの場合を示し、カメラが出力する有効画素領域の原画像６０１が横１２２４×縦１６３２の画素数であるとする。この原画像６０１から、横長のＶＧＡ画像サイズのアスペクト比で最大となる画素数１０６０×７９６の長方形画像６０２を切り出す。これにより、横方向の画角は１２２４：１０６０＝４４：３８．１の関係から３８．１°に縮小される。
【００４６】
続いて、１０６０×７９６画素数の長方形画像６０２を、縦方向画素数がパノラマ画像合成エンジンが許容する縦方向最大画素数４８０になるように縮小することで、画素数６４０×４８０の縮小画像６０３を得る。縮小するだけなので横方向の画角は３８．１°に保持される。こうして得られた画素数６４０×４８０の複数の縮小画像６０３がパノラマ画像合成エンジンへ動画として入力する。パノラマ画像合成エンジンで３６０°のパノラマ画像を得るには、３６０°÷画角３８．１°＝約９．４４の関係から約９．４４枚の縮小画像（６４０×４８０）が必要となり、横方向の画素として必要となるのは６４０画素×９．４４枚＝６０４２画素となる。
【００４７】
図８（Ｂ）はカメラ向きが横向きの場合を示し、カメラが出力する有効画素領域の原画像７０１が横１６３２×縦１２２４の画素数であるとする。この原画像７０１から等価的に等倍の画像を切り出し、縦方向画素数がパノラマ画像合成エンジンが許容する縦方向最大画素数４８０になるように縮小する。これによって、原画像７０１から画素数６４０×４８０の縮小画像７０２を直接得ることができる。縮小するだけなので横方向の画角は５７°に保持される。こうして得られた画素数６４０×４８０の複数の縮小画像７０２がパノラマ画像合成エンジンへ動画として入力する。パノラマ画像合成エンジンで３６０°のパノラマ画像を得るには、３６０°÷画角５７°＝約６．３２の関係から約６．３２枚の縮小画像（６４０×４８０）が必要となり、横方向の画素として必要となるのは６４０画素×６．３２枚＝４０４２画素となる。
【００４８】
４．２）比較
図９（Ａ）に示すように、図４に示す例１と比較例（１）とを対比すると、合成されたパノラマ画像の横方向の画素数は、比較例（１）が６０４２画素であるのに対して、本実施例における例１では３９２６画素であり、本実施例の方がより少ない画素数で３６０°のパノラマ撮影を実現可能である。間引き率（ズーム倍率ｄ）は同じであるから、本実施例の方がメモリを有効に利用していることとなる。
【００４９】
同じ図９（Ａ）において、図５に示す例２と比較例（１）とを対比すると、合成されたパノラマ画像の横方向の画素数は、比較例（１）が６０４２画素であるのに対して、本実施例における例２では２９４５画素であり、本実施例の方が更に少ない画素数で３６０°のパノラマ撮影を実現可能である。間引き率（ズーム倍率ｄ）は本実施例の方が多くなっているが、それ以上にメモリを有効に利用していることがわかる。このように画質とメモリ効率とはトレードオフの関係となるので、どの要素を重視するかによって、いずれかの方式を採用すればよい。
【００５０】
図９（Ｂ）に示すように、図６に示す例３と比較例（２）とを対比すると、画角は本実施例の例３の方が低下しており、合成されたパノラマ画像の横方向の画素数、間引き率（ズーム倍率ｄ）およびメモリ効率に関しては本実施例の例３は比較例（２）に同等である。言い換えれば、本実施例の例３では、画像切り出しを行って画角を犠牲にしても、結果的には比較例（２）に比べて性能は劣化していない。したがって、図３に示すスタイル３の場合には、図６に示す例３を採用しても画質もメモリ効率も劣化しないことを示している。
【００５１】
４．３）効果
図９の対比テーブルから分かるように、スタイルに応じて、原画像から最大正方形画像を切り出して縮小する方式（例１あるいは例３）を採用することで、全体として画質を劣化させることなくメモリ効率を向上させることができる。したがって、画質重視であれば、スタイルに応じて例１あるいは例３を採用することが望ましい。
【００５２】
また、スタイル１あるいはスタイル２では原画像を切り出さずに縮小する方式（例２）を採用し、スタイル３では原画像から最大正方形画像を切り出して縮小する方式（例３）をすることで、スタイル１あるいは２の時に画質が若干劣化するもののメモリ効率をより向上させることができる。したがって、メモリ効率重視であれば、スタイルに応じて例２あるいは例３を採用することが望ましい。
【００５３】
５．第２実施形態
スタイル検出には種々の方式が考えられるが、本発明の第２実施形態によるパノラマ画像合成装置では加速度センサを採用する。
【００５４】
図１０に示すように、カメラ８０１内に加速度センサ８０２を組み込んで重力方向を検出する。スタイル判定部８０３は、検出された重力方向からカメラがスタイル１あるいは２（図２）であるかスタイル３（図３）であるかを判定し、画像処理制御部１０８へ出力する。その他の構成および動作は、図１に示す第１実施形態と同様であるから、同一の参照番号を付して説明は省略する。
【産業上の利用可能性】
【００５５】
本発明は、カメラ付きの携帯電話機などの携帯端末に適用可能である。
【符号の説明】
【００５６】
１０  上側ハウジング
１１  表示部
１２  カメラ
２０  下側ハウジング
１０１  カメラ
１０２  カメラセンサ
１０３  画像切出部
１０４  画像縮小部
１０５  パノラマ合成エンジン
１０６  メモリ
１０７  画像符号化部
１０８  画像処理制御部
【図１】
2010263546.tif 000003
【図２】
2010263546.tif 000004
【図３】
2010263546.tif 000005
【図４】
2010263546.tif 000006
【図５】
2010263546.tif 000007
【図６】
2010263546.tif 000008
【図７】
2010263546.tif 000009
【図８】
2010263546.tif 000010
【図９】
2010263546.tif 000011
【図１０】
2010263546.tif 000012