(57)【要約】    【構成】携帯端末１０は、カメラ制御回路３６、イメージセンサ３８およびフォーカスレンズ４０を含み、使用者は、携帯端末１０によって画像データを撮影することができる。また、携帯端末１０は、電子コンパス３４を内蔵しており、イメージセンサ３８およびフォーカスレンズ４０の光軸方向が示す方位を取得することができる。たとえば、パノラマモードが設定されている場合に、撮影された画像データのそれぞれには方位角などが対応付けられて一時記憶される。そして、パノラマモードが終了されると、各画像データは、各画像データに対応付けられた方位角に基づいて、パノラマ配置の順序を示す番号が合成される。    【効果】使用者は、方位角に基づいて決められた順序情報を参照して、複数の画像を容易に再配置する事ができるようになる。【選択図】図１
2010171743.tif 000002
【特許請求の範囲】
【請求項１】
撮影操作に応じて画像を撮影する撮影手段、
前記撮影操作がされたとき、方位情報を取得する方位情報取得手段、
前記撮影操作がされたとき、前記方位情報取得手段によって取得された方位情報と前記撮影装置によって撮影された画像とを対応付けて記憶する記憶手段、および
前記記憶手段によって記憶された画像のそれぞれに対応付けられた方位情報に基づいて、前記撮影された画像配置の順序情報を各画像に合成する合成手段を備える、携帯端末。
【請求項２】
前記撮影された画像をパノラマ写真として扱うパノラマモードを設定する設定手段を備え、
前記合成手段は、前記パノラマモードが設定されている場合に、前記画像配置としてパノラマ配置の順序情報を各画像に合成する、請求項１記載の携帯端末。
【請求項３】
前記携帯端末の傾きを検出する傾き検出手段をさらに備え、
前記記憶手段は、前記傾き検出手段によって取得された傾きを前記撮影された画像に対応付けて記憶し、
前記合成手段は、画像のそれぞれに対応付けられた傾きに基づいて、前記順序情報を合成する方向を決める、請求項１または２記載の携帯端末。
【請求項４】
前記撮影操作がされたときの時刻を取得する時刻取得手段をさらに備え、
前記記憶手段は、前記時刻取得手段によって取得された時刻を前記撮影された画像に対応付けて記憶し、
前記合成手段は、同じ方位情報が対応付けられた画像がある場合には、その画像に対応する時刻に基づいて前記順序情報を画像に合成する、請求項１ないし３のいずれかに記載の携帯端末。
【請求項５】
前記合成手段は、方位を示す情報を画像に合成する方位合成手段を含む、請求項１ないし４のいずれかに記載の携帯端末。
【請求項６】
前記合成手段によって合成される情報の位置を決定する合成位置決定手段をさらに備える、請求項１ないし５のいずれかに記載の携帯端末。
【請求項７】
前記合成手段によって情報が合成された画像のそれぞれを記録する記録手段をさらに備える、請求項１ないし６のいずれかに記載の携帯端末。
【請求項８】
撮影操作に応じて画像を撮影する撮影手段を備える携帯端末のプロセサを、
前記撮影操作がされたとき、方位情報を取得する方位情報取得手段、
前記撮影操作がされたとき、前記方位情報取得手段によって取得された方位情報と前記撮影装置によって撮影された画像とを対応付けて記憶する記憶手段、および
前記記憶手段によって記憶された画像のそれぞれに対応付けられた方位情報に基づいて、前記撮影された画像配置の順序情報を画像に合成する合成手段として機能させる、合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、携帯端末に関し、特にたとえばパノラマ写真の撮影が可能な、携帯端末に関する。
【背景技術】
【０００２】
従来、特にたとえばパノラマ写真の撮影が可能な、携帯端末が知られており、この種の装置の一例が、特許文献１に開示されている。この背景技術の写真システムにおけるカメラでは、写真撮影場所が識別できる位置データを、周囲に配置されたステーションとの無線通信またはＧＰＳ衛星との通信によって取得する。また、カメラによって撮影された画像は、位置データを関連付けられ、メモリに保存される。そして、位置データが関連付けられた画像は、処理サブシステムのプロセッサによって、データベースに保存されている保存コンテンツと関連付けられ、パノラマおよび３６０度写真などの拡張画像製品が作られる。また、現像者は、撮影された画像のコンテンツ情報（たとえば、撮影された場所）をステッカーに印刷し、現像者自身で写真の裏側に貼り付けることができる。
【特許文献１】特開２００４−２８９８２５［H04N 5/76, G06T 1/00, H04N 5/907］
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかし、特許文献１における写真システムにおけるカメラでは、パノラマ写真が複数に分割されて現像されることについては、何ら考慮されていない。たとえば、パノラマ写真用の印画紙は、特殊な大きさであり、かつ高価である。そのため、現像者は、パノラマ写真をアルバムに収納する場合に、Ｌ版の印画紙を複数枚使い、パノラマ写真を複数の写真に分割して現像することがある。ところが、現像者は、写真をアルバムに収納してからしばらく経つと、分割して現像した複数の写真の配置を忘れてしまい、再配置できなくなってしまう。また、特許文献１では、撮影された場所などを示すコンテンツ情報をステッカーに印刷する技術が開示されているが、使用者は、裏側のステッカーを見ても撮影した場所を思い出すだけである。
【０００４】
それゆえに、この発明の主たる目的は、新規な、携帯端末およびこのような携帯端末のプロセサに適用される合成プログラムを提供することである。
【０００５】
この発明の他の目的は、複数の画像を容易に再配置する事ができる、携帯端末およびこのような携帯端末のプロセサに適用される合成プログラムを提供することである。
【課題を解決するための手段】
【０００６】
この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。
【０００７】
第１の発明は、撮影操作に応じて画像を撮影する撮影手段、撮影操作がされたとき、方位情報を取得する方位情報取得手段、撮影操作がされたとき、方位情報取得手段によって取得された方位情報と撮影装置によって撮影された画像とを対応付けて記憶する記憶手段、および記憶手段によって記憶された画像のそれぞれに対応付けられた方位情報に基づいて、撮影された画像配置の順序情報を各画像に合成する合成手段を備える、携帯端末である。
【０００８】
第１の発明では、使用者は、携帯端末（１０）に備えられた撮影手段（３６，３８）によって画像を撮影することができる。また、方位情報取得手段（２０，３４，Ｓ３）は、撮像装置の光軸方向が示す方位情報を取得する。さらに、画像は記憶手段（２０，３０，Ｓ９）によって方位情報が対応付けられて記憶される。そして、記憶された各画像データは、対応づけられた方位情報に基づいて、撮影された画像配置の順序情報が合成手段（２０，Ｓ１７）によって合成される。
【０００９】
第１の発明によれば、使用者は、方位情報に基づいて決められた順序情報を参照して、複数に分割されて現像された画像を容易に再配置する事ができる。
【００１０】
第２の発明は、第１の発明に従属し、撮影された画像をパノラマ写真として扱うパノラマモードを設定する設定手段を備え、合成手段は、パノラマモードが設定されている場合に、画像配置としてパノラマ配置の順序情報を各画像に合成する。
【００１１】
第２の発明では、設定手段（２０）は、複数の画像から構成されるパノラマ写真を撮影するためのパノラマモードを設定することができる。そして、合成手段は、パノラマ写真を合成する各画像に、パノラマ配置の順序情報を合成する。
【００１２】
第２の発明によれば、複数の画像から構成されるパノラマ写真の再配置を容易に行うことができる。
【００１３】
第３の発明は、第１の発明または第２の発明に従属し、携帯端末の傾きを検出する傾き検出手段をさらに備え、記憶手段は、傾き検出手段によって取得された傾きを撮影された画像に対応付けて記憶し、合成手段は、画像のそれぞれに対応付けられた傾きに基づいて、順序情報を合成する方向を決める。
【００１４】
第３の発明では、傾き検出手段（２０，３２，Ｓ５）は、記憶される画像に、画像が撮影されるときの携帯端末の傾きを対応付ける。そして、画像に合成される順序情報は、この傾きに基づいて合成される。
【００１５】
第３の発明によれば、使用者は、傾きに基づいて合成された順序方向を参照することができるので、たとえば画像における地面が在る方向を正確に認識し、パノラマ写真の再配置を行うことなどができるようになる。
【００１６】
第４の発明は、第１の発明ないし第３の発明のいずれかに従属し、撮影操作がされたときの時刻を取得する時刻取得手段をさらに備え、記憶手段は、時刻取得手段によって取得された時刻を撮影された画像に対応付けて記憶し、合成手段は、同じ方位情報が対応付けられた画像がある場合には、その画像に対応する時刻に基づいて順序情報を画像に合成する。
【００１７】
第４の発明では、時刻取得手段（２０，２０ａ，Ｓ７）は、記憶される画像に、その画像が撮影された時刻をさらに対応付ける。そして、画像に合成される順序情報は、対応づけられた方位情報と時刻とに基づいて合成される。
【００１８】
第４の発明によれば、同じ方位が対応付けられた画像データが複数在る場合に、撮影された時刻に基づいて順序情報が合成される。
【００１９】
第５の発明は、第１の発明ないし第４の発明のいずれかに従属し、合成手段は、方位を示す情報を画像に合成する方位合成手段を含む。
【００２０】
第５の発明では、方位合成手段（２０，Ｓ１９）は、たとえば、８方位を示す情報を画像に合成する。
【００２１】
第５の発明によれば、使用者は、たとえば同じ場所で複数のパノラマ写真を撮影する場合に、各パノラマ写真に合成された方位の情報から、各パノラマ写真に写る被写体（山など）を区別することができるようになる。
【００２２】
第６の発明は、第１の発明ないし第５の発明のいずれかに従属し、合成手段によって合成される情報の位置を決定する合成位置決定手段をさらに備える。
【００２３】
第６の発明では、合成位置決定手段（２０，Ｓ１５）は、たとえば、順序情報を合成する位置を、左上などの画像を閲覧する者にとって閲覧の邪魔にならない位置に決定する。
【００２４】
第６の発明によれば、撮影されたパノラマ写真は、閲覧する者にとって閲覧の邪魔にならない位置に、順序情報が合成される。
【００２５】
第７の発明は、第１の発明ないし第５の発明のいずれかに従属し、合成手段によって情報が合成された画像のそれぞれを記録する記録手段をさらに備える。
【００２６】
第７の発明では、記録手段（２０，２８，Ｓ２１）は、順序情報や方位の情報が合成された各画像を記録する。
【００２７】
第７の発明によれば、使用者は、個別に撮影した各画像を、たとえばパノラマ写真として記録（保存）することができる。
【００２８】
第８の発明は、撮影操作に応じて画像を撮影する撮影手段（３６，３８）を備える携帯端末のプロセサ（２０）を、撮影操作がされたとき、方位情報を取得する方位情報取得手段（Ｓ３）、撮影操作がされたとき、方位情報取得手段によって取得された方位情報と撮影装置によって撮影された画像とを対応付けて記憶する記憶手段（Ｓ９）、および記憶手段によって記憶された画像のそれぞれに対応付けられた方位情報に基づいて、撮影された画像配置の順序情報を画像に合成する合成手段（Ｓ１７）として機能させる、合成プログラムである。
【００２９】
第８の発明でも、第１の発明と同様に、使用者は、方位情報に基づいて決められた順序情報を参照して、複数に分割されて現像された画像を容易に再配置する事ができる。
【発明の効果】
【００３０】
この発明によれば、使用者は、各画像に合成された順序情報を参照して、複数の画像を容易に再配置する事ができる。
【００３１】
この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００３２】
【図１】図１は本発明の携帯端末を示すブロック図である。
【図２】図２は図１に示す携帯端末の外観を示す図解図である。
【図３】図３は図１に示す携帯端末の傾きの一例を示す図解図である。
【図４】図４は図１に示すＬＣＤモニタに表示されるスルー画像およびＧＵＩの表示例を示す図解図である。
【図５】図５は或る風景がパノラマ写真として撮影されたときの一例を示す図解図である。
【図６】図６は図１に示す携帯端末によって撮影された画像データにおける重心位置を示す図解図である。
【図７】図７は図１に示すＲＡＭに記憶されるパノラマ撮影テーブルの一例を示す図解図である。
【図８】図８は図１に示すＲＡＭに記憶されるソートテーブルの一例を示す図解図である。
【図９】図９は図１に示す携帯端末のパノラマモードで撮影されたパノラマ写真の一例を示す図解図である。
【図１０】図１０は図１に示すＲＡＭのメモリマップの一例を示す図解図である。
【図１１】図１１は図１に示すＣＰＵのパノラマ撮影処理を示すフロー図である。
【発明を実施するための形態】
【００３３】
図１を参照して、携帯端末１０は、ＣＰＵ（プロセサまたはコンピュータと呼ばれることもある。）２０および入力装置であるキー入力装置２２を含む。ＣＰＵ２０は、ＣＤＭＡ方式に対応する無線通信回路１４を制御して発呼信号を出力する。出力された発呼信号は、アンテナ１２から送出され、基地局を含む移動通信網に送信される。通話相手が応答操作を行うと、通話可能状態が確立される。
【００３４】
通話可能状態に移行した後にキー入力装置２２によって通話終了操作が行われると、ＣＰＵ２０は、無線通信回路１４を制御して、通話相手に通話終了信号を送信する。そして、通話終了信号の送信後、ＣＰＵ２０は、通話処理を終了する。また、先に通話相手から通話終了信号を受信した場合も、ＣＰＵ２０は、通話処理を終了する。さらに、通話相手によらず、移動通信網から通話終了信号を受信した場合も、ＣＰＵ２０は通話処理を終了する。
【００３５】
携帯端末１０が起動している状態で通話相手からの発呼信号がアンテナ１２によって捉えられると、無線通信回路１４は、着信をＣＰＵ２０に通知する。また、ＣＰＵ２０は、ＬＣＤドライバ２４によって表示装置であるＬＣＤモニタ２６を制御し、着信通知に記述された発信元情報をＬＣＤモニタ２６に表示させる。そして、ＣＰＵ２０は、図示しない着信通知用のスピーカから着信音を出力させる。
【００３６】
通話可能状態では、次のような処理が実行される。通話相手から送られてきた変調音声信号（高周波信号）は、アンテナ１２によって受信される。受信された変調音声信号は、無線通信回路１４によって復調処理および復号処理を施される。そして、得られた受話音声信号は、スピーカ１８から出力される。一方、マイク１６によって取り込まれた送話音声信号は、無線通信回路１４によって符号化処理および変調処理を施される。そして、生成された変調音声信号は、上述と同様、アンテナ１２を利用して通話相手に送信される。
【００３７】
また、携帯端末１０には、携帯端末１０の傾きを検出する傾きセンサ３２および方位を検出する電子コンパス３４が内蔵されている。傾きセンサ３２は、半導体式の３軸の加速度センサであり、各軸の重力加速度をＣＰＵ２０に出力する。そして、ＣＰＵ２０は、各軸の重力加速度の値に対して逆三角関数を用いて、携帯端末１０の傾き、つまり角度を算出する。また、電子コンパス３４は、３軸の電子コンパスであり、３つの地磁気センサおよび制御回路から構成される。さらに、制御回路は、３つの地磁気センサによって検出された磁気データから地磁気データを抽出して、ＣＰＵ２０に出力する。そして、ＣＰＵ２０は、制御回路から出力された地磁気データと、傾きセンサ３２が出力する角度とに基づいて、方位角（方位）を得る。また、取得される方位は、イメージセンサ３８およびフォーカスレンズ４０が並ぶ光軸方向と一致する。なお、本実施例における方位角は、北（Ｎ）を０度として時計回りに、東（Ｅ）が９０度、南（Ｓ）が１８０度および西（Ｗ）が２７０度とする。また、各地磁気センサは、ホール素子が用いられているが、ＭＲ（Ｍａｇｎｅｔ−Ｒｅｓｉｓｔｉｖｅ）素子やＭＩ（Ｍａｇｎｅｔ−Ｉｍｐｅｄａｎｃｅ）素子が用いられてもよい。
【００３８】
さらに、携帯端末１０は、カメラ制御回路３６およびイメージセンサ３８を撮影手段として機能させることで、カメラ機能を実行する。カメラ機能は、オートフォーカス処理によって、被写体にピントの合った画像データを記録する。具体的には、キー入力装置２２によってカメラ機能を実行する操作が行われると、ＣＰＵ２０は、カメラ制御回路３６にカメラ機能を実行するために必要な命令を与える。カメラ制御回路３６は、イメージセンサ３８およびフォーカスレンズ４０を制御し、イメージセンサ３８によって取得された披写界の光学像を画像データに変換する。そして、ＣＰＵ２０は、カメラ制御回路３６から得られる、被写体にピントを合わせた画像データをＪＰＥＧ方式の圧縮画像データに変換してフラッシュメモリ２８に記録する。また、このカメラ機能では、撮影する画像のサイズをＷＱＶＧＡ（２４０×４００）、ＶＧＡ（６４０×４８０）およびＵＸＧＡ（１６００×１２００）から選択することが可能である。もちろん、本発明のカメラ機能にて、撮影する画像のサイズは、これらに限定されるものではなく、適宜他のサイズであってもよい。また、画像を圧縮する方式は、ＪＰＥＧ方式ではなく、ＧＩＦおよびＰＮＧなどの方式であってもよい。
【００３９】
また、カメラ機能が実行された状態では、被写界のリアルタイム動画像（以下、スルー画像と言う）をＬＣＤモニタ２６に表示させる処理を行う。具体的には、ＣＰＵ２０は、カメラ制御回路３６に内蔵されるイメージセンサドライバを起動させ、露光動作および指定された読み出し領域に対応する電荷読み出し動作をイメージセンサドライバに命令する。
【００４０】
イメージセンサドライバは、イメージセンサ３８の撮像面の露光と、当該露光によって生成された電荷の読み出しとを実行する。この結果、生画像信号が、イメージセンサ３８から出力される。また、イメージセンサ３８から出力された生画像信号は、カメラ制御回路３６に入力される。カメラ制御回路３６は、入力された生画像信号に対して、色分離、白バランス調整、ＹＵＶ変換などの処理を施し、ＹＵＶ形式の画像データを生成する。そして、ＣＰＵ２０は、ＹＵＶ形式の画像データが入力される。
【００４１】
ＣＰＵ２０に入力されたＹＵＶ形式の画像は、ＣＰＵ２０によってＲＡＭ３０に一旦格納される。さらに、格納されたＹＵＶ形式の画像データは、ＣＰＵ２０を介して、ＲＡＭ３０からＬＣＤドライバ２４に与えられる。また同時に、ＣＰＵ２０は、間引き読み出し命令をＬＣＤドライバ２４に発行する。そして、ＬＣＤドライバ２４は、ＣＰＵ２０から発行された間引き読み出し命令に従ってＹＵＶ形式の画像データをＬＣＤモニタ２６に出力する。よって、被写界を表す低解像度のスルー画像がＬＣＤモニタ２６に再現される。
【００４２】
なお、ＹＵＶ形式の画像データにおいて、Ｙは輝度を意味し、Ｕは青色から輝度を引いた色差を意味し、Ｖは赤色から輝度を引いた色差を意味する。つまり、ＹＵＶ形式の画像データは、輝度信号（Ｙ）データと青色の色差信号（Ｕ）データと赤色の色差信号（Ｖ）データとから構成される。
【００４３】
なお、スルー画像の更新周期は１５ｆｐｓであり、イメージセンサ３８は、ＣＭＯＳイメージセンサである。
【００４４】
図２（Ａ），（Ｂ）は、携帯端末１０の外観を示す図解図である。また、図２（Ａ）は携帯端末１０の表面外観図であり、図２（Ｂ）は携帯端末１０の裏面外観図である。
図２（Ａ）を参照して、携帯端末１０は、板状に形成されたケースＣを有する。図２（Ａ）では図示しないマイク１６およびスピーカ１８は、ケースＣに内蔵される。内蔵されたマイク１６に通じる開口ＯＰ２は、ケースＣの長さ方向一方の表面に設けられ、内蔵されたスピーカ１８に通じる開口ＯＰ１は、ケースＣの長さ方向他方の表面に設けられる。つまり、使用者は、開口ＯＰ１を通じてスピーカ１８から出力される音を聞き、開口ＯＰ２を通じてマイク１６に音声を入力する。
【００４５】
キー入力装置２２は、通話キー、終話キー、カーソルキー、確定キーおよび０〜９の数字キーを含み、それぞれのキーは、ケースＣの表面に設けられる。ＬＣＤモニタ２６は、モニタ画面がケースＣの表面に露出するように取り付けられる。
【００４６】
使用者は、通話キーを押下することで応答操作を行い、終話キーを押下することで通話終了操作を行う。また、カーソルキーまたは数字キーによってＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を操作し、操作の結果を確定キーによって確定する。また、０〜９の数字キーを利用して、通話相手の電話番号を入力する。そして、終話キー２２ｃを長押しすることで携帯端末１０の電源オン／オフ操作を行うことができる。なお、確定キーは、カメラ機能が実行されていれば、撮影キーとして機能する。つまり、使用者は、カメラ機能が実行されている場合に、確定キーを押下して撮影操作を行い、フラッシュメモリ２８に画像データを記録させる。
【００４７】
続いて、図２（Ｂ）を参照して、図２（Ｂ）では図示しないイメージセンサ３８およびフォーカスレンズ４０は、ケースＣに内蔵されており、内蔵されたイメージセンサ３８およびフォーカスレンズ４０に通じる開口ＯＰ３は、ケースＣの長さ方向他方の裏面に設けられる。つまり、使用者は、ＬＣＤモニタ２６の裏側に設けられた開口ＯＰ３を被写体に向けることで、任意の被写体を撮影することができる。なお、開口ＯＰ３は、透明なプラスチックカバーで覆われている。
【００４８】
なお、図２（Ａ），（Ｂ）において、傾きセンサ３２は、携帯端末１０の縦方向（ｙ軸方向）、横方向（ｘ軸方向）および前後方向（ｚ軸方向）の３軸で各々の重力加速度を検出する。
【００４９】
次に、図３（Ａ）−（Ｄ）を参照して、携帯端末１０の傾きを説明する。図３（Ａ）は、携帯端末１０が縦向きで保持されている状態を示す図解図であり、携帯端末１０の角度は０度である。また、図３（Ｂ）は、携帯端末１０が縦向きから左に傾けられて保持されている状態を示す図解図であり、携帯端末１０の角度は９０度である。さらに、図３（Ｃ）は、携帯端末１０が縦向きから反対に向けられて保持されている状態を示す図解図であり、携帯端末１０の角度は１８０度である。そして、図３（Ｄ）は、携帯端末１０が縦向きから右に傾けられて保持されている状態を示す図解図であり、携帯端末１０の角度は２７０である。つまり、傾きセンサ３２によって検出される携帯端末１０の角度は、縦向きが０度の状態で、反時計回り方向に回されるにつれて大きくなり、３６０度回転すると０度に戻る。
【００５０】
ここで、本実施例のカメラ機能は、通常の撮影を行うモード（通常モード）とは別に、パノラマ撮影を行うモード（パノラマモード）を設定することが可能である。このパノラマモードでは、連続して撮影された複数の画像データを１つのパノラマ写真として扱う。つまり、使用者は、携帯端末１０のカメラ機能をパノラマ撮影モードに設定して、複数の画像を連続して撮影すると、パノラマ撮影を行うことができる。以下、図４（Ａ）−（Ｃ）を参照して、通常モードとパノラマ撮影モードとを切り替える操作について説明する。
【００５１】
図４（Ａ）は、カメラ機能によって撮影されたスルー画像を表示するＬＣＤモニタ２６の表示例を示す図解図である。図４（Ａ）を参照して、ＬＣＤモニタ２６は、状態表示領域５０、機能表示領域５２およびキー表示領域５４を含む。状態表示領域５０には、アンテナ１２による電波受信状態、充電池の残電池容量および現在日時などが表示される。なお、状態表示領域５０に表示される現在日時は、ＣＰＵ２０に内蔵されるＲＴＣ２０ａから取得される。
【００５２】
また、機能表示領域５２には、カメラ機能によって撮影されたスルー画像およびカメラ機能のモードを示すモード表示５８が表示される。なお、図４（Ａ）に示す状態では、モード表示５８内に、「通常撮影」の文字列が表示されており、カメラ機能が通常モードである事を示す。
【００５３】
そして、キー表示領域５４には、機能キー５６が含まれる。この機能キー５６に対応するキー（たとえば、右方向のカーソルキー）が操作されると、図４（Ｂ）に示す、機能設定表示６０が機能表示領域５２に表示される。この機能設定表示６０は、「１．モード切替」、「２．時刻スタンプ」、「３．セルフタイマー」および「４．画像サイズ」がメニュー表示されている。そして、各メニューを示す数字と同じ数字キーが押下されると、その数字キーが示す数字が付されたメニューが指定される。
【００５４】
「１．モード切り替え」が指定されると、携帯端末１０は、カメラ機能が通常モードであればパノラマモードに切り替え、カメラ機能がパノラマモードであれば通常モードに切り替える。「２．時刻スタンプ」が指定されると、携帯端末１０は、撮影した画像データに時刻を示す数字列を合成する状態になる。「３．セルフタイマー」が指定されると、携帯端末１０は、撮影操作がされた後、一定時間が経過してから画像データをフラッシュメモリ２８に記録（撮影）する。「４．画像サイズ」は、撮影する画像のサイズをＷＱＶＧＡ、ＶＧＡおよびＵＸＧＡから選択するためのメニュー画面をさらに表示する。つまり、使用者は、「４．画像サイズ」のメニューを指定することで、画像データのサイズを切り替える。
【００５５】
そして、「１」の数字キーが押下されると、図４（Ｃ）に示すように、モード表示５８内の文字列が「パノラマ撮影」の文字列に切り替わる。そして、使用者によってパノラマモードが設定された状態で確定キーが連続して押下されると、画像データは、ＲＡＭ３０に記憶される。そして、パノラマモードが終了されると、各画像データは、パノラマ写真としてフラッシュメモリ２８に記録される。なお、パノラマモードを終了させるためには、通常モードに切り替えればよい。
【００５６】
ここで、パノラマモードで撮影を行うと、各画像データにはパノラマ配置を示す番号（順序情報）が合成される。具体的に、パノラマモードで撮影されると、撮影された画像データに、ＲＴＣ２０ａから取得される時刻、傾きセンサ３２によって検出される携帯端末１０の角度および電子コンパス３４によって取得される方位を対応付けて、ＲＡＭ３０に一時記憶する。そして、一時記憶した各画像データは、方位および時刻に基づいて、ソーティングされ番号が割り振られる。また、番号が合成される位置は、画像データに対応付けられた携帯端末１０の角度に基づいて決められる。これによって、各画像データは、撮影した順番に関係なく、対応付けられた方位および時刻に基づいて、パノラマ配置を示す番号が合成される。以下、詳細な処理について、図面を用いて説明する。
【００５７】
まず、図５（Ａ），（Ｂ）を参照して、パノラマモードにおける撮影される画像データについて説明する。図５（Ａ）は、或る場所において、北（Ｎ）、北東（ＮＥ）および東（Ｅ）の方角の風景を示す図解図である。そして、図５（Ｂ）は、図５（Ａ）に示す風景をパノラマモードで撮影した６つの画像データであり、各画像データのファイル名は、撮影した順番に、「００１．ｊｐｇ」、「００２．ｊｐｇ」、「００３．ｊｐｇ」、「００４．ｊｐｇ」、「００５．ｊｐｇ」および「００６．ｊｐｇ」となっている。
【００５８】
また、「００１．ｊｐｇ」および「００６．ｊｐｇ」の画像データは、図３（Ｂ）または図３（Ｄ）に示す状態で撮影されており、横向き画像データと言うことにする。「００２．ｊｐｇ」、「００３．ｊｐｇ」および「００４．ｊｐｇ」の画像データは、図３（Ａ）または図３（Ｃ）に示す状態で撮影されており、縦向き画像データ言うことにする。そして、「００５．ｊｐｇ」の画像データは、携帯端末１０が右に傾けられた状態で撮影されており、右傾斜画像データと言うことにする。
【００５９】
また、縦向き画像データ、横向き画像データおよび右傾斜画像データのそれぞれは、図６（Ａ）−（Ｃ）に示す位置の方位が対応付けられる。図６（Ａ）を参照して、縦向き画像データでは、点Ｐａの位置と、光軸方向とが一致するため、画像内の点Ｐａの位置が示す方位が縦向き画像データに対応付けられる。次に、図６（Ｂ）を参照して、横向き画像データでは、点Ｐｂの位置と、光軸方向とが一致するため、画像内の点Ｐｂの位置が示す方位が横向き画像データに対応付けられる。そして、図６（Ｃ）を参照して、右傾斜画像データでは、点Ｐｃの位置と、光軸方向とが一致するため、画像内の点Ｐｃの位置が示す方位が右傾斜画像データに対応付けられる。
【００６０】
なお、点Ｐａ、点Ｐｂおよび点Ｐｃが示す座標は、画像データにおける重心座標であるため、他の角度で傾く右傾斜画像データであっても、画像における、対応付けられる方位の位置座標が、変わることは無い。
【００６１】
また、図示はしていないが、携帯端末１０が左に傾けられた状態で撮影されると、その画像データは、左傾斜画像データと言うことにする。そして、右傾斜画像データおよび左傾斜画像データのそれぞれを区別しない場合には、傾斜画像データと言う。
【００６２】
続いて、図５（Ｂ）を再び参照して、「００１．ｊｐｇ」〜「００６．ｊｐｇ」の画像データのそれぞれをＲＡＭ３０のバッファに一旦格納（一時的に記憶）する手順について説明する。図７は、バッファに一旦格納された画像データの一覧を示すパノラマ撮影テーブルの内容を示す図解図である。このパノラマ撮影テーブルは、「時刻」、「ファイル名」、「方位角」および「傾き」の列から構成されており、撮影された順番で各行にデータが記憶される。
【００６３】
たとえば、パノラマモードが設定された状態で、１０時に方位角３３．７５度（おおよそ、北北東）の方向を向き、携帯端末１０が図３（Ｂ）に示す状態で撮影すると、パノラマ撮影テーブルの一番上の行にデータが記憶される。つまり、時刻の欄に「１０：００：００」、ファイル名の欄に「００１．ｊｐｇ」、方位角の欄に「３３．７５」および傾きの欄に「９０．００」が記憶され、ＲＡＭ３０のバッファに、「００１．ｊｐｇ」の横向き画像データが格納される。
【００６４】
次に、１０時５秒に方位角６０．００度の方向を向き、携帯端末１０が図３（Ａ）に示す状態で撮影すると、パノラマ撮影テーブルの２段目の行にデータが記憶される。つまり、時刻の欄に「１０：００：０５」、ファイル名の欄に「００２．ｊｐｇ」、方位角の欄に「６０．００」および傾きの欄に「０．００」が記憶され、さらにＲＡＭ３０のバッファに、「００２．ｊｐｇ」の横向き画像データがさらに格納される。
【００６５】
そして、使用者が撮影する方向と携帯端末１０の傾きとを変えながら、撮影操作を３回続けて行い、１０時５０秒に１回目と同じ方向、同じ傾きで撮影すると、パノラマ撮影テーブルの６段目の行（最後の行）にデータが記憶される。つまり、時刻の欄に「１０：００：００」、ファイル名の欄に「００１．ｊｐｇ」、方位角の欄に「３３．７５」および傾きの欄に「９０．００」が記憶され、ＲＡＭ３０のバッファに、「００６．ｊｐｇ」の横向き画像データがさらに格納される。
【００６６】
続いて、パノラマモードが終了されれば、撮影された各画像データは、パノラマ撮影テーブルの「方位角」および「時刻」の列に基づいて、ソーティングされる。図７を参照して、「方位角」の列には、「３３．７５」、「６０．００」、「１１６．２５」、「７．５０」、「８８．１３」および「３３．７５」の順番で、方位角が記憶されている。そのため、「方位角」の列が「７．５０」、「３３．７５」、「３３．７５」、「６０．００」、「８８．１３」および「１１６．２５」となるように、方位角が小さい順番にソーティングされる。また、「３３．７５」の方位角が対応付けられた画像データが２つあるため、さらに「時刻」の列に基づいて、ソーティングされる。つまり、時刻の列では、「１０：００：００」、「１０：００：５０」の順となるよう、時刻が早い順番にソーティングされる。これによって、同じ方位が対応付けられた画像データが複数在る場合に、撮影された時刻に基づいて番号（順序情報）が合成される。そして、ソーティングされた結果は、図８に示すソートテーブルに記憶される。
【００６７】
図８に示すソートテーブルは、図７に示すパノラマ撮影テーブルの内容が、方位角および時刻に基づいてソーティングされた結果を示す。このソートテーブルは、「方位角」、「時刻」、「ファイル名」および「傾き」の列から構成されている。そして、一番上の行には、最も小さい方位角が対応付けられた画像データのファイル名および傾きが記憶される。
【００６８】
つまり、一番上の行において、方位角の欄には「７．５０」が記憶され、対応する時刻の欄には「１０：００：３０」、ファイル名の欄には「００４．ｊｐｇ」および傾きの欄には「０．００」がそれぞれ記憶される。次の２段目の行では、方位角の欄には「３３．７５」が記憶され、対応する時刻の欄には「１０：００：００」、ファイル名の欄には「００１．ｊｐｇ」および傾きの欄には「９０．００」がそれぞれ記憶される。次の３段目の行では、方位角の欄には「３３．７５」が記憶され、対応する時刻の欄には「１０：００：５０」、ファイル名の欄には「００６．ｊｐｇ」および傾きの欄には「９０．００」のがそれぞれ記憶される。次の４段目の行では、方位角の欄には「６０．００」が記憶され、対応する時刻の欄には「１０：００：０５」、ファイル名の欄には「００２．ｊｐｇ」、傾きの欄には「０．００」がそれぞれ記憶される。次の５段目の行では、方位角の欄には「８８．１３」が記憶され、対応する時刻の欄には「１０：００：３５」、ファイル名の欄には「００５．ｊｐｇ」および傾きの欄には「３３５．００」がそれぞれ記憶される。そして、６段目の行（最後の行）では、方位角の欄には「１１６．２５」が記憶され、対応する時刻の欄には「１０：００：１０」、ファイル名の欄には「００３．ｊｐｇ」および傾きの欄には「０．００」がそれぞれ記憶される。
【００６９】
そして、ソートテーブルに基づいて、ＲＡＭ３０内に設けられたバッファに格納されている画像データには、図９に示すように、番号が合成される。
【００７０】
図９を参照して、「００１．ｊｐｇ」〜「００６．ｊｐｇ」の画像データにおける左上には、（１）〜（６）の番号がそれぞれ合成される。つまり、「００４．ｊｐｇ」の縦向き画像データには（１）の番号が合成され、「００１．ｊｐｇ」の横向き画像データには（２）の番号が合成され、「００６．ｊｐｇ」の横向き画像データには（３）の番号が合成され、「００２．ｊｐｇ」の縦向き画像データには（４）の番号が合成され、「００５．ｊｐｇ」の右傾斜画像データには（５）の番号が合成され、「００３．ｊｐｇ」の縦向き画像データには（６）の番号が合成される。
【００７１】
また、番号が合成される方向および位置は、各画像データに対応付けられた傾きから決められる。まず、合成される番号の方向は、撮影された被写界における地面に対して垂直方向となるようにする。具体的には、画像データに対応付けられた傾きが９０度であれば、当該画像データが地面に対して左方向に９０度傾いて撮影されたと分かるため、地面に対する垂直方向を求める事ができる。これによって、使用者は、合成された番号によって、画像データにおける地面の方向を正確に認識して、パノラマ配置をすることができるようになる。
【００７２】
もちろん、本発明では、合成される番号の方向は、上記のように、撮影された被写界における地面に対して垂直方向に限定されるものではなく、その他、撮影された被写界における地面に対して水平方向など、適宜の方向をとることができる。
【００７３】
次に、合成される番号の位置は、画像内において、最も地面から離れた位置の左上となるようにする。具体的には、画像データを仮想平面上で、地面の方向が下向きとなるように回転させ、左上を示す座標に基づいて、合成される番号の位置が決定される。
【００７４】
ここで、番号を合成する位置を上側とするのは、パノラマ写真において撮影者が必要とする被写体（山など）は下部に含まれるため、被写体の上部（空など）は撮影者にとって重要で無い場合が多いためである。また、左側とするのは、画像のラスタスキャンによって始まる位置となるため、ラスタスキャンによって位置を決定する処理を早くするためである。そのため、本実施例では、合成される番号の位置は左上とする。これによって、携帯端末１０によって撮影されたパノラマ写真では、使用者とって邪魔にならない位置に、番号を合成することができる。なお、ラスタスキャンが右上端から始まる場合に限り、合成される番号の位置は、右上端であってもよい。さらに、他の実施例では、順序情報が合成される位置は、使用者によって任意に決められるようになっていてもよい。
【００７５】
また、「００１．ｊｐｇ」、「００４．ｊｐｇ」、「００５．ｊｐｇ」および「００６．ｊｐｇ」には、８方位（北、北東、東、南東、南、南西、西、北西）を示す方位の情報がさらに合成される。たとえば、「００１．ｊｐｇ」および「００６．ｊｐｇ」の画像データには、北東を意味する「ＮＥ」がそれぞれ合成され、「００４．ｊｐｇ」の画像データには、北を意味する「Ｎ」が合成され、「００４．ｊｐｇ」の画像データには、東を意味する「Ｅ」が合成される。また、合成される方位情報には、地面方向をより明確に認識できるように、補助線が付加されている。これによって、使用者は、同じ場所で複数のパノラマ写真を撮影する場合に、各パノラマ写真に合成された方位から、各パノラマ写真に写る被写体（山など）を区別することができるようになる。
【００７６】
ここで、方位の情報を合成する場合には、光軸におけるイメージセンサ３８およびフォーカスレンズ４０の距離から画角を算出し、光軸が示す方向（方位）と算出された画角とから、対象の画像データ内に８方位が含まれるか判断する。そして、画像データ内に８方位が含まれる場合に、「Ｎ」などのアルファベットを合成する。また、本実施例におけるパノラマモードでは、撮影する度に画角が変化しないようにされているため、パノラマ撮影テーブルに画角のデータが記憶されない。
【００７７】
なお、方位の情報は、画像データの下側に合成されるが、使用者によって合成するか否かを決定できる。つまり、使用者は、合成される方位の情報が邪魔だと判断すれば、方位の情報を合成しないようにできる。また、図９では、合成された方位の情報を認識し易くするために大きく描画したが、目立たないようにするために、合成される方位の情報、つまりアルファベットの大きさを小さくしてもよい。
【００７８】
図１０は、ＲＡＭ３０のメモリマップを示す図解図である。図１０を参照して、ＲＡＭ３０のメモリマップ３００には、プログラム記憶領域３０２およびデータ記憶領域３０４が含まれる。プログラムおよびデータの一部は、フラッシュメモリ２８から一度に全部または必要に応じて部分的にかつ順次的に読み出され、ＲＡＭ３０に記憶されてからＣＰＵ２０などで処理される。
【００７９】
プログラム記憶領域３０２は、携帯端末１０を動作させるためのプログラムを記憶する。携帯端末１０を動作させるためのプログラムは、カメラ機能プログラム３１０などによって構成される。また、カメラ機能プログラム３１０は、カメラ機能を実行するためのプログラムであり、さらにパノラマ撮影プログラム３１２を含む。そして、パノラマ撮影プログラム３１２は、パノラマモードによって撮影された複数の画像データに順序情報および方位の情報を合成するためのプログラムである。
【００８０】
なお、図示は省略するが、携帯端末１０を動作させるためのプログラムは、通話を行うためのプログラムなどを含む。
【００８１】
データ記憶領域３０４には、スルー画像バッファ３２０、パノラマ撮影バッファ３２２、ソートバッファ３２４が設けられる。また、番号画像データ３２６および方位画像データ３２８が記憶される。
【００８２】
スルー画像バッファ３２０は、カメラ制御回路３６から読み出されたＹＵＶ形式の画像データが一時的に記憶（一旦格納）されるバッファである。パノラマ撮影バッファ３２２は、パノラマモードで撮影された画像のそれぞれが一時的に格納されるバッファであり、さらに図７に示すパノラマ撮影テーブルも一時的に記憶される。ソートバッファ３２４は、パノラマ撮影テーブルがソーティングされるときに利用されるバッファであり、図８に示すソートテーブルが一時的に記憶される。番号画像データ３２６は、画像データに合成される（１）〜（６）（（６）以上も含む）の番号を示す画像データである。方位画像データは、画像データに合成される方位の情報、つまり「Ｎ」，「ＮＥ」および「Ｅ」などのアルファベットを示す画像データである。
【００８３】
なお、図示は省略するが、データ記憶領域３０４には、図４（Ａ）−（Ｃ）に示すＧＵＩを表示すためのＧＵＩ画像データが記憶されると共に、携帯端末１０の動作に必要な他のカウンタやフラグも設けられる。
【００８４】
ＣＰＵ２０は、「Ｌｉｎｕｘ」および「ＲＥＸ」などのＲＴＯＳ（ｒｅａｌ−ｔｉｍｅ  ｏｐｅｒａｔｉｎｇ  ｓｙｓｔｅｍ）の制御下で、図１１に示すパノラマ撮影処理などを含む複数のタスクを並列的に実行する。
【００８５】
図１１は、パノラマ撮影処理を示すフロー図である。たとえば、使用者がパノラマモードに設定する操作を行うと、ＣＰＵ２０は、ステップＳ１では、撮影操作か否かを判断する。つまり、確定キーが押下されたか否かを判断する。ステップＳ１で“ＮＯ”であれば、つまり撮影操作がされなければ、ステップＳ１の処理を繰り返し実行する。一方、ステップＳ１で“ＹＥＳ”であれば、つまり確定キーが押下されれば、ステップＳ３で電子コンパス３４から方位データを取得する。つまり、撮影されたときの光軸方向に対応する方位角を取得する。
【００８６】
続いて、ステップＳ５では、傾きセンサ３２から角度を算出する。つまり、撮影に合わせて、傾きセンサ３２から出力される各軸の重力加速度に対して逆三角関数を用いて、携帯端末１０の角度を算出する。続いて、ステップＳ７では、現在時刻を取得する。つまり、ＲＴＣ２０ａから現在時刻を取得する。続いて、ステップＳ９では、画像データと、対応する時刻、方位データおよび角度とを記憶する。つまり、パノラマ撮影バッファ３２２に、画像データを一時的に記憶し、さらにその画像データに対応する時刻、データ名、方位角および傾き（角度）をパノラマ撮影テーブルに記憶する。続いて、ステップＳ１１では、終了操作か否かを判断する。つまり、パノラマモードを終了する操作がされたか否かを判断する。
【００８７】
ステップＳ１１で“ＮＯ”であれば、つまりパノラマモードが終了されなければ、ステップＳ１に戻る。一方、ステップＳ１１で“ＹＥＳ”であれば、つまりパノラマモードが終了されれば、ステップＳ１３で、パノラマ撮影バッファ３２２内の画像データをソーティングする。つまり、パノラマ撮影テーブルに記録される各データを、方位角および時刻に基づいてソーティングして、ソートバッファ３２４内にソートテーブルを作成する。
【００８８】
続いて、ステップＳ１５では、角度に基づいて合成位置を決定する。つまり、画像データを仮想平面上で、地面の方向が下向きとなるように回転させ、左上を示す座標を求める。続いて、ステップＳ１７では、ソーティング結果および角度に基づいて各画像データに番号を合成する。つまり、各画像データにおいて、地面に対する垂直方向を求め、作成したソートテーブルに基づいて、番号（順番情報）を合成する。続いて、ステップＳ１９では、角度に基づいて画像データに方位を合成する。つまり、ステップＳ１７の処理と同様に、地面に対する垂直方向を求め、被写界に８方位が含まれていれば方位の情報を合成する。
【００８９】
続いて、ステップＳ２１では、各画像データを記録し、パノラマ撮影処理を終了する。つまり、ステップＳ２１では、番号および方位の情報が合成された画像データのそれぞれをパノラマ写真として、フラッシュメモリ２８に記録する。つまり、使用者は、個別に撮影した各画像データを、パノラマ写真として保存することができる。
【００９０】
なお、パノラマモードでは、順序情報および方位の情報が合成されている画像データと、順序情報および方位の情報が合成されていない画像データとのそれぞれを記録するようにしてもよい。
【００９１】
以上の説明から分かるように、携帯端末１０は、カメラ制御回路３６、イメージセンサ３８およびフォーカスレンズ４０を含み、使用者は、携帯端末１０によって画像データを撮影することができる。また、携帯端末１０は、電子コンパス３４を内蔵しており、イメージセンサ３８およびフォーカスレンズ４０の光軸方向が示す方位を取得することができる。たとえば、パノラマモードが設定されている場合に、撮影された画像データのそれぞれには方位角などが対応付けられて一時記憶される。
【００９２】
そして、パノラマモードが終了されると、各画像データは、各画像データに対応付けられた方位角に基づいて、パノラマ配置の順序を示す番号が合成される。
【００９３】
これによって、使用者は、方位角に基づいて決められた順序情報を参照して、複数に分割されて現像されたパノラマ写真を容易に再配置する事ができるようになる。
【００９４】
なお、イメージセンサ３８は、ＣＭＯＳイメージセンサではなく、ＣＣＤイメージセンサであってもよい。また、順序情報は、番号だけに限らず、「ａｂｃ」や「左中右上下」などの順序を示す文字列などであってもよい。つまり、本発明における順序情報としては、使用者が順序を認識できるものを用いればよいので、順序情報として、数字、記号、図柄、文字およびその他の情報、またはこれらの任意の組み合わせなど適宜なものを用いることができる。さらに、図９に示されるように、括弧で数字を括る以外にも、このような括弧（）を用いなくてもよいし、括弧〔〕など、他の括弧を用いることもできる。また、合成される方位の情報は、８方位に、北北東、東北東、東南東、南南東、南南西、西南西、西北西および北北西を加えた１６方位や、その他、適宜な数種類の方位の情報を組み合わせて合成される方位の情報としてもよい。
【００９５】
また、携帯端末１０の通信方式には、ＣＤＭＡ方式に限らず、Ｗ‐ＣＤＭＡ方式、ＴＤＭＡ方式、ＰＨＳ方式およびＧＳＭ方式などを採用してもよい。携帯端末１０のみに限らず、カメラ機能を備えるＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｅｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）などの携帯情報端末などであってもよい。
【符号の説明】
【００９６】
１０    …  携帯端末
２０    …  ＣＰＵ
２２    …  キー入力装置
２６    …  ＬＣＤモニタ
２８    …  フラッシュメモリ
３０    …  ＲＡＭ
３２    …  傾きセンサ
３４    …  電子コンパス
３６    …  カメラ制御回路
３８    …  イメージセンサ
４０    …  フォーカスレンズ
【図１】
2010171743.tif 000003
【図２】
2010171743.tif 000004
【図３】
2010171743.tif 000005
【図４】
2010171743.tif 000006
【図５】
2010171743.tif 000007
【図６】
2010171743.tif 000008
【図７】
2010171743.tif 000009
【図８】
2010171743.tif 000010
【図９】
2010171743.tif 000011
【図１０】
2010171743.tif 000012
【図１１】
2010171743.tif 000013