(57)【要約】【課題】  装置本体を大型化させずに、かつ、複雑な駆動制御を行うことなく、目標中心点からの画像中心点のズレを補正することである。【解決手段】  本デジタルカメラ装置は、レリーズ操作手段、撮像手段、画像データ記憶手段及び補正処理手段を有する。レリーズ操作手段は、利用者により操作されることによりレリーズ信号を出力する。撮像手段は、レリーズ信号に応じて被写体の像を結像体に結像する。画像データ記憶手段は、結像体に結像された像に基づく画像データを記憶する。補正処理手段は、結像体の変位及び結像体の姿勢変化の少なくとも一方の検出結果に基づいて、結像体に結像された像の画像データを、その画像中心点がレリーズ信号出力時又はその直前に結像体上の像中心であった地点に近づくように中心点補正処理を行う。【選択図】  図１
2006060308.tif 000002
【特許請求の範囲】
【請求項１】
利用者により操作されることによりレリーズ信号を出力するレリーズ操作手段と、該レリーズ信号に応じて被写体の像を結像体に結像する撮像手段と、該結像体に結像された像に基づく画像データを記憶する画像データ記憶手段とを備えたデジタルカメラ装置において、
上記結像体の変位及び該結像体の姿勢変化の少なくとも一方の検出結果に基づいて、該結像体に結像された像の画像データを、その画像中心点が上記レリーズ信号出力時又はその直前に該結像体上の像中心であった地点に近づくように中心点補正処理を行う補正処理手段を有することを特徴とするデジタルカメラ装置。
【請求項２】
請求項１のデジタルカメラ装置において、
上記補正処理手段は、上記レリーズ信号出力時又はその直前の撮像方向に対して直交する仮想面上における、該レリーズ信号出力時又はその直前の上記結像体の位置と、結像時の該結像体の位置とを結ぶ仮想線の方向及びこれらの位置間距離を検出するための検出手段と、
該検出手段の検出結果から得られる該仮想線の方向及び該位置間距離に基づいて上記中心点補正処理を行い、その処理後の画像データを上記画像データ記憶手段に保存する制御手段とから構成されていることを特徴とするデジタルカメラ装置。
【請求項３】
請求項１のデジタルカメラ装置において、
上記補正処理手段は、上記レリーズ信号出力時又はその直前の撮像方向と、結像時の撮像方向とのなす角、及び、これらの撮像方向を含む仮想面と該レリーズ信号出力時又はその直前の撮像方向に対して直交する仮想面との交線の方向を検出するための検出手段と、
該検出手段の検出結果から得られる該なす角及び該交線の方向に基づいて上記中心点補正処理を行い、その処理後の画像データを上記画像データ記憶手段に保存する制御手段とから構成されていることを特徴とするデジタルカメラ装置。
【請求項４】
請求項１のデジタルカメラ装置において、
上記補正処理手段は、上記レリーズ信号出力時又はその直前の撮像方向に対して直交する仮想面上における、該レリーズ信号出力時又はその直前の上記結像体の位置と、結像時の該結像体の位置とを結ぶ仮想線の方向及びこれらの位置間距離を検出するための第１の検出手段と、
該レリーズ信号出力時又はその直前の撮像方向と、結像時の撮像方向とのなす角、及び、これらの撮像方向を含む仮想面と該レリーズ信号出力時又はその直前の撮像方向に対して直交する仮想面との交線の方向を検出するための第２の検出手段と、
該第１の検出手段の検出結果から得られる該仮想線の方向及び該位置間距離並びに該第２の検出手段の検出結果から得られる該なす角及び該交線の方向に基づいて上記中心点補正処理を行い、その処理後の画像データを上記画像データ記憶手段に保存する制御手段とから構成されていることを特徴とするデジタルカメラ装置。
【請求項５】
請求項２又は４のデジタルカメラ装置において、
上記仮想線の方向及び上記位置間距離を検出するための検出手段として、上記結像体に生じる加速度を連続的に検出する加速度検出手段を用い、
該加速度検出手段の検出時から一定時間遡った期間内の加速度データを記憶する加速度データ記憶手段を有し、
該仮想線の方向及び該位置間距離は、該結像体への結像時から該一定時間以下に設定された設定時間だけ遡った期間内の加速度データに基づいて算出したものであることを特徴とするデジタルカメラ装置。
【請求項６】
請求項３又は４のデジタルカメラ装置において、
上記なす角及び上記交線の方向を検出するための検出手段として、上記結像体の姿勢を連続的に検出する姿勢検出手段を用い、
該姿勢検出手段の検出時から一定時間遡った期間内の姿勢データを記憶する姿勢データ記憶手段を有し、
上記なす角及び上記交線の方向は、該結像体への結像時から該一定時間以下に設定された設定時間だけ遡った期間内の姿勢データに基づいて算出したものであることを特徴とするデジタルカメラ装置。
【請求項７】
請求項１、２、３、４、５又は６のデジタルカメラ装置において、
上記結像体の寸法は、上記画像データ記憶手段に記憶される画像データの規定画像領域よりも大きな画像領域に対応する像を結像可能な寸法であり、
上記補正処理手段は、該結像体全体に結像された最大像に対応する画像データに対し、上記中心点補正処理を行うとともに、その画像領域が該規定画像領域に一致するものとなるように画像領域補正処理も行うことを特徴とするデジタルカメラ装置。
【請求項８】
デジタルカメラ手段を備えた携帯電話機において、
上記デジタルカメラ手段として、請求項１、２、３、４、５、６又は７のデジタルカメラ装置を用いたことを特徴とする携帯電話機。
【請求項９】
利用者により操作されることによりレリーズ信号を出力するレリーズ操作手段と、該レリーズ信号に応じて被写体の像を結像体に結像する撮像手段と、該結像体に結像された像に基づく画像データを記憶する画像データ記憶手段と、上記結像体の変位及び該結像体の姿勢変化の少なくとも一方を検出するための検出手段とを備えたデジタルカメラ装置に設けられたコンピュータを機能させるためのプログラムであって、
上記検出手段の検出結果に基づいて、結像体に結像された像の画像データを、その画像中心点が上記レリーズ信号出力時又はその直前に該結像体上の像中心であった地点に近づくように中心点補正処理を行う制御手段として、上記コンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レリーズ操作手段からのレリーズ信号に応じて被写体の像を結像体に結像し、その像に基づく画像データを記憶手段に保存するデジタルカメラ装置、これを備えた携帯電話機及びプログラムに関するものである。
【背景技術】
【０００２】
利用者がデジタルカメラを用いて被写体の撮影を行う場合、一般に、レリーズ操作を行う前に、デジタルカメラに備わったＬＣＤ（Liquid Crystal Display）等の表示手段に表示される被写体の像を確認してからレリーズ操作を行う。しかし、デジタルカメラにおいては、レリーズ操作を行ってから、実際に被写体像がＣＣＤ（Charge Coupled Devices）等の結像体に結像されるまでには、タイムラグが発生する。利用者がデジタルカメラを手に持って撮影する場合には、そのレリーズ操作時に、デジタルカメラが変位したりその姿勢が変わったりしてしまうことが多い。そのため、利用者がレリーズ操作を行う時又はその直前に確認した被写体像の中心点が、実際に撮像された撮像画像の中心点からズレてしまうことが多い。
【０００３】
具体的に説明すると、利用者は、通常、レリーズ操作時又はその直前においては、図９（ａ）に示すように、被写体像の中心点（目標中心）が撮像画像の中心点（画像中心）となるようにデジタルカメラの撮像方向（図中２点鎖線の方向）を決定する。しかし、利用者がレリーズ操作を行うことにより、上記タイムラグの期間中に、その撮像方向に対して直交する仮想面（図中ＸＹ平面）上においてデジタルカメラが変位してしまうことがある。例えば、図９（ｂ）に示すように、デジタルカメラが図中矢印Ａの方向へ変位してしまうことがある。そして、このようにデジタルカメラが変位した後に、その位置で結像体に被写体の像が結像されることにより、撮像画像の中心点（画像中心）がレリーズ操作時又はその直前に確認した被写体像の中心点（目標中心）からズレてしまう。
また、利用者がレリーズ操作を行うことにより、上記タイムラグの期間中に、デジタルカメラが図中Ｘ軸まわり又は図中Ｙ軸まわりに回転して姿勢が変わり、その撮像方向が変化してしまうことがある。例えば、デジタルカメラが図中Ｘ軸まわりに回転して、図１０（ａ）に示す姿勢から図１０（ｂ）に示す姿勢に変化することがある。この場合も、その姿勢変化後に、その姿勢で結像体に被写体の像が結像されることにより、撮像画像の中心点（画像中心）がレリーズ操作時又はその直前に確認した被写体像の中心点（目標中心）からズレてしまう。
なお、利用者がレリーズ操作を行うことにより、デジタルカメラが変位するとともにその姿勢が変化することもある。このような場合も、同様に、撮像画像の中心点（画像中心）がレリーズ操作時又はその直前に確認した被写体像の中心点（目標中心）からズレてしまう。
【０００４】
特許文献１には、デジタルカメラに発生する振動に応じてＣＣＤ（結像体）を移動させることにより、撮像画像にブレが生じるのを抑制する手振れ補正機能を備えたデジタルカメラが記載されている。このデジタルカメラには、カメラ本体のハウジングの内部に、振動を検出する振動センサが設けられている。ＣＣＤはカメラ本体に対して相対移動可能なＣＣＤ移動部内に固定配置されており、振動センサにより振動が検出されると、ＣＣＤ移動部がＣＣＤに伝わる振動を打ち消すように移動する。このデジタルカメラによれば、利用者がレリーズ操作を行うことによりデジタルカメラが変位しても、撮像された画像の中心がレリーズ操作時又はその直前に確認した被写体画像の中心（目標中心）からズレるズレ量を小さくすることが可能であると考えられる。
【０００５】
また、特許文献２には、カメラに発生する振動を振動検出センサにより検出し、その検出結果に基づいて、振動により結像体面上の像が動くのを止めるようにブレ補正レンズを移動させるカメラが記載されている。このカメラも、上記特許文献１に記載のデジタルカメラと同様に、利用者がレリーズ操作を行うことによりデジタルカメラが変位しても、撮像された画像の中心がレリーズ操作時又はその直前に確認した被写体画像の中心からズレるズレ量を小さくすることが可能であると考えられる。
なお、この特許文献２に記載のカメラは、ブレ補正レンズを移動させるだけでは取り除くことができないブレを補正するために、撮像して得た画像データについて画像回復処理も行う。この画像回復処理では、露光時間、露光開始及び露光終了のタイミング等の情報並びに上記振動検出センサの検出結果に基づいて、露光中の点像分布関数を演算し、この点像分布関数に基づいて撮像した画像データの画像回復演算を行う。この処理により、露光中に結像体面上を像が変動することにより生じる画像上での像点の広がりを小さくして、ブレを少なくすることができる。この画像回復処理を利用すれば、撮像された画像のブレを小さくすることは可能であるが、撮像された画像の中心がレリーズ操作時又はその直前に確認した被写体画像の中心からズレるズレ量を小さくすることはできないものと考えられる。
【０００６】
【特許文献１】特開２００４−４０２９８号公報
【特許文献１】特開２００４−２０５８００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところが、上記特許文献１に記載のデジタルカメラのように結像体を移動させて画像中心点のズレを補正する場合や、上記特許文献２に記載のカメラのようにブレ補正レンズを移動させて画像中心点のズレを補正する場合には、その駆動機構が必要となる。そのため、カメラ本体が大型化してしまうという問題があった。この問題は、そのデジタルカメラと同様のカメラ手段を、小型化の要請が強い携帯電話機に搭載する場合には、深刻である。加えて、振動センサ等の検出手段からズレ量を予測して上記駆動機構を制御するという複雑な駆動制御を行う必要が生じるという問題も生じる。
【０００８】
本発明は、上記問題に鑑みなされたものであり、その目的とするところは、装置本体を大型化させずに、かつ、複雑な駆動制御を行うことなく、目標中心点からの画像中心点のズレを補正することが可能なデジタルカメラ装置、これを備えた携帯電話機、撮像画像データ保存方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、請求項１の発明は、利用者により操作されることによりレリーズ信号を出力するレリーズ操作手段と、該レリーズ信号に応じて被写体の像を結像体に結像する撮像手段と、該結像体に結像された像に基づく画像データを記憶する画像データ記憶手段とを備えたデジタルカメラ装置において、上記結像体の変位及び該結像体の姿勢変化の少なくとも一方の検出結果に基づいて、該結像体に結像された像の画像データを、その画像中心点が上記レリーズ信号出力時又はその直前に該結像体上の像中心であった地点に近づくように中心点補正処理を行う補正処理手段を有することを特徴とするものである。
このデジタルカメラ装置において、レリーズ信号出力時又はその直前における結像体上の像の中心点（被写体像の中心点）は、利用者が撮像画像の画像中心点としたい目標中心点に相当する。利用者のレリーズ操作を行ったときに、図９に示したように本デジタルカメラ装置が変位した場合、この変位に伴って結像体も変位する。また、利用者のレリーズ操作を行ったときに、図１０に示したように本デジタルカメラ装置の姿勢が変化した場合、この変化に伴って結像体の姿勢も変化する。このように結像体が変位したりその姿勢が変化したりすると、結像体に結像された像の中心点は目標中心点に対応する地点からズレたものとなる。この像をそのまま画像データとしたのでは、その画像中心点が目標中心点からズレたものとなる。そして、このズレ、すなわち、実際に結像体に結像された像の中心と、レリーズ信号出力時又はその直前に結像体上の像中心であった地点とのズレは、結像体の変位及び結像体の姿勢変化の少なくとも一方の検出結果に基づいて把握することが可能である。よって、その検出結果に基づいて、結像体に結像された像の画像データ（補正前の画像データ）を、その画像中心点が目標中心点であった地点に近づくように中心点補正処理を行えば、その処理を行わない場合に比べて、画像中心点が目標中心点に近づいた画像データを得ることが可能となる。
【００１０】
また、請求項２の発明は、請求項１のデジタルカメラ装置において、上記補正処理手段は、上記レリーズ信号出力時又はその直前の撮像方向に対して直交する仮想面上における、該レリーズ信号出力時又はその直前の上記結像体の位置と、結像時の該結像体の位置とを結ぶ仮想線の方向及びこれらの位置間距離を検出するための検出手段と、該検出手段の検出結果から得られる該仮想線の方向及び該位置間距離に基づいて上記中心点補正処理を行い、その処理後の画像データを上記画像データ記憶手段に保存する制御手段とから構成されていることを特徴とするものである。
図９に示したように本デジタルカメラ装置が変位した場合、検出手段の検出結果から得られる仮想線の方向及び位置間距離は、それぞれ、結像体に結像された像の中心点に対する目標中心点に対応した地点の相対方向及び距離を示すものとなる。よって、結像体に結像された像のどの地点が目標中心点であったかを把握することができる。したがって、本デジタルカメラ装置では、撮像方向が一定のまま上記のような変位が生じた場合、仮想線の方向及び位置間距離に基づいて補正前の画像データを中心点補正処理することにより、目標中心点が画像中心点となった画像データを得ることができる。なお、上記変位だけでなく撮像方向の変化も生じた場合、その把握した地点は必ずしも目標中心点に対応するものとはならないが、この中心点補正処理を行うことにより上記変位に対するズレ分は補正される。よって、得られる画像データは、中心点補正処理を行わない場合に比べて画像中心点が目標中心点に近づいたものとなる。
【００１１】
また、請求項３の発明は、請求項１のデジタルカメラ装置において、上記補正処理手段は、上記レリーズ信号出力時又はその直前の撮像方向と、結像時の撮像方向とのなす角、及び、これらの撮像方向を含む仮想面と該レリーズ信号出力時又はその直前の撮像方向に対して直交する仮想面との交線の方向を検出するための検出手段と、該検出手段の検出結果から得られる該なす角及び該交線の方向に基づいて上記中心点補正処理を行い、その処理後の画像データを上記画像データ記憶手段に保存する制御手段とから構成されていることを特徴とするものである。
図１０に示したように本デジタルカメラ装置の姿勢が変化してその撮像方向が変化した場合、検出手段の検出結果から得られるなす角及び交線の方向から、レリーズ操作時又はその直前における結像体と被写体との距離を用いて、結像体に結像された像の中心点に対する目標中心点に対応した地点の相対方向及び距離を把握することができる。よって、結像体に結像された像のどの地点が目標中心点であったかを把握することができる。したがって、本デジタルカメラ装置では、デジタルカメラ装置が変位しないままその撮像方向が変化した場合、なす角及び交線の方向に基づいて補正前の画像データを中心点補正処理することにより、目標中心点が画像中心点となった画像データを得ることができる。なお、上記撮像方向の変化だけでなく上記変位も生じた場合、その把握した地点は必ずしも目標中心点に対応するものとはならないが、この中心点補正処理を行うことにより上記撮像方向の変化に対するズレ分は補正される。よって、得られる画像データは、中心点補正処理を行わない場合に比べて画像中心点が目標中心点に近づいたものとなる。
【００１２】
また、請求項４の発明は、請求項１のデジタルカメラ装置において、上記補正処理手段は、上記レリーズ信号出力時又はその直前の撮像方向に対して直交する仮想面上における、該レリーズ信号出力時又はその直前の上記結像体の位置と、結像時の該結像体の位置とを結ぶ仮想線の方向及びこれらの位置間距離を検出するための第１の検出手段と、該レリーズ信号出力時又はその直前の撮像方向と、結像時の撮像方向とのなす角、及び、これらの撮像方向を含む仮想面と該レリーズ信号出力時又はその直前の撮像方向に対して直交する仮想面との交線の方向を検出するための第２の検出手段と、該第１の検出手段の検出結果から得られる該仮想線の方向及び該位置間距離並びに該第２の検出手段の検出結果から得られる該なす角及び該交線の方向に基づいて上記中心点補正処理を行い、その処理後の画像データを上記画像データ記憶手段に保存する制御手段とから構成されていることを特徴とするものである。
このデジタルカメラ装置においては、請求項２のデジタルカメラ装置と同様に、第１の検出手段の検出結果から仮想線の方向及び位置間距離を得ることができる。また、請求項３のデジタルカメラ装置と同様に、第２の検出手段の検出結果からなす角及び交線の方向も得ることができる。したがって、本デジタルカメラ装置では、デジタルカメラ装置に変位とともに撮像方向の変化が生じた場合であっても、結像体に結像された像のどの地点が目標中心点であったかを把握することが可能である。よって、本デジタルカメラ装置では、中心点補正処理を行うことにより、目標中心点が画像中心点となった画像データを得ることが可能となる。
【００１３】
また、請求項５の発明は、請求項２又は４のデジタルカメラ装置において、上記仮想線の方向及び上記位置間距離を検出するための検出手段として、上記結像体に生じる加速度を連続的に検出する加速度検出手段を用い、該加速度検出手段の検出時から一定時間遡った期間内の加速度データを記憶する加速度データ記憶手段を有し、該仮想線の方向及び該位置間距離は、該結像体への結像時から該一定時間以下に設定された設定時間だけ遡った期間内の加速度データに基づいて算出したものであることを特徴とするものである。
このデジタルカメラ装置においては、結像体に生じる加速度のデータを、その検出時から一定時間遡った期間内について記憶しておく。そして、レリーズ信号が出力されて結像体へ被写体像が結像されたら、その結像時から設定時間だけ遡った期間内の加速度データを加速度データ記憶手段から読み出し、その加速度データに基づいて上記仮想線の方向及び上記位置間距離を算出する。この設定時間は、本デジタルカメラ装置の仕様等に基づき、レリーズ信号出力時又はその直前の時から結像体への結像が行われるまでのタイムラグ分に相当する時間に設定される。この設定時間内に検出された加速度データを用いれば、この設定時間内に結像体の変位の軌跡を把握することができる。よって、この加速度データに基づいて上記仮想線の方向及び上記位置間距離を算出することができる。
【００１４】
また、請求項６の発明は、請求項３又は４のデジタルカメラ装置において、上記なす角及び上記交線の方向を検出するための検出手段として、上記結像体の姿勢を連続的に検出する姿勢検出手段を用い、該姿勢検出手段の検出時から一定時間遡った期間内の姿勢データを記憶する姿勢データ記憶手段を有し、上記なす角及び上記交線の方向は、該結像体への結像時から該一定時間以下に設定された設定時間だけ遡った期間内の姿勢データに基づいて算出したものであることを特徴とするものである。
このデジタルカメラ装置においては、結像体の姿勢を特定するための姿勢データを、その検出時から一定時間遡った期間内について記憶しておく。そして、レリーズ信号が出力されて結像体へ被写体像が結像されたら、その結像時から設定時間だけ遡った期間内の姿勢データを姿勢データ記憶手段から読み出し、その姿勢データに基づいて上記なす角及び上記交線の方向を算出する。この設定時間は、本デジタルカメラ装置の仕様等に基づき、レリーズ信号出力時又はその直前の時から結像体への結像が行われるまでのタイムラグ分に相当する時間に設定される。この設定時間内に検出された姿勢データを用いれば、この設定時間内に結像体の姿勢変化の軌跡を把握することができる。よって、この姿勢データに基づいて上記なす角及び上記交線の方向を算出することができる。
【００１５】
また、請求項７の発明は、請求項１、２、３、４、５又は６のデジタルカメラ装置において、上記結像体の寸法は、上記画像データ記憶手段に記憶される画像データの規定画像領域よりも大きな画像領域に対応する像を結像可能な寸法であり、上記補正処理手段は、該結像体全体に結像された最大像に対応する画像データに対し、上記中心点補正処理を行うとともに、その画像領域が該規定画像領域に一致するものとなるように画像領域補正処理も行うことを特徴とするものである。
上記中心点補正処理を行う場合、結像体に結像された像中心からズレた地点を画像中心点とするために、補正前の画像データの一部を削除する必要がある。このため、結像体が結像可能な像の最大サイズが、画像データ記憶手段に記憶される画像データの規定画像領域に対応する像サイズと一致する場合、中心点補正処理後の画像データの画像領域は規定画像領域よりも小さいものとなる。また、中心点補正処理後の画像データの画像領域を規定画像領域にするには、この中心点補正処理により画像領域に含まれることとなる被写体像部分の画像部分が必要になる。しかし、結像体が上記のようなものである場合には、この被写体像部分が結像体に結像されないため、中心点補正処理後の画像データの画像領域を規定画像領域に一致させることはできない。
そこで、本デジタルカメラ装置においては、結像体として、規定画像領域よりも大きな画像領域に対応する最大像を結像可能な寸法のものを用いることとしている。これにより、中心点補正処理により画像領域に含まれることとなる被写体像部分も結像体に結像させることが可能になる。よって、中心点補正処理を行っても、その処理後の画像データの画像領域を規定画像領域に一致させることが可能となる。
【００１６】
また、請求項８の発明は、デジタルカメラ手段を備えた携帯電話機において、上記デジタルカメラ手段として、請求項１、２、３、４、５、６又は７のデジタルカメラ装置を用いたことを特徴とするものである。
上述した請求項１、２、３、４、５、６又は７のデジタルカメラ装置を、小型化の要請が強い携帯電話機に搭載されるデジタルカメラ手段として用いる。
【００１７】
また、請求項９の発明は、利用者により操作されることによりレリーズ信号を出力するレリーズ操作手段と、該レリーズ信号に応じて被写体の像を結像体に結像する撮像手段と、該結像体に結像された像に基づく画像データを記憶する画像データ記憶手段と、上記結像体の変位及び該結像体の姿勢変化の少なくとも一方を検出するための検出手段とを備えたデジタルカメラ装置に設けられたコンピュータを機能させるためのプログラムであって、上記検出手段の検出結果に基づいて、結像体に結像された像の画像データを、その画像中心点が上記レリーズ信号出力時又はその直前に該結像体上の像中心であった地点に近づくように中心点補正処理を行う制御手段として、上記コンピュータを機能させることを特徴とするものである。
このプログラムは、デジタルカメラ装置のコンピュータに、請求項１のデジタルカメラ装置の補正処理手段が行う中心点補正処理と同様の処理を実行させることができる。
【００１８】
なお、上述したプログラムの受け渡しは、デジタル情報としてプログラムを記録したＦＤ、ＣＤ−ＲＯＭ等の記録媒体を用いて行ってもいいし、コンピュータネットワーク等の通信ネットワークを用いて行ってもよい。
また、上述した携帯電話機としては、ＰＤＣ（Personal Digital Cellular）方式、ＧＳＭ（Global System for Mobile Communication）方式、ＴＩＡ（Telecommunications Industry Association）方式等の携帯電話機、ＩＭＴ（International Mobile Telecommunications）−２０００で標準化された携帯電話機、ＴＤ−ＳＣＤＭＡ（Time Division Synchronous Code Division Multiple Access）方式の一つであるＴＤ−ＳＣＤＭＡ（ＭＣ：Multi Carrier）方式の携帯電話機、ＰＨＳ（Personal Handyphone Service）、自動車電話機等の電話機が挙げられる。
【発明の効果】
【００１９】
以上、請求項１乃至９の発明によれば、結像体を移動させる駆動機構を用いないので、装置本体を大型化させずに、かつ、複雑な駆動制御を行うことなく、目標中心点からの画像中心点のズレを補正することが可能となるという優れた効果が奏される。
特に、請求項２の発明によれば、レリーズ操作手段の配置等が原因でレリーズ操作により上記仮想面上での変位が生じやすい構成をもつデジタルカメラ装置に適用すれば、高い補正効果が発揮されるので、このようなデジタルカメラ装置に有効利用できるという優れた効果が奏される。
また、請求項３の発明によれば、レリーズ操作手段の配置等が原因でレリーズ操作により撮像方向の変化が生じやすい構成をもつデジタルカメラ装置に適用すれば、高い補正効果が発揮されるので、このようなデジタルカメラ装置に有効利用できるという優れた効果が奏される。
また、請求項４の発明によれば、どのようなデジタルカメラ装置に適用した場合でも高い補正効果が発揮されるという優れた効果が奏される。
また、請求項５の発明によれば、加速度検出手段という簡易な構成で、中心点補正処理に用いる上記仮想線の方向及び上記位置間距離を算出することができるという優れた効果が奏される。
また、請求項６の発明によれば、姿勢検出手段という簡易な構成で、中心点補正処理に用いる上記なす角及び上記交線の方向を算出することができるという優れた効果が奏される。
また、請求項７の発明によれば、画像中心点のズレを補正しても、規定画像領域と同じ画像領域をもった画像データを得ることができるという優れた効果が奏される。
また、請求項８の発明によれば、請求項１乃至５のデジタルカメラ装置が奏する装置が大型化しないという効果を有効に活用できるという優れた効果が奏される。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の一実施形態を、図面を参照しながら説明する。
図２は、上記携帯電話機２０の外観を示す正面図であり、図３は、その携帯電話機２０のハードウェア構成を示す概略構成図である。
この携帯電話機２０は、クラムシェル（折り畳み）タイプの携帯電話機であり、システムバス２００、ＣＰＵ２０１、ＲＡＭ２０２やＲＯＭ２０３等からなる内部制御装置、入力装置２０４、出力装置２０５、携帯電話用通信装置２０６、加速度センサ２０７、地磁気センサ２０８及びカメラ２０９を備えている。ＣＰＵ２０１やＲＡＭ２０２等の構成要素は、システムバス２００を介して、互いに各種データや後述のプログラムの命令等のやり取りを行っている。上記入力装置２０４は、データ入力キー（テンキー、＊キー、＃キー）２１、通話開始キー２２、終話キー２３、スクロールキー２４、多機能キー２５、マイク２６などから構成されている。上記出力装置２０５は、表示手段としての液晶ディスプレイ（ＬＣＤ）２７、スピーカ２８等から構成されている。上記携帯電話用通信装置２０６は、携帯電話通信網１０を介して他の携帯電話機やＷｅｂサーバ等と通信するためのものである。
【００２１】
上記加速度センサ２０７は、データ入力キーが設けられた操作面に対して平行な面内で互いに直交する２方向（図２中、Ｘ軸方向及びＹ軸方向）に向かう加速度αX，αYと、その面の法線方向（図２中、Ｚ軸方向）に向かう加速度αZとを検出する３軸の加速度センサである。この加速度センサ２０７は、携帯電話機２０の内部に設けられた図示しない回路基板上に実装されており、上記加速度αX，αY，αZを検出できる公知のものを用いることができる。
また、上記地磁気センサ２０８は、上記Ｘ軸、Ｙ軸、Ｚ軸からなる３次元座標上における地磁気の磁界強度成分（磁束密度成分）を検出する３軸のセンサである。そして、本実施形態では、この地磁気センサ２０８の検出結果を利用して、Ｘ軸、Ｙ軸及びＺ軸のまわりの角度θX，θY，θZを検出する。具体的には、地磁気の方向が、基準となる地磁気の方向（基準方向）に対して変化したときの変化量を、Ｘ軸、Ｙ軸及びＺ軸のまわりの角度θX，θY，θZを用いて検出する。これにより、地磁気の方向が基準方向にあるときの姿勢から携帯電話機がその姿勢を変化させたとき、その変化後の姿勢を各角度θX，θY，θZによって特定することができる。なお、以下の説明では、Ｘ軸まわりの角度θXをピッチ角といい、Ｙ軸まわりの角度θYをロール角といい、Ｚ軸まわりの角度θZをヨー角という。また、ここでいうヨー角θZは、上記Ｙ軸を水平面上に投影した水平投影Ｙ軸と北方位との角度を示すものである。よって、このヨー角θZにより、携帯電話機２０の水平投影Ｙ軸が向いている方位を把握することができる。この地磁気センサ２０８も、携帯電話機２０の内部に設けられた図示しない回路基板上に実装されている。
【００２２】
なお、上記加速度センサ２０７及び上記地磁気センサ２０８は、携帯電話機２０の本体とは別体の装置として構成してもよい。この場合、上記加速度センサ２０７及び上記地磁気センサ２０８については、これらのセンサ２０７，２０８を備えた外部装置を、携帯電話機２０の本体と一体になるように、詳しくは携帯電話機２０の液晶ディスプレイ２７と一体になるように接続する。
【００２３】
また、上記カメラ２０９は、図２中左側に図示されているように、そのレンズ面が携帯電話機２０の背面側に露出した内蔵カメラ２９から構成されている。本実施形態では、この内蔵カメラ２９として、結像体としてＣＣＤを用いたＣＣＤカメラを用いるが、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラなどの他のデジタル方式の小型カメラを用いることもできる。本実施形態において、内蔵カメラ２９は、撮像方向が上記Ｚ軸方向に向くように、携帯電話機２０の本体に固定されている。
【００２４】
図４は、上記携帯電話機２０の主要部を抽出して示したブロック図である。
この携帯電話機２０は、無線通信手段としての電話通信部２１１及びデータ通信部２１２、レリーズ操作手段としての操作部２１３、制御手段としての主制御部２１５、出力部２１６、検出手段である加速度検出手段及び姿勢検出手段としてのセンサ検出部２１７、記憶部２１８、撮像手段としてのカメラ部２１９等を備えている。記憶部２１８は、画像データ記憶手段、加速度データ記憶手段及び姿勢データ記憶手段として用いられる。
【００２５】
上記電話通信部２１１は、他の携帯電話機や固定電話機と電話通信を行うために、携帯電話通信網１０の基地局と無線通信を行うものであり、上述のハードウェア構成上の携帯電話用通信装置２０６等に対応する。
上記データ通信部２１２は、上記電話通信部２１１と同様に、上述のハードウェア構成上の携帯電話用通信装置２０６等に対応する。このデータ通信部２１２は、携帯電話機通信網１０を介して他の携帯電話機とメールのやり取りを行ったり、携帯電話機通信網１０からゲートウェイサーバを介して、インターネット等の外部の通信ネットワークに接続し、インターネット上での電子メールのやり取りやＷｅｂページの閲覧等を行ったりするためのものである。
【００２６】
上記操作部２１３は、ユーザーが操作可能な上述のテンキー２１、通話開始キー２２、終話キー２３、多機能キー２５等で構成されている。この操作部２１３を操作することにより、ユーザーは、携帯電話機２０に対してＵＲＬ等のデータを入力したり、電話着信の際に通話の開始及び終了を行ったりすることができる。また、ユーザーは、操作部２１３の多機能キー２５を操作することにより、カメラ部２１９のレリーズ操作を行うことができる。
【００２７】
上記主制御部２１５は、上記電話通信部２１１、データ通信部２１２、操作部２１３、センサ検出部２１７、記憶部２１８、カメラ部２１９を制御するものであり、上述のシステムバス２００やＣＰＵ２０１等で構成されている。この主制御部２１５は、後述するカメラ撮影プログラムを実行することにより、カメラ部２１９を操作して被写体像の撮像処理を行う。
【００２８】
上記出力部２１６は、上述の液晶ディスプレイ２７、スピーカ２８等からなる出力装置２０５等で構成されている。この出力部２１６は、上記データ通信部２１２で受信したＷｅｂページ画面を液晶ディスプレイ２７に表示したり、上記電話通信部２１１やデータ通信部２１２で情報を着信した旨をユーザーに報知するための報知画面や報知音を出力したりするときに用いられる。更に、この出力部２１６は、カメラ部２１９を利用するカメラ撮影プログラムを実行して撮影を行う際に、カメラ部２１９により撮像される被写体像の画像を液晶ディスプレイ２７に表示する。また、この出力部２１６は、撮像してＲＡＭ２０２の画像データ記憶領域（画像データ記憶手段）に記憶された画像データに基づく撮像画像を液晶ディスプレイ２７に表示する。
【００２９】
上記センサ検出部２１７は、上述の加速度センサ２０７や地磁気センサ２０８等で構成されている。このセンサ検出部２１７は、上記主制御部２１５の制御の下で動作し、その検出データは主制御部２１５が取得する。検出データである加速度αX，αY，αZのデータ及びピッチ角θX、ロール角θY及びヨー角θZのデータは、上述したようにＲＡＭ２０２に記憶される。例えばユーザーによって携帯電話機２０が変位すると、Ｘ軸、Ｙ軸及びＺ軸の方向に働く加速度がセンサ検出部２１７を構成する加速度センサ２０７によって検出される。その検出データが主制御部２１５に入力されると、主制御部２１５は、その検出データからＸ軸方向の加速度αX、Ｙ軸方向の加速度αY及びＺ軸方向の加速度αZを把握することができる。これらの加速度データは、主制御部２１５によってＲＡＭ２０２に一時保存される。また、携帯電話機２０の姿勢が変わると、その姿勢の変化後における磁界強度成分（磁束密度成分）がセンサ検出部２１７を構成する地磁気センサ２０８によって検出される。センサ検出部２１７は、地磁気センサ２０８で検出された検出信号から姿勢変化後のそれぞれの角度θx，θY，θZを算出する。算出した各角度θx，θY，θZのデータは、加速度αx，αYの場合と同様に、主制御部２１５へ出力され、主制御部２１５によってＲＡＭ２０２に一時保存される。
【００３０】
なお、ＲＡＭ２０２へ保存する加速度αx，αY，αZや各角度θx，θY，θZのデータを、主制御部２１５がセンサ検出部２１７から取得する方法としては、次のようなものが挙げられる。例えば、主制御部２１５からセンサ検出部２１７へリクエストを送り、これに応じてセンサ検出部２１７が出力したデータを主制御部２１５が受信する取得方法である。また、例えば、リクエストがなくてもセンサ検出部２１７が連続的に出力するデータを、主制御部２１５が適宜受信する取得方法を採用してもよい。
【００３１】
上記記憶部２１８は、上述のＲＡＭ２０２やＲＯＭ２０３などによって構成されている。この記憶部２１８のＲＯＭ２０３には、本携帯電話機におけるデータ処理に必要なデータやプログラムが記憶されており、これらのデータやプログラムは必要に応じてＣＰＵ２０１やＲＡＭ２０２中の作業エリアに呼び出されて使用される。ＲＡＭ２０２には、カメラ部２１９で撮像された画像データ（補正前の画像データ）を一時的に記憶する一時記憶領域と、後述する補正処理後の画像データを記憶する撮像画像記憶領域とを備えている。
【００３２】
上記カメラ部２１９は、上述のカメラ２０９等で構成されている。このカメラ部２１９は、上記主制御部２１５の制御の下で動作し、被写体像をＣＣＤに結像して得た画像データを主制御部２１５へ連続的に出力する。このＣＣＤは、その結像面が図２で示した携帯電話機のＸＹ平面と平行になるように固定配置されている。レリーズ操作前に主制御部２１５へ連続的に出力される画像データは、図５（ａ）に示すように、ＣＣＤ２０９ａに結像された被写体像の一部、具体的にはＣＣＤ２０９ａの中心点Ｏを中心とした２点鎖線で囲まれた長方形領域Ａに対応するものである。この長方形領域Ａの大きさは、画像データの規定画像領域に対応している。そして、この画像データ（以下、「ファインダ画像データ」という。）を受けた主制御部２１５は、そのファインダ画像データを出力部２１６に送り、そのファインダ画像データに基づく被写体象の画像を液晶ディスプレイ２７に表示させる。すなわち、このときの液晶ディスプレイ２７は、一般のカメラにおけるファインダと同様の機能を果たすことになる。よって、ユーザーは、内蔵カメラ２９を用いて撮影を行う場合、液晶ディスプレイ２７に表示される画像を見ることで、これから撮像する被写体像を確認することができる。そして、ユーザーが操作部２１３に対して所定のレリーズ操作を行うと、その操作部２１３からの操作信号（レリーズ信号）を受けた主制御部２１５は、カメラ部２１９に対してレリーズ命令を出力する。これにより、カメラ部２１９は、ＣＣＤ２０９ａ全体に結像された最大像の画像データ（以下、「補正前画像データ」という。）を、主制御部２１５に出力する。
【００３３】
〔制御例１〕
次に、上記カメラ部２１９で撮像して得た補正前画像データについて行う補正処理の一例（以下、本制御例を「制御例１」という。）について説明する。なお、本制御例１では、主制御部２１５及びセンサ検出部２１７によって補正処理手段が構成される。
ユーザーがレリーズ操作を行うことにより、図９に示したデジタルカメラのように、撮像方向に対して直交する仮想面（図中ＸＹ平面）に沿って携帯電話機２０が変位してしまうことがある。この場合、例えば図５（ｂ）に示すように、ユーザーが液晶ディスプレイ２７を見て確認した被写体像の中心点Ｏ’（目標中心点）が、ＣＣＤ２０９ａの中心点Ｏからズレてしまう。よって、図５（ｂ）中２点鎖線で囲った領域Ａの像をそのまま画像データとした撮像画像は、その画像中心点（図５（ｂ）中符号ａで示す地点に対応する点）が目標中心点（図５（ｂ）中符号ａ’で示す地点に対応する点）からズレたものとなる。そこで、本制御例１では、図９に示したデジタルカメラのように携帯電話機２０が変位してＣＣＤ２０９ａが変位することにより発生する画像中心点と目標中心点とのズレを抑制するための中心点補正処理を行う。
【００３４】
図１は、本制御例１における処理の流れを示すフローチャートである。
ユーザーが撮影を開始するために操作部２１３の各種キーに対して所定の操作を行うと、カメラ撮影プログラムが主制御部２１５により実行される（Ｓ１）。これにより、主制御部２１５からカメラ部２１９に対して動作命令を出力される。これを受けたカメラ部２１９は、図５（ａ）中２点鎖線で囲った領域Ａに結像された被写体像部分についてのファインダ画像データを主制御部２１５へ連続的に出力する。これにより、そのファインダ画像データに基づく被写体像の画像が液晶ディスプレイ２７に表示させる。
【００３５】
また、主制御部２１５は、カメラ撮影プログラムの実行を開始したら、加速度データのサンプリングを開始する（Ｓ２）。これにより、主制御部２１５は、センサ検出部２１７から送られてくる加速度αX，αY，αZのデータについて、一定時間分のデータをＲＡＭ２０２に一時的に記憶する。すなわち、ＲＡＭ２０２には、現時点から一定時間遡った期間内の加速度データが次々と更新されながら記憶される。この一定時間は、後述する設定時間以上に決める。なお、本制御例１では、後述するようにＺ軸方向の加速度αZのデータは使用しないので、加速度αX，αYのデータについてのみ記憶するようにしてもよい。よって、本実施形態では３軸の加速度センサを用いているが、これに代えて、Ｘ軸方向及びＹ軸方向に向かう２つの加速度αX，αYを検出する２軸の加速度センサを採用してもよい。
【００３６】
ユーザーは、液晶ディスプレイ２７に表示される画像を見て、これから撮像する被写体像を確認し、操作部２１３の多機能キー２５を押すというレリーズ操作を行う（Ｓ３）。これにより、操作部２１３からレリーズ信号が出力され、これが主制御部２１５に受信される。そして、主制御部２１５は、カメラ部２１９に対してレリーズ命令を出力する。これにより、カメラ部２１９は、ＣＣＤ２０９ａ全体に結像された最大像に対応する補正前画像データを出力し、主制御部２１５はこれを取得する（Ｓ４）。
【００３７】
ここで、ユーザーは、多機能キー２５を押してからＣＣＤ２０９ａへの結像が行われるまでの間に、携帯電話機２０を動かしてしまい、ＣＣＤ２０９ａが変位することがある。また、ユーザーは、一般に、液晶ディスプレイ２７に表示された被写体像の画像を確認した後に多機能キー２５を押すが、この多機能キー２５を押そうとしてから実際に多機能キー２５が押されるまでの間も、携帯電話機２０を動かしてしまい、ＣＣＤ２０９ａが変位することもある。これにより、レリーズ操作前にユーザーが確認した被写体像の中心が、ＣＣＤ２０９ａに結像された像の中心からズレる結果となる。そこで、本制御例１では、次のようにして、このズレ量及びズレ方向を把握し、レリーズ操作前にユーザーが確認した被写体像の中心点が画像中心点となるように中心点補正処理を行う。
【００３８】
まず、カメラ部２１９から出力された補正前画像データを取得した主制御部２１５は、ＣＣＤ２０９ａへの結像時から所定の設定時間だけ遡った期間内の加速度データに基づいて、ＣＣＤ２０９ａの変位方向及び変位量を算出する（Ｓ５）。具体的に説明すると、主制御部２１５は、ＣＣＤ２０９ａへの結像時から上記設定時間だけ遡った期間内の加速度αX，αYのデータをＲＡＭ２０２から読み出し、これらのデータから、その設定時間内におけるＣＣＤ２０９ａの中心点Ｏの移動軌跡を求める。これにより、主制御部２１５は、ＣＣＤ２０９ａへの結像時から上記設定時間だけ遡った期間内に、ＣＣＤ２０９ａの中心点ＯがＸＹ平面上を移動した軌跡を把握することができる。
【００３９】
図６は、ユーザーが液晶ディスプレイ２７に表示された被写体像の画像を確認してから、レリーズ操作を行って被写体像がＣＣＤ２０９ａに結像されるまでの時間経過を示す説明図である。ユーザーは、上述したように、液晶ディスプレイ２７に表示された被写体像の画像を確認した後、この多機能キー２５を押そうとしてその動作を開始してから、ＣＣＤ２０９ａへの結像が行われるまでの間に、携帯電話機２０を動かしてしまうおそれがあり、これによりＣＣＤ２０９ａが変位するおそれがある。よって、本制御例１では、このＣＣＤ２０９ａが変位するおそれがある期間、すなわち、ユーザーが多機能キー２５を押すための動作を開始してから、ＣＣＤ２０９ａへの結像が行われるまでの期間に相当する時間になるように、上記設定時間を設定する。この設定時間は、図６に示すように、ユーザーが多機能キー２５を押すための動作を開始してから、実際にユーザーが多機能キー２５を押すまでの前段時間と、ユーザーが多機能キー２５を押してからＣＣＤ２０９ａへの結像が行われるまでの後段時間とに分けることができる。前段時間については、例えば、ユーザーによるカメラ撮影を想定した実験を行い、その実験結果に基づいて設定することができる。後段時間については、主制御部２１５がレリーズ信号を受信してから、ＣＣＤ２０９ａへの結像が行われるまでのタイムラグ分に相当する時間に設定する。このタイムラグは、カメラ部２１９の仕様等に基づいて求めることができる。なお、ユーザーが実際に多機能キー２５を押すタイミングと、操作部２１３からレリーズ信号が出力されるタイミングと、主制御部２１５がレリーズ信号を受信するタイミングとは、厳密には一致しないが、これらのタイミングのズレは無視でき、同じタイミングとして考えてよい。
【００４０】
本制御例１では、主制御部２１５がＣＣＤ２０９ａへの結像時を直接的に把握することができないので、図６に示すように、付加時間を設けている。この付加時間は、ＣＣＤ２０９ａへの結像が行われてから、主制御部２１５がカメラ部２１９から出力された補正前画像データを取得するまでの時間である。この付加時間は、カメラ部２１９の仕様等に基づいて決定することができる。よって、主制御部２１５は、カメラ部２１９からの補正前画像データを取得した時に、上記付加時間を用いることでＣＣＤ２０９ａへの結像が行われた時期を把握することができる。したがって、主制御部２１５は、カメラ部２１９から出力された補正前画像データを取得することにより、ＣＣＤ２０９ａへの結像時から上記設定時間だけ遡った期間内の加速度αX，αYのデータをＲＡＭ２０２から読み出すことができ、これらのデータからその設定時間内におけるＸＹ平面上のの中心点Ｏの移動軌跡を求めることができる。
【００４１】
このようにして求めたの中心点Ｏの移動軌跡に基づき、主制御部２１５は、上記設定時間の開始時すなわちユーザーが多機能キー２５を押すための動作を開始した時にＣＣＤ２０９ａの中心点Ｏであった地点Ｏ’の位置を特定する。そして、この地点Ｏ’の位置と、設定時間の終了時すなわちＣＣＤ２０９ａへの結像時におけるＣＣＤ２０９ａの中心点Ｏの位置との相対的な方向（仮想線の方向）及び距離（位置間距離）を求める。このようにして求まる方向及び距離は、ユーザーが多機能キー２５を押すための動作を開始した時の被写体像の中心点すなわちレリーズ操作前にユーザーが確認した被写体像の中心点Ｏ’と、ＣＣＤ２０９ａに結像された像の中心点Ｏとの相対的なズレ方向及びズレ量に相当する。よって、主制御部２１５は、カメラ部２１９から取得した補正前画像データ中のどの地点が、レリーズ操作前にユーザーが確認した被写体像の中心点Ｏであった地点Ｏ’なのかを把握することができる。
【００４２】
そして、主制御部２１５は、このようにして把握した地点Ｏ’が画像中心点となるように、かつ、その画像領域が上記規定画像領域に一致するものとなるように、補正前画像データについてトリミング処理を行う（Ｓ６）。このトリミング処理により、図５（ｂ）中の符号Ｏ’にて示す地点（レリーズ操作前にユーザーが確認した被写体像の中心点であった地点）を中心とし、かつ、規定画像領域の大きさと同じ領域Ａ’に対応した画像データを得ることができる。その後、主制御部２１５は、この画像データをＲＡＭ２０２の画像データ記憶領域に保存する処理を行う（Ｓ７）。
【００４３】
以上、本制御例１によれば、レリーズ操作の際に図９に示したように携帯電話機２０が動いてＣＣＤ２０９ａが変位しても、レリーズ操作前にユーザーが確認した被写体像の中心点であった地点Ｏ’が画像中心点となった画像データを得ることができる。
しかも、本制御例１では、規定画像領域よりも大きな画像領域に対応する最大像を結像可能な寸法をもつＣＣＤ２０９ａを採用し、そのＣＣＤ２０９ａ全体に結像された像に基づく画像データについて画像領域補正処理を行うので、上述した中心点補正処理を行っても、規定画像領域の大きさと同じ画像領域をもった画像データを得ることができる。
なお、本制御例１では、図９に示したように、携帯電話機２０のＺ軸方向（撮像方向）が水平方向を向くような姿勢で撮影を行い、そのレリーズ操作の際にその姿勢のまま携帯電話機２０が鉛直方向（Ｙ軸方向）へ変位する場合を例に挙げて説明したが、レリーズ操作の際にその姿勢のまま携帯電話機２０がＸＹ平面に沿って変位する場合には、同様である。
【００４４】
〔制御例２〕
次に、上記カメラ部２１９で撮像して得た補正前画像データについて行う補正処理の他の例（以下、本制御例を「制御例２」という。）について説明する。なお、本制御例２でも、主制御部２１５及びセンサ検出部２１７によって補正処理手段が構成される。
ユーザーがレリーズ操作を行うことにより、図１０に示したデジタルカメラのように、携帯電話機２０の姿勢が変化し、その結果、ＣＣＤ２０９ａの姿勢が変化してしまうことがある。この場合も、上記制御例１と同様に、図５（ｂ）に示したように、ユーザーが液晶ディスプレイ２７を見て確認した被写体像の中心点Ｏ’が、ＣＣＤ２０９ａの中心点Ｏからズレてしまう。そこで、本制御例２では、図１０に示したデジタルカメラのように携帯電話機２０の姿勢が変化してＣＣＤ２０９ａの姿勢が変化することにより発生する画像中心点と目標中心点とのズレを抑制するための中心点補正処理を行う。
【００４５】
図７は、本制御例２における処理の流れを示すフローチャートである。
上記制御例１と同様に主制御部２１５がカメラ撮影プログラムを実行すると（Ｓ１１）、主制御部２１５は、角度データのサンプリングを開始する（Ｓ１２）。これにより、主制御部２１５は、上記制御例１の加速度データの場合と同様に、センサ検出部２１７から送られてくる角度θX，θY，θZのデータについて、一定時間分のデータをＲＡＭ２０２に次々と更新しながら記憶する。ユーザーが、液晶ディスプレイ２７に表示される画像を見て、これから撮像する被写体像を確認し、操作部２１３の多機能キー２５を押すと（Ｓ１３）、操作部２１３からレリーズ信号が出力され、これが主制御部２１５に受信される。そして、主制御部２１５は、上記制御例１と同様に、カメラ部２１９から出力される補正前画像データを取得する（Ｓ１４）。
ここで、上述したように、ユーザーは、液晶ディスプレイ２７に表示された被写体像の画像を確認した後に多機能キー２５を押そうとしてから、ＣＣＤ２０９ａへの結像が行われるまでの間に、携帯電話機２０を動かしてしまい、ＣＣＤ２０９ａの姿勢が変化することがある。その結果、撮像方向が変わってしまい、レリーズ操作前にユーザーが確認した被写体像の中心が、ＣＣＤ２０９ａに結像された像の中心からズレてしまう。そこで、本制御例２では、次のようにして、このズレ量及びズレ方向を把握し、レリーズ操作前にユーザーが確認した被写体像の中心点が画像中心点となるように中心点補正処理を行う。
【００４６】
まず、カメラ部２１９から出力された補正前画像データを取得した主制御部２１５は、ＣＣＤ２０９ａへの結像時から所定の設定時間だけ遡った期間内の角度データに基づいて、ＣＣＤ２０９ａの姿勢の変化方向及び変化量を算出する（Ｓ１５）。具体的に説明すると、主制御部２１５は、ＣＣＤ２０９ａへの結像時から上記設定時間だけ遡った期間内の角度θX，θY，θZのデータをＲＡＭ２０２から読み出し、これらのデータから、その設定時間内におけるＣＣＤ２０９ａの姿勢変化の軌跡を求める。これにより、主制御部２１５は、ＣＣＤ２０９ａへの結像時から上記設定時間だけ遡った期間内に、ＣＣＤ２０９ａの姿勢が変化した変化軌跡を把握することができる。この変化軌跡は、撮像方向の変化の軌跡を示すものである。なお、この変化軌跡を把握するための設定時間及び付加時間は、上記制御例１の場合と同様である。
【００４７】
本制御例２では、このようにして求めた変化軌跡に基づき、上記設定時間の開始時すなわちユーザーが多機能キー２５を押すための動作を開始した時の撮像方向を特定する。そして、この撮像方向と、設定時間の終了時すなわちＣＣＤ２０９ａへの結像時における撮像方向とのなす角φを求める。図１０（ｂ）で示したように、ＣＣＤ２０９ａと被写体との距離Ｌがわかれば、被写体上における目標中心と画像中心との距離はＬ×ｔａｎφから算出できるので、この距離Ｌに相当するＣＣＤ２０９ａ上の距離を把握することができる。この把握した距離は、ユーザーが多機能キー２５を押すための動作を開始した時の被写体像の中心点すなわちレリーズ操作前にユーザーが確認した被写体像の中心点Ｏ’と、ＣＣＤ２０９ａに結像された像の中心点Ｏとのズレ量に相当する。このように、本制御例２では、携帯電話機２０と被写体との距離Ｌを検出する必要があるので、携帯電話機２０に距離計測手段が備わっている。この距離計測手段としては、例えば、公知のオートフォーカス機能で利用されている赤外線を用いた距離計測手段を利用できる。この手段を利用すれば、被写体から反射された赤外線の入射角度を距離に換算して距離Ｌを計測することができる。主制御部２１５は、この距離計測手段で計測した距離Ｌを取得する（Ｓ１６）。なお、内蔵カメラ２９が、このような距離計測手段を利用したオートフォーカス機能を有する場合には、カメラ部２１９から出力される距離データを主制御部２１５が取得するようにしてもよい。
【００４８】
ここで、上記距離計測手段で距離Ｌを計測した後に、携帯電話機２０が撮像方向へ変位してしまい、その計測値が実際の距離Ｌと一致しなくなると、被写体上における目標中心と画像中心との距離に誤差が生じてしまう。本実施形態の携帯電話機２０は、上述したように３軸の加速度センサを備えており、撮像方向に平行なＺ軸方向の加速度αZに基づいて撮像方向への携帯電話機２０の変位量を求めることが可能である。よって、この加速度αZに基づいて、上記距離計測手段で距離Ｌを計測した後の携帯電話機２０の撮像方向への変位量を算出することで、上記誤差を抑制することができる。また、この算出結果は、オートフォーカス機能に応用することもできる。
【００４９】
また、主制御部２１５は、これらの撮像方向を含む仮想面とレリーズ信号出力時又はその直前の撮像方向に対して直交する仮想面との交線の方向を求める。図１０に示したデジタルカメラのように、携帯電話機２０がＸ軸まわりに回転してＣＣＤ２０９ａの姿勢が変化した場合においては、この交線の方向、すなわち、これらの撮像方向を含む仮想面であるＹＺ平面とレリーズ信号出力時又はその直前の撮像方向である図１０（ａ）中１点鎖線で示す方向に対して直交する仮想面であるＸＹ平面との交線の方向が、Ｙ軸方向であると求まる。この交線の方向は、ユーザーが多機能キー２５を押すための動作を開始した時の被写体像の中心点すなわちレリーズ操作前にユーザーが確認した被写体像の中心点Ｏ’と、ＣＣＤ２０９ａに結像された像の中心点Ｏとの相対的なズレ方向に相当する。
このようにして、本制御例２でも、上記制御例１と同様にズレ量及びズレ方向を把握できるので、主制御部２１５は、カメラ部２１９から取得した補正前画像データ中のどの地点が、レリーズ操作前にユーザーが確認した被写体像の中心点であった地点Ｏ’なのかを把握することができる。その後、主制御部２１５は、上記制御例１の場合と同様に、トリミング処理を行い（Ｓ１７）、その画像データをＲＡＭ２０２の画像データ記憶領域に保存する処理を行う（Ｓ１８）。
【００５０】
以上、本制御例２によれば、レリーズ操作の際にＣＣＤ２０９ａの姿勢が変化して撮像方向が変化しても、レリーズ操作前にユーザーが確認した被写体像の中心点であった地点Ｏ’が画像中心点となった画像データを得ることができる。
また、本制御例２でも、規定画像領域よりも大きな画像領域に対応する最大像を結像可能な寸法をもつＣＣＤ２０９ａを採用し、そのＣＣＤ２０９ａ全体に結像された像に基づく画像データについて画像領域補正処理を行うので、上述した中心点補正処理を行っても、規定画像領域の大きさと同じ画像領域をもった画像データを得ることができる。
なお、本制御例２では、図１０に示したように、携帯電話機２０のＺ軸方向（撮像方向）が水平方向を向くような姿勢で撮影を行い、そのレリーズ操作の際に携帯電話機２０がＸ軸まわりに回転して姿勢が変化する場合を例に挙げて説明したが、レリーズ操作の際に携帯電話機２０がＹ軸まわりやＺ軸まわりに回転して姿勢が変化する場合も、同様である。また、レリーズ操作の際に携帯電話機２０がこれらの３つの軸まわりに回転して姿勢が変化する場合でも、同様である。
【００５１】
〔制御例３〕
次に、上記カメラ部２１９で撮像して得た補正前画像データについて行う補正処理の更に他の例（以下、本制御例を「制御例３」という。）について説明する。なお、本制御例３でも、主制御部２１５及びセンサ検出部２１７によって補正処理手段が構成される。
ユーザーがレリーズ操作を行うことにより、図９に示したデジタルカメラのように携帯電話機２０が変位するとともに、図１０に示したデジタルカメラのように携帯電話機２０の姿勢が変化することもある。本制御例３では、このように携帯電話機２０の変位と姿勢変化が起きたときに発生する画像中心点と目標中心点とのズレを抑制するための中心点補正処理を行う。
【００５２】
図８は、本制御例３における処理の流れを示すフローチャートである。なお、本制御例３は、上述した制御例１及び制御例２を組み合わせたものであるので、以下の説明では、本制御例３に特有の部分についてのみ説明する。
本制御例３では、加速度データに基づいて算出したＣＣＤ２０９ａの変位方向及び変位量（Ｓ２５）、並びに、角度データに基づいて算出したＣＣＤ２０９ａの姿勢の変化方向及び変化量（Ｓ２６）及びＣＣＤ２０９ａと被写体との距離（Ｓ２７）を用い、ユーザーが多機能キー２５を押すための動作を開始した時の被写体像の中心点すなわちレリーズ操作前にユーザーが確認した被写体像の中心点Ｏ’と、ＣＣＤ２０９ａに結像された像の中心点Ｏとの相対的なズレ方向及びズレ量を求める。具体的には、この相対的なズレ方向及びズレ量として、上記制御例１で説明したようにして上記Ｓ２５で算出したＣＣＤ２０９ａの変位方向及び変位量に基づいて得られる相対的なズレ方向及びズレ量と、上記制御例２で説明したようにして上記Ｓ２６で算出したＣＣＤ２０９ａの姿勢の変化方向及び変化量並びに上記Ｓ２７で計測した距離に基づいて得られる相対的なズレ方向及びズレ量とを加算したものを用いる。
【００５３】
本制御例３によれば、レリーズ操作の際に、図９に示したような携帯電話機２０の変位と、図１０に示したような携帯電話機２０の姿勢変化とが複合的に発生したとしても、レリーズ操作前にユーザーが確認した被写体像の中心点であった地点Ｏ’が画像中心点となった画像データを得ることができる。
【００５４】
なお、上述した実施形態（上記各制御例を含む。以下同じ。）においては、カメラ撮影プログラムが主制御部２１５上で直接動作するアプリケーションプログラムである場合について説明したが、アプリケーションプログラム実行管理部のアプリケーション実行環境上で動作するアプリケーションプログラムであってもよい。このようなアプリケーションプログラムとしては、ＪＡＶＡ（登録商標。以下同様。）で記述されたアプリケーションプログラム、Ｃ＋＋言語で記述されたアプリケーションプログラム、ＢＲＥＷ（登録商標。以下同様。）のアプリケーション実行環境上で動作するアプリケーションプログラムなどが挙げられる。また、アプリケーションプログラムは、Ｃ言語やアセンブリ言語等で記述された構造化プログラムであってもよい。この場合、そのアプリケーションプログラムは、主制御部２１５に対応する電話機プラットフォームに依存しないものとなり、汎用性の高いプログラムとして提供することができる。
また、上述した実施形態では、本発明を携帯電話機２０に適用した例について説明したが、デジタルカメラに適用した場合も同様の効果を得ることができる。また、本発明は、携帯電話機のほか、デジタルカメラ機能を備えた電子機器について広く適用することができ、同様な効果が得られるものである。
【図面の簡単な説明】
【００５５】
【図１】実施形態における携帯電話機の制御例１の処理の流れを示すフローチャート。
【図２】同携帯電話機の外観を示す正面図。
【図３】同携帯電話機のハードウェア構成を示す概略構成図。
【図４】同携帯電話機の主要部を抽出して示したブロック図。
【図５】及び（ｂ）は、同携帯電話機の内蔵カメラが有するＣＣＤ２０９ａ上において、画像データの規定画像領域及び中心点のズレを説明するための説明図。
【図６】ユーザーが液晶ディスプレイに表示された被写体像の画像を確認してから、レリーズ操作を行って被写体像がＣＣＤ２０９ａに結像されるまでの時間経過を示す説明図。
【図７】同携帯電話機の制御例２における処理の流れを示すフローチャート。
【図８】同携帯電話機の制御例３における処理の流れを示すフローチャート。
【図９】は、レリーズ操作時又はその直前における被写体に対するデジタルカメラの相対位置を示す説明図。（ｂ）は、レリーズ操作の際に同デジタルカメラが変位したときの説明図。
【図１０】は、レリーズ操作時又はその直前におけるデジタルカメラの姿勢を示す説明図。（ｂ）は、レリーズ操作の際に同デジタルカメラの姿勢が変化したときの説明図。
【符号の説明】
【００５６】
２０  携帯電話機
２５  多機能キー
２７  液晶ディスプレイ
２９  内蔵カメラ
２０７  加速度センサ
２０８  地磁気センサ
２１３  操作部
２１５  主制御部
２１６  出力部
２１７  センサ検出部
２１８  記憶部
２１９  カメラ部
【図１】
2006060308.tif 000003
【図２】
2006060308.tif 000004
【図３】
2006060308.tif 000005
【図４】
2006060308.tif 000006
【図５】
2006060308.tif 000007
【図６】
2006060308.tif 000008
【図７】
2006060308.tif 000009
【図８】
2006060308.tif 000010
【図９】
2006060308.tif 000011
【図１０】
2006060308.tif 000012