(57)【要約】【課題】画像の重ね合わせに要する演算時間を短縮し、演算に使用するメモリの規模を縮小する。【解決手段】  補正処理部６１は、第（ｋ−１）番目のスリット画像と第ｋ番目のスリット画像との位置関係を検出する処理と、明暗の補正量を算出する処理とを並列して行う。明暗の補正量を算出する処理では、第（ｋ−１）番目のスリット画像の一部であって第ｋ番目のスリット画像と必ず重なる特定領域１００の累加算値である第１の累加算地と、第ｋ番目のスリット画像の一部であって特定領域と重なると考えられる１６種類の仮定領域４０１〜４１６の累加算値を算出する。補間処理部６７は、検出された位置関係を基に特定領域１００と略重なる４つの仮定領域を選択して、選択した仮定領域の累加算値の重み付き計算により、第２の累加算値の近似値を算出する。【選択図】図１２
2006295329.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像と第２の画像とを重ね合わせて第３の画像を生成する画像処理装置において、
上記第１の画像と第２の画像との位置関係を検出する位置関係検出部と、
上記第１の画像の一部であって、上記第２の画像の一部と同一の被写体領域が投影される特定領域における明暗の指標を算出する指標演算部と、
上記第２の画像の一部であって、上記特定領域と同じ被写体領域を投影すると仮定した複数の仮定領域における明暗の指標を算出する仮定指標演算部と、
上記位置検出部にて検出された位置関係を基に上記特定領域と略同じ被写体領域を投影した仮定領域を選択する選択部と、
上記選択した仮定領域の明暗の指標と、上記特定領域の明暗の指標とを基に、上記第１の画像に対する第２の画像の明暗の補正値を算出する補正値算出部と
を有することを特徴とする画像処理装置。
【請求項２】
上記第１の画像と上記第２の画像とを同一のＸＹ座標系に配置し、上記ＸＹ座標系において上記同一の被写体領域が投影される領域をＳ、上記第２の画像の基準位置に対する仮定の誤差（Ｕ，Ｖ）、各誤差に対する仮定領域｛（Ｘ，Ｙ）｜（Ｘ−Ｕ，Ｙ−Ｖ）∈Ｓ｝としたとき、
上記選択部は、上記位置関係検出部が検出した位置関係による実際に発生した誤差と、上記誤差候補点による仮定の誤差とを比較し、上記実際に発生した誤差に近い仮定の誤差に対応する少なくとも１つの仮定領域を選択することを特徴とする請求項１記載の画像処理装置。
【請求項３】
上記選択部は、上記位置関係に基づき複数の誤差候補点を選択し、上記補正値算出部は、上記複数の誤差候補点に関連する仮定領域の明暗の指標を補間することにより、上記特定領域と同じ被写体を投影した仮定領域の明暗の指標を近似的に求めることを特徴とする請求項２記載の画像処理装置。
【請求項４】
上記指標演算部は明暗の指標として上記特定領域の全ての画素の値の累加算値を算出し、上記仮定指標演算部は上記明暗の指標として上記仮定領域の全ての画素の値の累加算値を算出することを特徴とする請求項１記載の画像処理装置。
【請求項５】
上記補正値算出部により算出した明暗の補正値により第２の画像の明暗を補正し、上記位置関係検出部が検出した位置関係を基に第１の画像と第２の画像との重ね合わせを行う重ね合わせ部を備えることを特徴とする請求項５記載の画像処理装置。
【請求項６】
上記補正値算出部は上記選択部が選択した仮定領域の明暗の指標と上記特定領域の明暗の指標との比を求め、上記重ね合わせ部は上記比を用いて第２の画像の明暗を補正することを特徴とする請求項１記載の画像処理装置。
【請求項７】
上記第２の画像は撮像方向を順次変化させて撮像した撮像範囲の一部を構成する任意の単位画像、上記第１の画像は上記第２の画像の撮像時間以前に撮像された単位画像であることを特徴とする請求項１記載の画像処理装置。
【請求項８】
上記第３の画像は、上記単位画像の一部を構成する所定サイズの画像領域を、互いに重複領域が生じるように切り出し、上記切り出された画像領域を順次重ね合わせることにより生成された上記撮像範囲全体を表すパノラマ画像であることを特徴とする請求項７記載の画像処理装置。
【請求項９】
上記補正値算出部は、上記順次撮像された複数の単位画像のうちの一つの基準単位画像に対する上記第１の画像の明暗の補正値と、上記第１の画像に対する第２の画像の明暗の補正値とを乗算して、上記基準単位画像に対する上記第２の画像の明暗の補正値を算出することを特徴とする請求項７記載の画像処理装置。
【請求項１０】
撮像方向を順次変化させて撮像範囲の一部を構成する単位画像を撮像する撮像手段と、
上記撮像手段において撮像した複数の単位画像のうちの任意の単位画像である第２の単位画像と、上記単位画像の直前に撮像された単位画像である第１の単位画像との位置関係を検出する位置関係検出部と、
上記第１の画像の一部であって、上記第２の画像と同じ被写体領域を投影すると特定領域における明暗の指標を算出する指標演算部と、
上記第２の画像の一部であって、上記特定領域と同じ被写体領域を投影すると仮定した複数の仮定領域における明暗の指標を算出する仮定指標算出部と、
上記位置検出部にて検出された位置関係を基に上記特定領域と略同じ被写体を投影した仮定領域を選択する選択部と、
上記選択した仮定領域の明暗の指標と、上記特定領域の明暗の指標とを基に、上記第１の画像に対する第２画像の明暗の補正値を算出する補正値算出部と
を有することを特徴とする撮像装置。
【請求項１１】
撮像方向を順次変化させて撮像範囲の一部を構成する単位画像を入力する入力工程と、
上記入力工程において入力した複数の単位画像のうちの任意の単位画像である第２の単位画像と、上記単位画像の直前に撮像された単位画像である第１の単位画像との位置関係を検出するとともに、上記第１の画像の一部であって、上記第２の画像と同じ被写体領域を投影する特定領域における明暗の指標を算出し、上記第２の画像の一部であって、上記特定領域と同じ被写体領域を投影すると仮定した複数の仮定領域における明暗の指標を算出する工程と、
検出された位置関係を基に上記特定領域と略同じ被写体を投影した仮定領域を選択する選択工程と、
上記選択した仮定領域の明暗の指標と、上記特定領域の明暗の指標とを基に、上記第１の画像に対する第２の画像の明暗の補正値を算出する補正値算出工程と
を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像方向を順次変化させて撮像することにより複数の画像が重ねあわされたパノラマ状の全体画像を生成する画像処理装置、撮像装置及び画像を重ねあわせる際の画像処理方法に関する。
【背景技術】
【０００２】
従来より広く用いられている電子スチルカメラは、被写体を撮像することでレンズを通過した光を、ＣＣＤ等の個体撮像素子により画像信号に変換し、これを記録媒体に記録し、また記録した画像信号を再生することができる。また電子スチルカメラの多くは、撮像した静止画像を表示することができるモニタを備え、これまでに記録した静止画像のうち特定のものを選択して表示することができる。この電子スチルカメラにおいて、１回の撮影での撮影範囲はレンズの画角によって制限された狭い範囲のものとなり、レンズの画各を越えた広範囲の撮影ができなかった。
【０００３】
このため、パノラマ状の画像を撮影するカメラシステムが近年において提案されている。このカメラシステムは、広い視野を複数のレンズで一度に撮影する多眼式と、単眼レンズを用いて撮影方向を順にシフトさせつつ個々の単位画像に分けて連続撮影する単眼式に分類される。
【０００４】
多眼式のカメラシステムは、通常のカメラとほぼ同様の操作でパノラマ状の全体画像を生成できるという利点があるが、システム全体が高価になるという欠点がある。
【０００５】
これに対し、単眼式のカメラシステム（例えば、特許文献１参照）は、比較的安価であるが、連続撮影した個々の単位画像を継ぎ目が目立たないように接合して一枚の全体画像を生成する画像処理技術が必須となる。即ち、撮影方向を順次シフトさせて撮影を行う関係上、撮影された個々の視野は互いに異なることから、パターンマッチング等の技術を用いて隣接する単位画像間の位置ずれ量を推定してこれを補正する必要があるからである。また重なり合う単位画像からパノラマ状の全体画像を取得すべく、各単位画像の中心からの距離に関するボロノイ分割法を用いることにより、得られた境界線に基づいて最適な単位画像を選択する方法が提案されている。更には、相互に重複する画像領域における画素値の平均を用いることにより隣接する単位画像を滑らかにつなぐ方法、或いはメディアンフィルタを用いることにより、最適な単位画像を選択する方法も提案されている。
【０００６】
ところで、この単眼式のカメラシステムは、連続撮影の結果取得される単位画像の境界付近に動被写体が写し出されている場合に、ズレ等の不連続部分が生じる結果、最終的に生成される全体画像において破綻をきたすという問題点もある。
【０００７】
この問題を軽減するには、できるだけ多くの枚数をできるだけ短時間で撮影すればよい。なお、このパノラマ状の撮影対象全域を短時間で撮影するには、必然的に、単眼レンズと撮像素子を有するカメラモジュールにおける水平方向又は垂直方向の旋回速度を上げなければならない。しかしながら、当該旋回速度を上げるにつれて撮影中にブレが生じてしまうという問題点が生じる。このブレを抑制するためには、撮影動作に同期させて、高い精度でカメラモジュールを静止させるか、手ぶれ補正機構を用いた制御を実行する必要があるが、システム全体のコストが割高になるという問題点も生じる。
【０００８】
例えば、特許文献２において提案されているパノラマ電子スチルカメラでは、撮像素子から、画像信号を読み出す動作に連動してカメラを回動させる手段を備えるが、撮影間隔を短くするためには、カメラの旋回と停止を高速かつ正確に繰り返すハードウェアが必要になり、システム全体のコストを抑えることができない。
【０００９】
また、このパノラマ状の撮影対象全域を短時間で撮影するには、必然的に、シャッタ速度を速くする必要があるが、従来におけるパノラマ電子スチルカメラにおいて、シャッタ速度を速くすると、得られる画像全体が暗くなり、またノイズも増加するため、良質の画像を生成することができない。
【００１０】
さらに、回転あるいは移動しながら連続撮影を行い複数の撮影画像を得て、上記撮影画像をつなぎ合わせることでパノラマ画像を得る場合、結果画像であるパノラマ画像には、カメラの回転あるいは移動方向と同じ方向のブレが生じてしまうという問題がある。
【００１１】
また、例えば、蛍光灯のようにある周波数で点滅している光の下で、連続撮影を行うと、各画像の明るさが一致しないことがある。このような画像を単純に張りあわせていくと、最終的なパノラマ画像において画像上のある場所では明るく、別の場所では暗くなってしまい、明暗の縞模様ができてしまう。
【００１２】
連続撮影をしたときの画像の位置ずれや明暗の差を補正するには、先に位置ずれを検出して、重複する部分の明暗の補正量を算出する。この手順で位置ずれや明暗の差を補正すると、補正処理に要する時間が長くなるとともに、処理対象となる画像の数が増加し画像を記憶するためのメモリの規模が大きくなる。
【００１３】
【特許文献１】特開平１１−４６３１７号公報
【特許文献２】特開平６−２２５２０２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
本発明は、上述した課題に鑑みてなされたものであり、画像の重ね合わせに要する演算時間を短縮し、メモリ規模を縮小した画像処理装置、撮像装置、及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明を適用した画像処理装置、撮像装置、及び画像処理方法は、第１の画像と同一の被写体領域を撮像すると考えられる第２の画像の仮定領域における明暗の指標を算出し、第１の画像と第２の画像との位置関係が検出された後に、第１の画像の特定領域と略同じ被写体領域を投影した仮定領域を選択し、選択した仮定領域の明暗の指標を基に、第１の画像に対する第２の画像の明暗の補正値を算出するため、第１の画像と第２の画像との位置関係の検出処理と、明暗の補正値の算出処理とを並列に実行する。
【発明の効果】
【００１６】
本発明によれば、第１の画像と同一の被写体領域を撮像すると考えられる第２の画像の仮定領域における明暗の指標を算出し、第１の画像と第２の画像との位置関係が検出された後に、第１の画像の特定領域と略同じ被写体領域を投影した仮定領域を選択し、選択した仮定領域の明暗の指標を基に、第１の画像に対する第２の画像の明暗の補正値を算出するため、第１の画像と第２の画像との位置関係の検出処理と、明暗の補正値の算出処理とを並列に実行することができ処理時間が短縮される。
【発明を実施するための最良の形態】
【００１７】
以下、本発明を撮像装置に適用した例について説明する。この撮像装置１は、図１に示すように、被写体を撮像する撮像部１０を備え、この撮像部１０は、被写体からの像光を結像させるためのレンズ１０ａと、レンズ１０ａを介して入射される像光を遮光する図示しないシャッタ羽根等により絞り量を調整する絞り駆動部１０ｂと、入力される被写体像に基づき電気的な撮像信号Ｃ１を生成するＣＭＯＳ(Complementary Metal-Oxide Semiconductor) イメージセンサ１１とを有している。
【００１８】
また、この撮像装置１は、ＣＭＯＳイメージセンサ１１により生成された撮像信号Ｃ１のばらつきを補償するためのＣＤＳ(Correlated Double Sampling)回路１２と、ＣＤＳ回路１２から供給される撮像信号Ｃ２をアナログ／デジタル変換処理するＡ／Ｄ変換部１３と、このＡ／Ｄ変換部１３から供給されるデジタル化した撮像信号Ｃ２としての画像データを一時的に格納し、これに所定の処理を施すディジタルシグナルプロセッサ（ＤＳＰ）１５と、接続されたＤＳＰ１５からの画像データを符号化するコーデック処理部１６と、このコーデック処理部１６から供給される画像データを格納するメモリ１７とを備えている。
【００１９】
この撮像装置１は、ＤＳＰ１５から供給される画像データをデジタル／アナログ変換処理して出力するＤ／Ａ変換部１８と、このＤ／Ａ変換部１８からの画像データをビデオ信号に変換するビデオエンコーダ部１９と、ビデオエンコーダ部１９に接続されてなり、上述のビデオ信号に基づく画像をユーザに表示するためのモニタ部２０とを備え、またこの撮像装置１は、接続された内部バス１４を介して撮像装置１全体を制御するためのＣＰＵ（Central Processing Unit）２１と、内部バス１４に接続されてなりユーザが各種操作を実行するための操作部２２と、ＣＰＵ２１から内部バス１４を介して送られる制御信号に基づき、ＣＭＯＳイメージセンサ１１からＤＳＰ１５に至るまでの信号処理系を制御するタイミングジェネレータ２３と、内部バス１４にそれぞれ接続されてなるモータ２４並びに露出計２６とを備えている。
【００２０】
撮像部１０は、ＣＰＵ２１から供給された動作信号に基づき、自動絞り制御動作や自動焦点制御動作等を実行する。また、この撮像部１０は、かかる動作信号に基づいて、撮影方向を水平、垂直方向へ調整し、また操作部２２を介して入力される絞り値に応じて、図示しないシャッタ羽根を開閉させることにより絞り量を調整する。
【００２１】
ＣＭＯＳイメージセンサ１１は、レンズ部１０ａ並びに絞り駆動部１０ｂを介して入射される被写体像を電気信号に変換した撮像信号Ｃ１を生成し、これをＣＤＳ回路１２へ出力する。なお、このＣＭＯＳイメージセンサ１１は、撮像面上に結像された被写体像のうち一部の領域を選択し、当該領域の画素値のみを効率よく読み出すことができる。
【００２２】
ＣＤＳ回路１２は、ＣＭＯＳイメージセンサ１１から供給される撮像信号Ｃ１の雑音を相関二重サンプリング回路を用いて除去し、或いはゲインを増幅させるための処理を施し、これを撮像信号Ｃ２としてＡ／Ｄ変換部１３へ出力する。Ａ／Ｄ変換部１３は、このＣＤＳ回路１２から供給される撮像信号Ｃ２をアナログ／デジタル変換処理し、これをＤＳＰ１５へと出力する。ちなみに、このＣＤＳ回路１２及びＡ／Ｄ変換部１３における各動作タイミングは、一定のフレームレートで画像取り込みを継続すべく、タイミングジェネレータ２３により制御される。
【００２３】
ＤＳＰ１５は、ともに図示しない信号処理用プロセッサと、画像用ＲＡＭとを有するブロックである。Ａ／Ｄ変換部１３からの撮像信号Ｃ２で表される画像は、タイミングジェネレータ２３による制御の下、一定のフレームレートで構成されるストリームデータとして供給され、この画像用ＲＡＭに一時的に格納される。図示しない信号処理用プロセッサは、この画像用ＲＡＭに格納される画像に対して、予めプログラムされた画像処理を施すための設定がなされている。この図示しない画像用ＲＡＭにおいて画像処理された画像は、コーデック処理部１６とＤ／Ａ変換部１８の何れか、或いは双方へ送信される。
【００２４】
コーデック処理部１６は、ＤＳＰ１５から送信された画像につき、所定の方式でデータ量を圧縮する。ここでは、ＪＰＥＧ（Joint Photographic Experts Group）等の規格に基づいて圧縮符号化してもよい。
【００２５】
メモリ１７は、例えば半導体メモリ,磁気記録媒体,光磁気記録媒体等で構成され、コーデック処理部１６において圧縮処理された画像データを所定のアドレスに記録するための媒体である。このメモリ１７を着脱自在な記録媒体として構成することにより、撮像した画像を他のＰＣ等に移し換えてこれを鑑賞し、又は各種検索や処理を実行することができる。
【００２６】
モニタ部２０は、Ｄ／Ａ変換部１８においてアナログ信号に変換され、さらにビデオエンコーダ部１９においてビデオ信号に変換された画像を表示する。このモニタ部２０は、ユーザ自身が撮像処理を実行しつつリアルタイムに撮影内容の確認ができるように、撮像装置１の筐体側面等に設けられる液晶表示素子等で構成してもよい。
【００２７】
ＣＰＵ２１は、内部バス１４を介して、実行すべき制御プログラムを格納するＲＯＭやデータの蓄積や展開等に使用する作業領域としてのＤＲＡＭ等が接続され、撮像装置１全体を制御する中央演算ユニットとしての役割を担う。ＣＰＵ２１は、操作部２２から供給される操作信号Ｄ１や露出計２６から送信される明るさに関する情報に基づいて、動作信号を生成し、これを内部バス１４を介して撮像部１０へ送信する。
【００２８】
操作部２２は、撮影画角や撮影方向をユーザが自由に調整するため、或いは撮像部１０における絞り値や露出時間を自由に調整するためのキー等で構成される。この操作部２２は、ユーザにより入力された情報に応じた操作信号Ｄ１を生成し、これを内部バス１４を介してＣＰＵ２１へ送信する。さらに、この操作部２２は、シャッタボタン２２１を有し、ユーザによるシャッタボタン２２１の押圧入力操作に基づいて、撮像を開始又は停止する旨の操作信号Ｄ１を生成し、これを内部バス１４を介してＣＰＵ２１へ送信する。
【００２９】
モータ２４は、例えばステッピングモータ等のように、撮像部１０を旋回させるための駆動源として構成される。このモータ２４は、ＣＰＵ２１からの動作信号に応じて回転する。これにより、撮像部１０の撮影方向を水平方向、或いは垂直方向に変更することができる。
【００３０】
露出計２６は、撮像部１０により撮像される対象の明るさを識別するためのセンサであり、この識別した明るさに関する情報をＣＰＵ２１へ送信する。
【００３１】
上述の如き構成からなる撮像装置１により撮像された被写体像は、ＣＭＯＳイメージセンサ１１において電気信号に変換されて撮像信号Ｃ１となり、ＣＤＳ回路１２により雑音を除去されて撮像信号Ｃ２となり、更にはＡ／Ｄ変換部１３においてアナログ／デジタル変換処理される。また、この撮像信号Ｃ２で示される画像は、ＤＳＰ１５における図示しない画像用ＲＡＭに格納され、所定の画像処理が施された後、Ｄ／Ａ変換部１８によりデジタル／アナログ変換処理されてモニタ部２０において表示され、或いはコーデック処理部１６により符号化されてメモリ１７に記録されることになる。
【００３２】
本発明は、さらに以下に説明する撮像装置３に適用することができる。この撮像装置３において上述した撮像装置１と同一の構成、要素については、図１の説明を引用することにより、ここでの説明を省略する。
【００３３】
この撮像装置３は、例えば図２に示すように、レンズ部１０ａを含む撮像部１０を介して被写体を撮像し、連結された回転軸を回転中心として図２中の矢印Ａ方向へ回転可能な第１の筐体３１と、第１の筐体の下側に配設され、ユーザの片手で把持可能な第２の筐体３２とを備えている。ちなみに、この第２の筐体３２には、シャッタボタン２２１と、撮像した画像をユーザ自身が視認するための表示部４３とが配設されている。
【００３４】
図３（ａ）、（ｂ）は、この撮像装置３の内部構成を示している。この第１の筐体３１は、レンズ部１０ａと、ＣＭＯＳイメージセンサ１１と、少なくともＣＤＳ回路１２並びにＡ／Ｄ変換部１３を有する第１の電子回路４１とを備えている。
【００３５】
また、第２の筐体３２は、回転軸３８を介して第１の筐体３１に連結されてなり、この回転軸３８を回転させるためのモータ５１と、この回転軸３８の回転角を制御するためのフォトインターラプタ５２並びに遮蔽板５３と、この回転軸３８の回転動作に対して物理的な制限を加えるためのストッパー５４と、第２の筐体３２の上面に設けられた連結穴に挿設されてなり、上記回転軸３８を支持することにより円滑な回転動作を実現するためのベアリング５５と、撮像装置３の各構成要素を制御するための第２の電子回路４２と、各構成要素を動作させるためのバッテリー４４とを備えている。
【００３６】
第２の電子回路４２は、図３（ｂ）に示すように、ＤＳＰ１５と、メモリ１７と、ＣＰＵ２１と、操作部２２と、シャッタボタン２２１と、表示部４３と、モータやフォトインターラプタ、または外部機器との間で画像データを送受信するためのインターフェース４７とを備え、また第１の電子回路４１との間で電気的な信号を送受信するための配線５６が接続されている。
【００３７】
ちなみに、この第２の筐体３２は、上述した各構成要素に加えて、一般撮影モードと、パノラマ撮影モードとを切り換えるためのボタンや、一般的なデジタルカメラが有する各種ボタンが配設されている。
【００３８】
モータ５１は、供給された駆動パルスに応じた角速度で回転軸３８を回転させるステッピングモータ等で構成される。このモータ５１により回転させられる回転軸３８の一端側には第１の筐体３１が連結され、その中間にはストッパー５４が固着される。またこの回転軸３８の他端側には遮蔽板５３が固着されている。即ち、このモータ５１に基づく回転軸３８の回転動作に応じて第１の筐体３１が回転するとともに、遮蔽板５３並びにストッパー５４も同様に回転することになる。ちなみに、このモータ５１による回転軸３８の回転角度における相対的な変位は、モータ５１に与えるパルス数で検出することができる。
【００３９】
表示部４３は、Ｄ／Ａ変換部１８,ビデオエンコーダ部１９,モニタ部２０に準ずる構成を全て含み、第２の筐体３２側面に設けた液晶表示素子を介して生成した画像を表示する。この表示部４３は、回転軸３８により回転させられる第１の筐体３１と離間して設けられているため、回転軸３８の回転に支配されることなく、視認性を向上させることができる。
【００４０】
フォトインターラプタ５２は、発光体５２ａと受光体５２ｂとが上下に亘って設けられてなる。この受光体５２ｂは、発光体５２ａからの光信号を受光し続けることになるが、回転軸３８の回転に応じて遮蔽板５３がフォトインターラプタ５２付近まで回転されてきた場合には、かかる光信号が遮蔽板５３により遮蔽されることになる。即ち、この受光体５２ｂが受光する光信号の遮蔽状況から、回転軸３８の回転状況を識別することが可能となる。
【００４１】
なお、回転軸３８が可動範囲を超えて回転した場合には、この遮蔽板５３が光信号を遮蔽し、当該遮蔽に応じてモータ５１が停止するように構成としてもよい。この図４は、フォトインターラプタ５２並びに遮蔽板５３を図３中のＢ方向から捉えたものである。この図４に示すように、可動範囲内においては、遮蔽板５３が受光体５２ｂにより受光される光信号を遮ることがないため、モータ５１が停止することなく、回転軸３８を自在に回転させることができる。これに対して、可動範囲を超えた場合には、遮蔽板５３が受光体５２により受光される光信号を遮ることになり、モータ５１が停止することになる。なお、この可動範囲を超えた場合には、さらにストッパー５４を介して第１の筐体３１の回転動作を物理的に抑え込むようにしてもよい。
【００４２】
このように、第２の筐体３２に対する第１の筐体３１の回転範囲を制限する仕組みを導入することにより、第１の筐体３１から第２の筐体３２へのデータの伝送を、フォトカプラを用いた特殊なジョイント部品を使用することなく、通常の可動部分で用いられるようなフレキシブルな配線素材を用いて実現することができる。
【００４３】
上述の構成からなる撮像装置３を用いるユーザは、第２の筐体３２を把持しつつ、撮影を行う。かかる場合において第２の筐体３２外部に設けられたシャッタボタン２２１を押圧することにより、上述した撮影開始のタイミング、撮影終了のタイミングを指定することができる。第２の筐体３２を片手で把持するユーザの指先に当たる箇所に、このシャッタボタン２２１を設けることにより、指先の小さな動きで撮影の開始及び終了を支持することができる。
【００４４】
従って、このような第２の筐体３２を片手で把持し、シャッタボタン２２１を押圧することにより、図５（ａ）に示す状態から、第１の筐体３１が徐々に回転し、図５（ｂ）に示すように撮像部１０の撮影方向が変化する。また、このシャッタボタン２２１を更に押圧し続けることにより、図５（ｃ）に示すように、第１の筐体３１が更に回転する結果、撮像部１０の撮影方向がさらに変化することになる。即ち、この第１の筐体３１は、連結された回転軸３８を回転中心として撮像部１０の撮影方向が順次変化するように回転可能となるように構成されてなる。
【００４５】
ちなみに、この図５（ｃ）に示す状態においてこのシャッタボタン２２１を押し続けた場合に、上述したフォトインターラプタ５２により、モータ５１の回転を抑制させた上で、この第１の筐体３１を更に反対方向へ向かって回転させるようにしてもよい。
【００４６】
ちなみに、この第２の筐体３２には、バッテリー４４やモータ５１等の質量の大きい部品や、多くの回路より構成される第２の電子回路４２が搭載されるのに対し、第１の筐体３１には、撮影に必要なレンズ部１０ａや、ＣＭＯＳイメージセンサ１１、第１の電子回路４１等のように比較的質量の小さい部品が搭載されている。即ち、この第１の筐体３１は、第２の筐体３２と比較して質量が軽くなるような構成とされている。これにより、第１の筐体３１を回転させる回転軸３８やベアリング５５等の部品、更にはモータ５１等への機械的負荷を軽減させ、製品全体のコストを低く抑え込むことが可能となり、高品質なパノラマ撮影機能を備えた一般的なコンスーマ用のデジタルカメラを低コストで実現することも可能となる。
【００４７】
図６は、撮像装置３による撮影工程を示すフローチャートである。
【００４８】
撮像装置３は、ハードウェアの診断や初期化を行った後、ステップＳ６１へ移行する。
【００４９】
ステップＳ６１では、通常のカメラと同様に、自動露出機能等の補助を利用しつつ、絞り量や露出等をユーザ自身が調整する。その結果、各種撮影パラメータが決定される。
【００５０】
次にステップＳ６２へ移行し、シャッタボタン２２１の押圧を調べ、撮影開始タイミングを識別する。シャッタボタン２２１が押圧されていればそのままステップＳ６３へ移行し、押圧されていなければステップＳ６１へ戻る。
【００５１】
ステップＳ６３へ移行した場合には、撮像部１０により撮像を行う。撮像により取得されたデータは、ＣＤＳ回路１２、Ａ／Ｄ変換部１３を経て、ＤＳＰ１５へ転送される。
【００５２】
ステップＳ６４では、ＤＳＰ１５が画像処理を実行することによりパノラマ状の全体画像を合成する。図７は、連続撮影した画像をつなぎ合わせて１枚のパノラマ状の全体画像を合成する様子を示している。ここで、連続して撮影された各単位画像は、互いに重複領域が生じるように撮影されているものとする。この重複領域については、従来より知られている合成方法に基づいてつなぎ合わせることにより、図７に示すような全体画像を合成することができる。ちなみに、この合成方法として、例えば、アルファブレンディング等の合成技法を用いるようにしてもよい。
【００５３】
次にステップＳ６５へ移行し、第１の筐体３１を第２の筐体３２に対して回転させることにより、撮像部１０による撮影方向を僅かに変化させる。この第１の筐体３１の回転量は、少なくとも連続して撮影された各単位画像間において互いに重複領域が生じるように調整される。この回転量は、撮像装置３の設計時において幾何学的な計算により予め求めておくこともできる。また、撮影時における撮像装置３全体の揺れ量を検出するための機能を実装しておくことにより、第１の筐体３１の回転量を動的に微調整するようにしてもよい。
【００５４】
なお、このステップＳ６５において、モータ５１の回転量をできるだけ小さく設定しておき、かつ単位時間当たりの撮影枚数を増加させて連続撮影を実行することにより、視差による歪みや動被写体を撮影することによる画像の不連続さを解消することができ、高画質な全体画像を合成することが可能となる。このような撮影を行うためには、モータ５１の断続的かつ高精度の制御が必要となるが、上述の如く、この第１の筐体３１は、第２の筐体３２と比較して質量が軽くなるような構成とされているため、これらを低コストで実現することが可能となる。
【００５５】
ステップＳ６６では、再びシャッタボタン２２１の押圧を調べ、撮影終了のタイミングを識別する。このステップＳ６６においてシャッタボタン２２１の押圧が確認できた場合には、撮影を継続させるべくステップＳ６３へ戻る。これに対し、このステップＳ６６においてシャッタボタン２２１の押圧が確認できなかった場合には、撮影の終了動作へ移行すべくステップＳ６７へ移行する。
【００５６】
ステップＳ６７では、撮影終了時の処理として、合成したパノラマ状の全体画像をメモリ１７へ格納する。
【００５７】
このように、第１の筐体３１と離間した第２の筐体３２にシャッタボタン２２１を搭載することにより、指先の小さな操作だけで撮影の開始、終了を指示することができる。また、第２の筐体３２に表示部４３を備えることにより、得られた画像の視認性を向上させることができる。
【００５８】
また、実際に回転する第１の筐体３１内部にレンズ部１０ａやＣＭＯＳイメージセンサ１１等のように撮影に最低限必要な部品を少なくとも実装することにより、回転部分の質量が軽くなるため、この第１の筐体３１における回転部分を支える部品やこれを回転駆動させるモータ５１のコストを下げることができる。またモータ５１等の駆動源となる部品をユーザにより把持される第２の筐体３２内に実装することにより、モータ５１の回転に伴う振動による影響を極力抑えることもできる。
【００５９】
またフォトインターラプタ５２を用いて、第１の筐体３１の回転範囲を制限することにより、回転部分とホールド部分間のデータ転送を通常の安価なフレキシブルな配線素材を用いて実現することができる。
【００６０】
なお、この撮像装置３において、上述した撮像装置１の動作を全て行わせるようにしてもよい。これにより、上述した撮像装置３自体の効果に加えて、切り出したスリット状の画像領域間を重複させることによる画質の向上、システム全体のコスト低減等の撮像装置１の効果を相乗的に奏するような撮影システムを構築することも可能となる。
【００６１】
また、本発明を適用した撮像装置３は、上述した実施の形態に限定されるものではなく、ＤＳＰ１５、ＣＰＵ２１、表示部４３、モータ５１、操作部２２（シャッタボタン２２１）、バッテリー４４のうち、何れか１つ以上が第２の筐体３２内に設けられていればよい。
【００６２】
撮像装置１は、撮像方向を水平方向へ連続的にシフトさせることにより、スリット状の画像を短い撮影間隔で多数撮影する。連続的に撮像されたスリット状の画像をスリット画像と記す。スリット画像は、逐次、ＣＰＵ２１及びＤＳＰ１５に出力される。
【００６３】
ＣＰＵ２１及びＤＳＰ１５は、入力したスリット画像を重ね合わせてパノラマ画像を生成する。以下、ＣＰＵ２１及びＤＳＰ１５における処理を画像処理部として説明する。
【００６４】
まず、本発明にかかる画像処理部に先立つ前提となる画像処理部７０について説明する。図８は、画像処理部７０の機能ブロック図である。画像処理部７０は、スリット画像を入力し、入力したスリット画像を重ね合わせてパノラマ画像を生成する。スリット画像を入力順に第１番目のスリット画像、第２番目のスリット画像、第３番目のスリット画像、…と記す。ｋ番目に入力したスリット画像を第ｋ番目のスリット画像と記す（ｋは２以上の整数）。
【００６５】
ところで、スリット画像は、手ぶれやモータ誤差による位置ずれ、及び、フリッカー効果による明るさのずれなどが生じる。画像処理部７０は、これらの誤差を補正するために、スリット画像の位置関係の検出、スリット画像の明暗の補正、明暗を補正したスリット画像の重ね合わせを行う。
【００６６】
位置関係の検出は位置関係検出部７１、明暗の補正量の算出は明暗補正部７２、明暗の補正とスリット画像の重ね合わせは重ね合わせ部７３が実行する。
【００６７】
位置関係検出部７１は、第ｋ番目のスリット画像が入力される毎に、直前に入力した第（ｋ−１）番目のスリット画像との位置関係を求める。第ｋ番目の画像と第（ｋ−１）番目の画像との位置関係は、理論的には、撮像方向の回転角速度から導き出すことができると考えられる。しかし、実際には、モータの回転精度に起因する誤差、手持ちで撮影したときの手ぶれの影響により、スリット画像の位置関係は正確に求まらない。
【００６８】
位置関係検出部７１は、第（ｋ−１）番目のスリット画像と第ｋ番目のスリット画像との位置をずらしながら、２つの画像の相関を求め、最も相関の高い位置を基に、第（ｋ−１）番目のスリット画像と第ｋ番目のスリット画像の位置関係を求める。
【００６９】
また、明暗補正部７２は、入力したスリット画像の明暗を補正する。明暗の補正は、例えば、蛍光灯の下での撮影に効果的である。太陽光の下の処理であれば、撮影時間の差により明るさの差は発生しないが、蛍光灯の下での撮影であれば、５０〜６０ｋＨｚという高速で明暗を繰り返している。これをフリッカー効果という。フリッカー効果が発生すると、複数のスリット画像のうち、あるスリット画像は暗めに写ってしまい、別のスリット画像では明るめに写ってしまう。明暗の差があるスリット画像を単純につなぎ合わせていくと、最終的なパノラマ画像において、画像上のある場所では明るく、別の場所では暗くなってしまい、明暗の縞模様ができてしまう。これを防止するのが明暗の補正である。
【００７０】
明暗補正部７２は、第ｋ番目のスリット画像の明暗の補正を行う際、まず、直前に入力された第（ｋ−１）番目のスリット画像に対する明暗の補正量を算出する。この補正量を相対的ゲインと記す。第ｋ番目のスリット画像の各画素を相対ゲイン倍すれば、第ｋ番目のスリット画像の明るさを第（ｋ−１）番目のスリット画像の明るさと等しくすることができる。
【００７１】
明暗補正部７２では、連続する２枚のスリット画像の明るさを等しくするのではなく、パノラマ画像を構成する全てのスリット画像の明るさを等しくしたい。そこで、連続する２枚のスリット画像の明暗の補正量である相対ゲインから、全てのスリット画像の明暗の補正量となる絶対的ゲインを算出する。絶対的ゲインとは、基準となるスリット画像と他の画像との明暗を等しくする補正量である。ここでは、第１番目のスリット画像の基準とする。
【００７２】
まず、相対的ゲインの算出方法について説明する。明暗補正部７２は、第ｋ番目の画像と第（ｋ−１）番目の画像との位置関係を基に２つの画像が重なった領域を特定する。これを特定領域と呼ぶ。そして、第（ｋ−１）番目のスリット画像における特定領域の画素値を累加算して第１の累加算値を算出する。また、第ｋ番目のスリット画像における特定領域の画素値を累加算して第２の累加算値を算出する。第１の累加算値を第２の累加算値で割ると、第（ｋ−１）番目のスリット画像に対する第ｋ番目のスリット画像の相対ゲインが算出される。２つのスリット画像の重なり部分は、複数の画素から構成されている。そのため、算出された相対ゲインは、ノイズを抑えた高精度な値である。
【００７３】
絶対的ゲインを算出する際、明暗補正部７２は、既に算出した全ての相対的ゲインを乗算する。例えば、第ｋ番目のスリット画像の絶対的ゲインを求めるには、「第１番目のスリット画像に対する第２番目のスリット画像の相対的ゲイン」と、「第２番目のスリット画像に対する第３番目のスリット画像の相対的ゲイン」、「第３番目のスリット画像に対する第４番目のスリット画像の相対的ゲイン」と、・・・・、「第（ｋ−１）番目のスリット画像に対する第ｋ番目のスリット画像の相対ゲインと」を乗算する。
【００７４】
重ね合わせ部７３は、第ｋ番目のスリット画像の明暗を補正し、スリット画像の位置関係を加味しながら、スリット画像の重ね合わせを行う。明暗の補正は、第ｋ番目のスリット画像の各画素に絶対ゲインをかける処理である。明暗の補正処理により、第ｋ番目のスリット画像と第１番目のスリット画像とが同じ明るさになる。
【００７５】
図９は、第１番目のスリット画像から第５番目のスリット画像までの５枚のスリット画像を重ね合わせた状態を示したものである。図面左側から順に新しく撮影されたスリット画像が重ね合わせられている。図面左端のスリット画像は、第１番目のスリット画像である。また、図中（Ａｋ，Ｂｋ）は、第（ｋ−１）番目のスリット画像に対する第ｋ番目のスリット画像の位置関係である。
【００７６】
第１番目のスリット画像は基準となるので、このスリット画像に関しては、他のスリット画像との位置関係は求めない。第２番目のスリット画像と第１番目のスリット画像との位置関係を示す値は（Ａ２，Ｂ２）である。重ね合わせ部７３は、第２のスリット画像が第１のスリット画像に対して（Ａ２，Ｂ２）の位置関係になるように配置して第１のスリット画像との重ね合わせを行う。重ねあわされた画像を、パノラマ計算途中画像と記す。
【００７７】
第３番目のスリット画像と第２番目のスリット画像との位置関係を示す値は（Ａ３，Ｂ３）である。重ね合わせ部７３は、第３のスリット画像が第２のスリット画像に対して（Ａ３，Ｂ３）の位置関係になるように配置してパノラマ計算途中画像に重ね合わせる。そして、重ね合わせ部７３は、重ね合わせた画像でパノラマ計算途中画像を更新する。
【００７８】
第４番目のスリット画像と第３番目のスリット画像との位置関係を示す値は（Ａ４，Ｂ４）である。重ね合わせ部７３は、第４のスリット画像が第３のスリット画像に対して（Ａ４，Ｂ４）の位置関係になるように配置してパノラマ計算途中画像に重ねあわせる。そして、重ね合わせ部７３は、重ね合わせた画像でパノラマ計算途中画像を更新する。
【００７９】
第５番目のスリット画像と第４番目のスリット画像との位置関係を示す値は（Ａ５，Ｂ５）である。重ね合わせ部７３は、第５のスリット画像が第４のスリット画像に対して（Ａ５，Ｂ５）の位置関係になるように配置してパノラマ計算途中画像に重ねあわせる。そして、重ね合わせ部７３は、重ね合わせた画像でパノラマ計算途中画像を更新する。
【００８０】
このようにして、順次、パノラマ計算途中画像を更新して、全てのスリット画像を重ね合わせる。重ね合わせた画像がパノラマ画像となる。なお、重ね合わせる際には、各画像の寄与率の合計が１になるように重ね合わせる必要がある。つまり、重ね合わせとは、重み付き平均を行うということである。
【００８１】
次いで、図１０を参照して、画像処理部７０の動作を説明する。画像処理部７０は、時刻Ｔ（ｋ−１）からＴ（ｋ）までの期間に、第（ｋ−１）番目のスリット画像を入力し、入力したスリット画像をフレーム遅延部７４に格納する。フレーム遅延部７４は、１枚のスリット画像が入力されてくる時間だけ、スリット画像の出力を遅延させる。
【００８２】
時刻Ｔ（ｋ）からＴ（ｋ＋１）までの期間に、画像処理部７０は、第ｋ番目のスリット画像を入力する。入力した第ｋ番目のスリット画像は、フレーム遅延部７４に格納された第（ｋ−１）番目のスリット画像と同時に位置検出部に出力される。位置関係検出部７１は、第（ｋ−１）番目のスリット画像と第ｋ番目のスリット画像とに同時刻にアクセスして相関を計算し、２つの画像の位置関係を求める。
【００８３】
時刻Ｔ（ｋ＋１）から時刻Ｔ（ｋ＋２）までの間、第（ｋ−１）番目のスリット画像と第ｋ番目のスリット画像とは、明暗処理部７２に出力される。明暗処理部７２は、位置関係を基に第ｋ番目のスリット画像と第（ｋ−１）番目のスリット画像との重なった部分、すなわち、特定領域を検出する。そして、フレーム遅延部７４に格納された第ｋ番目のスリット画像と、フレーム遅延部７５に格納された第（ｋ−１）番目のスリット画像にアクセスする。明暗処理部は、第（ｋ−１）番目のスリット画像の特定領域の画素の合計値である第１の累加算値を算出し、第ｋ番目のスリット画像の特定領域の画素の合計値である第２の累加算値を算出する。
【００８４】
このようにして、時刻Ｔ（ｋ＋２）において、第１の累加算値と第２の累加算値が求まる。明暗処理部７２は、第１の累加算値を第２の累加算値で割って第ｋ番目のスリット画像の相対ゲインを算出し、第（ｋ−１）番目のスリット画像の絶対ゲインに第ｋ番目のスリット画像の第（ｋ−１）番目のスリット画像に対する相対ゲインを乗算して、第ｋ番目のスリット画像の絶対ゲインを算出する。相対ゲイン及び絶対ゲインを算出する演算は、それぞれ、割算１回、乗算１回であり、瞬時に行うことができる。
【００８５】
なお、ここで、「瞬時」という言葉について補足しておく。例えば、第１の累加算値を算出するには、数千から数十万という大量の画素にアクセスしてその合計値を計算しなくてはいけない。これは第２の累加算値も同様である。これに対し、相対ゲインを算出する演算は、第１の累加算値と第２の累加算値との２つの値の割算であり、無視できるほど軽微な演算であり、その処理時間を「瞬時」といってよい。絶対ゲインを算出する演算も同様に「瞬時」といえる。
【００８６】
このように、時刻Ｔ（ｋ−１）に第（ｋ−１）番目のスリット画像を入力すると、時刻Ｔ（ｋ＋２）において、位置関係の検出と絶対ゲインの算出とが完了する。ところで、図１０からもわかるように、時刻Ｔ（ｋ−１）から時刻Ｔ（ｋ）にかけて画像処理部７０に入力した第（ｋ−１）番目のスリット画像は、時刻Ｔ（ｋ）から時刻Ｔ（ｋ＋１）の位置検出処理、及び時刻Ｔ（ｋ＋１）から時刻Ｔ（ｋ＋２）の絶対ゲイン算出処理においても使用される。また、当然、他の時刻には、他のスリット画像に関する処理も行われている。従って、画像処理部７０には少なくとも２つのフレーム遅延部７４、７５が必要となる。
【００８７】
次いで、図１１を参照して本発明の実施の形態となる画像処理部６０の内部構成を示す。画像処理部６０は、補正処理部６１と、重ね合わせ部７３とを備える。補正処理部６１は、位置関係の検出と明暗の補正との処理を同時に行う。重ね合わせ部７３は、補正処理部６１に補正されたスリット画像を重ね合わせてパノラマ画像を生成する。重ね合わせ部７３の処理は、上述した画像処理部７０における重ね合わせ部７３と同じ処理であるため、同符号を付し説明を簡略化する。
【００８８】
補正処理部６１の内部構成を図１２に示す。補正処理部６１は、１つのフレーム遅延部６３と、現在入力しているスリット画像とその直前に入力したスリット画像との位置関係を検出する位置関係検出部７１と、入力しているスリット画像から１６種類の累加算値を算出する１６個の累加算部６５［ｐ］［ｑ］（ｐ＝０，１，２，３、ｑ＝０，１，２，３）と、第１の累加算値を算出する累加算部６６と、１６種類の累加算値から４つの累加算値を選択して第２の累加算値を算出する補間処理部６７と、第２の累加算値を第１の累加算値で割って相対ゲインを求める割算部６８と、既に算出した相対ゲインを乗算して第ｋ番目のスリット画像の絶対ゲインを求める乗算部６９とを備える。
【００８９】
画像処理部６０は、第１番目のスリット画像、第２番目のスリット画像、・・・、第（ｋ−１）番目のスリット画像、第ｋ番目のスリット画像のように、スリット画像を逐次入力する。第ｋ番目のスリット画像を入力したとき、入力したスリット画像は位置関係検出部７１と、１６個の累加算部６５［ｐ］［ｑ］に出力される。また、フレーム遅延部６３からは、直前に入力した第（ｋ−１）番目のスリット画像が出力される。第（ｋ−１）番目のスリット画像は、第ｋ番目のスリット画像と同時に位置関係検出部７１と累加算部６６に出力される。
【００９０】
位置関係検出部７１は、第ｋ番目のスリット画像と第（ｋ−１）番目のスリット画像の位置関係を検出する。この位置関係検出部７１は、上述した画像処理部６０における位置関係検出部７１と同じ処理を行うため同一符号を付す。すなわち、位置関係検出部７１は、第ｋ番目のスリット画像と第（ｋ−１）番目の相関を求め最も相関の高い位置を検出している。この検出結果を（Ａｋ，Ｂｋ）と記す。
【００９１】
累加算部６６は、フレーム遅延部６３を介して入力した第（ｋ−１）番目のスリット画像の一部の領域の累加算値を算出する。この領域を特定領域と記す。特定領域とは、第（ｋ−１）番目のスリット画像が第ｋ番目のスリット画像と必ず重なる領域である。特定領域は、手ぶれあるいはモータの回転精度に起因する誤差から求められる。この誤差は、大きい値ではないので、必ず、ある特定の範囲内に納まるはずである。その範囲を（±Ｗｓ，±Ｈｓ）とする。言い換えれば、誤差のとりうる最大値を（±Ｗｓ，±Ｈｓ）とする。
【００９２】
図１３は、第（ｋ−１）番目のスリット画像２００と第ｋ番目のスリット画像３００との位置関係を示している。図１３は横軸をＸ軸、縦軸をＹ軸とした２次元座標系で、Ｘ軸の正の方向は右方向であり、Ｙ軸の正の方向は下方向である。この座標系において、スリット画像の横幅はＷ、高さはＨであり、第（ｋ−１）番目のスリット画像２００の左上の点を原点（０，０）としている。
【００９３】
モータの回転量をＡとすると、誤差が発生しなかった場合、第（ｋ−１）番目のスリット画像２００と第ｋ番目のスリット画像３００の位置関係は、（Ａ，０）となる。誤差がないときの位置関係は、理論的に求められ、第ｋ番目のスリット画像３００と第（ｋ−１）番目のスリット画像２００の重なる領域は、横（Ｗ−Ａ）、縦Ｈの矩形領域になる。
【００９４】
図１３（ｂ）に示す横（Ｗ−Ａ−Ｗｓ）、縦（Ｈ−２Ｈｓ）の矩形領域を特定領域１００と記す。特定領域１００は、第（ｋ−１）番目のスリット画像２００に対する第ｋ番目のスリット画像３００とが必ず重なる領域である。図１３（ｂ）の３００Ａは（−Ｗｓ，−Ｈｓ）の誤差が発生したときの第ｋ番目のスリット画像の位置を示し、３００Ｂは（＋Ｗｓ，−Ｈｓ）の誤差が発生したときの第ｋ番目のスリット画像の位置を示し、３００Ｃは（−Ｗｓ，＋Ｈｓ）の誤差が発生したときの第ｋ番目のスリット画像の位置を示し、３００Ｄは（−Ｗｓ，−Ｈｓ）の誤差が発生したときの第ｋ番目のスリット画像の位置を示す。第（ｋ−１）番目のスリット画像の特定領域１００は、第ｋ番目のスリット画像の誤差が最大になっても第ｋ番目のスリット画像と同一の被写体を投影している。特定領域をこのように設定した根拠は後にさらに詳述する。
【００９５】
１６種類の累加算部６５［ｐ］［ｑ］は、１６種類の誤差が発生したと仮定し、各誤差が発生したときに特定領域１００と重なる領域（以下、仮定領域と記す）の累加算値を算出する。仮定領域の設定範囲は、誤差範囲（±Ｗｓ，±Ｈｓ）に依存する。第（ｋ−１）番目のスリット画像に対する第ｋ番目のスリット画像の誤差は、誤差範囲（±Ｗｓ，±Ｈｓ）に含まれる。図１４は、１６個の誤差候補点の一例である。誤差範囲は、誤差が発生しなかったときの第ｋ番目のスリット画像の位置（Ａ，０）を中心として（±Ｗｓ，±Ｈｓ）の領域である。誤差候補点は、誤差範囲をＸ軸方向及びＹ軸方向に３分割したときの両端の２点と内側の２点、及び、内側の２点を結んだときの交点である。仮定領域は、誤差候補点を左上の頂点とする、特定領域１００と合同な矩形領域である。
【００９６】
第ｋ番目のスリット画像と第（ｋ−１）番目のスリット画像とを同一のＸＹ座標系に配置したときの特定領域１００は｛（Ｘ，Ｙ）｜（Ｘ，Ｙ）∈特定領域｝と表現することができる。また、誤差範囲（±Ｗｓ，±Ｈｓ）とすると、第（ｋ−１）番目のスリット画像の左上を基準（０，０）とした誤差候補点は｛（Ｘ，Ｙ）｜（Ｕｉ，Ｖｉ）∈（Ａ±Ｗｓ，±Ｈｓ）、１≦ｉ≦１６｝、仮定領域は｛（Ｘ，Ｙ）｜（Ｘ−Ｕｉ，Ｙ−Ｖｉ）∈Ｓ、Ｓは特定領域｝と表すことができる。
【００９７】
補間処理部６７は、位置関係検出部７１によって検出された正確な位置関係を基に特定領域１００と重なる仮定領域を選択する。また、特定領域１００と一致する仮定領域が存在しない場合には、特定領域１００に近い仮定領域を選択し、選択した仮定領域の累加算値を補間することで、近似的な累加算値を算出する。ここで算出された累加算値が第２の累加算値となる。以下、補間処理部６７の具体的な動作について説明する。
【００９８】
補間処理部６７は、画像処理部６０に第ｋ番目のスリット画像の最後の画素が入力された直後に、位置関係検出部７１から、第（ｋ−１）番目のスリット画像と第ｋ番目のスリット画像との正確な位置関係（Ａｋ，Ｂｋ）を入力する。補間処理部６７は、（Ａｋ，Ｂｋ）の値を含む矩形領域を形成する誤差候補点を４つ選択する。仮定領域と特定領域が一致した場合には、（Ａｋ，Ｂｋ）の値を含む矩形領域を形成する誤差候補点が全て同じになり、近似値ではなく正確な累加算値となる。また、仮定領域と特定領域が一致しない場合には、補間処理部は、（Ａｋ，Ｂｋ）を含む矩形領域を形成する４つの誤差候補点を選択し、選択した誤差候補点に対応する累加算値の重み付き加算を行う。これが第ｋ番目のスリット画像の累加算値となる。この累加算値は、第（ｋ−１）番目のスリット画像と第ｋ番目のスリット画像が完全に重なった領域から算出したものではなく、２つの画像が略重なったときの４つ仮定領域の累加算値から算出する近似値である。補間処理部６７は、算出結果を第２の累加算値として割算部６８に出力する。なお、補間処理部６７における誤差候補点の選択方法は後で詳述する。
【００９９】
割算部６８は、補間処理部６７から入力した第２の累加算値を、累加算部６６から入力した第１の累加算値で割算し、第（ｋ−１）番目のスリット画像に対する第ｋ番目のスリット画像の相対的ゲインを求める。
【０１００】
乗算部６９は、割算部６８の出力である相対ゲインを全て乗算した絶対的ゲインを算出する。すなわち、乗算部６９は、「第１番目のスリット画像に対する第２番目のスリット画像の相対的ゲイン」と、「第２番目のスリット画像に対する第３番目のスリット画像の相対的ゲイン」と、「第３番目のスリット画像に対する第４番目のスリット画像の相対的ゲイン」と、・・・、「第（ｋ−１）番目のスリット画像に対する第ｋ番目のスリット画像の相対的ゲイン」とを順次乗算した値を算出する。
【０１０１】
重ね合わせ部７３は、上述した画像処理部６０の重ね合わせ部７３と同様に、第ｋ番目のスリット画像の明暗を補正し、スリット画像の位置関係を加味しながらスリット画像の重ね合わせてパノラマ画像を作成する。
【０１０２】
以上説明したように、本発明にかかる画像処理部６０は、位置関係検出と絶対的ゲインの算出とを同時に行うことにより、フレーム遅延部６３の規模を小さくし、重ね合わせ処理に要する時間を短縮することができる。
【０１０３】
次いで、図１５を参照して、画像処理部６０の動作を説明する。画像処理部６０は、時刻Ｔ（ｋ−１）から時刻Ｔ（ｋ）までの期間に、第（ｋ−１）番目のスリット画像を入力し、入力したスリット画像を補正処理部６１及び重ね合わせ部７３に出力する。補正処理部６１は、入力したスリット画像をフレーム遅延部６３に格納する。フレーム遅延部６３は、１枚のスリット画像が入力されてくる時間だけ、スリット画像の出力を遅延させる。
【０１０４】
時刻Ｔ（ｋ）からＴ（Ｋ＋１）までの期間に、画像処理部６０は、第ｋ番目のスリット画像を入力する。入力した第ｋ番目のスリット画像は位置関係検出部７１と１６種類の累加算部６５［ｐ］［ｑ］に出力されると同時に、フレーム遅延部６３に格納された第（ｋ−１）番目のスリット画像は位置関係検出部７１と累加算部６６に出力される。時刻Ｔ（ｋ）からＴ（Ｋ＋１）までの期間に、位置関係検出部７１において位置関係を検出し、累加算部６６において第（ｋ−１）番目のスリット画像の第１の累加算値を算出し、累加算部６５［ｐ］［ｑ］において第ｋ番目のスリット画像の第２の累加算値を算出する。
【０１０５】
時刻Ｔ（ｋ＋１）の直後、即ち、第ｋ番目のスリット画像の最後の画素が入力された直後に、補間処理部６７は、位置関係検出部７１が検出した第（ｋ−１）番目のスリット画像と第ｋ番目のスリット画像の位置関係（Ａｋ，Ｂｋ）、累加算部６５［ｐ］［ｑ］が算出した１６種類の累加算値を入力する。補間処理部６７は、位置関係（Ａｋ，Ｂｋ）を基に、累加算部６５［ｐ］［ｑ］が算出した１６種類の累加算値のなかから適切な４つの累加算値を選択し、これらの４つの累加算値の重み付き平均により１つの値を計算する。これが第２の累加算値となる。そして、割算部６８は、第２の累加算値を第１の累加算値で割り第（ｋ−１）番目のスリット画像に対する第ｋ番目のスリット画像の相対的ゲインを算出する。乗算部６９は、既に算出された相対的ゲインの乗算して絶対的ゲインを算出する。
【０１０６】
ところで、補間処理部６７での演算は、データの選択と４つのデータの重み付き平均の算出であり、また、割算部６８も単なる１回の割算であり、乗算部６９も第（ｋ−１）番目の絶対的ゲインと算出した相対的ゲインとの乗算という処理である。これらの演算は、いずれも無視できるほど軽微な演算であり、その処理時間は「瞬時」といっていい。そのため、ゲイン算出に要する時間を無視して、時刻Ｔ（ｋ＋１）において第ｋ番目のスリット画像の絶対的ゲインが求まるといえる。
【０１０７】
図１５に示すように、時刻Ｔ（ｋ−１）から時刻Ｔ（ｋ）にかけて画像処理部６０に入力される第（ｋ−１）番目のスリット画像は、時刻Ｔ（ｋ）から時刻Ｔ（ｋ＋１）において補間処理部６７にて使用される。また、他の時刻には、他のスリット画像に関する処理が行われている。従って、補間処理部６７に、１つのフレーム遅延部６３があれば十分であり、フレーム遅延部６３の規模を小さくすることができる。
【０１０８】
次いで、上述した特定領域１００の算出方法について説明する。図１６は、全く誤差が生じなかったときの第（ｋ−１）番目のスリット画像２００と第ｋ番目のスリット画像３００とを重ね合わせたときの特定領域を示している。このときの特定領域１００の範囲は、第（ｋ−１）番目のスリット画像の左上を原点として（Ａ＋Ｗｓ，Ｈｓ）、（Ｗ，Ｈｓ）、（Ａ＋Ｗｓ，Ｈ−Ｈｓ）、（Ｗ，Ｈ−Ｈｓ）の４点で囲まれる、横（Ｗ−Ａ−Ｗｓ）、縦（Ｈ−２Ｈｓ）の領域である。
【０１０９】
図１７から図２０は、誤差がプラス方向に最大、あるいは、マイナス方向に最大となったときの第（ｋ−１）番目のスリット画像２００と第ｋ番目のスリット画像３００の位置関係を示している。
【０１１０】
図１７は、第（ｋ−１）番目のスリット画像２００に対する第ｋ番目のスリット画像３００の位置が（Ａ−Ｗｓ，−Ｈｓ）、すなわち、誤差が（−Ｗｓ，−Ｈｓ）の場合の第ｋ番目のスリット画像３００と第（ｋ−１）番目のスリット画像２００の位置関係を示している。このとき、第ｋ番目のスリット画像３００の左上を原点とすると、特定領域１００は、（２Ｗｓ，２Ｈｓ）という位置にある。図からも明らかなように、特定領域１００は、第ｋ番目のスリット画像に含まれる。
【０１１１】
図１８では、第（ｋ−１）番目のスリット画像２００に対する第ｋ番目のスリット画像３００の位置関係が（Ａ＋Ｗｓ，−Ｈｓ）、すなわち、誤差が（＋Ｗｓ，−Ｈｓ）である。このとき、第ｋ番目のスリット画像３００の左上を原点とすると、特定領域１００は、（０，２Ｈｓ）という位置にある。図からも明らかなように、特定領域１００は、第ｋ番目のスリット画像３００に含まれる。
【０１１２】
図１９では、第（ｋ−１）番目のスリット画像２００に対する第ｋ番目のスリット画像３００の位置関係が（Ａ＋Ｗｓ，Ｈｓ）、すなわち、誤差が（＋Ｗｓ，−Ｈｓ）である。このとき、第ｋ番目のスリット画像３００の左上を原点とすると、特定領域１００は（２Ｗｓ，０）という位置にある。図からも明らかなように、特定領域１００は、第ｋ番目のスリット画像３００に含まれる。
【０１１３】
図２０では、第（ｋ−１）番目のスリット画像２００に対する第ｋ番目のスリット画像３００の位置関係が（Ａ＋Ｗｓ，Ｈｓ）、すなわち、誤差が（Ｗｓ，Ｈｓ）である。このとき、第ｋ番目のスリット画像３００の左上を原点とすると、特定領域１００は（０，０）という位置にある。図からも明らかなように特定領域１００は、第ｋ番目のスリット画像３００に含まれる。
【０１１４】
これらのことから分かるように、第（ｋ−１）番目のスリット画像２００の左上を原点として（Ａ＋Ｗｓ，Ｈｓ）、（Ｗ，Ｈｓ）、（Ａ＋Ｗｓ，Ｈ−Ｈｓ）、（Ｗ，Ｈ−Ｈｓ）の４点で囲まれる横（Ｗ−Ａ−Ｗｓ）、縦（Ｈ−２Ｈｓ）の領域を特定領域１００と設定すると、手ぶれやモータの回転精度に起因する誤差が発生しても、特定領域が第ｋ番目のスリット画像３００に含まれる。言い換えれば、（±Ｗｓ，±Ｈｓ）の範囲で誤差が発生しても第ｋ番目のスリット画像３００に含まれる領域を特定領域１００として設定している。
【０１１５】
次いで、各累加算部６５［ｐ］［ｑ］と仮定領域との関係について説明する。まず、図２１を参照して累加算部６５［０］［０］と仮定領域４０１との関係を説明する。図２１では、第（ｋ−１）番目のスリット画像２００に対する第ｋ番目のスリット画像３００の位置関係が（Ａ−Ｗｓ，−Ｈｓ）、すなわち、誤差が（−Ｗｓ，−Ｈｓ）であると仮定する。このとき、第ｋ番目のスリット画像の左上を原点とすると、仮定領域４０１は、（２Ｗｓ，２Ｈｓ）を左上とする横（Ｗ−Ａ−Ｗｓ）、縦（Ｈ−２Ｈｓ）の領域である。累加算部６５［０］［０］では、第ｋ番目のスリット画像の中で仮定領域４０１に含まれる画素のみを累加算の対象として演算を行う。累加算部６５［０］［０］は、仮定領域以外の画素のデータが入力されてもそのデータを無視する。
【０１１６】
位置関係（Ａｋ，Ｂｋ）が（Ａ−Ｗｓ，−Ｈｓ）なら、第（ｋ−１）番目のスリット画像２００の特定領域１００に投影された被写体と第ｋ番目のスリット画像３００の仮定領域４０１に投影された被写体とが同一となる。位置関係（Ａｋ，Ｂｋ）が（Ａ−Ｗｓ，Ｈｓ）に近い値なら第ｋ番目のスリット画像の仮定領域４０１に投影された被写体は、第（ｋ−１）番目のスリット画像の特定領域１００に投影された被写体と略同一となる。
【０１１７】
図２２を参照して累加算部６５［１］［０］と仮定領域４０２との関係を説明する。図２２では、第（ｋ−１）番目のスリット画像２００に対する第ｋ番目のスリット画像３００の位置関係が（Ａ−Ｗｓ／３，−Ｈｓ）、すなわち、誤差が（−Ｗｓ／３，−Ｈｓ）であると仮定する。このとき、第ｋ番目のスリット画像３００の左上を原点とすると、仮定領域４０２は、（４Ｗｓ／３，２Ｈｓ）を左上とする横（Ｗ−Ａ−Ｗｓ）、縦（Ｈ−２Ｈｓ）の領域である。累加算部６５［１］［０］では、第ｋ番目のスリット画像３００の中で仮定領域４０２に含まれる画素のみを累加算の対象として演算を行う。累加算部６５［１］［０］は、仮定領域４０２以外の画素のデータが入力されてもそのデータを無視する。
【０１１８】
位置関係（Ａｋ，Ｂｋ）が（Ａ−Ｗｓ／３，−Ｈｓ）なら、第（ｋ−１）番目のスリット画像２００の特定領域１００に投影された被写体と第ｋ番目のスリット画像３００の仮定領域４０２に投影された被写体とが同一となる。位置関係（Ａｋ，Ｂｋ）が（Ａ−Ｗｓ／３，−Ｈｓ）に近い値なら第ｋ番目のスリット画像３００の仮定領域４０２に投影された被写体は、第（ｋ−１）番目のスリット画像２００の特定領域１００に投影された被写体と略同一となる。
【０１１９】
図２３を参照して累加算部６５［２］［０］と仮定領域４０３との関係を説明する。図２３では、第（ｋ−１）番目のスリット画像２００に対する第ｋ番目のスリット画像３００の位置関係が（Ａ＋Ｗｓ／３，−Ｈｓ）、すなわち、誤差が（Ｗｓ／３，−Ｈｓ）であると仮定する。このとき、第ｋ番目のスリット画像３００の左上を原点とすると、仮定領域４０３は、（２Ｗｓ／３，２Ｈｓ）を左上とする横（Ｗ−Ａ−Ｗｓ）、縦（Ｈ−２Ｈｓ）の領域である。累加算部６５［２］［０］では、第ｋ番目のスリット画像３００の中で仮定領域４０３に含まれる画素のみを累加算の対象として演算を行う。累加算部６５［２］［０］は、仮定領域４０２以外の画素のデータが入力されてもそのデータを無視する。
【０１２０】
位置関係（Ａｋ，Ｂｋ）が（Ａ＋Ｗｓ／３，−Ｈｓ）なら、第（ｋ−１）番目のスリット画像２００の特定領域１００に投影された被写体と第ｋ番目のスリット画像３００の仮定領域４０３に投影された被写体とが同一となる。位置関係（Ａｋ，Ｂｋ）が（Ａ＋Ｗｓ／３，−Ｈｓ）に近い値なら第ｋ番目のスリット画像３００の仮定領域４０３に投影された被写体は、第（ｋ−１）番目のスリット画像２００の特定領域１００に投影された被写体と略同一となる。
【０１２１】
図２４を参照して累加算部６５［３］［０］と仮定領域４０４との関係を説明する。図２４では、第（ｋ−１）番目のスリット画像２００に対する第ｋ番目のスリット画像３００の位置関係が（Ａ＋Ｗｓ，−Ｈｓ）、すなわち、誤差が（Ｗｓ，−Ｈｓ）であると仮定する。このとき、第ｋ番目のスリット画像の左上を原点とすると、仮定領域４０４は、（０，２Ｈｓ）を左上とする横（Ｗ−Ａ−Ｗｓ）、縦（Ｈ−２Ｈｓ）の領域である。累加算部６５［３］［０］では、第ｋ番目のスリット画像３００の中で仮定領域４０４に含まれる画素のみを累加算の対象として演算を行う。累加算部６５［３］［０］は、仮定領域４０４以外の画素のデータが入力されてもそのデータを無視する。
【０１２２】
位置関係（Ａｋ，Ｂｋ）が（Ａ＋Ｗｓ，−Ｈｓ）なら、第（ｋ−１）番目のスリット画像の特定領域に投影された被写体と第ｋ番目のスリット画像の仮定領域に投影された被写体とが同一となる。位置関係（Ａｋ，Ｂｋ）が（Ａ＋Ｗｓ，−Ｈｓ）に近い値なら第ｋ番目のスリット画像３００の仮定領域４０４に投影された被写体は、第（ｋ−１）番目のスリット画像２００の特定領域１００に投影された被写体と略同一となる。
【０１２３】
図２５を参照して累加算部６５［０］［１］と仮定領域４０５との関係を説明する。図２５では、第（ｋ−１）番目のスリット画像２００に対する第ｋ番目のスリット画像３００の位置関係が（Ａ−Ｗｓ，−Ｈｓ／３）、すなわち、誤差が（−Ｗｓ，−Ｈｓ／３）であると仮定する。このとき、第ｋ番目のスリット画像の左上を原点とすると、仮定領域４０５は、（２Ｗｓ，４Ｈｓ／３）を左上とする横（Ｗ−Ａ−Ｗｓ）、縦（Ｈ−２Ｈｓ）の領域である。累加算部６５［０］［１］では、第ｋ番目のスリット画像３００の中で仮定領域４０５に含まれる画素のみを累加算の対象として演算を行う。累加算部６５［０］［１］は、仮定領域４０５以外の画素のデータが入力されてもそのデータを無視する。
【０１２４】
位置関係（Ａｋ，Ｂｋ）が（Ａ−Ｗｓ，−Ｈｓ／３）なら、第（ｋ−１）番目のスリット画像２００の特定領域１００に投影された被写体と第ｋ番目のスリット画像３００の仮定領域４０５に投影された被写体とが同一となる。位置関係（Ａｋ，Ｂｋ）が（Ａ−Ｗｓ，−Ｈｓ／３）に近い値なら第ｋ番目のスリット画像３００の仮定領域４０５に投影された被写体は、第（ｋ−１）番目のスリット画像２００の特定領域１００に投影された被写体と略同一となる。
【０１２５】
図２６を参照して累加算部６５［１］［１］と仮定領域４０６との関係を説明する。図２６では、第（ｋ−１）番目のスリット画像２００に対する第ｋ番目のスリット画像３００の位置関係が（Ａ−Ｗｓ／３，−Ｈｓ／３）、すなわち、誤差が（−Ｗｓ／３，−Ｈｓ／３）であると仮定する。このとき、第ｋ番目のスリット画像３００の左上を原点とすると、仮定領域４０６は、（４Ｗｓ／３，４Ｈｓ／３）を左上とする横（Ｗ−Ａ−Ｗｓ）、縦（Ｈ−２Ｈｓ）の領域である。累加算部６５［１］［１］では、第ｋ番目のスリット画像３００の中で仮定領域４０６に含まれる画素のみを累加算の対象として演算を行う。累加算部６５［１］［０］は、仮定領域４０６以外の画素のデータが入力されてもそのデータを無視する。
【０１２６】
位置関係（Ａｋ，Ｂｋ）が（Ａ−Ｗｓ／３，−Ｈｓ／３）なら、第（ｋ−１）番目のスリット画像２００の特定領域１００に投影された被写体と第ｋ番目のスリット画像３００の仮定領域４０６に投影された被写体とが同一となる。位置関係（Ａｋ，Ｂｋ）が（Ａ−Ｗｓ／３，−Ｈｓ／３）に近い値なら第ｋ番目のスリット画像３００の仮定領域４０６に投影された被写体は、第（ｋ−１）番目のスリット画像２００の特定領域１００に投影された被写体と略同一となる。
【０１２７】
図２７を参照して累加算部６５［２］［１］と仮定領域４０７との関係を説明する。図２７では、第（ｋ−１）番目のスリット画像２００に対する第ｋ番目のスリット画像３００の位置関係が（Ａ＋Ｗｓ／３，−Ｈｓ／３）、すなわち、誤差が（Ｗｓ／３，−Ｈｓ／３）であると仮定する。このとき、第ｋ番目のスリット画像の左上を原点とすると、仮定領域４０７は、（２Ｗｓ／３，４Ｈｓ／３）を左上とする横（Ｗ−Ａ−Ｗｓ）、縦（Ｈ−２Ｈｓ）の領域である。累加算部では、第ｋ番目のスリット画像の中で仮定領域に含まれる画素のみを累加算の対象として演算を行う。累加算部は、仮定領域以外の画素のデータが入力されてもそのデータを無視する。
【０１２８】
位置関係（Ａｋ，Ｂｋ）が（Ａ＋Ｗｓ／３，−Ｈｓ／３）なら、第（ｋ−１）番目のスリット画像の特定領域に投影された被写体と第ｋ番目のスリット画像の仮定領域に投影された被写体とが同一となる。位置関係（Ａｋ，Ｂｋ）が（Ａ＋Ｗｓ／３，−Ｈｓ／３）に近い値なら第ｋ番目のスリット画像３００の仮定領域４０７に投影された被写体は、第（ｋ−１）番目のスリット画像２００の特定領域１００に投影された被写体と略同一となる。
【０１２９】
図２８を参照して累加算部６５［３］［１］と仮定領域４０８との関係を説明する。図２８では、第（ｋ−１）番目のスリット画像２００に対する第ｋ番目のスリット画像３００の位置関係が（Ａ＋Ｗｓ，−Ｈｓ／３）、すなわち、誤差が（Ｗｓ，−Ｈｓ／３）であると仮定する。このとき、第ｋ番目のスリット画像３００の左上を原点とすると、仮定領域４０８は、（０，４Ｈｓ／３）を左上とする横（Ｗ−Ａ−Ｗｓ）、縦（Ｈ−２Ｈｓ）の領域である。累加算部６５［３］［１］では、第ｋ番目のスリット画像３００の中で仮定領域４０８に含まれる画素のみを累加算の対象として演算を行う。累加算部６５［３］［１］は、仮定領域４０８以外の画素のデータが入力されてもそのデータを無視する。
【０１３０】
位置関係（Ａｋ，Ｂｋ）が（Ａ＋Ｗｓ，−Ｈｓ／３）なら、第（ｋ−１）番目のスリット画像２００の特定領域１００に投影された被写体と第ｋ番目のスリット画像３００の仮定領域に投影された被写体とが同一となる。位置関係（Ａｋ，Ｂｋ）が（Ａ＋Ｗｓ，−Ｈｓ／３）に近い値なら第ｋ番目のスリット画像３００の仮定領域４０８に投影された被写体は、第（ｋ−１）番目のスリット画像２００の特定領域１００に投影された被写体と略同一となる。
【０１３１】
図２９を参照して累加算部６５［０］［２］と仮定領域４０９との関係を説明する。図２９では、第（ｋ−１）番目のスリット画像２００に対する第ｋ番目のスリット画像３００の位置関係が（Ａ−Ｗｓ，Ｈｓ／３）、すなわち、誤差が（−Ｗｓ，Ｈｓ／３）であると仮定する。このとき、第ｋ番目のスリット画像３００の左上を原点とすると、仮定領域４０９は、（２Ｗｓ，２Ｈｓ／３）を左上とする横（Ｗ−Ａ−Ｗｓ）、縦（Ｈ−２Ｈｓ）の領域である。累加算部６５［０］［２］では、第ｋ番目のスリット画像３００の中で仮定領域４０９に含まれる画素のみを累加算の対象として演算を行う。累加算部６５［０］［２］は、仮定領域４０９以外の画素のデータが入力されてもそのデータを無視する。
【０１３２】
位置関係（Ａｋ，Ｂｋ）が（Ａ−Ｗｓ，Ｈｓ／３）なら、第（ｋ−１）番目のスリット画像２００の特定領域１００に投影された被写体と第ｋ番目のスリット画像３００の仮定領域４０９に投影された被写体とが同一となる。位置関係（Ａｋ，Ｂｋ）が（Ａ−Ｗｓ，Ｈｓ／３）に近い値なら第ｋ番目のスリット画像３００の仮定領域４０９に投影された被写体は、第（ｋ−１）番目のスリット画像２００の特定領域１００に投影された被写体と略同一となる。
【０１３３】
図３０を参照して累加算部６５［１］［２］と仮定領域４１０との関係を説明する。図３０では、第（ｋ−１）番目のスリット画像２００に対する第ｋ番目のスリット画像３００の位置関係が（Ａ−Ｗｓ／３，Ｈｓ／３）、すなわち、誤差が（−Ｗｓ，Ｈｓ／３）であると仮定する。このとき、第ｋ番目のスリット画像３００の左上を原点とすると、仮定領域４１０は、（４Ｗｓ／３，２Ｈｓ／３）を左上とする横（Ｗ−Ａ−Ｗｓ）、縦（Ｈ−２Ｈｓ）の領域である。累加算部６５［１］［２］では、第ｋ番目のスリット画像３００の中で仮定領域４１０に含まれる画素のみを累加算の対象として演算を行う。累加算部６５［１］［２］は、仮定領域４１０以外の画素のデータが入力されてもそのデータを無視する。
【０１３４】
位置関係（Ａｋ，Ｂｋ）が（Ａ−Ｗｓ／３，Ｈｓ／３）なら、第（ｋ−１）番目のスリット画像２００の特定領域１００に投影された被写体と第ｋ番目のスリット画像３００の仮定領域４１０に投影された被写体とが同一となる。位置関係（Ａｋ，Ｂｋ）が（Ａ−Ｗｓ／３，Ｈｓ／３）に近い値なら第ｋ番目のスリット画像３００の仮定領域４１０に投影された被写体は、第（ｋ−１）番目のスリット画像２００の特定領域１００に投影された被写体と略同一となる。
【０１３５】
図３１を参照して累加算部６５［２］［２］と仮定領域４１１との関係を説明する。図３１では、第（ｋ−１）番目のスリット画像２００に対する第ｋ番目のスリット画像３００の位置関係が（Ａ＋Ｗｓ／３，Ｈｓ／３）、すなわち、誤差が（Ｗｓ／３，Ｈｓ／３）であると仮定する。このとき、第ｋ番目のスリット画像３００の左上を原点とすると、仮定領域４１１は、（２Ｗｓ／３，２Ｈｓ／３）を左上とする横（Ｗ−Ａ−Ｗｓ）、縦（Ｈ−２Ｈｓ）の領域である。累加算部６５［２］［２］では、第ｋ番目のスリット画像３００の中で仮定領域４１１に含まれる画素のみを累加算の対象として演算を行う。累加算部６５［２］［２］は、仮定領域４１１以外の画素のデータが入力されてもそのデータを無視する。
【０１３６】
位置関係（Ａｋ，Ｂｋ）が（Ａ＋Ｗｓ／３，Ｈｓ／３）なら、第（ｋ−１）番目のスリット画像２００の特定領域１００に投影された被写体と第ｋ番目のスリット画像３００の仮定領域４１１に投影された被写体とが同一となる。位置関係（Ａｋ，Ｂｋ）が（Ａ＋Ｗｓ／３，Ｈｓ／３）に近い値なら第ｋ番目のスリット画像３００の仮定領域４１１に投影された被写体は、第（ｋ−１）番目のスリット画像２００の特定領域１００に投影された被写体と略同一となる。
【０１３７】
図３２を参照して累加算部６５［３］［２］と仮定領域４１２との関係を説明する。図３２では、第（ｋ−１）番目のスリット画像２００に対する第ｋ番目のスリット画像３００の位置関係が（Ａ＋Ｗｓ，Ｈｓ／３）、すなわち、誤差が（Ｗｓ，−Ｈｓ／３）であると仮定する。このとき、第ｋ番目のスリット画像３００の左上を原点とすると、仮定領域４１２は、（０，２Ｈｓ／３）を左上とする横（Ｗ−Ａ−Ｗｓ）、縦（Ｈ−２Ｈｓ）の領域である。累加算部６５［３］［２］では、第ｋ番目のスリット画像３００の中で仮定領域４１２に含まれる画素のみを累加算の対象として演算を行う。累加算部６５［３］［２］は、仮定領域４１２以外の画素のデータが入力されてもそのデータを無視する。
【０１３８】
位置関係（Ａｋ，Ｂｋ）が（Ａ＋Ｗｓ，Ｈｓ／３）なら、第（ｋ−１）番目のスリット画像２００の特定領域１００に投影された被写体と第ｋ番目のスリット画像３００の仮定領域４１２に投影された被写体とが同一となる。位置関係（Ａｋ，Ｂｋ）が（Ａ＋Ｗｓ，Ｈｓ／３）に近い値なら第ｋ番目のスリット画像３００の仮定領域４１２に投影された被写体は、第（ｋ−１）番目のスリット画像２００の特定領域１００に投影された被写体と略同一となる。
【０１３９】
図３３を参照して累加算部６５［０］［３］と仮定領域４１３との関係を説明する。図３３では、第（ｋ−１）番目のスリット画像２００に対する第ｋ番目のスリット画像３００の位置関係が（Ａ−Ｗｓ，Ｈｓ）、すなわち、誤差が（−Ｗｓ，Ｈｓ）であると仮定する。このとき、第ｋ番目のスリット画像３００の左上を原点とすると、仮定領域４１３は、（２Ｗｓ，０）を左上とする横（Ｗ−Ａ−Ｗｓ）、縦（Ｈ−２Ｈｓ）の領域である。累加算部６５［０］［３］では、第ｋ番目のスリット画像３００の中で仮定領域４１３に含まれる画素のみを累加算の対象として演算を行う。累加算部６５［０］［３］は、仮定領域４１
以外の画素のデータが入力されてもそのデータを無視する。
【０１４０】
位置関係（Ａｋ，Ｂｋ）が（Ａ−Ｗｓ，Ｈｓ）なら、第（ｋ−１）番目のスリット画像２００の特定領域１００に投影された被写体と第ｋ番目のスリット画像３００の仮定領域４１３に投影された被写体とが同一となる。位置関係（Ａｋ，Ｂｋ）が（Ａ−Ｗｓ，Ｈｓ）に近い値なら第ｋ番目のスリット画像３００の仮定領域４１３に投影された被写体は、第（ｋ−１）番目のスリット画像２００の特定領域１００に投影された被写体と略同一となる。
【０１４１】
図３４を参照して累加算部６５［１］［３］と仮定領域４１４との関係を説明する。図３４では、第（ｋ−１）番目のスリット画像２００に対する第ｋ番目のスリット画像３００の位置関係が（Ａ−Ｗｓ／３，Ｈｓ）、すなわち、誤差が（−Ｗｓ／３，Ｈｓ）であると仮定する。このとき、第ｋ番目のスリット画像３００の左上を原点とすると、仮定領域４１４は、（４Ｗｓ／３，０）を左上とする横（Ｗ−Ａ−Ｗｓ）、縦（Ｈ−２Ｈｓ）の領域である。累加算部６５［１］［３］では、第ｋ番目のスリット画像３００の中で仮定領域４１４に含まれる画素のみを累加算の対象として演算を行う。累加算部６５［１］［３］は、仮定領域４１４以外の画素のデータが入力されてもそのデータを無視する。
【０１４２】
位置関係（Ａｋ，Ｂｋ）が（Ａ−Ｗｓ／３，Ｈｓ）なら、第（ｋ−１）番目のスリット画像２００の特定領域１００に投影された被写体と第ｋ番目のスリット画像３００の仮定領域４１４に投影された被写体とが同一となる。位置関係（Ａｋ，Ｂｋ）が（Ａ−Ｗｓ，Ｈｓ）に近い値なら第ｋ番目のスリット画像３００の仮定領域４１４に投影された被写体は、第（ｋ−１）番目のスリット画像２００の特定領域１００に投影された被写体と略同一となる。
【０１４３】
図３５を参照して累加算部６５［２］［３］と仮定領域４１５との関係を説明する。図３５では、第（ｋ−１）番目のスリット画像２００に対する第ｋ番目のスリット画像３００の位置関係が（Ａ＋Ｗｓ／３，Ｈｓ）、すなわち、誤差が（Ｗｓ／３，Ｈｓ）であると仮定する。このとき、第ｋ番目のスリット画像３００の左上を原点とすると、仮定領域４１５は、（２Ｗｓ／３，０）を左上とする横（Ｗ−Ａ−Ｗｓ）、縦（Ｈ−２Ｈｓ）の領域である。累加算部６５［２］［３］では、第ｋ番目のスリット画像３００の中で仮定領域４１５に含まれる画素のみを累加算の対象として演算を行う。累加算部６５［２］［３］は、仮定領域４１５以外の画素のデータが入力されてもそのデータを無視する。
【０１４４】
位置関係（Ａｋ，Ｂｋ）が（Ａ＋Ｗｓ／３，Ｈｓ）なら、第（ｋ−１）番目のスリット画像２００の特定領域１００に投影された被写体と第ｋ番目のスリット画像３００の仮定領域４１５に投影された被写体とが同一となる。位置関係（Ａｋ，Ｂｋ）が（Ａ＋Ｗｓ／３，Ｈｓ）に近い値なら第ｋ番目のスリット画像３００の仮定領域４１５に投影された被写体は、第（ｋ−１）番目のスリット画像２００の特定領域１００に投影された被写体と略同一となる。
【０１４５】
図３６を参照して累加算部６５［３］［３］と仮定領域４１６との関係を説明する。図３６では、第（ｋ−１）番目のスリット画像２００に対する第ｋ番目のスリット画像３００の位置関係が（Ａ＋Ｗｓ，Ｈｓ）、すなわち、誤差が（Ｗｓ，Ｈｓ）であると仮定する。このとき、第ｋ番目のスリット画像３００の左上を原点とすると、仮定領域４１６は、（０，０）を左上とする横（Ｗ−Ａ−Ｗｓ）、縦（Ｈ−２Ｈｓ）の領域である。累加算部６５［３］［３］では、第ｋ番目のスリット画像３００の中で仮定領域４１６に含まれる画素のみを累加算の対象として演算を行う。累加算部６５［３］［３］は、仮定領域４１６以外の画素のデータが入力されてもそのデータを無視する。
【０１４６】
位置関係（Ａｋ，Ｂｋ）が（Ａ＋Ｗｓ，Ｈｓ）なら、第（ｋ−１）番目のスリット画像２００の特定領域１００に投影された被写体と第ｋ番目のスリット画像３００の仮定領域４１６に投影された被写体とが同一となる。
【０１４７】
このようにして、１６種類の累加算部６５［ｐ］［ｑ］は、１６種類の特定領域４０１〜特定領域４１６の画素の累加算を行う。なお、特定領域４０１〜特定領域４１６は、それぞれ、誤差範囲（±Ｗｓ，Ｈｓ）を誤差候補点だけ誤差が発生したときに第（ｋ−１）番目のスリット画像２００の特定領域１００と同じ被写体を投影する第ｋ番目のスリット画像３００上の領域である。
【０１４８】
次いで、補間処理部６７における誤差候補点の選択処理について説明する。１６種類の誤差候補点は、図１４に示すとおりである。誤差候補点の座標は、第（ｋ−１）番目のスリット画像に対する第ｋ番目のスリット画像の位置（Ａ，０）を中心とした（Ａ−Ｗｓ，Ｈｓ）、（Ａ−Ｗｓ／３，−Ｈｓ）、（Ａ＋Ｗｓ／３，−Ｈｓ）、（Ａ＋Ｗｓ，−Ｈｓ）、（Ａ−Ｗｓ，−Ｈｓ／３）、（Ａ−Ｗｓ／３，−Ｈｓ／３）、（Ａ＋Ｗｓ／３，−Ｈｓ／３）、（Ａ＋Ｗｓ，−Ｈｓ／３）、（Ａ−Ｗｓ，Ｈｓ／３）、（Ａ−Ｗｓ／３，Ｈｓ／３）、（Ａ＋Ｗｓ／３，Ｈｓ／３）、（Ａ＋Ｗｓ，Ｈｓ／３）、（Ａ−Ｗｓ，Ｈｓ）、（Ａ−Ｗｓ／３，Ｈｓ）、（Ａ＋Ｗｓ／３，Ｈｓ）、（Ａ＋Ｗｓ，Ｈｓ）となる。
【０１４９】
補間処理部６７は、正確な位置関係（Ａｋ，Ｂｋ）と１６種類の位置関係を比較し、（Ａｋ，Ｂｋ）を含む４つの誤差候補点を選択し、この４つの誤差候補点と（Ａｋ，Ｂｋ）との距離から重みを算出する。ｄ１、ｄ２は（Ａｋ，Ｂｋ）と誤差候補点とのＸ軸方向のずれ、ｅ１、ｅ２は（Ａｋ，Ｂｋ）と誤差候補点のＹ軸方向のずれである。図３７に補間処理部６７における演算を具体的に示す。この演算では、実際に４つの誤差候補点を選択するのではなく４つの誤差候補点に対応する累加算部６５［ｐ］［ｑ］を選択している。なお、累加算部６５［ｐ］［ｑ］は、４×４の２次元配列であり［］で囲まれた配列の要素番号が１６個の点の位置と対応している。
【０１５０】
補正処理部６１は、まず、Ｘ軸方向の位置関係Ａｋの値により、Ａ−Ｗｓ≦Ａｋ＜Ａ−（１／３）Ｗｓならば、ｄ１＝Ａｋ−（Ａ−Ｗｓ）、ｄ２＝（Ａ−（１／３）Ｗｓ）−Ａｋ、ｌｅｆｔ＝０とする。Ａ−（１／３）Ｗｓ≦Ａｋ＜Ａ＋（１／３）Ｗｓならば、ｄ１＝Ａｋ−（Ａ−（１／３）Ｗｓ）、ｄ２＝（Ａ＋（１／３）Ｗｓ）−Ａｋ、ｌｅｆｔ＝１とする。Ａ＋（１／３）Ｗｓ≦Ａｋ≦Ａ＋Ｗｓならば、ｄ１＝Ａｋ−（Ａ＋（１／３）Ｗｓ）、ｄ２＝（Ａ＋Ｗｓ）−Ａｋ、ｌｅｆｔ＝２とする。Ａｋ＜Ａ−Ｗｓ、あるいは、Ａ＋Ｗｓ＜Ａｋは、先に述べたように、ありえない。
【０１５１】
次に、Ｙ軸方向の位置関係Ｂｋの値により、−Ｈｓ≦Ｂｋ＜−（１／３）Ｈｓならば、ｅ１＝Ｂｋ−（−Ｈｓ）、ｅ２＝（−（１／３）Ｈｓ）−Ｂｋ、ｔｏｐ＝０とする。−（１／３）Ｈｓ≦Ｂｋ＜（１／３）Ｈｓならば、ｅ１＝Ｂｋ−（−（１／３）Ｈｓ）、ｅ２＝（（１／３）Ｗｓ）−Ｂｋ、ｔｏｐ＝１とする。（１／３）Ｈｓ≦Ｂｋ≦Ｈｓならば、ｅ１＝Ｂｋ−（（１／３）Ｗｓ）、ｅ２＝Ｈｓ−Ｂｋ、ｔｏｐ＝２とする。Ｂｋ＜−Ｈｓ、あるいは、Ｈｓ＜Ｂｋは、先に述べたように、ありえない。
【０１５２】
さらに、ｒｉｇｈｔ＝ｌｅｆｔ＋１、ｂｏｔｔｏｍ＝ｔｏｐ＋１とする。そして、ＬＴ＝「累加算部６５[ｌｅｆｔ][ｔｏｐ]の出力値」とする。ＲＴ＝「累加算部６５[ｒｉｇｈｔ][ｔｏｐ]の出力値」とする。ＬＢ＝「累加算部６５[ｌｅｆｔ][ｂｏｔｔｏｍ]の出力値」とする。ＲＢ＝「累加算部６５[ｒｉｇｈｔ][ｂｏｔｔｏｍ]の出力値」とする。
そして、第２の累加算値＝（（ｅ２＊ｄ１＊ＲＴ）＋（ｅ２＊ｄ２＊ＬＴ）＋（ｅ１＊ｄ１＊ＲＢ）＋（ｅ１＊ｄ２＊ＬＢ））／（ｅ２＊ｄ１＋ｅ２＊ｄ２＋ｅ１＊ｄ１＋ｅ１＊ｄ２）を計算して、この計算結果である第２の累加算値を割算部６８に出力する。
【０１５３】
図１４では、位置関係検出部７１で求めた、第（ｋ−１）番目のスリット画像２００に対する第ｋ番目のスリット画像３００の位置関係（Ａｋ，Ｂｋ）が、Ａ−Ｗｓ≦Ａｋ＜Ａ−（１／３）Ｗｓ、−（１／３）Ｈｓ≦Ｂｋ＜（１／３）Ｈｓの場合を示している。即ち、ｌｅｆｔ＝０、ｒｉｇｈｔ＝１、ｔｏｐ＝１、ｂｏｔｔｏｍ＝２の場合である。（Ａｋ、Ｂｋ）は図中の白抜きの丸印で示されている。この（Ａｋ，Ｂｋ）は、以下の４つの誤差候補点により囲まれている。
１点目：Ｘ＝（Ａ−Ｗｓ）、Ｙ＝（−（１／３）Ｈｓ）
２点目：Ｘ＝（Ａ−（１／３）Ｗｓ）、Ｙ＝（−（１／３）Ｈｓ）
３点目：Ｘ＝（Ａ−Ｗｓ）、Ｙ＝（１／３）Ｈｓ
４点目：Ｘ＝（Ａ−（１／３）Ｗｓ）、Ｙ＝（１／３）Ｈｓ
この４つの点が、それぞれ、仮に（Ａｋ，Ｂｋ）であったとすると、第（ｋ−１）番目のスリット画像２００の特定領域１００に投影された被写体と同一の被写体が写っている第ｋ番目のスリット画像３００の中の画素の累加算値が累加算部６５［０］［１］、６５［１］［１］、６５［０］［２］、６５［１］［２］で計算されている。そして、（Ａｋ，Ｂｋ）とこの４つの点の位置関係である（ｄ１：ｄ２）、（ｅ１：ｅ２）を用いて累加算部６５［０］［１］、６５［１］［１］、６５［０］［２］、６５［１］［２］の値が重み付き平均されて第２の累加算値が求まる。これは、実際の位置関係である（Ａｋ，Ｂｋ）における第（ｋ−１）番目のスリット画像２００の特定領域１００に投影された被写体と同一の被写体が写っている第ｋ番目のスリット画像３００の中の累積値は、第２の累加算値の近似値といえる。
【０１５４】
以上説明したように、本発明を適用した撮像装置１は、第（ｋ−１）番目のスリット画像において第ｋ番目のスリット画像と必ず重なる領域を特定領域と設定し、特定領域の累加算値である第１の累加算値を算出する。これと同時に、撮像装置１は、第（ｋ−１）番目のスリット画像の特定領域と重なると予測される１６種類の仮定領域４０１〜４１６の累加算値を算出する。そして、撮像装置１は、第（ｋ−１）番目のスリット画像と第ｋ番目のスリット画像の位置関係を基に特定領域を囲む仮定領域４０１〜４１６の累加算値を選択し、選択した累加算値の重み付け平均である第２の累加算値を算出する。
【０１５５】
撮像装置１は、第２の累加算値を第１の累加算値で割って相対ゲインを算出し、既に算出した相対ゲインの積和である絶対ゲインを求める。撮像装置１は、第ｋ番目のスリット画像の明るさを絶対ゲインで補正した後にパノラマ画像への重ね合わせを行う。
【０１５６】
４つの累加算値６５［ｐ］［ｑ］の選択や重み付け演算は、図３７に記載のように僅か数回の四則演算と比較とで完了し、累加算値から絶対ゲインを算出する演算は、１回の割算と１回の乗算とで完了するため、これらの処理を合わせても、実行時間は瞬時である。位置関係の検出処理と絶対ゲインの算出処理は、略同時に終了するといえる。
【０１５７】
本発明は、画像の位置合わせを行う処理と、明るさの補正を行う処理を並列に行うことで、処理時間を短縮し、結果として、処理装置内で用いている遅延回路を少なくすることが出来る。上記明るさの補正の処理とは、（１）どの位置に重ね合わせるかという情報が確定していないので、考えられる候補を幾つか計算しておく。（２）どの位置に重ね合わせるかという情報が確定した直後に、候補の中から、それに対応した値を選択する。候補の中に存在しない位置の場合には、候補の値から補間（推定）することで明るさの補正量を計算するという処理である。
【０１５８】
本発明を適用した撮像装置１では、位置関係の検出処理と累加算値の演算を並列しているため、演算速度が高速化するとともに、演算対象となるスリット画像を記憶するフレーム遅延部の規模を小さくすることができる。
【０１５９】
なお、上述の説明では、１６個の累加算部６５[ｐ][ｑ]を有し、１６箇所の仮定領域４０１〜４１６における画素値の累加算を行ったが、累加算部の個数は１６個に限定されるわけではない。
【図面の簡単な説明】
【０１６０】
【図１】本発明を適用した撮像装置の電気的な構成を説明するためのブロック図である。
【図２】本発明を適用した撮像装置の外観図である。
【図３】本発明を適用した構成を説明するためのブロック図である。
【図４】フォトインターラプタにより第１の筐体の回転を制御する方法を説明する説明図である。
【図５】第１の筐体を徐々に回転する様子を示す外観図である。
【図６】撮影工程を示すフローチャートである。
【図７】スリット画像の重複領域を示す概略図である。
【図８】画像処理部の内部構成を示すブロック図である。
【図９】スリット画像を重ね合わせた状態を示す概略図である。
【図１０】画像処理部の動作を説明するタイミングチャートである。
【図１１】本発明を適用した画像処理部の内部構成を示すブロック図である。
【図１２】補正処理部の内部構成を示すブロック図である。
【図１３】第ｋ番目のスリット画像と第（ｋ−１）番目のスリット画像との重複領域及び第（ｋ−１）番目のスリット画像の特定領域とを説明する説明図である。
【図１４】誤差候補点の配列及び重み付け係数を説明する説明図である。
【図１５】本発明を適用した画像処理部の動作を説明するタイミングチャートである。
【図１６】全く誤差が生じなかったときの第ｋ番目のスリット画像と第（ｋ−１）番目のスリット画像との位置関係を示す模式図である。
【図１７】（−Ｗｓ，−Ｈｓ）の誤差が生じたときの第ｋ番目のスリット画像と第（ｋ−１）番目のスリット画像との位置関係を示す模式図である。
【図１８】（＋Ｗｓ，−Ｈｓ）の誤差が生じたときの第ｋ番目のスリット画像と第（ｋ−１）番目のスリット画像との位置関係を示す模式図である。
【図１９】（−Ｗｓ，＋Ｈｓ）の誤差が生じたときの第ｋ番目のスリット画像と第（ｋ−１）番目のスリット画像との位置関係を示す模式図である。
【図２０】（＋Ｗｓ，＋Ｈｓ）の誤差が生じたときの第ｋ番目のスリット画像と第（ｋ−１）番目のスリット画像との位置関係を示す模式図である。
【図２１】累加算部［０］［０］の演算対象領域である仮定領域４０１とスリット画像との位置関係を示す図である。
【図２２】累加算部［１］［０］の演算対象領域である仮定領域４０２とスリット画像との位置関係を示す図である。
【図２３】累加算部［２］［０］の演算対象領域である仮定領域４０３とスリット画像との位置関係を示す図である。
【図２４】累加算部［３］［０］の演算対象領域である仮定領域４０４とスリット画像との位置関係を示す図である。
【図２５】累加算部［０］［１］の演算対象領域である仮定領域４０５とスリット画像との位置関係を示す図である。
【図２６】累加算部［１］［１］の演算対象領域である仮定領域４０６とスリット画像との位置関係を示す図である。
【図２７】累加算部［２］［１］の演算対象領域である仮定領域４０７とスリット画像との位置関係を示す図である。
【図２８】累加算部［３］［１］の演算対象領域である仮定領域４０８とスリット画像との位置関係を示す図である。
【図２９】累加算部［０］［２］の演算対象領域である仮定領域４０９とスリット画像との位置関係を示す図である。
【図３０】累加算部［１］［２］の演算対象領域である仮定領域４１０とスリット画像との位置関係を示す図である。
【図３１】累加算部［２］［２］の演算対象領域である仮定領域４１１とスリット画像との位置関係を示す図である。
【図３２】累加算部［３］［２］の演算対象領域である仮定領域４１２とスリット画像との位置関係を示す図である。
【図３３】累加算部［０］［３］の演算対象領域である仮定領域４１３とスリット画像との位置関係を示す図である。
【図３４】累加算部［１］［３］の演算対象領域である仮定領域４１４とスリット画像との位置関係を示す図である。
【図３５】累加算部［２］［３］の演算対象領域である仮定領域４１５とスリット画像との位置関係を示す図である。
【図３６】累加算部［３］［３］の演算対象領域である仮定領域４１６とスリット画像との位置関係を示す図である。
【図３７】補間処理部で処理されるソースコードの一部を示す図である。
【符号の説明】
【０１６１】
１  撮像装置、１０  撮像部、１１  ＣＭＯＳイメージセンサ、１２  ＣＤＳ回路、１３  Ａ／Ｄ変換部、１４  内部バス、１５  ＤＳＰ、１６  コーデック処理部、１７  メモリ、１８  Ｄ／Ａ変換部、１９  ビデオエンコーダ部、２０  モニタ部、２１  ＣＰＵ、２２  操作部、２３  タイミングジェネレータ、２４  モータ、２６  露出計、３１  第１の筐体、３２  第２の筐体、３８  回転軸、５２  フォトインターラプタ、５３  遮蔽板、６０  画像処理部、６１  補正処理部、６３  フレーム遅延部、６５［ｐ］［ｑ］  累加算部、６６  累加算部、６７  補間処理部、６８  割算部、６９  乗算部、７１  位置関係検出部、７３  重ね合わせ部
【図１】
2006295329.tif 000003
【図２】
2006295329.tif 000004
【図３】
2006295329.tif 000005
【図４】
2006295329.tif 000006
【図５】
2006295329.tif 000007
【図６】
2006295329.tif 000008
【図７】
2006295329.tif 000009
【図８】
2006295329.tif 000010
【図９】
2006295329.tif 000011
【図１０】
2006295329.tif 000012
【図１１】
2006295329.tif 000013
【図１２】
2006295329.tif 000014
【図１３】
2006295329.tif 000015
【図１４】
2006295329.tif 000016
【図１５】
2006295329.tif 000017
【図１６】
2006295329.tif 000018
【図１７】
2006295329.tif 000019
【図１８】
2006295329.tif 000020
【図１９】
2006295329.tif 000021
【図２０】
2006295329.tif 000022
【図２１】
2006295329.tif 000023
【図２２】
2006295329.tif 000024
【図２３】
2006295329.tif 000025
【図２４】
2006295329.tif 000026
【図２５】
2006295329.tif 000027
【図２６】
2006295329.tif 000028
【図２７】
2006295329.tif 000029
【図２８】
2006295329.tif 000030
【図２９】
2006295329.tif 000031
【図３０】
2006295329.tif 000032
【図３１】
2006295329.tif 000033
【図３２】
2006295329.tif 000034
【図３３】
2006295329.tif 000035
【図３４】
2006295329.tif 000036
【図３５】
2006295329.tif 000037
【図３６】
2006295329.tif 000038
【図３７】
2006295329.tif 000039