(57)【要約】【課題】複数の画像を用いて合成画像を生成する場合、二つの画像の位置合わせが必要である。表示画面へのオーバラップ表示による位置合わせは、表示モニタのサイズが、必ずしも位置合わせに十分な解像度や大きさが用意されるとは限らない。また撮影者自身の手振れも考えられることを考慮すると、必ずしも十分な位置合わせは行えない。あくまでも撮影者の経験や撮影技術に依存して、合成画像の品位が決まるという課題を有していた。【解決手段】イメージセンサーから入力した画像を蓄えることができるフレームメモリ手段と、前記フレームメモリ手段に記録した記録画像と続いて撮影した撮影画像において、動画処理に使用するフレーム間相関を算出して画像の位置ずれを求め、その位置ずれ量に従って前記記録画像と前記撮影画像の位置合わせをおこなう位置合わせ手段と、位置合わせした画像を合成加工する合成手段とを有する電子カメラを提供する。【選択図】  図１
2004222025.tif 000002
【特許請求の範囲】
【請求項１】
フレーム間相関を使って符号化する動画撮影機能を有する電子カメラにおいて、
イメージセンサーから入力した画像を蓄えるフレームメモリ手段と、
前記フレームメモリ手段に記録した記録画像と続いて撮影した撮影画像において、動画処理に使用するフレーム間相関を算出して画像の位置ずれを求め、その位置ずれ量に従って前記記録画像と前記撮影画像の位置合わせをおこなう位置合わせ手段と、
位置合わせした画像を合成加工する合成手段と、
を備えたことを特徴とする電子カメラ。
【請求項２】
前記合成手段は、前記記録画像に対して前記撮影画像の指定した領域を入れ替えて合成することを特徴とする請求項１記載の電子カメラ。
【請求項３】
前記合成手段は、前記記録画像を前記撮影画像につなげてより大きな画像を合成することを特徴とする請求項１記載の電子カメラ。
【請求項４】
フレーム間相関を使って符号化する動画撮影機能を有する電子カメラにおいて、
イメージセンサーから入力した画像を蓄えるフレームメモリ手段と、
前記フレームメモリ手段に記録した記録画像と続いて撮影した撮影画像において、動画処理に使用するフレーム間相関を算出して画像の位置ずれを求め、その位置ずれ量に従って前記記録画像と前記撮影画像の位置合わせをおこなう位置合わせ手段と、
位置合わせした画像において、対応する各画素について演算処理する演算処理手段と、を備えたことを特徴とする電子カメラ。
【請求項５】
フレーム間相関を使って符号化する動画撮影機能を有する電子カメラにおいて、
イメージセンサーから入力した画像を蓄えることができるフレームメモリ手段と、
前記フレームメモリ手段に記録した記録画像と続いて撮影した撮影画像において、動画処理に使用するフレーム間相関を算出して画像の位置ずれを求め、その位置ずれ量に従って前記記録画像と前記撮影画像の位置合わせをおこなう位置合わせ手段と、
位置合わせした画像において、対応する各画素について比較することにより、特定のオブジェクトを抽出するオブジェクト抽出手段と、
を備えたことを特徴とする電子カメラ。
【請求項６】
前記位置合わせ手段は、フレーム間相関を算出する領域を指定することができる領域指定手段と、指定された領域に対してアフィン変換を施すことができるアフィン変換手段と、を備えたことを特徴とする請求項１、４、５のいずれかに記載の電子カメラ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、電子カメラ及び電子カメラ機能を有する携帯端末機器に関し、特に、フレーム間相関を使って符号化する動画撮影機能を有する電子カメラに関する。
【０００２】
【従来の技術】
電子カメラは、従来の銀塩カメラと比べて画像の加工や編集が容易に行えるという優れた特長を持っている。そのため電子カメラの編集容易性を活用した提案が数多くなされており、最近ではこれらの処理をＰＣ（パソコン）を使うことなくカメラ本体だけで処理できるようになってきている。パノラマ撮影機能もその一つで、例えば特開２０００−１０１９１６号公報において、パノラマ画像の生成をバッファメモリを用いておこなう提案がなされている。図３を用いて生成手順を簡単に説明する。
【０００３】
パノラマ撮影は、カメラ本体を水平方向にパンして複数枚撮影しそれを合成する。例えば図３中の画像３００、画像３０１、画像３０２のように画像を撮影し、バッファメモリを用いて１枚のパノラマ画像を合成する。この際、複数の画像を合成するには、つなぎ合わせのためにある程度の重なりを持って撮影する必要があり、図３の画像３０３に示すようにようにその重なりをうまく合わせる事によりパノラマ合成画像をおこなう。前記公報では、撮影時に前回の撮影画像の一部、即ちオーバラップ部分を表示モニタの端に表示させることにより構図調整を容易にし、より精度の高い位置合わせが可能であるとしていた。
【０００４】
例えばプレビュー表示装置の表示画面３０４は、画像３０１を撮影する際に、表示される概念図で、表示画面３０４には画像３００を撮影した際のオーバラップ部分を半透明で表示させている。このように前回撮影した画像の一部を表示させることにより、これから撮影する画像をどう構図調整すればよいのかを撮影者に知らせることができる。
【０００５】
【特許文献１】
特開２０００−１０１９１６号公報
【０００６】
【発明が解決しようとする課題】
表示画面へのオーバラップ表示による位置合わせは、表示モニタのサイズが、必ずしも位置合わせに十分な解像度や大きさが用意されるとは限らない。また撮影者自身の手振れも考えられることを考慮すると、必ずしも十分な位置合わせは行えない。あくまでも撮影者の経験や撮影技術に依存して、合成画像の品位が決まるという課題を有していた。
【０００７】
そこで本発明は、以上の点を鑑み、２つ以上の画像をより精度よく位置合わせし、より高精度で画像の合成、演算、表示をおこなえるようにした電子カメラを提供することを目的とする。さらに、この位置合わせによりパノラマ画像のような合成処理だけでなく、画像の切り出し、画素演算処理によるオブジェクト抽出、ノイズ除去などもおこなえるになる。
【０００８】
【課題を解決するための手段】
請求項１記載の発明に係る電子カメラは、フレーム間相関を使って符号化する動画撮影機能を有した電子カメラであって、イメージセンサーから入力した画像を蓄えることができるフレームメモリ手段と、前記フレームメモリ手段に記録した記録画像と続いて撮影した撮影画像において、動画処理に使用するフレーム間相関を算出して画像の位置ずれを求め、その位置ずれ量に従って前記記録画像と前記撮影画像の位置合わせをおこなう位置合わせ手段と、位置合わせした画像を合成加工する合成手段と、を備えたことを特徴とする。
【０００９】
請求項２記載の発明に係る電子カメラは、請求項１記載の電子カメラにおいて、前記記録画像に対して前記撮影画像の指定した領域を入れ替えて合成することを特徴とする。
【００１０】
請求項３記載の発明に係る電子カメラは、請求項１記載の電子カメラにおいて、前記記録画像を前記撮影画像につなげてより大きな画像を合成することを特徴とする。
【００１１】
請求項４記載の発明に係る電子カメラは、フレーム間相関を使って符号化する動画撮影機能を有する電子カメラにおいて、イメージセンサーから入力した画像を蓄えることができるフレームメモリ手段と、前記フレームメモリ手段に記録した記録画像と続いて撮影した撮影画像において、動画処理に使用するフレーム間相関を算出して画像の位置ずれを求め、その位置ずれ量に従って前記記録画像と前記撮影画像の位置合わせをおこなう位置合わせ手段と、位置合わせした画像において、対応する各画素について演算処理する演算処理手段と、を備えたことを特徴とする。
【００１２】
請求項５記載の発明に係る電子カメラは、フレーム間相関を使って符号化する動画撮影機能を有する電子カメラにおいて、イメージセンサーから入力した画像を蓄えることができるフレームメモリ手段と、前記フレームメモリ手段に記録した記録画像と続いて撮影した撮影画像において、動画処理に使用するフレーム間相関を算出して画像の位置ずれを求め、その位置ずれ量に従って前記記録画像と前記撮影画像の位置合わせをおこなう位置合わせ手段と、位置合わせした画像において、対応する各画素について比較することにより、特定のオブジェクトを抽出するオブジェクト抽出手段と、を備えたことを特徴とする。
【００１３】
請求項６記載の発明に係る電子カメラは、請求項１、４、５記載の電子スチルカメラにおいて、前記位置合わせ手段は、フレーム間相関を算出する領域を指定することができる領域指定手段と、指定された領域に対してアフィン変換を施すことができるアフィン変換手段と、を備えたことを特徴とする。
【００１４】
【発明の実施の形態】
以下本発明の実施形態について、図面を参照しながら説明する。
（実施の形態１）
図２は、本発明の実施形態１における電子カメラの外観図である。カメラ本体２００の前面には、レンズカバー２０１、ストロボ２０２、光学レンズ２０３が主な構成としてある。裏面には液晶表示装置２０７、光学ファインダー２０４、ズームボタン２０５、モード選択スイッチ２０８、撮影ボタン２０６、フラッシュメモリカード挿入口２０９から構成されている。
【００１５】
液晶表示装置２０７には、光学レンズ２０３から得られる被写体を、表示できるようになっており、またモード選択スイッチ２０８を通じてカメラに対して行う様々な設定情報についても表示可能になっている。光学レンズ２０３にはズーム機能がありズームボタン２０５によってズームのレベルが調整できるようになっている。
【００１６】
図１は、本発明の実施形態１における電子カメラのブロック図である。
撮像処理部は、イメージセンサーであるＣＣＤ１００、ＣＣＤ１００からの信号をサンプルホールドする相関二重サンプリング回路（ＣＤＳ）１０１、サンプリングされた信号をデジタル化するアナログデジタル変換回路（ＡＤＣ）１０２、ＣＣＤ１００からのデータをＹＵＶ信号（輝度、色差信号）又はＲＧＢ信号に変換するカラープロセス回路１０３、ＣＣＤ１００に対するタイミング制御信号を生成するタイミング生成回路（ＴＧ）１０４から構成される。
【００１７】
撮像処理部からのカメラ撮影画像は、一旦バッファメモリ手段であるバッファメモリ１１２に蓄えられる。バッファメモリにはＳＤＲＡＭ（同期型ダイナミックランダムアクセスメモリ）が使用され、バッファメモリ１１２のデータは、ＮＴＳＣエンコーダ１０９を通じて、液晶表示装置２０７であるＬＣＤ装置１１０に出力される。このようにＣＣＤ１００から入力した画像は、即時液晶表示装置２０７であるＬＣＤ装置１１０に表示できるように構成されている。
これらの画像データのやりとりは、ＤＭＡ（ダイレクト  ・メモリ・アクセス）コントローラを有したシステムバス１０７を通じておこなわれる。
静止画記録の場合、バッファメモリ１１２上のデータは、ＣＰＵ１１１によってＪＰＥＧエンジン１０５へ送られ、ＪＰＥＧ符号化をおこなった後、再びバッファメモリ１１２に戻される。この際ＣＰＵ１１１は、記録媒体１０８にも転送し記録することができる。記録媒体１０８には、ここでは書き換え可能で着脱可能なフラッシュメモリを使用したが、着脱式でないフラッシュメモリであってもよい。
ＭＰＥＧ処理回路１０６は、離散コサイン変換及び逆変換をおこなうＤＣＴ処理ブロック、動きベクトルを算出するＭＥ処理ブロック１１３、可変長符号化・複号化をおこなうＶＬＣ／ＶＬＤ処理ブロック及びＤＳＰ処理ブロックから構成されており、従来では静止撮影時には動作しない構成になっていた。
【００１８】
動画記録の場合は、静止画記録時と同様に撮像処理部から入力した画像データを連続的にバッファメモリ１１２に蓄える。表示の際は、ＮＴＳＣエンコーダ１０９を経由してＬＣＤ装置１１０に送ることで表示する。バッファメモリ１１２上のデータは、ＣＰＵ１１１によってＭＰＥＧ処理回路１０６に送られ、ＭＰＥＧ符号化をおこない後、再びバッファメモリ１１２に戻される。この際ＣＰＵ１１１は記録媒体１０８にも転送し記録することもできる。
【００１９】
次に本構成の電子カメラにおいて画像を合成する手順を、パノラマ画像生成を例にして順に説明する。まず基本となる画像を一枚撮影する。ＣＣＤ１００を通じて撮影した画像は、撮像処理部を経由して記録画像としてバッファメモリ手段であるバッファメモリ１１２に蓄える。この場合、目的のサイズよりＣＣＤ１００からのデータが許す範囲で若干大きめにデータを記録する。例えばＶＧＡサイズ（６４０ｘ４８０画素）が目的のサイズである場合、７００ｘ５５０画素といったように若干大きめにデータを格納する。取り込んだ画像はＪＰＥＧエンジン１０５によって符号化し、バッファメモリ１１２を経由して記録媒体１０８に記録する。また取り込んだ画像を合成する場合は符号化せずにバッファメモリ１１２上に蓄えた状態で保持する。
【００２０】
続いてパノラマ化したい次の画像を取り込む。取り込みにあたっては記録画像と同様に、ＣＣＤ１００を通じて撮影した画像は、撮像処理部を経由して撮影画像としてバッファメモリ１１２の別の領域に蓄える。次に記録画像と撮影画像の位置合わせを、位置合わせ手段であるＭＥ処理ブロック１１３とＣＰＵ１１１を使っておこなう。ＭＥ処理ブロック１１３は従来動画撮影処理時に使用されてきたが、本発明では静止画合成時に前記ＭＥ処理ブロック１１３を使用する。ＣＰＵ１１１は記録画像と撮影画像のデータをＭＥ処理ブロック１１３に対して与え、与えられた領域データから絶対値差分和を求め、その値が最も小さくなる座標位置を算出し動きベクトルとする。
【００２１】
図４はＭＥ処理ブロック１１３において、動きベクトル算出を実現する回路の構成図である。絶対値差分和演算器４００は、絶対差分値と加算器によって動きベクトルが算出できるようになっている。その入力段にはＭＰＥＧ処理ブロック１０６の内部接続入力とＣＰＵ１１１から画素データの入力を、セレクタ４０１によって切り替えることができ、また画素毎に分解して絶対値差分和演算器４００に対して与えることが可能なようになっている。よって、静止画撮影モードにおいてもＭＥ処理ブロック１１３を部分的に使用可能となる。
【００２２】
図６（ａ）は位置合わせをおこなう際の領域指定を示した概念図である。記録画像６００と撮影画像６０１と動き検出をおこなう動き検出指定領域６０２が示されている。こうした動き検出の領域指定は領域指定手段であるＣＰＵ１１１に設定することが可能で、ＣＰＵ１１１は設定に従い指定された領域のデータをＭＥ処理ブロック１１３に与えることができる。またアフィン変換手段であるＣＰＵ１１１は、指定された動きベクトルの算出領域に対して、拡大、縮小、回転などのアフィン変換処理をおこなうことができる。つまり撮影画像６０１を撮影する際、被写体からの距離が多少前後することにより、記録画像６００との大きさがあわなくなった場合でも動きベクトル算出領域に対してあらかじめアフィン変換を施した後、位置合わせをおこなうために、より正しい位置合わせが可能になる。
【００２３】
図６（ｂ）は、動きベクトルとして動きベクトル６０４が算出された場合の画像合成の概念図である。ここでは撮影画像６０１が動きベクトル６０４だけずれていること示している。そのため、ＣＰＵ１１１はパノラマ画像を合成する場合、記録画像６００と撮影画像６０１を、動きベクトル６０４だけ移動させた位置にした移動後の撮影画像６０３と合成する必要がある。合成手段であるＣＰＵ１１１は、バッファメモリ１１２から記録画像６００と撮影画像６０１を位置ずれさせて読み出し、バッファメモリ１１２の別のエリアに合成した画像を生成する。
【００２４】
図６（ｃ）は、合成後のパノラマ画像の概念図である。記録画像６００と撮影画像６０３は、あらかじめ撮影したサイズよりも若干大きめに取り込んでいるため、合成後のパノラマ画像６０５は、目的のサイズの大きさで作成することができる。ＣＰＵ１１１は、合成したパノラマ画像をＪＰＥＧエンジン１０５で符号化した後、一旦バッファメモリ１１２に戻し記録媒体１０８へ転送する。また同時に、ＮＴＳＣサイズにリサイズしてＮＴＳＣエンコーダ１０９に転送しＬＣＤ装置１１０に表示する。
【００２５】
以上のように、本実施の形態の電子カメラによれば、静止画撮影時においてＭＰＥＧ処理回路１０６のＭＥ処理ブロック１１３を動作させ、記録画像と撮影画像の動きベクトルを算出し、それに基づき画像の位置合わせをおこないパノラマ画像を合成する。そのため、撮影者が若干の位置合わせだけをおこなうだけで、より正確に位置合わせをおこなえることになり、従来のように撮影者の経験や撮影技術に依存することなく正確なパノラマ画像を生成することができる。
【００２６】
（実施の形態２）
続いて、本発明の実施形態２について、前記実施形態１との相違点を図面を用いて説明する。
【００２７】
前記実施形態１では図６（ａ）で示したように、記録画像６００と撮影画像６０１のパノラマ画像を構成するため、それぞれの画像両端部分、即ち動き検出指定領域６０２で位置合わせをおこなった。一方、本実施形態２では、撮影者がパノラマ撮影時のようにカメラ本体を水平方向にパンさせて撮影するのではなく、同一撮影領域を２回撮影することを前提にする。図５（ａ）はこの前提での記録画像５００と撮影画像５０１を示す図である。１回目の撮影と２回目の撮影時の構図のずれは、動き検出指定領域５０２から実施形態１と同様にＭＥ処理ブロック１１３で動きベクトルを算出することにより、記録画像５００と撮影画像５０１の位置合わせをおこなう。
【００２８】
次に記録画像５００と撮影画像５０１の各画素を比較する。位置合わせが完了しているため、各画素は基本的には同じ値になる。しかしながら、部分的にノイズが混入していると、大きく画素値が異なる場合がある。その場合は、記録画像５００と撮影画像５０１の画素を、演算処理手段であるＣＰＵ１１１にて演算処理することによりこのノイズ成分を取り除くことができる。
【００２９】
例えば、演算処理手段ＣＰＵ１１１は、位置合わせした記録画像５００と撮影画像５０１の対応する各画素を平均処理（各画素を加算して１／２する）し、バッファメモリ１１２の別領域に生成し格納する。このようにすることで、撮影画像または記録画像に一時的に発生したノイズは平均化処理されることにより、ノイズが低減される。
【００３０】
本実施例では平均化してノイズを低減化したが、平均化演算することに限定されるものではない。また、演算対象を１画素毎で演算処理したが１画素毎限定されるものではなく、周辺画素も含めて演算処理してもよい。
【００３１】
逆に、図５（ｂ）及び（ｃ）で示すように記録画像５００（表示画像Ａ）で背景を撮影し、その後撮影画像５０１（表示画像Ｂ）に背景と人物などの特定の被写体を加えて撮影する。そして位置合わせ完了後、記録画像５００と撮影画像５０１の各画素を比較し、画素値が大きく異なる画素のみを抽出することにより特定のオブジェクトを抽出したり、特定の領域だけを差し替えて画像を合成するカップリング合成等も可能になる。
【００３２】
例えば、オブジェクト抽出手段であるＣＰＵ１１１は、図５（ｃ）で示すように位置合わせした記録画像５００（表示画像Ａ）と撮影画像５０１（表示画像Ｂ）の対応する各画素を比較し、画素値が大きく異なる撮影画像５０１（表示画像Ｂ）の画素をバッファメモリ１１２の別領域に生成し格納する。
【００３３】
また、図５（ｂ）で示すように仕切り部分５０４から二つの画像を合成することも可能となる。例えば、合成画像５０３を作成するには、合成手段であるＣＰＵ１１１は、バッファメモリ１１２から記録画像５００と撮影画像５０１を読み出し、仕切り部分５０４の左側を表示画像Ａである記録画像５００の画像、右側を表示画像Ｂである撮影画像５０１としてバッファメモリ１１２の別領域に合成した画像を生成する（合成画像）。
【００３４】
以上のように、本実施の形態の電子カメラによれば、静止画撮影時においてＭＰＥＧ処理回路１０６のＭＥ処理ブロック１１３を動作させ、記録画像と撮影画像の動きベクトルを算出し、それに基づき画像の位置合わせを精密におこなえるようになったために、二つの画像から画像のノイズ除去、画像の合成処理、特定の被写体の抽出を行えるようになる。
【００３５】
なお、上記実施の形態１及び実施の形態２では電子カメラとして示したが、同様な構成を有するカメラ付き携帯電話であっても同様な効果が得られる。即ち、本願発明は、電子カメラの単機能機器に限定されるものではなく、電子カメラ機能を有する機器であってもよい。
【００３６】
【発明の効果】
以上説明したように、この発明によれば、二つの静止画間の動きベクトル算出しすることにより、従来撮影者の経験や撮影技術でおこなっていた合成処理を、精度よくかつ自動におこなうことができる。また合成処理を使ってパノラマ画像や画像の一部を他のデータと入れ替えて合成する処理が可能になる。さらに位置合わせした画像を画素単位で演算処理することにより、ノイズを低減させたり、特定のオブジェクトを抽出することが可能となる。
【００３７】
位置合わせの処理は、領域指定が可能となっておりかつアフィン変換処理が可能であるため、二つの静止画に被写体までの距離が変わったり、カメラ自体が多少傾いたりしても位置合わせが可能になり、より精度が高い合成処理が可能なる。
【図面の簡単な説明】
【図１】本発明の実施の形態における電子カメラのブロック構成図
【図２】本発明の実施の形態における電子カメラの外観図
【図３】従来の電子カメラでのパノラマ画像合成方法を示す説明図
【図４】動きベクトル算出を実現する回路のブロック構成図
【図５】本発明の実施の形態２における合成処理を説明する説明図
【図６】本発明の実施の形態１におけるパノラマ合成処理を説明する説明図
【符号の説明】
１１１  ＣＰＵ（位置合わせ手段、合成手段、演算処理手段、オブジェクト抽出手段、アフィン変換手段、領域指定手段）
１１２  バッファメモリ（フレームメモリ手段）
１１３  ＭＥ処理ブロック（位置合わせ手段）
【図１】
2004222025.tif 000003
【図２】
2004222025.tif 000004
【図３】
2004222025.tif 000005
【図４】
2004222025.tif 000006
【図５】
2004222025.tif 000007
【図６】
2004222025.tif 000008