(57)【要約】【課題】撮像後にユーザが所望するタイミングで、且つ、所望する画枠または画角である撮像画像を選択または補正できる撮像装置を提供する。【解決手段】撮像装置は、被写体から光学像を生成する光学系と、前記光学系の焦点距離を調節する調節部と、前記光学像を光電変換して撮像し、該撮像信号を生成する撮像部と、前記光学像を連続的に撮像する連続撮像期間の開始タイミング及び停止タイミング、及び、該連続撮像期間の前時及び／または後時に前記被写体の背景を含んだ前記光学像を撮像する背景撮像のタイミング、を一連の操作にて操作するための操作部と、前記撮像信号に画像処理を施して画像信号を生成する画像処理部と、を備え、前記調節部は、前記背景撮像のタイミングが操作されると、前記焦点距離が短くなるように調節する。【選択図】図４
2011029691.tif 000002
【特許請求の範囲】
【請求項１】
被写体から光学像を生成する光学系と、
前記光学系の焦点距離を調節する調節部と、
前記光学像を光電変換して撮像し、該撮像信号を生成する撮像部と、
前記光学像を連続的に撮像する連続撮像期間の開始タイミング及び停止タイミング、及び、該連続撮像期間の前時及び／または後時に前記被写体の背景を含んだ前記光学像を撮像する背景撮像のタイミング、を一連の操作にて操作するための操作部と、
前記撮像信号に画像処理を施して画像信号を生成する画像処理部と、
を備え、
前記調節部は、前記背景撮像のタイミングが操作されると、前記焦点距離が短くなるように調節する
ことを特徴とする撮像装置。
【請求項２】
前記連続撮像期間にて得られる複数の前記画像信号の中から任意の選択画像を選択するための選択部と、
前記選択画像と、前記背景撮像時にて得られる背景画像と、を画像合成して合成画像を生成する合成部と、
を更に備える
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記背景画像を連続的に幾何学変換して動画像を生成する動画像生成部を更に備え、
前記動画像生成部は、複数選択された前記選択画像の画像相関に基づいて、前記選択画像の画枠の動きを低周波化する補正画枠を生成し、
前記合成部は、前記補正画枠の範囲内に前記選択画像と前記背景画像とを画像合成して合成動画像を生成する
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記背景撮像時にて得られる背景画像の中から複数の画枠を選択するための選択部と、
前記選択された画枠に基づいて、前記背景画像を連続的に幾何学変換して背景動画像を生成する動画像生成部と、
を更に備える
ことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記連続撮像期間が操作される期間、前記撮像部は有効画素数ｍが読み出され、
前記背景撮像時が操作される時、前記撮像部は有効画素数ｎが読み出され、
前記有効画素数は、ｍ＜ｎである
ことを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記有効画素ｍ領域のアスペクト比は、略１６：９であり、
前記有効画素ｎ領域のアスペクト比は、略４：３である
ことを特徴とする請求項５に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが所望する撮像画像を得るためのユーザ補助機能を備えた撮像装置に関するものである。
【背景技術】
【０００２】
近年に於いて、熟練したユーザでなくても所望する撮像画像を得るためのユーザ補助機能を備えた撮像装置が市場から要求されている。
【０００３】
例えば、下記特許文献１に記載の電子スチルカメラおよび撮影方法は、ユーザがシャッターチャンスを逃した場合でも、ユーザが押したシャッタータイミング前後の再生画像に対してシャッターを押し直すことで、シャッタータイミングの修正ができる。
【０００４】
一方で、下記特許文献２に記載のズーム機能付きカメラでは、一度の操作で複数の焦点距離による撮像が自動的に為されることで、ユーザの操作した焦点距離がユーザの所望する画角でなかったとしても、撮像後に所望の画角が選択できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３７１３９７３号公報
【特許文献２】特許第３９１５２６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ユーザが所望する撮像画像を得るためのユーザ補助機能について考察すれば、ユーザがスポーツ選手などの動的被写体を撮像する際に、課題１）シャッターチャンスを逃してしまって、所望するタイミングの撮像画像が得られていない。課題２）ユーザによるフレーミング操作の失敗（手ブレを含む）に起因して、所望する画枠の撮像画像が得られていない。という２つの課題がある。
【０００７】
例えば、特許文献１に記載の電子スチルカメラおよび撮影方法は、課題１）については、ユーザが押したシャッタータイミング前後の再生画像に対してシャッターを押し直すことで、シャッタータイミングの修正ができる。しかしながら、課題２）については、ユーザが所望するタイミングに於いて、画像の画枠を修正する機能はない。
【０００８】
一方で、特許文献２に記載のズーム機能付きカメラは、課題２）については、撮像後に所望の画角が選択できるので、所望する画枠の画像を得るためには、この選択画角の画像に対して所望する画枠にトリミングすれば良い。しかしながら、課題１）については、ユーザが所望する画枠に於いて、シャッタータイミングの修正をする機能はない。
【０００９】
本発明は、前述した課題１）、課題２）に鑑みて、撮像後にユーザが所望するタイミングで、且つ、所望する画枠または画角である撮像画像を選択または補正できる撮像装置を提供することを目的としている。
【課題を解決するための手段】
【００１０】
本発明のある態様に係る撮像装置は、被写体から光学像を生成する光学系と、前記光学系の焦点距離を調節する調節部と、前記光学像を光電変換して撮像し、該撮像信号を生成する撮像部と、前記光学像を連続的に撮像する連続撮像期間の開始タイミング及び停止タイミング、及び、該連続撮像期間の前時及び／または後時に前記被写体の背景を含んだ前記光学像を撮像する背景撮像のタイミング、を一連の操作にて操作するための操作部と、前記撮像信号に画像処理を施して画像信号を生成する画像処理部と、を備える。前記調節部は、前記背景撮像のタイミングが操作されると、前記焦点距離が短くなるように調節する。
【発明の効果】
【００１１】
本発明によれば、ユーザが所望するタイミングの撮像画像が得られる効果がある。
【００１２】
また、本発明によれば、ユーザが所望する画枠または画角である撮像画像が得られる効果がある。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態による撮像装置の基本構成を示すブロック図である。
【図２】ユーザによる一連の操作と、各操作に於ける操作部の状態と、の関係についての一例を夫々示す図である。
【図３】本発明の第１の実施形態による撮像装置の操作手順を示すフローチャートである。
【図４】本発明の第１の実施形態による撮像装置の基本的な概念を示す概念図である。
【図５】ユーザが意図しない失敗撮像にて得られた撮像画像のイメージ画像である。
【図６】連続撮像期間に撮像される撮像画像の一例を示すイメージ画像である。
【図７】背景撮像にて撮像される撮像画像の一例を示すイメージ画像である。
【図８】図１及び図４で示された合成画像の一例を示すイメージ画像である。
【図９】図８で示された合成画像に対して、ユーザが所望するトリミングを施した合成画像の一例を示すイメージ画像である。
【図１０】本発明の第２の実施形態による撮像装置の基本構成を示すブロック図である。
【図１１】図７で示された背景画像の部分画像に、図６ａ〜図６ｄの撮像画像群を重ねて示したイメージ画像である。
【図１２】図７で示された背景画像から生成された動画像と、図６ａ〜図６ｄで示された選択画像群とを画像合成して生成された合成動画像の一例を示すイメージ画像である。
【図１３】図７で示された背景画像から生成された背景動画像の一例を示すイメージ画像である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施形態について説明する。
【００１５】
（第１の実施形態）
図１は、本発明の第１の実施形態による撮像装置の基本構成を示すブロック図である。
【００１６】
図１に於いて、この撮像装置は、可変焦点レンズ（光学系）１０と、レンズドライバ（調節部）１１と、ズームリング１２と、イメージセンサ（撮像部）１３と、操作部１４と、画像処理部１５と、選択部１６と、合成部１７と、より構成されている。
【００１７】
可変焦点レンズ１０は、焦点距離可変にて被写体から光学像を生成し、この光学像をイメージセンサ１３の撮像面に出力する。レンズドライバ１１は、この可変焦点レンズ１０の焦点距離を調節する。ズームリング１２は、ユーザが所望する焦点距離をレンズドライバ１１に反映させるためのものであって、ユーザのズームリング１２に対する操作からズームリング１２の回転速度、回転位相をレンズドライバ１１に対して出力する。尚、このズームリング１２は、リング形状に限らず、ズームレバーやズーム釦、ズームダイヤルなどであっても良い。
【００１８】
イメージセンサ１３は、光学像を光電変換して撮像し、撮像信号を生成し、画像処理部１５に出力する。操作部１４は、このイメージセンサ１３に対して、光学像を連続的に撮像する連続撮像期間を開始する第１の操作と、連続撮像期間を停止する第２の操作とを操作する。この第２の操作が操作された場合には、同時に、操作部はレンズドライバに対して、被写体の背景を含んだ光学像を撮像する背景撮像のタイミングを入力する。そして、レンズドライバによって焦点距離は可変焦点レンズの最短焦点距離（広角端）に調節される。これら第１の操作と第２の操作は、ユーザによる一連の操作にて為される。尚、ユーザによる一連の操作については図２ａ〜図２ｄ、及び、図３を用いて後述する。
【００１９】
画像処理部１５は、撮像信号に画像処理を施して画像信号を生成し、連続撮像期間にて得られる複数フレームの画像信号を選択部１６に出力し、背景撮像時にて得られる画像信号（背景画像）を合成部１７に出力する。選択部１６は、連続撮像期間にて得られる複数の画像信号の中から任意の選択画像をユーザに選択させるためのものであって、この選択画像を合成部１７に出力する。合成部１７は、この選択画像と背景画像とを画像合成して合成画像を生成する。
【００２０】
図２ａ〜図２ｄは、ユーザによる一連の操作と、各操作に於ける操作部１４の状態と、の関係についての一例を夫々示す図である。
【００２１】
先ず、図２ａは、この操作部１４が未だ押されていない未押し状態（ロック解除）が示されている。ロックとは、操作部１４が押された状態で一時的に固定される機構のことである。次に、図２ｂは、一般的には半押しと言われる、半押し状態（ロックせず）が示されている。この半押し状態は、操作部１４がロックされていない状態であるので、ユーザが指を半押しの状態に維持する必要がある。ここで、ユーザが指を離せば、再び図２ａの未押し状態に戻る。
【００２２】
図２ｃは、図２ｂで示された半押し状態から、更に深く押された全押し状態が示されている。この全押し状態になると操作部１４はロックされる。ここで、ユーザが指を離しても、図２ｄで示されるように、操作部１４は全押し状態がロックされる。また、図２ａで示された未押し状態から、図２ｂで示された半押し状態で留まらず、そのまま一気に図２ｃで示された全押し状態にすることもできる。
【００２３】
図２ｄは、図２ｃで示された全押し状態からユーザが指を離した状態が示されている。図２ｄで示されるように、この全押し状態はロック（一時固定）されている。図２ｄの全押し（ロック）状態から、ユーザが再び全押しする再押し状態（ロック解除）になると、外見上は図２ｃで示されたようになり、この時、ユーザが指を離せば、再び図２ａで示された未押し状態に戻る。
【００２４】
図３は、本発明の第１の実施形態による撮像装置の操作手順を示すフローチャートである。
【００２５】
図３に於いて、この撮像装置は、前述したユーザによる一連の操作（各操作に於ける操作部１４の状態）に従って、連続撮像期間と、背景撮像時と、が制御される。
【００２６】
先ず、図３で示されるスタートから始まる。このスタートの時点では、前述した操作部１４の状態は、図２ａで示された未押し状態であるとする。或いは、撮像装置の電源が落とされると、操作部１４が強制的にこの未押し状態になる機構であっても良い。
【００２７】
次に、ステップＳ１にて、操作部１４が図２ｂで示された半押し状態（ロックせず）であるか、または、図２ａで示された未押し状態であるかどうかについて判定される。ステップＳ１に於いて、半押し状態であればステップＳ２に移行する。
【００２８】
ステップＳ２では、例えば、ＡＥ（自動露光制御）、ＡＦ（自動合焦制御）、ＡＷＢ（自動ホワイトバランス制御）、顔検出、青空検出、文字検出、などが集中的に為される。これらの制御が完了すると、ステップＳ３に移行する。また、ステップＳ１に於いて、半押し状態ではない場合（図２ａ）もステップＳ３に移行する。
【００２９】
ステップＳ３では、操作部１４が図２ｃ（全押し状態）または図２ｄ（全押しロック状態）で示されるような全押し状態であるかどうかについて判定される。ここで、全押し状態であればステップＳ４に移行する。また、全押し状態ではない場合（図２ａまたは図２ｂ）はステップＳ１に移行する。
【００３０】
ステップＳ４では、イメージセンサ１３が有効画素ｍにて、連続撮像期間が開始される。そして、ステップＳ５に移行する。ステップＳ５では、図２ｄで示された全押しロック状態の操作部１４が、図２ｃで示されたように、ユーザによって再び押される再押し状態となった後、この操作部１４がロック解除されて、再び、図２ａで示された未押し状態に判定されるまでの期間、このステップＳ５に留まる。ここで、再押し状態によるロック解除（即ち、未押し状態）が判定されればステップＳ６に移行する。
【００３１】
ステップＳ６では、イメージセンサ１３による連続撮像期間が停止される。そして、ステップＳ７に移行する。ステップＳ７では、図１で示された可変焦点レンズ１０が広角端（最短焦点）に強制的にドライブされる。そして、ステップＳ８に移行する。
【００３２】
ステップＳ８では、イメージセンサ１３が有効画素ｎ（但し、ｎ＞ｍ）にて、背景撮像が為される。尚、画像合成の際の選択画像と背景画像との解像度を同程度にするように、背景撮像時の有効画素ｎを連続撮像期間の有効画素ｍより大きくしている。また、連続撮像期間では、撮像の連続性を向上させる目的から、撮像信号のフレームレートを高速にしたいので、背景撮像時よりも有効画素数を減らしている。そして、このステップＳ８による背景撮像が完了すれば、スタートから示されてきたユーザによる一連の操作手順が一巡して、再び、ステップＳ１に移行する。
【００３３】
図４は、本発明の第１の実施形態による撮像装置の基本的な概念を示す概念図である。
【００３４】
図４に於いて、この概念図は、図１にて既に示されたブロック図の上に、ユーザが被写体を撮像する際の一連の操作と、その操作に連動して可変焦点レンズ１０が制御されることについて、更に説明書きを加えた概念図である。
【００３５】
先ず、ユーザは、被写体の中からユーザの注目する注目被写体に対して撮像する画角（破線１）を調節しつつ、撮像画枠をフレーミングする。この画角調節はユーザによるズームリング操作によって、レンズドライバ１１を介して、可変焦点レンズ１０の主点（破線２）から焦点（破線３）までの焦点距離が調節されることにより調節される。ここで、この焦点距離の調節範囲は、レンズの主点が望遠端（破線４）から広角端（破線５）までの移動可能な範囲のことである。また、この時点に於いては、ユーザによる操作部１４に対する操作は、図２ａで示された未押し状態にあるとする。
【００３６】
次に、ユーザは、所望する撮像画枠をフレーミングしたら、注目被写体が所望のタイミングに至ることを待たずに、操作部１４を図２ｃで示された全押し状態にする。ここで、ユーザが指を離せば、図２ｄで示された全押しロック状態になり、イメージセンサ１３による連続撮像期間が開始される。この期間に於いて、ユーザは、画角を変更しながら撮像することもできるし、或いは、画角を固定したままに撮像画枠のフレーミングを変更しながら撮像することもできる。つまり、ユーザは注目被写体に対して撮像画枠の動体追尾を行う。
【００３７】
そして、この連続撮像期間に於いて、注目被写体が所望のタイミングに至った後、ユーザは、再び、操作部１４を図２ｃで示された再押し状態（ロック解除）にすれば、操作部１４は図２ａで示された未押し状態に戻って、イメージセンサ１３による連続撮像期間が停止される。この時、操作部１４からレンズドライバ１１に対してＬＡＳＴ信号が出力される。
【００３８】
このＬＡＳＴ信号がレンズドライバ１１に受信されると、可変焦点レンズ１０の焦点距離を強制的に最短焦点距離に調節する。つまり、レンズの主点が広角端にドライブ（駆動）されて、ユーザが調節した注目被写体に対する撮像画角から、背景被写体を含む広角端（破線６）に自動的に調節される。
【００３９】
この可変焦点レンズ１０の広角端ドライブが完了すると、イメージセンサ１３は有効画素ｎ（ここで、ｎ＞ｍ）にて、背景の撮像を実施する。このようにして、ユーザによる一連の操作と、その操作に連動して可変焦点レンズ１０が制御され、注目被写体の連続撮像と背景被写体の広角撮像が為される。そして、新たな撮影シーン（ＴＡＫＥ２による撮り直し撮影シーンを含む）による連続撮像期間（図２ｄで示された全押しロック状態）を待機する。
【００４０】
図１〜図４を用いて説明してきたように、ユーザの意思によって注目被写体の連続撮像が為され、且つ、ユーザによる一連の操作によって自動的に背景被写体の広角撮像（ＬＡＳＴ）が為される。そして、この連続撮像から選択画像が選択されて、背景画像と画像合成される。例えば、画像合成は、選択画像を縮小して背景画像と位置合わせして、背景画像の一部分を縮小した選択画像に置き換えることにより行われる。
【００４１】
ここで、従来技術による撮像画像について鑑みれば、ユーザがスポーツ選手などの動的被写体を撮像する際に、シャッターチャンスを逃してしまって、所望するタイミングの撮像画像が得られていなかったり、ユーザによるフレーミング操作の失敗（手ブレを含む）に起因して、所望する画枠の撮像画像が得られていなかったりしていた。
【００４２】
図５ａ〜図５ｃは、ユーザが子供の運動会（徒競争）のシーンをアスペクト比４：３の静止画像として撮像した際に、ユーザが意図しない失敗撮像にて得られた撮像画像のイメージ画像である。
図５ａは、ユーザがシャッターチャンスを逃した場合の撮像画像の一例を示すイメージ画像である。
図５ｂは、ユーザがフレーミング操作の失敗（手ブレを含む）をした場合の撮像画像の一例を示すイメージ画像である。
図５ｃは、ユーザが予測し得なかった障害物被写体が発生した場合の撮像画像の一例を示すイメージ画像である。
【００４３】
図５ａに於いて、この画像は、子供が競技を終えた後の撮像画像であって、ユーザが所望するタイミングの撮像画像は、子供が一着でゴールインしたシーンか、または、ゴールイン直前のシーンであった。
【００４４】
図５ｂに於いて、この画像は、ユーザが所望するタイミングの撮像画像であって、子供が一着でゴールインしたシーンが撮像できている。しかしながら、その画像の構図（画枠）は、第３者による後頭部が大半を占めており、ユーザが所望する構図ではない。
【００４５】
図５ｃに於いて、この画像は、ユーザが所望するゴールイン直前のタイミングによる撮像であるが、この撮像の瞬間に、前方にいた第３者がユーザの予測に反して突発的に飛び跳ねてしまい、この第３者による後頭部によって注目被写体である子供が半分隠れてしまう構図となった。この構図は、ユーザが所望する構図ではない。
【００４６】
従来技術による失敗撮像に対して、これらの失敗撮像を回避するために、本発明の第１の実施形態による撮像方法及びその撮像画像について順次説明する。
【００４７】
図６ａ〜図６ｆは、図３で示されたステップＳ４である連続撮像開始からステップＳ６である連続撮像停止までに撮像される撮像画像の一例を示すイメージ画像である。
【００４８】
図６ａ〜図６ｆに於いて、これらの画像は、ユーザが子供の運動会（徒競争）を撮像してアスペクト比４：３の静止画像を所望する際に、ユーザの一連の操作によって撮像される連続撮像期間によって生成されるアスペクト比１６：９の連写画像（または、プログレッシブ動画像）である。
【００４９】
図６ａは、連続撮像開始時の撮像画像であり、図６ｆは、連続撮像停止時の撮像画像である。この図６ｆが撮像されると、図４で示したようにＬＡＳＴ信号が出力されて、可変焦点レンズ１０の広角端ドライブが自動的に為される。
【００５０】
尚、アスペクト比の４：３から１６：９への変更は、動画撮像機能と静止画撮像機能との双方を兼ね揃えた撮像装置を想定している。
【００５１】
図７は、図３で示されたステップＳ８である背景撮像にて撮像される撮像画像の一例を示すイメージ画像である。
【００５２】
図７に於いて、この画像の中央領域にある画像は、図６ｆと略同じであることが示されている。これは、この背景画像が連続撮像停止時の直後のタイミングによる撮像であるからである。
【００５３】
図８は、図１及び図４で示された合成画像の一例を示すイメージ画像である。
【００５４】
図８に於いて、この画像は、ユーザの意思によって選択された図６ｄの画像と、図７の画像と、が画像合成されて生成されたものである。この図６ｄは、図１及び図４で示された選択部１６によって、図６ａ〜図６ｆで示された複数の画像の中から選択された選択画像である。
【００５５】
尚、図８に示されるように、注目被写体である子供が２人いるかのように画像合成されている。これは、時系列の異なる２つのタイミングで得られた撮像画像が同一の画枠内に合成されたからである。
【００５６】
図９は、図８で示された合成画像に対して、ユーザが所望するトリミングを施した合成画像の一例を示すイメージ画像である。
【００５７】
図９に示されるように、ユーザによる撮像期間及び撮像時には必ずしも完成された画像ではなくても、前述してきたような画像合成に至るまでの撮像方法と、その後処理に合成画像に対してトリミング（図示なし）を施すことによって、ユーザが所望するタイミングの撮像であって、且つ、ユーザが所望する画枠による撮像画像が得られる。
【００５８】
また、図８では注目被写体である子供が２人分に撮れる問題点があったが、図９に示されるようなトリミングを施すことによって、この問題点については解消される。
【００５９】
尚、前述したトリミングにて解決しない構図である場合に於いては、後処理にて特定領域の画像ぼかし処理をすれば良い。
【００６０】
前述してきたように、本発明の第１の実施形態による撮像装置は、撮像後にユーザが所望するタイミングで、且つ、所望する画枠または画角である撮像画像を選択または補正できる。
【００６１】
（第２の実施形態）
第２の実施形態について概略を説明するならば、背景画像を連続的に幾何学変換（電子式ズーム及び／または電子式パンニング）して動画像を生成する。この動画像に前述した画像合成を施して合成動画像が生成される。または、画像合成を施さない背景動画像が生成される。
【００６２】
尚、以下に述べる第２の実施形態に於いて、撮像装置の基本的な構成及び動作については、前述した第１の実施形態と同じであるので、説明の重複を避けるため、同一の部分には同一の参照番号を付して、その図示及び詳細な説明を省略し、異なる部分についてのみ説明する。
【００６３】
図１０は、本発明の第２の実施形態による撮像装置の基本構成を示すブロック図である。
【００６４】
図１０に於いて、この撮像装置は、第１の実施形態で示した撮像装置の構成に対して、動画像生成部２０の構成を更に具備したものである。
【００６５】
先ず、図１０に示される合成動画像の生成について説明する。ユーザによって被写体が連続撮像され、例えば、図６ａ〜図６ｆのような撮像画像群が選択部１６に出力される。撮像後、ユーザはこの選択部１６によって連続した複数フレームによる撮像画像、例えば、図６ａ〜図６ｄを選択する。こうして得られた選択画像群は動画像生成部２０と合成部１７とに出力される。
【００６６】
図１１は、図７で示された背景画像の部分画像に、図６ａ〜図６ｄの撮像画像群を重ねて示したイメージ画像である。
【００６７】
図１１に示されるように、注目被写体（徒競争を走る子供）の動きについては、上下のブレがそれほど目立っていない。しかしながら、図６ａ〜図６ｄの撮像画像群を夫々見比べてみると、注目被写体は撮像画枠に対して上下にブレていることがわかる。これは、注目被写体が上下に動いているのではなく、ユーザの手ブレに起因して撮像画枠が上下に動いているからである。
【００６８】
ここで、図１１に示される動画像生成部２０は、この選択画像群（図６ａ〜図６ｄ）の夫々の画像相関に基づいて、選択画像群の画枠の動きを低周波化する補正画枠を生成する。この画枠の動きを低周波化する方法は、一般的な電子式手ブレ補正を応用した方法である。この電子式手ブレ補正とは、時間的に近接する画像間を画像相関により位置合わせして、画像画枠のブレを軽減させる補正のことである。この位置合わせによって画枠の動きの高周波成分が除去されて低周波化がなされる。
【００６９】
一般的な電子式手ブレ補正による補正画枠は、撮像時の画枠よりも小さくなってしまう問題点があるのに対して、第２の実施形態による合成動画像の生成のための補正画枠は、背景画像の画像範囲内に於いて、撮像時の画枠よりも大きくすることができる。
【００７０】
また、動画像生成部２０は、この補正画枠に対して背景画像を連続的に幾何学変換して動画像を生成する。そして、合成部１７は、この補正画枠の範囲内に、この動画像と選択画像群とを順次画像合成することで合成動画像を生成する。
【００７１】
図１２ａ〜図１２ｄは、補正画枠の範囲内に、図７で示された背景画像から生成された動画像と、図６ａ〜図６ｄで示された選択画像群とを画像合成して生成された合成動画像の一例を示すイメージ画像である。
【００７２】
ここで、図１２ａは図６ａと同じ画像である。また、図１２ｄは図６ｄと同じ画像である。しかしながら、図１２ｂ及び図１２ｃと図６ｂ及び図６ｃとを比べてみれば、異なる画像であることがわかる。図６ｂの画像画枠の平面位相は、図１２ｂに示される破線の位相にある。ここで、平面位相とは、周期的な現象（手ブレ）の過程として発生する画枠ブレのことである。この画枠ブレは、図１２ａと図１２ｂとの画像相関によって位置合わせされて、図１２ｂの実線に示される補正画枠のように補正される。また、図６ｃの画像画枠の平面位相は、図１２ｃに示される破線の位相にあって、図１２ｂ(実線)と図１２ｃとの画像相関によって図１２ｃの実線に示される補正画枠が生成され、画像画枠の低周波化が実現している。
【００７３】
このように、図１２ａ〜図１２ｄは、前述したように、低周波化された補正画枠の範囲内に収められた画像であって、撮像画枠（図６ａ〜図６ｄ）にあった手ブレが電子式に補正されている。
【００７４】
仮に、一般的な電子式手ブレ補正であるならば、補正量に反比例して撮像のサンプリング数が減少するので画像が解像度劣化する。しかしながら、合成動画像による手ブレ補正である場合は、背景画像によって部分的に画像補填されているので、撮像のサンプリング数減少による解像度劣化などを抑制することができる。
【００７５】
尚、図１２ａ〜図１２ｄに示された補正画枠については、図７で示された背景画像の範囲内に於いて、ユーザが所望する画枠または画角に選択または補正できる。
【００７６】
次に、図１０に示される背景動画像の生成について説明する。背景動画像を生成する際には、先ず、ユーザによる一連の操作によって広角撮像された背景画像が選択部１６に入力される。そして、この背景画像の中からユーザが複数の画枠を選択して、この選択された画枠群を動画像生成部２０に出力する。
【００７７】
続いて、この動画像生成部２０は、入力された選択画枠群に基づいて、背景画像を連続的に幾何学変換して背景動画像を生成する。この背景動画像は、背景画像から生成され、合成画像を必要としない。
【００７８】
図１３ａ〜図１３ｄは、図７で示された背景画像から生成された背景動画像の一例を示すイメージ画像である。
【００７９】
図１３ａ〜図１３ｄに於いて、この背景動画像は、ユーザが注目する注目被写体（徒競争を走る子供）が撮像されていない。しかしながら、動画像（映像）コンテンツを作る際には、こうした背景の動画像があった方がコンテンツの視聴者に対してコンテンツの内容を理解させるのに便利である。
【００８０】
ここで、図１３ａ〜図１３ｄは、校舎の時計がズームインされた画枠（図１３ａ）から始まって、図１３ｂ、図１３ｃと徐々にズームアウトさせて、校舎全体の画枠（図１３ｄ）に至る。このズームイン及びズームアウトは、背景画像の連続的な幾何学変換、つまり、一般的には電子式ズーム及び電子式パンニングといわれる画像処理と等価の画像変換である。
【００８１】
そして、このようにして生成された図１３ａ〜図１３ｄによる背景動画像の後に、図１２ａ〜図１２ｄによる合成動画像を続けることによって、動画像コンテンツの完成度を向上させることができる。
【００８２】
前述してきたように、本発明の第２の実施形態による撮像装置は、撮像後にユーザが所望するタイミングを含む動画像で、且つ、所望する画枠または画角（手ブレの抑制を含む）である動画像を選択または補正できる。
【００８３】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、前述の実施形態では、背景撮像時に、可変焦点レンズの焦点距離を最短焦点距離に調節する構成としたが、焦点距離を連続撮影時より短くする構成であれば、これに限定されるものではない。
【００８４】
更に、前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【００８５】
１０  可変焦点レンズ（光学系）
１１  レンズドライバ（調節部）
１２  ズームリング
１３  イメージセンサ（撮像部）
１４  操作部
１５  画像処理部
１６  選択部
１７  合成部
２０  画像生成部
【図１】
2011029691.tif 000003
【図２】
2011029691.tif 000004
【図３】
2011029691.tif 000005
【図４】
2011029691.tif 000006
【図１０】
2011029691.tif 000007
【図１２】
2011029691.tif 000008
【図５】
2011029691.tif 000009
【図６】
2011029691.tif 000010
【図７】
2011029691.tif 000011
【図８】
2011029691.tif 000012
【図９】
2011029691.tif 000013
【図１１】
2011029691.tif 000014
【図１３】
2011029691.tif 000015