(57)【要約】ズーミングが他のカメラワークと乖離することなく、撮影意図を直接反映して撮影することができる撮影装置（１００）は、焦点距離を変更することによって撮像センサ（１０２）で撮像される被写体（３００）の撮像範囲を変更する多焦点レンズ（１０１）と、被写体（３００）までの距離（撮影距離Ｄ）を計測する距離センサ（１０４）と、過去の時間Ｔｉ−１に計測した撮影距離Ｄｉ−１を一時的に保存する撮影距離バッファ部（１０５）と、距離センサ（１０４）で計測された現在の時間Ｔｉの撮影距離Ｄｉと、撮影距離バッファ部（１０５）から供給される撮影距離Ｄｉ−１に基づいて多焦点レンズ（１０１）の焦点距離Ｆを算出する焦点距離算出部（１０６）と、焦点距離算出部（１０６）で算出された焦点距離Ｆとなるように多焦点レンズ（１０１）の焦点距離を制御する焦点制御部（１０７）とを備える。
2007060794.tif 000002
【特許請求の範囲】
【請求項１】
被写体との位置関係に応じて撮像画像を調整する撮影装置であって、
多焦点レンズを用いて被写体を撮影する撮影部と、
前記撮影部で撮像された画像に含まれる基準図形を抽出し、所定時間における前記基準図形と現時点における前記基準図形との違いに基づいて当該撮影装置から被写体までの距離を算出する距離算出部と、
前記被写体までの距離に基づいて前記多焦点レンズの焦点距離を算出する焦点距離算出部と、
前記多焦点レンズの焦点距離を前記焦点距離算出部によって算出された焦点距離に合わせるように制御する焦点距離制御部と
を備えることを特徴とする撮影装置。
【請求項２】
前記焦点距離算出部は、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短い場合に、前記多焦点レンズの焦点距離を長く算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長い場合に、前記多焦点レンズの焦点距離を短く算出する
ことを特徴とする請求項１記載の撮影装置。
【請求項３】
前記焦点距離算出部は、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短い場合に、前記多焦点レンズの焦点距離を短く算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長い場合に、前記多焦点レンズの焦点距離を長く算出する
ことを特徴とする請求項１記載の撮影装置。
【請求項４】
前記焦点距離算出部は、所定時間における前記被写体までの距離と現時点における前記被写体までの距離との差に重みを掛けて、前記多焦点レンズの焦点距離の変更量に対する前記被写体までの距離の差の寄与率を可変にする
ことを特徴とする請求項１記載の撮影装置。
【請求項５】
被写体との位置関係に応じて撮像画像を調整する撮影装置であって、
多焦点レンズを用いて被写体を撮影する撮影部と、
前記撮影部で撮像された画像に含まれる基準図形を抽出し、所定時間における前記基準図形と現時点における前記基準図形との違いに基づいて当該撮影装置から被写体までの距離を算出する距離算出部と、
前記被写体までの距離に基づいて前記撮像画像から切り出す画像範囲を算出する切り出し範囲算出部と、
前記切り出し範囲算出部による算出結果に従って、前記撮像画像から一部を切り出す画像切り出し部とを備える
ことを特徴とする撮影装置。
【請求項６】
前記切り出し範囲算出部は、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短い場合に、前記撮像画像の切り出し画像範囲を小さく算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長い場合に、前記撮像画像の切り出し画像範囲を大きく算出する
ことを特徴とする請求項５記載の撮影装置。
【請求項７】
前記切り出し範囲算出部は、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短い場合に、前記撮像画像の切り出し画像範囲を大きく算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長い場合に、前記撮像画像の切り出し画像範囲を小さく算出する
ことを特徴とする請求項５記載の撮影装置。
【請求項８】
前記切り出し範囲算出部は、所定時間における前記被写体までの距離と現時点における前記被写体までの距離との差に重みを掛けて、前記撮像画像から切り出す画像範囲の変更量に対する前記被写体までの距離の差の寄与率を可変にする
ことを特徴とする請求項５記載の撮影装置。
【請求項９】
前記距離算出部は、前記基準図形との違いの計測を、前記基準図形の位置、大きさ、形状、明るさ、および色の少なくとも１つに基づいて行う
ことを特徴とする請求項１あるいは請求項５に記載の撮影装置。
【請求項１０】
被写体を撮像する撮影装置を備える携帯端末装置であって、
請求項１あるいは請求項５に記載の撮影装置を備える
ことを特徴とする携帯端末装置。
【請求項１１】
被写体との位置関係に応じて撮像画像を調整する撮影方法であって、
多焦点レンズを用い被写体を撮像する撮像ステップと、
前記撮影部で撮像された画像に含まれる基準図形を抽出し、所定時間における前記基準図形と現時点における前記基準図形との違いに基づいて当該撮影装置から被写体までの距離を算出する距離算出ステップと、
前記被写体までの距離に基づいて前記多焦点レンズの焦点距離を算出する焦点距離算出ステップと、
前記多焦点レンズの焦点距離を前記焦点距離算出部によって算出された焦点距離に合わせるように制御する焦点距離制御ステップと
を含むことを特徴とする撮影方法。
【請求項１２】
被写体を撮像するためのプログラムであって、
請求項１１記載の撮影方法に含まれるステップをコンピュータに実行させる
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、ズーミングを行って被写体を撮像する撮影装置、携帯端末装置、撮影方法、およびプログラムに関するものである。
【背景技術】
【０００２】  近年、様々な機器のデジタル化と集積化技術の高度化によって、静止画や動画をデジタル記録できるカメラ、すなわち、デジタルスチルカメラとデジタルビデオカメラが広く普及してきた。デジタル記録は、他のメディアとの親和性が高く、プリンタでの印刷やネットワークでの配信など、様々な利用形態が民生用途で広がりを見せている。【０００３】  カメラは、図１（ａ）に示すように、シーン１００１の中から一部を切り出して画像データとして保存する。切り出す位置は撮影者が撮影意図に応じて決定し、シーンの中に切り出し枠１００２を設定する意味合いでフレーミングと呼ばれる。フレーミングを決める要因は、カメラの位置１００３、カメラの方向１００４、カメラの角度１００５（横向きに構えるか、縦向きに構えるか、斜めに構えるか）、カメラの画角１００６の４つである。このうち、カメラの位置は、図１（ｂ）の表１００７、および図１（ｃ）に示すように、トラッキング１００８（左右に水平移動）、ブーミング１００９（鉛直移動）、ドリーイング１０１０（前後に水平移動）で調整する。また、カメラの方向は、図１（ｄ）に示すように、パンニング１０１１（カメラ中心で水平方向に回転）、チルチング１０１２（カメラ中心で鉛直方向に回転）で調整する。また、カメラの回転は、図１（ｄ）に示すように、ローリング１０１３（光軸を中心に回転）で調整する。カメラの画角は、ドリーイング１０１０、ズーミング１０１４で調整する。ズーミングには、光学系の焦点距離を変更する光学ズームと、画像処理による電子ズームが利用される。以上のように、フレーミングは、トラッキング１００８からズーミング１０１４までの７種類のカメラワークで撮影者によって決定される。【０００４】  ズーミング以外の６つのカメラワーク（トラッキング１００８からローリング１０１３）は、撮影者がカメラを移動することで実行される。一方、画角を調整するズーミング１０１４は、画角を広げるのか、狭めるのか、その割合はどれくらいか、を撮影者がカメラに指示する必要があり、一般的にダイヤル操作が使われている（例えば、非特許文献１参照）。すなわち、現在市販されているスチルカメラ１１０１やムービーカメラ１１０２は、多焦点レンズ１１０３を搭載して、図２（ａ）に示すようにレンズ筐体１１０３を回転させたり、図２（ｂ）に示すようにレンズ筐体１１０３をスライドさせたり、あるいは図２（ｃ）に示すようにボタン１１０６をスライドさせたり、図２（ｄ）に示すようにダイヤル１１０７を回転させたりすることによって画角変更が可能である。また、フレーミングの確認には、図２（ｅ）および図２（ｆ）に示すように、ファインダ１１０８が利用され、撮影者は撮影画像を目視で確認できる。
【非特許文献１】ペンタックス株式会社、＊ｉｓｔＤｓ使用説明書（４８ページ）、［平成１７年１１月７日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｐｅｎｔａｘ．ｃｏ．ｊｐ／ｊａｐａｎ／ｓｕｐｐｏｒｔ／ｍａｎ−ｐｄｆ／ｉｓｔｄｓ．ｐｄｆ＞
【発明の開示】
【発明が解決しようとする課題】
【０００５】  しかしながら従来のズーミングは、操作性の点で次のような課題を有している。【０００６】  第１の課題は、図１に示す７種類のカメラワークのうち、ズーミング１０１４のみが他のカメラワークから乖離しており、撮影意図通りにフレーミングを調整するにはある程度の訓練を要する点である。図３は、撮影者１２０１が被写体１２０２の側面から正面に回りこみながら、かつ、ビデオカメラ１１０２の撮影倍率を連続的に上げていく（ズームイン）撮影例を示す図である。ここで、画像ＩＣ１、画像ＩＣ２、画像ＩＣ３は、ビデオカメラ１１０２のファインダ１１０８に映し出される撮影画像を示し、それぞれ、撮影倍率１倍、２倍、４倍に相当する。この撮影例では、撮影者は、体の移動と回転でトラッキングとパンニングを行いつつ、同時に、ダイヤル操作でズーミングを行う必要がある。撮影者の体の移動と回転という身体的な制御と、ダイヤル操作という機器へのコマンド入力を同時に実行することは容易ではなく、特に直感的な操作性が望まれる民生用途では、大きな課題となる。【０００７】  第２の課題は、ダイヤル操作そのものが直感的な操作ではない点にある。すなわち、レンズ筐体を撮影者が回転あるいはスライドさせる方式は多焦点レンズの機構に合わせた操作方法であり、撮影者がカメラの機構に合わせて操作方法を会得する必要がある。また、ボタンやダイヤル操作では、スライドや回転の方向をズームイン・アウトの方向と対応させる必要があり、シーン全体を取り込みたい、あるいは特定のオブジェクトの細部を取り込みたい、という撮影意図を直接反映した操作方法とは言えない。【０００８】  そこで、本発明は上記の事情に鑑みてなされたものであり、ズーミングが他のカメラワークと乖離することなく、撮影意図を直接反映して撮影することができる撮影装置、携帯端末装置、撮影方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】  上記目的を達成するため、本発明に係る撮影装置は、被写体との位置関係に応じて撮像画像を調整する撮影装置であって、多焦点レンズを用いて被写体を撮影する撮影部と、前記撮影部で撮像された画像に含まれる基準図形を抽出し、所定時間における前記基準図形と現時点における前記基準図形との違いに基づいて当該撮影装置から被写体までの距離を算出する距離算出部と、前記被写体までの距離に基づいて前記多焦点レンズの焦点距離を算出する焦点距離算出部と、前記多焦点レンズの焦点距離を前記焦点距離算出部によって算出された焦点距離に合わせるように制御する焦点距離制御部とを備えることを特徴とする。【００１０】  すなわち、本発明は、ズーミングを撮影装置の移動で制御する。撮影装置から被写体までの距離（撮影距離）を計測し、撮影距離の変化に応じて画角を変更する。たとえば、撮影装置を被写体に近づけると画角を狭くして（ズームイン）、被写体の細部を取り込む。逆に、撮影装置を被写体から遠ざけると画角を広くして（ズームアウト）、シーン全体を取り込む。撮影距離の計測には、超音波や赤外光等を利用した距離センサ、あるいは撮影画像のオプティカルフロー等で行う。
【発明の効果】
【００１１】  本発明に係る撮影装置および撮影方法によれば、撮影者が撮影装置を動かすことによってズーミングが制御されるため、撮影装置の動きのみで撮影装置の画角を決定できる。これによって、従来、撮影装置（カメラ）の動きで制御する６つのカメラワーク（すなわち、トラッキング、ブーミング、ドリーイング、パンニング、チルチング、ローリング）と操作方法が乖離していたズーミングが、カメラの動きの中に組み込まれるため、操作方法に一貫性が生まれ、フレーミングの操作性が向上する。加えて、従来のズーミング操作は、レンズ筐体の回転やスライド、あるいはボタン・ダイヤルのスライド、回転など、機器によって多種多様であり、撮影者は機器ごとに異なる操作方法に対応なければならないが、本発明ではズーミング操作がカメラと被写体との距離調整に１本化されるため、直感的でわかりやすい。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の背景技術を示す図である。
【図２】図２は、本発明の背景技術を示す図である。
【図３】図３は、本発明の背景技術を示す図である。
【図４】図４は、本発明の実施の形態１に係る撮影装置を用いて被写体を撮影する様子を示す概略図である。
【図５】図５は、実施の形態１に係る撮影装置の構成を示すブロック図である。
【図６】図６は、実施の形態１に係る撮影装置における焦点距離の変更の動作の流れを示すフローチャートである。
【図７】図７は、焦点距離、画角、撮影距離、撮像センサの大きさの関係を示す図である。
【図８】図８は、撮影装置の位置と焦点距離の関係の一例を示す図である。
【図９】図９は、撮影装置の位置と焦点距離の時間的変化の一例を示す図である。
【図１０】図１０は、撮影距離の変化と画角の変化の関係を（式４）に基づいて説明する図である。
【図１１】図１１は、撮影距離の変化と画角の変化の関係を（式５）に基づいて説明する図である。
【図１２】図１２は、ズーム極性切り替えボタンを説明する図である。
【図１３】図１３は、実施の形態２に係る撮影装置の構成を示すブロック図である。
【図１４】図１４は、撮影距離の変化によるオブジェクトの大きさの違いを説明する図である。
【図１５】図１５は、オプティカルフローにより撮影装置の移動方向を求める原理を説明する図である。
【図１６】図１６は、実施の形態２に係る撮影装置における焦点距離の変更の動作の流れを示すフローチャートである。
【図１７】図１７は、実施の形態３に係る撮影装置の構成を示すブロック図である。
【図１８】図１８は、撮影距離の変化と切り出し範囲の変化の関係を（式１０）に基づいて説明する図である。
【図１９】図１９は、撮影距離の変化と切り出し範囲の変化の関係を（式１１）に基づいて説明する図である。
【図２０】図２０は、実施の形態４に係る撮影装置の構成を示すブロック図である。
【図２１】図２１は、画角感度入力ボタンを説明する図である。
【図２２】図２２は、画角感度αを変更した際の焦点距離の変化の一例を示す図である。
【図２３】図２３は、画角感度αを変更した際の焦点距離の変化の一例を示す図である。
【符号の説明】
【００１３】  １００、４００、８００、９００  撮影装置
１０１  多焦点レンズ
１０２  撮像センサ
１０３  ファインダ
１０４  距離センサ
１０５  撮影距離バッファ部
１０６、４０３  焦点距離算出部
１０７  焦点制御部
１０８  メモリ部
１０９  画像記録部
１１０  ズーム極性受付部
１１１  ズーム極性切替部
２００  撮影者
３００  被写体
４０１  撮影距離変化量推定部
４０２  撮影画像バッファ部
４０４  表示画像バッファ部
８０１  切り出し範囲算出部
８０２  切り出し部
９０１  画角感度受付部
９０２  画角感度変更部
【発明を実施するための最良の形態】
【００１４】  本発明の実施の形態に係る撮影装置は、被写体との位置関係に応じて撮像画像を調整する撮影装置であって、多焦点レンズを用いて被写体を撮影する撮影部と、前記撮影部で撮像された画像に含まれる基準図形を抽出し、所定時間における前記基準図形と現時点における前記基準図形との違いに基づいて当該撮影装置から被写体までの距離を算出する距離算出部と、前記被写体までの距離に基づいて前記多焦点レンズの焦点距離を算出する焦点距離算出部と、前記多焦点レンズの焦点距離を前記焦点距離算出部によって算出された焦点距離に合わせるように制御する焦点距離制御部とを備えることを特徴とする。【００１５】  これによって、被写体までの距離に基づいて撮像される画像をズームすることができるので、撮影装置を動かすフレーミング動作の中にズーム調整が組み込まれるため、例えばボタンやダイヤル操作によるズーム調整よりも直接的な操作が可能になる。【００１６】  また、本発明の別の実施の形態に係る撮影装置は、被写体との位置関係に応じて撮像画像を調整する撮影装置であって、多焦点レンズを用いて被写体を撮影する撮影部と、前記撮影部で撮像された画像に含まれる基準図形を抽出し、所定時間における前記基準図形と現時点における前記基準図形との違いに基づいて当該撮影装置から被写体までの距離を算出する距離算出部と、前記被写体までの距離に基づいて前記撮像画像から切り出す画像範囲を算出する切り出し範囲算出部と、前記切り出し範囲算出部による算出結果に従って、前記撮像画像から一部を切り出す画像切り出し部とを備えてもよい。【００１７】  これによって、被写体までの距離に基づいて、撮像画像から切り出す画像範囲を制御することができるので、撮影装置を動かすフレーミング動作の中に切り出し画像範囲の制御が組み込まれるため、例えばボタンやダイヤル操作による切り出し画像範囲の制御よりも直接的な操作が可能になる。【００１８】  また、前記焦点距離算出部は、所定時間における前記被写体までの距離と現時点における前記被写体までの距離との差に基づいて、前記多焦点レンズの焦点距離を算出してもよい。【００１９】  また、前記焦点距離算出部は、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短い場合に、前記多焦点レンズの焦点距離を長く算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長い場合に、前記多焦点レンズの焦点距離を短く算出してもよい。【００２０】  また、前記切り出し範囲算出部は、所定時間における前記被写体までの距離と現時点における前記被写体までの距離との差に基づいて、前記撮像画像から切り出す画像範囲を算出してもよい。【００２１】  また、前記切り出し範囲算出部は、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短い場合に、前記撮像画像の切り出し画像範囲を小さく算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長い場合に、前記撮像画像の切り出し画像範囲を大きく算出してもよい。【００２２】  これによって、被写体までの距離が短くなった場合（撮影装置を被写体に近づけた場合）、焦点距離または切り出し画像範囲を制御して撮像画角を狭くし、被写体の細部を取り込むことができる。逆に、被写体までの距離が長くなった場合（撮影装置を被写体から遠ざけた場合）、焦点距離または切り出し画像範囲を制御して撮像画角を広くし、シーン全体を取り込むことができる。【００２３】  また、前記焦点距離算出部は、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短い場合に、前記多焦点レンズの焦点距離を短く算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長い場合に、前記多焦点レンズの焦点距離を長く算出してもよい。【００２４】  また、前記切り出し範囲算出部は、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短い場合に、前記撮像画像の切り出し画像範囲を大きく算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長い場合に、前記撮像画像の切り出し画像範囲を小さく算出してもよい。【００２５】  これによって、撮影装置から被写体までの距離が長くなった場合（撮影装置を被写体から遠ざけた場合）、焦点距離または切り出し画像範囲を制御して撮像画角を狭くし、被写体の細部を取り込むことができる。逆に、被写体までの距離が短くなった場合（撮影装置を被写体に近づけた場合）、焦点距離または切り出し画像範囲を制御して撮像画角を広くし、シーン全体を取り込むことができる。【００２６】  また、前記焦点距離算出部は、所定時間における前記被写体までの距離と現時点における前記被写体までの距離との差に重みを掛けて、前記多焦点レンズの焦点距離の変更量に対する前記被写体までの距離の差の寄与率を可変にしてもよい。【００２７】  また、前記切り出し範囲算出部は、所定時間における前記被写体までの距離と現時点における前記被写体までの距離との差に重みを掛けて、前記撮像画像から切り出す画像範囲の変更量に対する前記被写体までの距離の差の寄与率を可変にしてもよい。【００２８】  これによって、被写体までの距離の変化量と、焦点距離または切り出し画像範囲の変化量との関係を使用状況に応じて変えることができ、使用状況に対応した撮影が可能になる。【００２９】  また、前記距離算出部は、前記撮像部で撮像された画像に含まれる基準図形を抽出し、所定時間における前記基準図形と現時点における前記基準図形との違いに基づいて、前記被写体までの距離を算出してもよい。【００３０】  また、前記距離算出部は、前記基準図形との違いの計測を、前記基準図形の位置、大きさ、形状、明るさ、および色の少なくとも１つに基づいて行ってもよい。【００３１】  なお、本発明は、このような撮影装置として実現することができるだけでなく、このような撮影装置が備える特徴的な構成要素をステップとする撮影方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。【００３２】  以下、本発明の実施の形態について図面を参照して詳細に説明する。【００３３】  （実��の形態１）
本実施の形態では、距離センサで被写体までの距離を計測し、この距離に応じて撮影画角を制御する撮影装置について説明する。【００３４】  図４は撮影者が本発明の実施の形態１に係る撮影装置を用いて被写体を撮影する様子を示す概略図であり、図５は本発明の実施の形態１に係る撮影装置の構成を示すブロック図である。【００３５】  撮影装置１００は、被写体３００を撮影するための装置であり、被写体との位置関係（被写体までの距離）に応じて撮像画像を調整（ズーミング）する点に特徴を有し、図５に示すように多焦点レンズ１０１、撮像センサ１０２、ファインダ１０３、距離センサ１０４、撮影距離バッファ部１０５、焦点距離算出部１０６、焦点制御部１０７、メモリ部１０８、画像記録部１０９、ズーム極性受付部１１０およびズーム極性切替部１１１を備えている。【００３６】  多焦点レンズ１０１は、焦点距離を変更することによって、撮像センサ１０２によって撮像される被写体３００の撮影範囲（つまり画角）を変更する。撮像センサ１０２は、被写体３００を撮影するためのたとえばＣＣＤセンサやＣＭＯＳセンサ等の撮像センサである。ファインダ１０３は、多焦点レンズ１０１を通して撮像センサ１０２で撮像される被写体３００の画像を表示する。距離センサ１０４は、たとえば超音波センサや赤外光センサなどを用いて、被写体３００までの距離（撮影距離Ｄ）を計測する。撮影距離バッファ部１０５は、過去の時間Ｔｉ−１に計測した撮影距離Ｄｉ−１を一時的に保存する。焦点距離算出部１０６は、距離センサ１０４で計測された現在の時間Ｔｉの撮影距離Ｄｉと、撮影距離バッファ部１０５から供給される撮影距離Ｄｉ−１に基づいて多焦点レンズ１０１の焦点距離Ｆを算出する。焦点制御部１０７は、焦点距離算出部１０６で算出された焦点距離Ｆとなるように多焦点レンズ１０１の焦点距離を制御する。メモリ部１０８は、撮影装置１００を起動する際に読み込まれる初期設定値を焦点距離算出部１０６に与える。画像記録部１０９は、録画時に撮像センサ１０２によって撮像される被写体３００の撮影画像を記録する。ズーム極性受付部１１０は、ズームイン（画角を狭めて画像を拡大）とズームアウト（画角を広げて画像を縮小）の切り替えを撮影者から受け付ける。ズーム極性切替部１１１は、ズーム極性受付部１１０で受け付けられた極性（ズームイン、あるいはズームアウト）に従ってズーム極性を切り替え、焦点距離算出部１０６にズーム極性を与える。【００３７】  次に、上記のように構成された撮影装置１００を用いて撮影者２００が被写体３００を撮影する場合の動作について説明する。【００３８】  図６は撮影装置１００における焦点距離の変更の動作の流れを示すフローチャートである。【００３９】  撮影装置１００は、時間Ｔｉにおいて、多焦点レンズ１０１を通して撮像センサ１０２で撮像される被写体３００の画像をファインダ１０３へ表示する（ステップＳ１０１）。同時に、距離センサ１０４は、被写体３００までの距離（撮影距離Ｄ）を計測し、計測した撮影距離Ｄｉを撮影距離バッファ部１０５と焦点距離算出部１０６へ出力する（ステップＳ１０２）。撮影距離バッファ部１０５は、時間Ｔｉより過去の時間Ｔｉ−１に記録された撮影距離Ｄｉ−１が設定されているか否かを判定する（ステップＳ１０３）。この判定の結果、撮影距離Ｄｉ−１が設定されていない場合には、撮影距離バッファ部１０５は、距離センサ１０４より入力された撮影距離Ｄｉを撮影距離Ｄｉ−１として記録する（ステップＳ１０４）。【００４０】  一方、撮影距離Ｄｉ−１が設定されている場合には、焦点距離算出部１０６は、撮影距離Ｄｉ−１と撮影距離Ｄｉとの差である移動量Ｕｉを次の（式１）で算出する（ステップＳ１０５）。【００４１】
【数１】
2007060794.tif 000003
【００４２】  移動量Ｕｉが負になれば、撮影装置１００と被写体３００が近づいたことがわかり、正になれば、撮影装置１００と被写体３００が離れたことがわかる。【００４３】  次に、焦点距離算出部１０６は、移動量Ｕｉに基づいて、焦点距離Ｆを算出する（ステップＳ１０６）。図７に示すように、焦点距離をＦ、撮像される被写体３００の長さ（画角に相当）をＬ、被写体３００と多焦点レンズ１０１との距離をＤ、撮像センサ１０２の大きさをＳとすると、これらの関係は、【００４４】
【数２】
2007060794.tif 000004
となり、焦点距離Ｆと画角Ｌは反比例の関係にある。たとえば、焦点距離Ｆが２４ｍｍから１９２ｍｍへ８倍長くなった場合、画角Ｌは１／８狭くなり、倍率８倍の拡大画像が撮影できる。【００４５】  図８は、撮影装置１００の位置と焦点距離Ｆの関係の一例を示す図である。この例では、撮像者２００がファインダ１０３の画像が認識でき、かつ撮像者２００の腕のまげ伸ばしによる移動範囲で撮影装置１００を被写体３００に最も近づけた位置Ａ（撮影距離ＤＡ）で焦点距離が１９２ｍｍとなり、撮影画像ＩＡのように最も大きく拡大された画像が撮影される。また、撮影装置１００を被写体３００から最も離れた位置Ｂ（撮影距離ＤＢ）で焦点距離が２４ｍｍとなり、撮影画像ＩＢのように最も小さく縮小された画像が撮影される。従って、移動量ＤＢ−ＤＡの範囲で焦点距離を２４ｍｍから１９２ｍｍまで変更することになる。撮影距離Ｄが取る値の範囲は様々であるため、次の（式３）に示すように移動量Ｕｉを移動量ＤＢ−ＤＡで除算して０〜１に正規化する。【００４６】
【数３】
2007060794.tif 000005
【００４７】  図９は、撮影装置１００の位置と焦点距離Ｆの時間的変化の一例を示す図であり、図８で説明した１次元座標系を用いている。位置Ｐ０は撮影装置１００を起動した時間Ｔ０での位置を示し、ここでは点Ａ（被写体３００に最も近い位置）と点Ｂ（被写体３００から最も遠い位置）の中点とする。撮影装置の位置と焦点距離は線形で関係付けるため、位置Ｐ０では焦点距離を中間の１０８ｍｍ（＝（２４＋１９２）／２）に設定する。例えば、時間Ｔ１で相対移動量Ｖ１＝−０．２５が検出され、撮影装置の位置はＰ１へ移動したとすると、焦点距離は１５０ｍｍ（＝１０８−（１９２−２４）×（−０．２５））に変更される。また、時間Ｔ２で相対移動量Ｖ２＝０．５が検出され、撮影装置の位置はＰ２へ移動したとすると、焦点距離は６６ｍｍ（＝１５０−（１９２−２４）×０．５）に変更される。【００４８】  以上の例に従うと、時間Ｔｉでの焦点距離Ｆｉは、以下で表現できる。【００４９】
【数４】
2007060794.tif 000006
【００５０】  ここで、Ｆｉ−１は時間Ｔｉ−１での焦点距離、Ｆｍａｘは焦点距離の最大値、Ｆｍｉｎは焦点距離の最小値である。（式４）に従えば、図１０（ａ）に示すように撮影装置１００を被写体３００に近づけると、図１０（ｂ）に示すように画像が拡大するように機能する。つまり、時間Ｔｉ−１から時間Ｔｉへ進んで撮影距離Ｄが短くなり（撮影距離Ｄｉ−１＞撮影距離Ｄｉ）、（式３）より相対移動量Ｖｉが負になる。（式４）で相対移動量Ｖｉが負の場合、焦点距離Ｆは長くなり、撮影画像が拡大される。また、（式４）に従えば、図１０（ｃ）に示すように撮影装置１００を被写体３００から遠ざけると、図１０（ｄ）に示すように画像が縮小するように機能する。時間Ｔｉ−１から時間Ｔｉへ進んで撮影距離Ｄが長くなり（撮影距離Ｄｉ−１＜撮影距離Ｄｉ）、（式３）より相対移動量Ｖｉが正になる。（式４）で相対移動量Ｖｉが正の場合、焦点距離Ｆは短くなり、撮影画像が縮小される。【００５１】  一方、移動量Ｖｉの正負と画像の拡大縮小の関係を逆に設定すると（式５）になる。【００５２】
【数５】
2007060794.tif 000007
【００５３】  （式５）に従えば、図１１（ａ）に示すように撮影装置１００を被写体３００に近づけると、図１１（ｂ）に示すように画像が縮小するように機能する。つまり、時間Ｔｉ−１から時間Ｔｉへ進んで撮影距離Ｄが短くなり（撮影距離Ｄｉ−１＞撮影距離Ｄｉ）、（式３）より相対移動量Ｖｉが負になる。（式５）で相対移動量Ｖｉが負の場合、焦点距離Ｆは短くなり、撮影画像が縮小される。また、（式５）に従えば、図１１（ｃ）に示すように撮影装置１００を被写体３００から遠ざけると、図１１（ｄ）に示すように画像が拡大するように機能する。時間Ｔｉ−１から時間Ｔｉへ進んで撮影距離Ｄが長くなり（撮影距離Ｄｉ−１＜撮影距離Ｄｉ）、（式３）より相対移動量Ｖｉが正になる。（式５）で相対移動量Ｖｉが正の場合、焦点距離Ｆは長くなり、撮影画像が縮小拡大される。【００５４】  以上のように、（式４）、あるいは（式５）より与えられる焦点距離Ｆｉが焦点距離Ｆとして焦点制御部１０７へ出力される。ただし、（式４）と（式５）の焦点距離Ｆｉが多焦点レンズ１０１の焦点距離のレンジを越えた場合には、レンジ内に納まるように、クリッピングされる。【００５５】  ここで、焦点距離算出部１０６は、（式４）と（式５）の選択を、撮影装置１００の起動時に初期設定が格納されているメモリ部１０８から読み込む。たとえば、工場出荷時には、メモリ部１０８に（式４）を記録しておき、初めての起動時には（式４）が設定される。起動後、撮影者が逆の極性である（式５）に切り替えたい場合には、図１２に示すズーム極性切り替えボタン１１２を押すことで、ズーム極性受付部１１０によって、ズーム極性を逆の極性である（式５）が受け付けられる。ズーム極性切替部１１１は、ズーム極性受付部１１０で受け付けられた逆の極性である（式５）を焦点距離算出部１０６に与える。また、ズーム極性受付部１１０は、受け付けたズーム極性を示すアイコン１１３をファインダ１０３に表示する。また、ズーム極性切り替えボタン１１２が１回押されるごとに、（式４）と（式５）が切り替えられ、撮影者はファインダ１０３に表示されるアイコン１１３を見て、ズーム極性を確認できる。また、撮影装置１００を実際に移動させて、ファインダ１０３に表示される画像の変化を目視確認してズーム極性を知ることも、もちろん可能である。撮影装置１００の電源を切って、終了処理に入ったら、焦点距離算出部１０６は、ズーム極性（（式４）か（式５）か）をメモリ部１０８に記録し、次回起動時にメモリ部１０８からズーム極性を読み込むことで、次回起動時には同じ設定で利用開始できる。【００５６】  ところで、（式３）を計算するには、移動量ＤＡ−ＤＢが必要になる。そこで、撮影装置１００の起動時に移動量ＤＡ−ＤＢをメモリ部１０８から焦点距離算出部１０６に入力する。移動量ＤＡ−ＤＢは、図８に示すように、腕を伸ばした状態の位置Ａから腕を縮めた状態の位置Ｂの距離に相当する。実際の値を決める方法の例として、経験的方法、ユーザー入力方法、推定方法などが考えられる。経験的方法では、撮影装置の利用方法や利用シーンを想定して、これまでの経験に照らし合わせて適当な値を決める。あるいは、複数のモニタを募って移動量ＤＡ−Ｄ���を計測し、その平均値を採用してもいい。ユーザー入力方法では、撮影者２００が図８の位置Ａと位置Ｂに撮影装置１００を移動し、撮影距離ＤＡと撮影距離ＤＢをある対象に向けて初期化する。推定方法では、一旦、経験的方法で移動量ＤＡ−ＤＢを設定し、一定期間、焦点距離Ｆの動きを監視して、焦点距離算出部１０６がより適する移動量ＤＡ−ＤＢを推定する。つまり、図９の例を用いて説明すると、位置Ａと位置Ｂの間の焦点距離の可動範囲が２４ｍｍから１９２ｍｍまであるにも関わらず、たとえば、８０ｍｍから１３０ｍｍの範囲内でしか焦点距離Ｆが動いていない場合、移動量ＤＡ−ＤＢが大きすぎると推測される。そこで、移動量ＤＡ−ＤＢを５０ｍｍ（＝１３０ｍｍ−８０ｍｍ）に設定する。【００５７】  撮影装置１００の起動時に、撮影装置１００の位置に応じて焦点距離Ｆを設定すると、図８のように腕を伸ばした状態から縮めた状態までフルに利用できる。すなわち、図９に示したように、撮影装置１００の位置が、位置Ａと位置Ｂの中間ならば、焦点距離Ｆも中間の長さ（つまり、１０８ｍｍ）に設定すると、腕の伸縮範囲全体で焦点距離を最長（つまり、１９２ｍｍ）から最短（つまり、２４ｍｍ）までフルに制御できる。あるいは、位置Ａで撮影装置１００を起動する場合は、焦点距離を最長（つまり、１９２ｍｍ）に設定する。これらを実現するには、撮影者に明示的にインストラクションを与える必要があり、たとえば、撮影装置の電源投入は、位置Ａと位置Ｂの中間位置、あるいは位置Ａ、あるいは位置Ｂ、といった形で電源投入時の位置を規定する。または、ファインダ１０３にテキストやイラスト、画像などでガイダンスを示し、撮影者２００に腕を伸ばすように指示して位置Ａへ撮影装置１００を移動させ、規定時間内（たとえば３秒）に焦点距離を最長に設定する。規定時間経過後は、ファインダ１０３でのガイダンスを通じて腕を伸ばす指示の解除を撮影者２００に伝える。位置Ｂや位置Ａと位置Ｂの中間についても同様である。一方、撮影者にインストラクションを与えずに焦点距離を設定する場合には、メモリ部１０８に初期設定値を与え、撮影装置起動時に、焦点距離算出部１０６に自動的に設定される。初期設定値としては、撮影者が撮影装置の電源投入時に自然と構える位置を想定し、これに相当する焦点距離をメモリ部１０８に与える。【００５８】  次に、焦点制御部１０７は、焦点距離算出部１０６より入力された焦点距離Ｆとなるように多焦点レンズ１０１の焦点距離Ｆを変更する（ステップＳ１０７）。【００５９】  以上のように動作するので、撮影者２００が撮影装置１００を手で持って動かすと、撮影距離Ｄが変更され、多焦点レンズ１０１の焦点距離Ｆを変更することができる。そこで、図３で説明したような複数のカメラワーク（この例では、トラッキングとパンニング）の中にズーミング動作が組み込まれ、フレーミングの操作性が向上する。図３では被写体１２０２が静止しているが、被写体１２０２が移動した場合は、さらにフレーミングの難易度が増す。特に被写体１２０２と撮影装置１１０２の距離が変化すると、ズーム倍率の極性（ズームインかズームアウトか）が変わる可能性が高まるが、本発明はズーム倍率の極性切り替えをズ���ム極性切り替えボタン１１０で実行できる。【００６０】  なお、上記説明において、焦点距離Ｆを変更する装置として多焦点レンズを用いたが、これに限られるものではなく、画像処理によるデジタルズームや、光学ズームとデジタルズームの組み合わせでも構わない。【００６１】  以上により、撮影装置を動かすフレーミング動作の中にズーミングが組み込まれるため、ボタンやダイヤル操作による画角調整よりも直接的な操作が可能になる。よって、たとえばスポーツや観光、記念撮像など目の前のシーンを映像として記録する映像エンタテイメント分野でより操作性の高い撮影装置を提供できる。【００６２】  （実施の形態２）
本実施の形態では、実施の形態１の距離センサに替えて単体の撮像センサで被写体までの距離の変化量（撮影距離の変化量）を推定し、この撮影距離の変化量に応じて画角を制御する撮影装置について説明する。【００６３】  図１３は本発明の実施の形態２に係る撮影装置の構成を示すブロック図である。なお、図５に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省略する。【００６４】  撮影装置４００は、被写体３００を撮像するための装置であり、被写体との位置関係（撮影距離の変化量）に応じて撮像画像を調整（ズーミング）する点に特徴を有し、多焦点レンズ１０１、撮像センサ１０２、ファインダ１０３、撮影距離変化量推定部４０１、撮影画像バッファ部４０２、焦点距離算出部４０３、表示画像バッファ部４０４、焦点制御部１０７、メモリ部１０８、画像記録部１０９、ズーム極性受付部１１０、およびズーム極性切替部１１１を備えている。【００６５】  撮影距離変化量推定部４０１は、時間Ｔｋに撮像センサ１０２で撮影された撮影画像Ｉｋと、撮影画像バッファ部４０２に一時的に保存された過去の時間Ｔｋ−１に撮像センサ１０２で撮影された撮影画像Ｉｋ−１をもとに、撮影装置４００と被写体３００との距離の変化量（撮影距離の変化量Ｕｋ）を推定する。【００６６】  撮影距離の変化量Ｕｋの求め方を、図１４を用いて説明する。図１４（ａ）は、時間Ｔ０から時間ＴＥの間で撮影装置４００を被写体３００に近づけていった場合の撮影画像を示している。テーブル５００に被写体３００が置かれていて、時間Ｔ０では撮影画像Ｉ０のように、被写体３００が小さく撮影される。時間ＴＥでは撮影装置４００が被写体３００に近づいたため、撮影画像ＩＥのように、被写体３００が大きく撮影される。すなわち、図１に示したドリーイング１０１０によって画角が狭くなり、画像が拡大された。この時間Ｔ０と時間ＴＥの間で連続する時間Ｔｋ−１と時間Ｔｋを考え、撮影画像をそれぞれ、撮影画像Ｉｋ−１、撮影画像Ｉｋとする。時間Ｔｋ−１と時間Ｔｋの間隔は、フレームレートに依存し、通常、１／３０秒である。図１４（ｂ）に示す画像６００は、撮影画像Ｉｋ−１と撮影画像Ｉｋを重ね合わせた画像で、点線で示すオブジェクトＯｋ−１が撮影画像Ｉｋ−１の被写体３００に相当し、実線で示すオブジェクトＯｋが撮影画像Ｉｋの被写体３００に相当する。時間的に後になるオブジェクトＯｋの方が、オブジェクトＯｋ−１より大きくなる。そこで、オブジェクトの大きさの違いを判定すれば、ドリーイング１０１０の方向を検出でき、撮影装置４００が被写体３００に近づいているのか、逆に遠ざかっているのかがわかる。【００６７】  オブジェクトの大きさの違いは、オブジェクトに属する複数の注目点が、画像上でどのように移動するのかを解析することで可能であり、一般にオプティカルフローを求めることになる。たとえば、隣接画素と画素値が大きく異なるエッジ部の画素を注目点とし、オブジェクトＯｋ−１とオブジェクトＯｋで注目点をそれぞれ求め、画像６００に示すように、時間Ｔｋ−１から時間Ｔｋの向きで注目点間に矢印を引く。このように、時間的に移動する注目点を画素値に基づいて追跡し、図１５（ａ）に示す画像６０１��ように得られた注目点の動き（つまり、矢印）をオプティカルフローと呼ぶ。図１４の例のように、画像が拡大される場合、オプティカルフローは画像の外側へ発散するような向きになる。一方、図１４の例とは逆に、画像が縮小される場合は、図１５（ｂ）の画像６０２に示すように、オプティカルフローは画像の内側に収束するような向きになる。この拡散と収束の判定の具体例は、たとえば、時間Ｔｋ−１のすべての注目点の重心７００を求めて、重心７００から時間Ｔｋ−１の注目点（図１５では７０１）の距離ｄｋ−１と重心７００から時間Ｔｋのオプティカルフローの対応点（図１５では７０２）の距離ｄｋを比較すればいい。すなわち、【００６８】
【数６】
2007060794.tif 000008
となる。ノイズの影響で注目点の検出精度が低下したり、すべてのオプティカルフローが同じ方向に判定されないなど、様々な原因で理想的な判定は通常、困難である。そこで、（式６）の判定をすべての注目点で行い、拡散、定常、収束の各状態で投票を行い、最大得票数を得た状態を判定結果にするなどの対策を取れば、撮影装置４００が被写体３００に近づいているのか、遠ざかっているのか、の２値判定は安定に実現できる。引き続き、判定結果と一致したオプティカルフローのみを抽出して、距離ｄｋ−１と距離ｄｋの差分を求め、これらの平均値を観察距離の変化量Ｕｋとする。【００６９】  ところで、オプティカルフローはドリーイング１０１０の検出を目的としているため、時間ｋ−１から時間ｋへ移行する間は多焦点レンズの焦点距離を固定しておく必要がある。そこで、図１３に示した撮影装置４００は、図１６に示すフローチャートに従って動作する。すなわち、撮像センサ１０２は時間ｋ−１において撮影画像Ｉｋ−１を撮影し（ステップＳ２０１）、撮影画像Ｉｋ−１は撮影画像バッファ部４０２に保存される（ステップＳ２０２）。引き続き、撮像センサ１０２は時間ｋにおいて撮影画像Ｉｋを撮影し（ステップＳ２０３）、撮影画像Ｉｋは撮影距離変化推定部４０１に出力される。同時に撮影画像Ｉｋ−１も撮影画像バッファ部４０２から撮影距離変化推定部４０１に出力される（ステップＳ２０４）。撮影距離変化推定部４０１は、図１５を用いて説明した方法でオプティカルフローを計算し、移動量Ｕｋを算出する（ステップＳ２０５）。以降、焦点距離Ｆｋの算出（ステップＳ２０６）と焦点距離の変更（ステップＳ２０７）は、それぞれ実施の形態１のステップＳ１０６とステップＳ１０７と同一であるため、説明を割愛する。最後に、焦点制御部１０７は、多焦点レンズ１０１の焦点距離の変更を終えた後に、画像書き込み許可信号ＷＥＳを表示画像バッファ部４０４へ出力する。表示画像バッファ部４０４は、撮像センサ１０２の出力を保存し、ファインダ１０３と画像記録部１０９へ保存した画像を出力する。ただし、撮像センサ１０２からの出力を表示画像バッファ部４０４に書き込むには、画像書き込み許可信号ＷＥＳを有効にする必要があり、画像書き込み許可信号ＷＥＳが無効である場合は、撮像センサ１０２からの出力を表示画像バッファ部４０４に保存できない。この仕組みによって、図１４に説明したドリーイング１０１０による画角変更の画像はファインダ１０３と画像記録部１０９に出力されず、多焦点レンズ１０１による画角変更の画像、つまりズーミング１０１４による画角変更の画像のみがファインダ１０３と画像記録部１０９に出力される。また、焦点距離制御部１０７は、移動量Ｕｋが変更されない限り、多焦点レンズ１０１の焦点距離を動かすことはないため、撮影距離変化量推定部４０１でオプティカルフローの処理が行われる時間ｋ−１から時間ｋの間にズーミング１０１４が動作することはなく、移動量Ｕｋはドリーイング１０１０の動きのみで決定される。【００７０】  なお、本発明はオブジェクトの大きさの違いの判定方法を制限するものではなく、任意の方法を利用できる。たとえば、隣接画素との輝度や色の違いが大きい基準図形を��定し、基準図形の位置、大きさ、形状、明るさ、色などの変化から、ズーム極性と観察距離の変化量Ｕｋを算出しても構わない。また、注目点検出やオプティカルフローの方向判定、検出されたオプティカルフローから観察距離の変化量Ｕｋを求める方法も一例であり、本発明に制約を与えるものではない。【００７１】  また、時間Ｔｋ−１を時間Ｔｋの１／３０秒前としたが、これは一例であり、本発明は時間Ｔｋ−１の設定方法に制約を与えるものではない。また、撮影画像バッファ部４０２には時間Ｔｋ−１の画像１枚のみを保存したが、過去の画像を複数枚保存しても構わない。【００７２】  以上のように、撮影距離変化量推定部４０１、撮影画像バッファ部４０２、焦点距離算出部４０３、表示画像バッファ部４０４以外の構成は実施の形態１と同じであり、実現する機能も同一である。撮影距離計測に撮像センサを用いる効果は、センサの多様性にある。つまり、超音波センサや赤外光センサは距離計測専用であり、他の用途との併用が難しい。一方、撮像センサは画像撮像と距離計測の２つの用途に適用可能である。よって、軽量性やコンパクト性が求められるカメラ付携帯電話などで有効に活用できる。また、現在、市場に流通しているデジタルスチルカメラやデジタルビデオカメラの構成をそのまま適用できるため、新しい距離計測用のセンサを追加することなく、カメラの動きでズーミングできる付加価値を与えることができる。【００７３】  （実施の形態３）
本実施の形態では、距離センサで被写体までの距離を計測し、この距離に応じて撮像画角を制御し、かつ撮像画像の一部を切り出す撮影装置について説明する。撮影画角調整は光軸を中心に撮影範囲が変化するが、画像上の任意の位置を切り出す機能を付加することで、より自由度の高いフレーミングが可能になる。【００７４】  図１７は本発明の実施の形態３に係る撮影装置の構成を示すブロック図である。なお、図５に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省略する。【００７５】  撮影装置８００は、被写体３００を撮像するための装置であり、実施の形態１の特徴に加えて、被写体との位置関係（被写体までの距離）に応じて撮像画像を調整（切り出す範囲を調整）する点に特徴を有し、図１７に示すように多焦点レンズ１０１、被写体撮像センサ１０２、ファインダ１０３、距離センサ１０４、切り出し範囲算出部８０１、画像切り出し部８０２、焦点制御部１０７、メモリ部１０８、画像記録部１０９、ズーム極性受付部１１０、およびズーム極性切替部１１１を備えている。【００７６】  切り出し範囲算出部８０１は、（式１）で与えられる移動量Ｕｉに基づいて切り出し範囲を算出する。ここでは、切り出し範囲算出部８０１は、画素数が幅ｗ、高さｈの画像に対する切り出し範囲を次の（式７）のように比率γで指定して算出する。【００７７】
【数７】
2007060794.tif 000009
【００７８】ここで、（ｘ、ｙ）ｌｅｆｔ，ｔｏｐは切り出し範囲を表す矩形の左上頂点の画像座標を、（ｘ、ｙ）ｒｉｇｈｔ，ｂｏｔｔｏｍは切り出し範囲を表す矩形の右下頂点の画像座標を表す。ただし比率γは０〜１である。この比率γを、たとえば、【００７９】
【数８】
2007060794.tif 000010
のように相対移動量Ｖｉと関連付けさせる。（式８）に従えば、図１８（ａ）に示すように撮影装置１００を被写体３００に近づけると、図１８（ｂ）に示すように切り出し範囲が広くなるように機能する。つまり、時間Ｔｉ−１から時間Ｔｉへ進んで撮影距離Ｄが短くなり（撮影距離Ｄｉ−１＞撮影距離Ｄｉ）、（式３）より相対移動量Ｖｉが負になる。（式８）で相対移動量Ｖｉが負の場合、比率γが大きくなり、切り出し範囲が広くなる。また、（式８）に従えば、図１８（ｃ）に示すように撮影装置１００を被写体３００から遠ざけると、図１８（ｄ）に示すように切り出し範囲が狭くなるように機能する。時間Ｔｉ−１から時間Ｔｉへ進んで撮影距離Ｄが長くなり（撮影距離Ｄｉ−１＜撮影距離Ｄｉ）、（式３）より相対移動量Ｖｉが正になる。（式８）で相対移動量Ｖｉが正の場合、比率γが小さくなり、切り出し範囲が狭くなる。【００８０】  一方、（式９）に従えば、図１９（ａ）に示すように撮影装置１００を被写体３００に近づけると、図１９（ｂ）に示すように切り出し範囲が狭くなるように機能する。つまり、時間Ｔｉ−１から時間Ｔｉへ進んで撮影距離Ｄが短くなり（撮影距離Ｄｉ−１＞撮影距離Ｄｉ）、（式３）より相対移動量Ｖｉが負になる。（式９）で相対移動量Ｖｉが負の場合、比率γが小さくなり、切り出し範囲が狭くなる。また、（式９）に従えば、図１９（ｃ）に示すように撮影装置１００を被写体３００から遠ざけると、図１９（ｄ）に示すように切り出し範囲が広くなるように機能する。時間Ｔｉ−１から時間Ｔｉへ進んで撮影距離Ｄが長くなり（撮影距離Ｄｉ−１＜撮影距離Ｄｉ）、（式３）より相対移動量Ｖｉが正になる。（式９）で相対移動量Ｖｉが正の場合、比率γが大きくなり、切り出し範囲が広くなる。【００８１】  画像切り出し部８０２は、多焦点レンズ１０１を通して被写体撮像センサ１０２で撮像される被写体３００の画像を、切り出し範囲算出部８０１で算出された切り出し範囲で切り出し、ファインダ１０３および画像記録部１０８へ出力する。【００８２】  以上の構成から、撮像者２００が撮影装置８００を手で持って動かすと、撮影距離Ｄが変更され、多焦点レンズ１０１の焦点距離を変更することができ、実施の形態１と同じ構成と機能を有する。さらに、本実施の形態では、撮影距離Ｄの移動量に応じて撮像センサ１０２で撮像された画像の切り出し範囲を算出する切り出し範囲算出部８０１を備えているので、切り出し範囲を撮影距離Ｄの移動量に連動して制御できる。【００８３】  なお、切り出し範囲算出部８０１が算出する切り出し範囲の位置については、たとえば（式７）に示す左上頂点および右下頂点の画像座標を所定量移動させればよい。このように、撮像者２００はファインダ１０３を用いて撮像画角および切り出し範囲を含むフレーミングの目視確認が可能である。【００８４】  以上により、光軸を中心に撮影範囲が変化するズーミングに加えて、任意の位置で映像を切り出すフレーミングが撮影装置の移動動作の中に組み込まれる。なお、本発明は画像切り出し部８０２の機能を限定するものではないため、被切り出し画像は任意であり、たとえば画像記録部１０９に記録した撮影画像を再生してディスプレイに表示する際に切り出しが実行されても構わない。【００８５】  また、本実施の形態では、被写体までの距離に応じて焦点距離を調整するとともに撮像画像の切り出し範囲が調整されたが、本発明は、必ずしも、焦点距離と切り出し範囲の両方を制御する必要はない。つまり、本発明に係る撮影装置は、被写体までの距離に応じて撮像画像を切り出す範囲を調整する機能だけを備えていてもよい。この機能だけであっても、撮影者は、撮影装置の動きのみで撮影装置の画角を決定できるので、撮影操作が直感的で容易となる。さらに、切り出し範囲の調整方法の詳細については、実施の形態１及び２における「焦点距離の調整」を「切り出し範囲の調整」に置き換えることで、様々な調整方法が可能である。【００８６】  （実施の形態４）
本実施の形態では、実施の形態１に加えて、撮影者が画角変更の感度を調整できる撮影装置について説明する。【００８７】  図２０は本発明の実施の形態４に係る撮影装置の構成を示すブロック図である。なお、図５に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省略する。【００８８】  撮影装置９００は、被写体３００を撮像するための装置であり、被写体との位置関係（被写体までの距離）に応じて撮像画像を調整（ズーミング）する際の感度を調整できる点に特徴を有し、多焦点レンズ１０１、撮像センサ１０２、ファインダ１０３、距離センサ１０４、撮影距離バッファ部１０５、焦点距離算出部１０６、焦点制御部１０７、メモリ部１０８、画像記録部１０９、ズーム極性受付部１１０、ズーム極性切替部１１１、画角感度受付部９０１、および画角感度変更部９０２を備えている。【００８９】  画角感度受付部９０１は相対移動量Ｖｉに対する画角の変更量（画角感度α）を撮影者から受け付ける。画角感度変更部９０２は、画角感度受付部９０１によって受け付けられた画角感度αに変更し、焦点距離算出部１０６に与える。図８では、多焦点レンズが持つ焦点距離の可動範囲すべてを移動量ＤＡ−ＤＢに対応させたが、撮影者が意図するフレーミングによっては、焦点距離の可動範囲の一部（たとえば、６６ｍｍから１５０ｍｍ）を移動量ＤＡ−ＤＢに対応させたい場合も考えられる。そこで、ファインダ１０３に表示される画像の画角変更の割合が大きすぎる場合、画角感度αを低くして、移動量ＤＡ−ＤＢに対する画角変更の割合を低くする。具体的には、次の（式１０）と（式１１）に示すように、相対移動量Ｖｉに画角感度αを乗算する。【００９０】
【数９】
2007060794.tif 000011
【００９１】  移動量Ｖｉを固定した場合、画角感度αを小さくすれば、焦点距離Ｆｉ−１から焦点距離Ｆｉへの変化量は小さくなり、画角変更量は抑えられる。画角感度αを低くした後に、撮影者のフレーミング意図が変わり、画角変更の割合を再び大きくしたい場合も考えられる。そこで、ファインダ１０３に表示される画像の画角変更の割合が足りない場合、画角感度αを高くして、移動量ＤＡ−ＤＢに対する画角変更の割合を高くする。ただし、多焦点レンズ１０１の可動範囲を超えて焦点距離を設定できないため、可動範囲を超える場合は、可動範囲の最小値、あるいは最大値で焦点距離をクリッピングする。画像処理による電子式デジタルズームを用いる場合も同様である。【００９２】  図２１は、撮影装置９００に設けられた画角感度入力ボタン９０３の一例を示す図である。撮影者２００は、画角感度入力ボタン９０３を押すことで、たとえば、画角感度αを１、１．５、２、と順に大きくしたり、１、０．５、０．２５、０．１２５、と順に小さくできる。大きくするのか、あるいは小さくするのか、という増減の方向は、たとえば、ズーム極性切り替えボタン１１２で兼用し、画角感度入力ボタン９０２を押した直後は、ズーム極性切り替えボタン１１２が画角感度αの増減方向の切り替え用に機能する。【００９３】  次に、図２２と図２３を用いて、画角感度変更部９０２の詳細を具体例で説明する。【００９４】  図２２は、画角感度αを変更した際の焦点距離の変化の一例であり、起動時Ｔ０では、図９と同じように、位置Ａで焦点距離１９２ｍｍ、位置Ｂで焦点距離２４ｍｍに設定されている。時間Ｔ０では、画角感度αを１、ズーム極性を（式１０）として撮影装置９００を起動する。この時点では、図９の場合と同様に、腕の伸縮範囲（位置Ａと位置Ｂの間）と焦点距離の可動範囲（２４ｍｍから１９２ｍｍ）が一致する。その後、時間Ｔｉ−１に至るまで、画角感度αは１に設定され、時間Ｔｉ−１において、撮影装置９００は位置Ａと位置Ｂの中間に当たる位置Ｐｉ−１にある。ここで、画角感度αｉ−１が１／２に設定され、焦点距離の変更感度が半分に落ちる。相対移動量Ｖｉ−１は０．５であり、時間Ｔｉには撮影装置９００は位置Ｐｉに移動し、焦点距離Ｆｉは（式１０）から、６６ｍｍとなる。次に、時間Ｔｉ＋１には撮影装置９００は位置Ｐｉ＋１に移動し、相対移動量Ｖｉは−０．５に変更され、焦点距離は（式１０）から１０８ｍｍに戻る。引き続き、時間Ｔｉ＋２には撮影装置９００は位置Ｐｉ＋２に移動し、相対移動量Ｖｉ＋１は−０．５が設定され、焦点距離は（式１０）から１５０ｍｍに設定される。以上のように、画角感度αを１／２に設定した場合、腕の伸縮による可動範囲では、焦点距離は６６ｍｍから１５０ｍｍの間の８４ｍｍの範囲で制御され、画角感度αが１の場合（１６８ｍｍの範囲＝１９２ｍｍ−２４ｍｍ）に比べて、半分の範囲になる。従って、画角感度αを１より小さくした場合、ピッチが細かくなり、より細かな焦点距離制御が可能になる。【００９５】  図２３は、画角感度αを変更した際の焦点距離の変化の一例であり、起動時Ｔ０では、図９と同じように、位置Ａで焦点距離１９２ｍｍ、位置Ｂで焦点距離２４ｍｍに設定されている。時間Ｔ０では、画角感度αを１、ズーム極性を（式１０）として撮影装置９００を起動する。この時点では、図９の場合と同様に、腕の伸縮範囲（位置Ａと位置Ｂの間）と焦点距離の可動範囲（２４ｍｍから１９２ｍｍ）が一致する。その後、時間Ｔｉ−ｊに至る以前で画角感度αが１／２に設定され、図２２と同じ要領で、時間Ｔｉ−ｊにおいて、位置Ａの焦点距離が１５０ｍｍ、位置Ｂの焦点距離が６６ｍｍに設定された。引き続き、画角感度αは１／２に設定され、時間Ｔｉ−１で画角感度αが１に設定され、焦点距離の変更感度が起動時と同じ状態に戻された。時間Ｔｉ−１において、撮影装置９００は位置Ａと位置Ｂの中間にある位置Ｐｉ−１にあり、時間Ｔｉには位置Ｐｉに移動し、相対移動量Ｖｉ−１は０．５となる。画角感度αｉ−１は１であり、時間Ｔｉにおける焦点距離Ｆｉは（式１０）から、２４ｍｍとなり、起動時と同じ焦点距離に戻る。以上のように、画角感度αを１未満に設定して、その後、画角感度αを１に設定すれば、撮影装置９００の位置と焦点距離の関係は、起動時の状態に戻る。【００９６】  次に、画角感度αｉが２に設定された後、時間Ｔｉ＋１には撮影装置９００は位置Ｐｉ＋１に移動し、相対移動量Ｖｉは−０．５となる。そこで、焦点距離は（式１０）から１９２ｍｍになる。以上のように、画角感度αを１より大きくした場合、画角感度αが１の場合に比べて、ピッチが大きくなり、小さな移動量で焦点距離を大きく変更できる。【００９７】  引き続き、画角感度αｉ＋１は２のままで、時間Ｔｉ＋２には撮影装置９００は位置Ｐｉ＋２に移動し、相対移動量Ｖｉ＋１は−０．５となり、焦点距離は（式１０）から、３６０ｍｍとなる。多焦点レンズ１０１の最長焦点距離は１９２ｍｍであるため、焦点距離算出部１０６は３６０ｍｍを１９２ｍｍにクリッピングし、多焦点レンズ１０１は１９２ｍｍに設定される。従って、時間Ｔｉ＋１から時間Ｔｉ＋２へ進んでも、焦点距離は動かず、ファインダ１０３に表示される撮影画像の画角は変わらない。【００９８】  次に、画角感度αｉ＋２は１に設定された後、時間Ｔｉ＋３には撮影装置９００は位置Ｐｉ＋３に移動し、相対移動量Ｖｉ＋２は０．５となる。そこで、焦点距離は（式１０）から、１０８ｍｍとなる。以上のように、画角感度αを、１を超える値に設定し、その後、撮影装置９００を腕の伸縮の可動範囲端（つまり、位置Ａあるいは位置Ｂ）まで移動し、画角感度αを１に設定すれば、撮影装置９００の位置と焦点距離の関係は、起動時の状態に戻る。【００９９】  以上より、画角感度αを撮影装置の移動量に乗算することで、撮影装置の移動量と焦点距離の変化量の関係を変更でき、撮影者は、画角感度αを低くすることで、オブジェクトの細部を細かな画角変更で詳細に確認でき、たとえば電子商取引における商品のデザインの確認や、芸術品や動植物などの鑑賞等で有効に利用できる。一方、画角感度αを高くすることで、視野全体とオブジェクトの細部を素早く切り替えられる。視野全体とオブジェクトの細部の切り替えは、たとえばスポーツ撮影で利用されることが多い。すなわち、野球の例では、バッターがボールを打った瞬間に投手とバッターを捉える狭角撮影が観客席を含む広角撮影に切り替えられることが多い。また映像効果を高めるために画角を変える場合もあり、たとえば数十人で構成されるオーケストラの演奏のように、演奏者全員を捕らえる広角撮影からある特定のパート（たとえばピアノ奏者）を捕らえる狭角撮影に切り替える際に画角感度αの調整が有効である。以上のように、画角感度αの切り替えは、観察したい細部が目視確認できる拡大率を確保したり、スポーツ撮影のように動きが激しい被写体をフレーム内に捉え続けるために有効に活用できる。【０１００】  上記各実施の形態において、撮像センサ１０２は請求の範囲における撮像部に、距離センサ１０４は請求の範囲における距離算出部に、焦点距離算出部１０６は請求の範囲における焦点距離算出部に、焦点制御部１０７は請求の範囲における焦点距離制御部にそれぞれ相当する。また、撮影距離変化量推定部４０１および撮影画像バッファ部４０２は、請求の範囲における距離算出部に相当する。さらに、切り出し範囲算出部８０１は請求の範囲における切り出し範囲算出部に、画像切り出し部８０２は請求の範囲における画像切り出し部にそれぞれ相当する。また、画角感度変更部９０２は請求の範囲における焦点距離制御部に相当する。
【産業上の利用可能性】
【０１０１】  本発明に係る撮影装置、撮影方法およびプログラムは、撮影者が撮影装置を動かすことによって焦点距離が制御されるため、撮影装置の動きのみで撮影画角を決定でき、例えばデジタルカメラ、スチルカメラ、ビデオカメラ、カメラ付き携帯電話等に用いるのに有用である。
【図１】
2007060794.tif 000012
【図２】
2007060794.tif 000013
【図３】
2007060794.tif 000014
【図４】
2007060794.tif 000015
【図５】
2007060794.tif 000016
【図６】
2007060794.tif 000017
【図７】
2007060794.tif 000018
【図８】
2007060794.tif 000019
【図９】
2007060794.tif 000020
【図１０】
2007060794.tif 000021
【図１１】
2007060794.tif 000022
【図１２】
2007060794.tif 000023
【図１３】
2007060794.tif 000024
【図１４】
2007060794.tif 000025
【図１５】
2007060794.tif 000026
【図１６】
2007060794.tif 000027
【図１７】
2007060794.tif 000028
【図１８】
2007060794.tif 000029
【図１９】
2007060794.tif 000030
【図２０】
2007060794.tif 000031
【図２１】
2007060794.tif 000032
【図２２】
2007060794.tif 000033
【図２３】
2007060794.tif 000034
【手続補正書】
【提出日】平成19年6月1日(2007.6.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体との位置関係に応じて撮像画像を調整する撮影装置であって、
多焦点レンズを用いて被写体を撮影する撮影部と、
前記撮影部で撮像された画像に含まれるオブジェクトに属する注目点の動きを示すオプティカルフローを求めることで、所定時間における前記オブジェクトと現時点における前記オブジェクトの大きさの違いを算出し、算出した大きさの違いに基づいて当該撮影装置から被写体までの距離の変化量を算出する距離算出部と、
前記被写体までの距離の変化量に基づいて前記多焦点レンズの焦点距離を算出する焦点距離算出部と、
前記多焦点レンズの焦点距離を前記焦点距離算出部によって算出された焦点距離に合わせるように制御する焦点距離制御部と
を備えることを特徴とする撮影装置。
【請求項２】
前記焦点距離算出部は、前記距離の変化量が、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短いことを示す場合に、前記多焦点レンズの焦点距離を長く算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長いことを示す場合に、前記多焦点レンズの焦点距離を短く算出する
ことを特徴とする請求項１記載の撮影装置。
【請求項３】
前記焦点距離算出部は、前記距離の変化量が、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短いことを示す場合に、前記多焦点レンズの焦点距離を短く算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長いことを示す場合に、前記多焦点レンズの焦点距離を長く算出する
ことを特徴とする請求項１記載の撮影装置。
【請求項４】
前記焦点距離算出部は、前記距離の変化量に重みを掛けて、前記多焦点レンズの焦点距離の変更量に対する前記被写体までの距離の差の寄与率を可変にする
ことを特徴とする請求項１記載の撮影装置。
【請求項５】
被写体との位置関係に応じて撮像画像を調整する撮影装置であって、
多焦点レンズを用いて被写体を撮影する撮影部と、
前記撮影部で撮像された画像に含まれるオブジェクトに属する注目点の動きを示すオプティカルフローを求めることで、所定時間における前記オブジェクトと現時点における前記オブジェクトの大きさの違いを算出し、算出した大きさの違いに基づいて当該撮影装置から被写体までの距離の変化量を算出する距離算出部と、
前記被写体までの距離の変化量に基づいて前記撮像画像から切り出す画像範囲を算出する切り出し範囲算出部と、
前記切り出し範囲算出部による算出結果に従って、前記撮像画像から一部を切り出す画像切り出し部とを備える
ことを特徴とする撮影装置。
【請求項６】
前記切り出し範囲算出部は、前記距離の変化量が、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短いことを示す場合に、前記撮像画像の切り出し画像範囲を小さく算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長いことを示す場合に、前記撮像画像の切り出し画像範囲を大きく算出する
ことを特徴とする請求項５記載の撮影装置。
【請求項７】
前記切り出し範囲算出部は、前記距離の変化量が、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短いことを示す場合に、前記撮像画像の切り出し画像範囲を大きく算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長いことを示す場合に、前記撮像画像の切り出し画像範囲を小さく算出する
ことを特徴とする請求項５記載の撮影装置。
【請求項８】
前記切り出し範囲算出部は、前記距離の変化量に重みを掛けて、前記撮像画像から切り出す画像範囲の変更量に対する前記被写体までの距離の差の寄与率を可変にする
ことを特徴とする請求項５記載の撮影装置。
【請求項９】
（削除）
【請求項１０】
被写体を撮像する撮影装置を備える携帯端末装置であって、
請求項１あるいは請求項５に記載の撮影装置を備える
ことを特徴とする携帯端末装置。
【請求項１１】
被写体との位置関係に応じて撮像画像を調整する撮影方法であって、
多焦点レンズを用い被写体を撮像する撮像ステップと、
前記撮影ステップで撮像された画像に含まれるオブジェクトに属する注目点の動きを示すオプティカルフローを求めることで、所定時間における前記オブジェクトと現時点における前記オブジェクトの大きさの違いを算出し、算出した大きさの違いに基づいて当該撮影装置から被写体までの距離の変化量を算出する距離算出ステップと、
前記被写体までの距離の変化量に基づいて前記多焦点レンズの焦点距離を算出する焦点距離算出ステップと、
前記多焦点レンズの焦点距離を前記焦点距離算出部によって算出された焦点距離に合わせるように制御する焦点距離制御ステップと
を含むことを特徴とする撮影方法。
【請求項１２】
被写体を撮像するためのプログラムであって、
請求項１１記載の撮影方法に含まれるステップをコンピュータに実行させる
ことを特徴とするプログラム。
【請求項１３】
前記距離算出部は、前記オブジェクトに属する複数の注目点の動きを示すオプティカルフローについて、前記複数の注目点の重心から各注目点までの距離の増減を判定することで、拡散、定常、収束のいずれの状態であるかを判断し、最も多い状態のオプティカルフローのみを抽出し、抽出したオプティカルフローについて、前記所定時間と現時点における前記重心から各注目点までの距離の差分を求め、求めた差分の平均値を前記変化量として算出する
ことを特徴とする請求項１又は５記載の撮影装置。
【請求項１４】
被写体との位置関係に応じて撮像画像を調整する撮影装置であって、
多焦点レンズを用いて被写体を撮影する撮影部と、
前記撮影部で撮像された画像に含まれる基準図形を抽出し、所定時間における前記基準図形と現時点における前記基準図形との違いに基づいて当該撮影装置から被写体までの距離を算出する距離算出部と、
前記被写体までの距離に基づいて前記多焦点レンズの焦点距離を算出する焦点距離算出部と、
前記多焦点レンズの焦点距離を前記焦点距離算出部によって算出された焦点距離に合わせるように制御する焦点距離制御部とを備え
前記焦点距離算出部は、所定時間における前記被写体までの距離と現時点における前記被写体までの距離との差に重みを掛けて、前記多焦点レンズの焦点距離の変更量に対する前記被写体までの距離の差の寄与率を可変にする
ことを特徴とする撮影装置。
【請求項１５】
被写体との位置関係に応じて撮像画像を調整する撮影装置であって、
多焦点レンズを用いて被写体を撮影する撮影部と、
前記撮影部で撮像された画像に含まれる基準図形を抽出し、所定時間における前記基準図形と現時点における前記基準図形との違いに基づいて当該撮影装置から被写体までの距離を算出する距離算出部と、
前記被写体までの距離に基づいて前記撮像画像から切り出す画像範囲を算出する切り出し範囲算出部と、
前記切り出し範囲算出部による算出結果に従って、前記撮像画像から一部を切り出す画像切り出し部とを備え
前記切り出し範囲算出部は、所定時間における前記被写体までの距離と現時点における前記被写体までの距離との差に重みを掛けて、前記撮像画像から切り出す画像範囲の変更量に対する前記被写体までの距離の差の寄与率を可変にする
ことを特徴とする撮影装置。
【手続補正書】
【提出日】平成19年8月29日(2007.8.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体との位置関係に応じて撮像画像を調整する撮影装置であって、
多焦点レンズを用いて被写体を撮影する撮影部と、
前記撮影部で撮像された画像に含まれる基準図形を抽出し、所定時間における前記基準図形と現時点における前記基準図形との違いに基づいて当該撮影装置から被写体までの距離を算出する距離算出部と、
前記被写体までの距離に基づいて前記多焦点レンズの焦点距離を算出する焦点距離算出部と、
前記多焦点レンズの焦点距離を前記焦点距離算出部によって算出された焦点距離に合わせるように制御する焦点距離制御部と
を備えることを特徴とする撮影装置。
【請求項２】
前記焦点距離算出部は、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短い場合に、前記多焦点レンズの焦点距離を長く算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長い場合に、前記多焦点レンズの焦点距離を短く算出する
ことを特徴とする請求項１記載の撮影装置。
【請求項３】
前記焦点距離算出部は、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短い場合に、前記多焦点レンズの焦点距離を短く算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長い場合に、前記多焦点レンズの焦点距離を長く算出する
ことを特徴とする請求項１記載の撮影装置。
【請求項４】
前記焦点距離算出部は、所定時間における前記被写体までの距離と現時点における前記被写体までの距離との差に重みを掛けて、前記多焦点レンズの焦点距離の変更量に対する前記被写体までの距離の差の寄与率を可変にする
ことを特徴とする請求項１記載の撮影装置。
【請求項５】
被写体との位置関係に応じて撮像画像を調整する撮影装置であって、
多焦点レンズを用いて被写体を撮影する撮影部と、
前記撮影部で撮像された画像に含まれる基準図形を抽出し、所定時間における前記基準図形と現時点における前記基準図形との違いに基づいて当該撮影装置から被写体までの距離を算出する距離算出部と、
前記被写体までの距離に基づいて前記撮像画像から切り出す画像範囲を算出する切り出し範囲算出部と、
前記切り出し範囲算出部による算出結果に従って、前記撮像画像から一部を切り出す画像切り出し部とを備える
ことを特徴とする撮影装置。
【請求項６】
前記切り出し範囲算出部は、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短い場合に、前記撮像画像の切り出し画像範囲を小さく算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長い場合に、前記撮像画像の切り出し画像範囲を大きく算出する
ことを特徴とする請求項５記載の撮影装置。
【請求項７】
前記切り出し範囲算出部は、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短い場合に、前記撮像画像の切り出し画像範囲を大きく算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長い場合に、前記撮像画像の切り出し画像範囲を小さく算出する
ことを特徴とする請求項５記載の撮影装置。
【請求項８】
前記切り出し範囲算出部は、所定時間における前記被写体までの距離と現時点における前記被写体までの距離との差に重みを掛けて、前記撮像画像から切り出す画像範囲の変更量に対する前記被写体までの距離の差の寄与率を可変にする
ことを特徴とする請求項５記載の撮影装置。
【請求項９】
前記距離算出部は、前記基準図形との違いの計測を、前記基準図形の位置、大きさ、形状、明るさ、および色の少なくとも１つに基づいて行う
ことを特徴とする請求項１あるいは請求項５に記載の撮影装置。
【請求項１０】
被写体を撮像する撮影装置を備える携帯端末装置であって、
請求項１あるいは請求項５に記載の撮影装置を備える
ことを特徴とする携帯端末装置。
【請求項１１】
被写体との位置関係に応じて撮像画像を調整する撮影方法であって、
多焦点レンズを用い被写体を撮像する撮像ステップと、
前記撮影部で撮像された画像に含まれる基準図形を抽出し、所定時間における前記基準図形と現時点における前記基準図形との違いに基づいて当該撮影装置から被写体までの距離を算出する距離算出ステップと、
前記被写体までの距離に基づいて前記多焦点レンズの焦点距離を算出する焦点距離算出ステップと、
前記多焦点レンズの焦点距離を前記焦点距離算出部によって算出された焦点距離に合わせるように制御する焦点距離制御ステップと
を含むことを特徴とする撮影方法。
【請求項１２】
被写体を撮像するためのプログラムであって、
請求項１１記載の撮影方法に含まれるステップをコンピュータに実行させる
ことを特徴とするプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ズーミングを行って被写体を撮像する撮影装置、携帯端末装置、撮影方法、およびプログラムに関するものである。
【背景技術】
【０００２】
近年、様々な機器のデジタル化と集積化技術の高度化によって、静止画や動画をデジタル記録できるカメラ、すなわち、デジタルスチルカメラとデジタルビデオカメラが広く普及してきた。デジタル記録は、他のメディアとの親和性が高く、プリンタでの印刷やネットワークでの配信など、様々な利用形態が民生用途で広がりを見せている。
【０００３】
カメラは、図１（ａ）に示すように、シーン１００１の中から一部を切り出して画像データとして保存する。切り出す位置は撮影者が撮影意図に応じて決定し、シーンの中に切り出し枠１００２を設定する意味合いでフレーミングと呼ばれる。フレーミングを決める要因は、カメラの位置１００３、カメラの方向１００４、カメラの角度１００５（横向きに構えるか、縦向きに構えるか、斜めに構えるか）、カメラの画角１００６の４つである。このうち、カメラの位置は、図１（ｂ）の表１００７、および図１（ｃ）に示すように、トラッキング１００８（左右に水平移動）、ブーミング１００９（鉛直移動）、ドリーイング１０１０（前後に水平移動）で調整する。また、カメラの方向は、図１（ｄ）に示すように、パンニング１０１１（カメラ中心で水平方向に回転）、チルチング１０１２（カメラ中心で鉛直方向に回転）で調整する。また、カメラの回転は、図１（ｄ）に示すように、ローリング１０１３（光軸を中心に回転）で調整する。カメラの画角は、ドリーイング１０１０、ズーミング１０１４で調整する。ズーミングには、光学系の焦点距離を変更する光学ズームと、画像処理による電子ズームが利用される。以上のように、フレーミングは、トラッキング１００８からズーミング１０１４までの７種類のカメラワークで撮影者によって決定される。
【０００４】
ズーミング以外の６つのカメラワーク（トラッキング１００８からローリング１０１３）は、撮影者がカメラを移動することで実行される。一方、画角を調整するズーミング１０１４は、画角を広げるのか、狭めるのか、その割合はどれくらいか、を撮影者がカメラに指示する必要があり、一般的にダイヤル操作が使われている（例えば、非特許文献１参照）。すなわち、現在市販されているスチルカメラ１１０１やムービーカメラ１１０２は、多焦点レンズ１１０３を搭載して、図２（ａ）に示すようにレンズ筐体１１０３を回転させたり、図２（ｂ）に示すようにレンズ筐体１１０３をスライドさせたり、あるいは図２（ｃ）に示すようにボタン１１０６をスライドさせたり、図２（ｄ）に示すようにダイヤル１１０７を回転させたりすることによって画角変更が可能である。また、フレーミングの確認には、図２（ｅ）および図２（ｆ）に示すように、ファインダ１１０８が利用され、撮影者は撮影画像を目視で確認できる。
【非特許文献１】ペンタックス株式会社、＊ｉｓｔＤｓ使用説明書（４８ページ）、［平成１７年１１月７日検索］、インターネット＜ＵＲＬ：http://www.pentax.co.jp/japan/support/man-pdf/istds.pdf＞
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら従来のズーミングは、操作性の点で次のような課題を有している。
【０００６】
第１の課題は、図１に示す７種類のカメラワークのうち、ズーミング１０１４のみが他のカメラワークから乖離しており、撮影意図通りにフレーミングを調整するにはある程度の訓練を要する点である。図３は、撮影者１２０１が被写体１２０２の側面から正面に回りこみながら、かつ、ビデオカメラ１１０２の撮影倍率を連続的に上げていく（ズームイン）撮影例を示す図である。ここで、画像ＩＣ１、画像ＩＣ２、画像ＩＣ３は、ビデオカメラ１１０２のファインダ１１０８に映し出される撮影画像を示し、それぞれ、撮影倍率１倍、２倍、４倍に相当する。この撮影例では、撮影者は、体の移動と回転でトラッキングとパンニングを行いつつ、同時に、ダイヤル操作でズーミングを行う必要がある。撮影者の体の移動と回転という身体的な制御と、ダイヤル操作という機器へのコマンド入力を同時に実行することは容易ではなく、特に直感的な操作性が望まれる民生用途では、大きな課題となる。
【０００７】
第２の課題は、ダイヤル操作そのものが直感的な操作ではない点にある。すなわち、レンズ筐体を撮影者が回転あるいはスライドさせる方式は多焦点レンズの機構に合わせた操作方法であり、撮影者がカメラの機構に合わせて操作方法を会得する必要がある。また、ボタンやダイヤル操作では、スライドや回転の方向をズームイン・アウトの方向と対応させる必要があり、シーン全体を取り込みたい、あるいは特定のオブジェクトの細部を取り込みたい、という撮影意図を直接反映した操作方法とは言えない。
【０００８】
そこで、本発明は上記の事情に鑑みてなされたものであり、ズーミングが他のカメラワークと乖離することなく、撮影意図を直接反映して撮影することができる撮影装置、携帯端末装置、撮影方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明に係る撮影装置は、被写体との位置関係に応じて撮像画像を調整する撮影装置であって、多焦点レンズを用いて被写体を撮影する撮影部と、前記撮影部で撮像された画像に含まれる基準図形を抽出し、所定時間における前記基準図形と現時点における前記基準図形との違いに基づいて当該撮影装置から被写体までの距離を算出する距離算出部と、前記被写体までの距離に基づいて前記多焦点レンズの焦点距離を算出する焦点距離算出部と、前記多焦点レンズの焦点距離を前記焦点距離算出部によって算出された焦点距離に合わせるように制御する焦点距離制御部とを備えることを特徴とする。
【００１０】
すなわち、本発明は、ズーミングを撮影装置の移動で制御する。撮影装置から被写体までの距離（撮影距離）を計測し、撮影距離の変化に応じて画角を変更する。たとえば、撮影装置を被写体に近づけると画角を狭くして（ズームイン）、被写体の細部を取り込む。逆に、撮影装置を被写体から遠ざけると画角を広くして（ズームアウト）、シーン全体を取り込む。撮影距離の計測には、超音波や赤外光等を利用した距離センサ、あるいは撮影画像のオプティカルフロー等で行う。
【発明の効果】
【００１１】
本発明に係る撮影装置および撮影方法によれば、撮影者が撮影装置を動かすことによってズーミングが制御されるため、撮影装置の動きのみで撮影装置の画角を決定できる。これによって、従来、撮影装置（カメラ）の動きで制御する６つのカメラワーク（すなわち、トラッキング、ブーミング、ドリーイング、パンニング、チルチング、ローリング）と操作方法が乖離していたズーミングが、カメラの動きの中に組み込まれるため、操作方法に一貫性が生まれ、フレーミングの操作性が向上する。加えて、従来のズーミング操作は、レンズ筐体の回転やスライド、あるいはボタン・ダイヤルのスライド、回転など、機器によって多種多様であり、撮影者は機器ごとに異なる操作方法に対応しなければならないが、本発明ではズーミング操作がカメラと被写体との距離調整に１本化されるため、直感的でわかりやすい。
【発明を実施するための最良の形態】
【００１２】
本発明の実施の形態に係る撮影装置は、被写体との位置関係に応じて撮像画像を調整する撮影装置であって、多焦点レンズを用いて被写体を撮影する撮影部と、前記撮影部で撮像された画像に含まれる基準図形を抽出し、所定時間における前記基準図形と現時点における前記基準図形との違いに基づいて当該撮影装置から被写体までの距離を算出する距離算出部と、前記被写体までの距離に基づいて前記多焦点レンズの焦点距離を算出する焦点距離算出部と、前記多焦点レンズの焦点距離を前記焦点距離算出部によって算出された焦点距離に合わせるように制御する焦点距離制御部とを備えることを特徴とする。
【００１３】
これによって、被写体までの距離に基づいて撮像される画像をズームすることができるので、撮影装置を動かすフレーミング動作の中にズーム調整が組み込まれるため、例えばボタンやダイヤル操作によるズーム調整よりも直接的な操作が可能になる。
【００１４】
また、本発明の別の実施の形態に係る撮影装置は、被写体との位置関係に応じて撮像画像を調整する撮影装置であって、多焦点レンズを用いて被写体を撮影する撮影部と、前記撮影部で撮像された画像に含まれる基準図形を抽出し、所定時間における前記基準図形と現時点における前記基準図形との違いに基づいて当該撮影装置から被写体までの距離を算出する距離算出部と、前記被写体までの距離に基づいて前記撮像画像から切り出す画像範囲を算出する切り出し範囲算出部と、前記切り出し範囲算出部による算出結果に従って、前記撮像画像から一部を切り出す画像切り出し部とを備えてもよい。
【００１５】
これによって、被写体までの距離に基づいて、撮像画像から切り出す画像範囲を制御することができるので、撮影装置を動かすフレーミング動作の中に切り出し画像範囲の制御が組み込まれるため、例えばボタンやダイヤル操作による切り出し画像範囲の制御よりも直接的な操作が可能になる。
【００１６】
また、前記焦点距離算出部は、所定時間における前記被写体までの距離と現時点における前記被写体までの距離との差に基づいて、前記多焦点レンズの焦点距離を算出してもよい。
【００１７】
また、前記焦点距離算出部は、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短い場合に、前記多焦点レンズの焦点距離を長く算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長い場合に、前記多焦点レンズの焦点距離を短く算出してもよい。
【００１８】
また、前記切り出し範囲算出部は、所定時間における前記被写体までの距離と現時点における前記被写体までの距離との差に基づいて、前記撮像画像から切り出す画像範囲を算出してもよい。
【００１９】
また、前記切り出し範囲算出部は、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短い場合に、前記撮像画像の切り出し画像範囲を小さく算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長い場合に、前記撮像画像の切り出し画像範囲を大きく算出してもよい。
【００２０】
これによって、被写体までの距離が短くなった場合（撮影装置を被写体に近づけた場合）、焦点距離または切り出し画像範囲を制御して撮像画角を狭くし、被写体の細部を取り込むことができる。逆に、被写体までの距離が長くなった場合（撮影装置を被写体から遠ざけた場合）、焦点距離または切り出し画像範囲を制御して撮像画角を広くし、シーン全体を取り込むことができる。
【００２１】
また、前記焦点距離算出部は、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短い場合に、前記多焦点レンズの焦点距離を短く算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長い場合に、前記多焦点レンズの焦点距離を長く算出してもよい。
【００２２】
また、前記切り出し範囲算出部は、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短い場合に、前記撮像画像の切り出し画像範囲を大きく算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長い場合に、前記撮像画像の切り出し画像範囲を小さく算出してもよい。
【００２３】
これによって、撮影装置から被写体までの距離が長くなった場合（撮影装置を被写体から遠ざけた場合）、焦点距離または切り出し画像範囲を制御して撮像画角を狭くし、被写体の細部を取り込むことができる。逆に、被写体までの距離が短くなった場合（撮影装置を被写体に近づけた場合）、焦点距離または切り出し画像範囲を制御して撮像画角を広くし、シーン全体を取り込むことができる。
【００２４】
また、前記焦点距離算出部は、所定時間における前記被写体までの距離と現時点における前記被写体までの距離との差に重みを掛けて、前記多焦点レンズの焦点距離の変更量に対する前記被写体までの距離の差の寄与率を可変にしてもよい。
【００２５】
また、前記切り出し範囲算出部は、所定時間における前記被写体までの距離と現時点における前記被写体までの距離との差に重みを掛けて、前記撮像画像から切り出す画像範囲の変更量に対する前記被写体までの距離の差の寄与率を可変にしてもよい。
【００２６】
これによって、被写体までの距離の変化量と、焦点距離または切り出し画像範囲の変化量との関係を使用状況に応じて変えることができ、使用状況に対応した撮影が可能になる。
【００２７】
また、前記距離算出部は、前記撮像部で撮像された画像に含まれる基準図形を抽出し、所定時間における前記基準図形と現時点における前記基準図形との違いに基づいて、前記被写体までの距離を算出してもよい。
【００２８】
また、前記距離算出部は、前記基準図形との違いの計測を、前記基準図形の位置、大きさ、形状、明るさ、および色の少なくとも１つに基づいて行ってもよい。
【００２９】
なお、本発明は、このような撮影装置として実現することができるだけでなく、このような撮影装置が備える特徴的な構成要素をステップとする撮影方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【００３０】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００３１】
（実施の形態１）
本実施の形態では、距離センサで被写体までの距離を計測し、この距離に応じて撮影画角を制御する撮影装置について説明する。
【００３２】
図４は撮影者が本発明の実施の形態１に係る撮影装置を用いて被写体を撮影する様子を示す概略図であり、図５は本発明の実施の形態１に係る撮影装置の構成を示すブロック図である。
【００３３】
撮影装置１００は、被写体３００を撮影するための装置であり、被写体との位置関係（被写体までの距離）に応じて撮像画像を調整（ズーミング）する点に特徴を有し、図５に示すように多焦点レンズ１０１、撮像センサ１０２、ファインダ１０３、距離センサ１０４、撮影距離バッファ部１０５、焦点距離算出部１０６、焦点制御部１０７、メモリ部１０８、画像記録部１０９、ズーム極性受付部１１０およびズーム極性切替部１１１を備えている。
【００３４】
多焦点レンズ１０１は、焦点距離を変更することによって、撮像センサ１０２によって撮像される被写体３００の撮影範囲（つまり画角）を変更する。撮像センサ１０２は、被写体３００を撮影するためのたとえばＣＣＤセンサやＣＭＯＳセンサ等の撮像センサである。ファインダ１０３は、多焦点レンズ１０１を通して撮像センサ１０２で撮像される被写体３００の画像を表示する。距離センサ１０４は、たとえば超音波センサや赤外光センサなどを用いて、被写体３００までの距離（撮影距離Ｄ）を計測する。撮影距離バッファ部１０５は、過去の時間Ｔi-1に計測した撮影距離Ｄi-1を一時的に保存する。焦点距離算出部１０６は、距離センサ１０４で計測された現在の時間Ｔiの撮影距離Ｄiと、撮影距離バッファ部１０５から供給される撮影距離Ｄi-1に基づいて多焦点レンズ１０１の焦点距離Ｆを算出する。焦点制御部１０７は、焦点距離算出部１０６で算出された焦点距離Ｆとなるように多焦点レンズ１０１の焦点距離を制御する。メモリ部１０８は、撮影装置１００を起動する際に読み込まれる初期設定値を焦点距離算出部１０６に与える。画像記録部１０９は、録画時に撮像センサ１０２によって撮像される被写体３００の撮影画像を記録する。ズーム極性受付部１１０は、ズームイン（画角を狭めて画像を拡大）とズームアウト（画角を広げて画像を縮小）の切り替えを撮影者から受け付ける。ズーム極性切替部１１１は、ズーム極性受付部１１０で受け付けられた極性（ズームイン、あるいはズームアウト）に従ってズーム極性を切り替え、焦点距離算出部１０６にズーム極性を与える。
【００３５】
次に、上記のように構成された撮影装置１００を用いて撮影者２００が被写体３００を撮影する場合の動作について説明する。
【００３６】
図６は撮影装置１００における焦点距離の変更の動作の流れを示すフローチャートである。
【００３７】
撮影装置１００は、時間Ｔiにおいて、多焦点レンズ１０１を通して撮像センサ１０２で撮像される被写体３００の画像をファインダ１０３へ表示する（ステップＳ１０１）。同時に、距離センサ１０４は、被写体３００までの距離（撮影距離Ｄ）を計測し、計測した撮影距離Ｄiを撮影距離バッファ部１０５と焦点距離算出部１０６へ出力する（ステップＳ１０２）。撮影距離バッファ部１０５は、時間Ｔiより過去の時間Ｔi-1に記録された撮影距離Ｄi-1が設定されているか否かを判定する（ステップＳ１０３）。この判定の結果、撮影距離Ｄi-1が設定されていない場合には、撮影距離バッファ部１０５は、距離センサ１０４より入力された撮影距離Ｄiを撮影距離Ｄi-1として記録する（ステップＳ１０４）。
【００３８】
一方、撮影距離Ｄi-1が設定されている場合には、焦点距離算出部１０６は、撮影距離Ｄi-1と撮影距離Ｄiとの差である移動量Ｕiを次の（式１）で算出する（ステップＳ１０５）。
【００３９】
【数１】
2007060794.tif 000035
【００４０】
移動量Ｕiが負になれば、撮影装置１００と被写体３００が近づいたことがわかり、正になれば、撮影装置１００と被写体３００が離れたことがわかる。
【００４１】
次に、焦点距離算出部１０６は、移動量Ｕiに基づいて、焦点距離Ｆを算出する（ステップＳ１０６）。図７に示すように、焦点距離をＦ、撮像される被写体３００の長さ（画角に相当）をＬ、被写体３００と多焦点レンズ１０１との距離をＤ、撮像センサ１０２の大きさをＳとすると、これらの関係は、
【００４２】
【数２】
2007060794.tif 000036
となり、焦点距離Ｆと画角Ｌは反比例の関係にある。たとえば、焦点距離Ｆが２４ｍｍから１９２ｍｍへ８倍長くなった場合、画角Ｌは１／８狭くなり、倍率８倍の拡大画像が撮影できる。
【００４３】
図８は、撮影装置１００の位置と焦点距離Ｆの関係の一例を示す図である。この例では、撮像者２００がファインダ１０３の画像が認識でき、かつ撮像者２００の腕のまげ伸ばしによる移動範囲で撮影装置１００を被写体３００に最も近づけた位置Ａ（撮影距離ＤA）で焦点距離が１９２ｍｍとなり、撮影画像ＩAのように最も大きく拡大された画像が撮影される。また、撮影装置１００を被写体３００から最も離れた位置Ｂ（撮影距離ＤB）で焦点距離が２４ｍｍとなり、撮影画像ＩBのように最も小さく縮小された画像が撮影される。従って、移動量ＤB−ＤAの範囲で焦点距離を２４ｍｍから１９２ｍｍまで変更することになる。撮影距離Ｄが取る値の範囲は様々であるため、次の（式３）に示すように移動量Ｕiを移動量ＤB−ＤAで除算して０〜１に正規化する。
【００４４】
【数３】
2007060794.tif 000037
【００４５】
図９は、撮影装置１００の位置と焦点距離Ｆの時間的変化の一例を示す図であり、図８で説明した１次元座標系を用いている。位置Ｐ0は撮影装置１００を起動した時間Ｔ0での位置を示し、ここでは点Ａ（被写体３００に最も近い位置）と点Ｂ（被写体３００から最も遠い位置）の中点とする。撮影装置の位置と焦点距離は線形で関係付けるため、位置Ｐ0では焦点距離を中間の１０８ｍｍ（＝（２４＋１９２）／２）に設定する。例えば、時間Ｔ1で相対移動量Ｖ1＝−０．２５が検出され、撮影装置の位置はＰ1へ移動したとすると、焦点距離は１５０ｍｍ（＝１０８−（１９２−２４）×（−０．２５））に変更される。また、時間Ｔ2で相対移動量Ｖ2＝０．５が検出され、撮影装置の位置はＰ2へ移動したとすると、焦点距離は６６ｍｍ（＝１５０−（１９２−２４）×０．５）に変更される。
【００４６】
以上の例に従うと、時間Ｔiでの焦点距離Ｆiは、以下で表現できる。
【００４７】
【数４】
2007060794.tif 000038
【００４８】
ここで、Ｆi-1は時間Ｔi-1での焦点距離、Ｆmaxは焦点距離の最大値、Ｆminは焦点距離の最小値である。（式４）に従えば、図１０（ａ）に示すように撮影装置１００を被写体３００に近づけると、図１０（ｂ）に示すように画像が拡大するように機能する。つまり、時間Ｔi-1から時間Ｔiへ進んで撮影距離Ｄが短くなり（撮影距離Ｄi-1＞撮影距離Ｄi）、（式３）より相対移動量Ｖiが負になる。（式４）で相対移動量Ｖiが負の場合、焦点距離Ｆは長くなり、撮影画像が拡大される。また、（式４）に従えば、図１０（ｃ）に示すように撮影装置１００を被写体３００から遠ざけると、図１０（ｄ）に示すように画像が縮小するように機能する。時間Ｔi-1から時間Ｔiへ進んで撮影距離Ｄが長くなり（撮影距離Ｄi-1＜撮影距離Ｄi）、（式３）より相対移動量Ｖiが正になる。（式４）で相対移動量Ｖiが正の場合、焦点距離Ｆは短くなり、撮影画像が縮小される。
【００４９】
一方、移動量Ｖiの正負と画像の拡大縮小の関係を逆に設定すると（式５）になる。
【００５０】
【数５】
2007060794.tif 000039
【００５１】
（式５）に従えば、図１１（ａ）に示すように撮影装置１００を被写体３００に近づけると、図１１（ｂ）に示すように画像が縮小するように機能する。つまり、時間Ｔi-1から時間Ｔiへ進んで撮影距離Ｄが短くなり（撮影距離Ｄi-1＞撮影距離Ｄi）、（式３）より相対移動量Ｖiが負になる。（式５）で相対移動量Ｖiが負の場合、焦点距離Ｆは短くなり、撮影画像が縮小される。また、（式５）に従えば、図１１（ｃ）に示すように撮影装置１００を被写体３００から遠ざけると、図１１（ｄ）に示すように画像が拡大するように機能する。時間Ｔi-1から時間Ｔiへ進んで撮影距離Ｄが長くなり（撮影距離Ｄi-1＜撮影距離Ｄi）、（式３）より相対移動量Ｖiが正になる。（式５）で相対移動量Ｖiが正の場合、焦点距離Ｆは長くなり、撮影画像が縮小拡大される。
【００５２】
以上のように、（式４）、あるいは（式５）より与えられる焦点距離Ｆiが焦点距離Ｆとして焦点制御部１０７へ出力される。ただし、（式４）と（式５）の焦点距離Ｆiが多焦点レンズ１０１の焦点距離のレンジを越えた場合には、レンジ内に納まるように、クリッピングされる。
【００５３】
ここで、焦点距離算出部１０６は、（式４）と（式５）の選択を、撮影装置１００の起動時に初期設定が格納されているメモリ部１０８から読み込む。たとえば、工場出荷時には、メモリ部１０８に（式４）を記録しておき、初めての起動時には（式４）が設定される。起動後、撮影者が逆の極性である（式５）に切り替えたい場合には、図１２に示すズーム極性切り替えボタン１１２を押すことで、ズーム極性受付部１１０によって、ズーム極性を逆の極性である（式５）が受け付けられる。ズーム極性切替部１１１は、ズーム極性受付部１１０で受け付けられた逆の極性である（式５）を焦点距離算出部１０６に与える。また、ズーム極性受付部１１０は、受け付けたズーム極性を示すアイコン１１３をファインダ１０３に表示する。また、ズーム極性切り替えボタン１１２が１回押されるごとに、（式４）と（式５）が切り替えられ、撮影者はファインダ１０３に表示されるアイコン１１３を見て、ズーム極性を確認できる。また、撮影装置１００を実際に移動させて、ファインダ１０３に表示される画像の変化を目視確認してズーム極性を知ることも、もちろん可能である。撮影装置１００の電源を切って、終了処理に入ったら、焦点距離算出部１０６は、ズーム極性（（式４）か（式５）か）をメモリ部１０８に記録し、次回起動時にメモリ部１０８からズーム極性を読み込むことで、次回起動時には同じ設定で利用開始できる。
【００５４】
ところで、（式３）を計算するには、移動量ＤA−ＤBが必要になる。そこで、撮影装置１００の起動時に移動量ＤA−ＤBをメモリ部１０８から焦点距離算出部１０６に入力する。移動量ＤA−ＤBは、図８に示すように、腕を伸ばした状態の位置Ａから腕を縮めた状態の位置Ｂの距離に相当する。実際の値を決める方法の例として、経験的方法、ユーザー入力方法、推定方法などが考えられる。経験的方法では、撮影装置の利用方法や利用シーンを想定して、これまでの経験に照らし合わせて適当な値を決める。あるいは、複数のモニタを募って移動量ＤA−ＤBを計測し、その平均値を採用してもよい。ユーザー入力方法では、撮影者２００が図８の位置Ａと位置Ｂに撮影装置１００を移動し、撮影距離ＤAと撮影距離ＤBをある対象に向けて初期化する。推定方法では、一旦、経験的方法で移動量ＤA−ＤBを設定し、一定期間、焦点距離Ｆの動きを監視して、焦点距離算出部１０６がより適する移動量ＤA−ＤBを推定する。つまり、図９の例を用いて説明すると、位置Ａと位置Ｂの間の焦点距離の可動範囲が２４ｍｍから１９２ｍｍまであるにも関わらず、たとえば、８０ｍｍから１３０ｍｍの範囲内でしか焦点距離Ｆが動いていない場合、移動量ＤA−ＤBが大きすぎると推測される。そこで、移動量ＤA−ＤBを５０ｍｍ（＝１３０ｍｍ−８０ｍｍ）に設定する。
【００５５】
撮影装置１００の起動時に、撮影装置１００の位置に応じて焦点距離Ｆを設定すると、図８のように腕を伸ばした状態から縮めた状態までフルに利用できる。すなわち、図９に示したように、撮影装置１００の位置が、位置Ａと位置Ｂの中間ならば、焦点距離Ｆも中間の長さ（つまり、１０８ｍｍ）に設定すると、腕の伸縮範囲全体で焦点距離を最長（つまり、１９２ｍｍ）から最短（つまり、２４ｍｍ）までフルに制御できる。あるいは、位置Ａで撮影装置１００を起動する場合は、焦点距離を最長（つまり、１９２ｍｍ）に設定する。これらを実現するには、撮影者に明示的にインストラクションを与える必要があり、たとえば、撮影装置の電源投入は、位置Ａと位置Ｂの中間位置、あるいは位置Ａ、あるいは位置Ｂ、といった形で電源投入時の位置を規定する。または、ファインダ１０３にテキストやイラスト、画像などでガイダンスを示し、撮影者２００に腕を伸ばすように指示して位置Ａへ撮影装置１００を移動させ、規定時間内（たとえば３秒）に焦点距離を最長に設定する。規定時間経過後は、ファインダ１０３でのガイダンスを通じて腕を伸ばす指示の解除を撮影者２００に伝える。位置Ｂや位置Ａと位置Ｂの中間についても同様である。一方、撮影者にインストラクションを与えずに焦点距離を設定する場合には、メモリ部１０８に初期設定値を与え、撮影装置起動時に、焦点距離算出部１０６に自動的に設定される。初期設定値としては、撮影者が撮影装置の電源投入時に自然と構える位置を想定し、これに相当する焦点距離をメモリ部１０８に与える。
【００５６】
次に、焦点制御部１０７は、焦点距離算出部１０６より入力された焦点距離Ｆとなるように多焦点レンズ１０１の焦点距離Ｆを変更する（ステップＳ１０７）。
【００５７】
以上のように動作するので、撮影者２００が撮影装置１００を手で持って動かすと、撮影距離Ｄが変更され、多焦点レンズ１０１の焦点距離Ｆを変更することができる。そこで、図３で説明したような複数のカメラワーク（この例では、トラッキングとパンニング）の中にズーミング動作が組み込まれ、フレーミングの操作性が向上する。図３では被写体１２０２が静止しているが、被写体１２０２が移動した場合は、さらにフレーミングの難易度が増す。特に被写体１２０２と撮影装置１１０２の距離が変化すると、ズーム倍率の極性（ズームインかズームアウトか）が変わる可能性が高まるが、本発明はズーム倍率の極性切り替えをズーム極性切り替えボタン１１０で実行できる。
【００５８】
なお、上記説明において、焦点距離Ｆを変更する装置として多焦点レンズを用いたが、これに限られるものではなく、画像処理によるデジタルズームや、光学ズームとデジタルズームの組み合わせでも構わない。
【００５９】
以上により、撮影装置を動かすフレーミング動作の中にズーミングが組み込まれるため、ボタンやダイヤル操作による画角調整よりも直接的な操作が可能になる。よって、たとえばスポーツや観光、記念撮像など目の前のシーンを映像として記録する映像エンタテイメント分野でより操作性の高い撮影装置を提供できる。
【００６０】
（実施の形態２）
本実施の形態では、実施の形態１の距離センサに替えて単体の撮像センサで被写体までの距離の変化量（撮影距離の変化量）を推定し、この撮影距離の変化量に応じて画角を制御する撮影装置について説明する。
【００６１】
図１３は本発明の実施の形態２に係る撮影装置の構成を示すブロック図である。なお、図５に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省略する。
【００６２】
撮影装置４００は、被写体３００を撮像するための装置であり、被写体との位置関係（撮影距離の変化量）に応じて撮像画像を調整（ズーミング）する点に特徴を有し、多焦点レンズ１０１、撮像センサ１０２、ファインダ１０３、撮影距離変化量推定部４０１、撮影画像バッファ部４０２、焦点距離算出部４０３、表示画像バッファ部４０４、焦点制御部１０７、メモリ部１０８、画像記録部１０９、ズーム極性受付部１１０、およびズーム極性切替部１１１を備えている。
【００６３】
撮影距離変化量推定部４０１は、時間Ｔkに撮像センサ１０２で撮影された撮影画像Ｉkと、撮影画像バッファ部４０２に一時的に保存された過去の時間Ｔk-1に撮像センサ１０２で撮影された撮影画像Ｉk-1をもとに、撮影装置４００と被写体３００との距離の変化量（撮影距離の変化量Ｕk）を推定する。
【００６４】
撮影距離の変化量Ｕkの求め方を、図１４を用いて説明する。図１４（ａ）は、時間Ｔ0から時間ＴEの間で撮影装置４００を被写体３００に近づけていった場合の撮影画像を示している。テーブル５００に被写体３００が置かれていて、時間Ｔ0では撮影画像Ｉ0のように、被写体３００が小さく撮影される。時間ＴEでは撮影装置４００が被写体３００に近づいたため、撮影画像ＩEのように、被写体３００が大きく撮影される。すなわち、図１に示したドリーイング１０１０によって画角が狭くなり、画像が拡大された。この時間Ｔ0と時間ＴEの間で連続する時間Ｔk-1と時間Ｔkを考え、撮影画像をそれぞれ、撮影画像Ｉk-1、撮影画像Ｉkとする。時間Ｔk-1と時間Ｔkの間隔は、フレームレートに依存し、通常、１／３０秒である。図１４（ｂ）に示す画像６００は、撮影画像Ｉk-1と撮影画像Ｉkを重ね合わせた画像で、点線で示すオブジェクトＯk-1が撮影画像Ｉk-1の被写体３００に相当し、実線で示すオブジェクトＯkが撮影画像Ｉkの被写体３００に相当する。時間的に後になるオブジェクトＯkの方が、オブジェクトＯk-1より大きくなる。そこで、オブジェクトの大きさの違いを判定すれば、ドリーイング１０１０の方向を検出でき、撮影装置４００が被写体３００に近づいているのか、逆に遠ざかっているのかがわかる。
【００６５】
オブジェクトの大きさの違いは、オブジェクトに属する複数の注目点が、画像上でどのように移動するのかを解析することで可能であり、一般にオプティカルフローを求めることになる。たとえば、隣接画素と画素値が大きく異なるエッジ部の画素を注目点とし、オブジェクトＯk-1とオブジェクトＯkで注目点をそれぞれ求め、画像６００に示すように、時間Ｔk-1から時間Ｔkの向きで注目点間に矢印を引く。このように、時間的に移動する注目点を画素値に基づいて追跡し、図１５（ａ）に示す画像６０１のように得られた注目点の動き（つまり、矢印）をオプティカルフローと呼ぶ。図１４の例のように、画像が拡大される場合、オプティカルフローは画像の外側へ発散するような向きになる。一方、図１４の例とは逆に、画像が縮小される場合は、図１５（ｂ）の画像６０２に示すように、オプティカルフローは画像の内側に収束するような向きになる。この拡散と収束の判定の具体例は、たとえば、時間Ｔk-1のすべての注目点の重心７００を求めて、重心７００から時間Ｔk-1の注目点（図１５では７０１）の距離ｄk-1と重心７００から時間Ｔkのオプティカルフローの対応点（図１５では７０２）の距離ｄkを比較すればよい。すなわち、
【００６６】
【数６】
2007060794.tif 000040
となる。ノイズの影響で注目点の検出精度が低下したり、すべてのオプティカルフローが同じ方向に判定されないなど、様々な原因で理想的な判定は通常、困難である。そこで、（式６）の判定をすべての注目点で行い、拡散、定常、収束の各状態で投票を行い、最大得票数を得た状態を判定結果にするなどの対策を取れば、撮影装置４００が被写体３００に近づいているのか、遠ざかっているのか、の２値判定は安定に実現できる。引き続き、判定結果と一致したオプティカルフローのみを抽出して、距離ｄk-1と距離ｄkの差分を求め、これらの平均値を観察距離の変化量Ｕkとする。
【００６７】
ところで、オプティカルフローはドリーイング１０１０の検出を目的としているため、時間ｋ−１から時間ｋへ移行する間は多焦点レンズの焦点距離を固定しておく必要がある。そこで、図１３に示した撮影装置４００は、図１６に示すフローチャートに従って動作する。すなわち、撮像センサ１０２は時間ｋ−１において撮影画像Ｉk-1を撮影し（ステップＳ２０１）、撮影画像Ｉk-1は撮影画像バッファ部４０２に保存される（ステップＳ２０２）。引き続き、撮像センサ１０２は時間ｋにおいて撮影画像Ｉkを撮影し（ステップＳ２０３）、撮影画像Ｉkは撮影距離変化推定部４０１に出力される。同時に撮影画像Ｉk-1も撮影画像バッファ部４０２から撮影距離変化推定部４０１に出力される（ステップＳ２０４）。撮影距離変化推定部４０１は、図１５を用いて説明した方法でオプティカルフローを計算し、移動量Ｕkを算出する（ステップＳ２０５）。以降、焦点距離Ｆkの算出（ステップＳ２０６）と焦点距離の変更（ステップＳ２０７）は、それぞれ実施の形態１のステップＳ１０６とステップＳ１０７と同一であるため、説明を割愛する。最後に、焦点制御部１０７は、多焦点レンズ１０１の焦点距離の変更を終えた後に、画像書き込み許可信号ＷＥＳを表示画像バッファ部４０４へ出力する。表示画像バッファ部４０４は、撮像センサ１０２の出力を保存し、ファインダ１０３と画像記録部１０９へ保存した画像を出力する。ただし、撮像センサ１０２からの出力を表示画像バッファ部４０４に書き込むには、画像書き込み許可信号ＷＥＳを有効にする必要があり、画像書き込み許可信号ＷＥＳが無効である場合は、撮像センサ１０２からの出力を表示画像バッファ部４０４に保存できない。この仕組みによって、図１４に説明したドリーイング１０１０による画角変更の画像はファインダ１０３と画像記録部１０９に出力されず、多焦点レンズ１０１による画角変更の画像、つまりズーミング１０１４による画角変更の画像のみがファインダ１０３と画像記録部１０９に出力される。また、焦点距離制御部１０７は、移動量Ｕkが変更されない限り、多焦点レンズ１０１の焦点距離を動かすことはないため、撮影距離変化量推定部４０１でオプティカルフローの処理が行われる時間ｋ−１から時間ｋの間にズーミング１０１４が動作することはなく、移動量Ｕkはドリーイング１０１０の動きのみで決定される。
【００６８】
なお、本発明はオブジェクトの大きさの違いの判定方法を制限するものではなく、任意の方法を利用できる。たとえば、隣接画素との輝度や色の違いが大きい基準図形を特定し、基準図形の位置、大きさ、形状、明るさ、色などの変化から、ズーム極性と観察距離の変化量Ｕkを算出しても構わない。また、注目点検出やオプティカルフローの方向判定、検出されたオプティカルフローから観察距離の変化量Ｕkを求める方法も一例であり、本発明に制約を与えるものではない。
【００６９】
また、時間Ｔk-1を時間Ｔkの１／３０秒前としたが、これは一例であり、本発明は時間Ｔk-1の設定方法に制約を与えるものではない。また、撮影画像バッファ部４０２には時間Ｔk-1の画像１枚のみを保存したが、過去の画像を複数枚保存しても構わない。
【００７０】
以上のように、撮影距離変化量推定部４０１、撮影画像バッファ部４０２、焦点距離算出部４０３、表示画像バッファ部４０４以外の構成は実施の形態１と同じであり、実現する機能も同一である。撮影距離計測に撮像センサを用いる効果は、センサの多様性にある。つまり、超音波センサや赤外光センサは距離計測専用であり、他の用途との併用が難しい。一方、撮像センサは画像撮像と距離計測の２つの用途に適用可能である。よって、軽量性やコンパクト性が求められるカメラ付携帯電話などで有効に活用できる。また、現在、市場に流通しているデジタルスチルカメラやデジタルビデオカメラの構成をそのまま適用できるため、新しい距離計測用のセンサを追加することなく、カメラの動きでズーミングできる付加価値を与えることができる。
【００７１】
（実施の形態３）
本実施の形態では、距離センサで被写体までの距離を計測し、この距離に応じて撮像画角を制御し、かつ撮像画像の一部を切り出す撮影装置について説明する。撮影画角調整は光軸を中心に撮影範囲が変化するが、画像上の任意の位置を切り出す機能を付加することで、より自由度の高いフレーミングが可能になる。
【００７２】
図１７は本発明の実施の形態３に係る撮影装置の構成を示すブロック図である。なお、図５に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省略する。
【００７３】
撮影装置８００は、被写体３００を撮像するための装置であり、実施の形態１の特徴に加えて、被写体との位置関係（被写体までの距離）に応じて撮像画像を調整（切り出す範囲を調整）する点に特徴を有し、図１７に示すように多焦点レンズ１０１、被写体撮像センサ１０２、ファインダ１０３、距離センサ１０４、切り出し範囲算出部８０１、画像切り出し部８０２、焦点制御部１０７、メモリ部１０８、画像記録部１０９、ズーム極性受付部１１０、およびズーム極性切替部１１１を備えている。
【００７４】
切り出し範囲算出部８０１は、（式１）で与えられる移動量Ｕiに基づいて切り出し範囲を算出する。ここでは、切り出し範囲算出部８０１は、画素数が幅ｗ、高さｈの画像に対する切り出し範囲を次の（式７）のように比率γで指定して算出する。
【００７５】
【数７】
2007060794.tif 000041
【００７６】
ここで、（ｘ、ｙ）left, topは切り出し範囲を表す矩形の左上頂点の画像座標を、（ｘ、ｙ）right,bottomは切り出し範囲を表す矩形の右下頂点の画像座標を表す。ただし比率γは０〜１である。この比率γを、たとえば、
【００７７】
【数８】
2007060794.tif 000042
のように相対移動量Ｖiと関連付けさせる。（式８）に従えば、図１８（ａ）に示すように撮影装置１００を被写体３００に近づけると、図１８（ｂ）に示すように切り出し範囲が広くなるように機能する。つまり、時間Ｔi-1から時間Ｔiへ進んで撮影距離Ｄが短くなり（撮影距離Ｄi-1＞撮影距離Ｄi）、（式３）より相対移動量Ｖiが負になる。（式８）で相対移動量Ｖiが負の場合、比率γが大きくなり、切り出し範囲が広くなる。また、（式８）に従えば、図１８（ｃ）に示すように撮影装置１００を被写体３００から遠ざけると、図１８（ｄ）に示すように切り出し範囲が狭くなるように機能する。時間Ｔi-1から時間Ｔiへ進んで撮影距離Ｄが長くなり（撮影距離Ｄi-1＜撮影距離Ｄi）、（式３）より相対移動量Ｖiが正になる。（式８）で相対移動量Ｖiが正の場合、比率γが小さくなり、切り出し範囲が狭くなる。
【００７８】
一方、（式９）に従えば、図１９（ａ）に示すように撮影装置１００を被写体３００に近づけると、図１９（ｂ）に示すように切り出し範囲が狭くなるように機能する。つまり、時間Ｔi-1から時間Ｔiへ進んで撮影距離Ｄが短くなり（撮影距離Ｄi-1＞撮影距離Ｄi）、（式３）より相対移動量Ｖiが負になる。（式９）で相対移動量Ｖiが負の場合、比率γが小さくなり、切り出し範囲が狭くなる。また、（式９）に従えば、図１９（ｃ）に示すように撮影装置１００を被写体３００から遠ざけると、図１９（ｄ）に示すように切り出し範囲が広くなるように機能する。時間Ｔi-1から時間Ｔiへ進んで撮影距離Ｄが長くなり（撮影距離Ｄi-1＜撮影距離Ｄi）、（式３）より相対移動量Ｖiが正になる。（式９）で相対移動量Ｖiが正の場合、比率γが大きくなり、切り出し範囲が広くなる。
【００７９】
画像切り出し部８０２は、多焦点レンズ１０１を通して被写体撮像センサ１０２で撮像される被写体３００の画像を、切り出し範囲算出部８０１で算出された切り出し範囲で切り出し、ファインダ１０３および画像記録部１０８へ出力する。
【００８０】
以上の構成から、撮像者２００が撮影装置８００を手で持って動かすと、撮影距離Ｄが変更され、多焦点レンズ１０１の焦点距離を変更することができ、実施の形態１と同じ構成と機能を有する。さらに、本実施の形態では、撮影距離Ｄの移動量に応じて撮像センサ１０２で撮像された画像の切り出し範囲を算出する切り出し範囲算出部８０１を備えているので、切り出し範囲を撮影距離Ｄの移動量に連動して制御できる。
【００８１】
なお、切り出し範囲算出部８０１が算出する切り出し範囲の位置については、たとえば（式７）に示す左上頂点および右下頂点の画像座標を所定量移動させればよい。このように、撮像者２００はファインダ１０３を用いて撮像画角および切り出し範囲を含むフレーミングの目視確認が可能である。
【００８２】
以上により、光軸を中心に撮影範囲が変化するズーミングに加えて、任意の位置で映像を切り出すフレーミングが撮影装置の移動動作の中に組み込まれる。なお、本発明は画像切り出し部８０２の機能を限定するものではないため、被切り出し画像は任意であり、たとえば画像記録部１０９に記録した撮影画像を再生してディスプレイに表示する際に切り出しが実行されても構わない。
【００８３】
また、本実施の形態では、被写体までの距離に応じて焦点距離を調整するとともに撮像画像の切り出し範囲が調整されたが、本発明は、必ずしも、焦点距離と切り出し範囲の両方を制御する必要はない。つまり、本発明に係る撮影装置は、被写体までの距離に応じて撮像画像を切り出す範囲を調整する機能だけを備えていてもよい。この機能だけであっても、撮影者は、撮影装置の動きのみで撮影装置の画角を決定できるので、撮影操作が直感的で容易となる。さらに、切り出し範囲の調整方法の詳細については、実施の形態１及び２における「焦点距離の調整」を「切り出し範囲の調整」に置き換えることで、様々な調整方法が可能である。
【００８４】
（実施の形態４）
本実施の形態では、実施の形態１に加えて、撮影者が画角変更の感度を調整できる撮影装置について説明する。
【００８５】
図２０は本発明の実施の形態４に係る撮影装置の構成を示すブロック図である。なお、図５に示す撮影装置と同様の部分については同じ符号を付し、詳細な説明を省略する。
【００８６】
撮影装置９００は、被写体３００を撮像するための装置であり、被写体との位置関係（被写体までの距離）に応じて撮像画像を調整（ズーミング）する際の感度を調整できる点に特徴を有し、多焦点レンズ１０１、撮像センサ１０２、ファインダ１０３、距離センサ１０４、撮影距離バッファ部１０５、焦点距離算出部１０６、焦点制御部１０７、メモリ部１０８、画像記録部１０９、ズーム極性受付部１１０、ズーム極性切替部１１１、画角感度受付部９０１、および画角感度変更部９０２を備えている。
【００８７】
画角感度受付部９０１は相対移動量Ｖiに対する画角の変更量（画角感度α）を撮影者から受け付ける。画角感度変更部９０２は、画角感度受付部９０１によって受け付けられた画角感度αに変更し、焦点距離算出部１０６に与える。図８では、多焦点レンズが持つ焦点距離の可動範囲すべてを移動量ＤA−ＤBに対応させたが、撮影者が意図するフレーミングによっては、焦点距離の可動範囲の一部（たとえば、６６ｍｍから１５０ｍｍ）を移動量ＤA−ＤBに対応させたい場合も考えられる。そこで、ファインダ１０３に表示される画像の画角変更の割合が大きすぎる場合、画角感度αを低くして、移動量ＤA−ＤBに対する画角変更の割合を低くする。具体的には、次の（式１０）と（式１１）に示すように、相対移動量Ｖiに画角感度αを乗算する。
【００８８】
【数９】
2007060794.tif 000043
【００８９】
移動量Ｖiを固定した場合、画角感度αを小さくすれば、焦点距離Ｆi-1から焦点距離Ｆiへの変化量は小さくなり、画角変更量は抑えられる。画角感度αを低くした後に、撮影者のフレーミング意図が変わり、画角変更の割合を再び大きくしたい場合も考えられる。そこで、ファインダ１０３に表示される画像の画角変更の割合が足りない場合、画角感度αを高くして、移動量ＤA−ＤBに対する画角変更の割合を高くする。ただし、多焦点レンズ１０１の可動範囲を超えて焦点距離を設定できないため、可動範囲を超える場合は、可動範囲の最小値、あるいは最大値で焦点距離をクリッピングする。画像処理による電子式デジタルズームを用いる場合も同様である。
【００９０】
図２１は、撮影装置９００に設けられた画角感度入力ボタン９０３の一例を示す図である。撮影者２００は、画角感度入力ボタン９０３を押すことで、たとえば、画角感度αを１、１．５、２、と順に大きくしたり、１、０．５、０．２５、０．１２５、と順に小さくできる。大きくするのか、あるいは小さくするのか、という増減の方向は、たとえば、ズーム極性切り替えボタン１１２で兼用し、画角感度入力ボタン９０２を押した直後は、ズーム極性切り替えボタン１１２が画角感度αの増減方向の切り替え用に機能する。
【００９１】
次に、図２２と図２３を用いて、画角感度変更部９０２の詳細を具体例で説明する。
【００９２】
図２２は、画角感度αを変更した際の焦点距離の変化の一例であり、起動時Ｔ0では、図９と同じように、位置Ａで焦点距離１９２ｍｍ、位置Ｂで焦点距離２４ｍｍに設定されている。時間Ｔ0では、画角感度αを１、ズーム極性を（式１０）として撮影装置９００を起動する。この時点では、図９の場合と同様に、腕の伸縮範囲（位置Ａと位置Ｂの間）と焦点距離の可動範囲（２４ｍｍから１９２ｍｍ）が一致する。その後、時間Ｔi-1に至るまで、画角感度αは１に設定され、時間Ｔi-1において、撮影装置９００は位置Ａと位置Ｂの中間に当たる位置Ｐi-1にある。ここで、画角感度αi-1が１／２に設定され、焦点距離の変更感度が半分に落ちる。相対移動量Ｖi-1は０．５であり、時間Ｔiには撮影装置９００は位置Ｐiに移動し、焦点距離Ｆiは（式１０）から、６６ｍｍとなる。次に、時間Ｔi+1には撮影装置９００は位置Ｐi+1に移動し、相対移動量Ｖiは−０．５に変更され、焦点距離は（式１０）から１０８ｍｍに戻る。引き続き、時間Ｔi+2には撮影装置９００は位置Ｐi+2に移動し、相対移動量Ｖi+1は−０．５が設定され、焦点距離は（式１０）から１５０ｍｍに設定される。以上のように、画角感度αを１／２に設定した場合、腕の伸縮による可動範囲では、焦点距離は６６ｍｍから１５０ｍｍの間の８４ｍｍの範囲で制御され、画角感度αが１の場合（１６８ｍｍの範囲＝１９２ｍｍ−２４ｍｍ）に比べて、半分の範囲になる。従って、画角感度αを１より小さくした場合、ピッチが細かくなり、より細かな焦点距離制御が可能になる。
【００９３】
図２３は、画角感度αを変更した際の焦点距離の変化の一例であり、起動時Ｔ0では、図９と同じように、位置Ａで焦点距離１９２ｍｍ、位置Ｂで焦点距離２４ｍｍに設定されている。時間Ｔ0では、画角感度αを１、ズーム極性を（式１０）として撮影装置９００を起動する。この時点では、図９の場合と同様に、腕の伸縮範囲（位置Ａと位置Ｂの間）と焦点距離の可動範囲（２４ｍｍから１９２ｍｍ）が一致する。その後、時間Ｔi-jに至る以前で画角感度αが１／２に設定され、図２２と同じ要領で、時間Ｔi-jにおいて、位置Ａの焦点距離が１５０ｍｍ、位置Ｂの焦点距離が６６ｍｍに設定された。引き続き、画角感度αは１／２に設定され、時間Ｔi-1で画角感度αが１に設定され、焦点距離の変更感度が起動時と同じ状態に戻された。時間Ｔi-1において、撮影装置９００は位置Ａと位置Ｂの中間にある位置Ｐi-1にあり、時間Ｔiには位置Ｐiに移動し、相対移動量Ｖi-1は０．５となる。画角感度αi-1は１であり、時間Ｔiにおける焦点距離Ｆiは（式１０）から、２４ｍｍとなり、起動時と同じ焦点距離に戻る。以上のように、画角感度αを１未満に設定して、その後、画角感度αを１に設定すれば、撮影装置９００の位置と焦点距離の関係は、起動時の状態に戻る。
【００９４】
次に、画角感度αiが２に設定された後、時間Ｔi+1には撮影装置９００は位置Ｐi+1に移動し、相対移動量Ｖiは−０．５となる。そこで、焦点距離は（式１０）から１９２ｍｍになる。以上のように、画角感度αを１より大きくした場合、画角感度αが１の場合に比べて、ピッチが大きくなり、小さな移動量で焦点距離を大きく変更できる。
【００９５】
引き続き、画角感度αi+1は２のままで、時間Ｔi+2には撮影装置９００は位置Ｐi+2に移動し、相対移動量Ｖi+1は−０．５となり、焦点距離は（式１０）から、３６０ｍｍとなる。多焦点レンズ１０１の最長焦点距離は１９２ｍｍであるため、焦点距離算出部１０６は３６０ｍｍを１９２ｍｍにクリッピングし、多焦点レンズ１０１は１９２ｍｍに設定される。従って、時間Ｔi+1から時間Ｔi+2へ進んでも、焦点距離は動かず、ファインダ１０３に表示される撮影画像の画角は変わらない。
【００９６】
次に、画角感度αi+2は１に設定された後、時間Ｔi+3には撮影装置９００は位置Ｐi+3に移動し、相対移動量Ｖi+2は０．５となる。そこで、焦点距離は（式１０）から、１０８ｍｍとなる。以上のように、画角感度αを、１を超える値に設定し、その後、撮影装置９００を腕の伸縮の可動範囲端（つまり、位置Ａあるいは位置Ｂ）まで移動し、画角感度αを１に設定すれば、撮影装置９００の位置と焦点距離の関係は、起動時の状態に戻る。
【００９７】
以上より、画角感度αを撮影装置の移動量に乗算することで、撮影装置の移動量と焦点距離の変化量の関係を変更でき、撮影者は、画角感度αを低くすることで、オブジェクトの細部を細かな画角変更で詳細に確認でき、たとえば電子商取引における商品のデザインの確認や、芸術品や動植物などの鑑賞等で有効に利用できる。一方、画角感度αを高くすることで、視野全体とオブジェクトの細部を素早く切り替えられる。視野全体とオブジェクトの細部の切り替えは、たとえばスポーツ撮影で利用されることが多い。すなわち、野球の例では、バッターがボールを打った瞬間に投手とバッターを捉える狭角撮影が観客席を含む広角撮影に切り替えられることが多い。また映像効果を高めるために画角を変える場合もあり、たとえば数十人で構成されるオーケストラの演奏のように、演奏者全員を捕らえる広角撮影からある特定のパート（たとえばピアノ奏者）を捕らえる狭角撮影に切り替える際に画角感度αの調整が有効である。以上のように、画角感度αの切り替えは、観察したい細部が目視確認できる拡大率を確保したり、スポーツ撮影のように動きが激しい被写体をフレーム内に捉え続けるために有効に活用できる。
【００９８】
上記各実施の形態において、撮像センサ１０２は請求の範囲における撮像部に、距離センサ１０４は請求の範囲における距離算出部に、焦点距離算出部１０６は請求の範囲における焦点距離算出部に、焦点制御部１０７は請求の範囲における焦点距離制御部にそれぞれ相当する。また、撮影距離変化量推定部４０１および撮影画像バッファ部４０２は、請求の範囲における距離算出部に相当する。さらに、切り出し範囲算出部８０１は請求の範囲における切り出し範囲算出部に、画像切り出し部８０２は請求の範囲における画像切り出し部にそれぞれ相当する。また、画角感度変更部９０２は請求の範囲における焦点距離制御部に相当する。
【産業上の利用可能性】
【００９９】
本発明に係る撮影装置、撮影方法およびプログラムは、撮影者が撮影装置を動かすことによって焦点距離が制御されるため、撮影装置の動きのみで撮影画角を決定でき、例えばデジタルカメラ、スチルカメラ、ビデオカメラ、カメラ付き携帯電話等に用いるのに有用である。
【図面の簡単な説明】
【０１００】
【図１】図１は、本発明の背景技術を示す図である。
【図２】図２は、本発明の背景技術を示す図である。
【図３】図３は、本発明の背景技術を示す図である。
【図４】図４は、本発明の実施の形態１に係る撮影装置を用いて被写体を撮影する様子を示す概略図である。
【図５】図５は、実施の形態１に係る撮影装置の構成を示すブロック図である。
【図６】図６は、実施の形態１に係る撮影装置における焦点距離の変更の動作の流れを示すフローチャートである。
【図７】図７は、焦点距離、画角、撮影距離、撮像センサの大きさの関係を示す図である。
【図８】図８は、撮影装置の位置と焦点距離の関係の一例を示す図である。
【図９】図９は、撮影装置の位置と焦点距離の時間的変化の一例を示す図である。
【図１０】図１０は、撮影距離の変化と画角の変化の関係を（式４）に基づいて説明する図である。
【図１１】図１１は、撮影距離の変化と画角の変化の関係を（式５）に基づいて説明する図である。
【図１２】図１２は、ズーム極性切り替えボタンを説明する図である。
【図１３】図１３は、実施の形態２に係る撮影装置の構成を示すブロック図である。
【図１４】図１４は、撮影距離の変化によるオブジェクトの大きさの違いを説明する図である。
【図１５】図１５は、オプティカルフローにより撮影装置の移動方向を求める原理を説明する図である。
【図１６】図１６は、実施の形態２に係る撮影装置における焦点距離の変更の動作の流れを示すフローチャートである。
【図１７】図１７は、実施の形態３に係る撮影装置の構成を示すブロック図である。
【図１８】図１８は、撮影距離の変化と切り出し範囲の変化の関係を（式１０）に基づいて説明する図である。
【図１９】図１９は、撮影距離の変化と切り出し範囲の変化の関係を（式１１）に基づいて説明する図である。
【図２０】図２０は、実施の形態４に係る撮影装置の構成を示すブロック図である。
【図２１】図２１は、画角感度入力ボタンを説明する図である。
【図２２】図２２は、画角感度αを変更した際の焦点距離の変化の一例を示す図である。
【図２３】図２３は、画角感度αを変更した際の焦点距離の変化の一例を示す図である。
【符号の説明】
【０１０１】
１００、４００、８００、９００  撮影装置
１０１  多焦点レンズ
１０２  撮像センサ
１０３  ファインダ
１０４  距離センサ
１０５  撮影距離バッファ部
１０６、４０３  焦点距離算出部
１０７  焦点制御部
１０８  メモリ部
１０９  画像記録部
１１０  ズーム極性受付部
１１１  ズーム極性切替部
２００  撮影者
３００  被写体
４０１  撮影距離変化量推定部
４０２  撮影画像バッファ部
４０４  表示画像バッファ部
８０１  切り出し範囲算出部
８０２  切り出し部
９０１  画角感度受付部
９０２  画角感度変更部
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007060794.tif 000044
【図２】
2007060794.tif 000045
【図３】
2007060794.tif 000046
【図４】
2007060794.tif 000047
【図５】
2007060794.tif 000048
【図６】
2007060794.tif 000049
【図７】
2007060794.tif 000050
【図８】
2007060794.tif 000051
【図９】
2007060794.tif 000052
【図１０】
2007060794.tif 000053
【図１１】
2007060794.tif 000054
【図１２】
2007060794.tif 000055
【図１３】
2007060794.tif 000056
【図１４】
2007060794.tif 000057
【図１５】
2007060794.tif 000058
【図１６】
2007060794.tif 000059
【図１７】
2007060794.tif 000060
【図１８】
2007060794.tif 000061
【図１９】
2007060794.tif 000062
【図２０】
2007060794.tif 000063
【図２１】
2007060794.tif 000064
【図２２】
2007060794.tif 000065
【図２３】
2007060794.tif 000066
【手続補正書】
【提出日】平成20年1月10日(2008.1.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体との位置関係に応じて撮像画像を調整する撮影装置であって、
多焦点レンズを用いて被写体を撮影する撮影部と、
前記撮影部で撮像された画像に含まれるオブジェクトに属する注目点の動きを示すオプティカルフローを求めることで、所定時間における前記オブジェクトと現時点における前記オブジェクトの大きさの違いを算出し、算出した大きさの違いに基づいて当該撮影装置から被写体までの距離の変化量を算出する距離算出部と、
前記被写体までの距離の変化量に基づいて前記多焦点レンズの焦点距離を算出する焦点距離算出部と、
前記多焦点レンズの焦点距離を前記焦点距離算出部によって算出された焦点距離に合わせるように制御する焦点距離制御部とを備え、
前記距離算出部は、前記オブジェクトに属する複数の注目点の動きを示すオプティカルフローについて、前記複数の注目点の重心から各注目点までの距離の増減を判定することで、拡散、定常、収束のいずれの状態であるかを判断し、最も多い状態のオプティカルフローのみを抽出し、抽出したオプティカルフローについて、前記所定時間と現時点における前記重心から各注目点までの距離の差分を求め、求めた差分の平均値を前記変化量として算出する
ことを特徴とする撮影装置。
【請求項２】
前記焦点距離算出部は、前記距離の変化量が、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短いことを示す場合に、前記多焦点レンズの焦点距離を長く算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長いことを示す場合に、前記多焦点レンズの焦点距離を短く算出する
ことを特徴とする請求項１記載の撮影装置。
【請求項３】
前記焦点距離算出部は、前記距離の変化量が、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短いことを示す場合に、前記多焦点レンズの焦点距離を短く算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長いことを示す場合に、前記多焦点レンズの焦点距離を長く算出する
ことを特徴とする請求項１記載の撮影装置。
【請求項４】
前記焦点距離算出部は、前記距離の変化量に重みを掛けて、前記多焦点レンズの焦点距離の変更量に対する前記被写体までの距離の差の寄与率を可変にする
ことを特徴とする請求項１記載の撮影装置。
【請求項５】
被写体との位置関係に応じて撮像画像を調整する撮影装置であって、
多焦点レンズを用いて被写体を撮影する撮影部と、
前記撮影部で撮像された画像に含まれるオブジェクトに属する注目点の動きを示すオプティカルフローを求めることで、所定時間における前記オブジェクトと現時点における前記オブジェクトの大きさの違いを算出し、算出した大きさの違いに基づいて当該撮影装置から被写体までの距離の変化量を算出する距離算出部と、
前記被写体までの距離の変化量に基づいて前記撮像画像から切り出す画像範囲を算出する切り出し範囲算出部と、
前記切り出し範囲算出部による算出結果に従って、前記撮像画像から一部を切り出す画像切り出し部とを備え、
前記距離算出部は、前記オブジェクトに属する複数の注目点の動きを示すオプティカルフローについて、前記複数の注目点の重心から各注目点までの距離の増減を判定することで、拡散、定常、収束のいずれの状態であるかを判断し、最も多い状態のオプティカルフローのみを抽出し、抽出したオプティカルフローについて、前記所定時間と現時点における前記重心から各注目点までの距離の差分を求め、求めた差分の平均値を前記変化量として算出する
ことを特徴とする撮影装置。
【請求項６】
前記切り出し範囲算出部は、前記距離の変化量が、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短いことを示す場合に、前記撮像画像の切り出し画像範囲を小さく算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長いことを示す場合に、前記撮像画像の切り出し画像範囲を大きく算出する
ことを特徴とする請求項５記載の撮影装置。
【請求項７】
前記切り出し範囲算出部は、前記距離の変化量が、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より短いことを示す場合に、前記撮像画像の切り出し画像範囲を大きく算出し、現時点における前記被写体までの距離が所定時間における前記被写体までの距離より長いことを示す場合に、前記撮像画像の切り出し画像範囲を小さく算出する
ことを特徴とする請求項５記載の撮影装置。
【請求項８】
前記切り出し範囲算出部は、前記距離の変化量に重みを掛けて、前記撮像画像から切り出す画像範囲の変更量に対する前記被写体までの距離の差の寄与率を可変にする
ことを特徴とする請求項５記載の撮影装置。
【請求項９】
被写体を撮像する撮影装置を備える携帯端末装置であって、
請求項１あるいは請求項５に記載の撮影装置を備える
ことを特徴とする携帯端末装置。
【請求項１０】
被写体との位置関係に応じて撮像画像を調整する撮影方法であって、
多焦点レンズを用い被写体を撮像する撮像ステップと、
前記撮影ステップで撮像された画像に含まれるオブジェクトに属する注目点の動きを示すオプティカルフローを求めることで、所定時間における前記オブジェクトと現時点における前記オブジェクトの大きさの違いを算出し、算出した大きさの違いに基づいて当該撮影装置から被写体までの距離の変化量を算出する距離算出ステップと、
前記被写体までの距離の変化量に基づいて前記多焦点レンズの焦点距離を算出する焦点距離算出ステップと、
前記多焦点レンズの焦点距離を前記焦点距離算出部によって算出された焦点距離に合わせるように制御する焦点距離制御ステップとを含み、
前記距離算出ステップでは、前記オブジェクトに属する複数の注目点の動きを示すオプティカルフローについて、前記複数の注目点の重心から各注目点までの距離の増減を判定することで、拡散、定常、収束のいずれの状態であるかを判断し、最も多い状態のオプティカルフローのみを抽出し、抽出したオプティカルフローについて、前記所定時間と現時点における前記重心から各注目点までの距離の差分を求め、求めた差分の平均値を前記変化量として算出する
ことを特徴とする撮影方法。
【請求項１１】
被写体との位置関係に応じて撮像画像を調整する撮影装置であって、
多焦点レンズを用いて被写体を撮影する撮影部と、
前記撮影部で撮像された画像に含まれる基準図形を抽出し、所定時間における前記基準図形と現時点における前記基準図形との違いに基づいて当該撮影装置から被写体までの距離を算出する距離算出部と、
前記被写体までの距離に基づいて前記多焦点レンズの焦点距離を算出する焦点距離算出部と、
前記多焦点レンズの焦点距離を前記焦点距離算出部によって算出された焦点距離に合わせるように制御する焦点距離制御部とを備え
前記焦点距離算出部は、所定時間における前記被写体までの距離と現時点における前記被写体までの距離との差に重みを掛けて、前記多焦点レンズの焦点距離の変更量に対する前記被写体までの距離の差の寄与率を可変にする
ことを特徴とする撮影装置。
【請求項１２】
被写体との位置関係に応じて撮像画像を調整する撮影方法であって、
多焦点レンズを用いて被写体を撮影する撮影ステップと、
前記撮影ステッで撮像された画像に含まれる基準図形を抽出し、所定時間における前記基準図形と現時点における前記基準図形との違いに基づいて当該撮影装置から被写体までの距離を算出する距離算出ステップと、
前記被写体までの距離に基づいて前記多焦点レンズの焦点距離を算出する焦点距離算出ステップと、
前記多焦点レンズの焦点距離を前記焦点距離算出ステップによって算出された焦点距離に合わせるように制御する焦点距離制御ステップとを含み、
前記焦点距離算出ステップでは、所定時間における前記被写体までの距離と現時点における前記被写体までの距離との差に重みを掛けて、前記多焦点レンズの焦点距離の変更量に対する前記被写体までの距離の差の寄与率を可変にする
ことを特徴とする撮影方法。
【請求項１３】
被写体との位置関係に応じて撮像画像を調整する撮影装置であって、
多焦点レンズを用いて被写体を撮影する撮影部と、
前記撮影部で撮像された画像に含まれる基準図形を抽出し、所定時間における前記基準図形と現時点における前記基準図形との違いに基づいて当該撮影装置から被写体までの距離を算出する距離算出部と、
前記被写体までの距離に基づいて前記撮像画像から切り出す画像範囲を算出する切り出し範囲算出部と、
前記切り出し範囲算出部による算出結果に従って、前記撮像画像から一部を切り出す画像切り出し部とを備え
前記切り出し範囲算出部は、所定時間における前記被写体までの距離と現時点における前記被写体までの距離との差に重みを掛けて、前記撮像画像から切り出す画像範囲の変更量に対する前記被写体までの距離の差の寄与率を可変にする
ことを特徴とする撮影装置。
【請求項１４】
被写体との位置関係に応じて撮像画像を調整する撮影方法であって、
多焦点レンズを用いて被写体を撮影する撮影ステップと、
前記撮影ステッで撮像された画像に含まれる基準図形を抽出し、所定時間における前記基準図形と現時点における前記基準図形との違いに基づいて当該撮影装置から被写体までの距離を算出する距離算出ステップと、
前記被写体までの距離に基づいて前記撮像画像から切り出す画像範囲を算出する切り出し範囲算出ステップと、
前記切り出し範囲算出ステップによる算出結果に従って、前記撮像画像から一部を切り出す画像切り出しステップとを含み、
前記切り出し範囲算出ステップでは、所定時間における前記被写体までの距離と現時点における前記被写体までの距離との差に重みを掛けて、前記撮像画像から切り出す画像範囲の変更量に対する前記被写体までの距離の差の寄与率を可変にする
ことを特徴とする撮影方法。
【請求項１５】
被写体との位置関係に応じて撮像画像を調整する撮影装置であって、
多焦点レンズを用いて被写体を撮影する撮影部と、
前記撮影部で撮像された画像に含まれるオブジェクトに属する注目点の動きを示すオプティカルフローを求めることで、所定時間における前記オブジェクトと現時点における前記オブジェクトの大きさの違いを算出し、算出した大きさの違いに基づいて当該撮影装置から被写体までの距離の変化量を算出する距離算出部と、
前記被写体までの距離の変化量に基づいて前記多焦点レンズの焦点距離を算出する焦点距離算出部と、
前記多焦点レンズの焦点距離を前記焦点距離算出部によって算出された焦点距離に合わせるように制御する焦点距離制御部とを備え、
前記焦点距離算出部は、前記距離の変化量に重みを掛けて、前記多焦点レンズの焦点距離の変更量に対する前記被写体までの距離の差の寄与率を可変にする
ことを特徴とする撮影装置。
【請求項１６】
被写体との位置関係に応じて撮像画像を調整する撮影方法であって、
多焦点レンズを用いて被写体を撮影する撮影ステップと、
前記撮影ステップで撮像された画像に含まれるオブジェクトに属する注目点の動きを示すオプティカルフローを求めることで、所定時間における前記オブジェクトと現時点における前記オブジェクトの大きさの違いを算出し、算出した大きさの違いに基づいて当該撮影装置から被写体までの距離の変化量を算出する距離算出ステップと、
前記被写体までの距離の変化量に基づいて前記多焦点レンズの焦点距離を算出する焦点距離算出ステップと、
前記多焦点レンズの焦点距離を前記焦点距離算出ステップによって算出された焦点距離に合わせるように制御する焦点距離制御ステップとを含み、
前記焦点距離算出ステップでは、前記距離の変化量に重みを掛けて、前記多焦点レンズの焦点距離の変更量に対する前記被写体までの距離の差の寄与率を可変にする
ことを特徴とする撮影方法。
【請求項１７】
被写体との位置関係に応じて撮像画像を調整する撮影装置であって、
多焦点レンズを用いて被写体を撮影する撮影部と、
前記撮影部で撮像された画像に含まれるオブジェクトに属する注目点の動きを示すオプティカルフローを求めることで、所定時間における前記オブジェクトと現時点における前記オブジェクトの大きさの違いを算出し、算出した大きさの違いに基づいて当該撮影装置から被写体までの距離の変化量を算出する距離算出部と、
前記被写体までの距離の変化量に基づいて前記撮像画像から切り出す画像範囲を算出する切り出し範囲算出部と、
前記切り出し範囲算出部による算出結果に従って、前記撮像画像から一部を切り出す画像切り出し部とを備え、
前記切り出し範囲算出部は、前記距離の変化量に重みを掛けて、前記撮像画像から切り出す画像範囲の変更量に対する前記被写体までの距離の差の寄与率を可変にする
ことを特徴とする撮影装置。
【請求項１８】
被写体との位置関係に応じて撮像画像を調整する撮影方法であって、
多焦点レンズを用いて被写体を撮影する撮影ステップと、
前記撮影ステップで撮像された画像に含まれるオブジェクトに属する注目点の動きを示すオプティカルフローを求めることで、所定時間における前記オブジェクトと現時点における前記オブジェクトの大きさの違いを算出し、算出した大きさの違いに基づいて当該撮影装置から被写体までの距離の変化量を算出する距離算出ステップと、
前記被写体までの距離の変化量に基づいて前記撮像画像から切り出す画像範囲を算出する切り出し範囲算出ステップと、
前記切り出し範囲算出ステップによる算出結果に従って、前記撮像画像から一部を切り出す画像切り出しステップとを含み、
前記切り出し範囲算出ステップでは、前記距離の変化量に重みを掛けて、前記撮像画像から切り出す画像範囲の変更量に対する前記被写体までの距離の差の寄与率を可変にする
ことを特徴とする撮影方法。
【請求項１９】
被写体との位置関係に応じて撮像画像を調整する撮影装置のためのプログラムであって、
請求項１０、１２、１４、１６及び１８のいずれか１項に記載の撮影方法に含まれるステップをコンピュータに実行させる
ことを特徴とするプログラム。
【国際調査報告】
2007060794.tif 000067
2007060794.tif 000068