(57)【要約】【課題】  撮影空間に存在する浮遊物がピント合わせに及ぼす影響を低減し、意図せぬ画像補正が生じにくい撮影を行うための仕組みを提供する。【解決手段】  被写体にフォーカスをあてるための機構を備え、静止画又は動画である画像を撮像する撮影装置のフォーカス制御に用いられる画像処理装置であって、前記撮影装置で得られた画像に含まれる、浮遊物を検出する検出手段と、前記検出手段で検出した浮遊物を含めないように前記撮影装置のフォーカスの基準を決定する決定手段とを備えることを特徴とする画像処理装置。【選択図】  図４
2019049643.tif 000002
【特許請求の範囲】
【請求項１】
被写体にフォーカスをあてるための機構を備え、静止画又は動画である画像を撮像する撮影装置のフォーカス制御に用いられる画像処理装置であって、
前記撮影装置で得られた画像に含まれる、浮遊物を検出する検出手段と、
前記検出手段で検出した浮遊物を含めないように前記撮影装置のフォーカスの基準を決定する決定手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記基準は、前記機構と被写体との距離を特定することのできる情報、当該機構に備えられたフォーカスに用いるためのレンズの移動量を決定することのできる情報、当該機構に備えられた複数のオートフォーカスセンサのうちフォーカスに用いるセンサを特定することのできる情報、当該機構がフォーカスを当てるための被写体を特定することのできる情報のいずれか一つを含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理装置は、前記撮影装置で得られた画像を表示する表示装置と通信が可能に接続し、
前記撮影装置で撮像された画像を、前記表示装置に表示するための情報である表示情報を生成する生成手段を更に備えることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記生成手段は、前記撮影装置で撮像された画像を、前記検出手段で検出した浮遊物を識別可能な状態で、前記表示装置に表示するための表示情報を生成することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記撮影装置は、前記検出手段の機能のオン・オフが、切り替え可能に設けられており、
前記生成手段は、前記検出手段の機能がオンの場合に、前記撮影装置で撮像された画像を、当該画像のコントラスト調整をユーザから受付け可能なオブジェクトと共に前記表示装置に表示するための表示情報を生成し、一方、当該検出手段の機能がオフの場合には、前記オブジェクトを前記表示装置に表示しない表示情報を生成することを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
前記検出手段は、前記決定手段で決定された基準に基づいてフォーカス制御が行われた後に前記撮影装置で撮像された画像の中に含まれる浮遊物をもう一度検出し、
前記決定手段は、フォーカスされた被写体が、前記検出手段でもう一度した浮遊物の中に含まれていた場合には、当該検出手段で検出した浮遊物を含めないようにもう一度、前記撮影装置のフォーカスの基準を決定することを特徴とする請求項１乃至５のうちいずれか１項に記載の画像処理装置。
【請求項７】
前記撮影装置は、ユーザからフォーカス対象の指定の受付が可能に設けられており、
前記決定手段は、前記検出手段で検知した浮遊物のうち前記撮影装置がユーザからフォーカス対象として指定された浮遊物に基づいて、当該撮影装置のフォーカスの基準を決定することを特徴とする請求項１乃至６のうちいずれか１項に記載の画像処理装置。
【請求項８】
前記検出手段で検出する浮遊物は、水中の懸濁物であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記決定手段は、前記検出手段で検出した浮遊物を含めないようにするとともに、当該浮遊物の移動量と移動方向とに基づいて前記撮影装置のフォーカスの基準を決定する決定手段とを備えることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
被写体にフォーカスをあてるための機構を備え、静止画又は動画である画像を撮像する撮影装置のフォーカス制御に用いられる画像処理装置における制御方法であって、
前記画像処理装置の検出手段が、前記撮影装置で得られた画像に含まれる、浮遊物を検出する検出工程と、
前記画像処理装置の決定手段が、前記検出手段で検出した浮遊物を含めないように前記撮影装置のフォーカスの基準を決定する決定工程とを含むことを特徴とする制御方法。
【請求項１１】
被写体にフォーカスをあてるための機構を備え、静止画又は動画である画像を撮像する撮影装置のフォーカス制御に用いられる画像処理装置で読み取り実行が可能なプログラムであって、
前記画像処理装置を、
前記撮影装置で得られた画像に含まれる、浮遊物を検出する検出手段と、
前記検出手段で検出した浮遊物を含めないように前記撮影装置のフォーカスの基準を決定する決定手段として機能させることを特徴とするプログラム。
【請求項１２】
被写体にフォーカスをあてるための機構を備え、静止画又は動画である画像を撮像する撮影装置のフォーカス制御に用いられる画像処理のシステムであって、
前記撮影装置で得られた画像に含まれる、浮遊物を検出する検出手段と、
前記検出手段で検出した浮遊物を含めないように前記撮影装置のフォーカスの基準を決定する決定手段とを備えることを特徴とする画像処理のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、画像処理装置、システム、およびそれらの制御方法、プログラムに関する。
【背景技術】
【０００２】
近年、静止画や動画の撮影装置の防水性能の向上と、低価格化が進み、水中撮影（撮像）を楽しむ人々が増えてきている。
【０００３】
しかし、水中撮影は水上の撮影にはない撮影に影響を与える因子が存在するため、撮影者が自分の意図した映像を得るためには、様々な工夫が必要になる。
【０００４】
因子の代表的な例として、水中の懸濁物（例えばマリンスノー）が挙げられる。マリンスノーは、映像のノイズとしてそれ自体の映り込みが好まれないことも多い。また、撮影者がフォーカスしたい被写体の手前に入り込んだ際には、ピント合わせの妨げにもなる。さらには、ハレーションを引き起こしてコントラストに影響を与え、画像の仕上がりに影響することもある。
【０００５】
そこで、水中撮影をする撮影者は、自分の意図通りの画像（静止画や動画といった映像）を得るために、マリンスノーが撮影に及ぼす様々な影響を考慮しながら様々な工夫をこらして撮影を行なってきた。
【０００６】
また、上記を踏まえ、マリンスノーがもたらす影響を考慮した様々な提案もなされてきた。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１１−１２４７２８号公報
【特許文献２】特開２０１６−１６１５９７号公報
【特許文献３】特開平８−７１２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１には、ストロボ発光して撮影した写真と、発行していない写真とを用いて撮影画像に写り込んだマリンスノーを検出し、検出したマリンスノーをノイズとして除去した合成画像を生成する方法が記載されている。このような方法を用いれば、マリンスノーが映り込む環境下においても、あたかもマリンスノーがない環境下のような映像を得ることができる。しかしながら、特許文献１の方法は、単に映像へのマリンスノーの映り込みを軽減するものに過ぎず、マリンスノーが撮影時に与える様々な影響には、対応することができない。
【０００９】
特許文献２には、マリンスノーの映り込み低減した画像に基づいて、マリンスノーが撮影時に与える様々な影響を軽減するための方法が提案されている。
【００１０】
その方法とは、まず、浮遊物検出部３１８で、予め定められた量を超える水中の浮遊物（マリンスノー）が入力画像に写り込んでいるか否かを検出する。次に、マリンスノーが予め定められた量を超えていると判断される際に、「マリンスノーを低減した画像」を生成する。そして、生成した画像に基づいて、適正な（仮想的にマリンスノーの影響の少ない環境下を再現した）コントラストの算出やフォーカス制御を行なうというものである。
【００１１】
しかし、特許文献２の方法は、単に入力画像の中にどの程度の割合でマリンスノーが存在するかを検出し、その結果に基づいて算出したコントラスト値をフォーカス制御に対応させているだけに過ぎない。そのため、ピントを合わせたい被写体と撮影機器との間に存在するマリンスノーにピントが当たってしまうという課題に対し、ピンポイントに対応できるとは言えない。
【００１２】
また、特許文献３の例に示されるように、マリンスノー自体の映り込みや、マリンスノーが映像に及ぼす影響は、「一種の映像の効果・演出（いわゆる画像の「味」）」であるとして、ポジティブに捉えて意図的・積極的に画像に取り入れる、という考え方もある。そして、このような考え方に基づけば、ピント合わせのためにマリンスノーを低減した画像を用いる特許文献２の方法は、マリンスノーの映像に与える効果を殺してしまう恐れのある方法であるため、あまり好ましいとは言えない。
【００１３】
また、これらの問題は、水中撮影（撮像）にとどまらない。例えば、特許文献２に示されるように、陸上で撮影（撮像）する際に、霧、霞、塵埃等の何らかの浮遊物が存在する場合においても、同様の問題が発生する可能性がある。
【００１４】
本発明は、撮影空間に存在する浮遊物がピント合わせに及ぼす影響を低減し、意図せぬ画像補正が生じにくい撮影を行うための仕組みを提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明は、被写体にフォーカスをあてるための機構を備え、静止画又は動画である画像を撮像する撮影装置のフォーカス制御に用いられる画像処理装置であって、前記撮影装置で得られた画像に含まれる、浮遊物を検出する検出手段と、前記検出手段で検出した浮遊物を含めないように前記撮影装置のフォーカスの基準を決定する決定手段とを備えることを特徴とする画像処理装置。
【発明の効果】
【００１６】
このように設けることで、撮影空間に存在する浮遊物がピント合わせに及ぼす影響を低減し、意図せぬ画像補正が生じにくい撮影を行うための仕組みを提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態における撮影装置（撮影装置）の一例を示した構成図である。
【図２】撮影装置１００のハードウエアの構成の一例を示した構成図である。
【図３】撮影装置１００における、カメラユニット２３１、画像処理装置３００（ＣＰＵ２０１が機能を兼ねるケース含む）、表示部２１０の連携の一例を示すブロック図である。
【図４】表示部２１０に表示される画面の一例を示した構成図である。
【図５】本発明の撮影フローの一例を示した構成図である。
【図６】本発明のフォーカス処理に関するサブフローの一例を示した構成図である。
【図７】本発明の表示情報の生成に関するサブフローの一例を示した構成図である。
【図８】本発明の撮影実行（画像の記録）処理に関するサブフローの一例を示した構成図である。
【図９】表示部２１０に表示される画面とタッチパネル操作に関する事例を示した構成図である。
【図１０】ＡＦ（オートフォーカス）フレームの表示された撮影装置１００の表示部２１０の一例を示した構成図である。
【図１１】撮影装置１００と被写体の位置関係に基づく一般的なオートフォーカスの優先順位について説明するための一例を示した構成図である。
【図１２】図１０と図１１（ｂ）とを重ね合わせて表示部２１０に表示した表示画面の一例を示した構成図である。
【図１３】図１２の別の実施例の一例を示した構成図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
【００１９】
図１は、本発明の実施の形態における撮影装置（撮影装置）の一例を示した構成図である。
【００２０】
撮影装置１００は、被写体にフォーカスをあてるための機構（例えば、レンズを駆動させることでピントを合わせる）を備え、静止画又は動画である画像を撮像することが可能な装置である。撮影装置１００は、例えば、静止画及び動画を撮影できるデジタルカメラであり、本発明に係る集積回路で実現された画像処理装置を内蔵している。また、撮影装置１００は、オートフォーカスを行うことができることから、撮影装置１００と映り込んだ映像の被写体との距離を測る機構や、被写体のコントラストを測定る機構を備えている。
【００２１】
図１の（ａ）、（ｂ）、（ｃ）は、いずれも撮影装置１００の一例であり、それぞれデジタルカメラ、スマートフォン等の携帯端末、デジタルビデオカメラの外観の一例を示しているが、これらに限られたものではない。例えば、ウエアラブル端末のような撮影が可能な機器もすべて含まれる。また、本発明における水中撮影とは、防水性能を有する撮影装置を水に入れて撮影するケースと、水槽の壁面やグラスボートの船底を介して水中「を」撮影するケースの双方を想定している。したがって、撮影装置１００は、必ずしも防水性能を有していなくともよい。
【００２２】
図２は、撮影装置１００のハードウエアの構成の一例を示した構成図である。
【００２３】
２０１はＣＰＵで、ＲＯＭ２０２のプログラム用ＲＯＭや外部メモリ２１１に記憶されたプログラムをＲＡＭ２０３にロードして実行することによりシステムバス２０４に接続された各デバイスを制御する。ＣＰＵ２０１は、ＬＳＩ等の半導体集積回路として実現され、特に本発明では、図３に示されるような、画像処理装置３００として、以下のような処理を行うことができる。
１．カメラコントローラ２３０として、カメラユニット２３１の制御を行
（例えば、フォーカス制御やズーム制御など）
２．カメラユニット２３１から得られた映像信号を画像に変換す
（表示部２１０に表示するための画像処理）
３．変換した画像内の、浮遊物（マリンスノーなど）を特定する
４．浮遊物を除外したフォーカス対象の決定する
５．変換した画像にユーザに通知する情報※をスーパーインポーズす
（※例：検出した浮遊物や、決定したフォーカス対象を識別できるオブジェクト）
【００２４】
ここで、浮遊物とは、水中に浮遊している微小な（例えば、粒径２ｍｍ以下）不溶解性物質（例えば、マリンスノーのような水中懸濁物）や、空中の霧、霞、塵埃、及び、水中における微小物質、微生物等の微小な障害物が含まれる。なお、浮遊物４０１のサイズは、撮影装置のレンズ倍率によって異なるので、必ずしも粒径２ｍｍ以下というわけではない。
【００２５】
また、ＣＰＵ２０１の機能のうち、画像処理装置３００に関する機能については、上記の機能に特化した集積回路を別途用意しても良い。具体的には、例えば、デジタルカメラやデジタルビデオカメラの映像エンジンのような集積回路が、これに含まれる。
【００２６】
また、このＲＯＭ２０２のフォント用ＲＯＭにはフォントデータ等を記憶し、ＲＯＭ２０２のデータ用ＲＯＭには各種データを記憶する。２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。２０２はキーボードコントローラ（入力コントローラ）で、２０９や図示しないポインティングデバイス、例えばタッチパッドからの入力を制御する。
【００２７】
入力コントローラ２０５は入力デバイス（ＫＢ／ボタン／タッチパネル２０９）を制御する。なお入力デバイスには、ユーザが各種操作入力操作を行うボタンやつまみの他、タッチパネルも含まる。その場合、入力デバイスが表示部２１０（画像を表示する表示情報を映すための表示装置）を兼ねているケースもある。２０６はビデオカード（ＶＣ）で、表示部２１０の表示を制御する。
【００２８】
２０７はメモリコントローラで、外部メモリ２１１（ハードディスク等）とのアクセスを制御する。
【００２９】
２０８はネットワークインターフェースカード（ＮＩＣ）で、通信ネットワーク１４０上の通信を制御する。
【００３０】
ＧＰＳコントローラ２２０は、ＧＰＳユニット２２１を制御する。ＧＰＳユニット２２１は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ：全地球測位システム）衛星の信号に基づいて、撮影装置１００の地球上の位置（緯度・経度）を割り出すためのユニットである。
【００３１】
カメラコントローラ２３０は、カメラユニット２３１を制御する。
【００３２】
カメラユニット２３１は、映像（静止画や動画）を撮影（撮像）するためのユニットである。図２では、オートフォーカスを行うための機構（撮影装置１００と映り込んだ映像の被写体との距離を測る機構や、被写体のコントラストを測定る機構）も、このユニット内に含まれるものとする。しかし、独立した別ユニットとして撮影装置１００に含まれていても良い。
【００３３】
映像を撮影する具体的な方法は、ＣＰＵ２０１（特に画像処理装置３００）で処理できる映像信号が得られるものであれば、方法は問わない。本実施例では、近年広く普及している、図３に示す通り、撮像レンズ３１１を通して撮像素子３１５に光を受光させ、映像信号を得る方法を一例として挙げている。
【００３４】
図３は、撮影装置１００のカメラユニット２３１、画像処理装置３００（ＣＰＵ２０１が機能を兼ねるケース含む）、表示部２１０の連携の一例を示すブロック図である。
【００３５】
カメラユニット２３１は、撮像レンズ３１１、駆動部３１２、撮像素子３１５を含む構成である。
【００３６】
撮像レンズ３１１は、ズーム用及びフォーカス用のレンズを含むレンズ群である。
【００３７】
駆動部３１２は、撮像レンズ３１１を移動させる機構であり、例えば、モーター等のアクチュエータである。
【００３８】
撮像素子３１５は、撮像レンズを通して入射される光を受光して撮像する素子であり、例えば、ＣＣＤ又はＣＭＯＳイメージセンサ等である。
【００３９】
画像処理装置３００は、オートフォーカス部３１３、ズーム量算出部３１４、フォーカス対象・位置計算部３１６、画像構成部３１７、浮遊物検出部３１８含む構成である。
【００４０】
画像構成部３１７は、撮像素子３１５からの映像信号に基づいて画像を構成し、浮遊物検出部３１８と表示部２１０とに向けて出力される。特に、表示部２１０に向けて出力される画像には、表示部２１０で表示される際に、検出した浮遊物の位置や、フォーカス対象を示す情報が、ユーザが識別できる形でスーパーインポーズできるように対応付けられていても良い。
【００４１】
浮遊物検出部３１８は、画像構成部３１７から受付けた画像に含まれる浮遊物を検出し、画像と検出結果（浮遊物の位置、領域、大きさ等）とをフォーカス対象・位置計算部３１６に出力する。
【００４２】
フォーカス対象・位置計算部３１６は、浮遊物検出部３１８によって検出された画像内の浮遊物以外何をフォーカス対象とし、その位置はどこかを、計算（演算）する。このような計算が画像処理装置上で行われ、フォーカスの基準が決定することで、結果として、浮遊物検出部３１８で検出された浮遊物を含む画像には、フォーカス位置が識別可能な情報がスーパーインポーズされなくなる。
【００４３】
つまり、フォーカス対象・位置計算部３１６は、検出した浮遊物を含めないように撮影装置のフォーカスの基準を決定する演算を行うわけである。なお、フォーカス基準をどのように設定するかは、カメラユニット２３１の構成に合わせて様々な基準が設定できるものとする。
【００４４】
基準の一例として例えば、カメラユニット２３１と被写体との距離を特定することのできる情報が考えられる。この情報を基にすれば、カメラユニットはピント合わせのレンズを、どのように移動すればよいのか決定し、フォーカスを実行ができるからである。同様の理由で、フォーカスに用いるためのレンズの移動量であっても良い。
【００４５】
また、図１０や図１２に示されるように、オートフォーカスを実施するセンサが複数あるのであれば、どのセンサに基づく情報でフォーカスすれば良いのか、つまりセンサを特定することのできる情報を、フォーカス基準としても良い。この情報を基にすれば、カメラユニットは特定されたオートフォーカスのセンサから被写体までの距離やコントラスト情報を取得し、それに基づいてレンズを駆動してフォーカスすることができる。
【００４６】
また、フォーカスを当てるための被写体を特定することのできる情報をフォーカス基準としても良い。この情報を基にすれば、被写体に対応するオートフォーカスセンサを決定でき、そのセンサの情報に基づいて、レンズを駆動してフォーカスすることができるからである。
【００４７】
オートフォーカス部３１３は、フォーカス対象・位置計算部３１６で計算されたフォーカス位置に基づいて決定した移動量に従って、撮像レンズ３１１を移動させる制御を行うことで、撮影装置１００で撮影する被写体のピント合わせを行う回路である。一度合ったピントは、シャッターの半押し等の操作と連動させて、ピントロック状態にしても良い。また、ピント合わせ後も、浮遊物検出部３１８から出力される検出結果を、フォーカス対象・位置計算部３１６と再度連動させ、所定間隔でフォーカス位置を変える制御を行ってもよい。
【００４８】
ズーム量算出部３１４は、外部から入力される速度情報に従って、撮像レンズ３１１のズーム量を算出し、算出したズーム量だけ撮像レンズ３１１が移動するように駆動部３１２を制御する回路である。例えば、速度情報が示す速度を大きいほど画角が大きくなるように撮像レンズ３１１（撮像レンズ３１１のうちのズームレンズ）を移動させる。速度情報は、例えば、撮影装置１００を搭載している車の速度を示す情報。加速度センサやＧＰＳ情報を基に算出する。
【００４９】
図４は、表示部２１０に表示される画像の一例を示した構成図である。
【００５０】
表示画像４００は、カメラユニット２３１より得られた映像信号を、画像処理装置３００変換された画像を、表示部２１０で表示した画像である。
【００５１】
浮遊物４０１は、画像に映り込んだ浮遊物である。図４では水中撮影シーンを例に挙げ、マリンスノーを浮遊物として検知したケースを想定している。
【００５２】
浮遊物検出枠４０２は、画像処理装置３００で浮遊物と認識された被写体を、ユーザが識別可能に示すために画像に重畳されたオブジェクトである。好ましくは、入力画像が動いていても、ずれを感じないよう、連続的（例えば、一つの目安としては数十ミリ秒おき）に浮遊物４０１を検出し描画しなおす形態であると良い。
【００５３】
このオブジェクトが示されることで、ユーザはどの被写体にはフォーカスされないかと、撮影装置の識別している浮遊物とを、直感的に確認することができるようになる。
【００５４】
ＡＦ枠４０３は、ユーザにＡＦ実行を指示され、決定されたＡＦ位置を示す。
【００５５】
先のフォーカス対象・位置計算部３１６で述べた通り、本発明においては、画像内の浮遊物以外のものがフォーカス対象となるように制御がなされる。つまり、結果的に、浮遊物検出枠４０２で囲われた被写体は、フォーカス時にＡＦ枠４０３で囲われないように制御されることになる。
【００５６】
コントラスト設定バー４０４は、画像処理装置３００が浮遊物を検出する動きをしている際に、表示されるオブジェクトである。
【００５７】
浮遊物があまりに多い状況では、コントラストが浮遊物に引っ張られすぎ、表示部に表示される画像のコントラストが、ユーザが意図する雰囲気と大きく異なってしまうケースもある。
【００５８】
そこで、このような状況に陥った場合でも、ユーザの意図するコントラストを実現するために設けられているのが、このコントラスト設定バー４０４である。
【００５９】
タッチパネル式の表示部２１０に表示されるコントラスト設定バー４０４は、ユーザから中央のつまみ部分にタッチした状態で、左右にスライドに動かす動作を受け付けることで、その動きに合わせたコントラストの調整を受け付けることができる。
【００６０】
図４においては、初期のコントラストの状態を「±０」として、左へのスライドを受け付けると「マイナス補正」、右へのスライドを受け付けると「プラス補正」となるよう、設けられている。つまり、浮遊物のもたらす補正効果を「映像の味」とするだけでなく、その「味」を微調整することのできる調整バーを、必要な時（浮遊物を検知するモードの時）にだけ表示してユーザの意図を受付けられるように設けられている。このように設けることで、よりユーザの意図に沿った撮影がしやすい仕組みを提供することができる。
【００６１】
図５は、本発明の撮影フローの一例を示した構成図である。
【００６２】
図５では、図３のブロック図に基づいてフローの説明を行うためのハードウエアの一つに画像処理装置３００を挙げている。しかし、前述の通り、ＣＰＵ２０１が他のユニットの制御と兼用することができるので、画像処理装置３００をＣＰＵ２０１と読み替えて、発明を実現することも可能である。また前述の通り、各ハードウエアの制御は、ＣＰＵ２０１や画像処理装置３００が、ＲＯＭ２０２のプログラム用ＲＯＭや外部メモリ２１１に記憶されたプログラムをＲＡＭ２０３にロードして実行することでシステムバス２０４に接続された各デバイスを制御する。
【００６３】
ステップＳ５０１では、カメラユニット２３１は、撮像レンズ３１１を通して撮像素子３１５で受光した光を、映像信号に変換する。
【００６４】
ステップＳ５０２では、カメラユニット２３１は、ステップＳ５０１で変換された映像信号を、画像処理装置３００に送信する。
【００６５】
ステップＳ５０３では、画像処理装置３００は、ステップＳ５０２で送信された映像信号を、受信する。
【００６６】
ステップＳ５０４では、画像処理装置３００は、受信した映像信号を、画像に変換する。
【００６７】
本発明における画像とは、動画と静止画とのいずれも含む。また、ファイル形式についても特に問わず、動画や静止画の再生機器で再生できるものであれば良い。一例として、例えば、ｈ．２６４（エイチニーロクヨン）、ＭＧＥＧ（エムペグ）、ＲＡＷ（ロウ）、ＪＰＥＧ（ジェイペグ）、ＴＩＦ（ティフ）、ＧＩＦ（ジフ）等が含まれる。
【００６８】
ステップＳ５０４−２では、画像処理装置３００は、ユーザから浮遊物ＡＦ除外モードの切換え指示を受け付ける。浮遊物ＡＦ除外モードとは、画像の中の浮遊物を検出し、検出した浮遊物をオートフォーカス（ＡＦ）対象から除外する制御を行う機能である。
【００６９】
指示の受付は、ＫＢ／ボタン／タッチパネル２０９を介して行われるものとする。例えば、撮影装置１００に物理的に設けられたボタンや、タッチパネル機能を有する表示部２１０に表示された画像の押下を通じた、メニュー選択がなされて実施されればよい。つまり、画面遷移やメニューの選択方法については問わない。具体的には、例えば、以下のような操作に基づいて、選択がなされる。（不図示）
１．ユーザから「設定変更画面の呼び出しボタン」の押下を受付ける
２．表示部２１０に設定変更画面が表示され、ユーザから
「浮遊物ＡＦ除外モードのＯＮ／ＯＦＦ」切り替えのメニューが選択を受け付ける
３．ユーザから「浮遊物ＡＦ除外モード」のＯＮ／ＯＦＦ選択を受け付ける
ステップＳ５０４−３では、画像処理装置３００は、浮遊物ＡＦ除外モードがＯＮであるか否かの判定を行う。そして、ＯＮであると判定された場合には、ステップＳ５０５に遷移する。一方、ＯＮではないと判定された場合には、ステップＳ５０６に遷移する。ステップＳ５０６に遷移する。このような、「浮遊物ＡＦ除外モード」の切換えと判定フローを設けることで、画像の中に含まれる浮遊物を検出する機能のオン・オフを行うことができる。
【００７０】
ステップＳ５０５では、画像処理装置３００は、画像の中に含まれる浮遊物を、検出する。（検出手段）
ステップＳ５０６では、画像処理装置３００は、表示情報を、生成する。表示情報とは、画像を表示部２１０で表示させるために対応付けられた一連の情報である。
【００７１】
具体的には、本実施例では、図４に示されるような画面が表示部２１０に表示されるための画面を構成するための情報が生成されればよい。つまり、予め画像に浮遊物検出枠４０２、ＡＦ枠４０３、４０４コントラスト設定バー等を重ねた画像を生成してもよく、表示部２１０で表示する際に重畳させるよう、上記オブジェクトの表示位置、形状、大きさ等を、画像に対応づけた情報を生成してもよい。
【００７２】
なお、表示情報の構成に関しては、図７にて後述する。
【００７３】
ステップＳ５０７では、画像処理装置３００は、表示情報を、表示部２１０へ送信する。
【００７４】
ステップＳ５０８では、表示部２１０は、表示情報を、受信する。
【００７５】
ステップＳ５０９では、表示部２１０は、ステップＳ５０８で受信した表示情報に基づく表示画面を、表示する。
【００７６】
ステップＳ５１０では、画像処理装置３００は、フォーカスに関する処理を、行う。
【００７７】
なお、フォーカスに関する処理の詳細については、図６にて後述する。
【００７８】
ステップＳ５１１では、画像処理装置３００は、ユーザから画像を撮影する指示を、受付ける。受付方法は、特に限定されないが、ＫＢ／ボタン／タッチパネル２０９の、シャッターボタンや録画開始ボタンによる押下受付を以て指示を受け付ける形態が含まれる。
【００７９】
ステップＳ５１２では、画像処理装置３００は、ステップＳ５１２にて撮影の指示を受付けたか否かを判定する。そして、受付けたと判定した場合には、ステップＳ５１３に遷移する。一方、受付けていない判定した場合には、ステップＳ５１４に遷移する。
【００８０】
ステップＳ５１３では、画像処理装置３００は、画像の撮影を、実行する。撮影実行とは、静止画または動画を撮影し、ＲＯＭ２０２や外部メモリ２１１に記録することであるが、詳細は図８にて後述する。
【００８１】
ステップＳ５１４では、画像処理装置３００は、ユーザから撮影を終了する指示を受け付ける。
【００８２】
ステップＳ５１５では、画像処理装置３００は、ステップＳ５１４にて撮影を終了する指示を受け付けたか否かの判定を、行う。そして、撮影を終了する指示を受け付けたと判定した場合には、処理を終了する。一方、撮影を終了する指示を受け付けていないと判定した場合には、ステップＳ５０３へ遷移する。
【００８３】
ステップＳ５１６では、カメラユニット２３１は、フローを終了するか否かの判定を行う。判定方法は、ユーザや他のハードウエアから受付ける指示に基づくものであっても良いし、所定の条件に基づくものであってもよい。また、ステップＳ５１５のフローが終了するか否かに連動して終了するか否かを判定してもよい。そして、終了すると判定した場合には、処理を終了する。一方、終了しないと判定した場合には、ステップＳ５０１へ遷移する。
【００８４】
ステップＳ５１７では、表示部２１０は、フローを終了するか否かの判定を行う。判定方法は、ステップＳ５１６と同様である。ユーザや他のハードウエアから受付ける指示に基づくものであっても良いし、所定の条件に基づくものであってもよい。また、ステップＳ５１５のフローが終了するか否かに連動して終了するか否かを判定してもよい。そして、終了すると判定した場合には、処理を終了する。一方、終了しないと判定した場合には、ステップＳ５０８へ遷移する。
【００８５】
図６は、本発明のフォーカス処理に関するサブフローの一例を示した構成図である。
【００８６】
ステップＳ６０１では、画像処理装置３００は、ユーザからカメラユニットにオートフォーカスを実行させる指示を受け付ける。指示の受付は、ＫＢ／ボタン／タッチパネル２０９を介して行われるものとする。具体的には、例えば、撮影装置１００に物理的に設けられたシャッターボタンや録画開始ボタンを介したオートフォーカスの指示受付け（一般的には、「ボタンの半押し」）形態が含まれる。また、図９に示されるような、タッチパネル機能を有する表示部２１０に表示された画像の押下を通じて、フォーカスの指示を受付け形態が含まれる。
【００８７】
ステップＳ６０２では、画像処理装置３００は、ステップＳ６０１でオートフォーカスの指示を受付けたか否かの判定を行う。そして、受付けたと判定した場合には、ステップＳ６０３に遷移する。一方、受付けていないと判定した場合には、ステップＳ６０６に遷移する。
【００８８】
ステップＳ６０３では、画像処理装置３００は、ユーザからおまかせフォーカス機能のＯＮ／ＯＦＦの切換え指示を受け付ける。おまかせフォーカスとは、ステップＳ６０１のように、ユーザからのオートフォーカス指示を受付けなくとも、画像処理装置で生成される画像に基づいて、所定のアルゴリズムに従って撮影装置１００が、被写体に画連続的にピントを合わせ続ける機能のことである。
【００８９】
指示の受付は、ＫＢ／ボタン／タッチパネル２０９を介して行われるものとする。例えば、撮影装置１００に物理的に設けられたボタンや、タッチパネル機能を有する表示部２１０に表示された画像の押下を通じた、メニュー選択がなされて実施されればよい。つまり、画面遷移やメニューの選択方法については問わない。具体的には例えば、以下のような操作に基づいて、選択がなされる。（不図示）
１．ユーザから「設定変更画面の呼び出しボタン」の押下を受付ける
２．表示部２１０に設定変更画面が表示され、ユーザから
「おまかせフォーカス機能のＯＮ／ＯＦＦ」切り替えのメニューが選択を受け付ける
３．ユーザから「おまかせフォーカス機能」のＯＮ／ＯＦＦ選択を受け付ける
ステップＳ６０４では、画像処理装置３００は、おまかせフォーカス機能がＯＮであるか否かを、判定する。そして、ＯＮであると判定した場合には、ステップＳ６０６に遷移する。一方、ＯＮではないと判定した場合には、フローを終了する。
【００９０】
ステップＳ６０５では、画像処理装置３００は、ステップＳ５０４で得られた画像とステップＳ５０５（または、ステップＳ６１４−２）で検出された画像の浮遊物に関する情報（位置や大きさ、形状）とに基づいて、フォーカス対象を決定する。なお、フォーカス対象を決定する方法は、検出された浮遊物をフォーカス対象から除外する制御を行なった上で、既存の技術を用いればよい。（決定手段…検出した浮遊物以外の被写体をフォーカス対象として、撮影装置１００のフォーカス制御を行うための演算を行ない、フォーカスを実施するために必要な基準を決定する）
つまり、図４を例に取れば、浮遊物検出枠４０２で囲われた「浮遊物」として検知された被写体以外の被写体を対象として、既存の方法でフォーカス対象が決定される。オートフォーカスは、アクティブ方式とパッシブ方式あるいは併用であるかを問わない。具体的な方法としては、位相差オートフォーカス、像面位相差オートフォーカス、コントラストオートフォーカスなどが考えられ、カメラユニット２３１には、用途に応じた方式のＡＦを実現するための仕組みが供えられている。
【００９１】
ステップＳ６０６では、画像処理装置３００は、カメラユニット２３１にステップＳ６０１で受け付けたフォーカス指示か、おまかせフォーカスのアルゴリズムに基づいて、ステップＳ６０５の計算に基づくフォーカス指示を送信する。
【００９２】
ステップＳ６０７では、カメラユニット２３１は、ステップＳ６０６で送信されたフォーカス指示を、受信する。
【００９３】
ステップＳ６０８では、カメラユニット２３１は、ステップＳ６０６で受け付けた指示に基づいて、ステップＳ６０５で決定された通り浮遊物以外の被写体にオートフォーカスを、実施する。
【００９４】
ステップＳ６０９では、カメラユニット２３１は、撮像レンズ３１１を通して撮像素子３１５で受光した光を、映像信号に変換する。
【００９５】
ステップＳ６１０では、カメラユニット２３１は、ステップＳ６０９で変換された映像信号を、画像処理装置３００に送信する。
【００９６】
ステップＳ６１１では、画像処理装置３００は、ステップＳ６１０で送信された映像信号を、受信する。
【００９７】
ステップＳ６１２では、画像処理装置３００は、受信した映像信号を、画像に変換する。
【００９８】
ステップＳ６１３では、画像処理装置３００は、表示情報を、生成する。表示情報の構成に関しては、図７にて後述する。
【００９９】
ステップＳ６１４では、画像処理装置３００は、表示情報を、表示部２１０へ送信する。
【０１００】
ステップＳ６１４−２では、画像処理装置３００は、画像の中に含まれる浮遊物を、検出する。
【０１０１】
ステップＳ６１４−３では、画像処理装置３００は、フォーカス対象が、ユーザから指定を受付けたものであったか否かを判定する。そして、ユーザから指定を受付けたものであったと判定された場合には、フローを終了する。一方、ユーザから指定を受付けたものではないと判定された場合には、ステップＳ６１４−４に遷移する。
【０１０２】
ステップＳ６１４−４では、画像処理装置３００は、ステップＳ６１４−２の結果に基づいて、ステップＳ６０５で決定したフォーカス対象が浮遊物であったか否かを判定する。そして、浮遊物であると判定した場合には、ステップＳ６０５に遷移する。一方、浮遊物ではないと判定した場合には、フローを終了する。
【０１０３】
このように、このステップでは、フォーカス後に得られた画像から浮遊物をもう一度検出し、フォーカス対象となった被写体が浮遊物であるか否かを判定している。そして、フォーカス対象が浮遊物であった場合には、もう一度ステップＳ６０５に戻って、フォーカス対象を決定するための演算をもう一度行うのである。このように設けることで、浮遊物に誤ってピントを当ててしまう可能性をより低減することができるのである。
【０１０４】
ステップＳ６１５では、表示部２１０は、表示情報を、受信する。
【０１０５】
ステップＳ６１６では、表示部２１０は、ステップＳ６１５で受信した表示情報に基づく表示画面を、表示する。
【０１０６】
ステップＳ６１７では、表示部２１０は、表示部２１０は、フローを終了するか否かの判定を行う。判定方法は、ユーザや他のハードウエアから受付ける指示に基づくものであっても良いし、所定の条件に基づくものであってもよい。また、画像処理装置３００のフローが終了するか否かに連動して終了するか否かを判定してもよい。そして、終了すると判定した場合には、処理を終了する。一方、終了しないと判定した場合には、ステップＳ６１５へ遷移する。
【０１０７】
ステップＳ６１８では、カメラユニット２３１は、表示部２１０は、フローを終了するか否かの判定を行う。判定方法は、ステップＳ６１７で述べた通しである。そして、終了すると判定した場合には、処理を終了する。一方、終了しないと判定した場合には、ステップＳ６０７へ遷移する。
【０１０８】
図７は、本発明の表示情報の生成に関するサブフローの一例を示した構成図である。
【０１０９】
本発明では、ステップＳ５０６のサブフローまたはステップＳ６１３のサブフローの一例として機能することになる。そして、前者の場合と後者のいずれのサブフローとして機能するかは、ステップＳ７０４が分岐点となる。
【０１１０】
図７では、ステップＳ７０２、ステップＳ７０６、ステップＳ７０７にて、様々なオブジェクトを画像に対応付けている。「対応付け」は、ステップＳ５０４やステップＳ６１２で生成された画像に、オブジェクトを重畳させた画像（表示情報）を生成する形をとっても良い。また、表示部２１０に表示する際に、画像にスーパーインポーズできるよう、データと表示位置・大きさ・形状だけを対応付けておくにとどめてもよい。
【０１１１】
また、このフロー内では画像に何の情報も対応付けないケースも出てくる。その場合には、画像をそのまま表示情報として表示部に送信することになる。つまり、画像の生成ステップも生成手段に含まれる。また、図７の以下に説明するようなステップを含むケースも、生成手段の一形態である。
【０１１２】
１．検出した浮遊物を識別可能な浮遊物検出枠４０２を、画像に重畳して表示部２１０で表示させるための表示情報の生成
２．画像のコントラスト調整をユーザから受付け可能なオブジェクトのコントラスト設定バー４０４を、画像に重畳して表示部２１０で表示させるための表示情報の生成
３．フォーカス対象を識別可能なＡＦ枠４０３を、画像に重畳して表示部２１０で表示させるための表示情報の生成
【０１１３】
ステップＳ７０１では、画像処理装置３００は、浮遊物ＡＦ除外モードがＯＮであるか否かの判定を行う。そして、ＯＮであると判定された場合には、ステップＳ７０２に遷移する。一方、ＯＮではないと判定された場合には、ステップＳ７０３に遷移する。
【０１１４】
ステップＳ７０２では、画像処理装置３００は、コントラスト設定バー４０４を、画像に対応付ける。
【０１１５】
ステップＳ７０３では、画像処理装置３００は、ステップＳ６０５でフォーカス対象決定されているか否かの判定を行う。そして、決定されていると判定された場合には、ステップＳ７０４に遷移する。一方、決定されていないと判定された場合には、ステップＳ７０５に遷移する。
【０１１６】
ステップＳ７０４では、画像処理装置３００は、フォーカスが実施された状態（ステップＳ６０８を経た状態）かを判定する。つまり、ステップＳ５０６のサブフローではなく、ステップＳ６１３のサブフローのうち、後者のサブフローとして機能している状態か否かを判定するわけである。そして、フォーカスが実施された状態であると判定された場合（Ｓ６１３のサブフロー）には、ステップＳ７０７に遷移する。一方、フォーカスが実施された状態（Ｓ５０６のサブフロー）であると判定された場合には、ステップＳ７０５に遷移する。
【０１１７】
ステップＳ７０５では、画像処理装置３００は、ステップＳ５０５を経て浮遊物を検知している状態か否かの判定を行う。そして、浮遊物を検知している状態であると判定した場合にはステップＳ７０６に遷移する。一方、浮遊物を検知している状態ではないと判定した場合には、フローを終了（つまり、浮遊物検出枠４０２とＡＦ枠４０３のどちらのオブジェクトも対応付けがない画像が表示画像になる）する。
【０１１８】
ステップＳ７０６では、画像処理装置３００は、ステップＳ５０５で検出した浮遊物の情報に基づいて、表示部２１０で画像が表示される際に、浮遊物検出枠４０２が重畳して表示されるように、画像に浮遊物検出枠４０２を対応付ける。
【０１１９】
ステップＳ７０７では、画像処理装置３００は、ステップＳ６０５で検出したフォーカス対象に基づいて、表示部２１０で画像が表示される際に、ＡＦ枠４０３が重畳して表示されるように、画像にＡＦ枠４０３を対応付ける。
【０１２０】
図８は、本発明の撮影実行（画像の記録）処理に関するサブフローの一例を示した構成図である。
【０１２１】
本実施例では、一例として外部メモリに２１１に記録するフローを説明するが、内蔵メモリに記録する形態も普及しつつある昨今であるので、ＲＯＭ２０２と読み替えても発明が成立する。また、外部メモリに２１１とＲＯＭ２０２との双方に画像を記録するような形態であっても構わない。
【０１２２】
ステップＳ８０１では、画像処理装置３００は、外部メモリ２１１に、画像を送信する。この際、ステップＳ５０５で検出した浮遊物の情報や、ステップＳ６０５で検出したフォーカス対象の情報も、画像に対応付けて送信する。
【０１２３】
ステップＳ８０２では、外部メモリに２１１は、画像を対応付けられた情報と共に受信する。
【０１２４】
ステップＳ８０３では、外部メモリに２１１は、ステップＳ８０３で受信した画像を対応付けられた情報と共に、保存する。
【０１２５】
ステップＳ８０４では、外部メモリに２１１はステップＳ８０３の結果を、通知する。
【０１２６】
ステップＳ８０５では、画像処理装置３００は、通知を受信する。
【０１２７】
ステップＳ８０６では、画像処理装置３００は、表示情報を、生成する。表示情報の構成に関しては、ステップＳ６１３と同じ動きになる。
【０１２８】
ステップＳ８０７では、画像処理装置３００は、表示部２１０に表示情報を、送信する。
【０１２９】
ステップＳ８０８では、表示部２１０は、表示情報を、受信する。
【０１３０】
ステップＳ８０９では、表示部２１０は、ステップＳ８０８で受信した表示情報に基づく表示画面を、表示する。
【０１３１】
図９は、表示部２１０に表示される画面とタッチパネル操作に関する事例を示した構成図である。
【０１３２】
ユーザの手９０１は、タッチパネル機能を有する表示部２１０のタッチ操作を行うユーザの手である。
【０１３３】
図９（ａ）は、撮影装置１００が、浮遊物を検出し、表示部２１０に画像と共に浮遊物検出枠４０２が表示された状態で、ユーザがタッチパネルの押下を通じて浮遊物をフォーカス対象として指定している様子を示している。
【０１３４】
図９（ｂ）は、図９（ａ）でフォーカス対象として指定を受付けた浮遊物に、ピントが当たった状態を、画像にＡＦ枠４０３を重畳して表示部２１０に表示した状態の一例を示している。
【０１３５】
このように、本発明の特徴である、「浮遊物ＡＦ除外モード」では、通常検出した浮遊物をフォーカス対象から除外してフォーカス対象を決定してピント合わせ（オートフォーカス）を行うよう設けてある。しかし、図９で説明したようなユーザからフォーカス対象として指定を受付けた浮遊物についてはフォーカスする構成は、以下のようなケースに対応するために有効な機能である。
【０１３６】
１．ユーザがこのモード下で意図的に特定の浮遊物にピントを合わせたいケース
２．画像処理装置３００が浮遊物以外の被写体を浮遊物としてフォーカス対象から除外してしまったケース
【０１３７】
図１０乃至図１２では、オートフォーカスの仕組みや演算と、本発明の対応関係の一例について説明する。
【０１３８】
図１０は、ＡＦ（オートフォーカス）フレームの表示された撮影装置１００の表示部２１０の一例を示した構成図である。
【０１３９】
外枠１０００は、撮影装置１００で撮影される画像の外周部分に対応する枠である。
【０１４０】
ＡＦフレーム１００１は、外枠１０００のどの位置に、ラインセンサやクロスセンサと言った、オートフォーカスを行うためのセンサ（測距点）が対応しているのかを示す枠である。
一般的には、撮影装置１００の表示部２１０やファインダーなどに表示され、表示・非表示を切り替えることができるものもある。また、図１０では、全部で６１点のＡＦフレーム１００１を一例として取り上げているが、オートフォーカスセンサの数は、撮影装置１００の種類や構成によって数や、位置はまちまちである。また、複数のセンサをあたかも一つのセンサとして扱う制御ができる機能を備える撮影装置１００などもあり、必ずしもセンサと浮遊物とは一対一の対応関係になるとは限らない。そして、本発明はこのような装置ごとの機能や形態に適応した実施形態をとることができるものとする。
【０１４１】
オートフォーカスセンサ（オートフォーカスを行うためのセンサ）の方式については、特段問わないが、一般的にはコントラスト検知方式と位相差方式とが用いられる。
【０１４２】
図１１は、撮影装置１００と被写体の位置関係に基づく一般的なオートフォーカスの優先順位について説明するための一例を示した構成図である。
【０１４３】
図１１（ａ）は、撮影装置１００と被写体の位置関係の一例を示す構成図である。
【０１４４】
図１１（ａ）には、ピントの合う３つの被写体が「対象α」「対象β」「対象γ」がある。
「対象α」「対象β」は、浮遊物であり、「対象γ」は魚とし、ユーザは魚を主被写体としてピントを合わせたいシチュエーションであるとする。
【０１４５】
撮影装置１００との距離は「対象α」が最も近く、「対象β」と「対象γ」とが等しい距離とする。また、コントラストは「対象α」と「対象β」とが最も高く、「対象γ」が最も低いものとする。
【０１４６】
図１１（ｂ）は、図１１（ａ）のシチュエーションで撮像された画像の一例を示す構成図であり、「対象α」「対象β」「対象γ」が映り込んでいる。
【０１４７】
図１２は、図１０と図１１（ｂ）とを重ね合わせて表示部２１０に表示した表示画面の一例を示した構成図である。
【０１４８】
図１２では、「対象α」に対応するＡＦフレーム１００１を「イ」、「対象β」に対応するＡＦフレーム１００１を「ロ」、「対象γ」に対応するＡＦフレーム１００１を「ハ」と表している。
【０１４９】
オートフォーカス機構は、通常「カメラとの距離が近い被写体」や「コントラスト値の高い被写体」をフォーカスの基準としてフォーカス（ピント合わせ）を行うようプログラムされている。つまり、そのようなプログラムに基づいてオートフォーカスをすると、距離が最も近く、コントラストも最も高い被写体「イ」に対応するＡＦフレーム１００１を基準として、対応するオートフォーカスセンサの情報に基づいてピントが当たってしまう。
【０１５０】
また「対象α」がなかった場合であっても、「対象β」と「対象γ」とでは、「対象β」のほうがコントラストの高い被写体である。そのため、この被写体に対応する「ロ」に対応するＡＦフレーム１００１を基準として、対応するオートフォーカスセンサの情報に基づいてピントが当たってしまう。
【０１５１】
つまり、図１１のようなシチュエーションでオートフォーカスを実施しようとしても、
プログラムの性質上、「対象α」や「対象β」がオートフォーカスの基準として選択されてしまう。つまり、ユーザがオートフォーカスの基準としたい「対象γ」は非常に選択されにくい。
【０１５２】
一方、本発明の「浮遊物ＡＦ除外モード」では、「対象α」や「対象β」は、浮遊物として検出され、オートフォーカスの基準からは外される。そのため、残った「対象γ」がオートフォーカスの基準となる。
【０１５３】
つまり、「イ」や「ハ」のＡＦフレーム１００１に対応するオートフォーカスセンサから得られる情報は、オートフォーカスの制御には用いられず、「ハ」のＡＦフレーム１００１に対応するオートフォーカスセンサから得られる情報が用いられることになる。そして、「ハ」から得られた情報に基づいてレンズの移動量が決定され、フォーカスが実施され、ユーザがピントを合わせたかった「魚」にピントが合うのである。
【０１５４】
本発明の別の実施形態について、説明する。
図１３は、図１２の別の実施例の一例を示した構成図である。
【０１５５】
図１３では、降雪シーンにおける「雪」を「浮遊物」と捉えた別の実施例の説明を行う。
【０１５６】
図１３（ａ）は、現在の画像であり、図１３（ｂ）は、カメラの動体予測機能（被写体の未来位置を予測し、ピント合わせを行う機能）に基づく被写体の未来位置から想定される画像をイメージ化して図示したものである。
【０１５７】
このように、「雪」は、ＡＦフレーム１００１で１マス分下方へ落下し、ユーザが被写体としたいラグビープレイヤーは、ＡＦフレーム１００１で１マス分左方向へ移動する予測がなされているケースを想定している。
【０１５８】
このような場合、これまでの説明では、本発明では雪を「浮遊物」と識別し、「イ」で示されるＡＦフレーム１００１に対応する位置の被写体は、オートフォーカスをおこなうための基準として考慮されなくなる。しかし、被写体が動体である場合、画像の解析からフォーカスまでにはタイムラグがあるため、被写体の移動についても、考慮する必要がある。
【０１５９】
したがって、図１３（ｂ）のタイミングでピント合わせをする場合に、「イ´」で示されるＡＦフレーム１００１に対応する位置の被写体は、オートフォーカスをおこなうための基準として考慮されないように制御することになる。つまり、オートフォーカスの基準を、浮遊物の移動（移動量や移動方向）を考慮して予測演算し、決定することになる。
【０１６０】
以上説明したように、本発明は、撮影空間に存在する浮遊物がピント合わせに及ぼす影響を低減し、意図せぬ画像補正が生じにくい撮影を行うための仕組みを提供することができる。
【０１６１】
また、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【０１６２】
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。
【０１６３】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク、ソリッドステートドライブ等を用いることができる。
【０１６４】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１６５】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１６６】
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【０１６７】
１００    撮影装置
２０１    ＣＰＵ
２０２    ＲＯＭ
２０３    ＲＡＭ
２０４    システムバス
２０５    入力コントローラ
２０６    ビデオコントローラ
２０７    メモリコントローラ
２０８    通信Ｉ／Ｆコントローラ
２０９    ＫＢ／ボタン／タッチパネル
２１０    表示端末（表示部）
２１１    外部メモリ
２２０    ＧＰＳコントローラ
２２１    ＧＰＳユニット
２３０    カメラコントローラ―
２３１    カメラユニット
３００    画像処理装置
３１１    撮像レンズ
３１２    駆動部
３１３    オートフォーカス部
３１４    ズーム量算出部
３１５    撮像素子
３１６    フォーカス対象・位置計算部
３１７    画像構成部
３１８    浮遊物検出部
４００    表示画像
４０１    浮遊物
４０２    浮遊物検出枠
４０３    ＡＦ枠
４０４    コントラスト設定バー
９０１    ユーザの手
１０００  外枠
１００１  ＡＦフレーム
【図１】
2019049643.tif 000003
【図２】
2019049643.tif 000004
【図３】
2019049643.tif 000005
【図４】
2019049643.tif 000006
【図５】
2019049643.tif 000007
【図６】
2019049643.tif 000008
【図７】
2019049643.tif 000009
【図８】
2019049643.tif 000010
【図９】
2019049643.tif 000011
【図１０】
2019049643.tif 000012
【図１１】
2019049643.tif 000013
【図１２】
2019049643.tif 000014
【図１３】
2019049643.tif 000015