【手続補正書】
【提出日】平成26年10月16日(2014.10.16)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
＜２．撮像装置の構成＞
以下では、上記のような画像処理装置を内蔵した撮像装置１０を例に挙げ、主要被写体判定動作について詳しく説明する。
実施の形態の撮像装置１０の構成例を図３に示す。この撮像装置１０はいわゆるデジタルスチルカメラ或いはデジタルビデオカメラとされ、静止画や動画の撮像／記録を行う機器であり、請求項でいう画像処理装置を内蔵するものである。
また画像処理装置における上述の主要被写体判定部２に相当する構成は、撮像装置１０における制御部３０においてソフトウエアにより実装される。制御部３０は、請求項でいうプログラムに基づく処理を実行することで、請求項でいう画像処理方法としての動作を行う。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
図３に示すように撮像装置１０は、光学系１１、イメージャ１２、光学系駆動部１３、センサ部１４、記録部１５、通信部１６、デジタル信号処理部２０、制御部３０、ユーザインターフェースコントローラ（以下、「ＵＩコントローラ」）３２、ユーザインターフェース３３を有する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
前処理部２１は、イメージャ１２からの撮像画像信号に対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を施す。
同時化部２２は、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにするデモザイク処理を施す。
ＹＣ生成部２３は、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
解像度変換部２４は、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
コーデック部２５は、解像度変換された画像データについて、例えば記録用や通信用の符号化処理を行う。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
このような制御部３０は、デジタル信号処理部２０における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、ズーム、フォーカス、露光調整等のカメラ動作、ユーザインターフェース動作等について、必要各部の動作を制御する。
さらに本実施の形態の場合、制御部２０は、主要被写体判定部３１としての機能を備え、後述する主要被写体判定処理を実行する。
主要被写体判定部３１は、図１の主要被写体判定部２に相当する機能であり、上述した位置状態判定部２ａ、安定存在度算出部２ｂ、設定処理部２ｃとしての処理を実行する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
表示部３４はユーザ（撮像者等）に対して各種表示を行う表示部であり、例えば撮像装置１０の筐体上に形成されるＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスを有して形成される。なお、いわゆるビューファインダーの形態で、ＬＣＤや有機ＥＬディスプレイ等を用いて形成されてもよい。
この表示部３４は、上記のディスプレイデバイスと、該ディスプレイデバイスに表示を実行させる表示ドライバとから成る。表示ドライバは、制御部３０の指示に基づいて、ディスプレイデバイス上に各種表示を実行させる。例えば表示ドライバは、撮像して記録媒体に記録した静止画や動画を再生表示させたり、レリーズ（シャッタ操作）待機中に撮像される各フレームの撮像画像データによる動画としてのスルー画（被写体モニタリング画像）をディスプレイデバイスの画面上に表示させる。また各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。本実施の形態の場合、例えばスルー画や再生画上で、主要被写体判定による判定結果がユーザにわかるような表示も実行される。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００８０
【補正方法】変更
【補正の内容】
【００８０】
処理例１では、安定存在度とは、判定基準点ＳＰに近い状態の累積時間とする。このため、「近い／近くない」の判定に、距離閾値Thr-diffを用いる。
図８下部には、距離Diff１、Diff２、Diff３の各時点での、距離閾値Thr-diff以内か否かの判定結果を示している。距離Diff（ｎ）が距離閾値Thr-diff以下であれば、近い＝「１」とされることとする。
この判定結果「１」を各時点で累積加算していったものが処理例１での安定存在度となる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
判定開始から判定終了までの期間は処理例によって異なる。処理例１では、距離閾値Thr-diff以下の判定結果「１」の累積加算値は、その時点までの安定存在の度合いを示す累積時間となるが、その累積時間が所定値に達した候補画像が発見された時点が判定終了のタイミングとなる。
例えば図８の例では、候補画像枠Ｅ３は、継続して「１（＝判定基準点ＳＰに近い）」と判定されるが、この累積加算値が或る所定値に達した時点で、判定が終了され、候補画像枠Ｅ３が主要被写体と判定されることとなる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００８３
【補正方法】変更
【補正の内容】
【００８３】
図９で処理例１としての制御部３０の主要被写体判定処理を説明する。
制御部３０は、主要被写体判定処理を開始すると、まずステップＦ１００で変数ＴＳＦ＝０とし、またカウント値Cnt（ｎ）＝０とする。
変数ＴＳＦとは、主要被写体設定済みか否かを示すフラグである。ＴＳＦ＝「０」は、主要被写体が未判定の状態を示すこととなる。
またカウント値Cnt（ｎ）は、上述の距離Diffの距離閾値Thr-diffとの比較判定結果の値を加算するカウンタの値である。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００９０
【補正方法】変更
【補正の内容】
【００９０】
ステップＦ１０５、Ｆ１０６，Ｆ１０７では、制御部３０は各候補画像枠Ｅ（ｎ）が距離Diff（ｎ）に関して所定の条件を満たしているか否かを確認する。
即ち判定基準点ＳＰまでの距離Diff（ｎ）が、判定基準点ＳＰに近いか近くないかを、距離閾値Thr-diffを用いて判定する。
このため制御部３０はステップＦ１０５で、各候補画像枠Ｅ（ｎ）の判定基準点ＳＰまでの距離Diff（ｎ）と距離閾値Thr-diffを比較し、Diff（ｎ）＜Thr-diffであればステップＦ１０６でフラグＦｌｇ（ｎ）＝１（近い）とする。またDiff（ｎ）＜Thr-diffでなければステップＦ１０７でフラグＦｌｇ（ｎ）＝０（近くない）とする。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】変更
【補正の内容】
【００９４】
なお、ステップＦ１１４は、変数ＴＳＦ＝０であれば、まだ主要被写体の判定は完了していないとして判定処理継続とし、変数ＴＳＦ＝１であれば、主要被写体判定は完了したとする。
先に述べたステップＦ１０４で変数ＴＳＦ＝１が検出された場合、そのまま判定終了となる。
詳しい説明は省略するが、本例の自動的な主要被写体判定とは並行して、例えばユーザが主要被写体を表示部３４の画面上のタッチ操作、或いは被写体を画面上に所定位置に合わせてシャッタボタンを半押しするなどの操作として、主要被写体選択ができるようにしてもよい。図９の処理の実行中に、ユーザがこのような指定操作を行った場合、ユーザの操作を優先することが好ましい。そこで、そのようなマニュアル操作として主要被写体設定が行われた場合、変数ＴＳＦ＝１とする。この場合、図９の処理はステップＦ１０４，Ｆ１１４の判断により、処理を終了（中断終了）することとすればよい。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００９６
【補正方法】変更
【補正の内容】
【００９６】
ここで、例えば図８で示したように或る候補画像枠Ｅ３が、非連続的でもよいが、複数のフレームのうちで高い頻度で、撮像画像上で判定基準点ＳＰに近い位置に存在する状況があったとする。すると時間が進むにつれ、候補画像枠Ｅ３のカウント値Cnt３のステップＦ１０９でのインクリメントの機会が多く発生し、カウント値Cnt３が、カウント値Cnt１、Cnt２よりも早く進む。
すると或る時点で、カウント値Cnt３がカウント閾値ＣＴｔｈｒに最初に到達することとなる。
このような場合、制御部３０は処理をステップＦ１１１からＦ１１２に進める。
ステップＦ１１２で制御部３０は、カウント値Cnt（ｎ）がカウント閾値ＣＴｔｈｒに達した候補画像枠Ｅ（ｎ）を主要被写体と判定し、主要被写体設定を行う。そして変数ＴＳＦ＝１とする。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１０４
【補正方法】変更
【補正の内容】
【０１０４】
従って各候補画像枠Ｅ（ｎ）は、その被写体が、それぞれ継続的に判定基準点ＳＰに近い状態（距離閾値Thr-diff内）にとらえられている限り、安定存在度の値（カウント値Cnt（ｎ））が上昇していく。つまりこの処理例２では、カウント値Cnt（ｎ）は、判定基準点ＳＰに近い状態の「継続時間」を示すものとなる。
そしてステップＦ１１１でカウント値Cnt（ｎ）がカウント閾値ＣＴｔｈｒに到達する場合とは、或る候補画像枠が、継続して、カウント閾値ＣＴｔｈｒに相当するフレーム数（時間）だけ、判定基準点ＳＰに近いという条件を満たし続けた場合となる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１２６
【補正方法】変更
【補正の内容】
【０１２６】
（条件１）：平均距離Ave-Diff（ｎ）が最も小さい候補画像枠を選択する。
カウント値Cnt（ｎ）は、距離Diff（ｎ）が距離閾値Thr-diff以下であるかのステップＦ１０５での判定結果「フラグＦｌｇ（ｎ）＝１」「フラグＦｌｇ（ｎ）＝０」に応じてカウントアップ／ダウンされる。従ってカウント値Cnt（ｎ）は、絶対的な距離Diff（ｎ）を表すものではない。
ここで、ステップＦ１２３で平均距離Ave-Diff（ｎ）を求めるようにすると、複数の候補画像枠Ｅ（ｎ）のうちで、どちらが、「より判定基準点ＳＰに近い状態」であったかを判定できる。
ステップＦ１２３においては、平均距離Ave-Diff（ｎ）は、
Ave-Diff（ｎ）＝（距離Diff（ｎ）の累積加算値）／（距離Diff（ｎ）の加算回数）
で求めることができる。
複数の候補画像枠Ｅ（ｎ）の安定存在度（カウント値Cnt（ｎ））が同時にカウント閾値ＣＴｔｈｒに到達した場合は、ステップＦ１１２において、平均距離Ave-Diff（ｎ）が一番小さいものを主要被写体と判定すればよい。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１３０
【補正方法】変更
【補正の内容】
【０１３０】
なお最後のフレームで、距離Diff（ｎ）が所定範囲内（つまり距離閾値Thr-diff以下）となった候補画像枠Ｅ（ｎ）を主要被写体と判定してもよい。但し処理例３の場合、カウント値Cnt（ｎ）が同時にカウント閾値ＣＴｔｈｒに到達した場合の判定となるため、複数の候補画像枠Ｅ（ｎ）はいずれもこの条件を満たすため、複数のうちの選択には、この条件は使用できないが、後述する処理例５〜処理例１２のように、主要被写体判定処理を必ず一定時間実行する処理の場合、この条件で選択することは有効である。
また最後のフレームではなく、最初のフレーム、或いは途中のフレームなどで、所定の距離範囲内、又は最小距離の候補画像枠を選択することも、撮像事情や被写体などに応じて適切となる場合がある。
また、被写体距離を用いてもよい。例えば最後のフレームなど、特定の時点での候補画像枠Ｅ（ｎ）の被写体距離としての位置（ｚ値）について、判定基準点ＳＰとしてのｚ軸方向の位置との差分を求め、その被写体距離差分値が最小の候補画像枠を選択する例である。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０１３４
【補正方法】変更
【補正の内容】
【０１３４】
［４−４：処理例４（タイプＩ；判定基準点；先着判定；累積存在；条件判定付き）］
続いて処理例４も上述の処理タイプＩの具体例であるが、この処理例４は上記処理例３をさらに発展させた例である。
候補画像枠の位置状態としては、設定した判定基準点との距離を求める。
各候補画像枠について安定存在度としては、位置状態（判定基準点との距離）が所定の閾値以内という条件を満たしている累積時間情報を算出する。
そして主要被写体判定開始から、安定存在度が最も早く所定値に達した候補画像を、主要被写体と判定する。
以上は処理例１、処理例３と同様であるが、処理例４は安定存在度の算出について、距離Diff（ｎ）が距離閾値Thr-diff以下であるかの条件以外にも条件を加える例である。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０１３６
【補正方法】変更
【補正の内容】
【０１３６】
ステップＦ１３０，Ｆ１０５，Ｆ１０６，Ｆ１０７では、フラグＦｌｇ（ｎ）の処理を行う。
ここでステップＦ１３０では、或る条件を満たしている過否かにより処理を分岐する。そして条件を満たしていればステップＦ１０５に進み、距離Diff（ｎ）が距離閾値Thr-diff以下であるか否かの判定をおこなう。そしてその判定結果でステップＦ１０６，Ｆ１０７のいずれかでフラグＦｌｇ（ｎ）を設定する。
またステップＦ１３０で条件を満たしていないと判定した場合は、ステップＦ１０７に進み、フラグＦｌｇ（ｎ）＝０とする。
つまりステップＦ１３０で条件を満たしていないとされた候補画像枠Ｅ（ｎ）については距離Diff（ｎ）に関わらずフラグＦｌｇ（ｎ）＝０とするものである。
ステップＦ１０６，Ｆ１０７のフラグＦｌｇ（ｎ）の処理以降は、図１１と同様である。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０１９２
【補正方法】変更
【補正の内容】
【０１９２】
そしてステップＦ２０８で制御部３０は、各候補画像枠Ｅ（ｎ）の平均距離Ave-Diff（ｎ）の中で、最小距離MIN［Ave-Diff（ｎ）］を判定する。最も平均距離Ave-Diff（ｎ）が小さい候補画像枠Ｅ（ｎ）が求められることになる。
最小距離MIN［Ave-Diff（ｎ）］を判定したら、制御部３０はステップＦ２０９で、当該最小距離MIN［Ave-Diff（ｎ）］が距離閾値Thr-diff以下であるか否かを判定する。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０１９３
【補正方法】変更
【補正の内容】
【０１９３】
最小距離MIN［Ave-Diff（ｎ）］が距離閾値Thr-diff以下であれば、制御部３０は処理をステップＦ２１０に進め、当該最小距離MIN［Ave-Diff（ｎ）］となった候補画像枠Ｅ（ｎ）を主要被写体と判定し、主要被写体設定を行う。そして変数ＴＳＦ＝１とする。
最小距離MIN［Ave-Diff（ｎ）］が距離閾値Thr-diff以下でなければ、制御部３０は処理をステップＦ２１１で変数ＴＳＦ＝０とする。この場合、主要被写体は該当無しという結果となる。
なお、少なくとも候補画像枠Ｅ（ｎ）が存在したら必ず主要被写体を決めるという処理を実現する場合は、ステップＦ２０９を無くし、最小距離MIN［Ave-Diff（ｎ）］となった候補画像枠Ｅ（ｎ）をそのまま主要被写体と判定するようにしてもよい。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】０２０１
【補正方法】変更
【補正の内容】
【０２０１】
ステップＦ２１１，Ｆ２１２，Ｆ２１３では、制御部３０は各候補画像枠Ｅ（ｎ）の距離Diff（ｎ）に関して所定の条件、つまり判定基準点ＳＰに近いか近くないかを、距離閾値Thr-diffを用いて判定する。
そしてDiff（ｎ）＜Thr-diffであればステップＦ２１２でフラグＦｌｇ（ｎ）＝１（近い）とする。またDiff（ｎ）＜Thr-diffでなければステップＦ２１３でフラグＦｌｇ（ｎ）＝０（近くない）とする。これは処理例１のステップＦ１０５、Ｆ１０６，Ｆ１０７と同様の処理である。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】０２１９
【補正方法】変更
【補正の内容】
【０２１９】
最大確度MAX［Ave[AR(n)]]を判定したら、制御部３０はステップＦ２４２で、当該最大確度MAX［Ave[AR(n)]]が確度閾値Thr-AR以上であるか否かを判定する。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】０２２０
【補正方法】変更
【補正の内容】
【０２２０】
最大確度MAX［Ave[AR(n)]]が確度閾値Thr-AR以上であれば、制御部３０は処理をステップＦ２４３に進め、当該最大確度MAX［Ave[AR(n)]]となった候補画像枠Ｅ（ｎ）を主要被写体と判定し、主要被写体設定を行う。そして変数ＴＳＦ＝１とする。
最大確度MAX［Ave[AR(n)]]が確度閾値Thr-AR以上でなければ、制御部３０は処理をステップＦ２４４で変数ＴＳＦ＝０とする。この場合、主要被写体は該当無しという結果となる。
なお、少なくとも候補画像枠Ｅ（ｎ）が存在したら必ず主要被写体を決めるという処理を実現する場合は、ステップＦ２４２を無くし、最大確度MAX［Ave[AR(n)]]となった候補画像枠Ｅ（ｎ）をそのまま主要被写体と判定するようにしてもよい。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】０２３９
【補正方法】変更
【補正の内容】
【０２３９】
また、主要被写体判定処理の結果については、その後撮像されて記録された静止画データや動画データに、メタデータとして付加してもよい。つまり主要被写体を示す情報を静止画ファイル等に付加する。
【手続補正２３】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正の内容】
【図３】
2013120949.tif 000001
【手続補正２４】
【補正対象書類名】図面
【補正対象項目名】図８
【補正方法】変更
【補正の内容】
【図８】
2013120949.tif 000002