(57)【要約】【目的】対象画像の追尾精度を向上させる。【構成】立体撮像ディジタル・カメラを用いて被写体を撮像し，右目用画像と左目用画像とを周期的に得る。両方の画像で対象画像の検出処理が行われ（ステップ71），対象画像が検出されると（ステップ72でＹＥＳ），右目用画像，左目用画像のうち，その後に撮像される画像については対象画像が検出された方の画像で対象物を検出するように設定される（ステップ73）。設定された方の画像で対象画像検出処理が行われる（ステップ74）。対象画像が検出されると（ステップ75でＹＥＳ），対象画像らしさがしきい値未満のときには（ステップ76），両方の画像で対象画像の検出処理が行われ（ステップ77），対象画像らしさのスコアの高い方の画像を用いて対象画像を検出するように設定される（ステップ79）。【選択図】図３
2011243025.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一部分が共通の範囲を表し，かつ同じタイミングで撮像された第１の画像および第２の画像がそれぞれ順に与えられ，与えられた第１の画像および第２の画像の両方の画像から追尾対象の対象画像部分をそれぞれ検出する検出手段，
上記検出手段によって上記第１の画像および上記第２の画像の少なくとも一方から追尾対象の対象画像部分が検出されたことにより，検出された追尾対象の対象画像部分の対象画像らしさを表すスコアが第１のしきい値以上か，第１のしきい値未満かを判定する第１のスコア判定手段，
上記第１のスコア判定手段において対象画像らしさを表すスコアが第１のしきい値以上と判定されたことにより，上記第１の画像または上記第２の画像のうち，第１のしきい値以上のスコアをもつ対象画像部分を含んでいた画像を，追尾対象の対象画像部分の検出に使用する画像と決定する使用画像決定手段，
上記第１の画像および上記第２の画像のうち，上記使用画像決定手段によって決定された画像から追尾対象の対象画像部分を検出するように上記検出手段を制御し，上記第１のスコア判定手段において対象画像らしさを表すスコアが第１のしきい値未満と判定されたことにより，上記第１の画像および上記第２の画像の両方の画像から追尾対象の対象画像部分を検出するように上記検出手段を制御する第１の検出制御手段，
上記第１の検出制御手段の制御のもとに上記使用画像決定手段によって決定された画像から追尾対象の対象画像部分を検出する対象画像部分検出処理が行われた場合において，上記第１の画像または上記第２の画像のうち，上記使用画像決定手段によって決定された画像から追尾対象の画像部分が検出されたことにより，検出された対象画像らしさのスコアが第２のしきい値以上か，第２のしきい値未満かを判定する第２のスコア判定手段，
上記第２のスコア判定手段において対象画像らしさを表すスコアが第２のしきい値以上と判定されたことにより，上記使用画像決定手段によって決定された画像から追尾対象の対象画像部分を検出するように上記検出手段を制御し，上記第２のスコア判定手段において対象画像らしさを表すスコアが第２のしきい値未満と判定されたことにより，上記第１の画像および上記第２の画像の両方の画像から追尾対象の対象画像部分を検出するように上記検出手段を制御する第２の検出制御手段，ならびに
上記検出手段による検出，上記第１のスコア判定手段による判定，上記使用画像決定手段による決定，上記第１の検出制御手段による検出制御，上記第２のスコア判定手段による判定および上記第２の検出制御手段による検出制御を繰り返すように，上記検出手段，上記第１のスコア判定手段，上記使用画像決定手段，上記第１の検出制御手段，上記第２のスコア判定手段および上記第２の検出制御手段を制御する制御手段，
を備えた対象画像の追尾装置。
【請求項２】
上記第１のスコア判定手段においてスコアが第１のしきい値以上と判定されたことにより追尾対象の対象画像部分の移動量が第３のしきい値以上かどうかを判定する第１の移動量判定手段をさらに備え，
上記第１の検出制御手段は，
上記第１の移動量判定手段において移動量が第３のしきい値未満と判定されたことにより，上記第１の画像および上記第２の画像のうち，上記使用画像決定手段によって決定された画像から追尾対象の対象画像部分を検出するように上記検出手段を制御し，上記第１の移動量判定手段において移動量が第３のしきい値以上と判定されたことにより，上記第１の画像および上記第２の画像の両方の被写体像の中から追尾対象の対象画像部分を検出するように上記検出手段を制御するものである，
請求項１に記載の対象画像の追尾装置。
【請求項３】
上記第２のスコア判定手段においてスコアが第２のしきい値以上と判定されたことにより追尾対象の対象画像部分の移動量が第４のしきい値以上か第４のしきい値未満かを判定する第２の移動量判定手段をさらに備え，
上記第２の検出制御手段は，
上記第２の移動量判定手段において移動量が第４のしきい値未満と判定されたことにより，上記第１の画像および上記第２の画像のうち，上記使用画像決定手段によって決定された画像から追尾対象の対象画像部分を検出するように上記検出手段を制御し，上記第１の移動量判定手段において移動量が第３のしきい値以上と判定されたことにより，上記第１の画像および上記第２の画像の両方の被写体像の中から追尾対象の対象画像部分を検出するように上記検出手段を制御するものである，
請求項１または２に記載の対象画像の追尾装置。
【請求項４】
上記第１の画像は第１の撮像装置によって得られ，上記第２の画像は第２の撮像装置によって得られるものであり，
上記検出手段において，上記第１の画像と上記第２の画像との両方の被写体像の中から追尾対象画像部分がそれぞれ検出されたことにより，検出された追尾対象画像部分のうち対象画像らしさのスコアが大きい方の追尾対象画像部分を含む画像にもとづいて自動露出調整量および自動白バランス調整量の少なくとも一方を決定する調整量決定手段，
上記調整量決定手段において決定される自動露出調整量にもとづいて上記第１の撮像装置および上記第２の撮像装置の露出量を制御する露出量制御手段，ならびに
上記調整量決定手段において決定される自動白バランス調整量にもとづいて上記第１の撮像装置において得られる第１の画像を表す第１の画像データおよび上記第２の撮像装置において得られる第２の画像を表す第２の画像データを白バランス調整する白バランス調整手段，
をさらに備えた請求項１から３のうち，いずれか一項に記載の対象画像の追尾装置。
【請求項５】
上記第１の画像および上記第２の画像のうち，上記使用画像決定手段により決定された画像にもとづいて自動露出調整量および自動白バランス調整量の少なくとも一方を決定する調整量決定手段，
上記調整量決定手段において決定される自動露出調整量にもとづいて上記第１の撮像装置および上記第２の撮像装置の露出量を制御する露出量制御手段，ならびに
上記調整量決定手段において決定される自動白バランス調整量にもとづいて上記第１の撮像装置から得られる第１の画像データおよび上記第２の撮像装置から得られる第２の画像データを白バランス調整する白バランス調整手段，
をさらに備えた請求項１から４のうち，いずれか一項に記載の対象画像の追尾装置。
【請求項６】
上記検出手段において，少なくとも一つの追尾対象画像部分が検出されたことにより検出された追尾対象画像部分の対象画像らしさのスコアに応じた重み付けで自動露出調整量および自動白バランス調整量の少なくとも一方を決定する調整量決定手段，
上記調整量決定手段において決定される自動露出調整量にもとづいて上記第１の撮像装置および上記第２の撮像装置の露出量を制御する露出量制御手段，ならびに
上記調整量決定手段において決定される自動白バランス調整量にもとづいて上記第１の撮像装置から得られる第１の画像データおよび上記第２の撮像装置から得られる第２の画像データを白バランス調整する白バランス調整手段，
をさらに備えた請求項１から５のうち，いずれか一項に記載の対象画像の追尾装置。
【請求項７】
上記調整量決定手段において自動露出調整量および自動白バランス調整量の少なくとも一方が決定されたことにより計時を開始するタイマ，および
上記使用画像決定手段により決定された画像が第１の画像から第２の画像または第２の画像から第１の画像に変更されたことに応じて上記タイマをリセットするリセット手段をさらに備え，
上記露出制御手段および上記白バランス調整手段は，
上記タイマにより一定時間が計時されたことにより露出量の制御および白バランス調整をするものである，
請求項５または６に記載の対象画像の追尾装置。
【請求項８】
上記検出手段において上記第１の画像および上記第２の画像の両方の画像において追尾対象の対象画像部分がそれぞれ検出されたことにより，上記第１の画像において検出された対象画像部分および上記第２の画像において検出された対象画像部分のそれぞれが合焦するように上記第１の撮像装置および上記第２の撮像装置の合焦制御を行う第１の合焦制御手段，ならびに
上記検出手段において上記第１の画像および上記第２の画像のいずれか一方から追尾対象の対象画像部分が検出されたことにより，検出された対象画像部分が合焦するように検出された対象画像部分が含まれている画像を撮像した上記第１の撮像装置または上記第２の撮像装置の一方の合焦制御を行い，その一方の合焦制御量から上記第１の撮像装置または上記第２の撮像装置の他方の合焦制御量を算出し，算出された合焦制御量にもとづいて他方の撮像装置の合焦制御を行う第２の合焦制御手段，
をさらに備えた請求項１から７のうち，いずれか一項に記載の対象画像の追尾装置。
【請求項９】
上記第１の撮像装置から得られる上記第１の画像および上記第２の撮像装置から得られる第２の画像の両方の被写体像の中から追尾対象の対象画像部分を検出する場合の上記検出手段の動作周波数が，上記使用画像決定手段によって決定された画像から追尾対象の画像部分を検出する場合の上記検出手段の動作周波数よりも高いものである，
請求項１から８のうち，いずれか一項に記載の対象画像の追尾装置。
【請求項１０】
上記検出手段において上記第１の画像および上記第２の画像の両方の被写体像において追尾対象の対象画像部分がそれぞれ検出されたことにより，上記第１の画像において検出された対象画像部分および上記第２の画像において検出された対象画像部分のそれぞれが枠で囲まれた上記第１の画像および上記第２の画像を表示するように表示装置を制御する第１の表示制御手段，ならびに
上記検出手段において上記第１の画像および上記第２の画像のいずれか一方から追尾対象の対象画像部分が検出されたことにより検出された対象画像部分が枠で囲まれた一方の被写体像を表示し，かつ上記第１の画像および上記第２の画像のいずれか他方の画像において上記一方の被写体像において検出された対象画像部分に対応する画像部分の位置を算出し，算出された画像部分の位置が枠で囲まれた他方の画像を表示するように上記表示装置を制御する第２の表示制御手段，
をさらに備えた請求項１から９のうち，いずれか一項に記載の対象画像の追尾装置。
【請求項１１】
少なくとも一部分が共通の範囲を表し，かつ同じタイミングで撮像された第１の画像および第２の画像がそれぞれ順に与えられ，与えられた第１の画像および第２の画像の両方の画像から追尾対象の対象画像部分をそれぞれ検出する検出手段，
上記第１の画像および上記第２の画像のうち，上記検出手段によって追尾対象の対象画像部分が検出された画像を，追尾対象の対象画像部分の検出に使用する画像と決定する使用画像決定手段，
上記第１の画像および上記第２の画像のうち，上記使用画像決定手段によって決定された画像から追尾対象の対象画像部分を検出するように上記検出手段を制御する第１の検出制御手段，
上記第１の検出制御手段の制御のもとに対象画像部分検出処理が行われ，上記第１の画像または上記第２の画像のうち，上記使用画像決定手段によって決定された画像から追尾対象の画像部分が検出されたことにより，検出された対象画像らしさのスコアが所定しきい値以上か，所定のしきい値未満かを判定するスコア判定手段，
上記スコア判定手段において対象画像らしさを表すスコアが所定のしきい値以上と判定されたことにより，上記使用画像決定手段によって決定された画像から追尾対象の対象画像部分を検出するように上記検出手段を制御し，上記スコア判定手段において対象画像らしさを表すスコアが所定のしきい値未満と判定されたことにより，上記第１の画像および第２の画像の両方の画像から追尾対象の対象画像部分をそれぞれ検出し，検出された追尾対象の対象画像部分のスコアが大きい方の追尾対象の対象画像部分が含まれている画像を，追尾対象の対象画像部分の検出に使用する画像と決定するように上記使用画像決定手段を制御する決定制御手段，ならびに
上記検出手段による検出，上記使用画像決定手段による決定，上記第１の検出制御手段による検出制御，上記スコア判定手段による判定および上記決定制御手段による決定制御を繰り返すように上記検出手段，上記使用画像決定手段，上記第１の検出制御手段，上記スコア判定手段および上記決定制御手段を制御する制御手段，
を備えた対象画像の追尾装置。
【請求項１２】
上記検出手段により追尾対象の対象画像部分が検出されなかったことにより，上記第１の画像および第２の画像の両方の画像から追尾対象の対象画像部分をそれぞれ検出するように上記検出手段を制御する手段，
をさらに備えた請求項11に記載の対象画像の追尾装置。
【請求項１３】
検出手段が，少なくとも一部分が共通の範囲を表し，かつ同じタイミングで撮像された第１の画像および第２の画像がそれぞれ順に与えられ，与えられた第１の画像および第２の画像の両方の画像から追尾対象の対象画像部分をそれぞれ検出し，
第１のスコア判定手段が，上記検出手段によって上記第１の画像および上記第２の画像の少なくとも一方から追尾対象の対象画像部分が検出されたことにより，検出された追尾対象の対象画像部分の対象画像らしさを表すスコアが第１のしきい値以上か，第１のしきい値未満かを判定し，
使用画像決定手段が，上記第１のスコア判定手段において対象画像らしさを表すスコアが第１のしきい値以上と判定されたことにより，上記第１の画像または上記第２の画像のうち，第１のしきい値以上のスコアをもつ対象画像部分を含んでいた画像を，追尾対象の対象画像部分の検出に使用する画像と決定し，
第１の検出制御手段が，上記第１の画像および上記第２の画像のうち，上記使用画像決定手段によって決定された画像から追尾対象の対象画像部分を検出するように上記検出手段を制御し，上記第１のスコア判定手段において対象画像らしさを表すスコアが第１のしきい値未満と判定されたことにより，上記第１の画像および上記第２の画像の両方の画像から追尾対象の対象画像部分を検出するように上記検出手段を制御し，
第２のスコア判定手段が，上記第１の検出制御手段の制御のもとに上記使用画像決定手段によって決定された画像から追尾対象の対象画像部分を検出する対象画像部分検出処理が行われた場合において，上記第１の画像または上記第２の画像のうち，上記使用画像決定手段によって決定された画像から追尾対象の画像部分が検出されたことにより，検出された対象画像らしさのスコアが第２のしきい値以上か，第２のしきい値未満かを判定し，
第２の検出制御手段が，上記第２のスコア判定手段において対象画像らしさを表すスコアが第２のしきい値以上と判定されたことにより，上記使用画像決定手段によって決定された画像から追尾対象の対象画像部分を検出するように上記検出手段を制御し，上記第１のスコア判定手段において対象画像らしさを表すスコアが第１のしきい値未満と判定されたことにより，上記第１の画像および上記第２の画像の両方の画像から追尾対象の対象画像部分を検出するように上記検出手段を制御し，
制御手段が，上記検出手段による検出，上記第１のスコア判定手段による判定，上記使用画像決定手段による決定，上記第１の検出制御手段による検出制御，上記第２のスコア判定手段による判定および上記第２の検出制御手段による検出制御を繰り返すように，上記検出手段，上記第１のスコア判定手段，上記使用画像決定手段，上記第１の検出制御手段，上記第２のスコア判定手段および上記第２の検出制御手段を制御する，
対象画像の追尾装置の動作制御方法。
【請求項１４】
検出手段が，少なくとも一部分が共通の範囲を表し，かつ同じタイミングで撮像された第１の画像および第２の画像がそれぞれ順に与えられ，与えられた第１の画像および第２の画像の両方の画像から追尾対象の対象画像部分をそれぞれ検出し，
使用画像決定手段が，上記第１の画像および上記第２の画像のうち，上記検出手段によって追尾対象の対象画像部分が検出された画像を，追尾対象の対象画像部分の検出に使用する画像と決定し，
第１の検出制御手段が，上記第１の画像および上記第２の画像のうち，上記使用画像決定手段によって決定された画像から追尾対象の対象画像部分を検出するように上記検出手段を制御し，
スコア判定手段が，上記第１の検出制御手段の制御のもとに対象画像部分検出処理が行われ，上記第１の画像または上記第２の画像のうち，上記使用画像決定手段によって決定された画像から追尾対象の画像部分が検出されたことにより，検出された対象画像らしさのスコアが所定しきい値以上か，所定のしきい値未満かを判定し，
決定制御手段が，上記スコア判定手段において対象画像らしさを表すスコアが所定のしきい値以上と判定されたことにより，上記使用画像決定手段によって決定された画像から追尾対象の対象画像部分を検出するように上記検出手段を制御し，上記スコア判定手段において対象画像らしさを表すスコアが所定のしきい値未満と判定されたことにより，上記第１の画像および第２の画像の両方の画像から追尾対象の対象画像部分をそれぞれ検出し，検出された追尾対象の対象画像部分のスコアが大きい方の追尾対象の対象画像部分が含まれている画像を，追尾対象の対象画像部分の検出に使用する画像と決定するように上記使用画像決定手段を制御し，
制御手段が，上記検出手段による検出，上記使用画像決定手段による決定，上記第１の検出制御手段による検出制御，上記スコア判定手段による判定および上記決定制御手段による決定制御を繰り返すように上記検出手段，上記使用画像決定手段，上記第１の検出制御手段，上記スコア判定手段および上記決定制御手段を制御する，
対象画像の追尾装置の動作制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は，対象画像の追尾装置およびその動作制御方法に関する。
【背景技術】
【０００２】
被写体を動画で撮像している場合などにおいて，特定の対象物を追尾することがある（特許文献１−３）。追尾している対象物を表す画像部分が枠で囲まれる。しかしながら，追尾している対象物が他の物体の陰に隠れたり，対象物の移動方向が変わったりして，追尾できないことがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2007-28555号公報
【特許文献２】特開2007-110499号公報
【特許文献３】特開2008-108243号公報
【発明の概要】
【０００４】
この発明は，対象物の追尾精度を向上させることを目的とする。
【０００５】
第１の発明の対象画像の追尾装置は，少なくとも一部分が共通の範囲を表し，かつ同じタイミングで撮像された第１の画像および第２の画像がそれぞれ順に与えられ，与えられた第１の画像および第２の画像の両方の画像から追尾対象の対象画像部分をそれぞれ検出する検出手段，上記検出手段によって上記第１の画像および上記第２の画像の少なくとも一方から追尾対象の対象画像部分が検出されたことにより，検出された追尾対象の対象画像部分の対象画像らしさを表すスコアが第１のしきい値以上か，第１のしきい値未満かを判定する第１のスコア判定手段，上記第１のスコア判定手段において対象画像らしさを表すスコアが第１のしきい値以上と判定されたことにより，上記第１の画像または上記第２の画像のうち，第１のしきい値以上のスコアをもつ対象画像部分を含んでいた画像を，追尾対象の対象画像部分の検出に使用する画像と決定する使用画像決定手段，上記第１の画像および上記第２の画像のうち，上記使用画像決定手段によって決定された画像から追尾対象の対象画像部分を検出するように上記検出手段を制御し，上記第１のスコア判定手段において対象画像らしさを表すスコアが第１のしきい値未満と判定されたことにより，上記第１の画像および上記第２の画像の両方の画像から追尾対象の対象画像部分を検出するように上記検出手段を制御する第１の検出制御手段，上記第１の検出制御手段の制御のもとに上記使用画像決定手段によって決定された画像から追尾対象の対象画像部分を検出する対象画像部分検出処理が行われた場合において，上記第１の画像または上記第２の画像のうち，上記使用画像決定手段によって決定された画像から追尾対象の画像部分が検出されたことにより，検出された対象画像らしさのスコアが第２のしきい値以上か，第２のしきい値未満かを判定する第２のスコア判定手段，上記第２のスコア判定手段において対象画像らしさを表すスコアが第２のしきい値以上と判定されたことにより，上記使用画像決定手段によって決定された画像から追尾対象の対象画像部分を検出するように上記検出手段を制御し，上記第２のスコア判定手段において対象画像らしさを表すスコアが第２のしきい値未満と判定されたことにより，上記第１の画像および上記第２の画像の両方の画像から追尾対象の対象画像部分を検出するように上記検出手段を制御する第２の検出制御手段，ならびに上記検出手段による検出，上記第１のスコア判定手段による判定，上記使用画像決定手段による決定，上記第１の検出制御手段による検出制御，上記第２のスコア判定手段による判定および上記第２の検出制御手段による検出制御を繰り返すように，上記検出手段，上記第１のスコア判定手段，上記使用画像決定手段，上記第１の検出制御手段，上記第２のスコア判定手段および上記第２の検出制御手段を制御する制御手段を備えていることを特徴とする。
【０００６】
第１の発明は，上記対象画像の追尾装置に適した動作制御方法も提供している。すなわち，この方法は，検出手段が，少なくとも一部分が共通の範囲を表し，かつ同じタイミングで撮像された第１の画像および第２の画像がそれぞれ順に与えられ，与えられた第１の画像および第２の画像の両方の画像から追尾対象の対象画像部分をそれぞれ検出し，第１のスコア判定手段が，上記検出手段によって上記第１の画像および上記第２の画像の少なくとも一方から追尾対象の対象画像部分が検出されたことにより，検出された追尾対象の対象画像部分の対象画像らしさを表すスコアが第１のしきい値以上か，第１のしきい値未満かを判定し，使用画像決定手段が，上記第１のスコア判定手段において対象画像らしさを表すスコアが第１のしきい値以上と判定されたことにより，上記第１の画像または上記第２の画像のうち，第１のしきい値以上のスコアをもつ対象画像部分を含んでいた画像を，追尾対象の対象画像部分の検出に使用する画像と決定し，第１の検出制御手段が，上記第１の画像および上記第２の画像のうち，上記使用画像決定手段によって決定された画像から追尾対象の対象画像部分を検出するように上記検出手段を制御し，上記第１のスコア判定手段において対象画像らしさを表すスコアが第１のしきい値未満と判定されたことにより，上記第１の画像および上記第２の画像の両方の画像から追尾対象の対象画像部分を検出するように上記検出手段を制御し，第２のスコア判定手段が，上記第１の検出制御手段の制御のもとに上記使用画像決定手段によって決定された追尾対象の対象画像部分を検出する対象画像部分検出処理が行われた場合において，上記第１の画像または上記第２の画像のうち，上記使用画像決定手段によって決定された画像から追尾対象の画像部分が検出されたことにより，検出された対象画像らしさのスコアが第２のしきい値以上か，第２のしきい値未満かを判定し，第２の検出制御手段が，上記第２のスコア判定手段において対象画像らしさを表すスコアが第２のしきい値以上と判定されたことにより，上記使用画像決定手段によって決定された画像から追尾対象の対象画像部分を検出するように上記検出手段を制御し，上記第１のスコア判定手段において対象画像らしさを表すスコアが第１のしきい値未満と判定されたことにより，上記第１の画像および上記第２の画像の両方の画像から追尾対象の対象画像部分を検出するように上記検出手段を制御し，制御手段が，上記検出手段による検出，上記第１のスコア判定手段による判定，上記使用画像決定手段による決定，上記第１の検出制御手段による検出制御，上記第２のスコア判定手段による判定および上記第２の検出制御手段による検出制御を繰り返すように，上記検出手段，上記第１のスコア判定手段，上記使用画像決定手段，上記第１の検出制御手段，上記第２のスコア判定手段および上記第２の検出制御手段を制御するものである。
【０００７】
第１の発明によると，少なくとも一部分が共通の範囲を表し，かつ同じタイミングで撮像された第１の画像および第２の画像から追尾対象の対象画像部分が検出される。検出された対象画像部分のうち，第1のしきい値以上のスコアをもつ対象画像部分を含む第１の画像または第２の画像が追尾対象の対象画像部分の検出に使用する画像と決定される。第１の画像または左目画像のうち，決定された画像を用いて，決定後に与えられる画像について追尾対象の対象画像部分の検出処理が実行される。決定された画像で検出処理が行われた結果，対象画像部分が検出されると，その検出された対象画像部分のスコアが第２のしきい値以上か，第２のしきい値未満かが判定される。第２のしきい値以上であれば，第１の画像または左目画像のうち，決定された画像を用いて，追尾対象の対象画像部分の検出処理が繰り返される。第２のしきい値未満であれば，第１の画像と第２の画像との両方の画像を用いて追尾対象の対象画像部分の検出処理が行われる。第１の画像または第２の画像から検出される追尾対象の対象画像部分のスコアが一定以上となるように，追尾対象の対象画像部分を検出する画像を決定するので，対象画像部分の追尾精度が向上する。
【０００８】
上記第１のスコア判定手段においてスコアが第１のしきい値以上と判定されたことにより追尾対象の対象画像部分の移動量が第３のしきい値以上かどうかを判定する第１の移動量判定手段をさらに備えてもよい。この場合，上記第１の検出制御手段は，たとえば，上記第１の移動量判定手段において移動量が第３のしきい値未満と判定されたことにより，上記第１の画像および上記第２の画像のうち，上記使用画像決定手段によって決定された画像から追尾対象の対象画像部分を検出するように上記検出手段を制御し，上記第１の移動量判定手段において移動量が第３のしきい値以上と判定されたことにより，上記第１の画像および上記第２の画像の両方の被写体像の中から追尾対象の対象画像部分を検出するように上記検出手段を制御するものである。
【０００９】
上記第２のスコア判定手段においてスコアが第２のしきい値以上と判定されたことにより追尾対象の対象画像部分の移動量が第４のしきい値以上か第４のしきい値未満かを判定する第２の移動量判定手段をさらに備えてもよい。この場合，上記第２の検出制御手段は，たとえば，上記第２の移動量判定手段において移動量が第４のしきい値未満と判定されたことにより，上記第１の画像および上記第２の画像のうち，上記使用画像決定手段によって決定された画像から追尾対象の対象画像部分を検出するように上記検出手段を制御し，上記第１の移動量判定手段において移動量が第３のしきい値以上と判定されたことにより，上記第１の画像および上記第２の画像の両方の被写体像の中から追尾対象の対象画像部分を検出するように上記検出手段を制御するものである。
【００１０】
上記第１の画像は第１の撮像装置によって得られ，上記第２の画像は第２の撮像装置によって得られるものでもよい。この場合，上記検出手段において，上記第１の画像と上記第２の画像との両方の被写体像の中から追尾対象画像部分がそれぞれ検出されたことにより，検出された追尾対象画像部分のうち対象画像らしさのスコアが大きい方の追尾対象画像部分を含む画像にもとづいて自動露出調整量および自動白バランス調整量の少なくとも一方を決定する調整量決定手段，上記調整量決定手段において決定される自動露出調整量にもとづいて上記第１の撮像装置および上記第２の撮像装置の露出量を制御する露出量制御手段，ならびに上記調整量決定手段において決定される自動白バランス調整量にもとづいて上記第１の撮像装置において得られる第１の画像を表す第１の画像データおよび上記第２の撮像装置において得られる第２の画像を表す第２の画像データを白バランス調整する白バランス調整手段をさらに備えることが好ましい。
【００１１】
上記第１の画像および上記第２の画像のうち，上記使用画像決定手段により決定された画像にもとづいて自動露出調整量および自動白バランス調整量の少なくとも一方を決定する調整量決定手段，上記調整量決定手段において決定される自動露出調整量にもとづいて上記第１の撮像装置および上記第２の撮像装置の露出量を制御する露出量制御手段，ならびに上記調整量決定手段において決定される自動白バランス調整量にもとづいて上記第１の撮像装置から得られる第１の画像データおよび上記第２の撮像装置から得られる第２の画像データを白バランス調整する白バランス調整手段をさらに備えてもよい。
【００１２】
上記検出手段において，少なくとも一つの追尾対象画像部分が検出されたことにより検出された追尾対象画像部分の対象画像らしさのスコアに応じた重み付けで自動露出調整量および自動白バランス調整量の少なくとも一方を決定する調整量決定手段，上記調整量決定手段において決定される自動露出調整量にもとづいて上記第１の撮像装置および上記第２の撮像装置の露出量を制御する露出量制御手段，ならびに上記調整量決定手段において決定される自動白バランス調整量にもとづいて上記第１の撮像装置から得られる第１の画像データおよび上記第２の撮像装置から得られる第２の画像データを白バランス調整する白バランス調整手段をさらに備えてもよい。
【００１３】
上記調整量決定手段において自動露出調整量および自動白バランス調整量の少なくとも一方が決定されたことにより計時を開始するタイマ，および上記使用画像決定手段により決定された画像が第１の画像から第２の画像または第２の画像から第１の画像に変更されたことに応じて上記タイマをリセットするリセット手段をさらに備えてもよい。この場合，上記露出制御手段および上記白バランス調整手段は，たとえば，上記タイマにより一定時間が計時されたことにより露出量の制御および白バランス調整をするものである。
【００１４】
上記検出手段において上記第１の画像および上記第２の画像の両方の画像において追尾対象の対象画像部分がそれぞれ検出されたことにより，上記第１の画像において検出された対象画像部分および上記第２の画像において検出された対象画像部分のそれぞれが合焦するように上記第１の撮像装置および上記第２の撮像装置の合焦制御を行う第１の合焦制御手段，ならびに上記検出手段において上記第１の画像および上記第２の画像のいずれか一方から追尾対象の対象画像部分が検出されたことにより，検出された対象画像部分が合焦するように検出された対象画像部分が含まれている画像を撮像した上記第１の撮像装置または上記第２の撮像装置の一方の合焦制御を行い，その一方の合焦制御量から上記第１の撮像装置または上記第２の撮像装置の他方の合焦制御量を算出し，算出された合焦制御量にもとづいて他方の撮像装置の合焦制御を行う第２の合焦制御手段をさらに備えてもよい。
【００１５】
上記第１の撮像装置から得られる上記第１の画像および上記第２の撮像装置から得られる第２の画像の両方の被写体像の中から追尾対象の対象画像部分を検出する場合の上記検出手段の動作周波数を，上記使用画像決定手段によって決定された画像から追尾対象の画像部分を検出する場合の上記検出手段の動作周波数よりも高くすることが好ましい。
【００１６】
上記検出手段において上記第１の画像および上記第２の画像の両方の被写体像において追尾対象の対象画像部分がそれぞれ検出されたことにより，上記第１の画像において検出された対象画像部分および上記第２の画像において検出された対象画像部分のそれぞれが枠で囲まれた上記第１の画像および上記第２の画像を表示するように表示装置を制御する第１の表示制御手段，ならびに上記検出手段において上記第１の画像および上記第２の画像のいずれか一方から追尾対象の対象画像部分が検出されたことにより検出された対象画像部分が枠で囲まれた一方の被写体像を表示し，かつ上記第１の画像および上記第２の画像のいずれか他方の画像において上記一方の被写体像において検出された対象画像部分に対応する画像部分の位置を算出し，算出された画像部分の位置が枠で囲まれた他方の画像を表示するように上記表示装置を制御する第２の表示制御をさらに備えてもよい。
【００１７】
第２の発明の対象画像の追尾装置は，少なくとも一部分が共通の範囲を表し，かつ同じタイミングで撮像された第１の画像および第２の画像がそれぞれ順に与えられ，与えられた第１の画像および第２の画像の両方の画像から追尾対象の対象画像部分をそれぞれ検出する検出手段，上記第１の画像および上記第２の画像のうち，上記検出手段によって追尾対象の対象画像部分が検出された画像を，追尾対象の対象画像部分の検出に使用する画像と決定する使用画像決定手段，上記第１の画像および上記第２の画像のうち，上記使用画像決定手段によって決定された画像から追尾対象の対象画像部分を検出するように上記検出手段を制御する第１の検出制御手段，上記第１の検出制御手段の制御のもとに対象画像部分検出処理が行われ，上記第１の画像または上記第２の画像のうち，上記使用画像決定手段によって決定された画像から追尾対象の画像部分が検出されたことにより，検出された対象画像らしさのスコアが所定しきい値以上か，所定のしきい値未満かを判定するスコア判定手段，上記スコア判定手段において対象画像らしさを表すスコアが所定のしきい値以上と判定されたことにより，上記使用画像決定手段によって決定された画像から追尾対象の対象画像部分を検出するように上記検出手段を制御し，上記スコア判定手段において対象画像らしさを表すスコアが所定のしきい値未満と判定されたことにより，上記第１の画像および第２の画像の両方の画像から追尾対象の対象画像部分をそれぞれ検出し，検出された追尾対象の対象画像部分のスコアが大きい方の追尾対象の対象画像部分が含まれている画像を，追尾対象の対象画像部分の検出に使用する画像と決定するように上記使用画像決定手段を制御する決定制御手段，ならびに上記検出手段による検出，上記使用画像決定手段による決定，上記第１の検出制御手段による検出制御，上記スコア判定手段による判定および上記決定制御手段による決定制御を繰り返すように上記検出手段，上記使用画像決定手段，上記第１の検出制御手段，上記スコア判定手段および上記決定制御手段を制御する制御手段を備えていることを特徴とする。
【００１８】
第２の発明は，上記対象画像の追尾装置に適した動作制御方法も提供している。すなわち，この方法は，検出手段が，少なくとも一部分が共通の範囲を表し，かつ同じタイミングで撮像された第１の画像および第２の画像がそれぞれ順に与えられ，与えられた第１の画像および第２の画像の両方の画像から追尾対象の対象画像部分をそれぞれ検出し，使用画像決定手段が，上記第１の画像および上記第２の画像のうち，上記検出手段によって追尾対象の対象画像部分が検出された画像を，追尾対象の対象画像部分の検出に使用する画像と決定し，第１の検出制御手段が，上記第１の画像および上記第２の画像のうち，上記使用画像決定手段によって決定された画像から追尾対象の対象画像部分を検出するように上記検出手段を制御し，スコア判定手段が，上記第１の検出制御手段の制御のもとに対象画像部分検出処理が行われ，上記第１の画像または上記第２の画像のうち，上記使用画像決定手段によって決定された画像から追尾対象の画像部分が検出されたことにより，検出された対象画像らしさのスコアが所定しきい値以上か，所定のしきい値未満かを判定し，決定制御手段が，上記スコア判定手段において対象画像らしさを表すスコアが所定のしきい値以上と判定されたことにより，上記使用画像決定手段によって決定された画像から追尾対象の対象画像部分を検出するように上記検出手段を制御し，上記スコア判定手段において対象画像らしさを表すスコアが所定のしきい値未満と判定されたことにより，上記第１の画像および第２の画像の両方の画像から追尾対象の対象画像部分をそれぞれ検出し，検出された追尾対象の対象画像部分のスコアが大きい方の追尾対象の対象画像部分が含まれている画像を，追尾対象の対象画像部分の検出に使用する画像と決定するように上記使用画像決定手段を制御し，制御手段が，上記検出手段による検出，上記使用画像決定手段による決定，上記第１の検出制御手段による検出制御，上記スコア判定手段による判定および上記決定制御手段による決定制御を繰り返すように上記検出手段，上記使用画像決定手段，上記第１の検出制御手段，上記スコア判定手段および上記決定制御手段を制御するものである。
【００１９】
第２の発明によると，第１の画像および第２の画像の両方の画像で対象画像の検出処理が行われる。少なくとも一方の画像で対象画像部分が検出されると，その後に与えられる画像について，その検出された対象画像部分が含まれていた画像に対応する画像から対象画像の検出処理が行われるように使用画像が決定される。その後に与えられる画像について，第１の画像および第２の画像のうち，決定された画像を用いて対象画像部分が検出される検出された対象画像部分のスコアが所定しきい値未満であると，第１の画像と第２の画像との両方の画像を用いて対象画像部分の検出処理が行われ，検出された対象画像部分のうち，スコアの高い対象画像部分が含まれている画像に対応する画像から対象画像の検出処理が行われるように使用画像が決定される。第１の画像および第２の画像のうち，スコアの高い対象画像部分が検出できる可能性の高い画像から対象画像部分の検出処理が行われるので，追尾精度が向上する。
【００２０】
上記検出手段により追尾対象の対象画像部分が検出されなかったことにより，上記第１の画像および第２の画像の両方の画像から追尾対象の対象画像部分をそれぞれ検出するように上記検出手段を制御する手段をさらに備えてもよい。
【図面の簡単な説明】
【００２１】
【図１】立体撮像ディジタル・カメラの電気的構成を示すブロック図である。
【図２】立体撮像ディジタル・カメラの一部の電気的構成を示すブロック図である。
【図３】立体撮像ディジタル・カメラの処理手順を示すフローチャートである。
【図４】被写体とカメラとの位置関係を示している。
【図５】被写体像の一例である。
【図６】被写体とカメラとの位置関係を示している。
【図７】被写体像の一例である。
【図８】被写体とカメラとの位置関係を示している。
【図９】被写体像の一例である。
【図１０】立体撮像ディジタル・カメラの電気的構成を示すブロック図である。
【図１１】立体撮像ディジタル・カメラの一部の電気的構成を示すブロック図である。
【図１２】立体撮像ディジタル・カメラの処理手順を示すフローチャートである。
【図１３】立体撮像ディジタル・カメラの電気的構成を示すブロック図である。
【図１４】立体撮像ディジタル・カメラの一部の電気的構成を示すブロック図である。
【図１５】立体撮像ディジタル・カメラの処理手順を示すフローチャートである。
【図１６】立体撮像ディジタル・カメラの電気的構成を示すブロック図である。
【図１７】立体撮像ディジタル・カメラの一部の電気的構成を示すブロック図である。
【図１８】立体撮像ディジタル・カメラの処理手順を示すフローチャートである。
【図１９】立体撮像ディジタル・カメラの処理手順を示すフローチャートである。
【図２０】被写体像の一例である。
【図２１】被写体像の一例である。
【図２２】立体撮像ディジタル・カメラの電気的構成を示すブロック図である。
【図２３】立体撮像ディジタル・カメラの一部の電気的構成を示すブロック図である。
【図２４】立体撮像ディジタル・カメラの処理手順を示すフローチャートである。
【図２５】被写体像の一例である。
【図２６】被写体像の一例である。
【図２７】被写体像の一例である。
【図２８】立体撮像ディジタル・カメラの電気的構成を示すブロック図である。
【図２９】立体撮像ディジタル・カメラの一部の電気的構成を示すブロック図である。
【図３０】立体撮像ディジタル・カメラの処理手順を示すフローチャートである。
【図３１】立体撮像ディジタル・カメラの処理手順を示すフローチャートである。
【図３２】ＡＥ／ＡＷＢの演算結果の予約処理手順を示すフローチャートである。
【図３３】立体撮像ディジタル・カメラの電気的構成を示すブロック図である。
【図３４】立体撮像ディジタル・カメラの一部の電気的構成を示すブロック図である。
【図３５】被写体像の一例である。
【図３６】被写体像の一例である。
【図３７】被写体像の一例である。
【図３８】被写体とカメラとの位置関係を示している。
【図３９】被写体像の一例である。
【図４０】立体撮像ディジタル・カメラの処理手順を示すフローチャートである。
【図４１】立体撮像ディジタル・カメラの処理手順を示すフローチャートである。
【図４２】立体撮像ディジタル・カメラの電気的構成を示すブロック図である。
【図４３】立体撮像ディジタル・カメラの一部の電気的構成を示すブロック図である。
【図４４】立体撮像ディジタル・カメラの処理手順を示すフローチャートである。
【図４５】立体撮像ディジタル・カメラの電気的構成を示すブロック図である。
【図４６】立体撮像ディジタル・カメラの一部の電気的構成を示すブロック図である。
【図４７】カメラと被写体との位置関係を示している。
【図４８】被写体像の一例である。
【図４９】被写体像の一例である。
【図５０】立体撮像ディジタル・カメラの処理手順を示すフローチャートである。
【図５１】立体撮像ディジタル・カメラの処理手順を示すフローチャートである。
【実施例】
【００２２】
図１は，この発明の実施例を示すもので，立体撮像ディジタル・カメラの電気的構成を示すブロック図である。
【００２３】
立体撮像ディジタル・カメラの全体の動作は，メインＣＰＵ１によって統括される。立体撮像ディジタル・カメラには，撮像モード，再生モードなどのモード設定ボタン，立体動画記録の開始および終了を指定する動画ボタンなどの各種ボタン類が含まれている操作装置８が設けられている。操作装置８から出力される操作信号は，メインＣＰＵ１に入力する。
【００２４】
立体撮像ディジタル・カメラには，第１の撮像装置10と第２の撮像装置30とが含まれている。これらの第１の撮像装置10と第２の撮像装置30とによって被写体が連続的に（周期的に）撮像され，撮像ごとに後述のように追尾対象の対象画像部分の検出処理が繰り返される（追尾処理）
【００２５】
第１の撮像装置10は，被写体を撮像することにより，立体動画を構成する右目用画像（第１の画像）を表す画像データを一定周期で出力するものである。第１の撮像装置10には，第１のＣＣＤ16が含まれている。第１のＣＣＤ16の前方には，ズーム・レンズ12，フォーカス・レンズ13，バリヤ14および絞り15が設けられている。これらのズーム・レンズ12，フォーカス・レンズ13，バリヤ14および絞り15は，それぞれズーム・レンズ制御装置17，フォーカス・レンズ制御装置18，防護制御装置19および絞り制御装置20によって駆動させられる。撮像モードが設定され，第１のＣＣＤ16の受光面に右目用画像が結像すると，タイミング・ジェネレータ21から与えられるクロック・パルスにもとづいて，右目用画像を表す右目用映像信号が第１のＣＣＤ16から出力される。
【００２６】
第１のＣＣＤ16から出力された右目用映像信号は，アナログ信号処理装置22において，所定のアナログ信号処理が行われ，アナログ／ディジタル変換装置23においてディジタルの右目用画像データに変換される。右目用画像データは，画像入力コントローラ24からディジタル信号処理装置25に入力する。ディジタル信号処理装置25において右目用画像データに対して所定のディジタル信号処理が行われる。ディジタル信号処理装置25から出力された右目用画像データは３Ｄ画像生成装置59に入力する。
【００２７】
第２の撮像装置30には，第２のＣＣＤ36が含まれている。第２のＣＣＤ36の前方には，ズーム・レンズ制御装置37，フォーカス・レンズ制御装置38，防護制御装置39および絞り制御装置40によってそれぞれ駆動させられるズーム・レンズ32，フォーカス・レンズ33，バリヤ34および絞り35が設けられている。撮像モードが設定され，第２のＣＣＤ36の受光面に左目用画像が結像すると，タイミング・ジェネレータ41から与えられるクロック・パルスにもとづいて，左目用画像（第２の画像）を表す左目用映像信号が第２のＣＣＤ36から出力される。
【００２８】
第２のＣＣＤ36から出力された右目用映像信号は，アナログ信号処理装置42において，所定のアナログ信号処理が行われ，アナログ／ディジタル変換装置43においてディジタルの左目用画像データに変換される。左目用画像データは，画像入力コントローラ44からディジタル信号処理装45に入力する。ディジタル信号処理装置45において左目用画像データに対して所定のディジタル信号処理が行われる。ディジタル信号処理装置45から出力された左目用画像データは３Ｄ画像生成装置59に入力する。
【００２９】
３Ｄ画像生成装置59において，右目用画像データと左目用画像データとから，立体画像を表す画像データが生成されて表示制御装置53に入力する。表示制御装置53においてモニタ表示装置54が制御されることにより，モニタ表示装置54の表示画面に立体画像が表示される。上述した撮像，処理が繰り返されることにより，モニタ表示装置54の表示画面には立体的に見える動画が表示される。
【００３０】
撮像モードが設定されると，上述のようにして得られる右目用画像データおよび左目用画像データ（いずれか一方でもよい）はＡＦ検出装置61およびＡＥ／ＡＷＢ検出装置62に入力する。ＡＦ検出装置61において，第１のフォーカス・レンズ13および第２のフォーカス・レンズ33の合焦制御量が算出される。算出された合焦制御量に応じて，第１のフォーカス・レンズ13および第２のフォーカス・レンズ33が合焦位置に位置決めされる。また，ＡＥ／ＡＷＢ検出装置62において，露出量および白バランス調整量が算出される。算出された露出量となるように，第１の絞り15の絞り値および第１のＣＣＤ16の電子シャッタ時間ならびに第２の絞り35の絞り値および第２のＣＣＤ36の電子シャッタ時間が決定される。また,算出された白バランス調整量にもとづいて，右目用映像信号がアナログ信号処理装置22において白バランス調整が行われ，左目用映像信号がアナログ信号処理装置42において白バランス調整が行われる。
【００３１】
動画ボタンにより動画の記録開始指令が立体撮像ディジタル・カメラに与えられると，上述のようにして得られる３Ｄ動画（多数の右目用画像と多数の左目用画像とから構成される動画）を表す画像データがメディア制御装置51によってメモリ・カード52に記録される。
【００３２】
さらに，立体撮像ディジタル・カメラには，各種データ類を記憶するＶＲＡＭ55，ＳＤＲＡＭ56，フラッシュＲＯＭ57およびＲＯＭ58も含まれている。また，立体撮像ディジタル・カメラには，バッテリィ２が含まれており，このバッテリィ２から供給される電源が電源制御装置３に与えられる。電源制御装置３から立体撮像ディジタル・カメラを構成する各装置に電源が供給される。さらに，立体撮像ディジタル・カメラには，フラッシュ制御装置５によって制御されるフラッシュ６，姿勢検出センサ７および手振れ補正制御装置63も含まれている。
【００３３】
さらに，ディジタル立体撮像ディジタル・カメラには，被写体検出使用画像決定装置64も含まれている。この実施例による立体撮像ディジタル・カメラは，撮像によって得られた特定の被写体（対象物）を表す対象画像部分を追尾し，その対象画像部分を枠で囲んで表示することができる。対象画像部分を検出するのに用いる画像を右目用画像とするか，左目用画像とするか，両方の画像とするかを決定するのが被写体検出使用画像決定装置64である。モニタ表示装置54上にタッチ・パネル（図示略）が設けられており，追尾する対象画像をタッチすることにより，対象画像部分が特定される。あらかじめ記憶されている対象画像部分を選択するようにしてもよい。特定された対象画像部分の特徴が抽出され,その抽出された特徴をもつ画像部分が追尾される。
【００３４】
図２は，被写体検出使用画像決定装置64の電気的構成を示すブロック図である。
【００３５】
右目用画像データおよび左目用画像データが被写体検出装置65に入力し，右目用画像データによって表される右目用画像および左目用画像データによって表される左目用画像の両方の画像または一方の画像から対象画像部分が検出される。検出結果を示すデータは，表示制御装置53に与えられ，検出された対象画像部分が枠で囲まれて表示される。また，検出結果を示すデータは，使用画像決定装置66にも入力する。使用画像決定装置66において，対象画像部分を検出するのに使用する画像を，右目用画像とするか，左目用画像とするか，右目用画像と左目用画像との両方とするかが決定される。使用する画像として決定された画像を示すデータは被写体検出装置65に与えられる。被写体検出装置65において，使用する画像として決定された画像を表す画像データを用いて対象画像部分が検出される。
【００３６】
図３は，立体撮像ディジタル・カメラの処理手順を示すフローチャートである。
【００３７】
第１の撮像装置10によって被写体が撮像されて得られた右目用画像と，第２の撮像装置30によって被写体が撮像され，その撮像により得られた左目用画像との両方の画像のそれぞれで，対象画像（対象物）の検出処理が行われる（ステップ71）。対象画像が検出されると（ステップ72でＹＥＳ），右目用画像と左目用画像とのうち，対象画像が検出された方の画像を使用して対象画像検出処理を実行するように決定される（第１の使用画像決定処理）（ステップ73）。
【００３８】
図４は，立体撮像ディジタル・カメラにおいて撮像される被写体の様子を平面的に示している。
【００３９】
上述のように，立体撮像ディジタル・カメラ100には，右目用画像を撮像する第１の撮像装置10および左目用画像を撮像する第２の撮像装置30が含まれている。第１の撮像装置10の撮像範囲（画角）は角度θ１で表され，第２の撮像範囲30の撮像範囲（画角）はθ２で表されている。
【００４０】
立体撮像ディジタル・カメラ100の前方に二人の被写体91および92がいたとして，それらの二人の被写体91および92が第１の撮像装置10および第２の撮像装置30で撮像されたものとする。第１の撮像装置10の画角と第２の撮像装置30の画角とは異なるから，第１の撮像装置10の撮像により得られる右目用画像と第２の撮像装置30の撮像により得られる左目用画像とは視差が生じる。
【００４１】
図５は，図４に示す位置関係の被写体91および92を撮像して得られる左目用画像93と右目用画像94とを表している。
【００４２】
左目用画像93には，一方の被写体91の被写体像91Ｌおよび他方の被写体92の被写体像92Ｌの両方とも表示されている。これに対して，右目用画像94には，一方の被写体91の被写体像91Ｒは他方の被写体92の被写体像92Ｒの陰に隠れている。検出する対象画像が一方の被写体91の顔画像であった場合において，左目用画像93からはその顔画像が検出されたが，右目用画像94からはその顔画像が検出されない場合には，顔画像が検出された被写体像である左目用画像を使用して対象画像検出処理を行うように使用画像が決定される。検出された対象画像（部分）である顔画像は枠90で囲まれる。
【００４３】
左目用画像93および右目用画像94の両方の画像から検出（追尾）対象である顔画像が検出された場合には，どちらの画像を使用する画像として決定してもよい。また，検出された顔画像の顔画像らしさ（対象画像らしさ）を表すスコアの高い方の画像をしようする画像として決定してもよい。
【００４４】
図３に戻って，上述のようにして使用する画像が決定されると，その後の撮像により得られる右目用画像および左目用画像のうち，決定された一方の画像を用いて対象画像部分の検出処理が実行される（ステップ74）。たとえば，左目用画像を使用して対象画像（部分）検出処理を行うように使用画像が決定される。
【００４５】
図６は，図４に対応するもので，立体撮像ディジタル・カメラにおいて撮像される被写体の様子を平面的に示している。図７は，図６の位置関係で得られる右目用画像と左目用画像とを表している。
【００４６】
一方の被写体91が向かって右方向に移動しており，左目用画像93では，検出（追尾）対象の顔画像が検出できているが，右目用画像94では一方の被写体91の被写体像91Ｒは他方の被写体92の被写体像92Ｒの陰となり見えない。左目用画像を用いて検出するように設定されていると対象画像部分である顔画像が検出されることとなる。
【００４７】
図３に戻って，右目用画像および左目用画像のうち，対象画像の検出に使用する画像として決定された画像から対象画像が検出されると（ステップ75でＹＥＳ），その検出された対象画像の対象画像らしさを表すスコアが所定のしきい値以上か，所定のしきい値未満かが判定される（ステップ76）。しきい値以上であれば（ステップ76），その決定された画像を使用して対象画像の検出を続けるのに適していると考えられるので，終了指令が与えられなければ（ステップ80でＮＯ），再び被写体が撮像され，撮像により得られた右目用画像および左目用画像のうち，その決定された画像を使用して対象画像の検出処理が行われる（ステップ74）。しきい値未満であると（ステップ76），左目用画像および右目用画像の両方の画像を用いて対象画像の検出処理が実行される（ステップ77）。左目用画像および右目用画像の両方から対象画像が検出されると，それぞれの画像から検出された対象画像のスコアが比較される（ステップ78）。左目用画像および右目用画像のうち，算出されたスコアの高い対象画像が含まれている画像が対象画像の検出に使用される画像に決定される（ステップ79）。決定された画像を用いて対象画像の検出が実行される（ステップ74）。
【００４８】
図８は，立体撮像ディジタル・カメラ100と被写体91および92との位置関係を示し，図９は，図８に示す位置関係において撮像されることにより得られる左目用画像93と右目用画像94とを表している。
【００４９】
一方の被写体91がさらに向かって右側に移動したことにより，左目用画像93においては一方の被写体91の被写体像は他方の被写体92の被写体像92Ｌの陰に隠れて見えない。これに対して，右目用画像94においては一方の被写体91の被写体像91Ｒは他方の被写体92の被写体像92Ｒの陰に隠れていないで見えている。
【００５０】
このような状況となると，対象画像を検出する画像として決定された画像が左目用画像93であったとすると，左目用画像93からは対象画像を検出できず，追尾に失敗する。これに対して，右目用画像94には，対象画像が見えているので対象画像を検出でき対象画像の追尾を続行できる。このために，この実施例では，対象画像部分の検出に使用する画像から対象画像部分が検出できなかった場合には，右目用画像と左目用画像との両方の画像から対象画像部分を検出するように制御される。
【００５１】
再び，図３に戻って，対象画像部分の検出に使用する画像から対象画像部分が検出できないと（ステップ75でＮＯ），終了指令が与えられなければ（ステップ81でＮＯ），右目用画像と左目用画像との両方の画像から対象画像部分を検出する処理が実行される（ステップ71）。
【００５２】
上述の実施例では，常に右目用画像と左目用画像との両方の画像で対象画像を検出するのではなく，検出された対象画像の対象画像らしさを表すスコアが高い場合には右目用画像と左目用画像とのうち一方の画像で対象画像を検出するので，対象画像についての演算量を減少させることができる。
【００５３】
図10から図12は，他の実施例を示している。
【００５４】
右目用画像または左目用画像のうち，対象画像を検出する画像として決定された一方の画像から検出された対象画像の対象画像らしさを表すスコアが一定値未満の場合には，右目用画像と左目用画像との両方の画像を用いて対象画像を検出して対象画像の追尾を続行するものである。
【００５５】
図10は，立体撮像ディジタル・カメラの電気的構成を示すブロック図である。図10において，図１に示す各装置と同一物については同一符号を付して説明を省略する。
【００５６】
図10に示す立体撮像ディジタル・カメラには，被写体検出選択装置101が設けられている。
【００５７】
図11は被写体検出選択装置101の詳細を示している。
【００５８】
被写体検出選択装置101には，上述した被写体検出装置65が含まれている。この被写体検出装置65において，右目用画像および左目用画像の少なくとも一方の画像から対象画像を検出することができる。また，被写体検出装置65においては検出された対象画像の対象画像らしさを表すスコアも算出される。被写体検出装置65において検出された結果を示すデータ（対象画像部分の位置を示すデータ，検出された対象画像の対象画像らしさを表すスコアをそれぞれ表すデータ）は，被写体検出装置101から出力されて表示制御装置53に与えられるとともに被写体選択装置102にも与えられる。被写体選択装置102において，検出された対象画像の対象画像らしさを表すスコアにもとづいて，右目用画像および左目用画像のうち，スコアの高い対象画像が含まれている画像を用いて対象画像が選択される。選択された画像の結果を表すデータが被写体検出装置65に与えられ，設定された画像を用いて対象画像の検出が行われる。
【００５９】
図12は，図10に示す立体撮像ディジタル・カメラの処理手順を示すフローチャートである。図12において図３に示す処理と同一の処理については同一符号を付して説明を省略する。
【００６０】
上述のように，被写体が撮像され，右目用画像および左目用画像が得られる。得られた右目用画像と左目用画像との両方の画像から対象画像の検出処理が実行される（ステップ71）。両方の画像の少なくとも一方から対象画像が検出されると（ステップ72でＹＥＳ），検出された対象画像のうち少なくとも一つの対象画像の対象画像らしさを表すスコアが，所定の第１のしきい値以上か，所定の第１のしきい値未満か（右目用画像と左目用画像とからそれぞれ対象画像が検出された場合には，両方の対象画像のスコアともが第１のしきい値未満か）どうかが判定される（ステップ113）。この第１のしきい値は，対象画像の検出処理に用いられるしきい値よりも低ければ，常にスコアが第１のしきい値よりも高くなってしまうので，対象画像の検出処理に用いられるしきい値よりも高いものが利用される。
【００６１】
検出された対象画像のうち少なくとも一つの対象画像の対象画像らしさを表すスコアが，所定の第１のしきい値以上の場合において（ステップ113），右目用画像および左目用画像の両方の画像から対象画像が検出されたときには，スコアの高い対象画像が検出された画像が，対象画像を検出する画像として決定される。右目用画像または左目用画像のうちいずれか一方から対象画像が検出され，その検出された対象画像のスコアが第１のしきい値以上の場合には，その検出された対象画像が含まれている画像が，対象画像を検出する画像として決定される。
【００６２】
その後に撮像される画像については，右目用画像または左目用画像のうち，決定された画像から対象画像の検出処理が実行される（ステップ74）。対象画像が検出されると（ステップ75でＹＥＳ），その検出された対象画像のスコアが第２のしきい値以上か，第２のしきい値未満かが判定される（ステップ76）。第２のしきい値未満であり（ステップ76），終了指令が与えられなければ（ステップ81でＮＯ），その後に撮像により得られる右目用画像と左目用画像との両方の画像を用いて対象画像の検出処理が行われる（ステップ71）。第２のしきい値以上であり（ステップ76），終了指令が与えられなければ（ステップ80でＮＯ），被写体が撮像されると，右目用画像または左目用画像のうちステップ114で決定された画像から対象画像の検出処理が実行される（ステップ74）。第２のしきい値も，対象画像を検出する処理に用いられるしきい値よりも高い。
【００６３】
また，右目用画像および左目用画像の両方の画像において対象画像の検出処理が行われた場合において検出された対象画像のスコアが第１のしきい値以上とならなかった場合（ステップ113），ステップ114で決定された画像から対象画像が検出されなかった場合（ステップ75でＮＯ）にも，その後の撮像により対象画像を検出する場合には右目用画像と左目用画像との両方の画像から対象画像が検出される。
【００６４】
対象画像のスコアが小さくなると，右目用画像と左目用画像との両方の画像を用いて対象画像の検出処理が行われるので，対象画像の追尾（検出）を続行できる。
【００６５】
図13から図15は，他の実施例を示すものである。
【００６６】
この実施例は，対象画像の移動量を算出し，その移動量が所定量以上の場合には右目用画像および左目用画像の両方の画像を用いて対象画像を検出し，その移動量が所定値未満の場合には右目用画像および左目用画像のうち上述のように決定された画像を用いて対象画像を検出するものである。
【００６７】
図13は，立体撮像ディジタル・カメラの電気的構成を示すブロック図である。この図において，図１または図10に示すものと同一物については同一符号を付して説明を省略する。
【００６８】
立体撮像ディジタル・カメラには，被写体検出選択装置101のほかに被写体検出移動量算出装置121が設けられている。
【００６９】
図14は，被写体検出選択装置101および被写体検出移動量算出装置121の詳細を示している。図14においても図11に示すものと同一物については同一符号を付して説明を省略する。
【００７０】
被写体検出装置65において検出された対象画像の検出結果を示すデータは，被写体検出移動量算出装置121にも入力する。被写体検出移動量算出装置121において，前回の対象画像検出により得られた対象画像の位置と今回の対象画像検出により得られた対象画像の位置とから対象画像の移動量が算出される。算出された移動量が大きい場合には，右目用画像と左目用画像との両方の画像を使用して対象画像の検出処理が行われる。算出された移動量が小さい場合には，右目用画像と左目用画像とのうち上述のように決定された画像を用いて対象画像の検出処理が行われる。
【００７１】
図15は，図13に示す立体撮像ディジタル・カメラの処理手順を示すフローチャートである。この図において，図３または図12に示す処理と同一の処理については同一符号を付して説明を省略する。
【００７２】
ステップ114において，右目用画像と左目用画像とのうち，対象画像を検出するのに使用される一方の画像が決定されると，検出された対象画像の移動量が算出される（ステップ135）。対象画像の移動量が第３のしきい値以上であると（ステップ136），上述のようにステップ114で決定された画像だけを用いて対象画像の検出処理を行っても対象画像を検出できないと考えて，右目用画像と左目用画像との両方の画像を用いて対象画像の検出処理が繰り返される。対象画像の移動量が第３のしきい値未満であると（ステップ136），対象画像の移動量は少ないので，ステップ114で決定された画像だけを用いても対象画像を検出できると考え，その後の撮像により得られた右目用画像および左目用画像のうち，決定された画像を用いて対象画像の検出処理が行われる（ステップ74）。
【００７３】
さらに，その決定された画像を用いて対象画像が検出された場合にも（ステップ75でＹＥＳ），検出された被写体の移動量が算出され（ステップ140），被写体の移動量が第４のしきい値（第３のしきい値と同じでもよい）以上であれば（ステップ141），上述のようにステップ114で決定された画像だけを用いて対象画像の検出処理を行っても対象画像を検出できないと考えて，右目用画像と左目用画像との両方の画像を用いて対象画像の検出処理が繰り返される。対象画像の移動量が第４のしきい値未満であると（ステップ141），対象画像の移動量は少ないので，ステップ114で決定された画像だけを用いても対象画像を検出できると考え，その後の撮像により得られた右目用画像および左目用画像のうち，決定された画像を用いて対象画像の検出処理が行われる（ステップ74）。
【００７４】
図16から図21は，他の実施例を示すものである。
【００７５】
この実施例は，露出量調整および白バランス調整を行うものである。
【００７６】
図16は，立体撮像ディジタル・カメラの電気的構成を示すブロック図である。この図において，図３，図10に示すものと同一物については同一符号を付して説明を省略する。
【００７７】
この実施例による立体撮像ディジタル・カメラには，ＡＥ／ＡＷＢ選択装置151が設けられている。ＡＥ／ＡＷＢ選択装置151は，露出量調整および白バランス調整に利用する画像を選択するものである。
【００７８】
図17は，被写体検出選択装置101およびＡＥ／ＡＷＢ選択装置151の詳細を示している。この図において，図14と同一物については同一符号を付して説明を省略する。
【００７９】
被写体検出装置65において対象画像が検出され，その検出結果および検出された対象画像のスコアをそれぞれ表すデータはＡＥ／ＡＷＢ選択装置151に入力する。検出結果および対象画像スコアにもとづいて，ＡＥ／ＡＷＢ選択装置151において露出量調整および白バランス調整に利用する画像が選択される。
【００８０】
図18および図19は，図16に示す立体撮像ディジタル・カメラの処理手順を示すフローチャートである。これらの図において，図３，図12または図15に示す処理と同一の処理については同一符号を付して説明を省略する。
【００８１】
右目用画像および左目用画像の両方の画像において対象画像検出処理が実行された場合において（ステップ71），対象画像が検出されると（ステップ72でＹＥＳ），右目用画像から検出された対象画像のスコアと左目用画像から検出された対象画像のスコアとのうち,スコアの高い方の画像が露出量調整および白バランス調整に使用するように設定される（ステップ163）。
【００８２】
図20は，右目用画像および左目用画像の一例である。
【００８３】
左目用画像93には，一方の被写体の被写体像91Ｌと他方の被写体の被写体像92Ｌとが含まれている。右目用画像94にも，一方の被写体の被写体像91Ｒと他方の被写体の被写体像92Ｒとが含まれている。左目用画像93において対象画像の検出処理が行われることにより，対象画像が検出され（枠90で囲まれている），右目用画像94において対象画像の検出処理が行われることにより，対象画像が検出された（枠90で囲まれている）ものとする。このように左目用画像93および右目用画像94のそれぞれにおいて対象画像が検出されると，検出された対象画像のスコアが比較される。左目用画像93において検出された対象画像スコアが右目用画像94において検出されたスコアよりも高ければ，左目用画像を用いて露出量調整および白バランス調整が行われるように設定される。逆に右目用画像94において検出された対象画像スコアが左目用画像93において検出されたスコアよりも高ければ，右目用画像を用いて露出量調整および白バランス調整が行われるように設定される。右目用画像および左目用画像のいずれか一方のみから対象画像が検出された場合には，その検出された画像を用いて露出量調整および白バランス調整が行われる。スコアの高い対象画像が含まれている画像全体から露出量調整および白バランス調整を行わずに，スコアの高い対象画像自体が適正な明るさおよび白バランスとなるように露出量調整および白バランス調整するようにしてもよい。
【００８４】
図18に戻って，スコアの高い対象画像が含まれている画像を用いて露出量調整および白バランス調整の調整量が演算される（ステップ164）。演算により得られた露出量となるように，第１の撮像装置10および第２の撮像装置30の露出量（絞り値,シャッタ速度）が制御される（ステップ165）。さらに，撮像により得られた右目用画像および左目用画像のそれぞれに，演算により得られた白バランス調整の調整量にしたがって白バランス調整が行われる（ステップ166）。
【００８５】
右目用画像および左目用画像のいずれの画像からも対象画像が検出されない場合には（ステップ72でＮＯ），右目用画像および左目用画像のいずれか一方の画像が露出量調整および白バランス調整に使用される画像と決定される（ステップ178）。決定された画像にもとづいて露出量調整および白バランス調整の演算が行われる（ステップ179）。演算により得られた露出量となるように第１の撮像装置10および第２の撮像装置30が制御される（ステップ180）。さらに，演算により得られた白バランス調整にしたがって，撮像により得られた左目用画像および右目用画像について白バランス調整が行われる（ステップ181）。
【００８６】
さらに，右目用画像および左目用画像のうち，一方の画像から対象画像が検出される場合においても対象画像が検出されると（ステップ74，ステップ75でＹＥＳ），対象画像を検出するのに用いられている画像を用いて露出量調整および白バランス調整を行うように設定される（ステップ171）。
【００８７】
図21は，右目用画像および左目用画像の一例である。
【００８８】
左目用画像93には，一方の被写体の被写体像91Ｌと他方の被写体の被写体像92Ｌとが含まれている。右目用画像94には，一方の被写体の被写体像91Ｒは他方の被写体の被写体像92Ｒの陰となっている。左目用画像93を用いて対象画像を検出するように設定され，かつ左目用画像93から対象画像が検出されると，左目用画像を用いて露出量調整および白バランス調整が行われる。このように，対象画像の検出に使用する画像として決定された画像を用いて露出量調整および白バランス調整が行われる。
【００８９】
図19に戻って，対象画像の検出に使用する画像を用いて露出量および白バランス調整量が演算される（ステップ172）。演算された露出量となるように第１の撮像装置10および第２の撮像装置30が制御され（ステップ173），撮像された右目用画像および左目用画像が，演算された白バランス調整量で白バランス調整される（ステップ174）。
【００９０】
右目用画像および左目用画像のうち，一方の画像から対象画像を検出するように設定されている場合に，対象画像が検出されないと（ステップ75でＮＯ），右目用画像および左目用画像のいずれか一方の画像が露出量調整および白バランス調整に使用される画像と決定される（ステップ182）。決定された画像にもとづいて露出量調整および白バランス調整の演算が行われる（ステップ183）。演算により得られた露出量となるように第１の撮像装置10および第２の撮像装置30が制御される（ステップ184）。さらに，演算により得られた白バランス調整にしたがって，撮像により得られた左目用画像および右目用画像について白バランス調整が行われる（ステップ185）。
【００９１】
図22から図24は，他の実施例を示している。
【００９２】
この実施例は，対象画像のスコアに応じた重み付けを行って露出量調整および白バランス調整が行われるものである。
【００９３】
図22は，立体撮像ディジタル・カメラの電気的構成を示すブロック図である。この図において，図３または図10に示すものと同一物については同一符号を付して説明を省略する。
【００９４】
図22に示す立体撮像ディジタル・カメラには，被写体検出選択装置101のほかにＡＥ／ＡＷＢ重み付け演算装置191が設けられている。
【００９５】
図23は，被写体検出選択装置101とＡＥ／ＡＷＢ重み付け演算装置191の詳細を示している。これらの図において，図17に示すものと同一物については同一符号を付して説明を省略する。
【００９６】
上述のように，被写体検出装置65において対象画像が検出され，そのスコアが算出されると，それらの検出結果およびスコアをそれぞれ表すデータはＡＥ／ＡＷＢ重み付け演算装置191に与えられる。さらに，ＡＥ／ＡＷＢ検出装置62からは，露出量および白バランス調整の演算に使用される画像を表すデータもＡＥ／ＡＷＢ重み付け演算装置191に与えられる。ＡＥ／ＡＷＢ重み付け演算装置191において重み付け量が算出される。算出された露出量の重み付け量を表すデータは，メインＣＰＵ１に与えられ，重み付け量に応じて露出量が調整される。また，算出された白バランス調整量の重み付け量を表すデータは白バランス調整を行うアナログ信号処理装置22に与えられ，重み付け量に応じて白バランス調整が行われる。
【００９７】
図24は，図22に示す立体撮像ディジタル・カメラの処理手順の一部を示すフローチャートで，図18に対応している。図24において，図18の処理と同一の処理については同一符号を付して説明を省略する。
【００９８】
右目用画像と左目用画像との両方の画像で対象画像の検出処理が実行され（ステップ71），対象画像が検出されると（ステップ72でＹＥＳ），右目用画像および左目用画像のそれぞれの画像を用いて露出量および白バランス調整量が演算される（ステップ203）。対象画像のスコアに応じた重み付けで露出量および白バランス調整量が演算される（ステップ204）。
【００９９】
図20に示したように，左目用画像93および右目用画像94のそれぞれにおいて対象画像が検出されると，それぞれの対象画像のスコアに応じて露出利用および白バランス調整利用が演算されることとなる。たとえば，左目用画像93の露出量がＡＥＬ，右目用画像の露出量がＡＥＲ，左目用画像93から検出された対象画像のスコアがＳＬ，右目用画像95から検出された対象画像のスコアがＳＲとすると，重み付けを考慮した露出量ＡＥＣは，ＡＥＣ＝ｆ（ＡＥＬ，ＡＥＲ，ＳＬ，ＳＲ）＝ＡＥＬ×｛ＳＬ／（ＳＬ＋ＳＲ）｝＋ＡＥＲ×｛ＳＲ／（ＳＬ＋ＳＲ）｝となる。同様に，左目用画像93の白バランス調整量がＡＷＢＬ，右目用画像の白バランス調整がＡＷＢＲ，左目用画像93から検出された対象画像のスコアがＳＬ，右目用画像95から検出された対象画像のスコアがＳＲとすると，重み付けを考慮した白バランス調整量ＡＷＢＣは，ＡＷＢＣ＝ｆ（ＡＷＢＬ，ＡＷＢＲ，ＳＬ，ＳＲ）＝ＡＷＢＬ×｛ＳＬ／（ＳＬ＋ＳＲ）｝＋ＡＷＢＲ×｛ＳＲ／（ＳＬ＋ＳＲ）｝となる。
【０１００】
図25から図32は，他の実施例を示している。
【０１０１】
右目用画像と左目用画像との状況が頻繁に変化する場合，露出量調整および白バランス調整に利用する画像が頻繁に変化する可能性がある。露出量調整および白バランス調整に利用する画像が頻繁に変化すると，画像の明るさが頻繁に変化したり，画像の白バランスも頻繁に変化したりするので，見づらくなってしまう。
【０１０２】
図25から図27は，左目用画像93および右目用画像94の一例である。
【０１０３】
図25は，ある時刻ｔ１に被写体を撮像して得られた左目用画像93および右目用画像94である。左目用画像93には，一方の被写体像91Ｌおよび他方の被写体像92Ｌが含まれており，右目用画像94にも一方の被写体像91Ｒおよび他方の被写体像92Ｒが含まれている。いずれの画像93および94からも対象画像が検出されているが，左目用画像93から検出された対象画像のスコアの方が右目用画像94から検出された対象画像のスコアよりも高いものとする。すると，左目用画像93から検出された対象画像（枠90で囲まれている）が適正な明るさおよび適正な白バランスとなるように調整される。
【０１０４】
図26は，時刻ｔ１よりも後のある時刻ｔ２に被写体を撮像して得られた左目用画像93および右目用画像94である。左目用画像93には，一方の被写体像91Ｌおよび他方の被写体像92Ｌが含まれており，右目用画像94にも一方の被写体像91Ｒおよび他方の被写体像92Ｒが含まれている。いずれの画像93および94からも対象画像が検出されているが，右目用画像93から検出された対象画像のスコアの方が左目用画像94から検出された対象画像のスコアよりも高くなったものとする。すると，右目用画像94から検出された対象画像（枠90で囲まれている）が適正な明るさおよび適正な白バランスとなるように調整される。
【０１０５】
図27は，時刻ｔ２よりも後のある時刻ｔ３に被写体を撮像して得られた左目用画像93および右目用画像94である。左目用画像93には，一方の被写体像91Ｌおよび他方の被写体像92Ｌが含まれており，右目用画像94にも一方の被写体像91Ｒおよび他方の被写体像92Ｒが含まれている。いずれの画像93および94からも対象画像が検出されているが，左目用画像93から検出された対象画像のスコアの方が右目用画像94から検出された対象画像のスコアよりも高いものとする。すると，左目用画像93から検出された対象画像（枠90で囲まれている）が適正な明るさおよび適正な白バランスとなるように調整される。
【０１０６】
このように，露出量調整および白バランス調整に利用する画像が頻繁に変化する場合に，その短い時間の間に何度も変化すると上述のように，画像の明るさが頻繁に変化したり，画像の白バランスも頻繁に変化したりするので，見づらくなってしまう。特に対象画像部分にハッチングで示すように影が含まれたり,含まれなかったりすると,画像の明るさ,白バランスが頻繁に変化してしまう。この実施例では，一定時間の間に画像の状況の変化が無い場合に露出量調整および白バランス調整に利用する画像を変えるものである。これにより，画像の明るさ，白バランスが頻繁に変化してしまうことを未然に防止できる。
【０１０７】
図28は，立体撮像ディジタル・カメラの電気的構成を示すブロック図である。この図において，図３等と同一物については同一符号を付して説明を省略する。
【０１０８】
図28に示す立体撮像ディジタル・カメラにおいては，被写体検出選択装置101のほかにＡＥ／ＡＷＢ選択実行予約装置231が設けられている。
【０１０９】
図29は，被写体検出選択装置101とＡＥ／ＡＷＢ選択実行予約装置231との詳細を示している。この図において，図17に示すものと同一物については同一符号を付して説明を省略する。
【０１１０】
被写体検出装置65において検出された結果を示すデータはＡＥ／ＡＷＢ選択実行予約装置231に入力する。ＡＥ／ＡＷＢ選択実行予約装置231において，入力したデータにもとづいて露出量および白バランス調整を行わせるようにＡＥ／ＡＷＢ検出装置62が制御される。
【０１１１】
図30および図31は，図28に示す立体撮像ディジタル・カメラの処理手順を示すフローチャートである。これらの図において，図18および図19に示す処理と同一の処理については同一符号を付して説明を省略する。
【０１１２】
右目用画像と左目用画像との両方の画像で対象画像の検出処理が実行され（ステップ71），対象画像が検出されると（ステップ72でＹＥＳ），上述のようにスコアの高い対象画像が含まれている画像（またはその対象画像自体）を用いて露出量および白バランス調整量が演算される（ステップ163，164）。さらに，この実施例では，演算された露出量および白バランス調整量にもとづいて，露出制御および白バランス調整がすぐに行われるのではなく，その予約が行われる（ステップ245，246）。
【０１１３】
同様に，右目用画像と左目用画像との両方の画像で対象画像の検出処理が実行され（ステップ71），対象画像が検出されない場合には（ステップ72でＮＯ），上述のように右目用画像または左目用画像のいずれか一方の画像を用いて露出量および白バランス調整量が演算される（ステップ178，179）。さらに，演算された露出量および白バランス調整量にもとづいて，露出制御および白バランス調整がすぐに行われるのではなく，その予約が行われる（ステップ259，260）。
【０１１４】
また，対象画像を検出する画像として決定された画像から対象画像を検出する処理が実行される場合においても（ステップ74），対象画像が検出されると（ステップ75でＹＥＳ），その決定された画像にもとづいて露出量調整および白バランス調整が演算される（ステップ171，172）。さらに，演算された露出量および白バランス調整量にもとづいて，露出制御および白バランス調整がすぐに行われるのではなく，その予約が行われる（ステップ253，254）。
【０１１５】
さらに，対象画像を検出する画像として決定された画像から対象画像を検出する処理が実行される場合において（ステップ74），対象画像が検出されないときには（ステップ75でＮＯ），右目用画像または左目用画像のいずれか一方の画像にもとづいて露出量調整および白バランス調整が演算される（ステップ182，183）。さらに，演算された露出量および白バランス調整量にもとづいて，露出制御および白バランス調整がすぐに行われるのではなく，その予約が行われる（ステップ263，264）。
【０１１６】
図32は，露出制御および白バランス調整の予約についてのフローチャートである。
【０１１７】
対象画像を検出する画像が切り換ったかどうかが確認され，切り換れば（ステップ271でＹＥＳ），タイマ（時計４を利用してもよいし，別に設けてもよい）がリセットされる（ステップ272）。タイマによる計時で一定時間が経過すると（ステップ273でＹＥＳ），第１の撮像装置10および第２の撮像装置30の両方の撮像装置について上述のようにして演算された露出量となるように露出制御が行われる（ステップ274）。さらに，右目用画像および左目用画像のそれぞれに，上述のようにして演算された白バランス調整量にもとづく白バランス調整が行われる（ステップ274）。対象画像を検出する画像が切り換らなければ（ステップ271でＮＯ），タイマのリセット処理はスキップされる（ステップ272）。一定時間を経過しなければ，露出制御および白バランス調整が行われないので，上述のように画像の明るさ，白バランスの程度が頻繁に変わってしまうことを未然に防止できる。
【０１１８】
図33から図41は，他の実施例を示している。この実施例は，合焦制御についてのものである。
【０１１９】
図33は，立体撮像ディジタル・カメラの電気的構成を示すブロック図である。この図において，図３に示すものと同一物については同一符号を付して説明を省略する。
【０１２０】
立体撮像ディジタル・カメラには，被写体検出選択装置101および被写体検出ＡＦ演算装置281が含まれている。被写体検出ＡＦ演算装置281は，右目用画像または左目用画像のうち，一方の画像から対象画像が検出され，その検出された対象画像が合焦するように合焦制御される場合に，他方の画像において合焦制御すべき画像部分の位置を算出し，その算出された位置の画像部分を合焦させるものである。
【０１２１】
図34は，被写体検出選択装置101と被写体検出ＡＦ演算装置281の詳細を示している。この図において，図11に示すものと同一物については同一符号を付して説明を省略する。
【０１２２】
右目用画像および左目用画像のうち，一方の画像から対象画像が検出され，かつ他方の画像から対象画像が検出されないと，検出された対象画像が合焦するようにＡＦ検出装置61において合焦位置が決定される。右目用画像および左目用画像のうち，対象画像が検出されない画像については，ＡＦ検出装置61において決定された合焦位置にもとづいて合焦位置が決定される。
【０１２３】
被写体検出ＡＦ演算装置281には，被写体検出装置65から出力される対象画像の検出結果を示すデータおよびＡＦ検出装置61から出力される合焦位置を表すデータが入力する。入力したデータにもとづいて，右目用画像および左目用画像のうち，対象画像が検出されない方の画像についてのフォーカス・レンズの駆動位置（合焦位置）が算出される。
【０１２４】
図35から図37は，左目用画像93と右目用画像94との一例である。
【０１２５】
図35を参照して，左目用画像93には一方の被写体の被写体像91Ｌおよび他方の被写体の被写体像92Ｌが含まれており，右目用画像94にも一方の被写体の被写体像91Ｒおよび他方の被写体の被写体像92Ｒが含まれている。左目用画像93と右目用画像94との両方において対象画像の検出処理が行われると，左目用画像93からも対象画像が検出され（対象画像の検出結果としての枠90が表示されている），右目用画像94からも対象画像が検出される（対象画像の検出結果としての枠90が表示されている）。
【０１２６】
このように，左目用画像93および右目用画像94の両方において対象画像が検出される場合には，それぞれの画像において検出された対象画像が合焦するように合焦制御が行われる。すなわち，左目用画像93において検出された対象画像および右目用画像94において検出された対象画像のそれぞれが合焦するように合焦制御が行われる。
【０１２７】
図36を参照して，左目用画像93には一方の被写体の被写体像91Ｌおよび他方の被写体の被写体像92Ｌが含まれている。右目用画像94にも一方の被写体の被写体像91Ｒおよび他方の被写体の被写体像92Ｒが含まれているが，一方の被写体の被写体像91Ｒの一部は他方の被写体の被写体像92Ｒの陰に隠れている。そのために，右目用画像94からは対象画像を検出できないものとする。このように，左目用画像93および右目用画像94のうち，一方の画像から対象画像が検出され，かつ他方の画像から対象画像が検出されないと，検出された対象画像については，その対象画像が合焦するように合焦位置が決定され，対象画像が検出されない右目用画像94については，検出された対象画像を合焦させる位置にもとづいて合焦位置が決定される。
【０１２８】
図37を参照して，左目用画像93では，一方の被写体の被写体像91Ｌは他方の被写体の被写体像92Ｌの陰に隠れており，対象画像が検出できない。また，右目用画像94でも一方の被写体の被写体像91Ｌは他方の被写体の被写体像92Ｌの陰に隠れており，対象画像が検出できない。このように，左目用画像93および右目用画像94の両方の画像から対象画像が検出できない場合には，枠90Ａで示すようにあらかじめ定められている領域内の画像が合焦するように合焦制御が行われる。
【０１２９】
図38および図39は，上述したように，左目用画像93および右目用画像94のうち，一方の画像から対象画像が検出され，かつ他方の画像から対象画像が検出されないときに，対象画像が検出されない他方の画像で合焦させる画像部分を決定する処理を説明するものである。図38は，立体撮像ディジタル・カメラと被写体までの関係を示す平面図である。図39は，図38の位置関係において撮像された左目用画像および右目用画像を表している。
【０１３０】
図38を参照して，立体撮像ディジタル・カメラ100の前方に二人の被写体91および92がいる。これらの被写体91および92が，カメラ100の第１の撮像装置10および第２の撮像装置30によって撮像される。
【０１３１】
撮像によって，図39に示す左目用画像93および右目用画像94が得られる。左目用画像93からは対象画像が検出されるが，右目用画像94からは一方の被写体91の被写体像91Ｒは他方の被写体92の被写体像92Ｒの陰に隠れて対象画像が検出されないものとする。
【０１３２】
このような状況において，右目用画像94の合焦位置を算出するものとする。この合焦位置は，第１の撮像装置10から，対象画像が表す対象物を含む一方の被写体91までの距離をｄ７とすると，式１によって表される。
【０１３３】
【数１】
2011243025.tif 000003
【０１３４】
但し，ｄ１は，図38に示すように第２の撮像装置30から一方の被写体91までの距離であり，合焦制御後のフォーカス・レンズの位置に対応する。ｄ２は，図39に示すように左目用画像93の画像の中心（表示画面の中心）から一方の被写体91の被写体像91Ｌまでの距離であり，左目用画像93における一方の被写体91の被写体像91Ｌの水平中心位置からのズレ量に対応する。ｄ３は，図38に示すように一方の被写体91からカメラ100に垂線（被写体91からカメラ100までの最短距離の線）を引いた場合のカメラ100との交点から第２の撮像装置30までの距離であり，ｄ３＝ｄ１×cos（ａ１＋ａ２）で表される。ａ１は，第２の撮像装置30の光軸と一方の被写体91とのなす角であり，ａ１＝α×ｄ２である。αは撮像画角により決定する設計値である。ａ２は，第２の撮像装置30の光軸とカメラ100とのなす角であり，設計値である。ｄ４は，図38に示すように，第１の撮像装置10と第２の撮像装置30との間の距離であり，設計値である。ｄ５は，図38に示すように，一方の被写体91からカメラ100に垂線を引いたときの垂線とカメラ100との交点から第１の撮像装置10までの距離であり，ｄ５＝ｄ４−ｄ３である。ｄ６は，図38に示すように，一方の被写体91からカメラ100までの距離であり，式２によって表される。ｄ７は，上述のように第１の撮像装置10から一方の被写体91までの距離であり，式３によって表される。式３に各値を代入して変形することにより式１が得られることとなる。
【０１３５】
【数２】
2011243025.tif 000004
【０１３６】
【数３】
2011243025.tif 000005
【０１３７】
図40および図41は，図35に示す立体撮像ディジタル・カメラの処理手順を示すフローチャートである。これらの図において，図30，図31等に示す処理と同一の処理については同一符号を付して説明を省略する。
【０１３８】
上述のように，右目用画像および左目用画像の両方の画像で対象画像の検出が実行される（ステップ71）。右目用画像および左目用画像の両方の画像で対象画像が検出されると（ステップ72），それぞれの画像から検出されたそれぞれの対象画像が合焦するように合焦制御が行われる（ステップ293）。右目用画像および左目用画像のうち，いずれか一方で対象画像が検出されると（ステップ72），対象画像が検出された画像については，その対象画像が合焦するように合焦制御が行われる（ステップ294）。また，上述したように，対象画像が検出されない画像を撮像した撮像装置から検出する対象画像を表す対象物（被写体）までの距離（ｄ７）が上述のように算出される（ステップ295）。算出された距離にもとづいて，対象画像が検出されない画像を撮像した撮像装置のフォーカス・レンズの駆動位置が算出され，その算出された位置にフォーカス・レンズが位置決めされる（ステップ296）。右目用画像および左目用画像のいずれの画像からも対象画像が検出されないと（ステップ72），あらかじめ設定されている領域内の画像が合焦するように合焦制御が行われる（ステップ297）。
【０１３９】
上述のように，右目用画像および左目用画像のうち，対象画像を検出する画像が決定され，その決定された画像から対象画像の検出処理が実行される場合も（ステップ74），対象画像が検出されると（ステップ75でＹＥＳ），対象画像が検出された画像については，その対象画像が合焦するように合焦制御が行われる（ステップ302）。また，対象画像が検出されない画像を撮像した撮像装置から検出する対象画像を表す対象物（被写体）までの距離（ｄ７）が上述のように算出される（ステップ303）。算出された距離にもとづいて，対象画像が検出されない画像を撮像した撮像装置のフォーカス・レンズの駆動位置が算出され，その算出された位置にフォーカス・レンズが位置決めされる（ステップ304）。右目用画像および左目用画像のいずれの画像からも対象画像が検出されないと（ステップ75でＮＯ），あらかじめ設定されている領域内の画像が合焦するように合焦制御が行われる（ステップ307）。
【０１４０】
図42から図44は，他の実施例を示すものである。
【０１４１】
この実施例においては，右目用画像または左目用画像のいずれか一方の画像から対象画像を検出する場合のメインＣＰＵ１の動作周波数を，右目用画像と左目用画像との両方の画像から対象画像を検出する場合のメインＣＰＵ１（対象画像検出装置）の動作周波数よりも低くするものである。省電力を実現できる。
【０１４２】
図42は，立体撮像ディジタル・カメラの電気的構成を示すブロック図である。この図において，図１に示すものと同一物については同一符号を付して説明を省略する。
【０１４３】
立体撮像ディジタル・カメラには，被写体検出選択装置101および動作周波数選択装置311が設けられている。
【０１４４】
図43は，被写体検出選択装置101および動作周波数選択装置311の詳細を示している。この図において，図11に示すものと同一物については同一符号を付して説明を省略する。
【０１４５】
被写体検出装置65から出力される検出結果を表すデータは動作周波数選択装置311に入力する。対象画像が右目用画像および左目用画像のうち，一方の画像のみから検出された場合には動作周波数が低くなるような制御信号が動作周波数選択装置311から出力されてメインＣＰＵ１に入力する。メインＣＰＵ１は，高い動作周波数と低い動作周波数とで動作可能なものであることはいうまでもない。
【０１４６】
図44は，図42に示す立体撮像ディジタル・カメラの処理手順を示すフローチャートである。この図において，図12に示す処理と同一の処理については同一符号を付して説明を省略する。
【０１４７】
メインＣＰＵ１の動作周波数は高い周波数と低い周波数とに設定可能であるものとする。最初にメインＣＰＵ１の動作周波数は高いものに設定される（ステップ311）。高い動作周波数で，右目用画像と左目用画像との両方の画像から対象画像が検出される（ステップ71）。
【０１４８】
右目用画像と左目用画像とのうち，一方の画像から対象画像を検出するように設定されると（ステップ114），メインＣＰＵ１の動作周波数は低いものに設定される（ステップ316）。設定された低い動作周波数で，右目用画像と左目用画像とのうち，一方の画像から対象画像の検出処理が実行される（ステップ74）。
【０１４９】
図45から図51は，さらに他の実施例を示している。
【０１５０】
この実施例は，右目用画像および左目用画像のうち，一方の画像で対象画像を検出した場合において，一方の画像の対象画像を囲む枠を表示するとともに，対象画像が検出されていない他方の画像においても対象画像を囲む枠を表示するものである。
【０１５１】
図45は，立体撮像ディジタル・カメラの電気的構成を示すブロック図である。この図において，図１に示すものと同一物については同一符号を付して説明を省略する。
【０１５２】
立体撮像ディジタル・カメラには，被写体検出装置101および被写体検出枠表示位置算出装置331が設けられている。
【０１５３】
図46は，被写体検出選択装置101と被写体検出枠表示位置算出装置331の詳細を示している。この図において，図11に示すものと同一物については同一符号を付して説明を省略する。
【０１５４】
被写体検出装置65において検出された対象画像の検出結果を表すデータは，被写体検出枠表示位置算出装置331に入力する。被写体検出枠表示位置算出装置331において，対象画像を検出していない他方の画像において対象画像を囲む枠の位置が算出される。算出された位置を示すデータは表示制御装置53に与えられる。これにより，対象画像を検出していない他方の画像において対象画像を囲むように枠が表示される。
【０１５５】
図47および図48は，対象画像を検出していない画像から対象画像の枠の位置を算出することを説明するものである。
【０１５６】
図47は，ディジタル・カメラ100と被写体91と92との位置関係を平面的に示している。図48は，図47の位置関係において撮像された左目用画像および右目用画像の一例である。
【０１５７】
図48に示すように，一方の左目用画像93において対象画像が検出され，その対象画像を囲む枠90が表示されているものとする。他方の右目用画像94においては，対象画像検出処理は行われていないものとする。そのような状態で，左目用画像93において検出された対象画像から，右目用画像94に含まれる対象画像を囲む枠90Ｂの位置を算出するものとする。
【０１５８】
右目用画像94に含まれる対象画像を囲む枠90Ｂの位置は，式４から算出される。この枠90Ｂの位置は，図48に示すように右目用画像94の中心（表示画面の中心）から対象画像までの水平方向の距離であり，右目用画像における水平方向の中心の位置からのずれ量である。
【０１５９】
【数４】
2011243025.tif 000006
【０１６０】
ｄ５およびｄ７は，上述したものと同じである。ａ３は，第１の撮像装置10の光軸と第１の撮像装置10から一方の被写体91とのなす角であり，ａ３＝α×ｄ８である。ａ４は，第１の撮像装置10の光軸とカメラ100とのなす角であり，設計値である。
【０１６１】
図49は，左目用画像と右目用画像とを重ね合わせた画像の一例である。
【０１６２】
上述のように左目用画像93における対象画像を囲む枠90と右目用画像94における対象画像を囲む枠90Ｂとが得られると，それらの枠90と90Ｂとが一致するように，左目用画像93と右目用画像94とが重ね合わせられる。これにより合成画像340が生成される。一方の被写体91の被写体像341は左右にずれの無い画像であるが，他方の被写体92の被写体像は左右のずれのある二つの被写体像92Ｒと92Ｌとなる。合成画像340は立体的に見える。
【０１６３】
図50および図51は，立体撮像ディジタル・カメラの処理手順を示すフローチャートである。この図において，図12に示す処理と同一の処理については同一符号を付して説明を省略する。
【０１６４】
まず，右目用画像および左目用画像のそれぞれの枠（対象画像を囲む枠）がクリアされる（ステップ351）。右目用画像と左目用画像との両方の画像で対象画像の検出が行われ，両方の画像で対象画像が検出されると（ステップ72），それぞれの検出結果にもとづいてそれぞれの画像に対象画像を囲む枠が表示される（ステップ354）。右目用画像と左目用画像とのうち，一方の画像でのみ対象画像が検出されると（ステップ72），その検出された対象画像を囲む枠が表示される（ステップ355）。さらに，対象画像が検出された画像にもとづいて，対象画像が検出されなかった画像の対象画像を囲む枠の位置が算出され，算出された位置に枠が表示される（ステップ356）。
【０１６５】
右目用画像に表示された枠と左目用画像に表示された枠とが一致するように視差ずらしが行われる（上述した合成画像の生成）（ステップ357）。視差ずらしされた右目用画像および左目用画像が表示画面に表示される。
【０１６６】
右目用画像および左目用画像のうち，一方の画像から対象画像が検出される場合には（ステップ74），被写体が検出されると（ステップ75でＹＥＳ），その検出された対象画像を囲む枠が表示される（ステップ362）。さらに，対象画像が検出された画像にもとづいて，対象画像が検出されなかった画像の対象画像を囲む枠の位置が算出され，算出された位置に枠が表示される（ステップ363）。この場合も，右目用画像に表示された枠と左目用画像に表示された枠とが一致するように視差ずらしが行われる（上述した合成画像の生成）（ステップ364）。視差ずらしされた右目用画像および左目用画像が表示画面に表示される。
【０１６７】
上述の実施例においては，撮像時に対象物の追尾（検出）を行っているが，すでに記録されている画像データの再生時に対象物の追尾を行ってもよい。
【０１６８】
上述の実施例では，立体撮像ディジタル・カメラを用いて得られ，立体画像（立体動画）を構成する右目用画像と左目用画像とを用いて追尾処理が行われているが，立体画像を構成する右目用画像と左目用画像とを用いずに，少なくとも２つの撮像装置（３つ以上の撮像装置でもよい）を用いて被写体を撮像することにより得られ，かつ少なくとも一部分が共通する範囲をもち，連続的に与えられる第１の画像と第２の画像とを用いて追尾処理を行うようにしてもよい。
【符号の説明】
【０１６９】
１  メインＣＰＵ
10  第１の撮像装置
30  第２の撮像装置
53  表示制御装置
64  被写体検出使用決定装置
【図１】
2011243025.tif 000007
【図２】
2011243025.tif 000008
【図３】
2011243025.tif 000009
【図４】
2011243025.tif 000010
【図５】
2011243025.tif 000011
【図６】
2011243025.tif 000012
【図７】
2011243025.tif 000013
【図８】
2011243025.tif 000014
【図９】
2011243025.tif 000015
【図１０】
2011243025.tif 000016
【図１１】
2011243025.tif 000017
【図１２】
2011243025.tif 000018
【図１３】
2011243025.tif 000019
【図１４】
2011243025.tif 000020
【図１５】
2011243025.tif 000021
【図１６】
2011243025.tif 000022
【図１７】
2011243025.tif 000023
【図１８】
2011243025.tif 000024
【図１９】
2011243025.tif 000025
【図２０】
2011243025.tif 000026
【図２１】
2011243025.tif 000027
【図２２】
2011243025.tif 000028
【図２３】
2011243025.tif 000029
【図２４】
2011243025.tif 000030
【図２５】
2011243025.tif 000031
【図２６】
2011243025.tif 000032
【図２７】
2011243025.tif 000033
【図２８】
2011243025.tif 000034
【図２９】
2011243025.tif 000035
【図３０】
2011243025.tif 000036
【図３１】
2011243025.tif 000037
【図３２】
2011243025.tif 000038
【図３３】
2011243025.tif 000039
【図３４】
2011243025.tif 000040
【図３５】
2011243025.tif 000041
【図３６】
2011243025.tif 000042
【図３７】
2011243025.tif 000043
【図３８】
2011243025.tif 000044
【図３９】
2011243025.tif 000045
【図４０】
2011243025.tif 000046
【図４１】
2011243025.tif 000047
【図４２】
2011243025.tif 000048
【図４３】
2011243025.tif 000049
【図４４】
2011243025.tif 000050
【図４５】
2011243025.tif 000051
【図４６】
2011243025.tif 000052
【図４７】
2011243025.tif 000053
【図４８】
2011243025.tif 000054
【図４９】
2011243025.tif 000055
【図５０】
2011243025.tif 000056
【図５１】
2011243025.tif 000057