(57)【要約】【課題】主要被写体の情報を撮像時に記録する撮像装置を提供すること。【解決手段】本発明に係る撮像装置は、撮像部と、撮像部の撮像領域内の予め定められた位置に設けられた合焦ポイントが主要被写体に重なっている場合に、撮像部で撮像された予備画像を取得する予備画像取得部と、予備画像取得部が取得した予備画像の解析結果に基づいて撮像部の合焦距離を主要被写体に合わせる合焦距離調整部と、撮像部が主要被写体に合焦している場合に撮像部によって撮像された撮像画像を取得する撮像画像取得部と、撮像部の撮像範囲に対する合焦ポイントの位置を格納する合焦ポイント位置格納部と、予備画像取得部が取得した予備画像における、合焦ポイント位置格納部が格納する合焦ポイントの位置を含む領域画像を、撮像画像取得部が取得した撮像画像と対応づけて不揮発性メモリに格納する画像格納部とを備える。【選択図】図２
2006345503.tif 000002
【特許請求の範囲】
【請求項１】
撮像部と、
前記撮像部の撮像領域内の予め定められた位置に設けられた合焦ポイントが主要被写体に重なっている場合に、前記撮像部によって撮像された予備画像を取得する予備画像取得部と、
前記予備画像取得部が取得した予備画像の解析結果に基づいて、前記撮像部の合焦距離を主要被写体に合わせる合焦距離調整部と、
前記撮像部が主要被写体に合焦している場合に、前記撮像部によって撮像された撮像画像を取得する撮像画像取得部と、
前記撮像部の撮像範囲に対する合焦ポイントの位置を格納する合焦ポイント位置格納部と、
前記予備画像取得部が取得した予備画像における、前記合焦ポイント位置格納部が格納する合焦ポイントの位置を含む領域画像を、前記撮像画像取得部が取得した撮像画像と対応づけて不揮発性メモリに格納する画像格納部と
を備える撮像装置。
【請求項２】
前記不揮発性メモリが格納している領域画像と撮像画像とを対応づけて、外部装置に出力する出力部
をさらに備える請求項１に記載の撮像装置。
【請求項３】
前記予備画像取得部が取得する予備画像は、前記撮像画像取得部が取得する撮像画像より解像度が低い
請求項１に記載の撮像装置。
【請求項４】
前記予備画像取得部は、前記撮像部の撮像領域内の合焦ポイントを含む一部の領域を予備画像として取得する
請求項１に記載の撮像装置。
【請求項５】
前記合焦ポイント位置格納部が格納している前記撮像部の撮像範囲に対する合焦ポイントの位置に基づいて、前記予備画像取得部が取得した予備画像から主要被写体を抽出する主要被写体抽出部と、
前記撮像画像取得部が取得した撮像画像における、前記主要被写体抽出部が抽出した主要被写体の位置を特定する主要被写体位置特定部と、
前記撮像画像取得部が取得した撮像画像に対応づけて、前記主要被写体位置特定部が特定した撮像画像における主要被写体の位置を格納する主要被写体位置格納部と
をさらに備える請求項１に記載の撮像装置。
【請求項６】
ユーザによって半押しされることによって、前記予備画像取得部に予備画像を取得させ、さらにユーザによって全押しされることによって、前記撮像画像取得部に撮像画像を取得させる指示入力ボタン
をさらに備え、
前記予備画像取得部は、前記指示入力ボタンが半押しされることによって、前記撮像部によって撮像された予備画像を取得し、
前記合焦距離調整部は、前記予備画像取得部が取得した予備画像の解析結果に基づいて、合焦ポイントが重なっている主要被写体に合焦距離を調整し、
前記撮像画像取得部は、前記指示入力ボタンが全押しされることによって、前記撮像部が主要被写体に合焦距離を調整した後に前記撮像部によって撮像された撮像画像を取得する
請求項１に記載の撮像装置。
【請求項７】
前記予備画像取得部は、前記指示入力ボタンが半押しされる度に前記撮像部によって撮像された、複数の予備画像を取得し、
前記合焦距離調整部は、前記指示入力ボタンが半押しされる度に、前記予備画像取得部が取得した予備画像の解析結果に基づいて合焦ポイントが重なっている主要被写体に合焦距離を調整し、
前記合焦ポイント位置格納部は、前記指示入力ボタンが半押しされる度に、前記合焦距離調整部が調整した前記撮像部の撮像範囲に対する合焦ポイントの位置を格納し、
前記撮像部は、前記指示入力ボタンが複数回半押しされた場合に、前記指示入力ボタンが半押しされる度に前記合焦距離調整部が調整した複数の合焦距離に基づいて撮像条件を決定し、
前記撮像画像取得部は、前記指示入力ボタンが全押しされることによって、前記撮像部が決定した撮像条件に調整された後に前記撮像部によって撮像された撮像画像を取得し、
前記画像格納部は、前記予備画像取得部が前記指示入力ボタンが半押しされる度に取得した複数の予備画像のそれぞれにおける、前記合焦ポイント位置格納部が格納している合焦ポイントの位置を含む領域画像を、前記撮像画像取得部が取得した撮像画像と対応づけて不揮発性メモリに格納する
請求項６に記載の撮像装置。
【請求項８】
前記撮像部は、前記指示入力ボタンが複数回半押しされた場合に、前記指示入力ボタンが半押しされる度に前記合焦距離調整部が主要被写体に対して調整した合焦距離を平均化した合焦距離を決定し、
前記撮像画像取得部は、前記指示入力ボタンが複数回半押しされた後に前記指示入力ボタンが全押しされた場合に、前記撮像部が決定した合焦距離に撮像条件が調整された後に前記撮像部によって撮像された撮像画像を取得する
請求項７に記載の撮像装置。
【請求項９】
前記撮像部は、前記指示入力ボタンが複数回半押しされた場合に、前記指示入力ボタンが半押しされる度に前記合焦距離調整部が主要被写体に対して調整した合焦距離に基づいて被写界深度を決定し、
前記撮像画像取得部は、前記指示入力ボタンが複数回半押しされた後に前記指示入力ボタンが全押しされた場合に、前記撮像部が決定した被写界深度に撮像条件が調整された後に前記撮像部によって撮像された撮像画像を取得する
請求項７に記載の撮像装置。
【請求項１０】
前記指示入力ボタンが半押しされる度に前記予備画像取得部が取得した予備画像の解析結果に基づいて、合焦ポイントが重なっている主要被写体に前記撮像部の露出量を合わせる露出量調整部
をさらに備え、
前記撮像部は、前記指示入力ボタンが複数回半押しされた場合に、前記指示入力ボタンが半押しされる度に前記露出量調整部が調整した複数の露出量にさらに基づいて撮像条件を決定し、
前記撮像画像取得部は、前記指示入力ボタンが複数回半押しされた後に前記指示入力ボタンが全押しされた場合に、前記撮像部が決定した撮像条件に前記撮像部の撮像条件を調整した後に、前記撮像部によって撮像された撮像画像を取得する
請求項７に記載の撮像装置。
【請求項１１】
前記不揮発性メモリに格納されている第１領域画像を、新たに前記不揮発性メモリに格納される第２領域画像と比較して、第１領域画像と第２領域画像との間の類似度を算出する類似度算出部と、
前記類似度算出部が算出した類似度が予め定められた類似度より大きい場合に、第１領域画像及び第２領域画像に対して同じ識別情報を決定する識別情報決定部と
をさらに備え、
前記画像格納部は、第１領域画像及び第２領域画像を、前記識別情報決定部が決定した識別情報に対応づけて前記不揮発性メモリに格納する
請求項１に記載の撮像装置。
【請求項１２】
画像を撮像する撮像段階と、
前記撮像段階において撮像される撮像領域内の予め定められた位置に設けられた合焦ポイントが主要被写体に重なっている場合に、前記撮像段階において撮像された予備画像を取得する予備画像取得段階と、
前記予備画像取得段階において取得された予備画像の解析結果に基づいて、前記撮像段階における合焦距離を主要被写体に合わせる合焦距離調整段階と、
前記撮像段階において主要被写体に合焦している場合に、前記撮像段階において撮像された撮像画像を取得する撮像画像取得段階と、
前記撮像段階における撮像範囲に対する合焦ポイントの位置を格納する合焦ポイント位置格納段階と、
前記予備画像取得段階において取得された予備画像における、前記合焦ポイント位置格納段階において格納される合焦ポイントの位置を含む領域画像を、前記撮像画像取得段階において取得された撮像画像と対応づけて不揮発性メモリに格納する画像格納段階と
を備える撮像方法。
【請求項１３】
画像を撮像する撮像装置用のプログラムであって、前記撮像装置を、
画像を撮像する撮像部、
前記撮像部の撮像領域内の予め定められた位置に設けられた合焦ポイントが主要被写体に重なっている場合に、前記撮像部によって撮像された予備画像を取得する予備画像取得部、
前記予備画像取得部が取得した予備画像の解析結果に基づいて、前記撮像部の合焦距離を主要被写体に合わせる合焦距離調整部、
前記撮像部が主要被写体に合焦している場合に、前記撮像部によって撮像された撮像画像を取得する撮像画像取得部、
前記撮像部の撮像範囲に対する合焦ポイントの位置を格納する合焦ポイント位置格納部、
前記予備画像取得部が取得した予備画像における、前記合焦ポイント位置格納部が格納する合焦ポイントの位置を含む領域画像を、前記撮像画像取得部が取得した撮像画像と対応づけて不揮発性メモリに格納する画像格納部
として機能させるプログラム。
【請求項１４】
撮像部と、
前記撮像部の撮像領域に対する撮像者の視線を検出する視線検出部と、
前記視線検出部が検出した視線が示す撮像領域内の位置に合焦ポイントを定める合焦ポイント決定部と、
前記合焦ポイント決定部が定めた合焦ポイントが主要被写体に重なっている場合に、前記撮像部によって撮像された予備画像を取得する予備画像取得部と、
前記予備画像取得部が取得した予備画像の解析結果に基づいて、前記撮像部の合焦距離を主要被写体に合わせる合焦距離調整部と、
前記撮像部が主要被写体に合焦している場合に、前記撮像部によって撮像された撮像画像を取得する撮像画像取得部と、
前記撮像部の撮像範囲に対する合焦ポイントの位置を格納する合焦ポイント位置格納部と、
前記予備画像取得部が取得した予備画像における、前記合焦ポイント位置格納部が格納する合焦ポイントの位置を含む領域画像を、前記撮像画像取得部が取得した撮像画像と対応づけて不揮発性メモリに格納する画像格納部と
を備える撮像装置。
【請求項１５】
撮像部の撮像領域に対する撮像者の視線を検出する視線検出段階と、
前記視線検出段階において検出された視線が示す撮像領域内の位置に合焦ポイントを定める合焦ポイント決定段階と、
前記合焦ポイント決定段階において定められた合焦ポイントが主要被写体に重なっている場合に、前記撮像部によって撮像された予備画像を取得する予備画像取得段階と、
前記予備画像取得段階において取得された予備画像の解析結果に基づいて、前記撮像部の合焦距離を主要被写体に合わせる合焦距離調整段階と、
前記撮像部が主要被写体に合焦している場合に、前記撮像部によって撮像された撮像画像を取得する撮像画像取得段階と、
前記撮像部の撮像範囲に対する合焦ポイントの位置を格納する合焦ポイント位置格納段階と、
前記予備画像取得段階において取得された予備画像における、前記合焦ポイント位置格納段階において格納される合焦ポイントの位置を含む領域画像を、前記撮像画像取得段階において取得された撮像画像と対応づけて不揮発性メモリに格納する画像格納段階と
を備える撮像方法。
【請求項１６】
撮像装置用のプログラムであって、前記撮像装置を、
撮像部、
前記撮像部の撮像領域に対する撮像者の視線を検出する視線検出部、
前記視線検出部が検出した視線が示す撮像領域内の位置に合焦ポイントを定める合焦ポイント決定部、
前記合焦ポイント決定部が定めた合焦ポイントが主要被写体に重なっている場合に、前記撮像部によって撮像された予備画像を取得する予備画像取得部、
前記予備画像取得部が取得した予備画像の解析結果に基づいて、前記撮像部の合焦距離を主要被写体に合わせる合焦距離調整部、
前記撮像部が主要被写体に合焦している場合に、前記撮像部によって撮像された撮像画像を取得する撮像画像取得部、
前記撮像部の撮像範囲に対する合焦ポイントの位置を格納する合焦ポイント位置格納部、
前記予備画像取得部が取得した予備画像における、前記合焦ポイント位置格納部が格納する合焦ポイントの位置を含む領域画像を、前記撮像画像取得部が取得した撮像画像と対応づけて不揮発性メモリに格納する画像格納部
として機能させるプログラム。
【請求項１７】
撮像装置の撮像範囲内における予め定められた位置に設けられた合焦ポイントが主要被写体に重なっている場合に、前記撮像装置によって撮像された予備画像を取得する予備画像取得部と、
前記撮像装置が主要被写体に合焦している場合に、前記撮像装置によって撮像された撮像画像を取得する撮像画像取得部と、
前記撮像装置の撮像範囲に対する合焦ポイントの位置を格納する合焦ポイント位置格納部と、
前記合焦ポイント位置格納部が格納している前記撮像装置の撮像範囲に対する合焦ポイントの位置に基づいて、前記予備画像取得部が取得した予備画像から主要被写体を抽出する主要被写体抽出部と、
前記撮像画像取得部が取得した撮像画像における、前記主要被写体抽出部が抽出した主要被写体の位置を特定する主要被写体位置特定部と
を備える画像処理装置。
【請求項１８】
前記主要被写体位置特定部が特定した撮像画像における主要被写体の位置に重ならないように、複数の撮像画像を出力領域内にレイアウトするレイアウト部
をさらに備える請求項１７に記載の画像処理装置。
【請求項１９】
前記主要被写体位置特定部が特定した撮像画像における主要被写体の位置に重ならないように、文字情報を出力領域内に挿入する文字情報挿入部
をさらに備える請求項１７に記載の画像処理装置。
【請求項２０】
撮像装置の撮像範囲内における予め定められた位置に設けられた合焦ポイントが主要被写体に重なっている場合に撮像された予備画像を取得する予備画像取得段階と、
前記撮像装置が主要被写体に合焦している場合に、前記撮像装置によって撮像された撮像画像を取得する撮像画像取得段階と、
前記撮像装置の撮像範囲に対する合焦ポイントの位置を格納する合焦ポイント位置格納段階と、
前記合焦ポイント位置格納段階において格納されている前記撮像装置の撮像範囲に対する合焦ポイントの位置に基づいて、前記予備画像取得段階において取得された予備画像から主要被写体を抽出する主要被写体抽出段階と、
前記撮像画像取得段階において取得された撮像画像における、前記主要被写体抽出段階において抽出された主要被写体の位置を特定する主要被写体位置特定段階と
を備える画像処理方法。
【請求項２１】
画像を処理する画像処理装置のプログラムであって、前記画像処理装置を、
撮像装置の撮像範囲内における予め定められた位置に設けられた合焦ポイントが主要被写体に重なっている場合に撮像された予備画像を取得する予備画像取得部、
前記撮像装置が主要被写体に合焦している場合に、前記撮像装置によって撮像された撮像画像を取得する撮像画像取得部、
前記撮像装置の撮像範囲に対する合焦ポイントの位置を格納する合焦ポイント位置格納部、
前記合焦ポイント位置格納部が格納している前記撮像装置の撮像範囲に対する合焦ポイントの位置に基づいて、前記予備画像取得部が取得した予備画像から主要被写体を抽出する主要被写体抽出部、
前記撮像画像取得部が取得した撮像画像における、前記主要被写体抽出部が抽出した主要被写体の位置を特定する主要被写体位置特定部
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法、画像処理装置、画像処理方法、及びプログラムに関する。特に本発明は、画像を撮像する撮像装置及び撮像方法、画像を処理する画像処理装置及び画像処理方法、並びに、撮像装置用及び画像処理装置用のプログラムに関する。
【０００２】
旅行先で撮影した画像データに付帯された位置情報、撮影時間情報等のタグ情報を元にして、画面の中心に旅行先の地図を配置して、地図の周囲に配置された画像と地図上における撮像位置とを線で結ぶなどして、地図と画像との関連がわかるようにレイアウトされたアルバムを作成する技術が知られている（例えば、特許文献１参照。）。
【特許文献１】特開平１０−１２６７３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１によると、画像の被写体の内容に基づいて画像をレイアウトすることができない。このため、例えば画像の前面にアルバムのタイトルを重ねて出力する場合だと、画像におけるメインの被写体の前面にタイトルが重ねられて出力されてしまう場合がある。このようなケースでは、画像におけるメインの被写体を避けた位置にタイトルを出力することが望ましい。
【０００４】
そこで本発明は、上記の課題を解決することができる撮像装置、撮像方法、画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００５】
本発明の第１の形態における撮像装置は、撮像部と、撮像部の撮像領域内の予め定められた位置に設けられた合焦ポイントが主要被写体に重なっている場合に、撮像部によって撮像された予備画像を取得する予備画像取得部と、予備画像取得部が取得した予備画像の解析結果に基づいて、撮像部の合焦距離を主要被写体に合わせる合焦距離調整部と、撮像部が主要被写体に合焦している場合に、撮像部によって撮像された撮像画像を取得する撮像画像取得部と、撮像部の撮像範囲に対する合焦ポイントの位置を格納する合焦ポイント位置格納部と、予備画像取得部が取得した予備画像における、合焦ポイント位置格納部が格納する合焦ポイントの位置を含む領域画像を、撮像画像取得部が取得した撮像画像と対応づけて不揮発性メモリに格納する画像格納部とを備える。
【０００６】
不揮発性メモリが格納している領域画像と撮像画像とを対応づけて、外部装置に出力する出力部をさらに備えてよい。予備画像取得部が取得する予備画像は、撮像画像取得部が取得する撮像画像より解像度が低くてよい。予備画像取得部は、撮像部の撮像領域内の合焦ポイントを含む一部の領域を予備画像として取得してよい。
【０００７】
合焦ポイント位置格納部が格納している撮像部の撮像範囲に対する合焦ポイントの位置に基づいて、予備画像取得部が取得した予備画像から主要被写体を抽出する主要被写体抽出部と、撮像画像取得部が取得した撮像画像における、主要被写体抽出部が抽出した主要被写体の位置を特定する主要被写体位置特定部と、撮像画像取得部が取得した撮像画像に対応づけて、主要被写体位置特定部が特定した撮像画像における主要被写体の位置を格納する主要被写体位置格納部とをさらに備えてよい。
【０００８】
ユーザによって半押しされることによって、予備画像取得部に予備画像を取得させ、さらにユーザによって全押しされることによって、撮像画像取得部に撮像画像を取得させる指示入力ボタンをさらに備え、予備画像取得部は、指示入力ボタンが半押しされることによって、撮像部によって撮像された予備画像を取得し、撮像部は、予備画像取得部が取得した予備画像の解析結果に基づいて、合焦ポイントが重なっている主要被写体に合焦距離を調整し、撮像画像取得部は、指示入力ボタンが全押しされることによって、撮像部が主要被写体に合焦距離を調整した後に、撮像画像取得部によって撮像された撮像画像を取得してよい。
【０００９】
予備画像取得部は、指示入力ボタンが半押しされる度に撮像部によって撮像された、複数の予備画像を取得し、合焦距離調整部は、指示入力ボタンが半押しされる度に、予備画像取得部が取得した予備画像の解析結果に基づいて合焦ポイントが重なっている主要被写体に合焦距離を調整し、合焦ポイント位置格納部は、指示入力ボタンが半押しされる度に、合焦距離調整部が調整した撮像部の撮像範囲に対する合焦ポイントの位置を格納し、撮像部は、指示入力ボタンが複数回半押しされた場合に、指示入力ボタンが半押しされる度に合焦距離調整部が調整した複数の合焦距離に基づいて撮像条件を決定し、撮像画像取得部は、指示入力ボタンが全押しされることによって、撮像部が決定した撮像条件に調整された後に撮像部によって撮像された撮像画像を取得し、画像格納部は、予備画像取得部が指示入力ボタンが半押しされる度に取得した複数の予備画像のそれぞれにおける、合焦ポイント位置格納部が格納している合焦ポイントの位置を含む領域画像を、撮像画像取得部が取得した撮像画像と対応づけて不揮発性メモリに格納してよい。
【００１０】
撮像部は、指示入力ボタンが複数回半押しされた場合に、指示入力ボタンが半押しされる度に合焦距離調整部が主要被写体に対して調整した合焦距離を平均化した合焦距離を決定し、撮像画像取得部は、指示入力ボタンが複数回半押しされた後に指示入力ボタンが全押しされた場合に、撮像部が決定した合焦距離に撮像条件が調整された後に撮像部によって撮像された撮像画像を取得してよい。
【００１１】
撮像部は、指示入力ボタンが複数回半押しされた場合に、指示入力ボタンが半押しされる度に合焦距離調整部が主要被写体に対して調整した合焦距離に基づいて被写界深度を決定し、撮像画像取得部は、指示入力ボタンが複数回半押しされた後に指示入力ボタンが全押しされた場合に、撮像部が決定した被写界深度に撮像条件が調整された後に撮像部によって撮像された撮像画像を取得してよい。
【００１２】
指示入力ボタンが半押しされる度に予備画像取得部が取得した予備画像の解析結果に基づいて、合焦ポイントが重なっている主要被写体に撮像部の露出量を合わせる露出量調整部をさらに備え、撮像部は、指示入力ボタンが複数回半押しされた場合に、指示入力ボタンが半押しされる度に露出量調整部が調整した複数の露出量にさらに基づいて撮像条件を決定し、撮像画像取得部は、指示入力ボタンが複数回半押しされた後に指示入力ボタンが全押しされた場合に、撮像部が決定した撮像条件に撮像部の撮像条件を調整した後に、撮像部によって撮像された撮像画像を取得してよい。
【００１３】
不揮発性メモリに格納されている第１領域画像を、新たに不揮発性メモリに格納される第２領域画像と比較して、第１領域画像と第２領域画像との間の類似度を算出する類似度算出部と、類似度算出部が算出した類似度が予め定められた類似度より大きい場合に、第１領域画像及び第２領域画像に対して同じ識別情報を決定する識別情報決定部とをさらに備え、画像格納部は、第１領域画像及び第２領域画像を、識別情報決定部が決定した識別情報に対応づけて不揮発性メモリに格納してよい。
【００１４】
本発明の第２の形態における撮像方法は、画像を撮像する撮像段階と、撮像段階における撮像領域内の予め定められた位置に設けられた合焦ポイントが主要被写体に重なっている場合に、撮像段階において撮像された予備画像を取得する予備画像取得段階と、予備画像取得段階において取得された予備画像の解析結果に基づいて、撮像段階における合焦距離を主要被写体に合わせる合焦距離調整段階と、撮像段階において主要被写体に合焦している場合に、撮像段階において撮像された撮像画像を取得する撮像画像取得段階と、撮像段階における撮像範囲に対する合焦ポイントの位置を格納する合焦ポイント位置格納段階と、予備画像取得段階において取得された予備画像における、合焦ポイント位置格納段階において格納される合焦ポイントの位置を含む領域画像を、撮像画像取得段階において取得された撮像画像と対応づけて不揮発性メモリに格納する画像格納段階とを備える。
【００１５】
本発明の第３の形態によると、画像を撮像する撮像装置用のプログラムであって、撮像装置を、画像を撮像する撮像部、撮像部の撮像領域内の予め定められた位置に設けられた合焦ポイントが主要被写体に重なっている場合に、撮像部によって撮像された予備画像を取得する予備画像取得部、予備画像取得部が取得した予備画像の解析結果に基づいて、撮像部の合焦距離を主要被写体に合わせる合焦距離調整部、撮像部が主要被写体に合焦している場合に、撮像部によって撮像された撮像画像を取得する撮像画像取得部、撮像部の撮像範囲に対する合焦ポイントの位置を格納する合焦ポイント位置格納部、予備画像取得部が取得した予備画像における、合焦ポイント位置格納部が格納する合焦ポイントの位置を含む領域画像を、撮像画像取得部が取得した撮像画像と対応づけて不揮発性メモリに格納する画像格納部として機能させる。
【００１６】
本発明の第４の形態における撮像装置は、撮像部と、撮像部の撮像領域に対する撮像者の視線を検出する視線検出部と、視線検出部が検出した視線が示す撮像領域内の位置に合焦ポイントを定める合焦ポイント決定部と、合焦ポイント決定部が定めた合焦ポイントが主要被写体に重なっている場合に、撮像部によって撮像された予備画像を取得する予備画像取得部と、予備画像取得部が取得した予備画像の解析結果に基づいて、撮像部の合焦距離を主要被写体に合わせる合焦距離調整部と、撮像部が主要被写体に合焦している場合に、撮像部によって撮像された撮像画像を取得する撮像画像取得部と、撮像部の撮像範囲に対する合焦ポイントの位置を格納する合焦ポイント位置格納部と、予備画像取得部が取得した予備画像における、合焦ポイント位置格納部が格納する合焦ポイントの位置を含む領域画像を、撮像画像取得部が取得した撮像画像と対応づけて不揮発性メモリに格納する画像格納部とを備える。
【００１７】
本発明の第５の形態における撮像方法は、撮像部の撮像領域に対する撮像者の視線を検出する視線検出段階と、視線検出段階において検出された視線が示す撮像領域内の位置に合焦ポイントを定める合焦ポイント決定段階と、合焦ポイント決定部が定めた合焦ポイントが主要被写体に重なっている場合に、撮像部によって撮像された予備画像を取得する予備画像取得段階と、予備画像取得段階において取得された予備画像の解析結果に基づいて、撮像部の合焦距離を主要被写体に合わせる合焦距離調整段階と、撮像部が主要被写体に合焦している場合に、撮像部によって撮像された撮像画像を取得する撮像画像取得段階と、撮像部の撮像範囲に対する合焦ポイントの位置を格納する合焦ポイント位置格納段階と、予備画像取得段階において取得された予備画像における、合焦ポイント位置格納段階において格納される合焦ポイントの位置を含む領域画像を、撮像画像取得段階において取得された撮像画像と対応づけて不揮発性メモリに格納する画像格納段階とを備える。
【００１８】
本発明の第６の形態によると、撮像装置用のプログラムであって、撮像装置を、撮像部、撮像部の撮像領域に対する撮像者の視線を検出する視線検出部、視線検出部が検出した視線が示す撮像領域内の位置に合焦ポイントを定める合焦ポイント決定部、合焦ポイント決定部が定めた合焦ポイントが主要被写体に重なっている場合に、撮像部によって撮像された予備画像を取得する予備画像取得部、予備画像取得部が取得した予備画像の解析結果に基づいて、撮像部の合焦距離を主要被写体に合わせる合焦距離調整部、撮像部が主要被写体に合焦している場合に、撮像部によって撮像された撮像画像を取得する撮像画像取得部、撮像部の撮像範囲に対する合焦ポイントの位置を格納する合焦ポイント位置格納部、予備画像取得部が取得した予備画像における、合焦ポイント位置格納部が格納する合焦ポイントの位置を含む領域画像を、撮像画像取得部が取得した撮像画像と対応づけて不揮発性メモリに格納する画像格納部として機能させる。
【００１９】
本発明の第７の形態における画像処理装置は、撮像装置の撮像範囲内における予め定められた位置に設けられた合焦ポイントが主要被写体に重なっている場合に、撮像装置によって撮像された予備画像を取得する予備画像取得部と、撮像装置が主要被写体に合焦している場合に、撮像装置によって撮像された撮像画像を取得する撮像画像取得部と、撮像装置の撮像範囲に対する合焦ポイントの位置を格納する合焦ポイント位置格納部と、合焦ポイント位置格納部が格納している撮像装置の撮像範囲に対する合焦ポイントの位置に基づいて、予備画像取得部が取得した予備画像から主要被写体を抽出する主要被写体抽出部と、撮像画像取得部が取得した撮像画像における、主要被写体抽出部が抽出した主要被写体の位置を特定する主要被写体位置特定部とを備える。
【００２０】
主要被写体位置特定部が特定した撮像画像における主要被写体の位置に重ならないように、複数の撮像画像を出力領域内にレイアウトするレイアウト部をさらに備えてよい。主要被写体位置特定部が特定した撮像画像における主要被写体の位置に重ならないように、文字情報を出力領域内に挿入する文字情報挿入部をさらに備えてよい。
【００２１】
本発明の第８の形態における画像処理方法は、撮像装置の撮像範囲内における予め定められた位置に設けられた合焦ポイントが主要被写体に重なっている場合に撮像された予備画像を取得する予備画像取得段階と、撮像装置が主要被写体に合焦している場合に、撮像装置によって撮像された撮像画像を取得する撮像画像取得段階と、撮像装置の撮像範囲に対する合焦ポイントの位置を格納する合焦ポイント位置格納段階と、合焦ポイント位置格納段階において格納されている撮像装置の撮像範囲に対する合焦ポイントの位置に基づいて、予備画像取得段階において取得された予備画像から主要被写体を抽出する主要被写体抽出段階と、撮像画像取得段階において取得された撮像画像における、主要被写体抽出段階において抽出された主要被写体の位置を特定する主要被写体位置特定段階とを備える。
【００２２】
本発明の第９の形態によると、画像を処理する画像処理装置のプログラムであって、画像処理装置を、撮像装置の撮像範囲内における予め定められた位置に設けられた合焦ポイントが主要被写体に重なっている場合に撮像された予備画像を取得する予備画像取得部、撮像装置が主要被写体に合焦している場合に、撮像装置によって撮像された撮像画像を取得する撮像画像取得部、撮像装置の撮像範囲に対する合焦ポイントの位置を格納する合焦ポイント位置格納部、合焦ポイント位置格納部が格納している撮像装置の撮像範囲に対する合焦ポイントの位置に基づいて、予備画像取得部が取得した予備画像から主要被写体を抽出する主要被写体抽出部、撮像画像取得部が取得した撮像画像における、主要被写体抽出部が抽出した主要被写体の位置を特定する主要被写体位置特定部として機能させる。
【００２３】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。
【発明の効果】
【００２４】
本発明によれば、主要被写体の情報を撮像時に記録する撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００２５】
以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００２６】
図１は、本発明の一実施形態に係る撮像システム１７０の利用環境の一例を示す。撮像システム１７０は、撮像装置１００及び画像処理装置１２０を備える。ユーザ１８０が被写体をモニタ画面の中央に位置させた状態で撮像装置１００のレリーズボタン１０２を半押しすると、撮像装置１００は予備画像を撮像して合焦距離を当該被写体に合わせる。そして撮像装置１００は、予備画像における合焦ポイントを含む領域画像を切り出して揮発性のメモリに一時的に記憶する。そして、ユーザ１８０がレリーズボタン１０２を全押しすると、全押しされたタイミングで撮像画像を取得して、領域画像を撮像画像のタグ情報として付帯させて、不揮発性のメモリに記録する。
【００２７】
画像処理装置１２０は、撮像装置１００によって撮像された撮像画像及び領域画像を、インターネット等の通信回線１５０、半導体メモリ等の記録媒体等を介して受け取る。そして、領域画像における中央の位置の被写体を主要被写体として抽出する。そして、画像処理装置１２０は、当該主要被写体と撮像画像の被写体とを比較することによって、撮像画像における主要被写体の位置を特定する。そして、画像処理装置１２０は、当該主要被写体の位置にタイトルの文字等が重ならないように各画像をレイアウトしたり、主要被写体を強調処理、主要被写体以外の領域へのぼかし処理等を施したりして画像データを生成する。そして画像処理装置１２０は、生成したデータを、ディスプレイ、プリンタ等の外部の出力デバイスに出力する。
【００２８】
なお、撮像装置１００は、デジタルスチルカメラ、ビデオカメラであってよく、カメラ付携帯電話、撮像機能を有するＰＤＡ等の携帯情報端末等であってもよい。また、画像処理装置１２０は、パーソナルコンピュータ、電子アルバム、電子フォトスタンド、ＨＤＴＶ等であってよい。
【００２９】
以上説明した撮像システム１７０によれば、撮像装置１００は、ユーザ１８０が撮像時に撮像しようと意図した主要被写体の情報を撮像時に自動的に記録しておくことができる。そして、画像処理装置１２０は、主要被写体の位置にタイトル等を重ならないように撮像画像をレイアウトしたり、主要被写体を強調したりして出力するので、ユーザ１８０はレイアウト等に手間をかけることなく、望ましい出力結果を得ることができる。
【００３０】
図２は、撮像装置１００のブロック構成の一例を示す。撮像装置１００は、撮像部２０２、画像格納部２０４、予備画像取得部２４０、撮像画像取得部２４２、合焦距離調整部２４４、合焦ポイント格納部２４６、主要被写体抽出部２４８、不揮発性メモリ２５０、主要被写体位置特定部２５２、主要被写体位置格納部２５４、出力部２５６、指示入力ボタン２５８、合焦ポイント決定部２６０、視線検出部２６２、露出量調整部２７０、類似度算出部２８０、及び識別情報決定部２８２を備える。
【００３１】
撮像部２０２は、画像を撮像する。具体的には、撮像部２０２は、被写体からの光をＣＣＤ等の撮像デバイスで受光して、被写体を撮像する。また、撮像部２０２は、予め定められた時間間隔で連続的に被写体を撮像してよい。そして撮像部２０２は、連続的に撮像して得られる、予め定めた個数の画像を保持してもよい。
【００３２】
予備画像取得部２４０は、撮像部２０２の撮像領域内の予め定められた位置に設けられた合焦ポイントが主要被写体に重なっている場合に、撮像部２０２によって撮像された予備画像を取得する。指示入力ボタン２５８は、ユーザ１８０によって半押しされることによって、予備画像取得部２４０に予備画像を取得させる。そして、指示入力ボタン２５８は、さらにユーザ１８０によって全押しされることによって、撮像画像取得部２４２に撮像画像を取得させる。なお、指示入力ボタン２５８は、レリーズボタン１０２であってよい。
【００３３】
そして、予備画像取得部２４０は、指示入力ボタン２５８が半押しされることによって、撮像部２０２によって撮像された予備画像を取得する。具体的には、予備画像取得部２４０は、指示入力ボタン２５８が半押しされるタイミングで撮像部２０２が撮像して得られる画像を予備画像として取得する。そして、撮像部２０２は、予備画像取得部２４０が取得した予備画像の解析結果に基づいて、合焦ポイントが重なっている主要被写体に合焦距離を調整する。
【００３４】
具体的には、合焦距離調整部２４４は、予備画像取得部２４０が取得した予備画像の解析結果に基づいて、撮像部２０２の合焦距離を主要被写体に合わせる。例えば、合焦距離調整部２４４は、合焦距離を変更しながら複数の予備画像を取得して、それぞれの予備画像のコントラストを比較して、コントラストが高くなるように合焦距離を調整する。
【００３５】
そして、撮像画像取得部２４２は、指示入力ボタン２５８が全押しされることによって、撮像部２０２が主要被写体に合焦距離を調整した後に、撮像画像取得部２４２によって撮像された撮像画像を取得する。
【００３６】
合焦ポイント位置格納部３４６は、撮像部２０２の撮像範囲に対する合焦ポイントの位置を格納する。なお合焦ポイントの位置は、撮像部２０２の撮像領域に対して予め定められた位置であってよい。具体的には、合焦ポイントの位置は、撮像部２０２による撮像領域の中央領域の位置であってよい。
【００３７】
撮像画像取得部２４２は、撮像部２０２が主要被写体に合焦している場合に、撮像部２０２によって撮像された撮像画像を取得する。画像格納部２０４は、予備画像取得部２４０が取得した予備画像における、合焦ポイント位置格納部３４６が格納する合焦ポイントの位置を含む領域画像を、撮像画像取得部２４２が取得した撮像画像と対応づけて不揮発性メモリ２５０に格納する。
【００３８】
このため、撮像装置１００は、ユーザ１８０が合焦させて撮像した主要被写体の画像を撮像時に格納することができる。また、ユーザ１８０が、指示入力ボタン２５８を半押しした後に、撮像方向を変更する等してからレリーズボタン１０２を全押しした場合のように、撮像時に主要被写体が合焦ポイントから外れている場合でも、予備画像における合焦ポイントの位置に存在する主要被写体を撮像画像の被写体と比較することによって、撮像画像における主要被写体の位置を特定することができる。
【００３９】
出力部２５６は、不揮発性メモリ２５０が格納している領域画像と撮像画像とを対応づけて、外部装置に出力する。具体的には、画像処理装置１２０に当該領域画像及び撮像画像出力する。
【００４０】
なお、予備画像取得部２４０が取得する予備画像は、撮像画像取得部２４２が取得する撮像画像より解像度が低くてよい。具体的には、予備画像取得部２４０は、撮像部２０２の撮像領域内の合焦ポイントを含む一部の領域を予備画像として取得する。このため、不揮発性メモリ２５０が予備画像データによって圧迫されることを防ぐことができる。また、予備画像取得部２４０は、合焦ポイントの領域のＣＣＤからだけ受光量を読み出せばよいので、全ＣＣＤから読み出す場合に比べて読み出し速度を速くすることができる。したがって、ユーザ１８０がシャッタを半押ししてから実際の撮像を開始するまでの時間を短くすることができる。
【００４１】
主要被写体抽出部２４８は、合焦ポイント位置格納部３４６が格納している撮像部２０２の撮像範囲に対する合焦ポイントの位置に基づいて、予備画像取得部２４０が取得した予備画像から主要被写体を抽出する。具体的には、主要被写体抽出部２４８は、エッジ抽出等によって予備画像から被写体の輪郭を抽出して、合焦ポイントの位置を含む被写体を主要被写体として抽出する。
【００４２】
主要被写体位置特定部２５２は、撮像画像取得部２４２が取得した撮像画像における、主要被写体抽出部２４８が抽出した主要被写体の位置を特定する。具体的には、主要被写体位置特定部２５２は、エッジ抽出等によって撮像画像から被写体の輪郭のパターンを抽出して、抽出したパターンと予備画像の主要被写体の輪郭のパターンとのパターンマッチング等によって、主要被写体の位置を特定する。主要被写体位置格納部２５４は、撮像画像取得部２４２が取得した撮像画像に対応づけて、主要被写体位置特定部２５２が特定した撮像画像における主要被写体の位置を格納する。
【００４３】
予備画像取得部２４０は、指示入力ボタン２５８が半押しされる度に撮像部２０２によって撮像された、複数の予備画像を取得する。そして、合焦距離調整部２４４は、指示入力ボタン２５８が半押しされる度に、予備画像取得部２４０が取得した予備画像の解析結果に基づいて合焦ポイントが重なっている主要被写体に合焦距離を調整する。そして、合焦ポイント位置格納部３４６は、指示入力ボタン２５８が半押しされる度に、合焦距離調整部２４４が調整した撮像部２０２の撮像範囲に対する合焦ポイントの位置を格納する。そして、撮像部２０２は、指示入力ボタン２５８が複数回半押しされた場合に、指示入力ボタン２５８が半押しされる度に合焦距離調整部２４４が調整した複数の合焦距離に基づいて撮像条件を決定する。
【００４４】
そして、撮像画像取得部２４２は、指示入力ボタン２５８が全押しされることによって、撮像部２０２が決定した撮像条件に調整された後に撮像部２０２によって撮像された撮像画像を取得する。そして、画像格納部２０４は、予備画像取得部２４０が指示入力ボタン２５８が半押しされる度に取得した複数の予備画像のそれぞれにおける、合焦ポイント位置格納部３４６が格納している合焦ポイントの位置を含む領域画像を、撮像画像取得部２４２が取得した撮像画像と対応づけて不揮発性メモリ２５０に格納する。このため、ユーザ１８０が被写体にそれぞれ合焦ポイントを重ねてレリーズボタン１０２を半押しすることによって指定した場合に、撮像装置１００は、複数の被写体を適切な画質で同時に撮像することができる撮像条件を調整して撮像するとともに、当該撮像条件の調整用に撮像した予備画像から、レリーズボタン１０２の半押しによって指定された被写体を含む領域画像を切り出して記録することができる。
【００４５】
具体的には、撮像部２０２は、指示入力ボタン２５８が複数回半押しされた場合に、指示入力ボタン２５８が半押しされる度に合焦距離調整部２４４が主要被写体に対して調整した合焦距離を平均化した合焦距離を決定する。そして、撮像画像取得部２４２は、指示入力ボタン２５８が複数回半押しされた後に指示入力ボタン２５８が全押しされた場合に、撮像部２０２が決定した合焦距離に撮像条件が調整された後に撮像部２０２によって撮像された撮像画像を取得する。このため、撮像装置１００は、撮像装置１００から異なる距離に位置する複数の被写体を含む画像を撮像する場合に、複数の被写体のいずれかの被写体が突出してぼけて撮像されてしまうことのない撮像条件を決定することができる。
【００４６】
また、撮像部２０２は、指示入力ボタン２５８が複数回半押しされた場合に、指示入力ボタン２５８が半押しされる度に合焦距離調整部２４４が主要被写体に対して調整した合焦距離に基づいて被写界深度を決定する。そして、撮像画像取得部２４２は、指示入力ボタン２５８が複数回半押しされた後に指示入力ボタン２５８が全押しされた場合に、撮像部２０２が決定した被写界深度に撮像条件が調整された後に撮像部２０２によって撮像された撮像画像を取得する。
【００４７】
また、露出量調整部２７０は、指示入力ボタン２５８が半押しされる度に予備画像取得部２４０が取得した予備画像の解析結果に基づいて、合焦ポイントが重なっている主要被写体に撮像部２０２の露出量を合わせる。そして、撮像部２０２は、指示入力ボタン２５８が複数回半押しされた場合に、指示入力ボタン２５８が半押しされる度に露出量調整部２７０が調整した複数の露出量にさらに基づいて撮像条件を決定する。そして、撮像画像取得部２４２は、指示入力ボタン２５８が複数回半押しされた後に指示入力ボタン２５８が全押しされた場合に、撮像部２０２が決定した撮像条件に撮像部２０２の撮像条件を調整した後に、撮像部２０２によって撮像された撮像画像を取得する。このため、撮像装置１００は、複数の被写体のいずれかの被写体が突出して暗く撮像されてしまうことのない撮像条件を決定することができる。
【００４８】
類似度算出部２８０は、不揮発性メモリ２５０に格納されている第１領域画像を、新たに不揮発性メモリ２５０に格納される第２領域画像と比較して、第１領域画像と第２領域画像との間の類似度を算出する。そして、識別情報決定部２８２は、類似度算出部２８０が算出した類似度が予め定められた類似度より大きい場合に、第１領域画像及び第２領域画像に対して同じ識別情報を決定する。そして、画像格納部２０４は、第１領域画像及び第２領域画像を、識別情報決定部２８２が決定した識別情報に対応づけて不揮発性メモリ２５０に格納する。このため、画像格納部２０４は、類似する被写体を含む領域画像には同じ識別情報を付与して不揮発性メモリ２５０に格納することができる。このため、不揮発性メモリ２５０に格納されている画像を出力する場合に、同じ識別情報が付与された領域画像の数を計数して、より多い数が計数された領域画像に含まれる被写体を強調して表示することができる。
【００４９】
視線検出部２６２は、撮像部２０２の撮像領域に対する撮像者の視線を検出する。そして、合焦ポイント決定部２６０は、視線検出部２６２が検出した視線が示す撮像領域内の位置に合焦ポイントを定める。そして、予備画像取得部２４０は、合焦ポイント決定部２６０が定めた合焦ポイントが主要被写体に重なっている場合に、撮像部２０２によって撮像された予備画像を取得する。そして、合焦距離調整部２４４は、予備画像取得部２４０が取得した予備画像の解析結果に基づいて、撮像部２０２の合焦距離を主要被写体に合わせる。そして、撮像画像取得部２４２は、撮像部２０２が主要被写体に合焦している場合に、撮像部２０２によって撮像された撮像画像を取得する。これにより、撮像装置１００は、ユーザ１８０の視線の先に位置する被写体に合焦ポイントを合わせることができるので、ユーザ１８０は、撮像したい構図を変えることなく、合焦ポイントを合わせるべき主要被写体を容易に指定することができる。
【００５０】
以上説明した撮像装置１００によれば、ユーザ１８０は、例えばユーザ１８０が興味を持って撮像した主要被写体の情報を、撮像画像とともに撮像時に自動的に記録しておくことができる。このため、撮像装置１００が格納する主要被写体の情報によって様々な画像処理ができる。例えば、主要被写体データを画像処理装置１２０に提供してアルバム等の作成に活用したり、主要被写体の領域画像を用いてサムネイル画像を作成してユーザ１８０に提供したりすることができる。
【００５１】
図３は、画像処理装置１２０のブロック構成の一例を示す。画像処理装置１２０は、予備画像取得部３４０、撮像画像取得部３４２、合焦ポイント位置格納部３４６、主要被写体抽出部３４８、主要被写体位置特定部３５２、レイアウト部３６０、及び文字情報挿入部３６２を備える。
【００５２】
予備画像取得部３４０は、撮像装置１００の撮像範囲内における予め定められた位置に設けられた合焦ポイントが主要被写体に重なっている場合に、撮像装置１００によって撮像された予備画像を取得する。例えば、予備画像取得部２４０は、出力部２５６から受け取った領域画像を予備画像として取得する。
【００５３】
撮像画像取得部３４２は、撮像装置１００が主要被写体に合焦している場合に、撮像装置１００によって撮像された撮像画像を取得する。具体的には、撮像画像取得部２４２は、出力部２５６から撮像画像を取得する。
【００５４】
合焦ポイント位置格納部３４６は、撮像装置１００の撮像範囲に対する合焦ポイントの位置を格納する。具体的には、合焦ポイント位置格納部３４６は、撮像装置１００の合焦ポイントの位置を予め格納してよい。
【００５５】
主要被写体抽出部３４８は、合焦ポイント位置格納部３４６が格納している撮像装置１００の撮像範囲に対する合焦ポイントの位置に基づいて、予備画像取得部３４０が取得した予備画像から主要被写体を抽出する。主要被写体位置特定部３５２は、撮像画像取得部３４２が取得した撮像画像における、主要被写体抽出部３４８が抽出した主要被写体の位置を特定する。このため、画像処理装置１２０は、特定された主要被写体の位置を含む画像領域に各種の画像処理を施すことができる。
【００５６】
なお、主要被写体抽出部３４８が主要被写体を抽出する動作、及び主要被写体位置特定部３５２が主要被写体の位置を特定する動作の詳細は、それぞれ主要被写体抽出部２４８及び主要被写体位置特定部２５２の動作の詳細と同一であるので説明を省略する。
【００５７】
レイアウト部３６０は、主要被写体位置特定部３５２が特定した撮像画像における主要被写体の位置に重ならないように、複数の撮像画像を出力領域内にレイアウトする。また、文字情報挿入部３６２は、主要被写体位置特定部３５２が特定した撮像画像における主要被写体の位置に重ならないように、文字情報を出力領域内に挿入する。このため、画像処理装置１２０は、主要被写体を隠すことのないレイアウトで出力することができる。
【００５８】
以上説明した画像処理装置１２０によれば、撮像画像の主要被写体の位置に基づいて、撮像画像をレイアウトしてアルバム等を出力することができる。例えば、アルバムのタイトルを主要被写体に重ならない位置に配置したり、主要被写体を避けて他の撮像画像を前面に配置したりすることができる。他にも、画像処理装置１２０は、主要被写体を強調して表示したり、主要被写体を拡大したり、主要被写体をトリミングしたりする等、様々な画像処理を施すことができる。このため、画像処理装置１２０は、ユーザ１８０にとって望ましい画像データをユーザ１８０に提供することができる。
【００５９】
図４は、ユーザ１８０による撮像時の撮像装置１００の処理フローの一例を示す。撮像装置１００がレリーズボタン１０２の押下を検知すると、撮像装置１００はユーザ１８０によるレリーズボタン１０２の押下が半押しであるか全押しであるかのいずれであるかを判断する（Ｓ４２２）。Ｓ４２２において、レリーズボタン１０２の押下が半押しである場合には、視線検出部２６２はユーザ１８０の撮像領域に対する視線位置を検出する。例えば、視線検出部２６２は、撮像装置１００のファインダを除いているユーザ１８０の角膜に点光源からの光を反射させることで視線を検出したり、撮像装置１００のモニタ画面を見ているユーザ１８０の顔画像を取得して、取得した顔画像におけるユーザ１８０の両目の位置と鼻、口等との位置関係とに基づいて視線を検出したりすることによって、ユーザ１８０の視線位置を特定することができる。
【００６０】
そして、合焦ポイント決定部２６０は、レリーズボタン１０２が半押しされたタイミングにおける、撮像部２０２による撮像領域における所定の合焦ポイントの位置（例えば、撮像領域の中心）と視線検出部２６２が特定した視線位置との間の距離を算出して、当該距離が基準値より大きいか否かを判断する（Ｓ４２４）。Ｓ４２４において当該距離が基準値以下であると判断された場合には、合焦ポイント決定部２６０は所定の合焦ポイントの位置に位置する被写体に合焦ポイントを設定する（Ｓ４２６）。また、Ｓ４２４において当該距離が基準値より大きい場合には、視線位置に位置する被写体に合焦ポイントを設定する（Ｓ４３８）。
【００６１】
そして、合焦距離調整部２４４は、合焦ポイントに重なっている被写体に合焦させるとともに（Ｓ４２８）、露出量調整部２７０は当該被写体を適切な明るさで撮像すべく露出量を調節する（Ｓ４３０）。なお、露出量調整部２７０は、Ｓ４３０においては絞り及び露出時間を定めることによって露出量を調節してよい。また、撮像部２０２は合焦ポイント決定部２６０が決定した合焦ポイントに重なっている被写体の画像が望ましいカラーバランスとなるよう、予備画像取得部２４０が取得した予備画像に基づいて画像処理条件を調整する（Ｓ４３２）。そして、予備画像取得部２４０は、Ｓ４２８〜４３２にかけて調整された調整結果を含む撮像条件で撮像部２０２により撮像された予備画像を取得する（Ｓ４３４）。そして、画像格納部２０４は、Ｓ４３４で取得した予備画像から合焦ポイントに重なっている被写体を含む大きさの領域画像を切り出して、揮発性メモリに一旦記憶しておく（Ｓ４３６）。また、撮像装置１００は、Ｓ４２８〜４３２にかけて調節した焦点距離、露出量等の撮像条件、カラーバランス等の画像処理条件を揮発性メモリに記憶しておく。また、撮像装置１００は、レリーズボタン１０２が半押しされた回数を示す半押しカウンタをインクリメントして揮発性メモリに記憶しておく。なお、合焦ポイント決定部２６０がＳ４３８において視線位置に合焦ポイントの位置を決定した場合には、当該位置をユーザ１８０に通知すべく、Ｓ４３４において取得した予備画像上における合焦ポイントの位置を特定するマーク表示等の情報をユーザ１８０に提示してよい。なお、撮像部２０２は、Ｓ４２８〜４３２にかけて調整された撮像条件で、撮像部２０２の撮像条件及び画像に対する画像処理条件を一旦固定しておく。
【００６２】
そして、撮像装置１００はＳ４２２の判断に処理を移行する。そして、撮像装置１００は、レリーズボタン１０２が半押しされる毎に、Ｓ４２４〜Ｓ４３８の一連の処理における領域画像の取得シーケンスを実行する。そして、Ｓ４２２においてレリーズボタン１０２の押下が全押しである旨が判断されると、レリーズボタン１０２が全押しされるまでにレリーズボタン１０２が複数回半押しされたか否かを判断する（Ｓ４４０）。具体的には、撮像装置１００は、半押しカウンタが２以上であるか否かを判断する。なお、撮像装置１００は、レリーズボタン１０２が全押しされたタイミングを含む、当該タイミングより前の所定の時間幅の期間においてレリーズボタン１０２が複数回半押しされたか否かを判断してよい。例えば、撮像装置１００は、レリーズボタン１０２が半押し・全押しされないまま所定の時間幅の時間が経過する度に、半押しカウンタをリセットすればよい。このとき、撮像装置１００は、半押しカウンタのリセットとともに、Ｓ４２４〜Ｓ４３８の領域画像の取得シーケンスにおいて揮発性メモリに記憶した領域画像及び撮像条件を揮発性メモリから消去してよい。
【００６３】
Ｓ４４０においてレリーズボタン１０２が複数回半押しされていない旨が判断された場合には、撮像部２０２は被写体を撮像して（Ｓ４５２）、撮像によって得られた撮像画像を撮像画像取得部２４２が取得する。なお、半押しカウンタが１である場合には、Ｓ４５２において撮像部２０２は領域画像の取得シーケンスにおいて決定された撮像条件で撮像する。そして、画像格納部２０４は、揮発性メモリに記憶された領域画像と撮像画像取得部２４２が取得した撮像画像とを対応づけて不揮発性メモリ２５０に格納し（Ｓ４５４）、処理を終了する。なお、半押しカウンタが０（半押しカウンタの初期状態又は半押しカウンタがリセットされた状態）である場合には、視線位置又は所定の合焦ポイントに重なっている被写体に対してＳ４２４〜Ｓ４３６と同様の処理によって撮像条件及び画像処理条件を決定するとともに、当該条件の決定に使用した領域画像を切り出す。そして、Ｓ４５２において、撮像部２０２は決定した撮像条件で撮像画像を撮像する。そして、画像格納部２０４は、Ｓ４５４において、領域画像と撮像画像とを対応づけて不揮発性メモリ２５０に格納する。
【００６４】
また、Ｓ４４０においてレリーズボタン１０２が複数回半押しされている旨が判断された場合には、レリーズボタン１０２が半押しされたタイミングにおいて合焦ポイントに重なっていた各被写体の明るさが適度な明るさで撮像される露出量を決定する（Ｓ４４４）。例えば、Ｓ４３０において露出量調整部２７０が決定した露出量の平均値を、撮像画像を撮像するための露出量としてよい。そして、撮像部２０２は、各被写体を鮮明に撮像することができる被写界深度を決定する。具体的には、撮像部２０２は、各被写体までの距離に基づいて、各被写体を最も鮮明に撮像することができる被写界深度を決定する。そして、決定した被写界深度及びＳ４４２において決定した露出量を満たすことができる焦点距離、絞り、及び露出時間を決定する（Ｓ４４４、４４６、及び４４８）。そして、撮像部２０２は、各被写体をよりバランスよく撮像することができるカラーバランスを、揮発性メモリに格納されている画像処理条件に基づいて決定する（Ｓ４５０）。そして、撮像部２０２はＳ４４６からＳ４５０において決定した撮像条件で被写体を撮像する（Ｓ４５２）。そして、撮像画像取得部２４２は撮像部２０２が撮像した撮像画像を取得して、レリーズボタン１０２が押下される度にＳ４３６において切り出されて揮発性メモリに記憶された各領域画像と撮像画像とを対応づけて不揮発性メモリ２５０に格納して（Ｓ４５２）、処理を終了する。
【００６５】
なお、Ｓ４５４において画像格納部２０４が不揮発性メモリ２５０に領域画像を新たに格納するときに、類似度算出部２８０は、新たに格納される領域画像に含まれる被写体と、既に撮像画像に対応づけて不揮発性メモリ２５０に格納されている領域画像に含まれる被写体とを比較して、被写体の類似度を算出する。具体的には、類似度算出部２８０は、被写体の種類毎に予め定められた被写体の輪郭と領域画像に含まれる被写体の輪郭とのパターンマッチングによって被写体の種類を特定して、新たに格納される領域画像に含まれる被写体の種類と既に不揮発性メモリ２５０に格納されている領域画像に含まれる被写体の種類とが同じである場合に類似度をより高く算出してよい。また、類似度算出部２８０は、領域画像に含まれる被写体の種類が人物であると特定した場合には、領域画像に含まれる人物の顔の類似度を算出してもよい。そして、識別情報決定部２８２は、類似度算出部２８０が算出した類似度が予め定められた基準値より大きい場合に、領域画像に対して同一の識別ＩＤを決定する。そして、画像格納部２０４は、識別情報決定部２８２が決定した識別ＩＤを、新たに格納する領域画像に対応づけて不揮発性メモリ２５０に格納する。
【００６６】
図５は、画像格納部２０４が不揮発性メモリ２５０に格納するデータの一例を示す。画像格納部２０４は、撮像画像の他に、撮像画像を識別する画像ＩＤに対応づけて領域画像ＩＤを不揮発性メモリ２５０に格納する。領域画像ＩＤは、Ｓ４３６において切り出した領域画像を一意に識別する数値、文字列等の値であってよい。また、画像格納部２０４は、１以上の領域画像ＩＤ、及びコメントに対応づけて、当該領域画像ＩＤで識別される領域画像を識別する識別ＩＤを、不揮発性メモリ２５０に格納する。図４に関連して説明したように、画像格納部２０４は、基準値より高い類似度が算出された領域画像には同じ識別ＩＤが決定されて、不揮発性メモリ２５０に格納される。なお、画像格納部２０４は、識別ＩＤに対応づけてユーザ１８０から入力されたコメントを不揮発性メモリ２５０に格納する。不揮発性メモリ２５０に格納されたコメント、識別ＩＤは、画像処理装置１２０が撮像画像を処理する場合に利用される。
【００６７】
図６は、画像処理装置１２０によるレイアウト結果の一例を示す。図６の例は、撮像画像４０２、４０４、及び４０６がレイアウトされたアルバムの１ページ４７０の例を示す。ユーザ１８０は、撮像装置１００を用いて、主要被写体４１０に合焦ポイントを重ねてレリーズボタン１０２を半押しして合焦距離を主要被写体４１０に合わせてから、それぞれの撮像画像４０２、４０４、及び４０６を撮像している。このとき、予備画像取得部２４０は、レリーズボタン１０２が半押しされたそれぞれのタイミングで予備画像を取得しておく。そして、撮像画像取得部２４２は、合焦ポイントを含む領域のＣＣＤ出力を読み出して領域画像４１２、４１４、及び４１６を取得する。そして、画像格納部２０４は、領域画像４１２、４１４、及び４１６を、それぞれ撮像画像４０２、４０４、及び４０６のタグ情報として付帯させて不揮発性メモリ２５０に格納する。
【００６８】
そして、主要被写体位置特定部３５２は、領域画像４１２、４１４、及び４１６に含まれる合焦ポイントの位置から抽出された主要被写体４１０が含まれる位置範囲を、撮像画像４０２、４０４、及び４０６のそれぞれにおいて特定する。そして、レイアウト部３６０は、それぞれの撮像画像における主要被写体４１０の位置範囲の前面に他の撮像画像に重ならないように、撮像画像４０２、４０４、及び４０６が配置される位置を決定する。そして、文字情報挿入部３６２は、レイアウト部３６０によって決定された撮像画像４０２、４０４、及び４０６の位置と、主要被写体４１０が含まれる位置範囲とに基づいて、主要被写体４１０が含まれる位置範囲に重ならない位置に文字４８０を挿入する。
【００６９】
なお、レイアウト部３６０は、撮像画像を当てはめる画像枠４７２、４７４、及び４７６が予め格納されてよい。そして、レイアウト部３６０は、主要被写体４１０が含まれる位置範囲が重ならないように、画像枠４７２、４７４、及び４７６に当てはめる撮像画像を決定してもよい。
【００７０】
なお、レイアウト部３６０は、レイアウトされる撮像画像に対応づけられた領域画像に含まれる被写体の位置の近傍に、撮像装置１００の不揮発性メモリ２５０から取得したコメントを表示又は印刷してよい。例えば、文字情報挿入部３６２は、当該コメントを含む文字４８０を挿入してよい。また、レイアウト部３６０は、不揮発性メモリ２５０から取得した識別ＩＤに対応づけられた領域画像の数を識別ＩＤ毎に計数して、計数された領域画像の数がより大きい識別ＩＤに対応づけられた領域画像に対応づけられた撮像画像を、より強調して表示又は印刷することができる。例えば、レイアウト部３６０は、計数された領域画像の数がより大きい識別ＩＤに対応づけられた領域画像に対応づけられた撮像画像、又は当該領域画像に含まれる被写体を、同じページにレイアウトされる他の被写体より大きく、かつ、より中央にレイアウトしてよい。
【００７１】
以上説明した撮像システム１７０によれば、撮像装置１００による撮像時に主要被写体の画像を撮像画像と共に自動的に記録しておくことができるので、画像処理装置１２０がは記録された主要被写体の画像に基づいて、撮像画像における主要被写体の位置を特定することによって、主要被写体に対して望ましい処理を施して出力することができる。このため、撮像システム１７０によって、ユーザ１８０は撮像した主要被写体を適切に出力することができる。撮像システム１７０によれば、ユーザ１８０が気に入ったオブジェクトに合焦ポイントを合わせてから半押しする等して撮像画像を撮像すると、当該オブジェクトを含む撮像画像を強調したり、撮像画像における当該オブジェクトの位置を強調したりして撮像画像をレイアウトすることができる。
【００７２】
なお、以上の説明においては、合焦ポイントは撮像領域における中央の画像領域であるとしたが、合焦ポイントは撮像領域における中央以外の画像領域を含んでもよい。合焦ポイント格納部２４６又は合焦ポイント位置格納部３４６が、撮像領域における任意の位置を合焦ポイントの位置として格納することで、撮像装置１００の合焦ポイントが撮像領域の中央以外の位置にある場合でも主要被写体抽出部２４８及び主要被写体抽出部２４８は適切に主要被写体を抽出することができる。
【００７３】
図７は、本実施形態の撮像装置１００及び画像処理装置１２０に係るコンピュータ１５００のハードウェア構成の一例を示す。コンピュータ１５００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。
【００７４】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００７５】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワークを介して撮像装置１００及び画像処理装置１２０と通信し、撮像装置１００及び画像処理装置１２０にプログラム、及びデータを提供する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。
【００７６】
また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブート・プログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００７７】
ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供されるプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供され、ネットワークを介して撮像装置１００及び画像処理装置１２０に送信される。撮像装置１００及び画像処理装置１２０に送信されたプログラムは、撮像装置１００及び画像処理装置１２０においてインストールされて実行される。
【００７８】
撮像装置１００にインストールされて実行されるプログラムは、撮像装置１００を、図１から図６に関連して説明した撮像部２０２、画像格納部２０４、予備画像取得部２４０、撮像画像取得部２４２、合焦距離調整部２４４、合焦ポイント格納部２４６、主要被写体抽出部２４８、不揮発性メモリ２５０、主要被写体位置特定部２５２、主要被写体位置格納部２５４、出力部２５６、指示入力ボタン２５８、及び合焦ポイント決定部２６０、視線検出部２６２、露出量調整部２７０、類似度算出部２８０、及び識別情報決定部２８２として機能させる。画像処理装置１２０にインストールされて実行されるプログラムは、画像処理装置１２０を、図１から図６に関連して説明した予備画像取得部３４０、撮像画像取得部３４２、合焦ポイント位置格納部３４６、主要被写体抽出部３４８、主要被写体位置特定部３５２、レイアウト部３６０、及び文字情報挿入部３６２として機能させる。
【００７９】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。
【００８０】
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００８１】
【図１】撮像システム１７０の利用環境の一例を示す図である。
【図２】撮像装置１００のブロック構成の一例を示す図である。
【図３】画像処理装置１２０のブロック構成の一例を示す図である。
【図４】撮像時における撮像装置１００の処理フローの一例を示す図である。
【図５】不揮発性メモリ２５０に格納するデータの一例を示す図である。
【図６】画像処理装置１２０によるレイアウト結果の一例を示す図である。
【図７】撮像装置１００及び画像処理装置１２０に係るコンピュータ１５００のハードウェア構成の一例を示す図である。
【符号の説明】
【００８２】
１００  撮像装置
１０２  レリーズボタン
１２０  画像処理装置
１５０  通信回線
１７０  撮像システム
１８０  ユーザ
２０２  撮像部
２０４  画像格納部
２４０  予備画像取得部
２４２  撮像画像取得部
２４４  合焦距離調整部
２４６  合焦ポイント格納部
２４８  主要被写体抽出部
２５０  不揮発性メモリ
２５２  主要被写体位置特定部
２５４  主要被写体位置格納部
２５６  出力部
２５８  指示入力ボタン
２６０  合焦ポイント決定部
２６２  視線検出部
２７０  露出量調整部
２８０  類似度算出部
２８２  識別情報決定部
３４６  合焦ポイント位置格納部
３４０  予備画像取得部
３４２  撮像画像取得部
３４８  主要被写体抽出部
３５２  主要被写体位置特定部
３６０  レイアウト部
３６２  文字情報挿入部
【図１】
2006345503.tif 000003
【図２】
2006345503.tif 000004
【図３】
2006345503.tif 000005
【図４】
2006345503.tif 000006
【図５】
2006345503.tif 000007
【図６】
2006345503.tif 000008
【図７】
2006345503.tif 000009