(57)【要約】【課題】被写体の大きさを直感的に把握させることができること。【解決手段】画像取得部５１は、被写体を含む原画像のデータを取得する。情報取得部４２は、画像取得部５１により取得された原画像のデータに基づいて、原画像に含まれる主要被写体像の情報として、例えばその長さ（実寸）のデータを取得する。指標画像選択部５３は、主要被写体の長さの所定範囲内の長さの物体を示す指標画像を検索し、原画像と合成する指標画像を選択する。指標画像変換部５４は、指標画像のデータを、指標画像を原画像と同一の縮尺情報となる画像のデータに変換する。画像合成部５５は、原画像に指標画像が重畳して表示された合成画像のデータを生成する。【選択図】図２
2013197894.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する取得手段と、
前記取得手段により取得された画像に含まれる被写体像の情報を取得する情報取得手段と、
前記情報取得手段により取得された情報に基づいて、前記被写体像に対応する指標画像を選択する選択手段と、
前記情報取得手段により取得された情報と、前記選択手段により選択された指標画像の情報とに基づいて、前記指標画像を変換する変換手段と、
前記画像と、前記変換手段により変換された前記指標画像とを合成する合成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記情報取得手段により取得された情報に基づいて、前記被写体像に対応する複数の候補画像を表示させる表示制御手段を更に備え、
前記選択手段は、前記表示制御手段により表示された複数の候補画像から、ユーザ操作により前記指標画像を選択する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記情報取得手段は、前記画像に基づいて、前記被写体像の大ききの情報を取得し、
前記表示制御手段は、前記被写体像の大きさの情報に基づいて、複数の候補画像を表示させ、
前記変換手段は、前記被写体像の大きさの情報と、前記指標画像の大きさの比に応じて、前記指標画像の大きさを変換し、
前記合成手段は、前記画像と、前記変換手段により大きさが変換された指標画像とを合成する
ことを特徴とする請求項２記載の画像処理装置。
【請求項４】
フォーカスレンズを用いて前記被写体像に合焦する合焦手段を更に備え、
前記情報取得手段は、前記合焦手段による前記被写体像の合焦時の前記フォーカスレンズの位置及び画角の情報に基づいて、前記被写体像の大きさの情報を取得する、
ことを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記表示制御手段は、前記複数の候補画像の大小関係に基づいた順序で当該候補画像を表示させ、
前記選択手段は、前記表示制御手段により大小関係に基づいた順序で表示された複数の候補画像から、ユーザ操作により指標画像を選択する、
ことを特徴とする請求項３又は４記載の画像処理装置。
【請求項６】
前記被写体像を含む前記画像のデータに基づいて、前記指標画像のデータを生成する指標画像生成手段、
を備えたことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項７】
位置情報を取得する位置情報取得手段と、
建造物の画像、高さ及び位置のデータが相互に対応付けられた建造物情報を取得する建造物情報取得手段と、
を更に備え、
前記情報取得手段は、前記位置情報取得手段により取得された前記位置情報と前記建造物情報取得手段により取得された前記建造物情報とに基づいて、前記取得手段により取得された前記被写体像に係る被写体の大きさを表す情報を取得する、
ことを特徴とする請求項１記載の画像処理装置。
【請求項８】
画像処理装置が実行する画像処理方法において、
画像を取得する取得ステップと、
前記取得ステップの処理により取得された前記画像に含まれる被写体像の情報を取得する情報取得ステップと、
前記情報取得ステップの処理により取得された情報に基づいて、前記被写体像に対応する指標画像を選択する選択ステップと、
前記情報取得ステップの処理により取得された前記被写体像の情報と、前記選択ステップの処理により選択された指標画像の情報とに基づいて、前記指標画像を変換する変換ステップと、
前記画像と、前記変換ステップの処理により変換された前記指標画像とを合成する合成ステップと、
を含む画像処理方法。
【請求項９】
コンピュータを、
画像を取得する取得手段、
前記取得手段により取得された前記画像に含まれる被写体像の情報を取得する情報取得手段、
前記情報取得手段により取得された情報に基づいて、前記被写体像に対応する指標画像を選択する選択手段、
前記情報取得手段により取得された情報と、前記選択手段により選択された指標画像の情報とに基づいて、前記指標画像を変換する変換手段、
前記画像と、前記変換手段により変換された指標画像とを合成する合成手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の情報を直感的に把握させることができる、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、被写体を撮影する際に、撮影した被写体の画像を鑑賞する鑑賞者に被写体像の実際の大きさを伝えるため、被写体の傍らに大きさの指標となる物体を配置して撮影することが行われている。
例えば、長さが数センチ程度の被写体を撮影する場合、直径が既知の硬貨（例えば、日本国で発行されている直径が２．５ｃｍの１０円玉）を被写体の傍らに置いて、デジタルカメラで撮影する。得られた原画像には、鑑賞者が大きさを把握できる硬貨の像が写しだされているため、鑑賞者は、画像に写る硬貨の像と被写体の像とを比較することによって、被写体の実際の大きさを認識することができる。
【０００３】
しかし、被写体の傍らに大きさの指標となる物体を置いて撮影することは困難な状況がある。例えば、ビルや橋といった大きな物体が被写体となる場合には、当該被写体の傍らに、大きさの指標となる物体を実際に配置することは困難である。また、小さな物体が被写体となる場合であっても、ユーザは、撮影時に、大きさの指標となる適切な物体を所持していなければ、被写体の大きさを正確に認識することができる原画像を得ることはできない。
そこで、特許文献１には、被写体の大きさを正確に把握するためのスケールを、被写体像を含む画像に表示させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３０５９７７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１記載の技術では、鑑賞者は、表示されたスケールから被写体の大きさを把握するように試みるが、鑑賞者が得ることのできる情報は、被写体の長さ等に相当する数値表現である。鑑賞者は、被写体の長さ等の正確な数値情報が得られても、被写体の情報を直感的に把握することが困難となる場合がある。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、被写体の情報を直感的に把握させることができる画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の一態様の画像処理装置は、画像を取得する取得手段と、前記取得手段により取得された画像に含まれる被写体像の情報を取得する情報取得手段と、前記情報取得手段により取得された情報に基づいて、前記被写体像に対応する指標画像を選択する選択手段と、前記情報取得手段により取得された情報と、前記選択手段により選択された指標画像の情報とに基づいて、前記指標画像を変換する変換手段と、前記画像と、前記変換手段により変換された前記指標画像とを合成する合成手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、被写体の情報を直感的に把握させることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。
【図２】図１の画像処理装置の機能的構成のうち、指標画像表示処理を実行するための機能的構成を示す機能ブロック図である。
【図３】主要被写体の情報を測定する手法を示す模式図である。
【図４】指標画像表示処理に使用される指標画像の具体例を示す模式図である。
【図５】指標画像表示処理の結果の具体例としての各画像を示す模式図である。
【図６】図２の機能的構成を有する図１の画像処理装置が実行する指標画像表示処理の流れを示すフローチャートである。
【図７】本発明の第２実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。
【図８】図７の画像処理装置の機能的構成のうち、指標画像表示処理を実行するための機能的構成を示す機能ブロック図である。
【図９】第２実施形態に係る指標画像表示処理の結果の具体例としての各画像を示す模式図である。
【発明を実施するための形態】
【００１０】
以下、本発明の一実施形態について図面を用いて説明する。
［第１実施形態］
図１は、本発明の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。
画像処理装置１は、例えばデジタルカメラにより構成することができる。なお、本実施形態においては、画像処理装置１が撮像機能を備えるものとして説明するが、画像処理装置１の撮像機能と画像処理機能とを分離し、他の撮像装置で撮像された画像のデータを対象として、画像処理装置１が各種処理を実行することとも可能である。
【００１１】
画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）１４と、バス１５と、入出力インターフェース１６と、撮像部１７と、操作部１８と、表示部１９と、記憶部２０、通信部２１と、ドライブ２２と、を備えている。
【００１２】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１３】
ＤＳＰ１４は、ＣＰＵ１１の指示に応じて、画像のデータに対して各種画像処理を施す。
【００１４】
ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、及びＤＳＰ１４は、バス１５を介して相互に接続されている。このバス１５にはまた、入出力インターフェース１６も接続されている。入出力インターフェース１６には、撮像部１７、操作部１８、表示部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。
【００１５】
撮像部１７は、光学レンズ部３１と、イメージセンサ３２と、レンズ駆動部３３と、を備えている。
【００１６】
光学レンズ部３１は、被写体を撮影するために、フォーカスレンズ（後述する図３のフォーカスレンズ３１Ｆ）やズームレンズ（後述する図３のズームレンズ３１Ｚ）等の各種レンズで構成される。
フォーカスレンズは、後述のレンズ駆動部３３によって駆動され、後述のイメージセンサ３２の受光面に被写体の像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
【００１７】
イメージセンサ３２は、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部３１から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１７の出力信号として出力される。
なお、以下、撮像部１７の出力信号を以下、「撮像画像のデータ」と呼ぶ。撮像部１７からは撮像画像のデータが出力されて、ＣＰＵ１１やＤＳＰ１４等に適宜供給される。
【００１８】
レンズ駆動部３３は、ＣＰＵ１１によるＡＦ（Ａｕｔｏ  Ｆｏｃｕｓ）処理の結果に基づいて、光学レンズ部３１のフォーカスレンズを駆動させ、そのレンズ位置を変化させることで所定の被写体に合焦させる。
【００１９】
操作部１８は、各種釦等で構成され、ユーザの指示操作を受け付ける。また、操作部１８は、必要に応じて、表示部１９に積層されるタッチパネルを含むように構成される。
表示部１９は、液晶ディスプレイ等で構成され、各種画像（例えば、後に詳述する合成画像）を表示する。
【００２０】
記憶部２０は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、ＤＳＰ１４等から出力された画像のデータを記憶する。また、記憶部２０は、ＤＳＰ１４等の処理に必要な各種データも記憶する。
【００２１】
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００２２】
ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３４が適宜装着される。ドライブ２２によってリムーバブルメディア３４から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３４は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。また、リムーバブルメディア３４には、本実施形態においては、後述する合成画像等のデータが記憶される。
【００２３】
図２は、図１の画像処理装置の機能的構成のうち、指標画像表示処理を実行するための機能的構成を示す機能ブロック図である。
【００２４】
指標画像表示処理とは、撮像画像等の原画像のデータを取得し、当該原画像に含まれる被写体の長さ等の大きさを表す情報をユーザに把握させる指標となる画像（後述する指標画像）を、当該原画像とともに表示させるまでの一連の処理をいう。
【００２５】
指標画像表示処理が実行される場合、ＣＰＵ１１においては、主要被写体検出部４１と、情報取得部４２と、表示制御部４３と、記憶制御部４４と、が機能する。
なお、主要被写体検出部４１乃至記憶制御部４４の機能の少なくとも一部を、ＣＰＵ１１以外の他の構成要素（ＤＳＰ１４等）に移譲させてもよい。
【００２６】
また、指標画像表示処理が実行される場合、ＤＳＰ１４においては、画像取得部５１と、指標画像取得部５２と、指標画像選択部５３と、指標画像変換部５４と、画像合成部５５と、指標画像生成部５６と、が機能する。
なお、画像取得部５１乃至指標画像生成部５６の機能の少なくとも一部を、ＤＳＰ１４以外の他の構成要素（ＣＰＵ１１等）に移譲させることも当然可能である。
【００２７】
画像取得部５１は、撮像部１７から出力される撮像画像のデータを原画像のデータとして取得するとともに、撮像条件のデータを取得する。ここで、撮像条件のデータとは、ズーム値、フォーカス値、フォーカス・エリア（撮像画像中のフォーカスレンズの合焦領域）等のデータをいう。
本実施形態においては、原画像のデータは、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ  ｆｏｒ  Ｄｉｇｉｔａｌ  Ｓｔｉｌｌ  Ｃａｍｅｒａｓ）形式であるものとする。ここで、Ｅｘｉｆは、画像のデータにタグ情報を付加して保存することができる規格であるため、原画像のデータには、撮像条件等のデータがタグ情報として付加される。
【００２８】
主要被写体検出部４１は、原画像のデータが画像取得部５１から供給されると、当該原画像に含まれる主要被写体像を検出し、その検出結果とともに原画像のデータを情報取得部４２に供給する。
ここで、主要被写体とは、フォーカスレンズが合焦している被写体をいう。このため、フォーカス・エリア内の少なくとも一部の画像のデータは、主要被写体像のデータである。
主要被写体像の検出手法は、特に限定されないが、例えば本実施形態においては、原画像のデータに付加されたタグ情報に含まれるフォーカス・エリアのデータに基づいて、フォーカス・エリア内又はフォーカス・エリアを含む所定範囲内の画像のコントラストの勾配から、主要被写体像を検出する、といった検出手法が採用されている。
【００２９】
主要被写体検出部４１は、主要被写体像を検出した後、当該主要被写体像を囲む最小の矩形枠（以下、「主要被写体像の枠」と呼ぶ）を決定する。本実施形態では、主要被写体像の枠は、主要被写体像の画像領域のＸ軸方向（横方向）の座標の最大値と最小値との差から求められる水平幅と、主要被写体像の領域のＹ軸方向（縦方向）の座標の最大値と最小値との差から求められる垂直幅と、を有する矩形領域の外縁である。
主要被写体像の枠の形状は、当該枠の４つの頂点が特定されれば決定できる。そこで、本実施形態では、主要被写体像の枠のデータは、当該枠の４つの頂点の位置情報により構成されているとする。
主要被写体検出部４１は、主要被写体像の枠のデータを検出結果として、原画像のデータとともに情報取得部４２に供給する。
【００３０】
情報取得部４２は、主要被写体像の枠のデータ及び原画像のデータが主要被写体検出部４１から供給されると、主要被写体の実世界における大きさを表す情報（例えば、実寸の長さのデータ）を取得する。本実施形態では、後述するように、撮像時に得られるフォーカスレンズの位置等の情報から、主要被写体の実世界における大きさの情報を計測するものとする。なお、この大きさの情報は、撮像画像のデータとともに、他の装置から取得することも可能である。
情報取得部４２による主要被写体の情報（例えば、長さのデータ）の計測手法は、特に限定されないが、例えば本実施形態では、被写体までの距離及び撮像範囲に占める被写体像の長さの比の情報に基づいて、主要被写体の長さを計測する、といった計測手法が採用されている。
【００３１】
以下、本実施形態で採用されている具体的な主要被写体の大きさの情報（例えば、長さの情報）の計測手法について、図３を参照して説明する。
図３は、主要被写体の大きさ（例えば、長さ）を測定する手法を示す模式図である。
【００３２】
図３（Ａ）には、釣り人ＯＢ１、岩ＯＢ２、林ＯＢ３、山ＯＢ４といった各被写体の像を含む原画像７１が示されている。ここで、実世界（デジタルカメラとして構成される画像処理装置１の撮像空間）においては画像処理装置１からみて、釣り人ＯＢ１、岩ＯＢ２、林ＯＢ３、及び山ＯＢ４の順に距離が遠いものとする。
【００３３】
図３（Ｂ）は、画像処理装置１のフォーカスレンズ３１Ｆの位置（以下、「レンズアドレス」と呼ぶ）とフォーカスレンズ３１Ｆが合焦する被写体までの距離との関係を説明する図である。
図３（Ｂ）に示すように、レンズアドレスは、ズームレンズ３１Ｌとイメージセンサ３２との間に位置する。レンズアドレスがイメージセンサ３２から離れるほど、合焦する実世界上の位置が画像処理装置１に近くなる。
フォーカスレンズ３１Ｆから被写体までの距離（以下、「被写体距離」と呼ぶ）とフォーカスレンズ３１Ｆからイメージセンサ３２までの距離とはレンズの公式である次の式（１）によって関係付けられる。
【数１】
2013197894.tif 000003
式（１）において、Ｌは、フォーカスレンズ３１Ｆと被写体との距離を、ｂは、フォーカスレンズ３１Ｆとイメージセンサ３２との距離を、ｆは、焦点距離を、示している。
レンズの焦点距離ｆは予め定められているので、被写体距離Ｌと、フォーカスレンズ３１Ｆとイメージセンサ３２との距離ｂは、一方が大きくなれば他方が小さくなる関係にある。
図３（Ｂ）に示すように、フォーカスレンズ３１Ｆと釣り人ＯＢ１、岩ＯＢ２、林ＯＢ３、山ＯＢ４との距離は、それぞれ１ｍ、５ｍ、１５ｍ、無限大であるものとみなされている。この場合、上記のそれぞれの被写体に合焦するフォーカスレンズ３１Ｆのレンズアドレスは、釣り人ＯＢ１、岩ＯＢ２、林ＯＢ３、山ＯＢ４の順にイメージセンサ３２に近くなる。
【００３４】
ここで、上述の説明において、フォーカスレンズ３１Ｆと山ＯＢ４との距離は、無限大とみなされているものとしたが、焦点距離が無限大となることについて、更に説明する。
一般に、被写体に合焦すると、その被写体の前後にもピントが合っているとみなせる範囲が存在する。この範囲のことを被写界深度という。そして、画像処理装置１から見て被写体の後方側の被写界深度、即ち後方被写界深度Ｌｒは、次の式（２）のように表される。
【数２】
2013197894.tif 000004
式（２）において、δは、許容錯乱円の直径を、Ｌは、被写体距離を、Ｆは、Ｆ値（絞り値）を、ｆは、焦点距離を、示している。
ここで、被写体距離Ｌがｆ・ｆ／（δ・Ｆ）の値をとる場合、分母が０となるので、後方被写界深度Ｌｒは無限大となる。したがって、被写体距離Ｌ＝ｆ・ｆ／（δ・Ｆ）に位置する被写体に、フォーカスレンズ３１Ｆを合焦させたときは、被写体だけでなく無限遠までの物体にピントがあっているように見えることになる。このため、フォーカスレンズ３１Ｆとイメージセンサ３２との距離ｂが一定値以下に達したときは、実用上、被写体距離Ｌが無限大までの被写体に合焦したものとして被写体距離は無限大として扱われる。
【００３５】
式（１）に戻って説明する。式（１）において、レンズの焦点距離ｆは予め定められているので、被写体距離Ｌと、フォーカスレンズ３１Ｆとイメージセンサ３２との距離ｂの、どちらか一方が定まれば、他方の値が求められる関係にあることがわかる。
本実施形態では、レンズアドレスは、撮像部１７から撮像条件のデータとして出力される。イメージセンサ３２は、通常、固定された位置にあるので、レンズアドレスが決定されると、フォーカスレンズ３１Ｆとイメージセンサ３２との距離ｂは算定される。つまり、レンズアドレスが決定されれば、被写体距離Ｌが算出されることになる。
即ち、フォーカスレンズ３１Ｆが被写体に合焦したときのレンズアドレスの情報に基づき、式（１）によって、被写体距離Ｌを算出することができる。
したがって、情報取得部４２は、原画像データのタグ情報に記録されているレンズアドレスと焦点距離の情報に基づいて、被写体距離を算出する。そして、情報取得部４２は、算出された被写体距離を原画像データのタグ情報に記録する。
【００３６】
図３（Ｃ）は、原画像の水平幅Ｗ０（水平画角に相当する撮影範囲の原画像の水平幅）と釣り人の像の水平幅Ｗ１を示す図である。
ここで、画像処理装置１のフォーカスレンズの光軸を法線とする実世界の平面であって、かつ、被写体である釣り人を含む平面を考える。水平画角がなす角が当該平面に投影する撮像範囲の水平幅、即ち、撮像範囲の幅（実寸）Ｌ０は、被写体距離及びフォーカスレンズ３１Ｆの焦点距離から幾何学的に求めることができる。
そして、撮像面又は撮像画像と上記の平面とは相似の関係にあるため、撮像範囲の幅（実寸）Ｌ０と原画像の水平幅Ｗ０との比は、被写体の水平幅（実寸）Ｌ１と被写体である釣り人の像の水平幅Ｗ１との比に等しい。
以上より、被写体の水平幅（実寸）Ｌ１は、次の式（３）により求めることができる。
【数３】
2013197894.tif 000005
式（３）において、Ｌ０は、水平画角に相当する撮像範囲の幅（実寸）を、Ｗ０は、原画像の水平幅を、Ｗ１は、原画像に含まれる被写体像の水平幅を、示している。
また、主要被写体像の水平幅Ｗ１は、主要被写体像の枠の水平幅を測定することにより求められる。
【００３７】
以上、被写体の幅（実寸）を計測する計測手法について説明した。被写体の垂直方向の長さを計測する場合には、上記の計測手法において、水平画角及び水平幅の代わりに垂直画角及び垂直幅を用いればよい。
図３（Ａ）〜（Ｃ）を参照して説明したとおり、フォーカスレンズのレンズアドレス、及び、原画像の水平幅に対する被写体像の長さの比が決定されると、被写体の長さ（実寸）を計測することが可能である。
【００３８】
以下、図２に戻って、指標画像表示処理の各機能の説明をする。
なお、本実施形態においては、情報取得部４２は、主要被写体の長手方向の長さを、主要被写体の長さとして計測する。そして、主要被写体像の横方向の長さは、主要被写体像の枠の水平幅を計測することにより求めることができる。また、主要被写体像の垂直方向の長さは主要被写体像の枠の垂直幅を計測することにより求めることができる。
計測対象の情報は、長さに特に限定されず、例えば主要被写体の面積等、大きさを表す情報であれば、任意の情報でよい。
【００３９】
情報取得部４２は、主要被写体の情報（例えば、長さのデータ）を計測した後、当該情報を指標画像取得部５２に供給する。そして、後述するように、原画像のデータから指標画像のデータを生成する場合には、情報取得部４２は、当該情報及び主要被写体の枠のデータを指標画像生成部５６に供給する。
【００４０】
更に、情報取得部４２は、上述の被写体の長さ（実寸）を求める過程で、被写体の水平幅（実寸）Ｌ１と被写体像の水平幅Ｗ１の値の比を算定する。つまり、情報取得部４２は、実世界における被写体の長さ（実寸）に対する、表示部１９に表示された被写体像の長さの比（以下、「縮尺情報」と呼ぶ）、即ち、Ｗ１／Ｌ１を算定する。そして、情報取得部４２は、算定された原画像の縮尺情報を指標画像変換部５４に供給する。
【００４１】
指標画像取得部５２は、情報取得部４２により計測された主要被写体の情報（例えば、長さのデータ）を情報取得部４２から取得する。
更に、指標画像取得部５２は、当該主要被写体の情報をユーザに直感的に把握させる指標となる画像（以下、「指標画像」と呼ぶ）のデータを記憶部２０から取得する。
本実施形態では、指標画像取得部５２が記憶部２０から指標画像のデータを取得するとしたが、これに限定されない。指標画像取得部５２は、通信部２１を介して、インターネット上のＷｅｂサイトから指標画像のデータを取得してもよい。この場合、通信部２１は、インターネットを含むネットワークを介してＷｅｂサーバとの間で行う通信を制御する。更に、指標画像取得部５２は、リムーバブルメディア３４に記憶された指標画像のデータを取得してもよい。
【００４２】
指標画像が表す物体は、必ずしも鑑賞者が当該物体の長さ等の数値自体を認識している必要はなく、鑑賞者が当該物体の長さを直感的に把握しているものであればよい。例えば、指標画像が表す物体は、鑑賞者が日常的に使用する物体や、経験的に見たことがある物体や建造物等であることが好適である。
図４は、指標画像表示処理に使用される指標画像の具体例を示す模式図である。
図４には、（Ａ）タバコの箱を示す指標画像Ｃ１、（Ｂ）飲料用３５０ｍｌ缶を示す指標画像Ｃ２、（Ｃ）飲料用ペットボトルを示す指標画像Ｃ３、大仏を示す指標画像Ｃ４、及びＴタワーを示す指標画像Ｃ５が示されている。
指標画像のデータは、その形態は特に限定されないが、本実施形態では、Ｅｘｉｆ形式の画像ファイルであるものとする。本実施形態においては、Ｅｘｉｆ形式の画像ファイルのタグ情報には、指標画像のＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）情報及び指標画像の表す物体の実世界における大きさを表す情報（例えば、長さ）が含まれているものとする。
【００４３】
以下、図２に戻って、指標画像表示処理を実行する場合における機能ブロックの各機能を説明する。
指標画像取得部５２は、情報取得部４２により計測された主要被写体像の情報（例えば、長さのデータ）と指標画像のデータを指標画像選択部５３に供給する。
【００４４】
指標画像選択部５３は、情報取得部４２により取得された情報に基づいて、主要被写体像に対応する指標画像のデータを選択する。
【００４５】
具体的には、指標画像選択部５３は、主要被写体像の情報（例えば、長さのデータ）と指標画像のデータとを指標画像取得部５２から取得する。
指標画像選択部５３は、主要被写体像の情報に近似する情報をもつ物体（主要被写体の長さの所定範囲内にある長さをもつ物体）を示す指標画像のデータを選択する。ここで、所定範囲は、主要被写体の長さに対する比率の範囲（例えば、主要被写体の長さの０．７〜１．３倍）としてもよく、差の範囲（例えば、主要被写体の長さとの差が±５ｃｍ以内）としてもよい。更に、これらの比率や差は、主要被写体の長さに応じて変化させてよい。
【００４６】
指標画像選択部５３が、主要被写体像の情報に近似する情報をもつ指標画像（主要被写体の長さの所定範囲内にある長さをもつ指標画像）を選択すると、当該指標画像のデータを表示制御部４３に供給する。表示制御部４３は、当該指標画像、及び当該指標画像をユーザが選択する画像を表示部１９に表示させるよう制御する。
そして、表示部１９に表示された当該指標画像の中から、ユーザは、操作部１８を操作して、所望の指標画像を選択し、指定する。ユーザにより指定された指標画像（以下、「指定指標画像」と呼ぶ）のＩＤ情報は、指標画像選択部５３に通知される。
次に、ユーザは、操作部１８を操作して、指定指標画像を原画像に重畳させて表示する位置（以下、「指定位置」と呼ぶ）を指定する。この際、ユーザは、原画像が表示されたタッチパネル等により、指定位置を決定するようにしてもよい。
指標画像選択部５３は、指定指標画像のＩＤ情報を、指標画像変換部５４に供給する。
また、指標画像選択部５３は、指定位置の情報を、画像合成部５５に供給する。
【００４７】
指標画像変換部５４は、指標画像選択部５３から通知された指標画像のＩＤ情報に対応する指標画像のデータを記憶部２０から取得するとともに、原画像の縮尺情報を情報取得部４２から取得する。そして、指標画像変換部５４は、取得した指標画像のデータを、実世界における指標画像が表す物体の長さと表示される指標画像の長さとの比が、原画像の縮尺情報が示す比と同一となるように変換する。
ここで、指標画像変換部５４により変換された指標画像のデータを、以下、「変換指標画像のデータ」と呼ぶ。
指標画像変換部５４は、変換指標画像のデータを画像合成部５５に供給する。
【００４８】
画像合成部５５は、画像取得部５１から原画像のデータを取得する。
また、画像合成部５５は、指標画像変換部５４から変換指標画像のデータを取得する。
更に、画像合成部５５は、指標画像選択部５３から指定位置の情報を取得する。
そして、画像合成部５５は、指定位置の情報に基づいて、原画像のデータに対して変換指標画像のデータを合成することによって、変換指標画像を原画像のなかの指定位置に重畳させた画像（以下、「合成画像」と呼ぶ）のデータを生成する。
【００４９】
原画像に含まれる主要被写体像を、次回以降の撮像時に指標画像として使用したいとユーザが所望する場合がある。かかる場合、ユーザは、操作部１８を操作することにより、主要被写体像から指標画像を生成することを指示する。
指標画像生成部５６は、指標画像の生成指示を受け取ると、画像取得部５１から原画像のデータ、情報取得部４２から主要被写体の情報（例えば、長さのデータ）及び主要被写体像の枠のデータを受け取る。そして、指標画像生成部５６は、主要被写体像の枠内の画像領域のデータを指標画像のデータとして生成する。この際、記憶制御部４４は、生成された指標画像のデータを記憶部２０に記憶するよう制御する。同時に、記憶制御部４４は、指標画像のデータに付加されたタグ情報に、上記の主要被写体の情報（長さ（実寸）のデータ）を記憶するよう制御する。
【００５０】
表示制御部４３は、原画像や合成画像等を表示部１９に表示させる制御を実行する。
【００５１】
記憶制御部４４は、ユーザによる指示があった場合等、必要に応じて、画像合成部５５により生成された合成画像のデータを、リムーバブルメディア３４に記録する。
【００５２】
以上、図２乃至図４を参照して、本実施形態の画像処理装置１の機能的構成について説明した。
【００５３】
次に、ＣＰＵ１１により構成される主要被写体検出部４１乃至記憶制御部４４、並びに、ＤＳＰ１４により構成される画像取得部５１乃至指標画像生成部５６の各機能の詳細について、即ち、指標画像表示処理の実行機能の詳細について、図５を参照して具体的に説明する。
図５は、指標画像表示処理の結果の具体例としての各画像を示す模式図である。
図５（Ａ）には、釣り人９１や魚９２の被写体像を含む原画像８１が示されている。
また、図５（Ａ）では、魚９２の像の中央付近にフォーカス・エリアを示す枠ＦＷ５が示されている。つまり、フォーカスレンズは、被写体としての魚の中央付近に合焦するレンズアドレスに位置している。
【００５４】
そして、主要被写体検出部４１は、フォーカス・エリアを示す枠ＦＷ５内又はフォーカス・エリアを含む所定範囲の原画像のコントラストの勾配から、主要被写体像、即ち、魚９２の像を検出する。
この場合、表示制御部４３は、検出された主要被写体を特定可能なシンボル等を原画像８１に重畳させて表示部１９に表示させる。具体的には例えば図５（Ａ）の例では、主要被写体像の枠ＣＷ５によって、魚９２が主要被写体であることが特定される。
【００５５】
次に、情報取得部４２は、主要被写体像の情報として、主要被写体の長さ、即ち、魚９２の長手方向（垂直方向）の長さを取得する。本実施形態においては、情報取得部４２により、魚９２の長さは２２ｃｍであると計測されたものとする。情報取得部４２は、指標画像取得部５２に計測した魚９２の長さのデータを、主要被写体像の情報として供給する。
そして、指標画像取得部５２は、情報取得部４２から供給される主要被写体像の情報（長さのデータ）を取得するとともに、記憶部２０から指標画像のデータを取得する。
指標画像取得部５２は、指標画像のデータ及び主要被写体像の情報（長さのデータ）を、指標画像選択部５３に供給する。
【００５６】
指標画像選択部５３は、指標画像取得部５２から供給された指標画像のデータと主要被写体像の情報（長さのデータ）とに基づき、主要被写体の長さに対して所定範囲内の長さの物体を示す指標画像のデータを選択する。
本実施形態では、指標画像選択部５３は、主要被写体の長さが３０ｃｍ以下の場合は、主要被写体の長さを基準として０．４倍〜１．２倍の範囲内の長さの物体の指標画像を選択するものとする。即ち、指標画像取得部５２は、主要被写体である魚９２の長さ２２ｃｍの０．４倍〜１．２倍に相当する８．８ｃｍ〜２６ｃｍの範囲内の長さの物体の指標画像のデータを選択する。この結果、指標画像選択部５３は、長さ９ｃｍのタバコの箱を示す指標画像Ｃ１、長さ１２ｃｍの飲料用３５０ｍｌ缶を示す指標画像Ｃ２、長さ２０ｃｍの飲料用ペットボトルを示す指標画像Ｃ３を、指定指標画像となる候補として決定する。
【００５７】
指標画像選択部５３は、表示制御部４３に、当該指標画像Ｃ１、Ｃ２、Ｃ３、及び指標画像を選択するための表示画面（以下、「指標画像選択画面」と呼ぶ）を表示するように通知する。
【００５８】
そして、表示制御部４３は、指標画像選択画面ＫＷ１を表示部１９に表示させる。図５（Ｂ）に示すように、指標画像選択画面ＫＷ１内には、指標画像選択部５３により決定された指定指標画像の候補が、指標画像選択画面ＫＷ１内の上から下に向かって、指標画像の表す物体の長さの大きい順に、指標画像Ｃ３、Ｃ２、Ｃ１が表示されている。
したがって、ユーザは、指標画像選択画面ＫＷ１内の指標画像が示す物体の長さの大小関係を容易に把握することができる。
【００５９】
更に、指定指標画像の候補の画像の横にはスケールＳＬ１が表示される。指示線ＣＬ１、ＣＬ２、ＣＬ３は、指標画像Ｃ１、Ｃ２、Ｃ３がそれぞれ示す物体の長さに相当する目盛りを指し示している。即ち、指示線ＣＬ１、ＣＬ２、ＣＬ３は、指標画像Ｃ１、Ｃ２、Ｃ３の示す物体が、それぞれ９ｃｍ、１２ｃｍ、２０ｃｍであることを示している。ユーザは、これらの指示線の示す目盛りを読み取ることにより、指標画像の示す物体の長さを数値として把握することができる。
更に、指標画像選択画面ＫＷ１内では、矢印ＡＲ１が、主要被写体である魚９２の長さ２２ｃｍに相当するスケールＳＬ１の目盛りを指し示している。ユーザは、矢印の指し示す目盛りを読み取ることにより、主要被写体の長さを数値として把握することができる。
【００６０】
次に、ユーザは、指標画像選択画面ＫＷ１内に表示された指標画像Ｃ１、Ｃ２、Ｃ３のなかから、操作部１８を操作して、タバコの箱を示す指標画像Ｃ１及び飲料用３５０ｍｌ缶を示す指標画像Ｃ２を、指定指標画像として指定したとする。この場合、ユーザにより指定された指標画像のＩＤ情報は、指標画像選択部５３に通知される。
更に、ユーザは、操作部１８を操作して、当該指定指標画像、即ち、指標画像Ｃ１及びＣ２を、魚９２の像の右隣及び左隣に、それぞれ配置するよう指定したとする。
指標画像選択部５３は、指標画像Ｃ１及びＣ２のデータのＩＤ情報を指標画像変換部５４に供給する。
【００６１】
指標画像変換部５４は、指標画像選択部５３から供給された指標画像のデータのＩＤ情報に対応する指標画像Ｃ１及びＣ２のデータを原画像の縮尺情報と同一の変換指標画像Ｄ１及びＤ２のデータに変換する。
指標画像変換部５４は、変換指標画像Ｄ１及びＤ２のデータを画像合成部５５に供給する。
【００６２】
画像合成部５５は、画像取得部５１から供給される原画像のデータと、指標画像選択部５３から供給される指定位置の情報と、指標画像変換部５４から供給される変換指標画像Ｄ２及びＤ３のデータと、指定位置の情報を受け取る。そして、画像合成部５５は、変換指標画像を原画像中の指定位置に重畳して表示させた合成画像１０１のデータを生成する。
そして、表示制御部４３は、図５（Ｃ）に示すような合成画像１０１を表示部１９に表示させる。
なお、図５（Ａ）及び（Ｂ）においては、説明の便宜上、フォーカス・エリアを示す枠ＦＷ５が示されているが、このようなフォーカス・エリアの枠の表示は特に必須ではなく、実際には表示を省略しても構わない。
【００６３】
指標画像生成部５６は、主要被写体像の枠内の画像領域のデータを新たな指標画像のデータとして生成するか否かをユーザに選択させる画面のデータを生成する。表示制御部４３は、当該画面を表示部１９に表示させる。
指標画像生成部５６は、ユーザによる操作部１８の操作により、指標画像を生成する旨の通知を受けると、画像取得部５１から原画像のデータ、情報取得部４２から主要被写体像の情報（ここでは魚９２の長さのデータ）及び主要被写体像の枠ＣＷ５のデータを受け取る。
そして、指標画像生成部５６は、主要被写体像の枠ＣＷ５内の魚９２の像を含む画像領域のデータを新たな指標画像のデータとして生成する。この際、記憶制御部４４は、生成した指標画像のデータに付加されたタグ情報に、主要被写体である魚９２の長さのデータを記録する。
【００６４】
記憶制御部４４は、必要に応じて、合成画像１０１のデータをリムーバブルメディア３４に記憶させる。
【００６５】
なお、指標画像のデータは、指標画像取得部５２によって取得される段階で、記憶部２０に記憶されていれば足りる。
また、ユーザが操作部１８を操作して、上記のように指標画像生成部５６により新たな指標画像のデータが生成された場合、当該指標画像のデータを記憶部２０に事後的に記憶させることもできる。
更に、通信部２１やドライブ２２等を介して得られた指標画像のデータを、記憶部２０に記憶させることもできる。
【００６６】
本実施形態では、指標画像の示す物体の情報（例えば、長さ等のデータ）及び撮像条件のデータを指標画像のデータに付加されたタグ情報として格納しているが、これに特に限定されない。例えば、複数の指標画像のデータの各々に対して、当該指標画像の情報（例えば長さのデータ）が対応付けられたテーブルが参照されてもよい。
【００６７】
次に、このような機能的構成を有する画像処理装置１が実行する処理のうち、指標画像表示処理の流れについて説明する。
図６は、図２の機能的構成を有する図１の画像処理装置１が実行する指標画像表示処理の流れを示すフローチャートである。
【００６８】
指標画像表示処理は、本実施形態においては、ユーザが操作部１８を操作して、指標画像表示処理の指示をした後に、撮像部１７による撮像動作が行われたことを契機にして開始される。
【００６９】
ステップＳ１において、画像取得部５１は、撮像部１７から出力された撮像画像のデータを、原画像のデータとして取得する。例えば、図５（Ａ）の原画像８１のデータが取得されたものとする。
【００７０】
ステップＳ２において、主要被写体検出部４１は、ステップＳ１の処理で取得された原画像のデータに基づいて、当該原画像の中の主要被写体像を検出する。例えば、主要被写体検出部４１は、図５（Ａ）に示すように、主要被写体像の枠で囲まれる魚９２の像を主要被写体像として検出したものとする。
【００７１】
ステップＳ３において、情報取得部４２は、ステップＳ２の処理で検出された主要被写体の長さのデータを、主要被写体像の情報として取得する。例えば、情報取得部４２は、ステップＳ２の処理で検出された魚９２の長手方向（垂直方向）の長さ（実寸）のデータを、主要被写体像の情報として取得する。例えば、主要被写体である魚９２の長さ２２ｃｍが計測されて、その計測結果のデータが主要被写体像の情報として取得されたものとする。
【００７２】
ステップＳ４において、指標画像取得部５２は、主要被写体像の情報の所定範囲内にある指標画像のデータを選択する。具体的には、指標画像取得部５２は、主要被写体像の情報（長さのデータ）を情報取得部４２から取得し、記憶部２０から指標画像のデータを取得する。そして、指標画像選択部５３は、指標画像取得部５２から指標画像のデータ及び主要被写体の長さのデータが供給されると、主要被写体の長さの所定範囲内の長さの物体を示す指標画像のデータを選択する。
例えばここでは、主要被写体である魚９２の長さは２２ｃｍであると計測されており、所定範囲は、主要被写体の長さの０．４〜１．２倍と設定されている。したがって、物体の長さが、８．８ｃｍ〜２６ｃｍの範囲内にある指標画像、即ち、長さが９ｃｍのタバコの箱を示す指標画像Ｃ１と、長さが１２ｃｍの飲料用３５０ｍｌ缶を示す指標画像Ｃ２と、長さが２０ｃｍの飲料用ペットボトルを示す指標画像Ｃ３の各データが選択される。
【００７３】
ステップＳ５において、表示制御部４３は、指標画像選択画面を表示部１９に表示させる。
例えば本実施形態では、図５（Ｂ）に示すように指標画像選択画面ＫＷ１が表示部１９に表示される。そして、指標画像選択画面ＫＷ１内では、上から下に大きい順に指標画像Ｃ３、Ｃ２、Ｃ１が表示される。
【００７４】
ステップＳ６において、指標画像選択部５３は、指標画像選択画面内の指標画像のなかから指定指標画像を選択するようにユーザに報知する。
【００７５】
ステップＳ７において、指標画像選択部５３は、指標画像が選択されたか否かを判定する。
【００７６】
指標画像が選択されない場合には、ステップＳ７においてＮＯであると判定されて、処理はステップＳ６に戻される。即ち、指標画像選択部５３は、指標画像選択画面内の指標画像のなかから指定指標画像を選択するようにユーザに再び報知する。指標画像が選択されるまでの間、ステップＳ６及びＳ７のループ処理が繰り返し実行されることによって、指標画像表示処理は待機状態になる。なお、図示はしないが、所定時間経過しても未だ指標画像が選択されない場合には、指標画像表示処理を終了するようにしてもよい。
【００７７】
その後、指標画像が選択された場合には、ステップＳ７においてＹＥＳであると判定されて、処理はステップＳ８に進む。
【００７８】
ステップＳ８において、指標画像選択部５３は、ユーザによる操作部１８の操作により、指定指標画像の原画像における指定位置を決定する。これに対応して、指標画像変換部５４は、原画像の縮尺情報と同一の縮尺情報となるように指定指標画像のデータを変換指標画像のデータに変換する。
【００７９】
ステップＳ９において、画像合成部５５は、ステップＳ１の処理で取得された原画像のデータと、ステップＳ８の処理で生成された変換指標画像のデータとを合成することによって、合成画像のデータを生成する。
【００８０】
ステップＳ１０において、表示制御部４３は、ステップＳ９の処理で生成された合成画像のデータを表示部１９に表示させる。
【００８１】
ステップＳ１１において、指標画像変換部５４は、指標画像の選択が全て終了したか否かを判定する。全て終了していない場合には、ステップＳ１１においてＮＯであると判定されて、処理はステップＳ７に戻される。即ち、ユーザが複数の指標画像を原画像に重畳させて表示させたいと望む場合には、ステップＳ７に戻って、再度、指標画像を選択することによって、複数の指標画像を原画像に重畳させて表示させることができる。
本実施形態では図５（Ｃ）に示すように、原画像８１の魚９２の横に、タバコの箱の指標画像Ｃ１と飲料用３５０ｍｌ缶の指標画像Ｃ２とを重畳させた合成画像１０１のデータが生成される。
指標画像の選択が全て終了した場合には、ステップＳ１１においてＹＥＳであると判定されて、処理はステップＳ１２に進む。
【００８２】
ステップＳ１２において、記憶制御部４４は、保存指示があったか否かを判定する。
即ち、ユーザは、操作部１８を操作することによって、表示部１９に表示された合成画像のデータを保存するか否かの保存指示をすることができる。
このような保存指示があった場合には、ステップＳ１２においてＹＥＳであると判定されて、処理はステップＳ１３に進む。
保存の指示がない場合には、ステップＳ１２においてＮＯであると判定されて、処理はステップＳ１４に進む。
【００８３】
ステップＳ１３において、記憶制御部４４は、リムーバブルメディア３４に合成画像のデータを記録（保存）させる。
【００８４】
ステップＳ１４において、指標画像生成部５６は、生成指示があったか否かを判定する。即ち、ユーザは、操作部１８を操作することによって、指標画像のデータを生成するか否かの生成指示をすることができる。
このような生成指示があった場合には、ステップＳ１４においてＹＥＳであると判定されて、処理はステップＳ１５に進む。
これに対して、生成指示がなかった場合は、ステップＳ１４においてＮＯであると判定されて、ステップＳ１５の処理は実行されずに、即ち、指標画像のデータは生成されずに、指標画像表示処理は終了となる。
【００８５】
ステップＳ１５において、記憶制御部４４は、指標画像のデータを記憶部２０に記録（保存）させる。これにより、指標画像表示処理は終了となる。
【００８６】
以上のように構成される画像処理装置１は、画像取得部５１と、指標画像取得部５２と、指標画像選択部５３と、指標画像変換部５４と、画像合成部５５と、指標画像生成部５６と、主要被写体検出部４１と、情報取得部４２と、表示制御部４３と、記憶制御部４４と、表示部１９と、を備える。
画像取得部５１は、被写体を含む画像のデータを、原画像のデータとして取得する。
主要被写体検出部４１は、原画像のなかの主要被写体像を検出する。
情報取得部４２は、原画像のデータに基づいて、原画像に含まれる主要被写体の長さ等のデータを、主要被写体像の情報として取得する。
指標画像取得部５２は、主要被写体像の情報（主要被写体の長さのデータ）の所定範囲内の情報（長さ）をもつ物体の指標画像のデータを取得する。
指標画像選択部５３は、指標画像のデータのなかからユーザの所望する指標画像のデータを選択する。
指標画像変換部５４は、選択された指定指標画像のデータを原画像と同一の縮尺情報をもつ変換指標画像のデータに変換する。
画像合成部５５は、変換指標画像が原画像に重畳された合成画像を生成する。
表示制御部４３は、表示部１９に各種画像を表示するよう制御を行う。
記憶制御部４４は、指標画像のデータを記憶部２０に記憶するように制御し、合成画像のデータをリムーバブルメディア３４に記録するよう制御する。
表示部１９は、主要被写体の長さに基づいて、原画像とともに指標画像を表示する。
【００８７】
要するに、第１実施形態に係る画像処理装置１は、主要被写体の情報（長さ）を、原画像及び撮像条件に基づいて、自動的に計測し、計測された主要被写体の長さの所定範囲内の長さをもつ物体の指標画像を選択する。そして、画像処理装置１は、選択された指標画像のなかから、更にユーザにより選択された指標画像のデータを、原画像と同一縮尺情報となるように原画像のデータに重畳させるようにして、合成画像のデータを生成する。
したがって、長さを直感的に把握できる物体の指標画像を主要被写体像の傍らに表示させることができる。これにより、合成画像の鑑賞者は、主要被写体の長さを直感的に把握することができる。
そして、画像処理装置１は、主要被写体の長さを、フォーカスレンズの位置及び画角の情報に基づいて、主要被写体の長さを計測し、当該主要被写体の長さの所定範囲内の長さをもつ物体の指標画像を検索することが可能である。したがって、指定指標画像の候補画像を絞り込むことができるため、ユーザは、効率的に指標画像を指定できる。
【００８８】
更に、指標画像生成部５６は、原画像に含まれる主要被写体像を含む画像のデータを指標画像のデータとして生成する。
これにより、ユーザは、新たな指標画像を生成することができるので、次回以降の撮像時に今回新たに生成された指標画像を大きさの指標とすることができる。
【００８９】
［第２実施形態］
第１実施形態では、情報取得部４２により、フォーカスレンズのレンズアドレスから算出された被写体距離と主要被写体像の長さの情報に基づいて、主要被写体の長さ（実寸）が計測され、このデータが主要被写体像のデータとして取得された。しかし、情報取得部４２の主要被写体像の情報の取得手法、換言すると主要被写体の長さ（実寸）の計測手法は、特に第１実施形態の例に限定されない。
第１実施形態において説明したように、被写体距離Ｌがｆ・ｆ／（δ・Ｆ）の値をとる場合、分母が０となるので、後方被写界深度Ｌｒは無限大となる（式（２）参照）。これにより、一般に、フォーカスレンズ３１Ｆとイメージセンサ３２との距離ｂが一定値以下に達したときは、実用上、被写体距離Ｌが無限大までの被写体に合焦したものとして被写体距離は無限大として扱われる。したがって、被写体距離は、一定の距離以上になると、フォーカスレンズのレンズアドレス等から正確な値を測定することができないこととなる。
そこで、第２実施形態では、主要被写体の被写体距離を算定することができない場合であっても、主要被写体の大きさを表す情報（例えば、高さのデータ）を算定することができる手法について説明する。
【００９０】
以下、第１実施形態におけるハードウェア構成及び機能的構成と異なる部分を主として説明する。
図７は、第２実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。画像処理装置１は、例えばデジタルカメラにより構成することができる。
図７において、本実施形態における画像処理装置１は、第１実施形態における図１の構成に加え、ＧＰＳ受信機２３を備えている。
ＧＰＳ受信機２３は、ＧＰＳ衛星からの電波を受信することによって、画像処理装置１の位置情報を得ることができる。
【００９１】
図８は、図７の画像処理装置の機能的構成のうち、指標画像表示処理を実行するための機能的構成を示す機能ブロック図である。
ＧＰＳ受信機２３によって実現される位置情報取得部６１は、画像処理装置１の位置情報を取得する。そして、位置情報取得部６１は、情報取得部４２に位置情報を供給する。
情報取得部４２は、位置情報取得部６１から位置情報を取得する。
また、情報取得部４２は、記憶部２０から、建造物の画像、高さ、及び位置の情報が相互に関連付けられた情報（以下、「建造物情報」と呼ぶ）を取得する。
【００９２】
以下、図９を参照して、第２実施形態の画像処理装置１が実行する指標画像表示処理について説明する。
図９は、第２実施形態に係る指標画像表示処理の結果の具体例としての各画像を示す模式図である。
図９（Ａ）には、建造物１３１及びＳタワー１３２の被写体像を含む原画像１２１が示されている。また、図９（Ａ）では、Ｓタワー１３２の像の中央付近にフォーカス・エリアを示す枠ＦＷ６が示されている。つまり、フォーカスレンズは、Ｓタワー１３２の中央付近に合焦している。
【００９３】
主要被写体検出部４１は、フォーカス・エリアを示す枠ＦＷ６内又はフォーカス・エリアを含む所定範囲内の原画像のコントラストの勾配から、主要被写体像、即ち、Ｓタワー１３２の像を検出する。
この場合、表示制御部４３は、検出された主要被写体を特定可能なシンボル等を原画像１２１に重畳させて表示部１９に表示させる。具体的には例えば図９（Ａ）の例では、主要被写体像の枠ＣＷ６によって、Ｓタワー１３２が主要被写体であることが特定される。
【００９４】
図９（Ａ）において、フォーカスレンズとＳタワー１３２との距離を、式（２）に基づく被写体距離の算定手法により求めようとしても、被写体距離が無限大であるという情報しか得られず、正確な被写体距離が得られない。
【００９５】
本実施形態では、記憶部２０には、建造物情報が記憶されているものとする。
そして、情報取得部４２は、位置情報取得部６１から画像処理装置１の位置情報を取得する。次に、情報取得部４２内にある建造物情報取得部４２１は、当該位置を中心とする所定範囲内にある建造物情報を取得する。例えば、本実施形態においては、画像処理装置１の位置を中心とする半径５００ｍ以内の建造物情報を検索する。その結果、建造物１３１とＳタワー１３２等に対応する建造物情報が検索されたとする。
【００９６】
次に、情報取得部４２は、上記の検索された建造物情報に含まれる建造物の画像と主要被写体像とに基づき、画像認識技術等を用いて画像の類似度を算定する。この結果、情報取得部４２は、主要被写体像と一致又は最も類似する建造物の画像を、主要被写体の画像であると判断する。例えば、情報取得部４２は、位置情報取得部６１から画像処理装置１の位置情報を取得すると、当該位置情報の位置を中心に半径５００ｍ以内にある建造物情報の画像と主要被写体であるＳタワー１３２の画像とを比較する。そして、主要被写体像と建造物情報に含まれるＳタワー１３２の画像とが一致又は類似度が最も高いと判断されると、当該建造物情報をＳタワー１３２についての建造物情報であると特定する。
【００９７】
次に、情報取得部４２は、特定された建造物情報の高さのデータ、即ち、Ｓタワー１３２の高さのデータを、主要被写体像の情報として取得する。そして、情報取得部４２は、取得された建造物の高さのデータを、指標画像取得部５２に供給する。
【００９８】
指標画像取得部５２は、情報取得部４２から主要被写体像の情報（建造物のデータ）を取得するとともに、記憶部２０から指標画像のデータを取得する。
指標画像取得部５２は、主要被写体像の情報（建造物のデータ）及び指標画像のデータを指標画像選択部５３に供給する。
【００９９】
指標画像選択部５３は、主要被写体像の情報に近似する情報（主要被写体の高さの所定範囲内の高さ）の建造物の指標画像のデータを選択する。例えば本実施形態では、指標画像選択部５３は、主要被写体の高さの１．２倍以下の範囲内の高さの建造物の指標画像のデータを選択するものとする。したがって、指標画像選択部５３は、高さが１２ｍである大仏を示す指標画像Ｃ４及び高さが３３３ｍであるＴタワーを示す指標画像Ｃ５の各データを、指定指標画像の候補画像のデータとして選択する。
【０１００】
次に、指標画像選択部５３は、表示制御部４３を介して表示部１９に、指標画像選択画面を原画像１２１に重畳させた画像を表示させる。
図９（Ｂ）は、指標画像選択画面ＫＷ２内に、指定指標画像の候補画像が表示されていることを示している。指標画像選択画面ＫＷ２内には、指標画像選択部５３により決定された指定指標画像の候補画像、即ち、指標画像Ｃ４及びＣ５が、上方から下方に向かって、指標画像の示す物体の高さの高い順に表示されている。
したがって、ユーザは、指標画像選択画面ＫＷ２内の指標画像が示す建造物の高さの大小関係を容易に把握することができる。
【０１０１】
更に、指定指標画像の候補の画像の横にはスケールＳＬ２が表示される。指示線ＣＬ４、ＣＬ５は、指標画像Ｃ４、Ｃ５がそれぞれ示す建造物の高さに相当する目盛りを示している。即ち、指示線ＣＬ４、ＣＬ５は、指標画像Ｃ４、Ｃ５の示す建造物が、それぞれ１２ｍ、３３３ｍであることを示している。ユーザは、これらの指示線の示す目盛りを読み取ることにより、指標画像の示す建造物の高さを数値として把握することができる。
更に、指標画像選択画面ＫＷ２内では、矢印ＡＲ２が、Ｓタワー１３２の高さ６３４ｍに相当するスケールＳＬ２の目盛りを指し示している。
ユーザは、操作部１８の操作により、指標画像選択画面ＫＷ２内の指定指標画像の候補画像のなかから少なくとも１つの指標画像を指定する。これに対応して、画像合成部５５は、指定指標画像のデータを原画像と同一の縮尺情報の変換指標画像のデータに変換する。
【０１０２】
図９（Ｃ）は、Ｔタワーを示す変換指標画像Ｄ５の像が原画像と合成された合成画像１４１を示している。ユーザがＴタワーを示す変換指標画像Ｄ５の像を指定し、Ｓタワー１３２の横を指定位置に決定すると、Ｓタワー１３２の像の横にＴタワーを示す変換指標画像Ｄ５が重畳して表示される。
図９（Ｃ）に示す例では、合成画像の鑑賞者は、合成画像１４１のＳタワー１３２の像とＴタワーの変換指標画像Ｄ５とを比較して、Ｓタワー１３２がＴタワーの２倍近く高いことを直感的に把握することができる。
【０１０３】
要するに、第２実施形態に係る画像処理装置１は、主要被写体像の情報（主要被写体の高さのデータ）を、ＧＰＳ受信機２３が受信する位置情報に基づき、建造物の画像、高さ、及び位置の情報（建造物情報）から取得する。そして、画像処理装置１は、取得された主要被写体像の情報に近似する情報（主要被写体の高さ）のデータに基づいて、指標画像のデータを選択する。選択された指標画像は、指定指標画像の候補として選択表示画面に表示される。ユーザは、操作部１８の操作により、指標画像を指定する。そして、指定された指標画像のデータは原画像と同一の縮尺情報の変換指標画像のデータに変換され、その結果として表示部１９には変換指標画像が原画像に重畳して表示される。
したがって、主要被写体が、焦点距離が無限大とみなされる距離に位置し、正確な被写体距離が得られない場合であっても、第２実施形態の画像処理装置１によれば、大きさの指標となる指標画像が原画像に重畳して表示される合成画像を生成することができる。
したがって、長さを直感的に把握できる建造物の指標画像を主要被写体像の傍らに表示させることができる。これにより、合成画像の鑑賞者は、主要被写体の高さを直感的に把握することができる。
そして、画像処理装置１は、主要被写体の高さに対して所定範囲内の高さをもつ建造物の指標画像を検索することが可能であるので、指定指標画像の候補画像を絞り込むことができる。このため、ユーザは、効率的に指標画像を指定できる。
【０１０４】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【０１０５】
即ち、本発明が適用される画像処理装置は、上記実施形態に特に限定されず、次のような構成を有するように各種各様の実施形態を取ることができる。
即ち、画像処理装置は、
画像を取得する取得手段と、
前記取得手段により取得された画像に含まれる被写体像の情報を取得する情報取得手段と、
前記情報取得手段により取得された情報に基づいて、前記被写体像に対応する指標画像を選択する選択手段と、
前記情報取得手段により取得された情報と、前記選択手段により選択された指標画像の情報とに基づいて、前記指標画像を変換する変換手段と、
前記画像と、前記変換手段により変換された前記指標画像とを合成する合成手段と、
を備えるように構成することができる。
このような構成を有する画像処理装置では、被写体を含む画像に対して、被写体の情報に基づいて変換された指標画像が合成された合成画像の表示が可能になる。
ユーザは、当該合成画像をみることで、被写体の情報を直感的に把握することができる。
【０１０６】
更に、画像処理装置は、
前記情報取得手段により取得された情報に基づいて、前記被写体像に対応する複数の候補画像を表示させる表示制御手段を更に備え、
前記選択手段は、前記表示制御手段により表示された複数の候補画像から、ユーザ操作により前記指標画像を選択する、
ように構成することもできる。
これにより、ユーザは、所望の指標画像を自在に選択する操作を容易に行うことができる。即ち、ユーザは、指標画像を絞り込むことができるため、効率的に所望の指標画像を指定できる。
【０１０７】
更に、画像処理装置においては、
前記情報取得手段は、前記画像に基づいて、前記被写体像の大ききの情報を取得し、
前記表示制御手段は、前記被写体像の大きさの情報に基づいて、複数の候補画像を表示させ、
前記変換手段は、前記被写体像の大きさの情報と、前記指標画像の大きさの比に応じて、前記指標画像の大きさを変換し、
前記合成手段は、前記画像と、前記変換手段により大きさが変換された指標画像とを合成する、
ように構成することもできる。
これにより、ユーザは、被写体像の情報として、特に大きさを直感的に把握することができる。
【０１０８】
更に、画像処理装置は、
フォーカスレンズを用いて前記被写体像に合焦する合焦手段を更に備え、
前記情報取得手段は、前記合焦手段による被写体像の合焦時の前記フォーカスレンズの位置及び画角の情報に基づいて、前記被写体像の大きさの情報を取得する、
ように構成することができる。
これにより、従来から存在するＡＦ処理を流用して、被写体像の大きさの情報を取得できるので、簡素な構成でかつ容易に画像処理装置を実現できる。
【０１０９】
更に、画像処理装置においては、
前記表示制御手段は、前記複数の候補画像の大小関係に基づいた順序で当該候補画像を表示させ、
前記選択手段は、前記表示制御手段により大小関係に基づいた順序で表示された複数の候補画像から、ユーザ操作により指標画像を選択する、
ように構成することができる。
これにより、ユーザは、複数の指標画像が示す物体（建造物等）の高さの大小関係を容易に把握することができ、その結果、所望の指標画像を容易かつ効率的に選択することができる。
【０１１０】
更に、画像処理装置は、
前記被写体像を含む前記画像のデータに基づいて、前記指標画像のデータを生成する指標画像生成手段、
を備えるように構成することができる。
これにより、画像に含まれる被写体像にとって適切な指標画像のデータが生成される。ユーザは、このような指標画像を含む合成画像をみることで、被写体の情報をより直感的に把握することができる。
また、被写体像を含む画像のデータに基づいて、生成される指標画像のデータを、次回の撮像時において、指標画像のデータとして用いることができる。
【０１１１】
更に、画像処理装置は、
位置情報を取得する位置情報取得手段と、
建造物の画像、高さ及び位置のデータが相互に対応付けられた建造物情報を取得する建造物情報取得手段と、
を更に備え、
前記情報取得手段は、前記位置情報取得手段により取得された前記位置情報と前記建造物情報取得手段により取得された前記建造物情報とに基づいて、前記取得手段により取得された前記被写体像に係る前記被写体の大きさを表す情報を取得する、
ように構成することができる。
これにより、特に被写体像として建造物と比較できるようなものが含まれている場合、ユーザは、被写体像の情報として、特に大きさを直感的に把握することができる。
【０１１２】
上記実施形態においては、指標画像により表現される主要被写体の情報は、高さが使用されたが、特にこれに限定されない。例えば、主被写体像の情報としては、重さを使用してもよい。
【０１１３】
また、上記実施形態においては、ＧＰＳ受信機２３から得られる位置情報を中心とした所定範囲内の建造物の高さのデータを検索した。この際、例えば、更にジャイロセンサ或いは地磁気センサから撮像方向の情報を求め、当該方向に限定した範囲において、主要被写体の高さのデータを検索することも可能である。
【０１１４】
更に、上記実施形態においては、建造物情報を記憶部２０に記憶しているが、通信部２１を介して、インターネットを含むネットワーク上から建造物情報を取得してもよい。この場合、記憶部２０に記憶されていない建造物情報の建造物を撮像する際に、インターネットを介してＷｅｂサイト等から建造物情報を取得することが可能となる。
【０１１５】
上述の第１実施形態及び第２実施形態では、本発明が適用される電子装置は、デジタルカメラ等の画像処理装置１を例として説明したが、特にこれに限定されない。本発明は、上述の指標画像表示処理を実行可能な電子機器一般に適用することができる。具体的には、例えば、本発明は、ビデオカメラ、撮像装置付きの携帯電話装置等に適用可能である。
【０１１６】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。また例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。換言すると、図２及び図８の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２及び図８の例に限定されない。また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【０１１７】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【０１１８】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される外部メモリにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。外部メモリは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１及び図７のＲＯＭ１２や、図１及び図７の記憶部２０に含まれるハードディスク等で構成される。
【０１１９】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【０１２０】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
画像を取得する取得手段と、
前記取得手段により取得された画像に含まれる被写体像の情報を取得する情報取得手段と、
前記情報取得手段により取得された情報に基づいて、前記被写体像に対応する指標画像を選択する選択手段と、
前記情報取得手段により取得された情報と、前記選択手段により選択された指標画像の情報とに基づいて、前記指標画像を変換する変換手段と、
前記画像と、前記変換手段により変換された前記指標画像とを合成する合成手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記情報取得手段により取得された情報に基づいて、前記被写体像に対応する複数の候補画像を表示させる表示制御手段を更に備え、
前記選択手段は、前記表示制御手段により表示された複数の候補画像から、ユーザ操作により前記指標画像を選択する、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記情報取得手段は、前記画像に基づいて、前記被写体像の大ききの情報を取得し、
前記表示制御手段は、前記被写体像の大きさの情報に基づいて、複数の候補画像を表示させ、
前記変換手段は、前記被写体像の大きさの情報と、前記指標画像の大きさの比に応じて、前記指標画像の大きさを変換し、
前記合成手段は、前記画像と、前記変換手段により大きさが変換された指標画像とを合成する
ことを特徴とする付記２記載の画像処理装置。
［付記４］
フォーカスレンズを用いて前記被写体像に合焦する合焦手段を更に備え、
前記情報取得手段は、前記合焦手段による前記被写体像の合焦時の前記フォーカスレンズの位置及び画角の情報に基づいて、前記被写体像の大きさの情報を取得する、
ことを特徴とする付記３記載の画像処理装置。
［付記５］
前記表示制御手段は、前記複数の候補画像の大小関係に基づいた順序で当該候補画像を表示させ、
前記選択手段は、前記表示制御手段により大小関係に基づいた順序で表示された複数の候補画像から、ユーザ操作により指標画像を選択する、
ことを特徴とする付記３又は４記載の画像処理装置。
［付記６］
前記被写体像を含む前記画像のデータに基づいて、前記指標画像のデータを生成する指標画像生成手段、
を備えたことを特徴とする付記１から４のいずれか１つに記載の画像処理装置。
［付記７］
位置情報を取得する位置情報取得手段と、
建造物の画像、高さ及び位置のデータが相互に対応付けられた建造物情報を取得する建造物情報取得手段と、
を更に備え、
前記情報取得手段は、前記位置情報取得手段により取得された前記位置情報と前記建造物情報取得手段により取得された前記建造物情報とに基づいて、前記取得手段により取得された前記被写体像に係る被写体の大きさを表す情報を取得する、
ことを特徴とする付記１記載の画像処理装置。
［付記８］
画像処理装置が実行する画像処理方法において、
画像を取得する取得ステップと、
前記取得ステップの処理により取得された前記画像に含まれる被写体像の情報を取得する情報取得ステップと、
前記情報取得ステップの処理により取得された情報に基づいて、前記被写体像に対応する指標画像を選択する選択ステップと、
前記情報取得ステップの処理により取得された前記被写体像の情報と、前記選択ステップの処理により選択された指標画像の情報とに基づいて、前記指標画像を変換する変換ステップと、
前記画像と、前記変換ステップの処理により変換された前記指標画像とを合成する合成ステップと、
を含む画像処理方法。
［付記９］
コンピュータを、
画像を取得する取得手段、
前記取得手段により取得された前記画像に含まれる被写体像の情報を取得する情報取得手段、
前記情報取得手段により取得された情報に基づいて、前記被写体像に対応する指標画像を選択する選択手段、
前記情報取得手段により取得された情報と、前記選択手段により選択された指標画像の情報とに基づいて、前記指標画像を変換する変換手段、
前記画像と、前記変換手段により変換された指標画像とを合成する合成手段、
として機能させるプログラム。
【符号の説明】
【０１２１】
１・・・画像処理装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・ＤＳＰ、記憶制御部、１５・・・バス、１６・・・入出力インターフェース、１７・・・撮像部、１８・・・操作部、１９・・・表示部、２０・・・記憶部、２１・・・通信部、２２・・・ドライブ、２３・・・ＧＰＳ受信機、３１・・・レンズ光学部、３２・・・イメージセンサ、３３・・・レンズ駆動部、３４・・・リムーバブルメディア、４１・・・主要被写体検出部、４２・・・情報取得部、４３・・・表示制御部、４４・・・記憶制御部、５１・・・画像取得部、５２・・・指標画像取得部、５３・・・指標画像選択部、５４・・・指標画像変換部、５５・・・画像合成部、５６・・・指標画像生成部、６１・・・位置情報取得部、４２１・・・建造物情報取得部
【図１】
2013197894.tif 000006
【図２】
2013197894.tif 000007
【図３】
2013197894.tif 000008
【図４】
2013197894.tif 000009
【図５】
2013197894.tif 000010
【図６】
2013197894.tif 000011
【図７】
2013197894.tif 000012
【図８】
2013197894.tif 000013
【図９】
2013197894.tif 000014