(57)【要約】      （修正有）【課題】被写体の関連情報を見やすく合成する画像処理装置、方法及びプログラム並びに記録媒体を提供する。【解決手段】顔検出部１４０及び顔認識部１４２が画像に含まれる被写体（人物）を特定する。ＣＰＵ１４８は、被写体ごとに手前側に表示すべき文字データと奥側に表示すべき画像データを記憶する重畳画像管理テーブルを参照して、入力画像に含まれる被写体のうち、重畳画像管理テーブルに登録された被写体であって最も手前に位置する被写体のデータを検索する。レイヤ生成部１４６は、入力画像の、最も手前に位置する被写体より手前に最手前レイヤを生成し、最も奥に位置する被写体よりも奥に最奥レイヤを生成する。ＣＰＵ１４８は、重畳画像管理テーブルに登録された被写体であって最も手前に位置する被写体の文字データを最手前レイヤに配置し、画像データを最奥レイヤに配置するようにＯＳＤ部１２８を制御する。【選択図】図１
2016036081.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に含まれる被写体を検出する被写体検出手段と、
前記被写体の奥行きを検出する奥行き検出手段と、
被写体毎に、手前側に表示すべき関連データと奥側に表示すべき関連データを記憶する関連データ管理テーブルと、
前記関連データ管理テーブルを参照し、前記入力画像に含まれる被写体のうち、前記関連データ管理テーブルに登録された被写体であって最も手前に位置する被写体の関連データを検索する検索手段と、
前記入力画像の、最も手前に位置する被写体より手前に最手前レイヤを生成し、最も奥に位置する被写体よりも奥に最奥レイヤを生成するレイヤ生成手段と、
前記検索手段で検索される被写体の、前記手前側に表示すべき関連データを前記最手前レイヤに配置し、前記奥側に表示すべき関連データを前記最奥レイヤに配置する手段
とを有することを特徴とする画像処理装置。
【請求項２】
前記手前側に表示すべき関連データが関連する被写体を説明するテキストデータであり、前記奥側に表示すべき関連データが関連する被写体を示す画像データであることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
入力画像に含まれる被写体を検出する被写体検出ステップと、
前記被写体の奥行きを検出する奥行き検出ステップと、
被写体毎に、手前側に表示すべき関連データと奥側に表示すべき関連データを記憶する関連データ管理テーブルを参照し、前記入力画像に含まれる被写体のうち、前記関連データ管理テーブルに登録された被写体であって最も手前に位置する被写体の関連データを検索する検索ステップと、
前記入力画像の、最も手前に位置する被写体より手前に最手前レイヤを生成し、最も奥に位置する被写体よりも奥に最奥レイヤを生成するレイヤ生成ステップと、
前記検索ステップで検索される被写体の、前記手前側に表示すべき関連データを前記最手前レイヤに配置し、前記奥側に表示すべき関連データを前記最奥レイヤに配置するステップ
とを有することを特徴とする画像処理方法。
【請求項４】
請求項１に記載される画像処理装置の各手段としてコンピュータを機能させるための画像処理プログラム。
【請求項５】
請求項４に記載される画像処理プログラムを格納した、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、方法及びプログラムに関し、より具体的には、画像に含まれる被写体に関する情報を動画像に重畳する画像処理装置、方法及びプログラム並びに記録媒体に関する。
【背景技術】
【０００２】
近年、撮影した被写体を立体的に表示することが可能なカメラが製品化されている。被写体の奥行き情報を取得して、右目用の画像と左目用の画像に適切な視差を付加することで、立体表示を実現している。また、立体映像の所望の奥行きにレイヤを生成してアニメーションを重畳する技術も知られている。
【０００３】
特許文献１には、記録された立体画像から注目位置の奥行きを取得し、取得した奥行きに基づいて、テロップ等を重畳するシステムが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−０１０１２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載される技術では、注目位置が複数設定された場合に、複数のテロップ表示を行うことになり、表示が見難くなるという課題がある。また、注目位置が複数設定された状況で奥行き方向への入れ替わりが頻繁に発生すると、テロップ表示が見難くなってしまう。
【０００６】
注目する被写体の手前側と奥側に、当該被写体に関する情報を効果的に表示したいとする要望があるが、特許文献１に記載の技術では、この要望に応じることができない。
【０００７】
本発明は、このような要望に応える画像処理装置、方法及びプログラム並びに記録媒体を提示することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理装置は、入力画像に含まれる被写体を検出する被写体検出手段と、前記被写体の奥行きを検出する奥行き検出手段と、被写体毎に、手前側に表示すべき関連データと奥側に表示すべき関連データを記憶する関連データ管理テーブルと、前記関連データ管理テーブルを参照し、前記入力画像に含まれる被写体のうち、前記関連データ管理テーブルに登録された被写体であって最も手前に位置する被写体の関連データを検索する検索手段と、前記入力画像の、最も手前に位置する被写体より手前に最手前レイヤを生成し、最も奥に位置する被写体よりも奥に最奥レイヤを生成するレイヤ生成手段と、前記検索手段で検索される被写体の、前記手前側に表示すべき関連データを前記最手前レイヤに配置し、前記奥側に表示すべき関連データを前記最奥レイヤに配置する手段とを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、一番手前の被写体に関連したデータを最手前レイヤと最奥レイヤにそれぞれ配置するので、被写体が奥行き方向に入れ替わった場合においても、被写体に応じたデータを付加できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施例の概略構成ブロック図である。
【図２】本実施例におけるレイヤ配置の説明図である。
【図３】本実施例における重畳画像管理テーブルの一例である。
【図４】重畳画像管理テーブルへの登録手順の動作フローチャートである。
【図５】カメラから被写体までの距離関係の説明図である。
【図６】本実施例における撮影時の動作フローチャートである。
【図７】本実施例における表示例である。
【図８】撮影時の別の動作フローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１２】
図１は、本発明に係る画像処理装置の一実施例を装備する撮像装置の概略構成ブロック図を示す。
【００１３】
撮像装置１００のレンズユニット１０２は、集光のための固定レンズ群、変倍レンズ群、絞り、及び変倍レンズ群の動きで移動した結像位置を補正する機能と焦点調節を行なう機能とを兼ね備えた補正レンズ群により構成されている。レンズユニット１０２によって、撮像素子１０４の結像面上に被写体像が結像される。撮像素子１０４は例えば、ＣＣＤ（Charge Coupled Device）撮像素子からなり、光強度を電荷に変換することで、被写体像を表現する画像信号を生成する。Ａ／Ｄ処理部１０６は、撮像素子１０４の出力画像信号に所定の処理を施し、デジタル画像信号を出力する。レンズユニット１０２、撮像素子１０４及びＡ／Ｄ処理部１０６を総じて、カメラユニット１０８と称する。また、図１には図示していないが、カメラユニット１０８は、変倍レンズ群及び絞りなどを駆動するアクチュエータ、並びに、手ぶれ補正のためのセンサ（例えば角速度センサ）とその補正手段（シフトレンズなど）を備える。
【００１４】
カメラ制御ＣＰＵ（Central Processing Unit）１１０は、ＣＰＵ１４８の制御に従いカメラユニット１０８を制御する。また、カメラ制御ＣＰＵ１１０は、例えば合焦情報及び手ぶれ情報などのカメラユニットから得られる情報をＣＰＵ１４８に伝達する。
【００１５】
マイクユニット１１２は、撮影時に周囲の音声を取り込む音声入力手段であり、入力音声を増幅する増幅器と、帯域制限する帯域制限フィルタを含む。Ａ／Ｄ処理部１１４は、マイクユニット１１２の出力音声信号をデジタル音声信号に変換する。
【００１６】
エンコーダ１１６は、ＣＰＵ１４８の制御に従い、カメラユニット１０８からの画像データとＡ／Ｄ処理部１１４からの音声データを圧縮符号化し、所定形式の圧縮日データを生成する。圧縮方式として、ＭＰＥＧ（Moving Picture Experts Group）２方式及びその他の動画圧縮方式を利用可能である。エンコーダ１１６は、データ位置とフレーム位置の変換に必要となる情報などをＣＰＵ１４８に通知する機能を備える。
【００１７】
記録再生回路１１８は、エンコーダ１１６からの圧縮ビデオデータを、メモリ１２０を使ってメモリカード１２２に記録し、メモリカード１２２に記録される圧縮ビデオデータを読み出してデコーダ１２４に供給する。ＣＰＵ１４８は、記録再生回路１１８の記録再生動作を制御する。メモリカード１２２は、撮影した動画（音声を含む）を記録する記録媒体であり、所定のインターフェースを介して記録再生回路１１８に接続する。記録再生回路１１８は、メモリ１２０の先頭アドレスとデータ量及びメモリカード１２２のデータ書込み先の先頭アドレスを指定し、ＤＭＡ（Direct Memory Access）機能でメモリ１２０からメモリカード１２２にデータを転送する。
【００１８】
デコーダ１２４は、記録再生回路１１８からの圧縮動画データを復号化する。デコーダ１２４は復号化で得られた音声データ及び映像データをそれぞれ音声出力部１２６及びＯＳＤ（On Screen Display）回路１２８に供給する。映像データは、例えばＩＴＵ−Ｒ  ＢＴ．６５６（ＣＣＩＲ６５６）等に準拠する。ＯＳＤ回路１２８は、詳細は後述するが、デコーダ１２４からの映像データを取り込み、所望のサイズに縮小した上で、各種設定を行なうためのメニュー画面、タイトル及び時間などの情報を指定の位置に重畳する。ＯＳＤ回路１２８は、重畳結果の映像データを映像出力部１３０に供給する。音声出力部１２６には例えば、スピーカが出力し、映像出力部１３０には映像表示装置が接続する。
【００１９】
電子ビューファインダ（ＥＶＦ：Electronic View Finder）１３２は、撮影者がカメラユニット１０８の視野内の被写体を確認するためのものであり、カメラユニット１０８から一定周期で出力される画像を表示する。
【００２０】
液晶パネル１３４は、ＥＶＦ１３２よりも大きな表示画面を具備し、ビューファインダとしてだけではなく、ＯＳＤ回路１２８の出力画像の表示にも使用される。液晶パネル１３４の表示画面にはタッチパネル１３６が配置される。液晶パネル１３４は、サムネイル画像や仮想ボタン等の被操作要素を表示し、ユーザが、タッチパネル１３６によりそれらを選択又は操作できる。画面制御部１３８が、タッチパネル１３６に対するユーザ操作の有無と、被操作要素への操作かどうかを判断し、操作位置座標を含む操作内容を示す情報をＣＰＵ１４８に供給する。なお、画面制御部１３８は、タッチパネル１３６に対する操作内容に応じて、液晶パネル１３４に表示される仮想ボタンを制御することもできる。
【００２１】
顔検出部１４０は被写体検出手段として機能し、カメラユニット１０８（撮像素子１０４）で撮像した画像データに顔検出処理を行って、画像内に含まれる人物の顔領域を検出する。この顔検出処理は公知のアルゴリズムによって行われる。例えば、顔検出部１４０は、公知の特徴点を抽出する処理によって、画像データから目、鼻及び口の各端点並びに顔の輪郭点等の特徴点を画像から抽出し、これらの特徴点に基づいて被写体の顔領域と顔の大きさを検出する。
【００２２】
顔認識部１４２は、顔検出部１４０の検出結果に基づいて、認証対象となる顔の特徴を示す顔認証データを生成する。例えば、顔認識部１４２は、検出された顔の特徴点の位置及び特徴点から求まる顔パーツの大きさ及び各特徴点の相対距離などから顔認証データを生成する。
【００２３】
奥行き検出部１４４は、撮像装置１００から被写体までの距離を検出する。例えば、ステレオカメラによる２つの視差の異なる画像を使って個々の被写体及び各被写体の複数の点について、撮像装置１００からの距離を算出できる。本実施例でも、そのような公知の検出方法を採用する。
【００２４】
レイヤ生成部１４６は、所定の奥行きに相当する位置に、文字及びアイコンなどを配置可能なレイヤを生成する。レイヤ生成方法は、後述する。
【００２５】
ＣＰＵ１４８は、撮像装置１００の全体を制御する。ＣＰＵ１４８は、プログラムを格納する不揮発性メモリ（ＲＯＭ）、作業領域となる揮発性メモリ（ＲＡＭ）、時間を計測するタイマ、及び外部とデータを受け渡しするポート又はインターフェースを具備する。ＥＥＰＲＯＭ１５０には、ＣＰＵ１４８上で動作する制御プログラムと、メモリカード１２２のファイルシステムを扱うプログラムを含む種々のプログラムと、動作に必要な定数が格納されている。
【００２６】
スイッチ操作部１５２は、種々のスイッチ及びボタンからなり、ユーザの操作に応じた信号をＣＰＵ１４８に供給する。スイッチ操作部１５２及びタッチパネル１３６により、ユーザは所望の動作をＣＰＵ１４８に指示できる。
【００２７】
ＣＰＵ１４８を含む上述の各ブロックは、バス１５４を介してデータを授受できる。
【００２８】
図２を参照して、レイヤ生成部１４６で生成するレイヤを説明する。図２（ａ）は、カメラユニット１０８の撮影視野内の画像（液晶パネル１３４の表示画像）の例を示し、図２（ｂ）は撮像装置１００からの距離を示す平面図を示す。
【００２９】
図２（ａ）に示す例では、背景２０２の手前側に被写体（人物）２０４が位置し、被写体２０４の前に、後述する処理より、被写体２０４の氏名を示すテロップ２０６が重畳して表示される。背景２０２として星又は星空が例示されている。
【００３０】
図２（ａ）に示す例に対して、レイヤ生成部１４６が、背景レイヤ２１２、被写体レイヤ２１４及びテロップレイヤ２１６を、図２（ｂ）に示すように、遠方から撮像装置１００に近い位置に順に位置するように生成する。背景レイヤ２１２に背景２０２が位置し、被写体レイヤ２１４に被写体２０４が位置し、テロップレイヤ２１６にテロップ２０６が位置する。テロップ２０６は、テロップレイヤ２１６上をスクロールするアニメーションが可能である。
【００３１】
図３は、重畳する画像を管理する重畳画像管理テーブルの一例を示す。ＣＰＵ１４８が、被写体ごとに手前側に表示すべき関連データと奥側に表示すべき関連データを記憶する関連データ管理テーブルとして、この重畳画像管理テーブルを保持する。重畳画像管理テーブルは、被写体毎にその前側（至近側）に位置するレイヤ（前レイヤ）と後側（遠方側）に位置する後レイヤ生成可能である。図３に示す例では、前レイヤには、テキストデータ（例えば、被写体の名前）が設定され、後レイヤには画像データが設定される。図２（ｂ）に示すテロップレイヤ２１６が被写体２０４に対する前レイヤであり、背景レイヤ２１２が被写体２０４に対する後レイヤである。
【００３２】
図４は、重畳画像管理テーブルを作成する動作例のフローチャートを示す。図５に示す例を参照しつつ、本実施例における重畳画像管理テーブルの作成手順を説明する。説明例として、図５（ａ）に示すように、５人の被写体（人物）が撮像装置１００の前方向に位置する状況を想定する。
【００３３】
Ｓ４０１において、ＣＰＵ１４８は、顔検出部１４０に撮像画像から人物の顔を検出させ、顔認識部１４２に検出された顔を認識させる。図５に示す例では、例えば、最も手前の被写体Ａの顔が検出され、認識される。ＣＰＵ１４８は、誰かの顔が検出認識されると（Ｓ４０１）、Ｓ４０２に進み、誰の顔も検出されない場合（Ｓ４０１）、図５に示すフローを終了する。
【００３４】
Ｓ４０２において、ＣＰＵ１４８は、検出及び認識された被写体について、重畳画像管理テーブルに登録済みかどうかを調べる。登録済みの場合（Ｓ４０２）、ＣＰＵ１４８は、Ｓ４０１に戻り、顔検出部１４０に次の被写体の顔を検出させ、顔認識部１４２に検出された顔を認識させる。この段階で、例えば、被写体Ｂの顔が検出・認識される。
【００３５】
検出・認識された被写体が重畳画像管理テーブルに未登録の場合（Ｓ４０２）、ＣＰＵ１４８は、Ｓ４０３において、この被写体のエントリを重畳画像管理テーブルに追加し、その前レイヤと後レイヤに当該被写体に重畳すべきテキストと画像をそれぞれ設定する。本実施例では、ＣＰＵ１４８は、対応する被写体の名前をユーザに入力させ、入力文字列を前レイヤに設定し、スクロール等のアニメーションを可能とする。ＣＰＵ１４８は、後レイヤには、同じ被写体の現在の撮像画像及び過去に撮影した記録画像から任意にユーザに選択させて、登録する。
【００３６】
図５（ａ）に示す例では、以上の処理を被写体Ｂ，Ｃ，Ｄについても繰り返すことになる。これにより、被写体Ａ，Ｂ，Ｃ，Ｄについての重畳画像管理テーブルが用意される。別途、コンピュータ上で作成した重畳画像管理テーブルを撮像装置１００に転送しても良いことはいうまでもない。
【００３７】
図６は、本実施例の撮影モードでのデータ重畳処理のフローチャートを示す。図６を参照し、図５に示す例に基づいて、本実施例の記録時でのレイヤ処理を説明する。
【００３８】
Ｓ６０１において、ＣＰＵ１４８は、記録すべき撮像画像から顔検出部１４０に人物の顔を検出させ、顔認識部１４２に検出された顔を認識させる。図５（ａ）に示す例では、被写体Ａ，Ｂ，Ｃ，Ｄが検出され、認識される。ＣＰＵ１４８は、誰かの顔が検出認識されると（Ｓ６０１）、Ｓ６０２に進み、誰の顔も検出されない場合（Ｓ６０１）、図６に示すフローを終了する。
【００３９】
Ｓ６０２で、ＣＰＵ１４８は、奥行き検出部１４４を使用して、撮像装置１００から見て最も手前に位置する被写体と最も遠方に位置する被写体を検出する。図５（ａ）に示す例では、被写体Ａが最も手前に位置し、被写体Ｄが最も遠方に位置する。
【００４０】
Ｓ６０３で、ＣＰＵ１４８は、最も手前にいる被写体（ここでは被写体Ａ）が重畳画像管理テーブルに登録済みかどうかを判断する。たとえば、被写体Ａを重畳画像管理テーブルで検索する。最も手前に位置する被写体が重畳画像管理テーブルに未登録の場合（Ｓ６０３）、ＣＰＵ１４８は、Ｓ６０１に戻る。最も手前に位置する被写体が重畳画像管理テーブルに登録済みの場合（Ｓ６０３）、ＣＰＵ１４８は、Ｓ６０４において、当該被写体の前レイヤ及び後レイヤのデータを選択する。図５（ａ）に示す例では、重畳画像管理テーブルの被写体Ａに関するレコードを参照し、ＣＰＵ１４８は、テキストＡと画像Ａを選択する。
【００４１】
Ｓ６０５で、ＣＰＵ１４８は、Ｓ６０４で選択した前レイヤ及び後レイヤのデータを、それぞれ撮像画像の最手前レイヤ及び最奥レイヤに設定し、Ｓ６０１に戻る。最手前レイヤは、最も手前に位置する被写体の前レイヤであり、最奥レイヤは、最も遠方に位置する被写体の後レイヤである。ＣＰＵ１４８は、ＯＳＤ回路１２８に各レイヤへのデータの配置と合成を実行させる。
【００４２】
奥行き方向に被写体が入れ替わった場合には、ＣＰＵ１４８は、Ｓ６０２で最も手前にいる被写体を検出し、当該被写体に設定されたテキスト及び画像をそれぞれ最手前レイヤ及び最奥レイヤに設定することになる。図５（ａ）に示す例では、最も手前に位置すると検出された被写体が被写体Ａであるので、被写体Ａに対する前レイヤにテキストＡが設定され、最も遠方に位置する被写体Ｄの後レイヤに画像Ａが設定される。
【００４３】
以上のように、最も手前に位置する被写体に関連する情報を、最も手前に位置する被写体の前レイヤと最も遠方に位置する被写体の後レイヤに重畳する。これにより、カメラユニット１０８から出力される画像にユーザが所望の情報を重畳して記録でき、映像出力部１３０から外部に出力できる。記録済みの動画をメモリカード１２２から読み出し、同様の処理を施して、メモリカード１２２に記録しても良いし、映像出力部１３０から外部に出力してもよい。
【００４４】
図７は、本実施例による関連情報（テロップ／画像）の重畳処理結果の表示例を示す。図７（ａ）は、被写体Ａが一番手前にいる場合の表示例を示し、図７（ｂ）は、図７（ａ）に示す状態から被写体Ｃが一番手前に移動した状態の表示例を示す。
【００４５】
図７（ａ）に示す表示例では、被写体Ａに関連した前レイヤの情報（テロップＡ）７０１が被写体Ａの手前側に表示され、被写体Ａに関連した後レイヤの情報（画像Ａ）７０２が最も遠方に位置する被写体Ｄの後側に重畳される。画像Ａは、ここでは、重畳画像管理テーブルに登録された被写体Ａの撮影済み顔画像である。
【００４６】
図７（ｂ）に示す表示例では、被写体Ｃが最も手前に位置する。従って、被写体Ｃに関連した前レイヤの情報（テロップＣ）７０３が被写体Ｃの手前側に表示され、被写体Ｃに関連した後レイヤの情報（画像Ｃ）７０４が、最も遠方に位置する被写体Ｄの後側に重畳される。画像Ｃは、ここでは、重畳画像管理テーブルに登録された被写体Ｃの撮影済み顔画像である。
【実施例２】
【００４７】
図８は、重畳画像テーブルに未登録な被写体が最も手前に検出された場合の、撮影モードにおけるレイヤへのデータ重畳処理のフローチャートを示す。図５（ｂ）に示すように、未登録の被写体Ｅが撮像装置１００の撮像視野内で撮像装置１００に最も近い距離に位置するようなケースである。図５（ｂ）では、被写体Ｅより遠くに被写体Ａ，Ｃ，Ｄが位置する。
【００４８】
Ｓ８０１において、ＣＰＵ１４８は、記録すべき撮像画像から顔検出部１４０に人物の顔を検出させ、顔認識部１４２に検出された顔を認識させる。図５（ｂ）に示す例では、撮像装置１００に近い順に被写体Ｅ，Ａ，Ｃ，Ｄが検出され、認識される。ＣＰＵ１４８は、誰かの顔が検出認識されると（Ｓ８０１）、Ｓ８０２に進み、誰の顔も検出されない場合（Ｓ８０１）、図８に示すフローを終了する。
【００４９】
Ｓ８０２で、ＣＰＵ１４８は、奥行き検出部１４４を使用して、撮像装置１００から見て最も手前に位置する被写体と最も遠方に位置する被写体を検出する。図５（ｂ）に示す例では、被写体Ｅが最も手前に位置し、被写体Ｄが最も遠方に位置する。
【００５０】
Ｓ８０３で、ＣＰＵ１４８は、最も手前にいる被写体（ここでは被写体Ｅ）が重畳画像管理テーブルに登録済みかどうかを判断する。最も手前に位置する被写体が重畳画像管理テーブルに未登録の場合（Ｓ８０３）、ＣＰＵ１４８は、Ｓ８０６に進む。最も手前に位置する被写体が重畳画像管理テーブルに登録済みの場合（Ｓ８０３）、ＣＰＵ１４８は、Ｓ８０４において、当該被写体の前レイヤ及び後レイヤのデータを選択する。Ｓ８０５で、ＣＰＵ１４８は、Ｓ８０４で選択した前レイヤ及び後レイヤのデータを、それぞれ撮像画像の最手前レイヤ及び最奥レイヤに設定し、Ｓ８０１に戻る。最手前レイヤは、最も手前に位置する被写体の前レイヤであり、最奥レイヤは、最も遠方に位置する被写体の後レイヤである。
【００５１】
Ｓ８０６で、ＣＰＵ１４８は、二番目に手前にいる被写体（ここでは被写体Ａ）を検出する。ＣＰＵ１４８は、二番目に手前の被写体を検出できない場合（Ｓ８０６）、Ｓ８０１に戻り、検出できる場合（Ｓ８０６）、Ｓ８０７に進む。
【００５２】
Ｓ８０７で、ＣＰＵ１４８は、Ｓ８０６で検出した被写体が重畳画像管理テーブルに登録済みかどうかを判断する。重畳画像管理テーブルに未登録の場合（Ｓ８０７）、ＣＰＵ１４８は、Ｓ８０１に戻る。重畳画像管理テーブルに登録済みの場合（Ｓ８０７）、ＣＰＵ１４８は、Ｓ８０８において、二番目の被写体の前レイヤ及び後レイヤのデータを選択する。図５（ｂ）に示す例では、テキストＡと画像Ａが選択される。そして、Ｓ８０５で、ＣＰＵ１４８は、Ｓ７０８で選択した前レイヤ及び後レイヤのデータを、それぞれ撮像画像の最手前レイヤ及び最奥レイヤに設定し、Ｓ８０１に戻る。
【００５３】
以上のように、最も手前に検出された登録済みの被写体に関連するテキストデータを最も手前に、画像データを最も遠方に重畳する。これにより、入力画像の所定被写体に関する情報が未登録の場合でも、異なる登録済みの被写体の情報を重畳表示できる。
【００５４】
二番目に手前に位置する被写体が未登録の場合、更に遠方に位置する登録済みの被写体を探索し、その関連情報を重畳表示するようにしてもよい。
【００５５】
上述した実施例において、ＣＰＵ１４８による制御は、相応する制御プログラムまたは画像処理プログラムをＣＰＵ１４８にロードし実行することで実現されうる。そのようなプイログラムは、コンピュータ読み取り可能な記録媒体を介して、またはネットワークを介して撮像装置１００及びコンピュータに取り込むことができる。
【００５６】
本発明の好ましい実施例を説明したが、本発明は、これらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【図１】
2016036081.tif 000003
【図２】
2016036081.tif 000004
【図３】
2016036081.tif 000005
【図４】
2016036081.tif 000006
【図５】
2016036081.tif 000007
【図６】
2016036081.tif 000008
【図７】
2016036081.tif 000009
【図８】
2016036081.tif 000010