(57)【要約】【課題】画像中に含まれるオブジェクト情報をユーザの意図に応じて適切に表示することができる画像処理装置を提供する。【解決手段】一時記憶メモリ１３３は第１及び第２の撮影画像を記録し、オブジェクト画像生成部１２１はオブジェクト画像を生成する。オブジェクト画像重畳部１２３は前記第１の撮影画像にオブジェクト画像を重畳した第１の画像を生成し、オブジェクト画像付与部１２６は前記第１の画像から、第３の画像を生成する。オブジェクト画像削除部１２９は前記第２の画像を利用して前記第１の画像からオブジェクト画像を削除した第４の画像を生成する。３Ｄ画像出力部１２７は、前記オブジェクト画像を出力する場合は前記第１及び第３の画像を、出力しない場合は前記第２及び第４の画像を出力する。２Ｄ画像出力部１２７は、前記オブジェクト画像を出力する場合は前記第１の画像を、出力しない場合は前記第４の画像を出力する。【選択図】図１
2012138669.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクト画像の付与された第１の画像とそのオブジェクト画像が付与されていない第２の画像を記録するメモリと、
前記第１の画像から前記オブジェクト画像の情報を抽出し、その抽出された情報に基づいて前記第２の画像にオブジェクト画像を付与して第３の画像を生成するオブジェクト画像付与部と、
前記第２の画像に基づいて、前記第１の画像から前記オブジェクト画像を削除して第４の画像を生成するオブジェクト画像削除部と、
前記オブジェクト画像を出力する場合は、前記第１の画像と前記第３の画像とを出力し、前記オブジェクト画像を出力しない場合は、前記第２の画像と前記第４の画像とを出力する３Ｄ画像出力部とを備えることを特徴とする画像処理装置。
【請求項２】
第１の撮像部が撮影した第１の撮影画像と、第２の撮影部が撮影した第２の撮影画像とを一時記憶する一時記憶メモリと、
オブジェクト画像を生成するオブジェクト画像生成部と、
前記オブジェクト画像生成部が生成した前記オブジェクト画像を前記第１の撮影画像に付与して前記第１の画像を生成するオブジェクト画像重畳部とをさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記一時記憶メモリに前記第１の撮影画像及び前記第２の撮影画像が記録されているか否かを判定する撮影画像記録判定部をさらに備え、
前記３Ｄ画像出力部は、前記オブジェクト画像を出力しない場合で、かつ前記撮影画像記録判定部が前記一時記憶メモリに前記第１の撮影画像及び前記第２の撮影画像が記録されていると判定した場合は、前記第１の撮影画像と前記第２の撮影画像とを出力し、
前記オブジェクト画像を出力しない場合で、かつ前記撮影画像記録判定部が前記一時記憶メモリに前記第１の撮影画像及び前記第２の撮影画像が記録されていないと判定した場合は、前記第２の画像と前記第４の画像とを出力することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記オブジェクト画像を出力する場合は、前記第１の画像を出力し、前記オブジェクト画像を出力しない場合は、前記第４の画像を出力する２Ｄ画像出力部をさらに備えることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
前記オブジェクト画像を出力しない場合で、かつ前記撮影画像記録判定部が前記一時記憶メモリに前記第１の撮影画像が記録されていると判定した場合は、前記第１の撮影画像を出力し、前記オブジェクト画像を出力しない場合で、かつ前記撮影画像記録判定部が前記一時記憶メモリに前記第１の撮影画像が記録されていないと判定した場合は、前記第４の画像とを出力する２Ｄ画像出力部をさらに備えることを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記第一の撮影画像と前記第二の撮影画像との間の視差を算出する視差算出部をさらに備え、
前記オブジェクト画像削除部は、前記視差算出部が算出した視差に基づいて、前記第１の画像中のオブジェクト画像の領域に対応する、前記第２の画像の領域を切り取り、その切り取られた領域を前記第１の画像に上書きすることで前記第４の画像を生成することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記オブジェクト画像は少なくともテキスト画像又は図形画像のいずれか一方を含むことを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、より詳細には画像データに直接付加されたオブジェクト画像データをユーザの意図に応じて適切に出力することができる画像処理装置に関する。
【背景技術】
【０００２】
通常、デジタルスチルカメラ又はデジタルビデオカメラで撮影された画像の画像ファイルには、その画像の撮影日時や撮影条件等がヘッダデータとして画像データそのものとは別に間接的に付与されている。また、画像ファイルの名称等がメタデータとして画像データそのもののとは別に間接的に付与されている場合もある。さらに画像ファイルを編集してテキストや図形等のオブジェクト画像のデータを間接的に付加し、画像ファイルを表示する際に、元々の画像にそれらオブジェクト画像を重畳して表示させるといった加工技術も一般化している。
一方で、これらのヘッダデータ、メタデータ又はユーザが編集で付加したオブジェクト画像のデータ等は、画像ファイルの再生環境やユーザの設定条件によっては、ディスプレイに表示されない、又はユーザの意図した通りにプリンタに出力できない等の問題を有している。
【０００３】
ところで、近年、水平方向に視差を有する２つの画像が左眼用画像及び右眼用画像としてディスプレイ等に表示され、観察者が左眼用画像を左眼で、右眼用画像を右眼でそれぞれ独立して観察することで、ディスプレイ上に表示された被写体があたかも立体的に存在するかのように知覚できる３Ｄ画像に関する技術の開発が盛んに行われている。
【０００４】
この３Ｄ画像に関する技術においても、テキストや図形等のオブジェクトの画像データをヘッダデータやメタデータ等として３Ｄ画像ファイルに付与し、それらオブジェクト画像を元々の３Ｄ画像に重畳して表示したりする技術の開発が行われている。
例えば、特許文献１には、画像に付加された文字や記号等を、２Ｄ表示又は３Ｄ表示に応じてユーザが観察しやすい態様で表示する表示装置に関する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１１０１２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１に記載の表示装置では、文字や記号等のデータを、画像データそのもののとは別に格納部に格納していることが前提となる。
従って、その格納されているデータを出力可能な環境でなければユーザはそれらの情報をディスプレイ等に表示したり、外部機器に出力したりすることができないという問題が推察される。
また、別途格納された文字や記号等のデータとは別に、左眼用画像又は右眼用画像の画像データに直接付加されている文字や記号等の情報を適切に３Ｄ表示したり、削除した上で３Ｄ表示したりすることができないという問題も有している。
【０００７】
本発明はこのような問題点に鑑みてなされたものであり、画像中に直接付加された文字、記号又は図形等のオブジェクト画像を、２D表示又は３D表示の表示態様毎に、ユーザの意図に応じて適切に表示したり、非表示としたりすることができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の画像処理装置は、オブジェクト画像の付与された第１の画像とそのオブジェクト画像が付与されていない第２の画像を記録するメモリ（１３９）と、前記第１の画像から前記オブジェクト画像の情報を抽出し、その抽出された情報に基づいて前記第２の画像にオブジェクト画像を付与して第３の画像を生成するオブジェクト画像付与部（１２６）と、前記第２の画像に基づいて、前記第１の画像から前記オブジェクト画像を削除して第４の画像を生成するオブジェクト画像削除部（１２９）と、前記オブジェクト画像を出力する場合は、前記第１の画像と前記第３の画像とを出力し、前記オブジェクト画像を出力しない場合は、前記第２の画像と前記第４の画像とを出力する３Ｄ画像出力部（１２７）とを備えることを特徴とする。
【０００９】
上記画像処理装置は、前記オブジェクト画像を出力する場合は、前記第１の画像を出力し、前記オブジェクト画像を出力しない場合は、前記第４の画像を出力する２Ｄ画像出力部（１２７）とをさらに備えてもよい。
【発明の効果】
【００１０】
本発明の画像処理装置によれば、ユーザは簡易な操作で、画像中に直接付加された文字、記号又は図形等のオブジェクト画像を、２D表示又は３D表示の表示態様毎に、ユーザの意図に応じて適切に表示したり、非表示としたりすることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る撮像装置（デジタルスチルカメラ）１の内部構成を示すブロック図である。
【図２】撮像装置１が備える液晶モニタ１４１の構成を示す図である。
【図３】撮像装置１によって撮影された左眼用及び右眼用の撮影画像のいずれか一方にオブジェクト画像を重畳する加工を行う処理を説明するフローチャートである。
【図４】撮像装置１によって撮影された左眼用及び右眼用の撮影画像が液晶モニタ１４１に表示される際の表示態様を示す図である。
【図５】撮影画像にオブジェクト画像を重畳するかどうかの選択を行う画像が液晶モニタ１４１に表示される際の表示態様を示す図である。
【図６】撮像装置１によって撮影された左眼用及び右眼用の撮影画像の中からオブジェクト画像を重畳する画像を選択する際の液晶モニタ１４１の表示態様を示す図である。
【図７】重畳するオブジェクト画像を選択する際の液晶モニタ１４１の表示態様を示す図である。
【図８】重畳するメッセージ画像を選択する際の液晶モニタ１４１の表示態様を示す図である。
【図９】重畳する図形画像を選択する際の液晶モニタ１４１の表示態様を示す図である。
【図１０】オブジェクト画像を重畳する位置を選択する際の液晶モニタ１４１の表示態様を示す図である。
【図１１】日付画像が重畳された画像の例を示す図である。
【図１２】メッセージ画像が重畳された画像の例を示す図である。
【図１３】図形画像が重畳された画像の例を示す図である。
【図１４】図形画像及びメッセージ画像が重畳された画像の例を示す図である。
【図１５】撮像装置１によりオブジェクト画像の重畳処理で生成した画像を、２Ｄ画像又は３Ｄ画像、及びオブジェクト画像を重畳して表示するか又は重畳せずに表示するか、を選択して出力する処理を説明するフローチャートである。
【図１６】オブジェクト画像の重畳処理で生成した編集画像が液晶モニタ１４１に表示される際の表示態様を示す図である。
【図１７】画像を２Ｄで出力するか３Ｄで出力するかを選択する際の液晶モニタ１４１の表示態様を示す図である。
【図１８】オブジェクト画像を重畳して出力するかどうかを選択する際の液晶モニタ１４１の表示態様を示す図である。
【図１９】編集画像に重畳されたオブジェクト画像に関する情報を抽出する処理を説明するフローチャートである。
【図２０】未編集画像にオブジェクト画像を付与する処理を説明するための図である。
【図２１】編集画像からオブジェクト画像を削除する処理を説明するための図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本発明に係る画像処理装置の好適な実施形態を説明する。
なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素に関し同一の符号を付すことにより重複説明を省略し、本発明に直接関係のない要素は図示を省略する。
【００１３】
図１は、本発明に係る画像処理装置の実施形態である撮像装置（デジタルスチルカメラ）１の内部構成の例を示すブロック図である。
なお、本実施形態に係る撮像装置では左右眼画像それぞれに対応した撮像素子として計２つの撮像素子を搭載しているが、液晶シャッタ等を使用して１つの撮像素子により３Ｄ画像を撮影する撮像装置においても本発明は採用できる。或は１つの２D画像から左眼用画像及び右眼用画像の２つの画像を生成する、いわゆる２Ｄ−３Ｄ変換により３Ｄ画像を生成する装置においても採用することができる。
また、本発明はデジタルスチルカメラに限らず、デジタルビデオカメラ、携帯電話、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistant）等、撮影が可能な電子機器において採用することができる。
【００１４】
ＣＰＵ１２０は、撮影、表示、記録等の撮像装置１全体の動作を統括制御する。また、ＣＰＵ１２０は、操作部１４２からの入力に基づき所定の制御プログラムに従って各部を制御する。
【００１５】
撮像装置１には、左右一対の左眼用画像撮像部Ｌ１００及び右眼用画像撮像部Ｒ１００が、人の眼の間隔より少し短い所定の間隔（例えば５ｃｍ）離れて設置されている。左眼用画像撮像部Ｌ１００及び右眼用画像撮像部Ｒ１００は、それぞれズームレンズＬ１０１及びＲ１０１、フォーカスレンズＬ１０２及びＲ１０２、絞りＬ１０３及びＲ１０３、並びに固体撮像素子Ｌ１０４及びＲ１０４を備える。
【００１６】
ズームレンズＬ１０１及びＲ１０１は、図示しないズームアクチュエータによって光軸ＡＬ１００及びＡＲ１００に沿って前後方向に移動する。フォーカスレンズＬ１０２及びＲ１０２は、図示しないフォーカスアクチュエータによって光軸に沿って前後方向に移動する。絞りＬ１０３及びＲ１０３は、図示しないアクチュエータに駆動されて動作する。
【００１７】
ＲＯＭ１３１はバス１３０を介してＣＰＵ１２０に接続されており、ＣＰＵ１２０が実行する制御プログラム及び制御に必要な各種データ等を格納している。
フラッシュＲＯＭ１３２は、ユーザの設定情報等、撮像装置１の動作に関する各種設定情報を格納している。
ＳＤＲＡＭ１３３は、ＣＰＵ１２０の演算作業領域として使用されるとともに、画像データの一次記憶領域としても使用される。ＶＲＡＭ１３４は、表示用の画像データの一時記憶領域として使用される。
【００１８】
撮像装置１を用いた立体画像の撮影は以下の手順で行われる。左眼用の撮像素子Ｌ１０４及び右眼用の撮像素子Ｒ１０４がそれぞれ、左眼用画像撮像部Ｌ１００と右眼用画像撮像部Ｒ１００とを通過した光を光電変換して、左右それぞれの被写体のアナログ撮像信号を生成する。
アナログ信号処理部Ｌ１０５及びＲ１０５が両アナログ撮像信号を増幅した後、Ａ／Ｄ変換機Ｌ１０６及びＲ１０６がその増幅された信号をデジタルデータに変換する。画像入力コントローラＬ１０７及びＲ１０７は、Ａ／Ｄ変換機Ｌ１０６及びＲ１０６から出力されたデジタルデータを取り込んで、ＳＤＲＡＭ１３３に格納する。
【００１９】
デジタル信号処理部Ｌ１０８及びＲ１０８は、ＣＰＵ１２０からの指令に基づき、ＳＤＲＡＭ１３３に格納されたデジタルデータを取り込み、所定の信号処理を施して輝度信号と色差信号とからなる信号を生成する。
デジタル信号処理部Ｌ１０８及びＲ１０８はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、ＲＧＢ補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。
【００２０】
圧縮・伸張処理部１３５、メディア制御部１３６、画像処理部１３７、カードＩ／Ｆ１３８及び入出力Ｉ／Ｆ１３９はデータバス１３０に接続されている。
【００２１】
圧縮・伸張処理部１３５は、ＣＰＵ１２０からの指示に従い、ＳＤＲＡＭ１３３に格納されたデジタルデータに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１２０からの指令に従い、カード型記録媒体１３９等に格納された圧縮画像データに所定形式の伸張処理を施し、非圧縮画像データを生成する。
なお、本実施形態の撮像装置１では、ＪＰＥＧ規格に準拠した圧縮方式が採用される。
【００２２】
メディア制御部１３６は、ＣＰＵ１２０からの指示に従い、カードＩ／Ｆ１３８を通じてカード型記録媒体１３９に対するデータの書き込み、又はカード型記録媒体１３９からのデータの読み出しを制御する。
液晶モニタ１４１、操作部１４２及び入出力端子１４３は入出力Ｉ／Ｆ１４０に接続されている。
時計１４４は、撮影日時の表示等に利用される。
【００２３】
オブジェクト画像生成部１２１は、オブジェクト画像情報記録部１２２に記録されている情報からオブジェクト画像を生成する。
オブジェクト画像重畳部１２３はオブジェクト画像生成部１２１が生成したオブジェクト画像を撮影画像に重畳して新たな撮影画像を生成する処理を行う。
オブジェクト画像情報抽出部１２４は、オブジェクト画像の特徴量を予め記録したオブジェクトパターン記録部１２５に記録された特徴量から、オブジェクト情報の抽出を行う。
【００２４】
オブジェクト画像付与部１２６は、ブジェクト画像情報抽出部１２４が抽出した情報に基づき撮影画像にオブジェクト画像を付与し、新たな撮影画像を生成する処理を行う。
オブジェクト画像削除部１２９は、撮影画像からオブジェクト画像を削除して新たな撮影画像を生成する処理を行う。
【００２５】
画像出力部１２７は、カードＩ／Ｆ１３８又は入出力Ｉ／Ｆ１４０へ２Ｄ又は３Ｄの撮影画像の出力を行う。
画像記録判定部１２８は、ＳＤＲＡＭ１３３又はカード型記録媒体１３９に撮影画像が記録されているか否かの判定を行う。
【００２６】
図２は、３Ｄ画像を表示可能な液晶モニタ１４１の構造の例を説明するための図である。図２においては、撮像装置１の通常の使用姿勢における液晶モニタ１４１に対して、水平方向をＸ軸、垂直方向をＹ軸、及び液晶モニタ１４１の直交
方向をＺ軸として以下を説明する。
液晶モニタ１４１と観察者の左眼ＬＥ２０及び右眼ＲＥ２０の間には、レンチキュラ・レンズＬＬ２０が配置されている。このレンチキュラ・レンズＬＬ２０は、複数の円筒状凸レンズを図２のＸ軸方向に連ねることで構成されている。
【００２７】
液晶モニタ１４１に表示される３Ｄ画像の表示領域は、左眼用短冊画像表示領域Ｌと右眼用短冊画像表示領域Ｒとから構成されている。左眼用短冊画像表示領域Ｌ及び右眼用短冊画像表示領域Ｒは、それぞれ図２のＺ軸方向に細長い短冊形状をしており、Ｘ軸方向に交互に配置されている。
レンチキュラ・レンズＬＬ２０を構成する各凸レンズは、観察者の所定の観察点を基準として、それぞれ一組の左眼用短冊画像表示領域Ｌ及び右眼用短冊画像表示領域Ｒを含む各短冊集合画像領域に対応した位置に形成される。
【００２８】
そして、レンチキュラ・レンズＬＬ２０を構成する各凸レンズは、観察者の左眼ＬＥ２０には液晶モニタ１４１の左眼用短冊画像表示領域Ｌに表示された左眼用短冊画像が入射され、観察者の右眼ＲＥ２０には液晶モニタ１４１の右眼用短冊画像表示領域Ｒに表示された右眼用短冊画像が入射されるように、その曲率等が設定される。
【００２９】
従って、観察者の左眼は左眼用短冊画像のみを、右眼は右眼用短冊画像のみを観察することになり、撮像装置１によって撮影された画像を液晶モニタ１４１を通じて３Ｄ画像として知覚することが可能となる。
【００３０】
なお、３Ｄ画像の表示のための液晶モニタ１４１の構造として、図２によるレンチキュラ方式を用いた場合の例を説明したが、本発明はレンチキュラ方式には限定されず、視差バリア方式や光方向制御方式等、３Ｄ画像表示のための別方式を採用することもできる。
【００３１】
液晶モニタ１４１は、撮影画像を３Ｄで表示するだけでなく、左眼用画像又は右眼用画像の何れか一方を２Ｄで表示することもできる。また、左右眼画像の両方をいわゆるサイド・バイ・サイド方式により、二つ並べて２Ｄで表示することもできる。
【００３２】
操作部１４２は、図示しないリレーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、又は液晶モニタ１４１上に重畳されたタッチパネル等から構成されており、ユーザの撮像装置１への操作入力を受け付ける。
入出力端子１４３は、図示しないテレビモニタ、ＰＣ（Personal Computer）、又はプリンタ等に接続されている。
【００３３】
画像処理部１３７は、例えば、ＳＤＲＡＭ１３３から読み出したデジタル撮像信号に所定の画像処理を施す。ＣＰＵ１２０の指示を受けて、画像処理部１３７は、各種処理のための画像データを生成し、その画像データをＳＤＲＡＭ１３３から読み出されたオリジナルの撮像データに重畳させて液晶モニタ１４１に出力する。この出力によって。液晶モニタ１４１に表示される画像は各種画像データが合成されたものとなる。
【００３４】
例えば、画像処理部１３７は、後述する撮影画像へのオブジェクト画像の重畳加工処理におけるオブジェクト画像を重畳するかどうかを選択するための選択画像や各種オブジェクト画像の選択画像を生成し、撮影画像に重畳する等する。
【００３５】
次に撮像装置１によって撮影された画像へのオブジェクト情報の重畳加工処理について例を挙げて説明する。
【００３６】
＜オブジェクト情報の重畳処理＞
図３は、撮像装置１によって撮影された左眼用画像又は右眼用画像のいずれか一方にユーザが文字、記号又は図形等のオブジェクトの画像（以下、「オブジェクト画像」という。）を重畳する加工を行う処理を説明するフローチャートである。
【００３７】
ユーザが操作部１４２の図示しない撮影ボタンを押すと、左眼用画像撮像部Ｌ１００が左眼用画像を、右眼用画像撮像部Ｒ１００が右眼用画像をそれぞれ撮影する（ステップＳ１０１）。
【００３８】
ステップＳ１０１で撮影された左眼用画像及び右眼用画像はＳＤＲＡＭ１３３及びカード型記録媒体１３９に記録されるとともに、液晶モニタ１４１に表示される（ステップＳ１０２）。
ここで、液晶モニタ１４１への表示は、図４に例示するように左眼用画像ＬＰ０４０と右眼用画像ＲＰ０４０とを左右に並べて表示する、いわゆるサイド・バイ・サイド方式により表示される。
【００３９】
次にユーザは、撮影画像にオブジェクト画像を重畳するかどうかの選択を行う（ステップＳ１０３）。
この選択の際は、例えば図５に例示するように、画像処理部１３７が生成した選択画像ＳＰ０５０をステップＳ１０２で表示している撮影画像に重畳して表示する態様が考えられる。選択及びその決定は、操作部１４２の図示しない十字キーを使用して図５に示したような指示画像ＳＰ５１を操作して行ってもよいし、タッチパネルを押圧して行ってもよい。
【００４０】
ステップＳ１０３でオブジェクト画像を重畳することを決定すると（ステップＳ１０３でＹＥＳ）、ユーザはステップＳ１０１で撮影した左眼用画像及び右眼用画像から、オブジェクト画像を重畳する加工を施す画像の選択を行う（ステップＳ１０４）。
【００４１】
ステップＳ１０４の画像の選択の際に、液晶モニタ１４４は例えば図６に示すように、左眼用画像ＬＰ０４０と右眼用画像ＲＰ０４０をサイド・バイ・サイドで表示するとともに、選択用のカーソル画像ＳＰ０６０を表示する。カーソル画像ＳＰ０６０は、点滅表示する等、周囲の画像と区別できる態様で表示される。
ユーザは操作部１４２の図示しない十字キー、又はタッチパネルを押圧する等して、オブジェクト画像を重畳する画像を選択し、決定する。この決定がなされると、カーソル画像ＳＰ０６０は点滅表示をやめ、色を変える等して表示される。
【００４２】
ステップＳ１０４でオブジェクト画像を重畳する画像が選択されると、ユーザは重畳するオブジェクト画像を選択する（ステップＳ１０５）。図７にこのステップの具体例を示す。
図７では、ユーザがステップＳ１０４で図６に示した右眼用画像ＲＰ０４０を選択し、この右眼用画像ＲＰ０４０が液晶モニタ１４１に表示されている。そして、画像処理部１３７が生成したオブジェクト選択画像ＳＰ０７０が、右眼用画像ＲＰ０４０に重畳して表示される。ユーザは、ステップＳ１０３で述べたのと同様にして、「日付」、「メッセージ」、及び「図形」の中からオブジェクト画像の種類を選択する。
【００４３】
ステップＳ１０５で、ユーザがオブジェクト画像の種類を選択すると、オブジェクト画像生成部１２１が、この選択に応じたオブジェクト画像を生成する（ステップＳ１０６）。
例えば、ユーザが図７に示したオブジェクト選択画像ＳＰ０７０の中から、「日付」、「メッセージ」及び「図形」のいずれか一つを選択した場合、各選択に応じて以下の手順でオブジェクト画像が生成される。
【００４４】
＜日付画像の生成＞
オブジェクト画像生成部１２１は、時計１４４から画像の撮影日時を特定し、その日時に関するテキスト・データを作成する。例えば、ユーザが撮影をした日付が２０１０年０４月１２日であれば、オブジェクト画像生成部１２１は「２０１０．０４．１２．」というテキスト・データを作成する。
そしてオブジェクト画像生成部１２１は、ユーザが指定する、又は予めユーザが設定しオブジェクト画像情報記録部１２２に記録されているフォントや大きさに従い、上記テキスト・データから「２０１０．０４．１２．」というオブジェクト画像を生成する。
【００４５】
＜メッセージ情報の生成＞
オブジェクト画像情報記録部１２２には、予めいくつかのメッセージが記録されている。記録されているメッセージとしては、例えば「誕生日おめでとう！」、「入学おめでとう！」、又は「卒業おめでとう！」といったものが考えられる。
図８に示すように、画像処理部１３７は、オブジェクト画像情報記録部１２２に記録されているメッセージの中からユーザが任意のメッセージを選択するためのメッセージ選択画像ＳＰ０８０を生成し、ＳＰ０８０はステップＳ１０４でユーザが選択した画像ＲＰ０４０に重畳されて液晶モニタ１４１に表示される。
【００４６】
ユーザは、ステップＳ１０３と同様にして、メッセージ選択画像ＳＰ０８０に表示されているメッセージの中から、重畳したいメッセージを選択する。なお、図８に示したメッセージ選択画像ＳＰ０８０は、上方向指示画像ＳＰ０８１又は下方向指示画像ＳＰ０８２を指示画像ＳＰ０８３で選択することで、上下にスクロールし、例示した以外のメッセージを表示する。
【００４７】
例えば、ユーザが「入学おめでとう！！」というメッセージを選択すると、オブジェクト画像生成部１２１は、「入学おめでとう！！」というテキスト・データを生成する。そして、オブジェクト画像生成部１２１は、ユーザが指定する、又は予めユーザが設定しオブジェクト画像情報記録部１２２に記録されているフォントや大きさに従い、「入学おめでとう！！」という画像データを生成する。
なお、オブジェクト画像生成部１２１が生成するテキスト・データは、ユーザが操作部１４１の図示しないボタン又はタッチパネルを操作する等して、直接作成できるようにしてもよい。
【００４８】
＜図形情報の生成＞
オブジェクト画像情報記録部１２２には、予めいくつかの図形が記録されている。記録されている図形としては、例えば「星」、「ハート」、「吹き出し」、又は「太陽」といったものが考えられる。
図９に示すように、画像処理部１３７は、オブジェクト画像情報記録部１２２に記録されている図形の中からユーザが任意の図形を選択するための図形選択画像ＳＰ０９０を生成し、ＳＰ０９０はステップＳ１０４でユーザが選択した画像ＲＰ０４０に重畳されて液晶モニタ１４１に表示される。
【００４９】
ユーザは、ステップＳ１０３と同様にして、図形選択画像ＳＰ０９０に表示されている図形の中から、重畳したい図形を選択する。なお、図９に示した図形選択画像ＳＰ０９０は、左方向指示画像ＳＰ０９１又は右方向指示画像ＳＰ０９２を支持画像ＳＰ０９３で選択することで、左右にスクロールし、例示した以外の図形を表示する。
【００５０】
例えば、ユーザが吹き出し図形ＳＰ０９４を選択すると、オブジェクト画像生成部１２１は、ユーザが指定する、又は予めユーザが設定しオブジェクト画像情報記録部１２２に記録されている大きさや色等に従い「吹き出し」図形の画像データを生成する。
【００５１】
ステップＳ１０６でオブジェクト画像の生成が完了すると、ユーザは撮影画像のどこにそのオブジェクト画像を重畳するかを指定し、オブジェクト画像重畳部１２３がその指定された位置にオブジェクト画像を重畳する（ステップＳ１０７）。
オブジェクト画像を重畳する位置の指定は、例えば図１０に示すようにステップＳ１０２で選択した画像を複数のエリアに分割した画像ＲＰ１００を表示し、ユーザが操作部１４２の図示しない十字キー等を用いて指定画像ＳＰ１００を操作することで行う。指定画像ＳＰ１００は、周囲と色を変える、点滅表示する等の態様で表示される。
或は、操作部１４２の図示しないタッチパネルを使用して、撮影画像中の重畳位置をユーザが押圧することで直接指定してもよい。
【００５２】
例えば、ユーザが上記＜日付情報の作成＞の例で述べた「２０１０．０４．１２．」というオブジェクト画像を撮影画像の右下に重畳する旨を指定した場合は、図１１に示す態様でオブジェクト画像ＡＰ１１１が重畳された新たな画像ＡＰ１１０が生成される。
ユーザが上記＜メッセージ情報の作成＞の例で述べた「入学おめでとう！！」というオブジェクト画像を撮影画像の中央下に重畳する旨を指定した場合は、図１２に示す態様でオブジェクト画像ＡＰ１２１が重畳された新たな画像ＡＰ１２０が生成される。
また、ユーザが上記＜図形情報の作成＞の例で述べた「吹き出し」画像のオブジェクト画像を撮影画像の左上に重畳する旨を指定した場合は、図１３に示す態様でオブジェクト画像ＡＰ１３１が重畳された新たな画像ＡＰ１３０が生成される。
【００５３】
オブジェクト画像の生成及び重畳位置の決定は複数回行えるようにしてもよい。
例えば、ユーザが「吹き出し」図形を重畳画像として作成し、その重畳位置を指定した後、さらに「入学おめでとう！！」というオブジェクト画像を作成、その吹き出し図形の上に重畳することもできる。この場合は、図１４に示すようなオブジェクト画像ＡＰ１４１が重畳された新たな画像ＡＰ１４０が生成される。
【００５４】
ステップＳ１０８のオブジェクト情報の重畳処理が完了すると、生成された新たな画像は、ＳＤＲＡＭ１３３に一次記録された後、カードＩ／Ｆ１３８を通じてカード型記録媒体１３９に記録される（ステップＳ１０９）。
以上で撮像装置１は、撮影された画像にオブジェクト情報を重畳する加工を施す処理を終了する。
【００５５】
上述の通り、撮像装置１によれば、撮影した左眼用画像又は右眼用画像の何れか一方に対し、ユーザが意図した態様のオブジェクト画像を、ユーザが意図した位置に重畳する加工を直接施すことができる。
【００５６】
次に、オブジェクト画像を重畳した画像を撮像装置１が２Ｄ画像又は３Ｄ画像として出力する処理について例を挙げて説明する。
なお、以下の例においては撮像装置１により＜オブジェクト画像の重畳処理＞で生成した画像（以下、「編集画像」という。）を出力する処理について述べるが、撮像装置１以外の他の機器によって生成された、オブジェクト画像を付与された画像についても同様の出力処理を実施することができる。
【００５７】
＜画像の出力処理＞
図１５は、編集画像を、２Ｄ画像又は３Ｄ画像、及びオブジェクト画像を重畳して表示するか又は重畳せずに表示するか、を選択して出力する処理を説明するフローチャートである。
【００５８】
ユーザが上記ステップＳ１０９で記録した編集画像の表示を指定すると、ＣＰＵ１２０の指示に応じて液晶モニタ１４１がこの生成した編集画像を表示する（ステップＳ２０１）。この表示は、図１６に例示するように、液晶モニタ１４１に編集画像ＡＰ１６０を表示する態様が考えられる。
【００５９】
次にユーザは、ステップＳ２０１で表示された編集画像を３Ｄ画像として出力するか、又は２Ｄ画像として出力するかを選択する（ステップＳ２０２）。
この選択の際は、図１７に例示するように、画像処理部１３７が２Ｄ／３Ｄ選択画像ＳＰ１７０を生成し、この２Ｄ／３Ｄ選択画像ＳＰ１７０が編集画像ＡＰ１６０に重畳され液晶モニタ１４１に表示される。ユーザはステップＳ１０３と同様に、操作部１４２の図示しない十字キー等により指示画像ＡＰ１７１を操作する等して選択する。
【００６０】
ユーザが編集画像を３Ｄ画像として出力することを選択すると（ステップＳ２０２で３Ｄ）、次にユーザは出力する３Ｄ画像においてオブジェクト画像を重畳するか否かを選択する（ステップＳ２０３）。
この選択では、例えば図１８に示すように、画像処理部１３７がオブジェクト画像重畳／非重畳選択画像ＳＰ１８０を生成し、この画像重畳／非重畳選択画像ＳＰ１８０が編集画像ＡＰ１６０に重畳されて液晶モニタ１４１に表示される。ユーザはステップＳ１０３と同様に、操作部１４２の図示しない十字キー等により指示画像ＳＰ１８１を操作する等して選択する。
【００６１】
＜オブジェクト情報の抽出＞
ユーザがオブジェクト画像を重畳することを選択すると（ステップＳ２０３でＹＥＳ）、オブジェクト画像情報抽出部１２４が編集画像中のオブジェクト画像に関する情報を抽出する。このオブジェクト画像に関する情報の抽出は、例えば図１９に示すフローチャートのようにして行われる。
【００６２】
オブジェクト画像情報抽出部１２４は、まず編集画像のメタデータからオブジェクト画像に関する情報の抽出を試みる（ステップＳ３０１）。
オブジェクト画像に関する情報がメタデータ内で抽出された場合は（ステップＳ３０１でＹＥＳ）、オブジェクト画像情報抽出部１２４は、検出されたメタデータからオブジェクト画像の種類及び大きさ等と、オブジェクト画像が編集画像中に重畳されている位置の座標を抽出する（ステップＳ３０２）。
【００６３】
オブジェクト画像に関する情報がメタデータ内で検出されなかった場合は（ステップＳ３０１でＮＯ）、オブジェクト画像情報抽出部１２４は、編集画像からオブジェクト画像の特徴量を抽出する（ステップＳ３０３）。特徴量としては、文字や図形のエッジ座標や、各エッジ座標間の距離等が用いられる。
次に、オブジェクト画像情報抽出部１２４はステップＳ３０３で抽出された特徴量と、オブジェクトパターン記録部１２５に予め記録されている文字や図形の特徴量の類似度を算出する（ステップＳ３０４）。
算出された類似度が所定の値を上回る場合、オブジェクト画像情報抽出部１２４は、編集画像中において、その特徴量の抽出された位置に、オブジェクト画像が重畳されているとし、その情報を抽出する（ステップＳ３０５）
【００６４】
オブジェクト画像に関する情報が抽出されると、オブジェクト画像情報抽出部１２４はこの抽出処理を終了する。
【００６５】
以上のように、撮像装置１によれば、ヘッダ情報を利用可能な場合は、そのヘッダ情報を利用することで、オブジェクト画像の抽出を高い精度で行うことができる。また、ヘッダ情報を利用できない場合であっても、オブジェクト画像の抽出を行うことができる。
【００６６】
図１５に戻り、ステップＳ２０４でオブジェクト画像情報抽出部１２４が編集画像からオブジェクト画像に関する情報を抽出すると、オブジェクト画像付与部１２６が抽出された情報に基づき、上述の図３におけるステップＳ１０９で選択されなかった方の画像データ、すなわちオブジェクト画像の重畳されなかった方の画像（以下、「未編集画像」という。）にオブジェクト画像を付与する（ステップＳ３０５）。以下、この付与されるオブジェクト画像を「付与画像」という。
【００６７】
この付与画像は、図１９のステップＳ３０２又はステップＳ３０５で抽出された位置情報に基づき、編集画像及び未編集画像中の重畳位置、すなわち水平座標及び垂直座標が全く同じとなるように行われる。
【００６８】
例えば、図２０に示すように、編集画像ＡＰ２００にオブジェクト画像ＡＰ２０１が重畳されている場合は、未編集画像ＮＰ２００において、そのオブジェクト画像ＡＰ２０１の水平座標及び垂直座標と全く同じ座標に付与画像ＮＰ２０１を付与する。
【００６９】
ステップＳ２０５でオブジェクト画像付与部１２６による付与が完了すると、画像出力部１２７は、編集画像及び、オブジェクト画像付与部によって付与画像が付与された未編集画像を３Ｄ画像として、入出力Ｉ／Ｆ１４０を通じ液晶モニタ１４１に出力し表示する、或は入出力端子１４３を通じて外部のテレビモニタ等に出力し表示する（ステップＳ２０６）。
【００７０】
左眼用画像のオブジェクト画像と右眼用画像のオブジェクト画像とで、垂直方向の視差にずれがあると、そのオブジェクト画像が３Ｄ画像として立体的に知覚されない。編集画像中のオブジェクト画像と、未編集画像中の付与画像の垂直座標を同じにすることで、この問題を解決することができる。
また、オブジェクト画像と付与画像の水平座標を同じにすることで、両画像間の視差がゼロとなり、オブジェクト画像はちょうど表示するモニタ上にあるかのように知覚される。
従って、撮像装置１によれば、左右眼画像のうちの何れか一方にのみ付加されたオブジェクト画像を利用して、自然な３Ｄ画像を出力することができる。
【００７１】
上述の通り、撮像装置１は、左右眼画像のうちの何れか一方に直接重畳されたオブジェクト画像から３Ｄ画像を生成するため、メタデータ等の付加的な情報を画像表示できない表示環境においてもその環境に応じて、ユーザの意図した３Ｄ画像を表示等することができる。
【００７２】
ユーザがオブジェクト画像を表示しない旨を選択すると（ステップＳ２０３でＮＯ）、撮影画像記録判定部１２８はＳＤＲＡＭ１３３又はカード型記録媒体１３９に、上述のステップＳ１０９で記録された撮影画像が記録されているかどうかを判定する（ステップＳ２０７）。
【００７３】
撮影画像が記録されていた場合（ステップＳ２０７でＹＥＳ）、画像出力部１２８はカード型記録媒体１３９等からステップＳ１０９で記録された撮影画像を読み出す（ステップＳ２０８）。
そして、３Ｄ画像として入出力Ｉ／Ｆ１４０を通じ液晶モニタ１４１に出力し表示する、或は入出力端子１４３を通じて外部のテレビモニタに出力し表示する（ステップＳ２０９）。
【００７４】
以上のように撮像装置１は、オブジェクト画像を重畳する前の撮影画像が記録されている場合は、それらの撮影画像を使用して３Ｄ画像を出力することができる。
従って、ユーザがオブジェクト画像の表示を望まない場合は、それらを表示しない撮影時の画像を３Ｄ画像として出力することができる。
【００７５】
＜オブジェクト画像の削除＞
撮影画像記録判定部１２８が、撮影画像が記録されていないと判定した場合（ステップＳ２０７でＮＯ）、オブジェクト画像情報抽出部１２４が編集画像中のオブジェクト画像に関する情報を抽出する（ステップＳ２１０）。このオブジェクト画像に関する情報の抽出は、上述のステップＳ２０４と同様にして行われる。
【００７６】
ステップＳ２１０でオブジェクト画像に関する情報が抽出されると、オブジェクト画像削除部１２９は、この抽出された情報に基づきオブジェクト画像を削除する（ステップＳ２１１）。このオブジェクト画像削除の処理は、例えば以下のようにして行われる。
【００７７】
図２１に示すように、オブジェクト画像削除部１２９は、ステップＳ２１０で抽出されたオブジェクト画像に関する情報から編集画像ＡＰ２１０中のオブジェクト画像ＡＰ２１１の位置と大きさを特定し、このオブジェクト画像ＡＰ２１１を含む所定の領域ＡＰ２１２を特定する。
【００７８】
次に、オブジェクト画像削除部１２９は、上記で特定した領域ＡＰ２１２に対応する領域を未編集画像中から特定する。
この対応する範囲の特定にあたり、オブジェクト画像削除部１２９は、編集画像と未編集画像との水平方向の視差を算出する。
この視差の算出には、様々な既存のアルゴリズムを適用することができるが、例えば、同一の被写体がフレーム間でどれだけ動いたかを特定する、いわゆる動きベクトルを算出するアルゴリズムを応用した手法が考えられる。
【００７９】
動画圧縮技術であるＭＰＥＧにおいては、ブロックマッチングに基づいて動きベクトルを検出するアルゴリズムが用いられる。ここで、動きベクトルとは２つのフレームデータ間における同一被写体の変位をベクトルで表したものである。
現在のフレームデータと過去のフレームデータとを比較し、同一の大きさで最も類似したブロックをそれぞれから抽出し、両者の位置関係から動きベクトルを算出する。
【００８０】
オブジェクト画像削除部１２９は、上述した動きベクトル算出アルゴリズムを利用して、編集画像と未編集画像との間の視差ベクトルを算出する。
そして、オブジェクト画像削除部１２９は、算出された視差ベクトルから、編集画像中の削除領域に対応する領域ＮＰ２１１を未編集画像ＮＰ２１０から特定する。
【００８１】
そして、オブジェクト画像削除部１２９は上記で特定された未編集画像中の領域ＮＰ２１１を切り出し、編集画像中の領域ＡＰ２１２に上書きすることで、オブジェクト画像を削除する。
【００８２】
ステップＳ２１１でオブジェクト画像が削除されると、画像出力部１２７は、オブジェクト画像削除後の編集画像、及び未編集画像を３Ｄ画像として、入出力Ｉ／Ｆを通じ液晶モニタ１４１に出力し表示する、或は入出力端子１４３を通じて外部のテレビモニタ等に出力し表示する（ステップＳ２１2）。
【００８３】
以上のように、撮像装置１によれば、左眼用画像又は右眼用画像のうちオブジェクト情報を重畳されていない方の画像を使用して、重畳されている方の画像からそのオブジェクト情報を削除することができる。
従って、撮影時の画像を記録していなくとも、オブジェクト画像を表示しない３Ｄ画像を出力することが可能であるため、記録媒体の容量を節約することができる。
【００８４】
ステップＳ２０２に戻り、ユーザが、編集画像を２Ｄ画像として出力することを指定すると（ステップＳ２０２で２Ｄ）、次にユーザはオブジェクト画像を重畳して出力するかどうかを選択する（ステップＳ２１３）。
この選択はステップＳ２０３と同様にして行われる。
【００８５】
ユーザがオブジェクト画像を重畳して出力することを選択した場合（ステップＳ２１３でＹＥＳ）、画像出力部１２７は図３のステップＳ１０９で記録した編集画像を入出力Ｉ／Ｆ１４０を通じて液晶モニタ１４１に出力する、或は入出力端子１４３を通じて外部のテレビモニタやプリンタに出力等する（ステップＳ２１４）。
【００８６】
従って、撮像装置１によれば、オブジェクト画像が画像データそのものとして重畳された編集画像を出力することができるため、メタデータ等の再生表示ができない再生環境においても、ユーザは意図した通りの画像を出力することができる。
また、外部機器であるプリンタ等で２Ｄ画像を印刷する際も、複雑な設定をせずともオブジェクト画像を重畳した画像を出力し印刷することができる。
【００８７】
ユーザがオブジェクト画像を重畳しない旨を選択すると（ステップＳ２１３でＮＯ）、撮影画像記録判定部１２８はカード型記録媒体１３９等に、図３のステップＳ１０９で記録された撮影画像が記録されているかどうかを判定する（ステップＳ２１５）。
【００８８】
そして、撮影画像が記録されていた場合（ステップＳ２１５でＹＥＳ）、画像出力部１２７はカード型記録媒体１３９等から撮影画像を読み出す（ステップＳ２１６）。
画像出力部１２７は、ステップＳ２１６で読み出された撮影画像を、入出力Ｉ／Ｆ１４０を通じて液晶モニタ１４１に出力する、或は入出力端子１４３を通じて外部のテレビモニタやプリンタに出力等する（ステップＳ２１７）。
【００８９】
以上のように撮像装置１は、オブジェクト画像を重畳する前の撮影画像が記録されている場合は、その撮影画像を出力することができる。
従って、ユーザがオブジェクト画像の表示を望まない場合は、それらを表示しない撮影時の画像を２Ｄ画像として出力することができる。
【００９０】
撮影画像記録判定部１２８が、撮影画像が記録されていないと判定した場合（ステップＳ２１５でＮＯ）、オブジェクト画像情報抽出部１２４が編集画像中のオブジェクト画像に関する情報を抽出する（ステップＳ２１８）。このオブジェクト画像に関する情報の抽出は、上述のステップＳ２０４と同様にして行われる。
【００９１】
ステップＳ２１８でオブジェクト画像に関する情報が抽出されると、オブジェクト画像削除部１２９は、この抽出された情報に基づきオブジェクト画像を削除する（ステップＳ２１９）。このオブジェクト画像削除の処理は、上述のステップＳ２１１と同様にして行われる。
【００９２】
ステップＳ２１９でオブジェクト画像が削除されると、画像出力部１２７は、オブジェクト画像の削除された編集画像を、入出力Ｉ／Ｆ１４０を通じて液晶モニタ１４１に出力する、或は入出力端子１４３を通じて外部のテレビモニタやプリンタに出力等する（ステップＳ２１７）。
【００９３】
以上のように、撮像装置１によれば、左眼用画像又は右眼用画像のうちオブジェクト情報を重畳されていない方の画像を使用して、重畳されている方の画像からそのオブジェクト情報を削除することができる。
従って、撮影時の左右眼画像を記録していなくとも、オブジェクト画像を表示しない２Ｄ画像を出力することが可能であるため、記録媒体の容量を節約することができる。
【００９４】
以上に述べたように、撮像装置１によれば、文字や図形等のオブジェクト画像を、ストリームデータやメタデータを使用することなく、２Ｄ画像又は３Ｄ画像として、ユーザの意図した通りに出力することができる。
従って、ユーザは簡単に外部機器の出力環境等を考慮した画像を生成し、出力することができる。
【００９５】
以上の通り、図１に記載した撮像装置１を例として本発明の実施形態を説明したが、本発明に係る画像処理装置の実施形態として撮像装置に限定されるわけではなく、据置き型の記録装置のように撮像機能を有していない機器おいても撮像データの記録や再生の際に同様の処理が可能であることは言うまでもない。
【符号の説明】
【００９６】
１  撮像装置
１２１  オブジェクト画像生成部
１２２  オブジェクト画像情報記録部
１２３  オブジェクト画像重畳部
１２４  オブジェクト画像情報抽出部
１２５  オブジェクトパターン記録部
１２６  オブジェクト画像付与部
１２７  画像出力部
１２８  撮影画像記録判定部
１２９  オブジェクト画像削除部
１３３  ＳＤＲＡＭ
１３９  カード型記録媒体
【図１】
2012138669.tif 000003
【図２】
2012138669.tif 000004
【図３】
2012138669.tif 000005
【図４】
2012138669.tif 000006
【図５】
2012138669.tif 000007
【図６】
2012138669.tif 000008
【図７】
2012138669.tif 000009
【図８】
2012138669.tif 000010
【図９】
2012138669.tif 000011
【図１０】
2012138669.tif 000012
【図１１】
2012138669.tif 000013
【図１２】
2012138669.tif 000014
【図１３】
2012138669.tif 000015
【図１４】
2012138669.tif 000016
【図１５】
2012138669.tif 000017
【図１６】
2012138669.tif 000018
【図１７】
2012138669.tif 000019
【図１８】
2012138669.tif 000020
【図１９】
2012138669.tif 000021
【図２０】
2012138669.tif 000022
【図２１】
2012138669.tif 000023