(57)【特許請求の範囲】
【請求項１】
立体映像撮像装置によって撮像された動画の立体映像を再生する再生装置であって、
立体映像の画像データと、前記立体映像の画像データに関連付けて記録された付加データとを入力する入力手段と、
前記付加データに基づいて前記立体映像における撮像時の注目位置及び該注目位置の奥行きを示す奥行き情報を取得する取得手段と、
前記取得した奥行き情報が示す前記注目位置及び該注目位置の奥行きに基づいて視差が設定された、前記立体映像に重畳して表示するための前記立体映像以外の他映像の画像データを生成する生成手段と、
前記立体映像の画像データに前記生成手段によって生成された前記他映像の画像データを重畳する重畳手段と、
前記重畳手段により前記他映像の画像データが重畳された前記立体映像の画像データを表示装置に出力する表示出力手段とを有し、
前記生成手段は、前記注目位置と前記他映像を表示する位置との位置関係の変化に応じて、前記注目位置の奥行きと前記視差との関係を変えることを特徴とする再生装置。
【請求項２】
前記立体映像の画像データ及び前記奥行き情報を含む付加データは、前記立体映像撮像装置によって予め記録媒体に記録されていて、
前記入力手段は前記記録媒体から前記付加データを読み出し、前記取得手段は、読み出された前記付加データから前記奥行き情報を取得することを特徴とする請求項１に記載の再生装置。
【請求項３】
前記注目位置は、前記立体映像撮像装置における、撮影者の注視位置、撮像時の合焦位置、撮像時に検出した顔の位置のいずれかであることを特徴とする請求項１または２に記載の再生装置。
【請求項４】
前記取得手段は、
前記付加データに基づいて前記立体映像における前記注目位置を検出する位置検出手段と、
前記立体映像における前記検出した注目位置の奥行きを求め、該求めた奥行きを示す奥行き情報を取得する奥行き検出手段と
を有することを特徴とする請求項１に記載の再生装置。
【請求項５】
前記位置検出手段は、前記付加データに基づいて前記立体映像から顔を検出する顔検出手段を含み、前記注目位置は、前記検出された顔の位置であることを特徴とする請求項４に記載の再生装置。
【請求項６】
前記位置検出手段は、前記付加データに基づいて前記立体映像の合焦位置を検出する合焦位置検出手段を含み、前記注目位置は、前記検出された合焦位置であることを特徴とする請求項４に記載の再生装置。
【請求項７】
前記生成手段は、前記他映像の表示位置と前記注目位置にある被写体の表示位置とが同じ場合に、前記他映像を被写体よりも手前の奥行きの視差に設定し、前記表示位置が互いに異なる場合に、前記他映像を被写体と同じ奥行きの視差に設定することを特徴とする請求項１乃至６のいずれか１項に記載の再生装置。
【請求項８】
前記生成手段は、前記他映像の表示位置と前記注目位置にある被写体の表示位置とが同じ場合に、前記他映像を被写体と同じ奥行きの視差に設定し、前記表示位置が互いに異なる場合に、前記他映像を被写体と異なる奥行きの視差に設定することを特徴とする請求項１乃至６のいずれか１項に記載の再生装置。
【請求項９】
動画の立体映像を撮像する撮像手段と、
前記撮像手段による撮像時における前記立体映像中の注目位置の奥行きを検出する検出手段と、
前記撮像手段によって撮像された前記立体映像の画像データと、前記検出手段によって検出された前記注目位置の奥行きを示す情報とを記録媒体に記録する記録手段と、
前記記録媒体に記録された前記立体映像の画像データと、前記奥行きを示す情報とを読み出す読み出し手段と、
前記奥行きを示す情報に基づいて、前記立体映像における撮像時の注目位置を取得する取得手段と、
前記取得手段により取得した前記注目位置と、前記読み出し手段によって読み出された前記奥行きを示す情報とに基づいて視差が設定された、前記立体映像に重畳して表示するための重畳画像を生成する生成手段と、
前記立体映像の画像データと、前記生成手段によって生成された前記重畳画像のデータとを合成し、当該合成された立体映像の画像データを表示装置に出力する表示出力手段とを有し、
前記生成手段は、前記注目位置と前記他映像を表示する位置との位置関係の変化に応じて、前記注目位置の奥行きと前記視差との関係を変えることを特徴とする撮像装置。
【請求項１０】
立体映像撮像装置によって撮像された動画の立体映像を再生する再生装置の制御方法であって、
入力手段が、立体映像の画像データと、前記立体映像の画像データに関連付けて記録された付加データとを入力する入力ステップと、
取得手段が、前記付加データに基づいて前記立体映像における撮像時の注目位置及び該注目位置の奥行きを示す奥行き情報を取得する取得ステップと、
生成手段が、前記取得した奥行き情報が示す前記注目位置及び該注目位置の奥行きに基づいて視差が設定された、前記立体映像に重畳して表示するための前記立体映像以外の他映像の画像データを生成する生成ステップと、
重畳手段が、前記立体映像の画像データに前記生成ステップで生成された前記他映像の画像データを重畳する重畳ステップと、
表示手段が、前記他映像の画像データが重畳された前記立体映像の画像データを表示装置に出力する表示出力ステップとを有し、
前記生成ステップでは、前記注目位置と前記他映像を表示する位置との位置関係の変化に応じて、前記注目位置の奥行きと前記視差との関係を変えることを特徴とする制御方法。
【請求項１１】
動画の立体映像を撮像する撮像装置の制御方法であって、
撮像手段が、立体映像を撮像する撮像ステップと、
位置検出手段が、前記撮像手段による撮像時における前記立体映像中の注目位置の奥行きを検出する検出ステップと、
記録手段が、前記立体映像の画像データと、前記検出ステップで検出された前記注目位置の奥行きを示す情報とを記録媒体に記録する記録ステップと、
読み出し手段が、前記記録媒体に記録された前記立体映像の画像データと、前記奥行きを示す情報とを読み出す読み出しステップと、
取得手段が、前記奥行きを示す情報に基づいて、前記立体映像における撮像時の注目位置を取得する取得ステップと、
生成手段が、前記取得ステップで取得した前記注目位置と、前記読み出しステップで読み出された前記奥行きを示す情報とに基づいて視差が設定された、前記立体映像に重畳して表示するための重畳画像を生成する生成ステップと、
表示出力手段が、前記立体映像の画像データと、前記生成ステップで生成された前記重畳画像のデータとを合成し、当該合成された立体映像の画像データを表示装置に出力する表示出力ステップとを有し、
前記生成ステップでは、前記注目位置と前記他映像を表示する位置との位置関係の変化に応じて、前記注目位置の奥行きと前記視差との関係を変えることを特徴とする制御方法。
【請求項１２】
撮像装置により動画の立体映像を撮像し、再生装置において撮像した動画の立体映像を再生するシステムの制御方法であって、
前記撮像装置において、
撮像手段が、立体映像を撮像する撮像ステップと、
位置検出手段が、前記撮像手段による撮像時における前記立体映像中の注目位置の奥行きを検出する検出ステップと、
記録手段が、前記立体映像の画像データと、前記検出ステップで検出された前記注目位置の奥行きを示す情報とを記録媒体に記録する記録ステップとを行い、
前記再生装置において、
読み出し手段が、前記記録媒体に記録された前記立体映像の画像データと前記奥行きを示す情報とを読み出す読み出しステップと、
取得手段が、前記奥行きを示す情報に基づいて、前記立体映像における撮像時の注目位置を取得する取得ステップと、
生成手段が、前記取得ステップで取得した前記注目位置と、前記読み出しステップで読み出された前記奥行きを示す情報とに基づいて視差が設定された、前記立体映像に重畳して表示するための重畳画像を生成する生成ステップと、
表示出力手段が、前記立体映像の画像データと、前記生成ステップで生成された前記重畳画像のデータとを合成し、当該合成された立体映像の画像データを表示装置に出力する表示出力ステップとを有し、
前記生成ステップでは、前記注目位置と前記他映像を表示する位置との位置関係の変化に応じて、前記注目位置の奥行きと前記視差との関係を変えることを特徴とする制御方法。
【請求項１３】
コンピュータを、請求項１乃至８のいずれか１項に記載の再生装置の各手段として機能させるためのプログラム。
【請求項１４】
コンピュータに、請求項１０に記載の制御方法の各工程を実行させるためのプログラム。
【請求項１５】
請求項１３または１４に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体映像に他映像を挿入する場合に、他映像を挿入する立体映像における奥行きを設定する技術に関する。
【背景技術】
【０００２】
ディスプレイの高精彩化、大画面化やデジタル化によって、３次元表示が可能な家庭用ＴＶやヘッドマウントディスプレイが商品化されている。更に、３次元表示された映像（立体映像）に、例えば、テロップなどの他の映像を重畳して表示する技術も提案されている。
【０００３】
ここで、立体映像にテロップが重畳されている場合、注視している被写体が表示されている奥行きと、テロップが表示されている奥行きのズレが大きいと、見ている人は大きな焦点移動を強要されるために目が疲れてしまう。あるいは、テロップが出ていることにすら気付かないことがある。従って、例えば、家庭用ビデオカメラで撮影した立体映像の再生中に、外部から来た緊急速報テロップを重畳したい状況では、注視している被写体と奥行き感がずれないような視差をつけたテロップを、リアルタイムに合成することが重要である。
【０００４】
特許文献１では、編集時にテロップを付けたい奥行きにある物体を指定すると、指定された物体の座標での奥行き情報と視差情報を把握して、テロップに適切な視差を付けるテロップ発生装置が提案されている。
【０００５】
特許文献２では、放送されてきた立体表示にかかる立体映像情報に付随する文字情報を、映像中の該当する話者近傍に立体的に表示する立体映像表示装置が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−３２５１６５号公報（第８頁、図１）
【特許文献２】特開平１１−２８９５５５号公報（第８頁、図６）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の技術では、ジョイスティック等の手動操作を用いて、予め編集作業を行って物体を指示をしておかなければならないため、リアルタイムで再生映像に合成ができないという課題がある。
【０００８】
また、特許文献２の技術では、注目している被写体が音声を発していないと、文字情報を表示する奥行きを被写体の奥行きに合わせられないという課題がある。
【０００９】
本発明は上記問題点を鑑みてなされたものであり、立体映像に、該立体映像以外の他映像を重畳する場合に、自動的に見やすい奥行きに表示することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、立体映像撮像装置によって撮像された動画の立体映像を再生する本発明の再生装置は、立体映像の画像データと、前記立体映像の画像データに関連付けて記録された付加データとを入力する入力手段と、前記付加データに基づいて前記立体映像における撮像時の注目位置及び該注目位置の奥行きを示す奥行き情報を取得する取得手段と、前記取得した奥行き情報が示す前記注目位置及び該注目位置の奥行きに基づいて視差が設定された、前記立体映像に重畳して表示するための前記立体映像以外の他映像の画像データを生成する生成手段と、前記立体映像の画像データに前記生成手段によって生成された前記他映像の画像データを重畳する重畳手段と、前記重畳手段により前記他映像の画像データが重畳された前記立体映像の画像データを表示装置に出力する表示出力手段とを有し、前記生成手段は、前記注目位置と前記他映像を表示する位置との位置関係の変化に応じて、前記注目位置の奥行きと前記視差との関係を変える。
また、別の構成によれば、本発明の撮像装置は、動画の立体映像を撮像する撮像手段と、前記撮像手段による撮像時における前記立体映像中の注目位置の奥行きを検出する検出手段と、前記撮像手段によって撮像された前記立体映像の画像データと、前記検出手段によって検出された前記注目位置の奥行きを示す情報とを記録媒体に記録する記録手段と、前記記録媒体に記録された前記立体映像の画像データと、前記奥行きを示す情報とを読み出す読み出し手段と、前記奥行きを示す情報に基づいて、前記立体映像における撮像時の注目位置を取得する取得手段と、前記取得手段により取得した前記注目位置と、前記読み出し手段によって読み出された前記奥行きを示す情報とに基づいて視差が設定された、前記立体映像に重畳して表示するための重畳画像を生成する生成手段と、前記立体映像の画像データと、前記生成手段によって生成された前記重畳画像のデータとを合成し、当該合成された立体映像の画像データを表示装置に出力する表示出力手段とを有し、前記生成手段は、前記注目位置と前記他映像を表示する位置との位置関係の変化に応じて、前記注目位置の奥行きと前記視差との関係を変える。
【発明の効果】
【００１１】
本発明によれば、立体映像に該立体映像以外の他映像を重畳する場合に、自動的に見やすい奥行きに表示することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態における撮像装置の構成を示すブロック図。
【図２】立体映像の左画像と右画像との視差を説明する図。
【図３】本発明の第１の実施形態における注目位置の奥行き検出及び記録処理のフローチャート。
【図４】本発明の第１の実施形態における別の注目位置の奥行き検出及び記録処理のフローチャート。
【図５】本発明の実施の形態における再生装置の構成を示すブロック図。
【図６】本発明の第１の実施形態におけるテロップの重畳処理を示すフローチャート。
【図７】本発明の第１の実施形態における立体映像の表示状態の一例を示す図。
【図８】本発明の第１の実施形態における立体映像の表示状態の別の一例を示す図。
【図９】本発明の第１の実施形態における立体映像の表示状態の別の一例を示す図。
【図１０】本発明の第２の実施形態における注目位置検出及び記録処理のフローチャート。
【図１１】本発明の第２の実施形態におけるテロップの重畳処理を示すフローチャート。
【図１２】本発明の第３の実施形態におけるテロップの重畳処理を示すフローチャート。
【図１３】本発明の第３の実施形態における合焦位置検出処理のフローチャート。
【図１４】本発明の第３の実施形態における距離マップを説明するための図。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
【００１４】
＜第１の実施形態＞
図１は、本第１の実施形態における立体映像を撮像可能な撮像装置の構成を示すブロック図である。
【００１５】
図１において、１００は、ステレオ画像の内、左画像を撮影するためのＣＭＯＳセンサ等により構成される左撮像素子、１０１は右画像を撮影するための、同じくＣＭＯＳセンサ等により構成される右撮像素子である。左撮像素子１００及び右撮像素子１０１上に結像された被写体光学像は、光電変換されてカメラ信号処理回路１０２から左画像信号と右画像信号（画像データ）としてそれぞれ出力される。
【００１６】
カメラ信号処理回路１０２から出力された画像信号は、フォーカス制御回路１０３へと入力され、ＡＦ評価値が算出される。一方、ＡＦ用の距離センサ（図省略）からは距離情報が出力され、フォーカス制御回路１０３へと入力される。フォーカス制御回路１０３は、距離情報とＡＦ評価値とに基づいて自動焦点（ＡＦ）制御を行うと共に、焦点情報をＣＰＵ１１２へ出力する。
【００１７】
また、カメラ信号処理回路１０２から出力された画像信号は、メモリ１０４へ一時的に格納され、圧縮回路１０５によって圧縮処理されて記録媒体１０７に記録される。この圧縮、記録処理と並行して、メモリ１０４に蓄積された画像信号を、画像処理回路１０６にて最適なサイズにリサイズ処理し、顔枠等を重畳して２Ｄファインダー１０９に表示することで、リアルタイムで撮影した画像を撮影者にフィードバックする。なお、２Ｄファインダーには、左撮像素子１００もしくは右撮像素子１０１のどちらか一方により撮影された画像が表示される。
【００１８】
顔検出部１０８は、左撮像素子１００もしくは右撮像素子１０１のどちらか一方により撮影された画像から、顔を検出し、検出した顔の位置や大きさ、顔の数、顔の信頼度（確からしさ）等の顔検出情報を、ＣＰＵ１１２へ出力する。なお、顔の検出は、例えば、予め内部に記憶されたデータベース画像とテンプレートマッチング等で比較するなど、公知の方法により行うことができる。ＣＰＵ１１２は、顔検出部１０８から入力された顔の位置や大きさ、信頼度に基づいて被写体位置を決定し、フォーカス制御や、測光すべき画面内の位置を指定することが可能である。
【００１９】
撮影者視線検出装置１１０は２Ｄファインダー１０９近傍に取り付けられ、撮影者が表示中の画像の画角のどの位置を注視しているかを検出して、注視位置を示す撮影視線位置情報をＣＰＵ１１２へ出力する。なお、視線検出技術は公知であるので、詳細な説明は省略する。
【００２０】
１１１は特定位置の左画像と右画像のズレ量を検出する画像ズレ検出回路であり、検出したズレ量（視差情報）をＣＰＵ１１２へ出力する。この特定位置の左右画像のズレが、特定位置における立体映像の奥行きに相当し、奥行きに関する情報として扱われる。
【００２１】
ＣＰＵ１１２と各ブロックはバス１１３を介して接続されており、各ブロックはＣＰＵ１１２内のプログラムに従って制御される。また、ＣＰＵ１１２は、撮影視線位置の視差情報と焦点位置の視差情報と顔検出位置の視差情報とを、画像信号と関連付けて記録媒体１０７に記録する。
【００２２】
図２は左画像と右画像のズレ量（視差情報）を検出する画像ズレ検出回路１１１の動作を説明する図である。図２（ａ）は左画像、図２（ｂ）は右画像であり、左画像における注目位置Ｌ付近の左画像に右画像をずらしてマッチングが取れた位置がＲとなり、そのずらし量（ズレ量）が視差となり、奥行きを決めるのに必要な左右画像差として求められる。
【００２３】
図３（ａ）は、撮影者視線検出装置１１０による視線検出を利用した注目位置決定と奥行き検出及び記録処理を示すフローチャートであり、奥行き検出はＣＰＵ１１２により行われる。
【００２４】
まず、撮影者視線検出装置１１０により２Ｄファインダー１０９を覗く撮影者の視線検出を行い（Ｓ１１）、検出した視線の先を注目位置とする（Ｓ１２）。そして、図２のようにして、左画像と右画像のズレを検出する画像ズレ検出回路１１１が、注目位置の画素のズレ量を注目位置の奥行き情報として検出する（Ｓ１３）。検出した注目位置の奥行き情報を、映像信号と同時に関連付けられたメタデータとして記録媒体１０７に記録して（Ｓ１４）処理を終了する。
【００２５】
図３（ａ）に示す処理では、視線検出により撮影者が注視している位置を注目位置として奥行きを求めるので、後述するように、再生時にも撮影者が注視している被写体のある奥行きにテロップを挿入することができるため、見易く表示することができる。
【００２６】
図３（ｂ）は、合焦位置による注目位置決定と奥行き検出及び記録処理を示すフローチャートであり、奥行き検出はＣＰＵ１１２により行われる。図３（ｂ）では、フォーカス制御回路１０３から出力された焦点情報からレンズの合焦対象位置を求め（Ｓ２１）、求めた合焦対象位置を注目位置とする（Ｓ２２）。これ以降の処理は図３（ａ）と同様であるため、同じステップ番号を付して、ここでは説明を省略する。
【００２７】
図３（ｂ）に示す処理では、例えば、観察ビデオを撮影するような状況などで、自動焦点モードで主被写体が合焦点に来るように構図を決めたり、手動焦点モードで主被写体を合焦の対象にして撮影する場合に、合焦対象位置を注目位置として奥行きを求める。そのため、後述するように、再生時にも合焦している被写体のある奥行きにテロップを挿入できるので、見易く表示することができる。
【００２８】
図４は、顔検出部１０８の顔検出による注目位置決定と奥行き検出及び記録処理を示すフローチャートであり、奥行き検出はＣＰＵ１１２により行われる。図４では、まず、顔検出部１０８により顔検出を行い（Ｓ３１）、ＣＰＵ１１２は、得られた顔検出情報から、検出された顔が所望とする主被写体であるかどうかを撮影者に問い合わせる（Ｓ３２）。所望とする主被写体でなければＳ３１へ戻って顔検出を繰り返す。このようにすることで、撮影者は所望の主被写体が検出されるまで選択することができる。また、所望とする主被写体であれば、顔検出情報に基づく顔検出位置を注目位置とする（Ｓ３３）。これ以降の処理は図３（ａ）と同様であるため、同じステップ番号を付して、ここでは説明を省略する。
【００２９】
図４に示す処理では、例えば、多くの人が集まっている場所でビデオを撮影するような状況で、所望の顔が検出された場合にその顔の検出位置を注目位置として奥行きを求める。そのため、後述するように、再生時にも所望の顔がある奥行きにテロップを挿入できるので、見易く表示することができる。
【００３０】
なお、図４で説明した例では一つの顔を検出して、注目位置の奥行きを求めたが、複数の顔の注目位置の奥行きを記録しても構わない。
【００３１】
図５は本第１の実施形態における立体画像を再生可能な再生装置の構成を示すブロック図である。なお、記録媒体１０７は図１の記録媒体１０７と同一である。
【００３２】
記録媒体１０７から読み出して入力された画像データは、伸長回路１２０によって伸長処理されてビデオ信号処理回路１２１へ入力される。ビデオ信号処理回路１２１は左画像と右画像をそれぞれ復調して、左スーパーインポーズ回路１２７と右スーパーインポーズ回路１２８へそれぞれ出力する。
【００３３】
テロップ移動パターン選択キー１２２は、テロップを表示する奥行きに関する複数のパターン（移動パターン）の中から、視聴者がいずれか１つを選択できるようにするためのもので、選択された移動パターンに対応する選択信号をＣＰＵ１２４に出力する。移動パターンとしては、本第１の実施形態では、以下の３つのパターンを想定している。第１のパターンは、常に注目位置の奥行きと同一の奥行きにテロップを表示するパターンである。第２のパターンは、テロップの画面上の横方向の表示位置と注目位置にある被写体の画面上の横方向の表示位置とが同じ場合に、テロップを被写体よりも手前の奥行きに表示するパターンである。そして、第３のパターンは、テロップの画面上の横方向の表示位置と注目位置にある被写体とが同じ場合にのみ、被写体と同一の奥行きにテロップを表示するパターンである。なお、本発明は、上移動パターンにより限られるものではない。
【００３４】
１２３は視聴者視線検出装置であり、視聴者が表示装置１２９のどの位置を注視しているかを検出して、視聴視線位置情報をＣＰＵ１２４へ出力する。なお、視線検出技術は公知であるので、詳細な説明は省略する。
【００３５】
また、１４０は顔検出部であり、再生画像と予め内部に記憶されたデータベース画像とをテンプレートマッチング等で比較し、検出した被写体の顔の位置や大きさ、顔の数、顔の信頼度（確からしさ）等の顔検出情報をＣＰＵ１２４へ出力する。
【００３６】
左テロップ生成回路１２５は、挿入する奥行きに基づいて、右眼用と所定の視差が付いた左眼用のテロップを生成して左スーパーインポーズ回路１２７へ出力する。そして、左スーパーインポーズ回路１２７はビデオ信号処理回路１２１から出力された左画像に左テロップ生成回路１２５が出力した左眼用のテロップを挿入して、表示装置１２９へ出力する。
【００３７】
同様に、右テロップ生成回路１２６は、挿入する奥行きに基づいて、左眼用と所定の視差が付いた右眼用のテロップを生成して右スーパーインポーズ回路１２８へ出力する。そして、右スーパーインポーズ回路１２８はビデオ信号処理回路１２１から出力された右画像に右テロップ生成回路１２６が出力した右眼用のテロップを挿入して、表示装置１２９へ出力する。
【００３８】
表示装置１２９では、左スーパーインポーズ回路１２７から出力された左画像と、右スーパーインポーズ回路１２８から出力された右画像が立体表示されると共に、所定の奥行きに挿入されたテロップが表示される。
【００３９】
１３０は、左画像と右画像のズレを検出する画像ズレ検出回路であり、ズレ量を検出してＣＰＵ１２４へ出力する。
【００４０】
ＣＰＵ１２４と各ブロックはバス１３１を介して接続されており、各ブロックはＣＰＵ１２４内のプログラムに従って制御される。表示装置１２９としては、据え置き型、ヘッドマウントディスプレイ型など、型を問わず本発明を適用可能である。
【００４１】
図６は、本第１の実施形態の再生装置におけるテロップの重畳処理を示すフローチャートである。
【００４２】
まず、撮影時の視線検出位置を注目位置とするかどうかを視聴者に問い合わせ（Ｓ５１）、視線検出位置で良ければＳ５２へ進み、そうでなければＳ５３へ進む。Ｓ５２では、図３（ａ）のＳ１４で保存された、視線検出による注目位置の奥行きメタデータを取得してＳ５６へ進む。一方、Ｓ５３では、撮影時の顔検出位置を注目位置とするかどうかを問い合わせて、顔検出位置で良ければＳ５４へ進み、そうでなければＳ５５へ進む。Ｓ５４では、図４のＳ１４で保存された、顔検出による注目位置の奥行きメタデータを取得してＳ５６へ進む。また、Ｓ５５では、図３（ｂ）のＳ１４で保存された合焦位置を注目位置とした奥行きメタデータを取得してＳ５６へ進む。
【００４３】
Ｓ５６では、左テロップ生成回路１２５及び右テロップ生成回路１２６が、取得した注目位置の奥行きメタデータに基づいて、奥行きに相当する視差をつけた左右テロップをそれぞれ生成する。そして、左スーパーインポーズ回路１２７は左画像に左テロップを、また、右スーパーインポーズ回路１２８は右画像に右テロップをそれぞれ重畳して（Ｓ５７）処理を終了する。
【００４４】
図７は、テロップ移動パターン選択キー１２２により、第１のパターンが選択された場合に、図６のフローチャートで説明した動作を繰り返した時に表示される立体映像の遷移例を示す図である。上述したように、第１のパターンは、常に注目位置の奥行きと同一の奥行きにテロップを表示するパターンである。
【００４５】
図７（ａ）は表示装置１２９に表示される、テロップが重畳された左画像または右画像を示し、図７（ｂ）は図７（ａ）で表示される画像の奥行きの概念を示している。また、図７では、人物の被写体８００と樹木の被写体８０２とが写っており、図６のＳ５２（視線検出）、Ｓ５４（合焦位置）、Ｓ５５（顔検出）のいずれかにより、被写体８００の顔を注目位置とする奥行きメタデータが取得されているものとする。
【００４６】
図７に示す例では（１）〜（６）に示すように、被写体８００が手前に移動してきている。そのため、（１）〜（６）の各画像に関連づけられた注目位置の奥行きのメタデータに基づき、図７（ｂ）に示すように被写体８００と同じ奥行きにテロップ８０３が表示される。
【００４７】
図８は、テロップ移動パターン選択キー１２２により、第２のパターンが選択された場合に、図６のフローチャートで説明した動作を繰り返した時に表示される立体映像の遷移例を示す図である。上述したように、第２のパターンは、テロップの画面上の横方向の表示位置と注目位置にある被写体の画面上の横方向の表示位置とが同じ場合に、テロップを被写体よりも手前の奥行きに表示するパターンである。
【００４８】
図８（ａ）は表示装置１２９に表示される、テロップが重畳された左画像または右画像を示し、図８（ｂ）は図８（ａ）で表示される画像の奥行きの概念を示している。ここでは、図８（１）〜（６）に示すように、被写体８００が同じ奥行きで、画面の左から右に移動し、テロップ８０３は逆に画面の右から左へと移動している場合を示している。そして、テロップ８０３と被写体８００とが画面上の左右方向の同じ位置にある場合に、図８（ｂ）の（３）〜（５）に示すように、テロップ８０３を被写体８００よりも手前の奥行きに表示する。一方、異なる位置にある場合には、図８（ｂ）の（１）、（２）、（６）に示すように、テロップ８０３を被写体８００と同じ奥行きに表示する。このように、同一奥行きを避けて迂回するパターンになっている。
【００４９】
図９は、テロップ移動パターン選択キー１２２により、第３のパターンが選択された場合に、図６のフローチャートで説明した動作を繰り返した時に表示される立体映像の遷移例を示す図である。上述したように、第３のパターンは、テロップの画面上の横方向の表示位置と注目位置にある被写体の横方向の表示位置とが同じ場合にのみ、被写体と同一の奥行きにテロップを表示するパターンである。
【００５０】
図９（ａ）は表示装置１２９に表示される、テロップが重畳された左画像または右画像を示し、図９（ｂ）は図９（ａ）で表示される画像の奥行きの概念を示している。ここでは、図９（１）〜（６）に示すように、被写体８００が同じ奥行きで、画面の左から右に移動し、テロップ８０３は逆に画面の右から左へと移動している場合を示している。そして、テロップ８０３と被写体８００とが画面上の左右方向の同じ位置にある場合に、図９（ｂ）の（３）〜（５）に示すように、テロップ８０３を被写体８００と同じ奥行きに表示する。一方、異なる位置にある場合には、図９（ｂ）の（１）、（２）、（６）に示すように、テロップ８０３を被写体８００と異なる奥行きに表示する。
【００５１】
上記の通り本発明の第１の実施形態によれば、撮影時に注目位置を決め、そして注目位置の奥行き情報を求めて、撮影した立体映像の画像データと共に奥行き情報を記録媒体に記録する。そして、再生時には、記録媒体から画像データと共に奥行き情報を取得し、テロップを重畳するときは、画像データの奥行き情報に基づいて、視差を付けた左右テロップを生成し、左右画像にそれぞれ重畳する。このように表示制御することにより、立体映像の見やすい奥行きにテロップを表示することが可能となる。
【００５２】
なお、本第１の実施形態では、撮像装置において、視線検出位置、合焦対象位置、及び顔検出位置の奥行きを全て記録する場合について説明したが、本発明はこれに限るものではなく、これらの内の少なくともいずれか１つを記録するようにしても良い。その場合、図６における処理では、視線検出位置、合焦対象位置、及び顔検出位置の奥行きの内、記録されているものについて、視聴者に問い合わせするようにすればよい。
【００５３】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。上述した第１の実施形態では、撮影時に注目位置を求めてその奥行き情報を立体映像のメタデータとして記録し、再生時のテロップ表示に利用した。これに対し第２の実施形態では、撮影時に求めた注目位置を立体映像のメタデータとして記録し、再生装置側で注目位置の奥行きを求めて、その奥行きにテロップを表示する。なお、本第２の実施形態における撮像装置と再生装置の構成は、それぞれ図１及び図５を参照して説明したものと同様であるので、ここでは説明を省略する。
【００５４】
図１０（ａ）は、本第２の実施形態における撮影者視線検出装置１１０を利用した視線検出位置を注目位置の参考になるカメラ情報として記録する処理を示すフローチャートである。図１０（ａ）では、撮影者視線検出装置１１０により２Ｄファインダー１０９を覗く撮影者の視線検出を行い（Ｓ１０１）、検出した撮影者の視線検出位置の情報を画像信号に関連付けられたメタデータとして記録媒体１０７に記録して（Ｓ１０２）処理を終了する。
【００５５】
図１０（ａ）に示す処理では、視線検出により撮影者が注視している位置を記録するので、後述するように、再生時にも撮影者が注視している被写体のある奥行きにテロップを挿入することができるため、見易く表示することができる。
【００５６】
図１０（ｂ）は、本第２の実施形態における合焦位置を注目位置の参考となるカメラ情報として記録する処理を示すフローチャートである。図１０（ｂ）では、フォーカス制御回路１０３から出力された焦点情報からレンズの合焦対象位置を求め（Ｓ１１１）、求めた合焦対象位置の情報を画像信号に関連付けられたメタデータとして記録媒体１０７に記録して（Ｓ１１２）処理を終了する。
【００５７】
図１０（ｂ）に示す処理では、例えば、観察ビデオを撮影するような状況などで、自動焦点モードで主被写体が合焦点に来るように構図を決めたり、手動焦点モードで主被写体を合焦の対象にして撮影する場合に、合焦対象位置を記憶する。そのため、後述するように、再生時にも合焦している被写体のある奥行きにテロップを挿入できるので、見易く表示することができる。
【００５８】
なお、図１０（ｂ）では合焦対象情報を記録しているが、ＡＦ用の距離センサー（不図示）から出力された画面位置毎の距離情報（距離マップ）を記録しても構わない。
【００５９】
図１０（ｃ）は、本第２の実施形態における顔検出部１０８による顔検出位置を注目位置の参考となるカメラ情報として記録する処理を示すフローチャートである。図１０（ｃ）では、まず、顔検出部１０８により顔検出を行い（Ｓ１２１）、検出された顔検出位置の情報を画像信号に関連付けられたメタデータとして記録媒体１０７に記録して（Ｓ１２２）処理を終了する。
【００６０】
なお、画面内に複数の顔がある場合には、図４のＳ３２のように、検出された顔が撮影者が所望とする主被写体であるかどうかを撮影者に問い合わせるようにしてもよい。
【００６１】
また、複数の顔が検出された場合に、複数の顔検出位置の情報を記録しても構わない。
【００６２】
図１１は、本第２の実施形態の再生装置におけるテロップの重畳処理を示すフローチャートである。
【００６３】
まず、撮影時の視線検出位置を注目位置とするかどうかを視聴者に問い合わせて（Ｓ１４１）、視線検出で良ければＳ１４２へ進み、そうでなければＳ１４５へ進む。Ｓ１４２では、図１０（ａ）のＳ１０２で保存された、視線検出位置のメタデータを取得してＳ１４３へ進み、取得した視線検出位置のメタデータが示す位置を注目位置としてＳ１４４へ進む。Ｓ１４４ではこの注目位置に基づいて、上述した図２のようにして、左画像と右画像のズレを検出する画像ズレ検出回路１３０が注目位置の画素のズレ量を注目位置の奥行きとして検出し、Ｓ１５３に進む。
【００６４】
一方、Ｓ１４５では、撮影時の自動焦点モードが、顔検出優先モードか通常ＡＦ優先モードかを判断し、顔検出優先モードならＳ１４６へ進み、そうでないならＳ１４９へ進む。ここで、顔検出優先モードとは顔が検出された位置を優先的に合焦対象とするモードであり、通常ＡＦ優先モードとは、中央重点等固定位置を合焦対象とするモードである。Ｓ１４６では、図１０（ｃ）のＳ１２２で保存された、顔検出位置のメタデータを取得してＳ１４７へ進み、取得した顔検出位置のメタデータが示す位置を注目位置としてＳ１４８へ進む。Ｓ１４８ではこの注目位置に基づいて、上述した図２のようにして、左画像と右画像のズレを検出する画像ズレ検出回路１３０が注目位置の画素のズレ量を注目位置の奥行きとして検出し、Ｓ１５３に進む。
【００６５】
また、Ｓ１４９では、撮影時の顔検出位置を注目位置とするかどうかを視聴者に問い合わせて、顔検出で良ければ上述したＳ１４６へ進み、上述した処理を行う。そうでなければＳ１５０へ進み、図１０（ｂ）のＳ１１２で保存された、合焦対象位置のメタデータを取得してＳ１５１へ進み、取得した合焦対象位置のメタデータが示す位置を注目位置としてＳ１５２へ進む。Ｓ１５３ではこの注目位置に基づいて、上述した図２のようにして、左画像と右画像のズレを検出する画像ズレ検出回路１３０が注目位置の画素のズレ量を注目位置の奥行きとして検出し、Ｓ１５３に進む。
【００６６】
Ｓ１５３では、左テロップ生成回路１２５及び右テロップ生成回路１２６が、検出した注目位置の奥行きに基づいて、奥行きに相当する視差をつけた左右テロップをそれぞれ生成する。そして、左スーパーインポーズ回路１２７は左画像に左テロップを、また、右スーパーインポーズ回路１２８は右画像に右テロップをそれぞれ重畳して（Ｓ１５４）処理を終了する。
【００６７】
上記の通り本発明の第２の実施形態によれば、撮影時に視線検出位置、合焦対象位置及び顔検出位置を求め、撮影した立体映像の画像データと共に記録媒体に記録する。そして、再生時には、記録媒体から画像データと共に視線検出位置、合焦対象位置及び顔検出位置のいずれかを取得する。テロップ等を立体映像に重畳表示するときは、取得した視線検出位置、合焦対象位置及び顔検出位置のいずれかを注目位置としてその奥行きを求め、求めた奥行きに基づいて、視差を付けた左右テロップを生成し、左右画像にそれぞれ重畳する。このように表示制御することにより、立体映像の見やすい奥行きにテロップを表示することが可能となる。
【００６８】
なお、本第２の実施形態では、撮像装置において、視線検出位置、合焦対象位置、及び顔検出位置を全て記録する場合について説明したが、本発明はこれに限るものではなく、これらの内の少なくともいずれか１つを記録するようにしても良い。その場合、図１１における処理では、視線検出位置、合焦対象位置、及び顔検出位置の奥行きの内、記録されているものについて、視聴者に問い合わせするようにすればよい。
【００６９】
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。上述した第１及び第２の実施形態では、撮影時に注目位置の奥行きまたは、視線検出位置、合焦対象位置、及び顔検出位置を検出して映像と共に記録しておき、再生時にこれらの情報を利用してテロップを表示する場合について説明した。これに対し、本第３の実施形態では、再生装置において、再生時に注目位置及びその奥行きを求めて、その奥行きにテロップを表示する。なお、本第３の実施形態における撮像装置と再生装置の構成は、それぞれ図１及び図５を参照して説明したものと同様であるので、ここでは説明を省略する。
【００７０】
図１２は、本第３の実施形態の再生装置におけるテロップの重畳処理を示すフローチャートである。
【００７１】
まず、視聴者の視線検出位置を注目位置とするかどうかを視聴者に問い合わせて（Ｓ２０１）、視線検出で良ければＳ２０２へ進み、そうでなければＳ２０５へ進む。Ｓ２０２では、視聴者視線検出装置１２３（位置検出手段）により視聴者が注視している表示装置１２９の位置を検出し、検出した視線の先を注目位置とする（Ｓ２０３）。そして、画像ズレ検出回路１３０は、上述した図２のようにして、左画像と右画像のズレを検出する画像ズレ検出回路１３０が注目位置の画素のズレ量を注目位置の奥行きとして検出し、（Ｓ２０４）、Ｓ２１４に進む。。
【００７２】
一方、Ｓ２０５では、撮影時の自動焦点モードが、顔検出優先モードか通常ＡＦ優先モードかを判断し、顔検出優先モードならＳ２０６へ進み、そうでないならＳ２１０へ進む。Ｓ２０６では、顔検出部１４０（位置検出手段）により顔検出を行い、ＣＰＵ１２４は、得られた顔検出情報から、検出された顔が所望とする主被写体であるかどうかを視聴者に問い合わせる（Ｓ２０７）。所望とする主被写体でなければＳ２０６へ戻って顔検出を繰り返す。このようにすることで、視聴者は所望の主被写体が検出されるまで選択することができる。また、所望とする主被写体であれば、顔検出情報に基づく顔検出位置を注目位置とする（Ｓ２０８）。そして、検出した注目位置に基づいて、Ｓ２０４と同様にして注目位置の奥行きを検出し（Ｓ２０９）、Ｓ２１４に進む。
【００７３】
また、Ｓ２１０では、再生された画像から検出した顔の位置を注目位置とするかどうかを視聴者に問い合わせ、顔検出で良ければ上述したＳ２０６へ進み、上述した処理を行う。そうでなければＳ２１１へ進み、後述する方法（合焦位置検出）により合焦対象を検出して（Ｓ２１１）、検出した合焦対象の位置を注目位置とする（Ｓ２１２）。そして、検出した注目位置に基づいて、Ｓ２０４と同様にして注目位置の奥行きを検出し（Ｓ２１３）、Ｓ２１４に進む。
【００７４】
Ｓ２１４では、左テロップ生成回路１２５及び右テロップ生成回路１２６が、Ｓ２０４、Ｓ２０９、Ｓ２１３のいずれかで求めた注目位置の奥行きに基づいて、奥行きに相当する視差をつけた左右テロップをそれぞれ生成する。そして、左スーパーインポーズ回路１２７は左画像に左テロップを、また、右スーパーインポーズ回路１２８は右画像に右テロップをそれぞれ重畳して（Ｓ２１５）処理を終了する。
【００７５】
図１３（ａ）は図１２のＳ２１１で行う、再生時に画像信号から合焦対象を検出する処理の一例を示すフローチャートである。
【００７６】
Ｓ２２０では、画像データをＦＦＴ（高速フーリエ変換）解析してＳ２２１へ進む。Ｓ２２１では、画像のエッジが立っている高周波数成分の検出位置として取得した画像付近を合焦対象として、図１２のステップＳ２１２に進む。
【００７７】
図１３（ｂ）は図１２のＳ２１１で行う、再生時に画像信号から合焦対象を検出する処理の別の一例を示すフローチャートである。
【００７８】
Ｓ２３０では、撮影時に画像と共に記録された距離マップを取得してＳ２３１へ進み、撮影時の焦点距離を取得する。そしてＳ２３２において、距離マップから撮影時の焦点距離相当になっている画面位置を検索し、その位置を合焦対象として処理を終了する。
【００７９】
図１４は、図１３（ｂ）で説明した画像データに付随した情報である距離マップのイメージ図である。図１４（ａ）は画像のイメージで、図１４（ｂ）は対応する距離マップのイメージである。画面位置に対応する距離が記録され、ここでは、無限遠は１００、家は１０、木は５、人は３というように、距離数値が記録されている。
【００８０】
上記の通り本発明の第３の実施形態によれば、撮影時に注目位置等に関する情報が何も記録されていなくても、立体映像の見易い奥行きにテロップを表示することが可能となる。
【００８１】
なお、上記第１から第３の実施形態ではテロップを重畳するものとして説明しているが、重畳するものは文字に限らず、例えば、アイコン等、立体映像以外の他映像であってもよい。
【００８２】
また、上記第１から第３の実施形態では、人の顔を主被写体として検出する場合について説明したが、本発明はこれに限るものではなく、予め決められた、例えば、車、ペットなどの被写体を検出するようにしても良い。
【００８３】
＜他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
0005620651.tif 000002
【図２】
0005620651.tif 000003
【図３】
0005620651.tif 000004
【図４】
0005620651.tif 000005
【図５】
0005620651.tif 000006
【図６】
0005620651.tif 000007
【図７】
0005620651.tif 000008
【図８】
0005620651.tif 000009
【図９】
0005620651.tif 000010
【図１０】
0005620651.tif 000011
【図１１】
0005620651.tif 000012
【図１２】
0005620651.tif 000013
【図１３】
0005620651.tif 000014
【図１４】
0005620651.tif 000015