(57)【要約】【課題】撮影手法によっては、距離マップと撮影画像データの関連性が低くなってしまい、撮影画像データの編集時に意図しない動作を引き起こし、距離マップの有用性を損なう場合がある。【解決手段】距離マップ情報を保存できる記録装置であって、入力映像を受信する映像入力手段と、入力データの符号化を行う符号化手段と、距離マップ情報を生成するマップ生成手段と、撮影条件を判断する撮影条件判断手段と、撮影条件から生成された距離マップ情報の信頼性を判断する信頼性判断手段と、を有し、信頼性判断手段によって判断された信頼性に応じて、前記マップ生成手段による距離マップ情報の生成方法を切り替えることを特徴とする。【選択図】図１
2016213766.tif 000002
【特許請求の範囲】
【請求項１】
距離マップ情報を保存できる記録装置であって、
入力映像を受信する映像入力手段と、
入力データの符号化を行う符号化手段と、
距離マップ情報を生成するマップ生成手段と、
撮影条件を判断する撮影条件判断手段と、
撮影条件から生成された距離マップ情報の信頼性を判断する信頼性判断手段と、
を有し、
信頼性判断手段によって判断された信頼性に応じて、
前記マップ生成手段による距離マップ情報の生成方法を切り替えることを特徴とする記録装置。
【請求項２】
前記映像入力手段は、露光時間の算出と、露光中のカメラの動きの検知と、ズームリング操作の検知と、受信映像内のオブジェクト認識の処理を行うことを特徴とする請求項１に記載の記録装置。
【請求項３】
前記信頼性判断手段によって信頼性があると判断された場合に前記マップ生成手段は、距離マップ情報を生成し、信頼性がないと判断された場合に前記マップ生成手段は、距離マップ情報を生成しないことを特徴とする請求項１又は請求項２に記載の記録装置。
【請求項４】
前記信頼性判断手段によって信頼性があると判断された場合に前記マップ生成手段は、距離マップ情報の分解能を小さくし、信頼性がないと判断された場合に前記マップ生成手段は、距離マップ情報の分解能を大きくすることを特徴とする請求項１又は請求項２に記載の記録装置。
【請求項５】
前記信頼性判断手段は、露光時間が閾値以上の場合は、信頼性がないと判断し、閾値未満の場合は、信頼性があると判断することを特徴とする請求項１乃至請求項４の何れか一項に記載の画像再生装置。
【請求項６】
前記信頼性判断手段は、露光中にカメラの動きがあった場合は、信頼性がないと判断し、
なかった場合は、信頼性があると判断することを特徴とする請求項１乃至請求項４の何れか一項に記載の画像再生装置。
【請求項７】
前記信頼性判断手段は、露光中にズームリングの操作があった場合は、信頼性がないと判断し、なかった場合は、信頼性があると判断することを特徴とする請求項１乃至請求項４の何れか一項に記載の画像再生装置。
【請求項８】
前記信頼性判断手段は、撮影モードがポートレートモードかスポーツモードかマクロモードの場合は、信頼性があると判断し、花火モードか風景モードの場合は、信頼性がないと判断することを特徴とする請求項１乃至請求項４の何れか一項に記載の画像再生装置。
【請求項９】
前記信頼性判断手段は、オブジェクトが検出された場合は、信頼性があると判断し、オブジェクトが検出されなかった場合は、信頼性がないと判断することを特徴とする請求項１乃至請求項４の何れか一項に記載の画像再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラなどで撮影する画像データに付加される画像データ型メタ情報、主に奥行き距離情報（Ｄｅｐｔｈ  Ｍａｐ）を記録する機能を有する記録装置に関する。
【背景技術】
【０００２】
近年、カメラの撮影画像データのメタ情報として、奥行きの距離情報を表す距離マップを記録し、これを撮影画像データの編集などに活用することが検討されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−０９３７１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
距離マップは、カメラから被写体までの距離情報を撮影画像データの画素ごとに数値化したものである。距離マップの活用方法として、撮影画像データの撮影後のピント合わせや、光源の移動、特定被写体の摘出などの補助があげられる。
【０００５】
距離マップは、撮影画像データの編集などに使用されるため、距離マップと撮影画像データの間には関連性があることが求められる。
【０００６】
また、カメラの撮影方法として、露光時間を長くし、車のライトや星の軌跡を線のように撮影する長時間露光撮影がある。長時間露光撮影では、通常の撮影と違い、撮像センサーに光が当たる時間が長くなるため、露光中に被写体が動くと被写体の動きが繋がっているように撮影される。
【０００７】
例えば、長時間露光撮影中に被写体が手前から奥に移動するような動きをした場合、最終的な被写体の位置は奥になるが、撮影画像データとしては手前にいた時点の画も重なるため、奥行きの距離情報は手前にいた時点の距離情報がとれる。
【０００８】
このように撮影手法によっては、距離マップと撮影画像データの関連性が低くなってしまい、撮影画像データの編集時に意図しない動作を引き起こし、距離マップの有用性を損なう場合がある。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明は、
距離マップ情報を保存できる記録装置であって、
入力映像を受信する映像入力手段と、
入力データの符号化を行う符号化手段と、
距離マップ情報を生成するマップ生成手段と、
撮影条件を判断する撮影条件判断手段と、
撮影条件から生成された距離マップ情報の信頼性を判断する信頼性判断手段と、
を有し、
信頼性判断手段によって判断された信頼性に応じて、
前記マップ生成手段による距離マップ情報の生成方法を切り替えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、距離マップを記録する機能を有した記録装置で、撮影画像データと関連性がある距離マップのみを生成することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明のシステム構成図である。
【図２】実施例１の記録処理手順を示した図である。
【図３】実施例２の記録処理手順を示した図である。
【図４】撮影条件と距離マップの信頼性の関係を示した図である。
【図５】距離マップの分解能を説明した図である。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態を図面に基づいて説明する。
【実施例１】
【００１３】
本実施例では、撮影条件から距離マップの信頼性を判断し、信頼性が低いと判断された場合は、距離マップを生成しない例について説明する。
【００１４】
＜ブロック図説明＞
図１は本実施形態に適応したシステム構成図である。
【００１５】
符号１０１の制御部と、符号１０２の符号化部と、符号１０３のマップ生成部と、符号１０４の撮影条件保持部と、符号１０５の一時蓄積部と、符号１０６の記録媒体制御部と、符号１０７の記録媒体と、符号１０８のカメラ部と、符号１０９のバスを備えている。
【００１６】
符号１０１は、制御部であり、システム全体の制御を行う。制御部１０１は、撮影条件の判断と、撮影条件から距離マップの信頼性が高いか低いかの判断を行う。また、距離マップの信頼性に応じて、距離マップを生成するかしないかの判断を行う。
【００１７】
符号１０２は、符号化部であり、カメラ部１０８からの信号を符号化し、一時蓄積部１０５に符号化結果を出力する。
【００１８】
符号１０３は、マップ生成部であり、カメラ部１０８からの信号の各画素の距離情報を持つ距離マップを生成し、一時蓄積部１０５に生成した距離マップを出力する。
【００１９】
符号１０４は、撮影条件保持部であり、撮影時の条件を保持する。撮影時の条件とは、例えば、露光時間、露光中のカメラの動きの有無、ズームリングの操作有無、撮影モード（ポートレートモード、花火モードなど）、撮影画像データ内のオブジェクトの有無などを保持する。
【００２０】
符号１０５は、一時蓄積部であり、符号化結果や距離マップを一時的に格納する。
符号１０６は、記録媒体制御部であり、記録媒体１０７への書き込み、読み込み処理を制御する。
【００２１】
符号１０７は、記録媒体であり、符号化結果や距離マップなどを格納する。
【００２２】
符号１０８は、カメラ部であり、入力されるアナログ画像を受ける。カメラ部１０８は、露光時間の計算、露光中のカメラの動きの検知、ズームリングの操作の有無の検知、入力画像内のオブジェクト認識処理を行う。カメラ部１０８は、前記情報を制御部１０１に通知する。
【００２３】
符号１０９は、バスであり、各ブロック間のデータの受け渡しを行う。
【００２４】
＜全体処理説明＞
次に、図２を用いて、距離マップの信頼性から距離マップを生成するかしないかを判断する記録処理手順について説明する。
【００２５】
図２は記録処理手順を示す図である。本実施例では、撮影モードから距離マップの信頼性を判断する。
【００２６】
Ｓ２０１において、ユーザーは図示していない操作部を介して、撮影条件を設定する。設定する条件として例えば、撮影モードを設定する。本実施例では、撮影モードは「ポートレートモード」を設定する。制御部１０１は、ユーザーが設定した撮影モードを撮影条件保持部１０４に通知する。
【００２７】
Ｓ２０２において、制御部１０１は、カメラ部１０８から通知される撮影条件に更新があれば、更新された情報を撮影条件保持部１０４に通知する。更新する情報として例えば、露光時間、露光中のカメラの動きの有無、ズーム操作の有無、オブジェクトの有無などを更新する。カメラ部１０８に蓄積された電荷がリセットされたら、撮影モード以外の更新した条件も同様にリセットする。
【００２８】
Ｓ２０３において、制御部１０１は、ユーザーが図示していない操作部を介して、シャッターボタンを押したかを判断する。シャッターボタンが押された場合は、Ｓ２０４に進む。シャッターボタンが押されていない場合は、Ｓ２０２に戻り、撮影条件の更新処理を実行する。
【００２９】
Ｓ２０４において、制御部１０１は、撮影条件保持部１０４から撮影時の条件を取得する。
【００３０】
Ｓ２０５において、制御部１０１は、Ｓ２０４で取得した撮影時の条件から距離マップの信頼性を判断する。信頼性が高いと判断された場合は、Ｓ２０６に進む。信頼性が低いと判断された場合は、Ｓ２０７に進む。
【００３１】
本実施例では、距離マップの信頼性の判断を図４−１のテーブルを用いて判断する。図４−１は、撮影モードと距離マップの信頼性の対応を示した図である。「花火モード」や「風景モード」は、景色の撮影に利用されることが多いため、距離マップが正確に取得できない場合が考えられる。よって、信頼性が低いと判断される。「ポートレートモード」、「マクロモード」、「スポーツモード」は特定の被写体が写りこむ可能性が高いと考えられるため、距離マップの信頼性が高いと判断される。本実施例では、撮影モードは、「ポートレートモード」に設定されているので、距離マップの信頼性は高いと判断される。
【００３２】
Ｓ２０６において、制御部１０１は、マップ生成部１０３に対してカメラ部１０８からの信号から距離マップを生成するように指示する。マップ生成部１０３は、ユーザーがシャッターボタンを押したタイミングの入力画像から距離マップを生成し、一時蓄積部１０５に出力する。
【００３３】
Ｓ２０７において、制御部１０１は、符号化部１０２にカメラ部１０８からの信号を符号化するように指示する。符号化部１０２は、ユーザーがシャッターボタンを押したタイミングの入力画像を符号化し、一時蓄積部１０５に出力する。
【００３４】
Ｓ２０８において、制御部１０１は、記録媒体制御部１０６に対して、一時蓄積部１０５に格納されている符号化後の画像データと距離マップを記録媒体１０７に格納するように指示をする。
【００３５】
記録媒体制御部１０６は、制御部１０１に指示されたデータを記録媒体１０７に格納する。
【００３６】
以上で、記録処理の説明を終了する。
【００３７】
以上の処理の結果、記録媒体１０７には、符号化された画像データと信頼性が高いと判断された距離マップが保存された。
【００３８】
本実施例では、撮影モードから距離マップの信頼性を判断したが、他の撮影条件から距離マップの信頼性を判断してもよい。例えば、露光時間から信頼性を判断する場合は、閾値をＮ秒とあらかじめ設定しておき、
撮影時の露光時間  ＞＝  Ｎ秒
なら信頼性は低く、
撮影時の露光時間  ＜  Ｎ秒
なら信頼性は高いと判断する（図４−２）。
【００３９】
露光中のカメラの動きで判断する場合は、カメラの動きがあったなら信頼性は低く、カメラの動きがなかったなら信頼性は高いと判断する（図４−３）。
【００４０】
露光中のズーム操作の有無で判断する場合は、ズーム操作があったなら信頼性は低く、ズーム操作がなかったなら信頼性は高いと判断する（図４−４）。
【００４１】
撮影画像データ内のオブジェクトの有無で判断する場合は、オブジェクト検出があったなら信頼性は高く、オブジェクト検出がなかったなら信頼性は低いと判断する（図４−５）。
【００４２】
これらの条件を組み合わせて信頼性の判断を行ってもよい。例えば、図４−６では、露光時間とカメラの動きの２つの条件をみて信頼性を判断している。
【００４３】
既存技術として距離マップのエリアごとの信頼性を表す信頼度マップがある。本実施例で撮影条件から判断した信頼性を、信頼度マップにフィードバックしてもよい。例えば、撮影条件から判断された距離マップの信頼性が高い場合は、信頼度マップ全体に信頼度を増加させ、信頼性が低い場合は、信頼度マップ全体に信頼度を減少させるように実装しても良い。
【００４４】
＜まとめ＞
以上説明したように、本発明に係る記録装置によれば、撮影条件から距離マップの信頼性を判断し、信頼性が高い場合は、距離マップは保存され、信頼性が低い場合は、距離マップは保存されない。結果、撮影画像データと関連性がある距離マップのみが保存され、信頼性が低い距離マップによる編集での誤動作が軽減される。
【実施例２】
【００４５】
本実施例では、撮影条件から距離マップの信頼性を判断し、信頼性によって距離マップ生成時の分解能を変化させる例について説明する。
【００４６】
本実施例のシステム構成は、実施例１の構成である図１と同様である。
【００４７】
本実施例では、マップ生成部１０３は、取得する距離情報の分解能を設定できるものとする。分解能とは、距離の精度を表す。例えば、分解能を大きくするとメートル単位で距離を取得し、分解能を小さくするとセンチメートル単位で距離を取得する。
【００４８】
＜全体処理説明＞
図３を用いて、距離マップの信頼性から距離マップの分解能を変化させる記録処理手順について説明する。
【００４９】
図３は記録処理手順を示す図である。
【００５０】
Ｓ３０６とＳ３０７以外の処理は、実施例１の図２と同様なものなので説明は省略する。
【００５１】
本実施例では、実施例１と同様に撮影モードは「ポートレートモード」とし、信頼性の判断は、図４−１のテーブルを使用するものとする。
【００５２】
Ｓ３０５において、信頼性が高いと判断された場合は、Ｓ３０６に進む。信頼性が低いと判断された場合は、Ｓ３０７に進む。本実施例では、図４−１から信頼性は高いと判断される。
【００５３】
Ｓ３０６において、制御部１０１は、マップ生成部１０３にカメラ部１０８からの信号から距離マップを生成するように指示する。このとき制御部１０１は、分解能を小さくするようにマップ生成部１０３に指示する（図５−１）。マップ生成部１０３は、ユーザーがシャッターボタンを押したタイミングの入力画像から距離マップを、分解能を小さくして生成し、一時蓄積部１０５に出力する。
【００５４】
Ｓ３０７において、制御部１０１は、マップ生成部１０３にカメラ部１０８からの信号から距離マップを生成するように指示する。このとき制御部１０１は、分解能を大きくするようにマップ生成部１０３に指示する（図５−２）。マップ生成部１０３は、ユーザーがシャッターボタンを押したタイミングの入力画像から距離マップを、分解能を大きくして生成し、一時蓄積部１０５に出力する。
【００５５】
以上で、記録処理の説明を終了する。
【００５６】
以上の処理の結果、記録媒体１０７には、符号化された画像データと分解能が小さい距離マップが保存された。
【００５７】
＜まとめ＞
以上説明したように、本発明に係る記録装置によれば、撮影条件から距離マップの信頼性を判断し、信頼性が高い場合は、分解能が小さい距離マップが生成され、信頼性が低い場合は、分解能が大きい距離マップが生成される。結果、撮影画像データと関連性が低い距離マップでも撮影画像データ内の大まかな距離情報を残すことで、距離マップの有用性を保つことができる。
【００５８】
以上説明した実施例１、２は、適宜組み合わせて実装しても良い。
【符号の説明】
【００５９】
１０１  制御部、１０２  符号化部、１０３  マップ生成部、１０４  撮影条件保持部、
１０５  一時蓄積部、１０６  記録媒体制御部、１０７  記録媒体、１０８  カメラ部、
１０９  バス
【図１】
2016213766.tif 000003
【図２】
2016213766.tif 000004
【図３】
2016213766.tif 000005
【図４】
2016213766.tif 000006
【図５】
2016213766.tif 000007