(57)【要約】【課題】  主被写体と雑被写体との視認性を確実に変化させて主被写体の視認性を向上させる。【解決手段】  画像処理装置は、表示部に表示する画像に関するデプスマップに基づいて、上記画像中の所定の距離範囲である対象距離範囲内の画像部分と上記対象距離範囲外の画像部分とを判定する距離判定部と、上記距離判定部の判定結果に基づいて、少なくとも上記対象距離範囲外の画像部分について視認性を単調化させる画像処理を施して上記表示部に表示させる画像処理部とを具備する。【選択図】図１
2019176249.tif 000002
【特許請求の範囲】
【請求項１】
表示部に表示する画像に関するデプスマップに基づいて、上記画像中の所定の距離範囲である対象距離範囲内の画像部分と上記対象距離範囲外の画像部分とを判定する距離判定部と、
上記距離判定部の判定結果に基づいて、少なくとも上記対象距離範囲外の画像部分について視認性を単調化させる画像処理を施して上記表示部に表示させる画像処理部と
を具備したことを特徴とする画像処理装置。
【請求項２】
上記表示部に表示する画像中の被写体を検出する画像分析部を更に具備し、
上記距離判定部は、上記画像分析部が検出した各被写体について、上記対象距離範囲内に存在するか上記対象距離範囲外に存在するかを判定し、
上記画像処理部は、上記距離判定部の判定結果に基づいて、少なくとも上記対象距離範囲外の被写体の画像部分について視認性を単調化させる画像処理を施す
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記距離判定部は、上記画像分析部が検出した被写体中の主被写体の被写体距離を含む上記対象距離範囲が設定される
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
上記画像分析部が検出した各被写体について、上記画像内の動きを追尾する追尾部を更に具備し、
上記距離判定部は、上記追尾部により追尾された上記主被写体の被写体距離に応じて上記対象距離範囲が設定される
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
上記主被写体は、ユーザ操作によって指定される
ことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
上記距離判定部は、上記主被写体から雑被写体までの距離に応じて上記対象距離範囲が設定される
ことを特徴とする請求項３に記載の画像処理装置。
【請求項７】
上記画像処理部は、上記対象距離範囲外の画像部分を非可視化し、上記対象距離範囲内の画像部分のみを可視化する画像処理を施す
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
上記デプスマップを作成するデプスマップ作成部
を更に具備することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
請求項１に記載の画像処理装置と、
上記表示部と、
上記表示部に表示する画像を撮像する撮像部と
を具備することを特徴とする撮像装置。
【請求項１０】
上記撮像部は、上記デプスマップを作成するためのステレオ画像を取得する
ことを特徴とする請求項９に記載の撮像装置。
【請求項１１】
上記距離判定部は、外部機器によって取得された上記デプスマップを受信して上記対象距離範囲内の画像部分と上記対象距離範囲外の画像部分と判定する
ことを特徴とする請求項９に記載の撮像装置。
【請求項１２】
表示部に表示する画像に関するデプスマップに基づいて、上記画像中の所定の距離範囲である対象距離範囲内の画像部分と上記対象距離範囲外の画像部分とを判定する距離判定手順と、
上記距離判定部の判定結果に基づいて、少なくとも上記対象距離範囲外の画像部分について視認性を単調化させる画像処理を施して上記表示部に表示させる画像処理手順と
を具備したことを特徴とする画像処理方法。
【請求項１３】
コンピュータに、
表示部に表示する画像に関するデプスマップに基づいて、上記画像中の所定の距離範囲である対象距離範囲内の画像部分と上記対象距離範囲外の画像部分とを判定する距離判定手順と、
上記距離判定部の判定結果に基づいて、少なくとも上記対象距離範囲外の画像部分について視認性を単調化させる画像処理を施して上記表示部に表示させる画像処理手順と
を実行させるための画像処理プログラム。
【請求項１４】
表示部に表示する画像に関するデプスマップに基づいて、上記画像中の所定の距離範囲である対象距離範囲内の画像部分と上記対象距離範囲外の画像部分とを判定する距離判定部と、
上記表示部に表示する画像中の被写体を検出する画像分析部と、
上記画像分析部が検出した特定被写体の上記画像内の動きを追尾する追尾部と、
上記距離判定部の判定結果に基づいて、少なくとも上記対象距離範囲外の画像部分について視認性を単調化させる画像処理を施して上記表示部に表示させるものであって、上記追尾部が追尾中の特定被写体については上記対象距離範囲外であっても上記視認性を単調化させる画像処理の対象外とする画像処理部と、
を具備したことを特徴とする画像処理装置。
【請求項１５】
上記距離判定部は、上記画像分析部が検出した被写体中の主被写体の被写体距離が含まれるように上記主被写体の動きに合わせた上記対象距離範囲が設定される
ことを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
表示部に表示する画像に関するデプスマップに基づいて、上記画像中の所定の距離範囲である対象距離範囲内の画像部分と上記対象距離範囲外の画像部分とを判定する距離判定ステップと、
上記表示部に表示する画像中の被写体を検出する画像分析ステップと、
上記画像分析ステップが検出した特定被写体の上記画像内の動きを追尾する追尾ステップと、
上記距離判定ステップにおける判定結果に基づいて、少なくとも上記対象距離範囲外の画像部分について視認性を単調化させる画像処理を施して上記表示部に表示させるステップであって、追尾中の上記特定被写体については上記対象距離範囲外であっても上記視認性を単調化させる画像処理の対象外とする画像処理ステップと、
を具備したことを特徴とする画像処理方法。
【請求項１７】
コンピュータに、
表示部に表示する画像に関するデプスマップに基づいて、上記画像中の所定の距離範囲である対象距離範囲内の画像部分と上記対象距離範囲外の画像部分とを判定する距離判定ステップと、
上記表示部に表示する画像中の被写体を検出する画像分析ステップと、
上記画像分析ステップが検出した特定被写体の上記画像内の動きを追尾する追尾ステップと、
上記距離判定ステップにおける判定結果に基づいて、少なくとも上記対象距離範囲外の画像部分について視認性を単調化させる画像処理を施して上記表示部に表示させるステップであって、追尾中の上記特定被写体については上記対象距離範囲外であっても上記視認性を単調化させる画像処理の対象外とする画像処理ステップと、
を実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、主被写体の視認性を向上させるようにした画像処理装置、画像処理方法、画像処理プログラム及び撮像装置に関する。
【背景技術】
【０００２】
近年、デジタルカメラやスマートフォンなどの撮影機能付き携帯機器（撮像装置）が普及している。この種の撮像装置においては表示部を備えて、撮像画像を表示する機能を有するものもある。
【０００３】
しかしながら、デジタルカメラやスマートフォン等の携帯機器においては、表示パネルのサイズが比較的小さく、表示パネルの画面上で撮影対象を確認しにくい。表示された画像が比較的小さいという点に加え、表示パネルに外光が当たって反射したりして、特に雑然としたシーンでは撮像対象物が見えにくくなる、という問題もあった。
【０００４】
そこで、特許文献１においては、ピントの合った被写体とピントの合っていない被写体との判別を容易にして、ピントを合わせ易くする技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−５０５９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の技術では、撮像対象となる主被写体の絵柄と背景となる被写体（雑被写体）の絵柄とによっては雑被写体の影響により主被写体が見難くなる問題は解決できない。
【０００７】
本発明は、主被写体と雑被写体との視認性に差異を持たせ主被写体の視認性を向上させることができる画像処理装置、画像処理方法、画像処理プログラム及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様による画像処理装置は、表示部に表示する画像に関するデプスマップに基づいて、上記画像中の所定の距離範囲である対象距離範囲内の画像部分と上記対象距離範囲外の画像部分とを判定する距離判定部と、上記距離判定部の判定結果に基づいて、少なくとも上記対象距離範囲外の画像部分について視認性を単調化させる画像処理を施して上記表示部に表示させる画像処理部とを具備する。
【０００９】
また、本発明の一態様による撮像装置は、上記画像処理装置と、上記表示部と、上記表示部に表示する画像を撮像する撮像部とを具備する。
【００１０】
また、本発明の一態様による画像処理方法は、表示部に表示する画像に関するデプスマップに基づいて、上記画像中の所定の距離範囲である対象距離範囲内の画像部分と上記対象距離範囲外の画像部分とを判定する距離判定手順と、上記距離判定部の判定結果に基づいて、少なくとも上記対象距離範囲外の画像部分について視認性を単調化させる画像処理を施して上記表示部に表示させる画像処理手順とを具備する。
【００１１】
また、本発明の一態様による画像処理プログラムは、コンピュータに、表示部に表示する画像に関するデプスマップに基づいて、上記画像中の所定の距離範囲である対象距離範囲内の画像部分と上記対象距離範囲外の画像部分とを判定する距離判定手順と、上記距離判定部の判定結果に基づいて、少なくとも上記対象距離範囲外の画像部分について視認性を単調化させる画像処理を施して上記表示部に表示させる画像処理手順とを実行させる。
【００１２】
また、本発明の他の態様による画像処理装置は、表示部に表示する画像に関するデプスマップに基づいて、上記画像中の所定の距離範囲である対象距離範囲内の画像部分と上記対象距離範囲外の画像部分とを判定する距離判定部と、上記表示部に表示する画像中の被写体を検出する画像分析部と、上記画像分析部が検出した特定被写体の上記画像内の動きを追尾する追尾部と、上記距離判定部の判定結果に基づいて、少なくとも上記対象距離範囲外の画像部分について視認性を単調化させる画像処理を施して上記表示部に表示させるものであって、上記追尾部が追尾中の特定被写体については上記対象距離範囲外であっても上記視認性を単調化させる画像処理の対象外とする画像処理部と、を具備する。
【００１３】
また、本発明の他の態様による画像処理方法は、表示部に表示する画像に関するデプスマップに基づいて、上記画像中の所定の距離範囲である対象距離範囲内の画像部分と上記対象距離範囲外の画像部分とを判定する距離判定ステップと、上記表示部に表示する画像中の被写体を検出する画像分析ステップと、上記画像分析ステップが検出した特定被写体の上記画像内の動きを追尾する追尾ステップと、上記距離判定ステップにおける判定結果に基づいて、少なくとも上記対象距離範囲外の画像部分について視認性を単調化させる画像処理を施して上記表示部に表示させるステップであって、追尾中の上記特定被写体については上記対象距離範囲外であっても上記視認性を単調化させる画像処理の対象外とする画像処理ステップと、を具備する。
【００１４】
また、本発明の他の態様による画像処理プログラムは、コンピュータに、表示部に表示する画像に関するデプスマップに基づいて、上記画像中の所定の距離範囲である対象距離範囲内の画像部分と上記対象距離範囲外の画像部分とを判定する距離判定ステップと、上記表示部に表示する画像中の被写体を検出する画像分析ステップと、上記画像分析ステップが検出した特定被写体の上記画像内の動きを追尾する追尾ステップと、上記距離判定ステップにおける判定結果に基づいて、少なくとも上記対象距離範囲外の画像部分について視認性を単調化させる画像処理を施して上記表示部に表示させるステップであって、追尾中の上記特定被写体については上記対象距離範囲外であっても上記視認性を単調化させる画像処理の対象外とする画像処理ステップと、を実行させる。
【発明の効果】
【００１５】
本発明によれば、主被写体と雑被写体との視認性に差異を持たせ主被写体の視認性を向上させることができるという効果を有する。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施の形態に係る画像処理装置が組み込まれた撮像装置の回路構成を示すブロック図。
【図２Ａ】一般的な撮像装置によって得られた撮像画像を示す説明図。
【図２Ｂ】一般的な撮像装置によって得られた撮像画像を示す説明図。
【図２Ｃ】一般的な撮像装置によって得られた撮像画像を示す説明図。
【図３Ａ】視認性強調画像を説明するための説明図。
【図３Ｂ】視認性強調画像を説明するための説明図。
【図３Ｃ】視認性強調画像を説明するための説明図。
【図４】図１中の距離分布情報取得部２３の一例を示す説明図
【図５Ａ】図１中の距離分布情報取得部２３の一例を示す説明図
【図５Ｂ】図１中の距離分布情報取得部２３の一例を示す説明図
【図５Ｃ】図１中の距離分布情報取得部２３の一例を示す説明図
【図６】デプスマップ作成部１２ｂにおけるデプスマップの作成方法の一例を示すフローチャート。
【図７】画像処理装置１０の処理を説明するためのフローチャート。
【図８】視認性強調画像を説明するための説明図。
【図９】本発明の第２の実施の形態を示すブロック図。
【図１０Ａ】撮像装置１０の動作を示すフローチャート。
【図１０Ｂ】撮像装置１０の動作を示すフローチャート。
【図１１】情報端末装置３０の動作を示すフローチャート。
【図１２】第２の実施の形態の動作を説明するための説明図。
【図１３】第２の実施の形態の動作を説明するための説明図。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【００１８】
（第１の実施の形態）
図１は本発明の第１の実施の形態に係る画像処理装置が組み込まれた撮像装置の回路構成を示すブロック図である。本実施の形態においては、被写体までの距離（以下、被写体距離という）の分布を示すデプスマップ（距離画像）を利用し、被写体距離が所定の距離範囲（以下、対象距離範囲という）に属する被写体（以下、対象距離内被写体という）と対象距離範囲に属さない被写体（以下、対象距離外被写体という）とで画像処理により視認性を確実に異ならせるものである。例えば、本実施の形態においては、主被写体までの被写体距離を含む所定の対象距離範囲に属する対象距離内被写体のみを可視化し、対象距離範囲に属さない他の対象距離外被写体は非可視化とすることにより、主被写体の視認性を著しく向上させることもできる。
【００１９】
例えば、鳥を主被写体として撮像しようとしても、背景である森等の影響によって、鳥の画像は画面上では見難く、撮影範囲に鳥を捉えておくことが困難な場合がある。或いは、徒競走中の走者を主被写体として撮像する場合等においても、観客等の背景の影響によって走者の画像は画面上で見難くなり、走者の撮影が困難な場合がある。
【００２０】
即ち、本実施の形態においては、少なくとも対象距離外被写体については例えば視認性を低減させる処理を行う。視認性を低減させる処理としては、コントラストを低下させる処理、ぼかし処理、彩度を低下させる処理等があり、最も顕著な処理として非可視化が考えられる。
【００２１】
また、非可視化として真っ黒にするような処理は、画面上にくっきりと見えるので画面全体としては視認性が低下したとは言えないが、まるで衝立のような単純化、単調化した表示になり、前後の衝立の間を通る特定対象物である主被写体と衝立との画像表現が異なるので主被写体がよく見えるようになる。それを反対に考えると特定対象物の他の部分が何であるかを識別困難として、その他の部分の視認性を落とした、という言い方ができる。本願で、単調な表現にした部分の処理の効果を視認性の低下とか悪化とかを使うのはそういう意味を込めたものである。特定対象物以外はその画像表現を単純化、単調化して異ならせるために、特定対象物以外が何であるかをいちいち意識しなくてもよい。そのような表示手法を採用することで、リアルに表示される対象物を際立たせ、画面内の画像表現の差別化（部分適応型画像処理）をして観察や追跡や撮影が容易にできるようにしている。
【００２２】
なお、本実施の形態は、距離分布に応じて視認性あるいは識別性を変化させ、対象距離内被写体と対象距離外被写体とで視認性、画像表現を異ならせればよい。さらに、主対象物が置かれた環境によって、雑被写体の配置や主被写体との関係、またそれらの動きによって、どうすれば見易くなるかは変わる場合があるため、そのシーンに応じて画像処理を異ならせるような工夫を行うことが考えられ、時には対象距離内被写体についてむしろ視認性を向上させるための強調表示等の特殊効果処理が行われることもある。このシーン判定には、画像の分析を行ってもよく、デプスマップを使ってもよい。
【００２３】
本実施の形態は、対象距離内被写体を目立たせて見やすくすることを目的としており、以下の説明ではこの目的のために、対象距離内被写体の視認性を良好にさせるための画像処理だけでなく、対象距離外被写体の視認性を低減又は単調化させる画像処理についても視認性強調処理と言い、視認性強調処理による画像を視認性強調画像と言うものとする。
【００２４】
図２Ａから図２Ｃ及び図３Ａから図３Ｃの説明図を参照して、本実施の形態による視認性強調画像の概要について説明する。図２Ａ〜図２Ｃは、一般的な撮像装置によって徒競走を撮影して得られた撮像画像を示している。図２Ａ〜図２Ｃでは、撮像装置の手前側の複数の観客と奥側の複数の観客との間に主被写体となる複数の走者が存在する。
【００２５】
図２Ａの撮像画像は、手前側の複数の観客の画像４３ａと奥側の複数の観客の画像４２ａとの間に複数の走者の画像４１ａが含まれている。図２Ｂは図２Ａの撮影時から所定の時間経過後の撮像画像を示し、図２Ｃは図２Ｂの撮影時から所定の時間経過後の撮像画像を示している。
【００２６】
図２Ｂの撮像画像は、手前側の複数の観客の画像４３ｂと奥側の複数の観客の画像４２ｂとの間に複数の走者の画像４１ｂが含まれている。図２Ｃの撮像画像は、手前側の複数の観客の画像４３ｃと奥側の複数の観客の画像４２ｃとの間に複数の走者の画像４１ｃが含まれている。
【００２７】
図２Ａ〜図２Ｃの例では、各走者の画像４１ａ〜４１ｃ（代表して画像４１という）は、距離的には手前側の観客の画像４３ａ〜４３ｃ（代表して画像４３という）と奥側の観客の画像４２ａ〜４２ｃ（代表して画像４２という）との間に位置しているが、２次元平面上では、重なる位置に位置することから、走者の画像４１は観客の画像４２，４３に重なって見難い。図２Ａ〜図２Ｃに示す画像が、撮像装置の比較的小さい表示パネルに表示された場合には、走者の画像４１が見難いことから、走者を撮影範囲に収めたり、走者にピントを合わせたりする撮影操作に支障を来すことがある。
【００２８】
そこで、本実施の形態においては、図３Ａ〜図３Ｃに示す視認性強調画像を採用する。図３Ａの撮像画像は、手前側の複数の観客の画像５３ａと奥側の複数の観客の画像５２ａとの間に複数の走者の画像５１ａが含まれている。図３Ｂの撮像画像は、手前側の複数の観客の画像５３ｂと奥側の複数の観客の画像５２ｂとの間に複数の走者の画像５１ｂが含まれている。図３Ｃの撮像画像は、手前側の複数の観客の画像５３ｃと奥側の複数の観客の画像５２ｃとの間に複数の走者の画像５１ｃが含まれている。
【００２９】
本実施の形態においては、図３Ａ〜図３Ｃの破線にて示すように、手前側の観客の画像５３ａ〜５３ｃ（代表して画像５３という）と奥側の観客の画像５２ａ〜５２ｃ（代表して画像５２という）については、視認性を単調化して低減させる画像処理が施されている。すなわち、本実施の形態においては、例えば、図２Ａの主被写体である走者が存在する被写体距離の範囲ＤＴａ、図２Ｂの主被写体である走者が存在する被写体距離の範囲ＤＴｂ及び図２Ｃの主被写体である走者が存在する被写体距離の範囲ＤＴｃを対象距離範囲に設定し、対象距離範囲に属さない対象距離外被写体である手前側の観客と奥側の観客の画像５３，５２については、視認性を単調化して識別性を低減させる画像処理を施す。
【００３０】
この画像処理は、特定の対象物（ここでは対象距離内被写体、あるいは走者）を際立たせる処理と言ってもよいが、あえて目立つように際立たせて表示したりして視認性を向上させると、実際の撮影時の画像とは肝心のものが違う表現に見えてしまうので、相対的に際立たせるべく、その他の部分の視認性を低減させている。単調化処理以外にも、視認性を劣化させる処理、低下、低減させる処理、悪化させる処理と表現してもよい。
【００３１】
その結果、対象距離範囲に属する対象距離内被写体である走者の画像５１ａ〜５１ｃ（代表して画像５１という）の視認性が良好となる。例えば、画像５３，５２を含む対象距離範囲に属さない全ての画像部分を非可視化、例えば、所定のレベル（例えば黒レベルとか、それを処理した網掛けパターン処理、あるいは白レベル、特定の単独の色等）で表示した場合には、画像５１のみがリアルに可視化されて表示されることになる。即ち、主被写体以外は単純化され、被写体がまぎれるような形で雑然とは表示されず、明らかに差別化されて表示されるので、主被写体である走者の視認性を著しく向上させることができる。これにより、このような視認性強調画像を撮像装置の表示パネルに表示させた場合には、走者を撮影範囲に収めたり、走者にピントを合わせたりする撮影操作が極めて容易となる。
【００３２】
なお、対象距離範囲は、予め所定の距離範囲に設定していてもよく、また、主被写体を指定する操作によって自動的に対象距離範囲を検出するようにしてもよく、また、主被写体を追尾することによって、主被写体の移動に伴って対象距離範囲を変化させるようになっていてもよい。
【００３３】
（構成）
図１において、撮像装置１は画像処理装置１０及び画像取得部２０によって構成されている。なお、撮像装置１は、画像処理装置１０と画像取得部２０とが別体に構成されていてもよい。画像処理装置１０には画像取得部２０からの撮像画像が与えられる。画像処理装置１０は画像取得部２０からの画像を取り込むようになっている。
【００３４】
画像取得部２０は、画像処理装置１０の信号処理部１２によって制御されるようになっている。画像取得部２０に撮像部２１が設けられている。撮像部２１は、ＣＣＤやＣＭＯＳセンサ等の図示しない撮像素子と、被写体の光学像を撮像素子の撮像面に導く図示しない光学系とを備える。光学系は、ズームやフォーカシングのためのレンズ及び絞り等を備えている。画像取得部２０には撮影条件変更部２２が設けられており、撮影条件変更部２２は、撮像部２１の撮像素子及び光学系を駆動制御する。例えば、撮影条件変更部２２は、ズームやフォーカシングのためのレンズ及び絞りを駆動して、ズーム及びピント位置や絞りを変更することができる。また、撮影条件変更部２２は、撮像部２１の撮像素子を駆動制御して、撮影条件を変更することもできる。
【００３５】
撮像部２１は、光学系を介して被写体光学像が受光面に与えられ、被写体光学像を光電変換して撮像画像を得る。撮像部２１は撮像画像を撮像装置１の画像処理装置１０に出力する。
【００３６】
本実施の形態においては、画像取得部２０には、距離分布情報取得部２３が設けられている。距離分布情報取得部２３は、デプスマップ（深度マップ、距離画像）を生成するための距離分布情報を取得するようになっている。なお、デプスマップは、距離に関連した情報を画像の領域ごとに対応させたものとも言える。
【００３７】
図４及び図５Ａから図５Ｃはそれぞれ距離分布情報取得部２３の一例を示す説明図である。被写体までの距離分布情報を取得する手法としては公知の種々の手法を採用することができる。図４、図５Ａ〜図５Ｃは距離分布情報をステレオ画像により取得する例を示しているが、本実施の形態はこれに限定されるものではない。
【００３８】
図４は２つの離間した撮像部を有する２眼式を採用した例を示している。撮像部２１として右画像及び左画像をそれぞれ取得するための２つの撮像部２１ａを採用する。２つの撮像部２１ａは、それぞれ光学系及び光電変換部を備えており、例えば、一方の撮像部２１ａの撮像によって右画像を取得し、他方の撮像部２１ａの撮像によって左画像を取得する。２つの撮像部２１ａは、所定の距離離間して設けられており、各撮像部２１ａによって取得された右画像と左画像とは相互に視差を有する画像となる。画像各部の視差の分布により距離の算出が可能となる。
【００３９】
一方、図５Ａ〜図５Ｃは、撮像面位相差法（瞳分割位相差法）を採用した例を示している。撮像面位相差法においては、撮像素子の受光部を構成する各画素として、通常撮像用の画素の他に焦点検出用の画素が設けられる。図５Ａは撮像素子２１ｂの焦点検出用の１画素の構成を示しており、分割された受光部２４ａ上に配線部２４ｂ及びカラーフィルタ２４ｃが積層され、カラーフィルタ２４ｃ上にマイクロレンズ２４ｄが設けられる。マイクロレンズ２４ｄに入射した被写体からの右光束及び左光束（矢印）は、受光部２４ａを構成する図５Ｂの異なる受光面２５ａ，２５ｂにそれぞれ入射する。図５Ｃは受光部２４ａを上下左右の４分割にした例を示しており、マイクロレンズ２４ｄに入射する被写体からの右上光束、左上光束、右下光束及び左下光束は、図５Ｃに示す異なる受光面２６ａ〜２６ｄにそれぞれ入射する。
【００４０】
各受光面２５ａ，２５ｂ，２６ａ〜２６ｄの各入射光に基づく画像信号同士は、既知の画素位置と被写体距離に応じて位相がずれる。即ち、画像信号同士の位相差は被写体距離に対応したものとなり、画像信号同士の位相差から画像各部の被写体距離を算出することができる。
【００４１】
距離分布情報取得部２３は取得した距離分布情報を画像処理装置１０のデプスマップ作成部１２ｂに出力する。
【００４２】
画像処理装置１０には、制御部１１が設けられている。制御部１１は、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。制御部１１は、画像処理装置１０の各部を制御するようになっている。
【００４３】
また、画像処理装置１０には、時計部１３及び各種センサ１４が設けられている。時計部１３は制御部１１が用いる時間情報を発生する。各種センサ１４としては、加速度センサ、ジャイロセンサ、地磁気センサ等がある。更に、各種センサ１４として測距のための光学センサを採用してもよい。
【００４４】
画像処理装置１０には、信号処理部１２が設けられている。信号処理部１２は、画像処理部１２ａ、デプスマップ作成部１２ｂ、画像分析部１２ｃ、距離判定部１２ｄ及び追尾部１２ｅによって構成されている。なお、信号処理部１２は、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して信号処理部１２内の各部の機能を実現するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。
【００４５】
画像処理部１２ａは、撮像部２１からの画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行うようになっている。更に、画像処理部１２ａは、入力された撮像画像に対して画像合成（画像補正）処理を行って表示部１５に出力することができる。画像処理部１２ａは、この画像合成において画像に視認性強調処理を施すことができるようになっている。なお、画像処理部１２ａは、入力された画像に対して画像補正を行うことなくそのまま表示部１５に与えることもできる。
【００４６】
表示部１５は、ＬＣＤ等の表示画面を有しており、与えられた画像を表示画面上に表示することができる。また、表示部１５は、各種メニュー表示等を表示部１５の表示画面に表示させることもできるようになっている。なお、表示部１５の表示画面は、例えば撮像装置１の筐体の背面に沿って設けられており、撮影者は、撮影時に表示部１５の表示画面上に表示された通常のスルー画、或いは画像処理部１２ａによって視認性強調処理されたスルー画を確認することができ、これらスルー画等を確認しながら撮影操作を行うこともできる。
【００４７】
また、画像処理部１２ａは画像処理後の画像を記録部１６に与えて記録させることもできる。記録部１６としては例えばＩＣメモリを採用することができる。なお、記録部１６は記録された画像の再生も可能であり、再生画像を画像処理装置１０に与えることもできるようになっている。
【００４８】
撮像装置１には操作判定部１７も設けられている。操作判定部１７は、撮像装置１に設けられた図示しないシャッタボタン、ファンクションボタン、撮影モード設定等の各種スイッチ等に対するユーザ操作に基づく操作信号を発生して、制御部１１に出力するようになっている。
【００４９】
また、表示部１５の表示画面上には、図示しないタッチパネルが設けられている。タッチパネルは、ユーザが指で指し示した表示画面上の位置やスライド操作に応じた操作信号を発生することができる。この操作信号も制御部１１に供給される（図示省略）。制御部１１は、操作信号に基づいて、各部を制御する。こうして、制御部１１はユーザの指示に従って画像補正処理を含む各部の制御を行うことができる。
【００５０】
また、画像処理装置１０には、通信部１８が設けられている。通信部１８は、無線又は有線により外部機器との間で通信を行い、外部機器と信号処理部１２との間で情報を転送することができるようになっている。
【００５１】
本実施の形態においては、信号処理部１２の画像分析部１２ｃは、画像処理部１２ａからの画像の画像分析を行って、撮像画像中の各被写体を検出することができる。画像分析部１２ｃは、撮像画像中の各被写体を主被写体とその他の雑被写体とに分類して検出することもできる。例えば、画像分析部１２ｃはユーザの被写体に対するタッチパネル用いたタッチ操作によって主被写体を特定してもよく、また、画面中央に位置する被写体や、サイズが所定値よりも大きい被写体、動きのある被写体等を主被写体に設定してもよい。画像分析部１２ｃは画像の解析結果を距離判定部１２ｄ及び追尾部１２ｅに出力する。
【００５２】
信号処理部１２のデプスマップ作成部１２ｂは、距離分布情報取得部２３の出力に基づいてデプスマップを作成する。
【００５３】
図６はデプスマップ作成部１２ｂにおけるデプスマップの作成方法の一例を示すフローチャートである。デプスマップ作成部１２ｂは、ステップＳ１において、例えば右画像及び左画像等の２視点画像を取得する。デプスマップ作成部１２ｂは、取得した２視点画像について各画素位置の視差量を算出する（ステップＳ２）。
【００５４】
デプスマップ作成部１２ｂは、ステップＳ３において撮像画像中の全画素について視差量の算出が終了したか否かを判定し、終了していない場合にはステップＳ２に処理を戻して視差量の算出を繰り返す。デプスマップ作成部１２ｂは、視差量の算出が終了すると、ステップＳ２から処理をステップＳ４に移行して、視差量から距離を求め、各画素位置について求めた距離を所定の距離範囲毎に分類する。デプスマップ作成部１２ｂは分類した結果に応じて、各画素位置の距離を段階的に示すデプスマップを作成する（ステップＳ５）。
【００５５】
距離判定部１２ｄは、デプスマップ作成部１２ｂからデプスマップの情報が与えられて、画像分析部１２ｃが解析した各被写体の距離を判定し、各被写体が対象距離範囲に属する対象距離内被写体であるか、対象距離範囲に属さない対象距離外被写体であるかを判定し、判定結果を画像処理部１２ａに出力する。画像処理部１２ａは、距離判定部１２ｄの判定結果に従って、少なくとも対象距離外被写体については、視認性を悪化させるための画像処理を行って、視認性強調画像を生成する。
【００５６】
なお、距離判定部１２ｄは、被写体毎に対象距離範囲に属するか否かを判定する例を説明したが、距離判定部１２ｄは、撮像画像中の画素毎に対象距離範囲に属するか否かを判定してもよい。この場合には、画像処理部１２ａは、撮像画像中の対象距離範囲に属さない画像部分について、視認性を悪化させるための画像処理を行って、視認性強調画像を生成することができる。
【００５７】
更に、画像処理部１２ａは、被写体が対象距離範囲に属するか否かの判定結果が与えられた場合に、当該対象距離範囲内の対象距離内被写体以外の画像部分について、視認性を悪化させるための画像処理を行って、視認性強調画像を生成してもよい。
【００５８】
制御部１１は、距離判定部１２ｄを制御して、デプスマップにより与えられる距離のいずれの範囲を対象距離範囲とするかを、予め設定しておいてもよい。例えば、制御部１１は、撮影シーンに応じて対象距離範囲を自動的に設定するようになっていてもよく、また、ユーザの指定操作に基づいて対象距離範囲を設定してもよい。
【００５９】
また、制御部１１は、表示部１５の表示画面上に表示されたスルー画上の被写体に対するタッチ操作によって対象距離範囲を設定するための主被写体を特定し、当該被写体を含む所定の距離範囲を対象距離範囲に設定してもよい。また、タッチ操作でなく、画像の中央等の所定位置の被写体を対象距離範囲判定のための主被写体と判定したり、画像中で最もサイズが大きい被写体を対象距離範囲判定のための主被写体と判定したり、画像中で最も動きが大きい被写体を対象距離範囲判定のための主被写体と判定したりしてもよい。なお、この場合において、上述した当該主被写体を含む所定の距離範囲は、所定の値、画像分析に応じた値、撮影パラメータに応じた値或いはユーザの指定操作に基づく値等に設定してもよい。例えば、対象距離範囲判定のための主被写体が動く場合において、当該主被写体と同様に動く被写体が存在する場合には、この動く被写体と主被写体とを含む距離範囲を所定の距離範囲として対象距離範囲を設定してもよい。また、当該主被写体を含む所定の距離範囲は、主被写体と雑被写体とを求め、主被写体から雑被写体までの距離に応じて設定してもよい。この場合には、主被写体から雑被写体までの間が対象距離範囲に設定される。また、ズーム操作に応じて、対象距離範囲を変更するようになっていてもよい。
【００６０】
更に、距離判定部１２ｄは、主被写体の動きに応じて対象距離範囲を変更するようになっていてもよい。追尾部１２ｅは、画像分析部１２ｃの解析結果が与えられ、主被写体を追尾することができるようになっている。追尾部１２ｅは主被写体の追尾結果を距離判定部１２ｄに出力する。距離判定部１２ｄは、追尾結果により変化した主被写体の位置に対応した距離をデプスマップによって求め、この結果に応じて対象距離範囲を再設定する。例えば、追尾結果によって主被写体が近づいて来ることが示された場合には、対象距離範囲も近い距離の範囲に変更する。
【００６１】
なお、被写体のうち主被写体と雑被写体とを判定することにより、対象距離範囲内の主被写体のみについて十分な視認性を確保し、対象距離範囲内であっても主被写体以外の被写体については視認性を悪化させる処理を施すようになっていてもよい。
【００６２】
次に、このように構成された実施の形態の動作について図７及び図８を参照して説明する。図７は画像処理装置１０の処理を説明するためのフローチャートである。また、図８は視認性強調画像を説明するための説明図である。
【００６３】
図７のステップＳ１１において、制御部１１は撮影モードが指定されているか否かを判定する。制御部１１は、撮影モードが指定されていない場合には、指定されているその他のモードを実行する。制御部１１は、撮影モードが指定されている場合には、処理をステップＳ１２に移行して、撮像及びデプスマップ作成を行う。即ち、制御部１１の指示により、信号処理部１２は、撮影条件変更部２２及び撮像部２１を制御して、画像取得部２０に所定の撮影パラメータで被写体を撮像させる。撮像部２１は被写体の撮像画像を信号処理部１２の画像処理部１２ａに出力する。
【００６４】
また、画像取得部２０の距離分布情報取得部２３は、ステレオ画像等の距離分布情報を取得して、デプスマップ作成部１２ｂに出力する。デプスマップ作成部１２ｂは、撮像部２１において撮像中の撮像画像のデプスマップを作成する。即ち、撮像部２１による撮像画像の撮像と同時に、当該撮像画像に基づくデプスマップが順次生成される。
【００６５】
これらの画像またはマップの各座標を対応つければ、どの対象物がどの距離にあるかを判定することができる。雑然としたシーンかすっきりとしたシーンか、対象物が他のものに隠れて、あるいは重なって紛らわしいかどうかなどが分析可能である。こうしたシーンに応じて、本実施の形態の特徴たる画面内の各領域、各部分の画像表現の差別化（部分適応型画像処理）を行ってもよい。
【００６６】
制御部１１は、次のステップＳ１３において、距離ターゲート、即ち、対象距離範囲が設定されているか否かを判定する。制御部１１は、対象距離範囲が設定されていない場合に、視認性強調画像の表示が指定されていないものと判定して、処理をステップＳ２５に移行して全画可視化表示、即ち、通常のスルー画表示を行う。画像処理部１２ａは、撮像画像に対して所定の信号処理を施した後、表示部１５に与える。こうして、表示部１５の表示画面上には、通常のスルー画が表示される。
【００６７】
一方、制御部１１は、ステップＳ１３において距離ターゲットが設定されるているものと判定した場合には、処理を次のステップＳ１４に移行する。ステップＳ１４において、距離判定部１２ｄは、撮像画像中の画素が対象距離範囲内の画素であるか否かを画素毎に判定し、判定結果を画像処理部１２ａに出力する。画像処理部１２ａは、対象距離範囲内の画素については、次のステップＳ２６において、可視化処理を行う。なお、可視化処理は、当該画素の画素値をそのまま出力するものであってもよい。
【００６８】
一方、撮像画像中の画素が対象距離範囲内に属さない場合には、画像処理部１２ａは、ステップＳ１５において、当該対象距離範囲外の画素について視認性を悪化させる処理を行う。例えば、画像処理部１２ａは、対象距離範囲外の画素を非可視化処理する。画像処理部１２ａは、例えば非可視化処理として、対象距離範囲外の画素の画素値を所定の黒レベルに変換して出力する。
【００６９】
制御部１１は、次のステップＳ１６において、全画素の処理が終了したか否かを判定する。制御部１１は、処理が終了していない場合には処理をステップＳ１４に戻してステップＳ１４，Ｓ１５，Ｓ２６の処理を繰り返し、全画素の処理が終了した場合には処理をステップＳ１７に移行して、視認性強調画像を表示する。画像処理部１２ａからの視認性強調画像は表示部１５に供給されて、表示画面上に表示される。
【００７０】
なお、ステップＳ１４〜Ｓ１６，Ｓ２６では、画素毎に対象距離範囲に属するか否かを判定したが、上述したように、被写体毎にこの判定を行って視認性強調処理を行ってもよい。また、画像処理部１２ａは、対象距離内被写体以外の画像部分に対して、視認性を悪化させる視認性強調処理を行ってもよい。
【００７１】
図８は対象距離内被写体以外の画像部分に視認性を悪化させる視認性強調処理を行った場合の視認性強調画像の表示例を示している。図８は図３Ｂに対応したものであり、対象距離範囲として、図３Ｂの距離範囲ＤＴｂが設定されたものである。この距離範囲ＤＴｂに属する被写体である走者の画像は、画素値がそのまま用いられる。この距離範囲ＤＴｂに属さない被写体である観客の画像を含み他の画像部分は画素値が所定の黒レベルとなっている。このように、表示部１５の表示画面上に表示される視認性強調画像は、主被写体である走者の画像のみが視認できるように表示されており、他の画像部分は表示されていないことから、走者の画像の視認性は極めて高い。従って、ユーザは、表示部１５の表示画面上の視認性強調画像によるスルー画を見ながら撮影を行うことで、構図の設定やピント合わせ等を容易に行うことが可能である。
【００７２】
図７のステップＳ１８において、制御部１１は、撮影操作が行われたか否かを判定する。撮影操作が行われると、制御部１１は、処理をステップＳ１９に移行して、信号処理部１２に撮影を指示する。画像処理部１２ａは、撮像部２１から与えられた撮像画像に対して所定の信号処理を施した後、記録部１６に与えて記録させる。
【００７３】
この記録に際して、画像処理部１２ａは、デプスマップをメタデータ化し（ステップＳ２０）、撮像画像に基づく画像データとメタデータ化されたデプスマップの情報とにより構成される画像ファイルを生成して記録部１６に記録させる（ステップＳ２１）。
【００７４】
このように本実施の形態においては、所定の対象距離範囲を設定し、この対象距離範囲に属さない対象距離範囲外被写体については、視認性を悪化させる画像処理を施すようになっている。これにより、相対的に、対象距離範囲内の被写体の視認性を向上させることができる。例えば、対象距離範囲外被写体を非可視化処理することで、視認性強調画像としては、対象距離範囲内の主被写体のみが可視化されて表示されることになり主被写体の視認性を著しく向上させることができる。これにより、主被写体と雑被写体とが２次元の表示画面上において混在して存在する場合でも、主被写体を見やすく視認させることが可能となり、構図設定やピント合わせ等の撮影操作を効果的に支援することができる。また、視認性を悪化させる画像処理は、対象距離範囲に属するか否かによって決定しており、画像全域にピントが合っている画像であっても、確実に視認性を強調した画像表示が可能である。
【００７５】
（第２の実施の形態）
図９は本発明の第２の実施の形態を示すブロック図である。図９において図１と同一の構成要素には同一符号を付して説明を省略する。本実施の形態は撮像装置と携帯端末とが連携して処理する場合に適用したものである。
【００７６】
図９は情報端末装置３０と撮像装置１とが連携して撮像を行う例を示している。なお、図９において撮像装置１の構成は図１と同様である。
【００７７】
情報端末装置３０は例えばスマートフォンによって構成することができる。情報端末装置３０は、画像取得部３５を備えている。画像取得部３５は、撮像部３１、撮影条件変更部３２及び距離分布情報取得部３３により構成されている。撮像部３１、撮影条件変更部３２及び距離分布情報取得部３３の構成は、画像取得部２０を構成する撮像部２１、撮影条件変更部２２及び距離分布情報取得部２３と同様である。画像取得部３５は、所定の撮影条件で撮像を行って撮像画像を取得すると共に、被写体までの距離分布情報を取得することができる。
【００７８】
また、情報端末装置３０は、制御部４１を有している。制御部４１は、ＣＰＵ等を用いたプロセッサによって構成されて、記憶部４２に記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。制御部４１は、情報端末装置３０の各部を制御することができるようになっている。
【００７９】
更に、制御部４１は、例えばプログラム処理によって、撮影及び撮像画像の表示に関して、撮像装置１の制御部１１及び信号処理部１２の各機能を実現することができるようになっている。即ち、制御部４１は、信号処理部１２が備える各処理機能である、画像信号処理、デプスマップ作成処理、画像分析処理、追尾処理、距離判定処理、表示処理及び記録処理の各処理機能を有している。
【００８０】
情報端末装置３０には表示部４４が設けられている。表示部４４は、ＬＣＤ等の表示画面を有しており、制御部４１から与えられた画像を表示画面上に表示することができる。また、表示部４４は、制御部４１に制御されて、各種メニュー表示等を表示画面上に表示させることもできる。
【００８１】
また、表示部４４の表示画面上には、操作部４３としての図示しないタッチパネルが配設されている。タッチパネルは、ユーザが指で指し示した表示画面上の位置やスライド操作に応じた操作信号を発生することができる。この操作信号は制御部４１に供給される。制御部４１は、操作信号に基づいて動作するようになっている。
【００８２】
また、記憶部４２には、制御部４１からの画像ファイルも記憶されるようになっている。記憶部４２としては例えばＩＣメモリを採用することができる。なお、記録部４２は記憶した画像の再生も可能であり、再生画像を制御部４１に与えることもできるようになっている。
【００８３】
情報端末装置３０は、通信部４５を有している。通信部４５は、無線又は有線により外部機器との間で通信を行い、外部機器と制御部４１との間で情報を転送することができるようになっている。連携モードでは、撮像装置１の通信部１８と情報端末装置３０の通信部４５とは互いに通信を行って、画像情報を含む各種情報を相互に転送することができるようになっている。
【００８４】
制御部４１は、撮像装置１の制御部１１及び信号処理部１２の処理機能と同様の機能を有しているので、上述した視認性強調処理が可能であり、表示部４４の表示画面上に視認性強調画像を表示させることができる。
【００８５】
本実施の形態においては、制御部４１は、撮像装置１から撮像画像が与えられると、撮像部３１によって取得された撮像画像との比較を行い、撮像部３１からの撮像画像中に、撮像装置１からの撮像画像の範囲を示す枠画像を含めて、表示部４４の表示画面上に表示させることができるようになっている。
【００８６】
なお、上述した説明では、撮像装置１と情報端末装置３０とは相互に同一の機能を有している。しかし、連携して処理する場合には、各種機能の全部又は一部は、いずれか一方の装置のみが有していればよい場合がある。例えば、距離分布情報取得機能、デプスマップ作成機能等をいずれか一方の装置のみが有していてもよい。
【００８７】
次に、このように構成された実施の形態の動作について図１０Ａ、図１０Ｂ及び図１１から図１３を参照して説明する。図１０Ａ及び図１０Ｂは撮像装置１０の動作を示すフローチャートであり、図中三角で囲った同一数字により処理が連結されることを示している。なお、図１０Ａにおいて図７と同一の手順には同一符号を付して説明を省略する。また、図１１は情報端末装置３０の動作を示すフローチャートである。図１２及び図１３は実施の形態の動作を説明するための説明図である。
【００８８】
本実施の形態においては、図１３に示す連携を想定している。即ち、情報端末装置３０は、撮像装置１の照準器としても利用するものである。図１３において撮像装置１の筐体１ａには、図９の撮像装置１の各回路が収納されている。撮像装置１の筐体１ａの上面にはシャッタボタン１７ａが配設され、筐体１ａの背面には、表示部１５の表示画面１５ａが設けられている。そして、撮像装置１の筐体１ａの上面には、図示しない取付け部材により情報端末装置３０が取り付けられている。
【００８９】
情報端末装置３０の筐体３０ａには、図９の情報端末装置３０の各回路が収納されている。情報端末装置３０の筐体３０ａの正面には、筐体３０ａの略全域に表示部４４の表示画面４４ａが設けられている。上述したように、表示画面４４ａには操作部４３としての図示しないタッチパネルが配設されており、ユーザは、表示画面４４ａの表示を見ながら表示画面４４ａのタッチ操作により、情報端末装置３０を操作することができる。
【００９０】
情報端末装置３０の制御部４１は、図１１のステップＳ７１において図１２に示すモードメニューを表示する。図１２の例では、表示画面４４ａ上には、照準器モードを設定するためのボタン５１、連携モードを設定するためのボタン５２、メールモードを選択するためのボタン５３、電話モードを選択するためのボタン５４及びその他のモードを選択するための各種のアイコン表示５５が表示されている。
【００９１】
制御部４１は、次のステップＳ７２において、照準器モードが指定されたか否かを判定する。照準器モードは、情報端末装置３０を撮像装置１の照準器として利用するモードである。この場合には、ユーザは、撮像装置１による撮影に際して、情報端末装置３０の表示画面４４ａに表示されたスルー画を見ながら撮影操作を行うことになる。本実施の形態においては、この場合に、表示画面４４ａ上に視認性強調画像を表示させるものである。
【００９２】
撮像装置１の制御部１１は、図１０ＡのステップＳ１１において、撮影モードが指示されていると判定した場合には、ステップＳ３１において、モード選択及び各種設定を行う。制御部１１は、ステップＳ３２において照準器モードが指定されているか否かを判定する。制御部１１は、ユーザにより照準器モードが指定されている場合には、処理をステップＳ３３に移行して、スルー画を情報端末装置３０に送信する。即ち、照準器モードでは、撮像装置１は視認性強調処理を行うことなく、通常のスルー画を送信する。
【００９３】
情報端末装置３０の制御部４１は、ステップＳ７３において、撮像装置１からのスルー画を受信する。制御部４１は、ステップＳ７４において、撮像部３１が撮像して得たスルー画を取得すると共に、距離分布情報取得部３３からの距離分布情報を取得する。制御部４１は、距離分布情報から撮像画像のデプスマップを生成する。制御部４１は、第１の実施の形態と同様の視認性強調処理を行って、撮像部３１が撮像して得たスルー画に基づく視認性強調画像を得る。更に、撮像部３１が取得したスルー画と、撮像装置１から受信したスルー画との比較によって、撮像装置１のスルー画の撮影範囲を示す枠画像を視認性強調画像上に重ねて、表示画面４４ａ上に表示させる（ステップＳ７５）。
【００９４】
図１３ではこの場合に表示画面４４ａ上に表示される画像６０を示している。画像６０中には、図３Ａに対応する視認性強調画像６１が含まれる。更に、画像６０中には、撮像装置１により撮像されているスルー画の撮影範囲を示す枠画像６２も表示されている。また、画像６０中には、照準器モードを終了させてモードメニューに戻るための戻るボタン６３も表示されている。
【００９５】
制御部４１は、ステップＳ７６において、戻るボタン６３が操作されたか否かを判定しており、戻る操作が行われていない場合には、処理をステップＳ７３に戻して画像６０の表示を続ける。また、制御部４１は、戻る操作が行われた場合には、処理をステップＳ７１に戻してモードメニューを表示する。
【００９６】
図１３の画像６０は、視認性強調画像であり、また、撮像装置１の撮影範囲を示す枠画像６２も表示されている。ユーザは表示画面４４ａに表示された画像６０を見ることで、主被写体を簡単に確認できると共に、撮像装置１の撮影範囲よりも広い視野範囲の被写体を確認することができ、また、その広い視野範囲内において撮像装置１がいずれの範囲を撮像しているかを簡単に知ることができる。これにより、ユーザは主被写体を撮影するための構図やピント合わせが極めて容易となる。
【００９７】
ところで、図９の撮像装置１は、視認性強調画像を取得するための全ての機能を有しているが、デプスマップ作成機能を有していない場合やそもそも距離分布情報を取得することができない撮像装置が採用される場合がある。このような場合でも、連携モードを採用することで、情報端末装置３０からの情報を利用して、視認性強調画像の表示が可能である。
【００９８】
撮像装置１の制御部１１は、ステップＳ３２において、視認性強調画像を情報端末装置３０の表示画面４４ａに表示させる照準器モードが指定されていないと判定した場合には、次のステップＳ１２において、撮像を行うと共にデプスマップの作成を行う。なお、デプスマック作成機能を有していない撮像装置においては、撮像のみが行われる。次に、制御部１１はステップＳ３４において連携モードが指定されているか否かを判定する。連携モードが指定されていない場合には、制御部１１は自機の機能のみを用いて視認性強調画像を生成する。
【００９９】
即ち、制御部１１は、次のステップＳ３７において、視認性強調処理モードが設定されているか否かを判定する。なお、視認性強調処理モードでは、タッチ指定された被写体又は画面中央の被写体を基準に対象距離範囲が決定される。このような設定がない場合には、制御部１１は、処理をステップＳ３８に移行して、通常のスルー画表示を行う。一方、制御部１１は、視認性強調処理モードが指定されている場合には、次のステップＳ３９において追尾部１２ｅを制御して、タッチ指定された被写体又は画面中央の被写体について追尾を開始させる。この追尾の結果、距離判定部１２ｄは、追尾対象の被写体を含む所定の距離範囲を対象距離範囲に設定して、各被写体、あるいは画面内各部、各領域が対象距離範囲に属するか否かを判定する（ステップＳ４０）。
【０１００】
なお、制御部１１は、対象距離範囲を決定するための所定の距離範囲として、予め決められた距離範囲を用いてもよく、また、追尾対象の被写体を主被写体とし雑被写体までの距離を用いてもよく、また、追尾対象の被写体と同様の動きをする被写体を含む距離を用いて距離判定部１２ｄに指示を与えてもよい。制御部１１は、対象距離範囲に属さない対象距離外被写体については、ステップＳ４１において視認性低減処理を施し、対象距離範囲に属する対象距離内被写体については、ステップＳ４２において視認性を相対的に良好にする処理を施すが、対象物の動きに応じて、時間の経過とともに処理は変化し得る。
【０１０１】
例えば、最初は３ｍにいた対象物が横に移動しながら２ｍの距離にある雑対象物の間に来た場合、３ｍの部分は最初、視認性良好にして、その後では対象物はその視認性を保って、それ以外の部分には視認性単調化の処理を行うような工夫ができる。また、この時、新たに３ｍに入ってきたものは視認性単調化処理を行えばよく、こういう状況下では、ステップＳ４０の距離は刻刻と変化し、かつ、特に、ステップＳ４０のＹＥＳは、もう少し複雑な処理となる。つまり、対象と同一距離であっても、視認性はむしろ低下させるようなステップＳ４１相当の処理となる。このフローチャートは単純化しており、実際は、追尾できている場合、ステップＳ４２では、「追尾対象は視認性を相対的に向上させ、それ以外は単調化処理」という処理となる。つまり、シンプルにはデプスマップでマップの座標に対応する画像領域の視認性表現を変えてもよいが、そのようにして視認性良く検出された特定対象物に関しては、デプスマップとは無関係に視認性を保つ。
【０１０２】
また、上述したように、特定対象物が追尾されている状況では、その追尾対象物の距離を刻刻と判定しておき、追尾対象物の距離とは異なる撮像対象物の視認性は単調化処理してもよい。
【０１０３】
更に、制御部１１は、デプスマップに基づいて設定した対象距離範囲に属さない対象距離範囲外被写体に対して視認性単調化処理を施しつつ、追尾対象の被写体については、デプスマップを用いた視認性単調化処理の処理対象から除外するようにしてもよい。例えば、徒競走における複数の走者をデプスマップに基づいて対象距離範囲に属する主被写体に設定した場合において、特定の一人の走者を追尾対象として追尾した場合には、制御部１１は、当該追尾対象の走者が対象距離範囲に属さない状態になった場合でも、追尾対象については視認性単調化処理の処理対象から除外し、対象距離範囲内の走者と追尾対象の走者との視認性を良好に維持するように制御してもよい。
【０１０４】
更に、この場合の対象距離範囲は、他の走者が対象距離範囲内に含まれるように、他の走者までの距離の変化に応じて変更するようにしてもよい。
【０１０５】
つまり、表示部に表示する画像に関するデプスマップに基づいて、上記画像中の所定の距離範囲である対象距離範囲内の画像部分と上記対象距離範囲外の画像部分とを判定する距離判定部と、上記表示部に表示する画像中の被写体を検出する画像分析部と、上記画像分析部が検出した特定被写体の上記画像内の動きを追尾する追尾部と、上記距離判定部の判定結果に基づいて、少なくとも上記対象距離範囲外の画像部分について視認性を単調化させる画像処理を施して上記表示部に表示させるものであって、上記追尾部が追尾中の特定被写体については上記対象距離範囲外であっても上記視認性を単調化させる画像処理の対象外とする画像処理部と、を具備したことを特徴とする画像処理装置を構成できる。
【０１０６】
制御部１１は、ステップＳ１７において、これらの処理後の画像を合成した視認性強調画像を表示部１５の表示画面１５ａ上に表示させる。
【０１０７】
次に、連携モードが指定されているものとする。撮像装置１の制御部１１は、操作判定部１７からの操作信号によって連携モードが指定されていることを判定する。また、情報端末装置３０の制御部４１は、図１２のボタン５２のタッチ操作により連携モードが指定されていることを判定する。
【０１０８】
制御部４１は、ステップＳ７７において、連携モードが指定されているか否かを判定する。連携モードが指定されている場合には、制御部４１は、撮像部３１からスルー画を取得すると共にスルー画に基づくデプスマップを作成して（ステップＳ７８）、外部送信する（ステップＳ７９）。制御部４１は、ステップＳ８０において、戻る操作の有無を判定しており、戻る操作があった場合にはステップＳ７１に処理を戻し、戻る操作が行われるまでステップＳ７８，Ｓ７９においてスルー画及びデプスマップの送信を続ける。
【０１０９】
一方、撮像装置１の制御部１１は、ステップＳ３４において連携モードが指定されているものと判定すると、ステップＳ３５において、通信部１８，４５を介して、情報端末装置３０からスルー画及びデプスマップを受信して取得する。制御部１１は、ステップＳ３６において、撮像部２１において取得したスルー画と情報端末装置３０から受信したスルー画とを比較し、情報端末装置３０から受信したデプスマップに基づいて撮像部２１において取得したスルー画に対応するデプスマップを生成した後、処理をステップＳ３７に移行する。従って、この場合には、ステップＳ３７からステップＳ１７において、情報端末装置３０が取得したデプスマップを利用した視認性強調処理が行われて、表示部１５の表示画面１５ａ上に視認性強調画像が表示される。
【０１１０】
更に、図１０Ａでは示していないが、撮像装置１においてデプスマップを作成している場合には、情報端末装置３０から受信したデプスマップと撮像装置１において作成したデプスマップの両方を用いた視認性強調処理も可能である。例えば、撮影シーンに応じてデプスマップを使い分けてもよい。例えば、情報端末装置３０において２眼式の撮像部を採用した場合には配置上の制限から水平方向の距離精度は比較的高く垂直方向の距離精度は比較的低いことが考えられる。そこで、制御部１１は、水平方向パターン変化がある被写体については、情報端末装置３０からのデプスマップを利用し、それ以外の被写体については撮像装置１で作成したデプスマップを利用してもよい。また、情報端末装置３０においては配置上の制限から所定の中間距離についての距離精度は比較的高く、遠端近傍又は近端近傍についての距離精度は比較的低いことが考えられる。そこで、制御部１１は、被写体距離が中間距離の場合には情報端末装置３０からのデプスマップを利用し、被写体距離が極めて近い場合又は遠い場合については撮像装置１で作成したデプスマップを利用してもよい。
【０１１１】
また、雑然としたシーンとすっきりとしたシーンでは、本願の技術の重要性が異なるため、すっきりとしたシーンでは今回の単調化表現の画像処理を行わず、雑然としたシーンでは単調化処理を採用してもよい。また、主被写体（主対象物）が雑被写体（主対象物以外）の中に混ざりながら動くような場合は、識別が困難なので、単調化処理を行わないようにするとか、すっきりしたシーンから雑然としたシーンに変化するような状況では、最初すっきりしたシーンで、判別できていた主対象物を、そのまま追尾して表示させ、その他のものを単調化することによって、視認性を保つ工夫などを行ってもよい。
【０１１２】
なお、情報端末装置３０の制御部４１は、ステップＳ７７において連携モードではないと判定した場合には、処理をステップＳ８１に移行して、通信設定モードが指定されているか否かを判定する。制御部４１は、通信設定モードが指定されている場合には、ステップＳ８２において撮像装置１からの画像を受信すると共に、通信設定を行って処理をステップＳ７１に戻す。また、通信設定モードが指定されていない場合には、制御部４１は他のモードを実行する。
【０１１３】
また、撮像装置１の制御部１１は、ステップＳ１１において撮影モードが指定されていないと判定すると、図１０ＢのステップＳ５１に処理を移行して、通信設定モードが指定されているか否かを判定する。制御部１１は、通信設定モードが指定されている場合には、ステップＳ６１において画像受信及び通信設定を行った後処理をステップＳ１１に戻す。制御部１１は、通信設定モードが設定されていないと判定した場合には、再生モードが指定されているものと判定して、次のステップＳ５２において、既に記録されている画像を記録部１６から読出して、表示部１５に与えて一覧表示させる。制御部１１、次のステップＳ５３において選択操作が行われたか否かを判定し、選択が行われると、ステップＳ５４において、選択された画像を表示画面１５ａ上に表示する。
【０１１４】
なお、制御部１１は、ステップＳ５３において所定期間選択操作が行われなかったと判定した場合には、処理をステップＳ１１に戻す。制御部１１は、選択画像の表示後に、終了操作が行われたか否かを判定し（ステップＳ５５）、終了操作が行われると処理をステップＳ５３に戻し、終了操作が行われない場合には処理をステップＳ５６に移行する。
【０１１５】
制御部１１は、ステップＳ５６において、記録部１６に記録されているデプスマップの情報を表示に反映させるか否かの問い合わせの判定を行う。ユーザの指定によりデプスマップ反映が指定されている場合には、制御部１１は、次のステップＳ５７において、画像処理部１２ａを制御して、選択画像についてデプスマップを利用して画像を補正した後、この画像を表示部１５に与えて表示画面１５ａ上に表示させる。例えば、選択画像の濃淡を距離に応じて変化させる等の補正が考えられる。なお、この補正表示において視認性強調画像を表示するようにしてもよい。
【０１１６】
制御部１１は、デプスマップ反映が指定されていない場合には、処理をステップＳ５６からステップＳ５５に戻す。制御部１１は、ステップＳ５８において記録等の指示が行われているか否かを判定する。制御部１１は、記録等の指示が行われている場合には、ステップＳ５７において補正した画像を記録部１６に与えて記録させ、記録等の指示が行われていない場合にはステップＳ６０において終了操作を判定する。制御部１１は、ステップＳ６０において、終了操作がないものと判定した場合には処理をステップＳ５７に戻し、終了操作があったものと判定した場合には処理をステップＳ１１に戻す。
【０１１７】
このように本実施の形態においては、撮像装置と情報端末装置とで連携した撮影が可能である。例えば、情報端末装置を撮像装置の照準器として利用することもでき、この場合には、撮像装置の撮影範囲よりも広い視野範囲において、視認性強調画像を表示させ、しかも、視認性強調画像中に撮像装置の撮影範囲を示す画像を表示させることができ、ユーザは構図の設定やピント合わせ等をより簡単に行うことができる。また、撮像装置において、視認性強調処理の一部又は全部の機能を有していない場合でも、情報端末装置からの情報を利用することで、視認性強調画像の表示が可能である。
【０１１８】
なお、本発明の各実施形態においては、撮影のための機器として、通常のカメラやスマートフォン等の携帯端末のカメラを用いて説明したが、撮影画像を取得することができるものであれば、どのような撮像デバイスを採用してもよく、設置場所にとらわれなければ、撮影するための機器として、レンズ型カメラでも、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。また、内視鏡、顕微鏡のような産業用、医療用の光学機器でもよく、監視カメラや車載用カメラ、据え置き型のカメラ、例えば、テレビジョン受信機やパーソナルコンピュータ等に取り付けられているカメラであってもよい。
【０１１９】
このように様々な機器で活用な可能な技術であるが、機器によっては、上記実施の形態ではユーザが移動せず、対象物が移動する例を主に説明したが、ユーザや撮像装置側が移動して、対象物との相対距離が変わる場合もある。このような状況でも特定の相対距離にある対象物とそれ以外の視認性の変更処理を行う場合、本願の範囲に含まれている。例えば、顕微鏡や内視鏡であれば被観察物が移動する以外に観察装置側が移動する場合があるし、ドローン搭載のカメラであれば、同様に対象物に対して近づいていく事が可能である。こうした場合の「追尾」は、対象物側が止まっていても、装置位置が変わることによって生じる相対距離変化に基づく見失いを対策するものである。見ている対象物を決め、その時のデプスマップと、距離変化があった時のデプスマップを比較して、対象物に相当するマップ座標のデプス情報（距離分布情報と言ってもよい）の部分は視認性を保つか向上させ、それ以外の距離に相当する部分の表示に関しては、それが何であるかを識別する事に気を取られないような画像処理（視認性低下、単調化、平たん化処理等）を行う。
【０１２０】
さらに、実施形態において、部（セクションやユニット）として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイクロプロセッサ及びＣＰＵ等のプロセッサ、あるいはシーケンサを組み合わせて構成されてもよい。また、その制御の一部又は全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。ここでは、単純化のため通信部を特記していない場合もあるが、本願の特徴的な処理や補足的な処理をサーバやパソコン等の外部機器が行う実施形態も想定される。つまり、複数の機器が連携して、本発明の特徴を成立させる場合も、本願はカバーしている。この時の通信には、ブルートゥース（登録商標）やＷｉ−Ｆｉ（登録商標）、電話回線等が用いられる。また、この時の通信は、ＵＳＢ等で行われてもよい。専用の回路、汎用の回路や制御部を一体としてＡＳＩＣとして構成してもよい。こうした装置、あるいはシステムは、ユーザに何らかの働きかけを行ったり、部品の角度を変えたりする等の機能を有しても良く、その機構は、様々なアクチュエータと、必要に応じて連結メカニズムによって構成されており、ドライバ回路によってアクチュエータが作動する。このドライブ回路もまた、特定のプログラムに従ってマイクロプロセッサマイコンやＡＳＩＣ等が制御する。こうした制御は各種センサやその周辺回路が出力する情報によって、詳細な補正、調整などが行われてもよい。
【０１２１】
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【０１２２】
なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。
【０１２３】
また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールしたりすることで、容易に本実施の形態の画像処理装置を実現することができる。
【符号の説明】
【０１２４】
１…撮像装置、１ａ…筐体、１０…画像処理装置、１１…制御部、１２…信号処理部、１２ａ…画像処理部、１２ｂ…デプスマップ作成部、１２ｃ…画像分析部、１２ｄ…距離判定部、１２ｅ…追尾部、１３…時計部、１４…各種センサ、１５…表示部、１６…記録部、１７…操作判定部、１８…通信部、２０…画像取得部、２１…撮像部、２２…撮影条件変更部、２３…距離分布情報取得部。
【図１】
2019176249.tif 000003
【図２Ａ】
2019176249.tif 000004
【図２Ｂ】
2019176249.tif 000005
【図２Ｃ】
2019176249.tif 000006
【図３Ａ】
2019176249.tif 000007
【図３Ｂ】
2019176249.tif 000008
【図３Ｃ】
2019176249.tif 000009
【図４】
2019176249.tif 000010
【図５Ａ】
2019176249.tif 000011
【図５Ｂ】
2019176249.tif 000012
【図５Ｃ】
2019176249.tif 000013
【図６】
2019176249.tif 000014
【図７】
2019176249.tif 000015
【図８】
2019176249.tif 000016
【図９】
2019176249.tif 000017
【図１０Ａ】
2019176249.tif 000018
【図１０Ｂ】
2019176249.tif 000019
【図１１】
2019176249.tif 000020
【図１２】
2019176249.tif 000021
【図１３】
2019176249.tif 000022