(57)【要約】【課題】視差の時間変化に伴う疲労および不快感を低減して立体画像を生成する。【解決手段】システム制御部２５０は光軸が所定の間隔をおいて配置された第１の撮像部１１０および第２の撮像部１２０でそれぞれ得られた第１の画像および第２の画像に応じて立体画像を生成する際、第１の画像と第２の画像とのずれ量に応じて視差量を算出して、過去の視差量と現在の視差量とが予め定められた条件を満たすと視差の急激な変化を警告する視差変化警告を行う。【選択図】図１１
2014146970.tif 000002
【特許請求の範囲】
【請求項１】
光軸が所定の間隔をおいて配置された第１の撮像部および第２の撮像部でそれぞれ得られた第１の画像および第２の画像に応じて立体画像を生成する画像処理装置であって、
前記第１の画像と前記第２の画像とのずれ量に応じて視差量を算出する視差量算出手段と、
前記視差量算出手段で算出された過去の視差量と現在の視差量とが予め定められた条件を満たすと視差の急激な変化を警告する視差変化警告を行う警告制御手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記予め定められた条件は前記過去の視差量と前記現在の視差量との差分である視差量変化度が所定の変化閾値以上である状態が所定の時間継続する状態であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記警告制御手段は、前記視差量が前記許容視差量を超える状態が予め設定された時間未満であると許容オーバー視差警告を行うことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記警告制御手段は前記視差量が前記許容視差量を超える状態が前記予め設定された時間継続すると長時間視差警告を行うことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記警告制御手段は、前記視差変化警告、前記長時間視差警告、および前記許容オーバー視差警告の各々を画面表示することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記警告制御手段は、前記視差変化警告、前記長時間視差警告、および前記許容オーバー視差警告の各々を画面表示する際、互いに識別可能に表示することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記警告制御手段は、１フレームの各々について前記視差変化警告、前記長時間視差警告、および前記許容オーバー視差警告を行うか否かを判定することを特徴とする請求項４に記載の画像処理装置。
【請求項８】
前記視差警告制御手段は、前記視差変化警告、前記長時間視差警告、又は前記許容オーバー視差警告を行った際に当該警告が行われたことを示す視差警告情報を生成して、該視差警告情報を前記警告が行われたフレームに関連付けてメモリに記録することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
撮影の結果得られたフレームを再生する際、所定の再生条件である目に負担の少ない再生条件が指定されると、前記視差警告情報が付加されていないフレームのみを再生する再生手段を有することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記警告制御手段は、複数のフレームからなる画像ショット毎に前記視差変化警告および前記許容オーバー視差警告を行うか否かを判定することを特徴とする請求項３に記載の画像処理装置。
【請求項１１】
前記警告制御手段は、前記複数のフレームに対する前記視差量が前記許容視差量を超えるフレームの割合を示す許容オーバー視差画像割合と前記視差の急激な変化があったフレームの割合を示す視差変化画像割合を算出し、前記許容オーバー視差画像割合が所定のオーバー割合閾値を超えるか又は視差変化画像割合が変化割合閾値を超えると、前記許容オーバー視差警告又は前記視差変化警告を行うことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記視差警告制御手段は、前記視差変化警告又は前記許容オーバー視差警告を行った際に当該警告が行われたことを示す視差警告情報を生成して、該視差警告情報を前記警告が行われた画像ショットに関連付けてメモリに記録することを特徴とする請求項１０又は１１に記載の画像処理装置。
【請求項１３】
撮影の結果得られたフレームを再生する際、所定の再生条件である目に負担の少ない再生条件が指定されると、前記視差警告情報が付加されていない画像ショットのみを再生する再生手段を有することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記視差量算出手段は、前記第１の画像と前記第２の画像における複数の視点における最大視差量又は最小視差量を前記視差量とすることを特徴とする請求項１〜１３のいずれか１項に記載の画像処理装置。
【請求項１５】
前記第１の画像又は前記第２の画像から所定の被写体領域を検出する被写体検出手段を備え、
前記視差量算出手段は前記被写体検出手段で検出された被写体領域において前記視差量を求めることを特徴とする請求項１〜１４のいずれか１項に記載の画像処理装置。
【請求項１６】
光軸が所定の間隔をおいて配置された第１の撮像部および第２の撮像部でそれぞれ得られた第１の画像および第２の画像に応じて立体画像を生成する画像処理装置であって、
前記第１の画像と前記第２の画像とのずれ量に応じて視差量を算出する視差量算出手段と、
前記第１の画像又は前記第２の画像において被写体を検出してその特徴を特徴情報として得る特徴検出手段と、
前記特徴情報および前記視差量に基づいて視差の警告を行う警告制御手段と、
を有することを特徴とする画像処理装置。
【請求項１７】
前記特徴検出手段は、前記被写体の種類、前記第１の画像又は前記第２の画像における位置、サイズ、および動きの少なくとも１つを前記特徴情報とすることを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
前記警告制御手段は、予め設定された許容視差量を前記特徴情報に応じて変更し、前記視差量と当該変更後の許容視差量とに応じて前記視差の警告を行うことを特徴とする請求項１６又は１７に記載の画像処理装置。
【請求項１９】
前記警告制御手段は、前記特徴情報で定められる前記第１の画像又は前記第２の画像における領域を重要領域として、当該重要領域については前記予め設定された許容視差量を前記重要領域以外の領域に対して相対的に低くする変更を行うことを特徴とする請求項１６〜１８のいずれか１項に記載の画像処理装置。
【請求項２０】
前記重量領域は前記第１の画像又は前記第２の画像における人物を示す人物領域であることを特徴とする請求項１９に記載の画像処理装置。
【請求項２１】
前記視差量算出手段は前記第１の画像および前記第２の画像の各々を複数の小領域に分割して当該小領域毎に前記視差量を求める際、当該視差量が算出できない小領域である視差量算出不可の小領域の数をカウントして、そのカウント値が所定のカウント閾値以上であると視野闘争警告フラグを設定し、
前記警告制御手段は前記視野闘争警告フラグに応じて視差の警告を行うことを特徴とする請求項１６〜２０のいずれか１項に記載の画像処理装置。
【請求項２２】
前記立体画像における飛び出しおよび引っ込み量の許容範囲を示す許容視差レベルを設定する第１の設定手段と、
前記立体画像が表示される表示部の画面サイズを視環境として設定する第２の設定手段とを有し、
前記視差量算出手段は前記許容視差レベルおよび前記視環境に応じて前記許容視差量を算出することを特徴とする請求項１〜２１のいずれか１項に記載の画像処理装置。
【請求項２３】
光軸が所定の間隔をおいて配置された第１の撮像部および第２の撮像部でそれぞれ得られた第１の画像および第２の画像に応じて立体画像を生成する画像処理装置の制御方法であって、
前記第１の画像と前記第２の画像とのずれ量に応じて視差量を算出する視差量算出ステップと、
前記視差量算出ステップで算出された過去の視差量と現在の視差量とが予め定められた条件を満たすと視差の急激な変化を警告する視差変化警告を行う警告制御ステップと、
を有することを特徴とする制御方法。
【請求項２４】
光軸が所定の間隔をおいて配置された第１の撮像部および第２の撮像部でそれぞれ得られた第１の画像および第２の画像に応じて立体画像を生成する画像処理装置の制御方法であって、
前記第１の画像と前記第２の画像とのずれ量に応じて視差量を算出する視差量算出ステップと、
前記第１の画像又は前記第２の画像において被写体を検出してその特徴を特徴情報として得る特徴検出ステップと、
前記特徴情報および前記視差量に基づいて視差の警告を行う警告制御ステップと、
を有することを特徴とする制御方法。
【請求項２５】
光軸が所定の間隔をおいて配置された第１の撮像部および第２の撮像部でそれぞれ得られた第１の画像および第２の画像に応じて立体画像を生成する画像処理装置で用いられる制御プログラムであって、
前記画像処理装置が備えるコンピュータに、
前記第１の画像と前記第２の画像とのずれ量に応じて視差量を算出する視差量算出ステップと、
前記視差量算出ステップで算出された過去の視差量と現在の視差量とが予め定められた条件を満たすと視差の急激な変化を警告する視差変化警告を行う警告制御ステップと、
を実行させることを特徴とする制御プログラム。
【請求項２６】
光軸が所定の間隔をおいて配置された第１の撮像部および第２の撮像部でそれぞれ得られた第１の画像および第２の画像に応じて立体画像を生成する画像処理装置で用いられる制御プログラムであって、
前記画像処理装置が備えるコンピュータに、
前記第１の画像と前記第２の画像とのずれ量に応じて視差量を算出する視差量算出ステップと、
前記第１の画像又は前記第２の画像において被写体を検出してその特徴を特徴情報として得る特徴検出ステップと、
前記特徴情報および前記視差量に基づいて視差の警告を行う警告制御ステップと、
を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、その制御方法、および制御プログラムに関し、特に、立体画像を処理する画像処理装置に関する。
【背景技術】
【０００２】
一般に、被写体を撮影して所謂立体画像として表示する撮像装置が知られている。人間が立体感を感じるための技術の１つとして、例えば、両眼視差を用いる技術が知られている。ここで、両眼視差とは、左右の網膜上における対象物（被写体など）の相対的なずれをいう。
【０００３】
人間は、２つの目を通して対象物を見ることによって両眼視差を得ることができ、両眼視差によって奥行き方向の距離を知覚することができる。そして、この両眼視差を用いて被写体を撮影して立体画像として表示することが行われている。
【０００４】
両眼視差を有する複数の画像を、人間が左右の目で独立して見た場合、両眼視差が所定の範囲内であれば立体視が可能となる。ところが、両眼視差が過度であると、見ている人に不快感および疲労感を与えることがあるばかりでなく、一つの対象物が２重に見えて立体視できなくなることが知られている。
【０００５】
快適に立体視が可能な視差の大きさについては、例えば、３Ｄコンソーシアムから発行されている「立体画像の快適視聴のためのコンテンツ制作者向けガイドライン」で報告されている。
【０００６】
そして、許容可能な視差範囲を超えると警告を表示するようにした立体画像処理装置が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−３４９７３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、立体視において視覚的な不快感を招く要因としては、両眼の視差量のみでなく、視差の時間的な変動も要因となる。例えば、長時間の過度な視差および視差の急激な変動は、特に不快感を招くことが知られている。
【０００９】
一方、上述の特許文献１に記載の手法では、立体画像を生成する際、視差の時間的な変動量を把握することができず、視聴者に対して視覚的な疲労および不快感を招く画像が生成されることがある。
【００１０】
さらに、被写体の中でも、特に、注視する被写体（主被写体）の視差量は視聴者の不快感に直結するので、できる限り許容範囲に抑える必要がある。しかしながら、特許文献１に記載の手法では、視差量に基づいて一律に警告を発している。
【００１１】
このため、不快感を与えにくい被写体（例えば、主被写体以外の被写体）についても視差が大きければ警告を発することになってしまう。つまり、被写体の重要度に拘わらず、警告が発せられることになるので、映像制作者などのユーザは当該警告が重要な警告であるか否かを認識することが困難となってしまう。
【００１２】
そこで、本発明の第１の目的は、視差の時間変化に伴う疲労および不快感を低減して立体画像を生成することができる画像処理装置、その制御方法、および制御プログラムを提供することにある。
【００１３】
また、本発明の第２の目的は、被写体の重要性に応じて、不快感に直結する視差を有する被写体を撮影した際に警告を発して、映像制作者の負荷を軽減することのできる画像処理装置、その制御方法、および制御プログラムを提供することにある。
【課題を解決するための手段】
【００１４】
上記の目的を達成するため、本発明による画像処理装置は、光軸が所定の間隔をおいて配置された第１の撮像部および第２の撮像部でそれぞれ得られた第１の画像および第２の画像に応じて立体画像を生成する画像処理装置であって、前記第１の画像と前記第２の画像とのずれ量に応じて視差量を算出する視差量算出手段と、前記視差量算出手段で算出された過去の視差量と現在の視差量とが予め定められた条件を満たすと視差の急激な変化を警告する視差変化警告を行う警告制御手段と、を有することを特徴とする。
【００１５】
また、本発明による画像処理装置は、光軸が所定の間隔をおいて配置された第１の撮像部および第２の撮像部でそれぞれ得られた第１の画像および第２の画像に応じて立体画像を生成する画像処理装置であって、前記第１の画像と前記第２の画像とのずれ量に応じて視差量を算出する視差量算出手段と、前記第１の画像又は前記第２の画像において被写体を検出してその特徴を特徴情報として得る特徴検出手段と、前記特徴情報および前記視差量に基づいて視差の警告を行う警告制御手段と、を有することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、視差の時間変化に伴う疲労および不快感を低減して立体画像を生成することができるばかりでなく、被写体の重要性に応じて、不快感に直結する視差を有する被写体を撮影した際に警告を発して、映像制作者の負荷を軽減することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態による画像処理装置を備える撮像装置の一例についてその外観を示す斜視図である。
【図２】図１に示すカメラの構成の一例を示すブロック図である。
【図３】図２に示すカメラにおける許容視差量の設定を説明するためのフローチャートである。
【図４】図２に示す表示部に表示される視差設定画面の一例を説明するための図であり、（ａ）は許容視差範囲の設定を行う許容視差設定画面を示す図、（ｂ）は視環境の設定を行う視環境設定画面を示す図である。
【図５】図２に示すカメラにおける許容視差範囲と飛び出し量および引っ込み量との関係を説明するための図である。
【図６】図２に示すシステム制御部で許容視差量を算出する際に用いられるテーブルの一例を示す図であり、（ａ）は飛び出しの許容視差量を求める際に用いられるテーブルを示す図、（ｂ）は引っ込みの許容視差量を求める際に用いられるテーブルを示す図である。
【図７】図２に示すカメラで行われる視差量の時間変化に応じた視差警告情報の生成処理を説明するためのフローチャートである。
【図８】図２に示すシステム制御部で行われる視差量の算出を説明するための図であり、（ａ）はカメラで得られた画像と被写体との関係を示す図、（ｂ）は撮影の結果得られた画像を詳細に示す図である。
【図９】図２に示すシステム制御部で行われる視差量代表値に係る許容オーバー時間の算出を説明するためのフローチャートである。
【図１０】図２に示すシステム制御部で行われる視差量代表値の変化度の算出を説明するためのフローチャートである。
【図１１】図２に示すシステム制御部で行われる視差警告情報の生成および警告表示を説明するためのフローチャートである。
【図１２】図２に示すシステム制御部が行う警告表示を説明するための図であり、（ａ）は長時間視差を警告する警告表示画面の一例を示す図、（ｂ）は許容オーバー視差を警告する警告表示画面の一例を示す図、（ｃ）は視差の急激な変化を警告する警告表示画面の一例を示す図である。
【図１３】図２に示すカメラにおける画像再生処理を説明するためのフローチャートである。
【図１４】図２に示す表示部に表示される再生設定画面の一例を説明するための図であり、（ａ）は再生設定画面の一例を示す図、（ｂ）は再生設定画面の他の例を示す図である。
【図１５】図２に示すカメラで再生される画像ショットにおけるフレーム単位の視差警告情報の分布の一例を示す図である。
【図１６】図２に示すカメラにおいて人物領域の視差量を視差量代表値として用いて警告表示を行う例を説明するための図であり、（ａ）は顔領域の検出を示す図、（ｂ）は警告表示を示す図である。
【図１７】本発明の第２の実施形態による画像処理装置を備えるカメラにおける警告情報生成処理を説明するためのフローチャートである。
【図１８】本発明の第２の実施形態における画像処理装置が行う警告表示を説明するための図であり、（ａ）は許容範囲を超える視差領域の存在を表示する画面の一例を示す図、（ｂ）は許容範囲を超える視差が多いか又は視差の急激な変化が生じた際の警告画面の一例を示す図である。
【図１９】本発明の第２の実施形態による画像処理装置を備えるカメラにおける画像再生処理を説明するためのフローチャートである。
【図２０】本発明の第３の実施形態による画像処理装置を備えるカメラで行われる警告表示処理を説明するためのフローチャートである。
【図２１】本発明の第３の実施形態による画像処理装置を備えるカメラで得られる被写体距離情報を説明するための図であり、（ａ）は撮影の結果得られた画像を示す図、（ｂ）は小領域毎の視差量を示す図である。
【図２２】本発明の第３の実施形態による画像処理装置を備えるカメラで行われる重要領域の決定を説明するための図であり、（ａ）は人物領域の検出を示す図、（ｂ）は画像の中央部を重要領域として設定した状態を示す図、（ｃ）は人物領域を重要領域として設定した状態を示す図、（ｄ）は最終的な重要領域の設定を示す図である。
【図２３】図２０に示す視差警告表示制御を説明するためのフローチャートである。
【図２４】許容視差量を所定倍した際の許容視差範囲と飛び出し量および引っ込み量との関係を説明するための図である。
【図２５】図２３に示す視差警告表示制御によって表示される視差警告表示の一例を示す図である。
【図２６】本発明の第４の実施形態による画像処理装置を備えるカメラで行われる警告表示処理を説明するためのフローチャートである。
【図２７】本発明の第４の実施形態による画像処理装置を備えるカメラで行われる動き検出を説明するための図であり、（ａ）は所定時間前に撮影された画像を示す図、（ｂ）は現在の画像を示す図、（ｃ）は重要領域の設定を示す図である。
【図２８】本発明の第５の実施形態による画像処理装置を備えるカメラ１００で行われる警告表示処理を説明するためのフローチャートである。
【図２９】本発明の第５の実施形態によるカメラで行われる視差量の算出を説明するための図であり、（ａ）は一対の撮像部における撮影画角を示す図、（ｂ）は撮影画角による撮影不可の領域を示す図、（ｃ）は撮影不可の領域が存在する際の画像を示す図である。
【図３０】図２８に示す視差警告表示制御を説明するためのフローチャートである。
【図３１】図３０に示す視差警告表示制御で表示される視差警告の一例を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。
【００１９】
［第１の実施形態］
図１は、本発明の第１の実施形態による画像処理装置を備える撮像装置の一例についてその外観を示す斜視図である。ここでは、画像処理装置は２つの撮影画像から視差量を算出して、撮像装置による撮影の際に警告情報を生成する。
【００２０】
図１において、図示の撮像装置１００は、例えば、デジタルビデオカメラ（以下単にカメラと呼ぶ）であり、カメラ１００は映像記録開始およびメニュー設定などの各種操作を行うための操作部１０１を備えている。
【００２１】
さらに、カメラ１００には電源スイッチ１０２が備えられるとともに、一対の撮像部１１０および１２０（第１の撮像部および第２の撮像部）を有している。これら撮像部１１０および１２０の各々はレンズなどの光学系を有している。そして、カメラ１００によって被写体を撮影した結果得られた画像は表示部１３３に表示される。
【００２２】
図２は、図１に示すカメラ１００の構成の一例を示すブロック図である。
【００２３】
前述のように、カメラ１００は、一対の撮像部１１０および１２０を有しており、撮像部１１０および１２０の各々は撮影レンズユニット（以下単に撮影レンズと呼ぶ）２１１、アイリス２１２、撮像素子２１３、Ａ／Ｄ変換器２１４、および画像処理部２１５を備えている。
【００２４】
図示の例では、撮像部１１０および１２０はその光学中心が所定の間隔（例えば、約６０ｍｍの間隔）をおいて配置されており、撮影レンズ２１１には少なくともズームレンズおよびフォーカスレンズが備えられている。アイリス２１２は絞りを調整するためのものであり、撮像素子２１３は、例えば、ＣＣＤ又はＣＭＯＳ素子で構成される。撮像素子２１３に結像した光学像（被写体像）は撮像素子２１３によって電気信号（アナログ信号）に変換される。
【００２５】
撮像素子２１３の出力であるアナログ信号はＡ／Ｄ変換器２１４によってデジタル信号に変換されて、画像処理部２１５に与えられる。そして、画像処理部２１５はデジタル信号に対して画像補正などの画像処理を行って画像データを出力する。
【００２６】
なお、ここでは、撮像部１１０から出力される画像データを第１の画像データと呼び、撮像部１２０から出力される画像データを第２の画像データと呼ぶ。
【００２７】
カメラ１００はシステム制御部２５０を有しており、システム制御部２５０はカメラ１００全体の制御を司る。そして、前述の操作部１０１および電源スイッチ１０２はシステム制御部２５０に接続され、ユーザは操作部１０１を用いてシステム制御部２５０に各種指示を与える。不揮発性メモリ２０５にはシステム制御部２５０の動作用の定数、変数、およびプログラムなどが格納されている。
【００２８】
このプログラムには、後述する各種フローチャートを実行するためのプログラムが含まれる。不揮発性メモリ２０５は電気的に消去・記録可能なメモリであって、例えば、ＥＥＰＲＯＭが用いられる。
【００２９】
システムメモリ２０７は、例えば、ＲＡＭであり、システム制御部２５０は不揮発性メモリ２０５から動作用の定数、変数、およびプログラムなどを読み出して、システムメモリ２０７に展開する。
【００３０】
システム制御部２５０にはシステムタイマー２０６が接続されており、システムタイマー２０６はシステム制御部２５０による各種制御で用いる時間を計測してシステム制御部２５０に与える。
【００３１】
システム制御部２５０は電源制御部２０３を介して電源部２０４に接続されている。電源制御部２０３は、電池検出回路、ＤＣ−ＤＣコンバータ、および通電するブロックを切り替えるスイッチ回路などを備えている。そして、電源制御部２０３は電池の装着の有無、電池の種類、および電池残量の検出を行う。
【００３２】
また、電源制御部２０３は上記の検出結果およびシステム制御部２５０の指示に基づいてＤＣ−ＤＣコンバータを制御して、所定の電圧を必要な期間の間、記録媒体２３５を含む各部に供給する。
【００３３】
電源部２０４はアルカリ電池又はリチウム電池などの一次電池、又はＮｉＣｄ電池、ＮｉＭＨ電池、又はＬｉ電池などの二次電池を備えるとともに、ＡＣアダプターなどを有している。
【００３４】
画像処理部２１５はＡ／Ｄ変換器２１４の出力であるデジタル信号、又はメモリ制御部２３１から画像データを受けて、所定の画素補間および縮小などのリサイズ処理と色変換処理とを行う。
【００３５】
また、画像処理部２１５は撮像の結果得られた画像データを用いて所定の演算処理を行う。そして、システム制御部２５０は当該演算結果に基づいて露光制御および測距制御を行う。
【００３６】
これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、およびＥＦ（フラッシュプリ発光）処理が行われる。
【００３７】
さらに、画像処理部２１５は撮像の結果得られた画像データを用いて所定の演算処理を行って、当該演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。
【００３８】
画像処理部２１５の出力である画像データはメモリ制御部２３１を介してメモリ２３０に一時的に書き込まれる。図示のメモリ２３０は画像表示用のメモリ（ビデオメモリ）を兼ねており、メモリ２３０に書き込まれた表示用の画像データはＤ／Ａ変換器２３２を介して表示部２３３に与えられて、画像として表示される。なお、表示部２３３は、例えば、ＬＣＤである。
【００３９】
コーデック部２１６は、撮像部１１０および１２０から出力された第１および第２の画像データをＭＰＥＧなどの規格に基づいて圧縮符号化する。システム制御部２５０はコーデック部２１６で符号化された画像データを相互に関連づけて、インタフェース（Ｉ／Ｆ）２３４を介して記録媒体２３５に記録する。
【００４０】
また、コーデック部２１６は記録媒体２３５からメモリ２３０に読み込まれた圧縮符号化後の画像データを読み込んで復号化処理を行って、復号化処理後の画像データをメモリ２３０に書き込む。
【００４１】
なお、記録媒体２３５は、例えば、メモリカード又はハードディスクである。また、外部出力端子２３６は画像データを外部機器（図示せず）に対して出力するための端子である。
【００４２】
図３は、図２に示すカメラにおける許容視差量の設定を説明するためのフローチャートである。
【００４３】
まず、映像（画像）の閲覧者であるユーザはカメラ１００に当該ユーザが許容可能な（つまり、ユーザが不快感をいだきにくい）視差量（ピクセル値）を視差許容量として設定する。ユーザが操作部２０１を用いて視差設定指示を入力すると、システム制御部２５０は、後述する設定画面を表示部２３３に表示する。
【００４４】
図４は、図２に示す表示部２３３に表示される視差設定画面の一例を説明するための図である。そして、図４（ａ）は許容視差範囲の設定を行う許容視差設定画面を示す図であり、図４（ｂ）は視環境の設定を行う視環境設定画面を示す図である。
【００４５】
前述のように、視差設定指示が入力されると、システム制御部２５０は、図４（ａ）に示す許容視差範囲（つまり、許容視差レベル）の設定を行う許容視差設定画面を表示部２３３に表示する。ユーザは当該許容視差設定画面を目視して、操作部２０１によって許容視差レベルの設定を行う（ステップＳ３０１）。
【００４６】
許容視差レベルとは、立体映像（立体画像ともいう）における飛び出しおよび引っ込み量の許容範囲を示す値である。図４（ａ）に示す許容視差設定画面では、許容視差レベルは、「広い」および「狭い」の２段階のいずれかに設定することができる。
【００４７】
許容視差レベルを「広い」に設定すると、大きな飛び出しおよび引っ込みまで許容される。言い換えると、「広い」では予め設定された視差閾値を超える許容視差レベルが設定され、「狭い」では上記の視差閾値以下の許容視差レベルが設定される。
【００４８】
なお、視差量は、立体画像が表示部２３３に表示された際の飛び出し量および引っ込み量に対応しており、２つの画像における視差量が大きいと、ユーザは大きな飛び出しおよび引き込みを知覚することになる。
【００４９】
図５は、図２に示すカメラにおける許容視差範囲と飛び出し量および引っ込み量との関係を説明するための図である。
【００５０】
図５において、横軸は距離を表しており、Ｐ１は立体画像の表示面を示す。そして、Ｐ２は当該表示面を目視するユーザの位置を示す。設定された許容視差レベルが「狭い」であると、許容可能な飛び出し距離はＰ３までとなり、引っ込み距離はＰ４までとなる。一方、設定された許容視差レベルが「広い」であると、許容可能な飛び出し距離はＰ５までとなり、引っ込み距離はＰ６までとなる。
【００５１】
再び図３を参照して、許容視差レベルが設定されると、システム制御部２５０は、図４（ｂ）に示す視環境設定画面を表示部１３３に表示する。そして、ユーザは当該視環境設定画面において立体画像を表示する表示部２３３の画面サイズを視環境として設定する（ステップＳ３０２）。
【００５２】
図４（ｂ）に示す例では、画面サイズは「６５インチ以下」、「１００インチ」、および「２００インチ」のいずれか１つに設定することができる。
【００５３】
視環境の設定が行われると、システム制御部２５０は許容視差レベルおよび画面サイズに基づいて許容可能な視差量（許容視差量）、つまり、許容視差のピクセル数を決定して（ステップＳ３０３）、許容視差量の設定を終了する。ここで、許容視差量とは、ユーザが画像を快適に立体視できる視差量であって、システム制御部２５０は許容視差量として画像データのピクセル数を算出する。なお、算出された許容視差量は、例えば、不揮発性メモリ２０５に記録される。
【００５４】
図６は、図２に示すシステム制御部２５０で許容視差量を算出する際に用いられるテーブルの一例を示す図である。そして、図６（ａ）は飛び出しの許容視差量を求める際に用いられるテーブルを示す図であり、図６（ｂ）は引っ込みの許容視差量を求める際に用いられるテーブルを示す図である。なお、図６に示すテーブルは、例えば、図２に示す不揮発性メモリ２０５に記憶されている。
【００５５】
許容視差量を求める際には、システム制御部２５０は飛び出し側の許容視差量と引っ込み側の許容視差量とを求める。飛び出し側の許容視差量を求める場合には、システム制御部２５０は、図６（ａ）に示すテーブルを参照して、設定された許容レベルおよび設定された画面サイズ（つまり、視環境）に応じて飛び出し側のピクセル数を得る。
【００５６】
同様にして、引っ込み側の許容視差量を求める場合には、システム制御部２５０は、図６（ｂ）に示すテーブルを参照して、設定された許容レベルおよび設定された画面サイズに応じて引っ込み側のピクセル数を得る。
【００５７】
図示の例では、ユーザの視距離が画面サイズの縦幅の３倍であるとして、テーブルにおけるピクセル数が決定されている。この場合、飛び出し側の許容視差量は画面サイズに関係なく一定となる。一方、引っ込み側では視差量が大きくなると、当該視差量がユーザの瞳孔間距離を超えることがあるので、画面サイズに応じて許容視差量が変化する。
【００５８】
続いて、カメラ１００で行われる視差量の時間変化に応じた警告情報の生成処理について説明する。
【００５９】
図７は、図２に示すカメラ１００で行われる視差量の時間変化に応じた視差警告情報の生成処理を説明するためのフローチャートである。
【００６０】
撮影が開始されると、システム制御部２５０は撮像部１１０および１２０から出力された第１の画像データと第２の画像データ（以下単に画像ともいう）とのずれ量に応じてその視差量（ピクセル数）を算出する（ステップＳ７０１）。
【００６１】
図８は、図２に示すシステム制御部２５０で行われる視差量の算出を説明するための図である。そして、図８（ａ）はカメラ１００で得られた画像と被写体との関係を示す図であり、図８（ｂ）は撮影の結果得られた画像を詳細に示す図である。
【００６２】
図８（ａ）において、被写体８００が撮影対象物であり、撮像部１１０で撮影された画像面が右画像面８０１であり、撮像部１２０で撮影された画像面が左画像面８０２である。
【００６３】
また、点Ｐ８０３は撮像部１１０および１２０の光軸が交わる点であり、この点Ｐ８０３は視差量がゼロとなる位置である。そして、この点Ｐ８０３よりもカメラ１００側に位置する被写体８００は立体視を行った場合には飛び出して画面表示される。
【００６４】
対象物点Ｐ８０４は被写体８００のある一点を示しており、点Ｐ８０５およびＰ８０６は対象物点Ｐ８０４を撮影した際に左右の画像に写る位置を示している。そして、Ｌ８０７およびＬ８０８は、２つの撮像部１１０および１２０の視点と被写体８００上の点Ｐ８０４を含む平面とがそれぞれの画像面と交わった直線（エピポーラ線）を示す。
【００６５】
左右の画像（つまり、第１の画像および第２の画像）の視差量を求める際には、同一の被写体８００を撮影した場合の左右の画像の位置のずれ量を算出する。図８に示す例では点Ｐ８０５に対するＰ８０６のずれ量を算出することになる。
【００６６】
右画像面８０１と左画像面８０２との視差量を算出する際には、例えば、両画像面において同一の箇所を探索して対応点を検出する。例えば、右画像面８０１を基準として、右画像面８０１の点Ｐ８０５に位置する対象物と同一の対象物が左画像面８０２のどの箇所に位置するかが探索される。
【００６７】
具体的には、図８（ｂ）に示すように，右画像面中の基準画素（例えば、点Ｐ８０５）を定めて，この基準画素を含むテンプレート画像８１０を生成する。そして、左画像面のエピポーラ線Ｌ８０８上に設定した探索範囲（探索画像）８１１においてテンプレート画像と同一のサイズの探索ウインドウ８１３を移動させて、テンプレート画像と最も一致する部分を探索画像上で決定して、右画像に対する左画像の対応点の距離が視差量とする。
【００６８】
図８に示す例では、点Ｐ８０５と点Ｐ８０６との水平ずれ量（ピクセル数）が視差量となる。
【００６９】
上述のようにして、システム制御部２５０は右画像の画素単位で視差量を算出して、ノイズによる誤判定などを除外するため４×４画素などの小領域単位で視差量を平均化する。これによって、システム制御部２５０は小領域単位で視差量（ピクセル数）を得る。
【００７０】
再び図７を参照して、上述のようにして、小領域単位で視差量を得た後、システム制御部２５０は現フレーム（つまり、現画像）における視差量の代表値を算出する（ステップＳ７０２）。ここでは、視差量の代表値として、例えば、最大視差量および最小視差量が用いられる。
【００７１】
なお、視差量代表値は、算出の都度、例えば、システムメモリ２０７に記録される。システムメモリ２０７には、所定時間分の過去の画像に係る視差量代表値が記録されている。
【００７２】
つまり、システム制御部２５０は前述の小領域単位の視差量からその最大値および最小値を抽出して、視差量の代表値（視差量代表値）とする。これら最大値および最小値はそれぞれ被写体において最も飛び出している部位の飛び出し量および最も遠くにある部位の引っ込み量に対応している。続いて、システム制御部２５０は、視差量代表値に係る許容オーバー時間を算出する（ステップＳ７０３）。
【００７３】
図９は、図２に示すシステム制御部２５０で行われる視差量代表値に係る許容オーバー時間の算出を説明するためのフローチャートである。
【００７４】
まず、システム制御部２５０は視差量代表値が許容視差量を越えているか否かを判定する（ステップＳ９０１）。ここでは、システム制御部２５０は前述の最大値（最大視差量）および最小値（最小視差量）の少なくとも一方が図３に示すステップＳ３０３で求めた許容視差量（ピクセル数）を超えているか否かを判定することになる。
【００７５】
視差量代表値が許容視差量を超えていると（ステップＳ９０１において、ＹＥＳ）、システム制御部２５０は、内蔵する許容オーバー時間カウンタに１を加算して（ステップＳ９０２）、許容オーバー時間の算出を終了する。一方、視差量代表値が許容視差量以下であると（ステップＳ９０１において、ＮＯ）、システム制御部２５０は許容オーバー時間カウンタをゼロにリセットして（ステップＳ９０３）、許容オーバー時間の算出を終了する。
【００７６】
なお、許容オーバー時間カウンタのカウント値は、許容視差量を越えた視差量が生じた画像が連続して生成されている時間を表す情報である。
【００７７】
視差量代表値に係る許容オーバー時間を算出した後、システム制御部２５０は視差量代表値の変化度を算出する（ステップＳ７０４）。
【００７８】
図１０は、図２に示すシステム制御部２５０で行われる視差量代表値の変化度の算出を説明するためのフローチャートである。
【００７９】
まず、システム制御部２５０は過去の画像に係る視差量代表値をシステムメモリ２０７から読み出す（ステップＳ１００１）。ここでは、システム制御部２５０はシステムメモリ２０７に蓄積された所定時間分の過去の視差量代表値を読み出す。
【００８０】
続いて、システム制御部２５０は過去の視差量代表値と現画像に係る視差量代表値との差分を算出して、当該差分値を視差量変化度としてシステムメモリ２０７に保持する（ステップＳ１００２）。例えば、システム制御部２５０は過去数フレーム分の視差量代表値の平均値と現画像に係る視差量代表値との差分絶対値を求めて視差変化度とする。そして、システム制御部２５０は現画像の視差量代表値をシステムメモリ２０７に保存して（ステップＳ１００３）、視差量代表値の変化度の算出を終了する。
【００８１】
上述のようにして、視差量代表値の変化度を算出した後、システム制御部２５０は視差警告情報の生成および警告表示を行う（ステップＳ７０５）。
【００８２】
図１１は、図２に示すシステム制御部２５０で行われる視差警告情報の生成および警告表示を説明するためのフローチャートである。
【００８３】
まず、システム制御部２５０は、許容オーバー時間カウンタのカウント値が所定のカウント閾値ＴＨ１以上であるか否かを判定する（ステップＳ１１０１）。ここでは、システム制御部２５０は視差許容範囲を越えた視差量が所定のカウント閾値ＴＨ１（例えば、５秒）以上継続しているか否かを判定することになる。
【００８４】
カウント値がカウント閾値ＴＨ１以上であると（ステップＳ１１０１において、ＹＥＳ）、つまり、視差量が許容視差量を超える状態が予め設定された時間以上であると、システム制御部２５０は表示部２３３に長時間視差警告の警告表示画面を表示する（ステップＳ１１０２）。
【００８５】
図１２は、図２に示すシステム制御部２５０が行う警告表示を説明するための図である。そして、図１２（ａ）は長時間視差を警告する警告表示画面の一例を示す図であり、図１２（ｂ）は許容オーバー視差を警告する警告表示画面の一例を示す図である。また、図１２（ｃ）は視差の急激な変化を警告する警告表示画面の一例を示す図である。
【００８６】
図１２（ａ）に示す長時間視差の警告表示画面において、ここでは、例えば、画面上には撮像部１１０で撮像された右画像１２０１が表示されるとともに、右画像１２０１に重畳して長時間視差を警告する警告文が表示される。さらに、警告文には許容オーバー時間カウンタのカウント値に対応する時間（秒）が表示される。
【００８７】
警告文の表示領域１２０２はその色が許容オーバー時間カウンタのカウント値に応じて変更される。例えば、カウント値が５秒以上であると、警告文の表示領域１２０２は黄色とされ、１カウント値が１０秒以上であると、警告文の表示領域１２０２は赤色とされる。
【００８８】
また、右画像１２０１の被写体において、最大視差量を有する小領域（部位）１２０３が特定の色で塗りつぶされる。図示の例では、最大視差を有する小領域が２か所あるため、２か所が特定の色で塗りつぶされている。塗りつぶしの際に用いる徒弟の色は、例えば、警告文の表示領域１２０２と同様にして、時間に応じて黄色又は赤色に変更される。
【００８９】
一方、カウント値がカウント閾値ＴＨ１未満であると（ステップＳ１１０１において、ＮＯ）、つまり、視差量が許容視差量を超える状態が予め設定された時間未満であると、システム制御部２５０は表示部２３３に許容オーバー視差を警告する警告表示画面を表示する（ステップＳ１１０３）。
【００９０】
図１２（ｂ）に示す許容オーバー視差の警告表示画面においては、右画像１２０１の被写体において、許容視差量を越えた小領域１２０４が特定の色で塗りつぶされる。ここでは、許容視差量を越えた小領域１２０４は最大視差を有する小領域とは異なる色（例えば、水色）で塗りつぶされる。
【００９１】
ステップＳ１１０２又はＳ１１０３の処理の後、システム制御部２５０は視差変化度が所定の変化閾値ＴＨ２以上であるか否かを判定する（ステップＳ１１０４）。視差変化度が変化閾値ＴＨ２以上であると（ステップＳ１１０４において、ＹＥＳ）、システム制御部２５０は、内蔵する視差変化カウンタに１を加算する（ステップＳ１１０５）。なお、視差変化カウンタのカウント値は、変化閾値ＴＨ２以上である視差変化の継続時間を示す。
【００９２】
一方、視差変化度が変化閾値ＴＨ２未満であると（ステップＳ１１０４において、ＮＯ）、システム制御部２５０は視差変化カウンタをゼロにリセットする（ステップＳ１１０６）。そして、システム制御部２５０は後述するステップＳ１１０９の処理に進む。
【００９３】
ステップＳ１１０５の処理を行った後、システム制御部２５０は視差変化カウンタのカウント値が変化閾値ＴＨ２よりも大きい変化閾値ＴＨ３以上であるか否かを判定する（ステップＳ１１０７）。
【００９４】
このように、システム制御部２５０は予め定められた条件である視差量変化度が所定の変化閾値以上である状態が所定の時間継続すると視差の急激な変化を警告する視差変化警告を行う。
【００９５】
つまり、複数の変化閾値を設定して、カウント値と比較することによって一瞬の視差変化を除外する。人間は一瞬の視差変化に対してはそれほど不快を感じないが、急激な視差変化が継続すると不快感を抱く。よって、ここでは、視差変化カウンタを用いて、一瞬の視差変化を除外して不快を感じる継続的な視差変化であるか否かを判定している。
【００９６】
カウント値が変化閾値ＴＨ３以上であると（ステップＳ１１０７において、ＹＥＳ）、システム制御部２５０は、不快を感じる視差変化が生じたとして、視差の急激な変化を警告する警告表示画面を表示部２３３に表示する（ステップＳ１１０８）。
【００９７】
図１２（ｃ）に示す視差の急激な変化の警告表示画面においては、右画像１２０１に重畳して視差の急激な変化を警告する警告文が表示される。また、右画像１２０１の被写体において、最大視差量を有する小領域（部位）１２０６が特定の色で塗りつぶされる。
【００９８】
図１２（ｃ）に示す警告表示画面においては、警告文の表示領域１２０５および小領域１２０６は、前述の許容オーバー視差の警告表示画面と区別するための別の色で表示される。なお、図１２には示されていないが、図１２（ａ）および図１２（ｃ）に示す警告を同時に表示することもできる。
【００９９】
上述のようにして、警告表示画面の表示を行った後、システム制御部２５０は視差警告情報を生成する（ステップＳ１１０９）。そして、システム制御部２５０は視差警告情報の生成および警告表示を終了する。なお、カウント値が変化閾値ＴＨ３未満であると（ステップＳ１１０７において、ＮＯ）、システム制御部２５０はステップＳ１１０９の処理に進む。
【０１００】
ここで、視差警告情報とは、現在処理中の画像が不快を感じる可能性のある画像であるか否かを示す情報である。例えば、視差警告情報は、許容視差量を超えた視差量を有する画像であるか又は急激な視差変化が生じた画像であるかを示すフラグ情報である。
【０１０１】
上述のようにして、視差警告情報の生成を行った後、システム制御部２５０は視差警告情報を画像のメタデータとして画像に付加する（ステップＳ７０６）。ここでは、メタデータは画像の１フレーム単位で記録される。また、メタデータは撮像部１１０および１２０で得られた画像の一方のみに付加する。
【０１０２】
次に、システム制御部２５０は画像記録の停止操作が行われたか否かを判定する（ステップ７０７）。停止操作が行われていないと（ステップＳ７０７において、ＮＯ）、システム制御部２５０はステップＳ７０１の処理に戻る。一方、停止操作が行われると（ステップＳ７０７において、ＹＥＳ）、システム制御部２５０は視差警告情報の生成処理を終了する。
【０１０３】
図１３は、図２に示すカメラにおける画像再生処理を説明するためのフローチャートである。
【０１０４】
ここでは、記録媒体２３５に記録された画像（つまり、フレーム）を再生する際の処理について説明するが、記録媒体２３５には、画像として動画像が記録されている。そして、ここでは、記録開始から記録停止までの間の一群の画像群を画像ショットと呼ぶ。
【０１０５】
画像再生の際には、システム制御部２５０は前述したように画像単位（フレーム単位）で記録された視差警告情報に基づいて再生表示する画像を制御する。例えば、システム制御部２５０は視差警告情報が付加された画像を除外して画像の再生を行う。再生処理を行う際には、ユーザは操作部２０１を用いて再生方法の選択を行う（ステップＳ１３０１）。
【０１０６】
図１４は、図２に示す表示部に表示される再生設定画面の一例を説明するための図である。そして、図１４（ａ）は再生設定画面の一例を示す図であり、図１４（ｂ）は再生設定画面の他の例を示す図である。
【０１０７】
ユーザが操作部２０１によって再生設定指示を行うと、システム制御部２５０は、図１４（ａ）に示す再生設定画面（以下第１の再生設定画面と呼ぶ）を表示部２３３にメニュー表示する。第１の再生設定画面においては、再生方法（つまり、再生条件）として、「全ての画像を再生する」および「目に負担の少ない画像のみを再生する」の２つの方法がある。ユーザは当該再生設定画面においていずれかの再生方法を、操作部２０１を用いて選択画像再生方法として選択する。
【０１０８】
なお、ユーザが画像再生を行う前に事前に再生方法を選択して、システム制御部２５０が当該選択画像再生方法を不揮発性メモリ２０５に保存するようにしてもよい。
【０１０９】
ユーザは選択画像再生方法を選択した後、操作部２０１を用いて再生すべき画像ショットを選択する（ステップＳ１３０２）。画像ショットの選択が行なわれると、システム制御部２５０は前述の選択画像再生方法が「目に負担の少ない画像のみの再生」であるか否かを判定する（ステップＳ１３０３）。
【０１１０】
「目に負担の少ない画像のみの再生」であると（ステップＳ１３０３において、ＹＥＳ）、システム制御部２５０は前述したようにして、画像ショットに含まれるフレームに付加された視差警告情報を取得する（ステップＳ１３０４）。つまり、システム制御部２５０はフレーム単位で視差警告情報（警告フラグ）を取得する。
【０１１１】
図１５は、図２に示すカメラで再生される画像ショットにおけるフレーム単位の視差警告情報の分布の一例を示す図である。
【０１１２】
図１５に示す画像ショット１５００において、黒色で示すフレーム１５０１は視差警告情報を示す警告フラグを有するフレームである。
【０１１３】
システム制御部２５０は視差警告情報（つまり、警告フラグ）が付加されていないフレームを画像ショットから抽出する（ステップＳ１３０５）。図１５に示す例では、システム制御部２５０はフレーム１５０２および１５０３を抽出することになる。
【０１１４】
続いて、システム制御部２５０はメモリ制御部２３１を介してステップＳ１３０５で抽出したフレームを再生して表示部２３３に表示する（ステップＳ１３０６）。そして、システム制御部２５０は再生処理を終了する。
【０１１５】
一方、「目に負担の少ない画像のみの再生」でないと（ステップＳ１３０３において、ＮＯ）、つまり、「全ての画像を再生する」が選択されると、システム制御部２５０は画像ショット全体を再生して表示部２３３に表示する（ステップＳ１３０７）。そして、システム制御部２５０は再生処理を終了する。図１５に示す例では、画像ショット１５００の全てのフレームが再生される。
【０１１６】
このように、本発明の第１の実施形態では、小領域単位の視差量の最大値および最小値に応じて視差量代表値を生成して、視差量代表値の時間変化に基づいて視差警告情報を生成して、当該視差警告情報に応じて警告を発するようにしたので、視差の時間変化に伴うユーザの疲労および不快感を低減することができる。
【０１１７】
さらに、第１の実施形態では、視差警告情報を画像に係るメタデータとして記録して、画像を再生する際には視差警告情報を含む画像を除外して再生を行うようにしたので、ユーザが不快感および疲労を感じる画像の視聴する時間を低減することができる。
【０１１８】
なお、第１の実施形態では、小領域単位の視差量の最大値および最小値に応じて視差量代表値を生成するようにしたが、ユーザが注視することが多い領域の視差量に応じて視差量代表値を生成するようにしてもよい。ユーザが注視することの多い領域として、例えば、人物などの特定オブジェクトの領域又は動きのある領域、がある。
【０１１９】
ここでは、人物領域の視差量を視差量代表値として用いる場合について説明する。
【０１２０】
人物領域における視差量を視差量代表値として用いる際には、システム制御部２５０は、図７に示すステップＳ７０２において右画像から人物の顔領域を検出する。顔領域を検出する際には、システム制御部２５０は、例えば、右画像から輝度パターンおよびエッジなどの特徴量を抽出して、当該特徴量を予め設定された顔領域の特徴量と比較して顔領域の検出を行う。
【０１２１】
図１６は、図２に示すカメラにおいて人物領域の視差量を視差量代表値として用いて警告表示を行う例を説明するための図である。そして、図１６（ａ）は顔領域の検出を示す図であり、図１６（ｂ）は警告表示を示す図である。
【０１２２】
図１６（ａ）に示すように、右画像１６０１において顔領域１６０２が検出されたとする。顔領域を検出すると、システム制御部２５０は、図７に示すステップＳ７０１において検出した小領域毎の視差量のうち顔領域１６０２に対応する視差量の視差平均値（又は最大視差値）を算出する。そして、システム制御部２５０は視差平均値（又は最大視差値）を視差量代表値とする。
【０１２３】
なお、顔領域の検出によって、複数の顔領域が検出された場合には、複数の顔領域について視差平均値を算出して、これら視差平均値のうち最も大きな視差平均値を代表値とする。また、右画像１６０１において最も大きい顔領域における視差平均値を視差量代表値とするようにしてもよい。さらには、検出された顔領域を追尾して、右画像１６０１中に存在する時間が最も長い顔領域の視差平均値を視差量代表値とするようにしてもよい。
【０１２４】
上述のようにして、顔領域における視差量代表値を算出した後、システム制御部２５０は当該視差量代表値の変化に応じて顔領域について警告を表示する。警告表示を行う際には、システム制御部２５０は、図１６（ｂ）に示すように、顔領域１６０１に特定の色を施して、点滅表示を行って顔領域１６０３として表示する。さらに、システム制御部２５０は右画像１６０１に、例えば、「許容視差量を越えた視差が××秒継続しています」のような警告文を表示する。
【０１２５】
このように、画像全体ではなく、画像上のユーザが視線を向けることの多い領域から視差量代表値を算出するようにすれば、ユーザが注目しやすい領域の視差量変化に応じて警告が発せられることになって、ユーザがより不快感および疲労を感じやすい画像について警告を発することができる。そして、ユーザは画像中のいずれの領域において不快を感じやすいかを容易に把握することができる。
【０１２６】
なお、上述の例では、警告文および着色によって警告表示を行う例について説明したが、警告の表示はこれに限定されない。例えば、ゼブラ表示などを行って警告を行うようにしてもよい。
【０１２７】
さらに、上述の例では、飛び出し側および引っ込み側の視差のいずれか一方が許容範囲を越えた場合に警告を行うようにしたが、飛び出し側および引っ込み側を別々に管理して、警告を行なうようにしてもよい。このようにすれば、ユーザは、飛び出し側および引っ込み側の視差状態を独立して把握することができる。
【０１２８】
なお、上述の例では、ユーザの視距離が画面サイズの縦幅の３倍であるとして、テーブルにおけるピクセル数が決定したが、視距離をユーザが設定するようにしてもよい。例えば、図３に示すステップＳ３０２において、システム制御部２５０は視距離をユーザに入力させるメニュー表示を行う。そして、システム制御部２５０は、ステップＳ３０３において、入力された視距離、表示部２３３の画面サイズ、および許容視差レベルに応じて許容視差量を算出する。このようにすれば、視距離に応じて許容視差範囲を高精度に調整することができる。
【０１２９】
［第２の実施形態］
続いて、本発明の第２の実施形態による画像処理装置の一例について説明する。
【０１３０】
なお、第２の実施形態による画像処理装置を備えるカメラの構成は図１および図２に示すカメラの構成と同様である。第２の実施形態においては、システム制御部２５０における視差警告情報生成処理および視差警告情報記録処理が第１の実施形態と異なる。
【０１３１】
図１７は、本発明の第２の実施形態による画像処理装置を備えるカメラにおける警告情報生成処理を説明するためのフローチャートである。なお、図１３に示す処理において、図７および図９〜図１１に示すステップと同一のステップについては同一の参照符号を付して説明を省略する。
【０１３２】
まず、図１７に示す処理を行う前に、システム制御部２５０は図３で説明した処理を行う。つまり、システム制御部２５０は許容可能な視差量（ピクセル数）を算出する。
【０１３３】
図７で説明したようにして、現フレーム（つまり、現画像）における視差量代表値を算出した後、システム制御部２５０は、ステップＳ９０１において視差量代表値が許容視差量を越えているか否かを判定する。
【０１３４】
視差量代表値が許容視差量を超えていると（ステップＳ９０１において、ＹＥＳ）、システム制御部２５０は、内蔵する視差許容範囲オーバーカウンタに１を加算する（ステップＳ１７０１）。なお、視差許容範囲オーバーカウンタのカウント値は画像の記録を開始した後、視差量代表値が許容範囲（つまり、許容視差量）を超えた時間を示す情報である。
【０１３５】
続いて、システム制御部２５０は現画像に許容視差量を超える視差を有する被写体が存在する旨の警告を表示部２３３に表示する（ステップＳ１７０２）。
【０１３６】
図１８は、本発明の第２の実施形態における画像処理装置が行う警告表示を説明するための図である。そして、図１８（ａ）は許容範囲を超える視差領域の存在を表示する画面の一例を示す図であり、図１８（ｂ）は許容範囲を超える視差が多いか又は視差の急激な変化が生じた際の警告画面の一例を示す図である。
【０１３７】
図１８（ａ）に示すように、システム制御部２５０は現画像１８０１に許容視差量を超える視差を有する被写体が存在すると、画面上に許容領域を超えた視差領域が存在する旨の警告文１８０２を表示する。さらに、システム制御部２５０は許容視差量を超えた領域１８０３を特定の色で着色して許容視差量を超えた領域を特定して表示する。
【０１３８】
続いて、システム制御部２５０は、ステップＳ１１０４において、第１の実施形態で説明した視差変化度が所定の変化閾値ＴＨ２以上であるか否かを判定する。なお、ステップＳ９０１において、視差量代表値が許容視差量未満であれば、システム制御部２５０はステップＳ１１０４の処理に進む。
【０１３９】
ステップＳ１１０４において、視差変化度が変化閾値ＴＨ２以上であれば、システム制御部２５０は、ステップＳ１１０５において視差変化カウンタに１を加算する。続いて、システム制御部２５０は視差変化度が高いことを示す警告を表示部２３３に表示する（ステップＳ１７０３）。ステップＳ１７０３では、例えば、図１２（ｃ）に示す警告画面と同様の表示が行われる。
【０１４０】
次に、システム制御部２５０は現画像に係る視差警告情報をシステムメモリ１０７に記録する（ステップＳ１７０４）。この視差警告情報は、許容視差量を超える視差量を有する画像であるか又は急な視差変化が生じた画像であるかを示すフラグである。そして、システム制御部２５０は、ステップＳ７０７において画像記録の停止操作が行われたか否かを判定する。停止操作が行われていないと、前述のようにシステム制御部２５０はステップＳ７０１の処理に戻る。
【０１４１】
一方、停止操作が行われると、システム制御部２５０は、画像ショット全体の視差警告情報をショット視差警告情報として生成する（ステップＳ１７０５）。例えば、システム制御部２５０は画像ショットにおける全画像に対する許容視差オーバー画像の割合（許容オーバー視差画像割合）、そして、画像ショットにおいて視差の急な変化のあった画像の割合（視差変化画像割合）を算出してショット視差警告情報とする。
【０１４２】
続いて、システム制御部２５０は画像ショット全体について視差警告が存在するか否かを判定する（ステップＳ１７０６）。ここでは、システム制御部２５０は、前述の許容オーバー視差画像割合が所定のオーバー割合閾値ＴＨ４を超えるか又は視差変化画像割合が所定の変化割合閾値ＴＨ５を超えているか否かを判定する。
【０１４３】
画像ショット全体について視差警告が存在すると（ステップＳ１７０７において、ＹＥＳ）、つまり、許容オーバー視差画像割合が所定のオーバー割合閾値ＴＨ４を超えるか又は視差変化画像割合が所定の変化割合閾値ＴＨ５を超えていると、システム制御部２５０は画像ショット全体の視差警告を表示部２３３に表示する（ステップＳ１７０７）。
【０１４４】
ここでは、例えば、図１８（ｂ）に示すように、システム制御部２５０は画像ショットに許容範囲を越える視差を含む画像割合が高い旨を示す許容オーバー視差警告又は視差の急な変化が多く発生している旨を示す視差変化警告を有する警告文１８０４を表示部２３３に表示する。
【０１４５】
続いて、システム制御部２５０は前述の許容オーバー視差警告および視差変化警告の有無を示す警告情報を画像ショットのヘッダにメタデータとして記録する（ステップＳ１７０８）。そして、システム制御部２５０は許容オーバーカウンタおよび視差変化カウンタのカウント値をリセットする（ステップＳ１７０９）。その後、システム制御部２５０は現画像に係る視差量代表値をシステムメモリ１０７に保存して（ステップＳ１７１０）、警告制御を終了する。
【０１４６】
図１９は、本発明の第２の実施形態による画像処理装置を備えるカメラにおける画像再生処理を説明するためのフローチャートである。
【０１４７】
ここでは、記録媒体２３５に記録された画像（つまり、フレーム）を再生する際の処理について説明するが、記録媒体２３５には、画像として動画像が記録されている。
【０１４８】
画像再生の際には、システム制御部２５０は画像ショット単位で記録された視差警告情報に基づいて再生表示する画像を制御する。つまり、システム制御部２５０は視差警告情報が付加された画像ショットを除外して再生を行う。再生処理を行う際には、ユーザは操作部１０１を用いて再生方法の選択を行う（ステップＳ１９０１）。
【０１４９】
ユーザが操作部２０１によって再生設定指示を行うと、システム制御部２５０は、図１４（ｂ）に示す再生設定画面（以下第２の再生設定画面と呼ぶ）を表示部２３３にメニュー表示する。第２の再生設定画面においては、画像ショットの再生方法として、「全ての画像ショットを再生する」および「目に負担の少ない画像ショットのみを再生する」の２つの方法がある。ユーザは当該第２の再生設定画面においていずれかのショット再生方法を、操作部２０１を用いて選択画像ショット再生方法として選択する。
【０１５０】
ステップＳ１９０２においては、システム制御部２５０は複数の画像ショットの選択を受け付ける。ここで、１つの画像ショットのみが選択された場合には、システム制御部２５０は当該選択された画像ショットの後に続く（時間的に後に撮影された）画像ショットの全てが選択されたものとする。
【０１５１】
なお、ユーザが画像再生を行う前に事前に画像ショット再生方法を選択して、システム制御部２５０が当該選択画像ショット再生方法を不揮発性メモリ２０５に保存するようにしてもよい。
【０１５２】
ユーザは選択画像ショット再生方法を選択した後、操作部２０１を用いて再生すべき画像ショットを選択する（ステップＳ１９０２）。画像ショットの選択が行なわれると、システム制御部２５０は前述の選択画像ショット再生方法が「目に負担の少ない画像ショットのみの再生」であるか否かを判定する（ステップＳ１９０３）。
【０１５３】
「目に負担の少ない画像ショットのみの再生」であると（ステップＳ１９０３において、ＹＥＳ）、システム制御部２５０は前述したようにして、選択された画像ショットに付加された視差警告情報を取得する（ステップＳ１９０４）。続いて、システム制御部２５０は視差警告情報が付加されていない画像ショットを抽出する（ステップＳ１９０５）。ここでは、システム制御部２５０は選択された画像ショットにおいて前述の許容オーバー視差警告および視差変化警告を示すフラグがない画像ショットを抽出することになる。
【０１５４】
次に、システム制御部２５０はメモリ制御部２３１を介してステップＳ１９０５で抽出した画像ショットを再生して表示部２３３に表示する（ステップＳ１９０６）。そして、システム制御部２５０は再生処理を終了する。
【０１５５】
一方、「目に負担の少ない画像ショットのみの再生」でないと（ステップＳ１９０３において、ＮＯ）、つまり、「全ての画像ショットを再生する」が選択されると、システム制御部２５０はステップＳ１９０２で選択された全ての画像ショットを再生して表示部２３３に表示する（ステップＳ１９０７）。そして、システム制御部２５０は再生処理を終了する。
【０１５６】
このように、本発明の第２の実施形態では、画像ショット毎に視差警告情報を付加して、画像ショット単位でその視差を管理するようにしたので、たとえ、ユーザが不快感および疲労を感じる画像が連続しないとしても、視差変動が大きい画像ショット又は視差許容範囲を越える画像の割合が多い画像ショットの再生を回避することができる。
【０１５７】
さらに、本発明の第２の実施形態では、撮影が終了した際（つまり、画像データを生成する際）に視差警告を行うようにしたので、ユーザは再撮影を行うべきか否かを容易に判断することができる。
【０１５８】
なお、第２の実施形態では、画像ショット単位で視差警告情報を記録する例について説明したが、第１の実施形態と同様に、画像フレーム単位でも視差警告情報を記録するようにしてもよい。このようにすれば、画像ショット単位における視差警告と画像フレーム単位における視差警告の双方を用いて再生制御を行うことができる。
【０１５９】
また、上述の第１および第２の実施形態では、視差警告情報をメタデータとしてフレームヘッダ又は画像ショットのヘッダに記録する場合について説明したが、視差警告情報と画像とが関連付けられて保存されていればどのような保存形態を用いるようにしてもよい。例えば、視差警告情報を別のファイルとして生成して管理し、画像と対応付けて記録するようにしてもよい。
【０１６０】
［第３の実施形態］
続いて、本発明の第３の実施形態による画像処理装置の一例について説明する。
【０１６１】
なお、第３の実施形態による画像処理装置を備えるカメラの構成は図１および図２に示すカメラの構成と同様である。
【０１６２】
まず、第１の実施形態で説明したようにして（図３〜図６参照）、システム制御部２５０は許容視差量として画像データのピクセル数を算出して、当該許容視差量を、例えば、不揮発性メモリ２０５に記録する。
【０１６３】
図２０は、本発明の第３の実施形態による画像処理装置を備えるカメラ１００で行われる警告表示処理を説明するためのフローチャートである。なお、図２０に示すフローチャートにおいて、図７に示すフローチャートと同一のステップについて同一の参照符号を付して説明を省略する。
【０１６４】
図７で説明したステップＳ７０１において、システム制御部２５０は撮像部１１０および１２０から出力された第１の画像と第２の画像とのずれ量に応じてその視差量（ピクセル数）を算出する（図８参照）。ここでは、システム制御部２５０は小領域単位で視差量を平均化して、小領域単位で視差量（ピクセル数）を得る。
【０１６５】
図２１は、本発明の第３の実施形態による画像処理装置を備えるカメラで得られる被写体距離情報を説明するための図である。そして、図２１（ａ）は撮影の結果得られた画像を示す図であり、図２１（ｂ）は小領域毎の視差量を示す図である。
【０１６６】
いま、被写体である人物２１０１および建物２１０２を撮影すると、図２１（ａ）に示す画像（第１の画像および第２の画像）が得られる。システム制御部２５０は第１の画像および第２の画像に応じて小領域２１０３毎の視差量を求める（図２１（ｂ）参照）。
【０１６７】
図２１（ｂ）においては、小領域２１０３における輝度がカメラとの距離を表しており、輝度が高い（白に近い）程、カメラとの距離が近い被写体となる。図示の例では、領域（人物領域）２１０４および領域（建物領域）２１０５は同一の視差量を有しており、人物２１０１および建物２１０２がカメラから同程度の距離にある。
【０１６８】
再び図２０を参照して、上述のようにして、小領域単位で視差量を得た後、システム制御部２５０は、例えば、右画像（第２の画像）において人物領域を検出する（ステップＳ２００１）。人物領域を検出する際には、システム制御部２５０は、まず、顔領域の検出を行って、顔検出結果から得られる顔領域の位置情報に応じて顔領域の下部に位置して色および輝度が類似する領域を人物領域（顔領域を含む）とする。
【０１６９】
なお、顔領域を検出する際には、右画像から輝度パターンおよびエッジなどの特徴量（特徴情報）を抽出して、予め設定された顔領域の特徴量と一致する部分を顔領域とする。
【０１７０】
続いて、システム制御部２５０は前述の小領域のうちで重要な領域である重量領域を決定する（ステップＳ２００２）。重要領域を決定する際には、システム制御部２５０は画像における小領域の位置および人物領域に基づいて重要領域を決定する。例えば、システム制御部２５０は画像の中央部および人物領域を含む小領域を、ユーザの注目点であるとして重要領域に決定する。
【０１７１】
図２２は、本発明の第３の実施形態による画像処理装置を備えるカメラで行われる重要領域の決定を説明するための図である。そして、図２２（ａ）は人物領域の検出を示す図であり、図２２（ｂ）は画像の中央部を重要領域として設定した状態を示す図である。また、図２２（ｃ）は人物領域を重要領域として設定した状態を示す図であり、図２２（ｄ）は最終的な重要領域の設定を示す図である。
【０１７２】
いま、撮像部１１０および１２０で人物２２０２および建物２２０３を被写体として撮影して、画像（第１の画像および第２の画像）２２０１を得たとする。そして、システム制御部２５０は右画像（第２の画像）２２０１において人物領域２２０４を検出したものとする。
【０１７３】
システム制御部２５０は、右画像２２０１を９×６の小領域２２０５に分割する。そして、システム制御部２５０は右画像２２０１の中心部に位置する６つの小領域２２０５を中心領域とし、当該中心領域を重要領域２２０６とする。
【０１７４】
続いて、システム制御部２５０は人物領域２２０４を含む小領域２２０５を重要領域２２０７に設定する。そして、システム制御部２５０は重要領域２２０６および２２０７を最終的な重要領域２２０８として設定し、重要領域２２０８について重要領域であることを示すフラグ（重要領域フラグ）を小領域単位で付加する。
【０１７５】
上述のようにして、重量領域を決定した後、システム制御部２５０は視差量および重要領域に基づいて視差警告表示制御（視差警告制御ともいう）を行う（ステップＳ２００３）。
【０１７６】
図２３は、図２０に示す視差警告表示制御を説明するためのフローチャートである。
【０１７７】
視差警告表示制御を開始すると、システム制御部２５０はまず複数の小領域の１つ（第１番目の小領域）について、当該小領域が重要領域に含まれているか否かを判定する（ステップＳ２３０１）。ここでは、システム制御部２５０は当該小領域に重要領域フラグが付加されているか否かによって重要領域に含まれるか否かを判定する。
【０１７８】
当該小領域が重要領域に含まれていると（ステップＳ２３０１において、ＹＥＳ）、システム制御部２５０は許容視差量（ピクセル数）をベース値として設定する（ステップＳ２３０２）。一方、当該小領域が重要領域に含まれていないと（ステップＳ２３０１において、ＮＯ）、システム制御部２５０は許容視差量を所定倍（例えば、１．２倍）して変更後の許容視差量（変更後のベース値）とする（ステップＳ２３０３）。なお、許容視差量を大きくすると、許容可能な飛び出しおよび引っ込み範囲を広げることになる。
【０１７９】
図２４は、許容視差量を所定倍した際の許容視差範囲と飛び出し量および引っ込み量との関係を説明するための図である。
【０１８０】
図５で説明したように、設定された許容視差レベルが「広い」であると、許容可能な飛び出し距離はＰ５までとなり、引っ込み距離はＰ６までとなる。
【０１８１】
一方、重要領域に含まれない判定された小領域については、前述のように、許容質量が所定倍される結果、許容範囲が拡大されることになる。その結果、設定された許容視差レベルが「広い」であると、許容可能な飛び出し距離はＰ７までとなり、引っ込み距離はＰ８までとなる。
【０１８２】
再び図２３を参照して、ステップＳ２３０２又はＳ２３０３の処理に続いて、システム制御部２５０は小領域の視差量がベース値を超えているか否かを判定する（ステップＳ２３０４）。つまり、システム制御部２５０は小領域の視差量が許容範囲を超えているか否かを判定する。
【０１８３】
小領域の視差量がベース値を超えていると（ステップＳ２３０４において、ＹＥＳ）、システム制御部２５０は、当該領域は視差量がベース値（つまり、許容範囲）を越えた小領域であることを示す警告フラグを設定する（ステップＳ２３０５）。
【０１８４】
前述の図２１に示す例では、人物領域２１０４と建物領域２１０５とはカメラ１００から同一の距離にある。図２４に関係を示すと点Ｐ９で表される。前述のように、人物領域２１０４は重要領域であるので、その視差許容範囲はＰ５に設定されている。この場合、人物領域２１０４（つまり、ここでは点Ｐ９）は視差許容範囲Ｐ５を越えているので、人物領域２１０４に含まれる小領域には警告フラグが設定される。
【０１８５】
一方、建物領域２１０５は重要領域でないためので、その視差許容範囲はＰ７に設定されており、建物領域２１０５（つまり、ここでは点Ｐ９）は視差許容範囲Ｐ７を超えてない。よって、建物領域２１０５に含まれる小領域には警告フラグが設定されない。
【０１８６】
続いて、システム制御部２５０は、全ての小領域について上述の処理を行ったか否かを判定する（ステップＳ２３０６）。なお、小領域の視差量がベース値以下であれば（ステップＳ２３０４において、ＮＯ）、システム制御部２５０はステップＳ２３０６の処理に進む。
【０１８７】
全ての小領域についてステップＳ２３０１〜Ｓ２３０５の処理が終了していないと（ステップＳ２３０６において、ＮＯ）、システム制御部２５０はステップＳ２３０１の処理に戻って、次の小領域が重要領域に含まれるか否かを判定する。
【０１８８】
一方、全ての小領域についてステップＳ２３０１〜Ｓ２３０５の処理が終了すると（ステップＳ２３０６において、ＹＥＳ）、システム制御部２５０は小領域毎に設定された警告フラグに基づいて表示部１３３に警告（視差警告）を表示する（ステップＳ２３０７）。そして、システム制御部２５０は視差警告表示制御を修了する。
【０１８９】
図２５は、図２３に示す視差警告表示制御によって表示される視差警告表示の一例を示す図である。
【０１９０】
システム制御部２５０は、前述のように、警告フラグに基づいて小領域毎に視差警告表示を行う。図示の例では、人物２１０１に関して４つの小領域に視差警告表示２５０１が行われている。
【０１９１】
視差警告表示を行う際には、システム制御部２５０は警告フラグが設定された小領域を特定の色で着色して視差警告を行う。この際には、システム制御部２５０は、小領域の視差量とベース値（許容視差量）との差分に応じて色を変化させる。例えば、小領域の視差量とベース値との差分が小さい場合には黄色で着色し、当該差分が大きい場合には赤色で着色される。
【０１９２】
図２５に示す例では、図２１（ｂ）に示す人物領域２１０４では小領域の一部において視差量がベース値を超えているので、当該人物領域２１０４の一部について視差警告表示が行われる。一方、建物領域２１０５については視差警告表示が行われない。
【０１９３】
上述のようにして、視差警告表示制御を行った後、システム制御部２５０は、ステップＳ７０７においてユーザが画像記録の停止操作を行ったか否かを確認して、停止操作が行われると、警告表示処理を終了する。一方、停止操作が行われなければ、ステップＳ７０１の処理に戻って次の画像に対して視差表示処理を行う。
【０１９４】
このように、本発明の第３の実施形態では、被写体の種類および位置に応じて画像上に重要領域を設定して、画像上の小領域が重要領域に含まれるか否かに応じて許容視差量（つまり、閾値）を変更するようにしたので、小領域の視差量のみに依存することなく、ユーザが抱く不快感に直結する重要領域については他の領域と区別して警告表示を行うことができる。この結果、撮影者であるユーザの負荷を軽減することができる。
【０１９５】
なお、第３の実施形態では、人物領域を重要領域として設定したが、被写体の種類に応じて重要領域を設定する際には、人物以外の被写体領域を重要領域として設定してもよい。例えば、人物の他に、動物、花、又は料理など特定の被写体を予め定めて、これら被写体領域を選択的に重要領域に設定するようにしてもよい。さらには、ユーザによって指定された領域を重要領域として設定するようにしてもよい。
【０１９６】
また、第３の実施形態では、画面の中心部を重要領域として設定するようにしたが、必ずしも画面の中心部を重要領域とする必要はなく、画面の位置を基準として重要領域を設定するようにすれば、画面上のいずれの位置を重要領域として設定してもよい。例えば、カメラをパンニングして撮影する際には、画面端を重要領域として設定するようにしてもよい。
【０１９７】
加えて、第３の実施形態では、重要領域に含まれない小領域については許容視差範囲（許容視差量）を大きくするようにしたが、重要領域に係る許容視差範囲が重要領域以外の領域よりも相対的に狭くなるようにすればよい。例えば、重要領域については許容視差範囲を狭くしてベース値とし、重要領域以外の領域については許容視差範囲をベース値とするようにしてもよい。
【０１９８】
さらに、第３の実施形態では、小領域が重要領域に含まれるか否かに応じて許容視差範囲を変更するようにしたが、許容視差範囲を一定として小領域が重要領域に含まれるか否かに応じて当該小領域の視差量を補正するようにしてもよい。
【０１９９】
例えば、重要領域に含まれると判定された小領域についてはその視差量を所定倍（例えば、１．２倍）として、重要領域以外の領域よりも相対的に視差警告表示が行われやすいようにする。
【０２００】
第３の実施形態では、画像の記録の際に視差警告表示を行う例について説明したが、プレビュー中においても視差警告表示を行うようにしてもよい。この場合には、撮影画角を決定する際においても視差警告表示が行われることになるので、ユーザは撮影前に不快感を与えることが少ない画角を選ぶことができる。
【０２０１】
第３の実施形態では、小領域が重要領域に含まれるか否かに応じて許容視差量を変更するようにしたが、重要度を多段階に設定するようにしてもよい。例えば、人物の顔のサイズに応じて重要度を決定して（ここでは、顔のサイズが大きい程重要度が高い）、当該重要度の高さに応じて多段階的に許容視差範囲（許容視差量）を低くしてもよい。このようにすれば、画像において顔が小さい場合には当該顔については視差警告表示が頻繁に行われることを防止することができる。
【０２０２】
［第４の実施形態］
次に、本発明の第４の実施形態による画像処理装置の一例について説明する。
【０２０３】
なお、第４の実施形態による画像処理装置を備えるカメラの構成は図１および図２に示すカメラの構成と同様である。
【０２０４】
まず、第１の実施形態で説明したようにして（図３〜図６参照）、システム制御部２５０は許容視差量として画像データのピクセル数を算出して、当該許容視差量を、例えば、不揮発性メモリ２０５に記録する。
【０２０５】
図２６は、本発明の第４の実施形態による画像処理装置を備えるカメラ１００で行われる警告表示処理を説明するためのフローチャートである。なお、図２６に示すフローチャートにおいて、図７および図２０に示すフローチャートと同一のステップについて同一の参照符号を付して説明を省略する。
【０２０６】
図７で説明したステップＳ７０１において、システム制御部２５０は撮像部１１０および１２０から出力された第１の画像と第２の画像とのずれ量に応じてその視差量（ピクセル数）を算出する（図８参照）。ここでは、システム制御部２５０は小領域単位で視差量を平均化して、小領域単位で視差量（ピクセル数）を得る。
【０２０７】
続いて、システム制御部２５０は画像における被写体の動きを検出する（ステップＳ２６０１）。被写体の動きを検出する際には、システム制御部２５０は、後述のようにメモリ２３０に蓄積された過去の画像と現在の画像との間でブロックマッチングを行って、その変化が大きい領域（ブロック）を動き領域とする。
【０２０８】
図２７は、本発明の第４の実施形態による画像処理装置を備えるカメラで行われる動き検出を説明するための図である。そして、図２７（ａ）は所定時間前に撮影された画像（過去画像）を示す図であり、図２７（ｂ）は現在の画像（現在画像）を示す図である。また、図２７（ｃ）は重要領域の設定を示す図である。
【０２０９】
動き検出の際には、システム制御部２５０は、過去画像および現在画像を複数の微小ブロックに分割する（例えば、８×８画素の微小ブロックに分割する）。続いて、システム制御部２５０は過去画像の微小ブロックに対応する現在画像の微小ブロックの位置を求めて、微小ブロック毎の動き量を算出する。そして、システム制御部２５０は当該動き量が所定の閾値以上であるブロックを動き領域（ブロックとする）。
【０２１０】
図２７（ａ）に示す被写体２７０１は図２７（ｂ）では実線矢印で示す方向に移動しており、システム制御部２５０は図２７（ｂ）に示す被写体２７０１を含む微小ブロックを動き領域とする。
【０２１１】
続いて、システム制御部２５０は動き領域に応じて重要領域を決定する（ステップＳ２６０２）。ここでは、システム制御部２５０は動き領域を重要領域と設定する。つまり、システム制御部２５０は動き量が所定の閾値以上である微小ブロックを含む領域を重要領域として設定することになる。
【０２１２】
図２７（ｃ）に示す例では、動き量が所定の閾値以上である被写体２７０１を含む微小ブロック２７０２の群が重要領域２７０３として設定される。
【０２１３】
続いて、システム制御部２５０は、ステップＳ２００３において、図２３で説明したようにして、重要領域に応じて視差警告表示制御を行って、現在画像をメモリ２３０に記録する（ステップＳ２００３）。そして、システム制御部２５０はステップＳ７０７においてユーザが画像記録の停止操作を行ったか否かを確認して、停止操作が行われると、警告表示処理を終了する。一方、停止操作が行われなければ、ステップＳ７０１の処理に戻って次の画像に対して視差表示処理を行う。
【０２１４】
このように、本発明の第４の実施形態では、被写体の動き量に応じて重要領域を設定して、画像上の小領域が重要領域に含まれるか否かに応じて許容視差量（つまり、閾値）を変更するようにしたので、ユーザが注目する重要領域（つまり、被写体領域）については他の領域と区別して警告表示を行うことができる。
【０２１５】
なお、第４の実施形態では、微小ブロック（つまり、小領域）毎の動き量に応じて視差警告表示を行うようにしたが、画像全体における動き量に応じて画像全体について許容視差量を変更するようにしてもよい。
【０２１６】
例えば、被写体が動いておらず、且つカメラにパン・チルトなどがない（動きのない）画像の場合には、許容視差量を小さくする。このようにすれば、動きのない画像の場合には、ユーザが画像の細部まで注目する可能性があるので、画像のどこを見ても不快感を与えないようにすることができる。一方、動画の場合には、ユーザは動きのある被写体などに注目することになるので、当該被写体においてユーザに不快感を与えないようにすることが最も重要であるため、前述のように、動きのある被写体に対しては視差警告表示を行いやすくする。
【０２１７】
さらに、撮影の結果得られた画像が動画像であるか静止画像であるかを判定して、当該判定結果に応じて画像全体の許容視差量を変更するようにしてもよい。
【０２１８】
［第５の実施形態］
次に、本発明の第５の実施形態による画像処理装置の一例について説明する。
【０２１９】
なお、第５の実施形態による画像処理装置を備えるカメラの構成は図１および図２に示すカメラの構成と同様である。
【０２２０】
まず、第１の実施形態で説明したようにして（図３〜図６参照）、システム制御部２５０は許容視差量として画像データのピクセル数を算出して、当該許容視差量を、例えば、不揮発性メモリ２０５に記録する。
【０２２１】
図２８は、本発明の第５の実施形態による画像処理装置を備えるカメラ１００で行われる警告表示処理を説明するためのフローチャートである。なお、図２８に示すフローチャートにおいて、図７に示すフローチャートと同一のステップについて同一の参照符号を付して説明を省略する。
【０２２２】
図７で説明したステップＳ７０１において、システム制御部２５０は撮像部１１０および１２０から出力された第１の画像と第２の画像とのずれ量に応じてその視差量（ピクセル数）を算出する（図８参照）。ここでは、システム制御部２５０は小領域単位で視差量を平均化して、小領域単位で視差量（ピクセル数）を得る。
【０２２３】
但し、第５の実施形態では、システム制御部２５０は左画像および右画像に対応する点がなく視差を算出できない小領域の数をカウントする。
【０２２４】
図２９は、本発明の第５の実施形態によるカメラで行われる視差量の算出を説明するための図である。そして、図２９（ａ）は一対の撮像部における撮影画角を示す図であり、図２９（ｂ）は撮影画角による撮影不可の領域を示す図である。また、図２９（ｃ）は撮影不可の領域が存在する際の画像を示す図である。
【０２２５】
図２９（ａ）に示すように、撮像部１１０および１２０の撮影画角に関して、グレーで示す領域２９０１は左右いずれかの撮像部１１０又は１２０でのみ撮影できる領域である。このような領域２９０１にかかる被写体２９０２を撮影すると、左画像および右画像からその対応点が求められず、よって、視差量を算出することができない。
【０２２６】
被写体２９０２を撮影した場合、撮像部１１０又は１２０では、図２９（ｂ）に示すように、斜線領域２９０３が撮影不可となって、図２９（ｃ）に示すように、被写体２９０２が一部欠けた画像が得られることになる。
【０２２７】
このように、一方の撮像部でのみ被写体が撮影される場合、視差量を算出することができない。このため、ここでは、システム制御部２５０は視差量を算出することができない小領域であるか否かをチェックして、当該視差量が算出できない小領域の数をカウントする。
【０２２８】
再び図２８を参照して、システム制御部２５０は、視差量が算出できない小領域の数が予め設定されたカウント閾値以上であるか否かを判定する（ステップＳ２８０１）。視差量が算出できない小領域の数がカウント閾値以上であると（ステップＳ２８０１において、ＹＥＳ）、システム制御部２５０は視差量が算出できないことを示す（視差量算出不可の）小領域が多いことを示す警告フラグ（ここでは、両眼視野闘争警告フラグと呼ぶ）を設定する（ステップＳ２８０２）。
【０２２９】
視差量が算出できない小領域が多いと片目だけに画像が見えるので、両眼視野闘争と呼ばれる現象が生じる。この両眼視野闘争は、ユーザなどの視聴者に大きな不快感を与える現象である。そこで、両眼視野闘争が発生する可能性が高い被写体に対しては、後述するように視差量が少なくても視差警告表示を行う。
【０２３０】
続いて、システム制御部２５０は、両眼視野闘争警告フラグに応じて視差警告表示制御を行う（ステップＳ２８０３）。なお、視差量が算出できない小領域の数がカウント閾値未満であると（ステップＳ２８０１において、ＮＯ）、システム制御部２５０はステップＳ２８０３の視差警告表示制御を行う。
【０２３１】
図３０は、図２８に示す視差警告表示制御を説明するためのフローチャートである。なお、図３０において、図２３に示すフローチャートにおけるステップと同一のステップについては同一の参照符号を付して説明を省略する。
【０２３２】
視差警告表示制御を開始すると、システム制御部２５０は小領域の視差量が所定の許容視差量を超えているか否かを判定する（ステップＳ３００１）。つまり、システム制御部２５０は小領域の視差量が視差許容範囲を超えているか否かを判定する。
【０２３３】
小領域の視差量が許容視差量を超えていると（ステップＳ３００１において、ＹＥＳ）、システム制御部２５０は、ステップＳ２３０５において当該小領域は視差量が許容視差量を超えた小領域であることを示す警告フラグ（許容視差警告フラグ）を設定する。続いて、システム制御部２５０は、ステップＳ２３０６において、全ての小領域について上述の処理を行ったか否かを判定する。なお、小領域の視差量が許容視差量以下であれば（ステップＳ３００１において、ＮＯ）、システム制御部２５０はステップＳ２３０６の処理に進む。
【０２３４】
全ての小領域についてステップＳ２３０１〜Ｓ２３０５の処理が終了していないと、システム制御部２５０はステップＳ３００１の処理に戻って、次の小領域について当該小領域の視差量が許容視差量を超えるか否かを判定する。
【０２３５】
一方、全ての小領域についてステップＳ３００１およびＳ２３０５の処理が終了すると、システム制御部２５０は、前述の両眼視野闘争警告フラグと小領域毎に設定された警告フラグとに基づいて表示部１３３に警告（視差警告）を表示する（ステップＳ３００２）。そして、システム制御部２５０は視差警告表示制御を修了する。
【０２３６】
図３１は、図３０に示す視差警告表示制御で表示される視差警告の一例を示す図である。
【０２３７】
システム制御部２５０は、許容視差警告フラグが設定された小領域３１０１については、特定の色で着色して識別可能とする。そして、両眼視野闘争警告フラグが設定されていると、システム制御部２５０は画面上に「一方の撮像部だけに写っている被写体が多いです」などの警告文３１０２を表示して警告を行う。
【０２３８】
上述のようにして、視差警告表示制御を行った後、システム制御部２５０は、ステップＳ７０７においてユーザが画像記録の停止操作を行ったか否かを確認して、停止操作が行われると、警告表示処理を終了する。一方、停止操作が行われなければ、ステップＳ７０１の処理に戻って次の画像に対して視差表示処理を行う。
【０２３９】
このように、本発明の第５の実施形態では、視差量が算出できない小領域の数（つまり、視差量が算出できない領域の大きさ）に基づいて視差警告表示を行うようにしたので、飛び出し又は引っ込みが少ない場合であっても、画像を見た際に不快感を与える両眼視野闘争が生じる場合には視差警告が発せられることになる。
【０２４０】
なお、第５の実施形態では、視差量が算出できない小領域の数が多い場合に、画面上に警告文を表示して視差警告を行うようにしたが、両眼視野闘争警告の表示は上記の表示に限定されない。
【０２４１】
例えば、視差量が算出できないか又は視差量が許容視差量を超えた小領域について、小領域毎に色などで視差警告を表示するようにしてもよい。この際には、視差量を算出できない小領域に対する視差警告と視差量が許容視差量を超えた小領域とに係る視差警告とを、色又は輝度などでその警告パターンを変えるようにすることが望ましい。
【０２４２】
このように、本発明の実施の形態では、視差の時間変化に伴う疲労および不快感を低減して立体画像を生成することができ、さらには、被写体の重要性に応じて、不快感に直結する視差を有する被写体を撮影した際に警告を発してユーザの負荷を軽減することができる。
【０２４３】
上述の説明から明らかなように、図１に示す例においては、少なくともメモリ制御部２３１およびシステム制御部２５０が画像処理装置を構成する。そして、システム制御部２５０は視差量算出手段、警告制御手段、および特徴検出手段として機能する。また、システム制御部２５０は再生手段および被写体検出手段として機能する。
【０２４４】
なお、操作部１０１およびシステム制御部２５０は第１の設定手段および第２の設定第２の設定手段として機能する。
【０２４５】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０２４６】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【０２４７】
上記の制御方法および制御プログラムの各々は、少なくとも視差量算出ステップおよび警告制御ステップ又は視差量算出ステップ、特徴検出ステップ、および警告制御ステップを有している。
【０２４８】
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。
【符号の説明】
【０２４９】
１１０  撮像部
２０１  操作部
２０５  不揮発性メモリ
２０７  システムメモリ
２１３  撮像素子
２１５  画像処理部
２３１  メモリ制御部
２３３  表示部
２３５  記録媒体
２５０  システム制御部
【図１】
2014146970.tif 000003
【図２】
2014146970.tif 000004
【図３】
2014146970.tif 000005
【図４】
2014146970.tif 000006
【図５】
2014146970.tif 000007
【図６】
2014146970.tif 000008
【図７】
2014146970.tif 000009
【図９】
2014146970.tif 000010
【図１０】
2014146970.tif 000011
【図１１】
2014146970.tif 000012
【図１２】
2014146970.tif 000013
【図１３】
2014146970.tif 000014
【図１４】
2014146970.tif 000015
【図１５】
2014146970.tif 000016
【図１６】
2014146970.tif 000017
【図１７】
2014146970.tif 000018
【図１８】
2014146970.tif 000019
【図１９】
2014146970.tif 000020
【図２０】
2014146970.tif 000021
【図２３】
2014146970.tif 000022
【図２４】
2014146970.tif 000023
【図２５】
2014146970.tif 000024
【図２６】
2014146970.tif 000025
【図２８】
2014146970.tif 000026
【図３０】
2014146970.tif 000027
【図３１】
2014146970.tif 000028
【図８】
2014146970.tif 000029
【図２１】
2014146970.tif 000030
【図２２】
2014146970.tif 000031
【図２７】
2014146970.tif 000032
【図２９】
2014146970.tif 000033