(57)【要約】【課題】立体動画データから抽出した立体静止画データが表す立体静止画において立体感を十分に得られるようにする。【解決手段】立体動画と立体静止画を表示及び／又は記録可能な立体画像処理装置（１，１−２，１−３，１−４，１−５）において、所定の立体動画データから任意の立体静止画を表す立体静止画データを抽出し、抽出された立体静止画データが表す立体静止画の視差量を取得し、取得された視差量よりも大きくなるように、立体静止画データの視差量を変換する。【選択図】図３
2012127843.tif 000002
【特許請求の範囲】
【請求項１】
立体動画と立体静止画を表示及び／又は記録可能な立体画像処理装置において、
所定の立体動画データから任意の立体静止画を表す立体静止画データを抽出する立体静止画抽出部と、
該立体静止画抽出部により抽出された前記立体静止画データが表す前記立体静止画の視差量を取得する静止画視差量取得部と、
該静止画視差量取得部により取得された視差量よりも大きくなるように、前記立体静止画データの視差量を変換する静止画視差量変換部とを備えていることを特徴とする立体画像処理装置。
【請求項２】
前記静止画視差量変換部が、前記静止画視差量取得部により取得された視差量よりも大きくなるように、前記立体静止画の視差量の最大値と最小値がそれぞれ立体静止画の許容視差範囲の上限値と下限値になるように前記立体静止画データの視差量を変換するものであることを特徴とする請求項１記載の立体画像処理装置。
【請求項３】
視差量が０になるクロスポイントから前記許容視差範囲の前記上限値までの幅と、前記クロスポイントから前記許容視差範囲の前記下限値までの幅が異なるものであることを特徴とする請求項２記載の立体画像処理装置。
【請求項４】
前記静止画視差量変換部が、前記静止画視差量取得部により取得された視差量よりも大きくなるように、立体静止画の許容視差範囲の幅と立体動画の許容視差範囲の幅との比率を乗じて前記立体静止画データの視差量を変換するものであることを特徴とする請求項１記載の立体画像処理装置。
【請求項５】
視差量が０になるクロスポイントの手前側と奥側とで、乗じる前記比率が異なるものであることを特徴とする請求項４記載の立体画像処理装置。
【請求項６】
前記立体静止画抽出部により抽出された立体静止画データが表す立体静止画の使用目的を設定する使用目的設定部を備え、
前記静止画視差量変換部が、前記静止画視差量取得部により取得された視差量よりも大きくなるように、前記使用目的設定部によって設定された使用目的に基づいて前記立体静止画データの視差量を変換するものであることを特徴とする請求項１記載の立体画像処理装置。
【請求項７】
前記使用目的設定部が、使用目的として印刷及び画面表示を設定可能なものであり、
前記静止画視差量変換部が、前記使用目的設定部により使用目的が前記印刷に設定されたときは前記画面表示に設定されたときよりも、変換する前記視差量を小さくするものであることを特徴とする請求項６記載の立体画像処理装置。
【請求項８】
前記使用目的設定部が、使用目的として表示面の大きさ毎に画面表示を設定可能であり、
前記静止画視差量変換部が、前記使用目的設定部により使用目的が画面表示に設定されたときに、該設定された画面表示の前記表示面の大きさが大きいほど、変換する前記視差量を小さくするものであることを特徴とする請求項６又は７記載の立体画像処理装置。
【請求項９】
前記立体静止画抽出部により抽出された立体静止画データが表す立体静止画の絵柄を解析する静止画解析部を備え、
前記静止画視差量変換部が、前記静止画視差量取得部により取得された視差量よりも大きくなるように、前記静止画解析部による解析結果に基づいて前記立体静止画データの視差量を変換するものであることを特徴とする請求項１記載の立体画像処理装置。
【請求項１０】
前記静止画視差量変換部が、前記静止画解析部が前記前記立体静止画抽出部により抽出された立体静止画データが表す立体静止画が、所定面積以上の面積を有する被写体が視差量が０になるクロスポイントよりも手前側に存在する絵柄であると解析したときに、前記被写体が存在しない絵柄よりも変換する前記視差量を小さくするものであることを特徴とする請求項９記載の立体画像処理装置。
【請求項１１】
前記静止画視差量変換部が、前記静止画解析部が前記立体静止画抽出部により抽出された立体静止画データが表す立体静止画が、奥行き方向に連続的又は断続的な形状を有し、かつ所定面積よりも小さい面積を有する被写体が存在する絵柄であると解析したときに、前記被写体が存在しない絵柄よりも変換する前記視差量を大きくするものであることを特徴とする請求項９記載の立体画像処理装置。
【請求項１２】
立体動画と立体静止画を表示及び／又は記録可能な立体画像処理装置を使用した立体画像処理方法において、
所定の立体動画データから任意の立体静止画を表す立体静止画データを抽出し、
該抽出された前記立体静止画データが表す前記立体静止画の視差量を取得し、
該取得された前記視差量よりも大きくなるように、前記立体静止画データの視差量を変換することを特徴とする立体画像処理方法。
【請求項１３】
前記取得された視差量よりも大きくなるように、前記立体静止画の視差量の最大値と最小値がそれぞれ立体静止画の許容視差範囲の上限値と下限値になるように前記立体静止画データの視差量を変換することを特徴とする請求項１２記載の立体画像処理方法。
【請求項１４】
視差量が０になるクロスポイントから前記許容視差範囲の前記上限値までの幅と、前記クロスポイントから前記許容視差範囲の前記下限値までの幅が異なることを特徴とする請求項１３記載の立体画像処理方法。
【請求項１５】
前記取得された視差量よりも大きくなるように、立体静止画の許容視差範囲の幅と立体動画の許容視差範囲の幅との比率を乗じて前記立体静止画データの視差量を変換することを特徴とする請求項１２記載の立体画像処理方法。
【請求項１６】
視差量が０になるクロスポイントの手前側と奥側とで、乗じる前記比率が異なることを特徴とする請求項１５記載の立体画像処理方法。
【請求項１７】
予め前記抽出された立体静止画データが表す立体静止画の使用目的を設定し、
前記取得された視差量よりも大きくなるように、前記使用目的設定部によって設定された使用目的に基づいて前記立体静止画データの視差量を変換することを特徴とする請求項１２記載の立体画像処理方法。
【請求項１８】
前記使用目的が印刷に設定されたときは前記使用目的が画面表示に設定されたときよりも、変換する前記視差量を小さくすることを特徴とする請求項１７記載の立体画像処理方法。
【請求項１９】
前記使用目的が画面表示に設定されたときに、該設定された画面表示の表示面の大きさが大きいほど、変換する前記視差量を小さくすることを特徴とする請求項１７又は１８記載の立体画像処理方法。
【請求項２０】
前記抽出された立体静止画データが表す立体静止画の絵柄を解析し、
前記取得された視差量よりも大きくなるように、前記静止画解析部による解析結果に基づいて前記立体静止画データの視差量を変換することを特徴とする請求項１２記載の立体画像処理方法。
【請求項２１】
前記抽出された立体静止画データが表す立体静止画が、所定面積以上の面積を有する被写体が視差量が０になるクロスポイントよりも手前側に存在する絵柄であると解析したときに、前記被写体が存在しない絵柄よりも変換する前記視差量を小さくすることを特徴とする請求項２０記載の立体画像処理方法。
【請求項２２】
前記抽出された立体静止画データが表す立体静止画が、奥行き方向に連続的又は断続的な形状を有し、かつ所定面積よりも小さい面積を有する被写体が存在する絵柄であると解析したときに、前記被写体が存在しない絵柄よりも変換する前記視差量を大きくすることを特徴とする請求項２０記載の立体画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体動画と立体静止画の両方を取り扱う立体画像処理装置において、特に立体動画データから抽出された立体静止画データを出力する方法に関するものである。
【背景技術】
【０００２】
従来、視点の異なる複数の画像を組み合わせて表示することにより、視差を利用して立体視できることが知られている。このように立体視可能に表示される３次元画像は、動画と静止画の両方において生成することができる。【０００３】
しかしながら３次元画像においては、観察者の両眼間に生じる視差を利用しているため、前記複数の画像間の視差量が適切ではない場合に観察者に不快感や疲労感を与えてしまう虞がある。特に立体動画においては、各シーンの切替え時における急激な視差量の変化によって不快感や疲労感が増してしまうため、立体静止画よりも不快感や疲労感が生じ易い。【０００４】
そこで特許文献１には、不快感や疲労感が生じないように、シーンの切替えにおいて奥行値を滑らかに遷移させるようにした画像情報処理装置が開示されている。【０００５】
一方、立体動画と立体静止画の両方を取り扱う立体画像処理装置が知られており、特許文献２には、ユーザの希望通りに２Ｄ／３Ｄ画像から３Ｄ／２Ｄ静止画や３Ｄ／２Ｄ動画に変換して、簡単に画像データを取り出すことができる画像変換装置が開示されている。特許文献１や特許文献３には、立体動画と立体静止画との間で切り合わる際の奥行値の変動を小さくすることにより不快感や疲労感を防止する方法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２５８７２３号公報
【特許文献２】特開２００５−１８４３７７号公報
【特許文献３】特開平１１−９８５２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、立体動画は立体静止画よりも人体に対する影響（不快感や疲労感など）が大きいと考えられているため、通常、立体動画の視差量は立体静止画よりも小さく抑えられている。このように視差量を小さく抑えたとしても、立体動画は被写体の動き（回転、奥行き方向の移動、奥行きが異なる他の被写体の前後を横切るなど）によっても立体感を感じることができるため、立体感があまり損なわれずに済む。一方、人体に対する影響を考慮して視差量が抑えられている立体動画から立体静止画を抽出してそのまま再生すると、立体感を十分に得られない場合がある。【０００８】
本発明は、上記事情に鑑み、立体動画と立体静止画の両方を取り扱う立体画像処理装置において、立体動画データから抽出した立体静止画データが表す立体静止画において立体感を十分に得られる立体画像処理装置及び立体画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の立体画像処理装置は、立体動画と立体静止画を表示及び／又は記録可能な立体画像処理装置において、所定の立体動画データから任意の立体静止画を表す立体静止画データを抽出する立体静止画抽出部と、
該立体静止画抽出部により抽出された前記立体静止画データが表す前記立体静止画の視差量を取得する静止画視差量取得部と、
該静止画視差量取得部により取得された視差量よりも大きくなるように、前記立体静止画データの視差量を変換する静止画視差量変換部とを備えていることを特徴とするものである。【００１０】
ここで、「立体動画」及び「立体静止画」とは、それぞれモニタ等に表示されたときに観察者が被写体の立体感を認識できる画像を意味するものである。【００１１】
また静止画視差量取得部による視差量の取得は、予め算出されて記録されていた距離画像等の情報を読み出すことにより行ってもよい。【００１２】
なお本発明の立体画像処理装置においては、前記静止画視差量変換部が、前記静止画視差量取得部により取得された視差量よりも大きくなるように、前記立体静止画の視差量の最大値と最小値がそれぞれ立体静止画の許容視差範囲の上限値と下限値になるように前記立体静止画データの視差量を変換するものであってもよい。【００１３】
ここで、「立体静止画の許容視差範囲」とは、立体静止画において人体に対する安全性が確保されている視差量の範囲をいい、許容視差範囲は図６に示すように、視差量が０になるクロスポイント（立体静止画が表示される表示面）を中心にして遠方向すなわち引っ込む方向と近方向すなわち飛び出し方向とを別々の範囲で設定できるようにしてもよい。【００１４】
なお本発明において「視差量の最大値」は、前記遠方向における視差量の最大値をいい、「視差量の最小値」は前記近方向における視差量の最大値をいう。また「許容視差範囲の上限値」は前記遠方向における許容視差量をいい、「許容視差範囲の下限値」は前記近方向における許容視差量をいう。【００１５】
また本発明の立体画像処理装置においては、視差量が０になるクロスポイントから前記許容視差範囲の前記上限値までの幅と、前記クロスポイントから前記許容視差範囲の前記下限値までの幅が異なるものであってもよい。【００１６】
また本発明の立体画像処理装置においては、前記静止画視差量変換部が、前記静止画視差量取得部により取得された視差量よりも大きくなるように、立体静止画の許容視差範囲の幅と立体動画の許容視差範囲の幅との比率を乗じて前記立体静止画データの視差量を変換するものであってもよい。【００１７】
また本発明の立体画像処理装置においては、視差量が０になるクロスポイントの手前側と奥側とで、乗じる前記比率が異なるものであってもよい。【００１８】
また本発明の立体画像処理装置においては、前記立体静止画抽出部により抽出された立体静止画データが表す立体静止画の使用目的を設定する使用目的設定部を備え、
前記静止画視差量変換部が、前記静止画視差量取得部により取得された視差量よりも大きくなるように、前記使用目的設定部によって設定された使用目的に基づいて前記立体静止画データの視差量を変換するものであってもよい。【００１９】
また本発明の立体画像処理装置においては、前記使用目的設定部が、使用目的として印刷及び画面表示を設定可能なものであり、
前記静止画視差量変換部が、前記使用目的設定部により使用目的が前記印刷に設定されたときは前記画面表示に設定されたときよりも、変換する前記視差量を小さくするものであってもよい。【００２０】
また本発明の立体画像処理装置においては、前記使用目的設定部が、使用目的として表示面の大きさ毎に画面表示を設定可能であり、
前記静止画視差量変換部が、前記使用目的設定部により使用目的が画面表示に設定されたときに、該設定された画面表示の前記表示面の大きさが大きいほど、変換する前記視差量を小さくするものであってもよい。【００２１】
また本発明の立体画像処理装置においては、前記立体静止画抽出部により抽出された立体静止画データが表す立体静止画の絵柄を解析する静止画解析部を備え、
前記静止画視差量変換部が、前記静止画視差量取得部により取得された視差量よりも大きくなるように、前記静止画解析部による解析結果に基づいて前記立体静止画データの視差量を変換するものであってもよい。【００２２】
また本発明の立体画像処理装置においては、前記静止画視差量変換部が、前記静止画解析部が前記前記立体静止画抽出部により抽出された立体静止画データが表す立体静止画が、所定面積以上の面積を有する被写体が視差量が０になるクロスポイントよりも手前側に存在する絵柄であると解析したときに、前記被写体が存在しない絵柄よりも変換する前記視差量を小さくするものであってもよい。【００２３】
また本発明の立体画像処理装置においては、前記静止画視差量変換部が、前記静止画解析部が前記立体静止画抽出部により抽出された立体静止画データが表す立体静止画が、奥行き方向に連続的又は断続的な形状を有し、かつ所定面積よりも小さい面積を有する被写体が存在する絵柄であると解析したときに、前記被写体が存在しない絵柄よりも変換する前記視差量を大きくするものであってもよい。【００２４】
本発明の立体画像処理方法は、立体動画と立体静止画を表示及び／又は記録可能な立体画像処理装置を使用した立体画像処理方法において、
所定の立体動画データから任意の立体静止画を表す立体静止画データを抽出し、
該抽出された前記立体静止画データが表す前記立体静止画の視差量を取得し、
該取得された前記視差量よりも大きくなるように、前記立体静止画データの視差量を変換することを特徴とする。【００２５】
なお本発明の立体画像処理方法においては、前記取得された視差量よりも大きくなるように、前記立体静止画の視差量の最大値と最小値がそれぞれ立体静止画の許容視差範囲の上限値と下限値になるように前記立体静止画データの視差量を変換することができる。【００２６】
ここで、「立体静止画の許容視差範囲」とは、立体静止画において人体に対する安全性が確保されている視差量の範囲をいい、許容視差範囲は図６に示すように、クロスポイント（立体静止画が表示される表示面）を中心にして遠方向すなわち引っ込む方向と近方向すなわち飛び出し方向とを別々の範囲で設定できるようにしてもよい。【００２７】
なお本発明において「視差量の最大値」は、前記遠方向における視差量の最大値をいい、「視差量の最小値」は前記近方向における視差量の最大値をいう。また「許容視差範囲の上限値」は前記遠方向における許容視差量をいい、「許容視差範囲の下限値」は前記近方向における許容視差量をいう。【００２８】
また本発明の立体画像処理方法においては、視差量が０になるクロスポイントから前記許容視差範囲の前記上限値までの幅と、前記クロスポイントから前記許容視差範囲の前記下限値までの幅が異なってもよい。【００２９】
また本発明の立体画像処理方法においては、前記取得された視差量よりも大きくなるように、立体静止画の許容視差範囲の幅と立体動画の許容視差範囲の幅との比率を乗じて前記立体静止画データの視差量を変換することができる。【００３０】
また本発明の立体画像処理方法においては、視差量が０になるクロスポイントの手前側と奥側とで、乗じる前記比率が異なってもよい。【００３１】
また本発明の立体画像処理方法においては、予め前記抽出された立体静止画データが表す立体静止画の使用目的を設定し、
前記取得された前記視差量よりも大きくなるように、前記設定された使用目的に基づいて前記立体静止画データの視差量を変換することができる。【００３２】
また本発明の立体画像処理方法においては、前記使用目的が印刷に設定されたときは前記使用目的が画面表示に設定されたときよりも、変換する前記視差量を小さくすることができる。【００３３】
また本発明の立体画像処理方法においては、前記使用目的が画面表示に設定されたときに、該設定された画面表示の表示面の大きさが大きいほど、変換する前記視差量を小さくすることができる。【００３４】
また本発明の立体画像処理方法においては、前記抽出された立体静止画データが表す立体静止画の絵柄を解析し、
前記取得された視差量よりも大きくなるように、前記解析結果に基づいて前記立体静止画データの視差量を変換することができる。【００３５】
また本発明の立体画像処理方法においては、前記抽出された立体静止画データが表す立体静止画が、所定面積以上の面積を有する被写体が視差量が０になるクロスポイントよりも手前側に存在する絵柄であると解析したときに、前記被写体が存在しない絵柄よりも変換する前記視差量を小さくすることができる。【００３６】
また本発明の立体画像処理方法においては、前記抽出された立体静止画データが表す立体静止画が、奥行き方向に連続的又は断続的な形状を有し、かつ所定面積よりも小さい面積を有する被写体が存在する絵柄であると解析したときに、前記被写体が存在しない絵柄よりも変換する前記視差量を大きくすることができる。
【発明の効果】
【００３７】
本発明の立体画像処理装置及び立体画像処理方法によれば、立体動画と立体静止画を表示及び／又は記録可能な立体画像処理装置において、所定の立体動画データから任意の立体静止画を表す立体静止画データを抽出し、抽出された立体静止画データが表す立体静止画の視差量を取得し、取得された前記視差量よりも大きくなるように、立体静止画データの視差量を変換するので、立体静止画の視差量は立体動画の視差量よりも大きくなり、立体静止画の再生時に観察者は十分な立体感を得ることができる。【００３８】
また前記所定の立体動画データが人体に対する安全性が確保されている許容範囲内の視差量で構成されている場合には、立体動画としての人体に対する安全性の確保と立体静止画としての立体感の効果の両立を図ることができる。
【図面の簡単な説明】
【００３９】
【図１】第１の実施形態の立体画像処理装置の構成を示すブロック図
【図２】図１の立体画像処理装置の作用を示すフローチャート
【図３】図１の静止画視差量変換部による視差量変換方法を説明する図
【図４】静止画許容視差範囲について説明する図
【図５】画像内の各点の左右ずれ量の模式図
【図６】第２の実施形態の立体画像処理装置の構成を示すブロック図
【図７】図６の立体画像処理装置の作用を示すフローチャート
【図８】図６の静止画視差量変換部による視差量変換方法を説明する図
【図９】第３の実施形態の立体画像処理装置の構成を示すブロック図
【図１０】図９の立体画像処理装置の作用を示すフローチャート
【図１１】図９の静止画視差量変換部による視差量変換方法を説明する図
【図１２】第４の実施形態の立体画像処理装置の構成を示すブロック図
【図１３】図１２の立体画像処理装置の作用を示すフローチャート
【図１４】第５の実施形態の立体画像処理装置の構成を示すブロック図
【図１５】図１４の立体画像処理装置の作用を示すフローチャート
【発明を実施するための形態】
【００４０】
以下、図面を参照して本発明の第１の実施形態である立体画像処理装置１について説明する。図１は立体画像処理装置１の構成を示すブロック図、図２は図１の立体画像処理装置１の作用を示すフローチャート、図３は図１の静止画視差量変換部２５による視差量変換方法を説明する図、図４は静止画許容視差範囲について説明する図である。
【００４１】
本実施形態の立体画像処理装置１は立体動画及び立体静止画を表示及び／又は記録可能なものであり、図１に示すように、各々データバス１３に接続され、立体動画データ等が記録された例えばリムーバブルメディア等の画像データ記録部１１に対する情報の記録及び読み出しを制御する記録／読出制御部１２、ＬＣＤ等から成る立体表示部１６が接続され立体表示部１６への立体静止画及び立体動画の表示を制御する立体表示制御部１５、画像データに対して静止画用の画像処理を行う立体静止画信号処理部１７，画像データに対して動画用の画像処理を行う立体動画信号処理部１８、立体動画データから任意の立体静止画データを抽出する静止画抽出処理部２１、及びＣＰＵ２０を備えており、これらの制御部・処理部はデータ制御部１４が各々接続されており、これらの制御部・処理部の間のデータバス１３経由でのデータ転送はデータ制御部１４によって制御される。このデータ制御部１４にはメモリ１９が接続されている。
【００４２】
また、図示は省略するが、記録／読出制御部１２、立体表示制御部１５、立体静止画信号処理部１７，立体動画信号処理部１８及び静止画抽出処理部２１はＣＰＵ２０にも接続されており、これらの制御部・処理部における処理はＣＰＵ２０によって制御される。ＣＰＵ２０には、立体画像処理装置１の本体に設けられた電源スイッチ、各種の設定スイッチ、キーボード、マウス等で構成された操作部２３が接続されている。
【００４３】
またＣＰＵ２０には、動作モードを立体動画又は立体静止画に設定する動作モード設定部２２が接続され、動作モード設定部２２はユーザが操作部２３を操作することにより入力したユーザが所望する動作モードを設定可能となっている。なおＣＰＵ２０は動作モード設定部２２により設定された動作モードが。立体動画及び立体静止画のいずれであるのかを判断する判断部としても機能する。
【００４４】
またＣＰＵ２０には、後で詳細に説明する、静止画視差量取得部２４及び静止画視差量変換部２５がそれぞれ接続されている。
【００４５】
また、図示は省略するが、立体画像処理装置１にはマイクロフォンとスピーカも設けられており、マイクロフォンはＡ／Ｄ変換器等を介してデータバス１３に接続され、スピーカは増幅器及びＤ／Ａ変換器を介してデータバス１３に接続されている。
【００４６】
立体表示制御部１５は、立体動画データや立体静止画データを立体表示部１６に立体表示させるものであり、立体表示させるときには立体表示部１６の立体表示方式に合わせた立体表示処理を行って立体表示部１６に立体表示させる。なお本実施形態における立体表示としては、公知の任意の方式を用いることができる。
【００４７】
例えば、左目用画像と右目用画像を並べて表示して裸眼平衡法により立体視を行う方式、または立体表示部１６にレンチキュラーレンズを貼り付け、立体表示部１６の表示面の所定位置に左目用画像と右目用画像を表示することにより、左右の目に左目用画像と右目用画像を入射させて立体表示を実現するレンチキュラー方式を用いることができる。さらに、立体表示部１６のバックライトの光路を光学的に左右の目に対応するように交互に分離し、立体表示部１６の表示面に左目用画像と右目用画像をバックライトの左右への分離にあわせて交互に表示することにより、立体表示を実現するスキャンバックライト方式等を用いることができる。
【００４８】
なお、立体表示部１６は立体表示方式に応じた加工がなされている。例えば、立体表示方式がレンチキュラー方式の場合には、立体表示部１６の表示面にレンチキュラーレンズが取り付けられており、スキャンバックライト方式の場合には、左右の画像の光線方向を変えるための光学素子が立体表示部１６の表示面に取り付けられている。
【００４９】
立体静止画信号処理部１７は、立体静止画データに対し、立体静止画データが表す立体静止画の画質向上のために立体静止画用の画像処理を行う。なお、立体静止画用の画像処理としては、立体静止画データ中のノイズ成分を低減させるノイズ低減処理、立体静止画中の輪郭成分を抽出し抽出した輪郭成分を強調する輪郭強調処理、特定の空間周波数成分を減衰又は強調させるフィルタリング処理、立体静止画の色バランスを補正する色補正処理等が挙げられる。
【００５０】
立体動画像信号処理部１８は、立体動画データに対し、立体動画データが表す立体動画の画質向上のために立体動画用の画像処理を行う。なお、立体動画用の画像処理としては、立体動画データ中のノイズ成分を低減させるノイズ低減処理、立体動画データ中の輪郭成分を抽出し抽出した輪郭成分を強調する輪郭強調処理、特定の空間周波数成分を減衰又は強調させるフィルタリング処理、立体動画の色バランスを補正する色補正処理等が挙げられる。
【００５１】
静止画抽出処理部２１は、画像データ記録部１１又はメモリ１９に記録された立体動画データのうち予めユーザによって選択された所定の立体動画データから任意の立体静止画を表す立体静止画データを抽出する。立体動画データから任意の立体静止画を選択する方法としては、例えばユーザが立体表示部１６に再生された立体動画を見ながら所望するシーンにて操作部２３を操作することにより選択することができる。なお抽出する立体静止画は１枚であってもよいし、異なるシーンの複数のフレームを抽出してもよい。なお立体動画データから立体静止画データを抽出する方法としては、一般的に使用されている公知の技術を採用することができる。
【００５２】
静止画視差量取得部２４は、静止画抽出処理部２１により抽出された立体静止画データが表す立体静止画の視差量を取得する。視差量の取得は立体静止画を構成する右目用静止画及び左目用静止画の画像上で特徴が一致する複数の組の特徴点の座標値を検出し、右目用静止画と左目用静止画との間の特徴点のずれ量を算出することにより求めることができる。なお立体静止画が表示される表示面から飛び出す方向と奥行き（引っ込む）方向では、つまりクロスポイントの手前側と奥側では、右目用静止画と左目用静止画との間の特徴点は逆方向にずれるので、視差量を取得するときには、ずれる方向も求めるものとする。なお抽出された立体静止画データの抽出元である立体動画データが、画像内の各点の左右ずれ量を画像として表したデータである距離画像を付属情報として含むファイルで構成されている場合には、この付属情報を読み出すことにより視差量を取得することができる。なお視差量の取得方法はこれに限られるものではなく、公知の方法を使用することができる。
【００５３】
静止画視差量変換部２５は、静止画視差量取得部２４により取得された視差量を変換するものであり、取得された視差量よりも大きくなるように立体静止画データの視差量を変換する。ここで図５に画像内の各点の左右ずれ量を模式的に表した図を示す。図５中、奥行き方向においてクロスポイントから離れるほどずれ量すなわち矢印の長さは大きくなり、クロスポイントの手前側と奥側ではずれの向きすなわち矢印の向きが異なる。そこで視差量の変換は、図５中の矢印の長さが長くなるように、右目用静止画及び／又は左目用静止画を変形する。画像内の各点においてずれを大きくする量も向きも異なるので、画像の変形には、ワーピングと呼ばれる、いわゆる非線形な幾何変換によってずれ量すなわち視差量が大きくなるように画像を変形する。ワーピングは、例えば画像を局所的に歪めて、すなわちワープして変形するものであり、一般的には、画像を複数の三角パッチに分割し、その三角パッチ毎に変形を行う。なおワーピングによる画像の変形の具体的な方法については特開２０１０−１５２８１９号公報に記載された技術を使用することができる。
【００５４】
ここで静止画視差量取得部２４により取得された視差量は、立体動画データから抽出された立体静止画における視差量つまり立体動画データ中の１シーンの視差量であるため、取得された視差量よりも大きくなるように、立体静止画データの視差量を変換することにより立体静止画の視差量は抽出元の立体動画の視差量よりも大きくなる。なお静止画視差量変換部２５による視差量の変換については後で詳細に説明する。本実施形態の立体画像処理装置１は以上のようにして構成されている。
【００５５】
次に本実施形態の立体画像処理装置１を使用した立体画像処理方法について、以下に図面を参照して説明する。本実施形態の立体画像処理装置１は、図２に示すように、まず、動作モード設定部２がユーザによって入力された動作モードを設定する（Ｓ１０）。
【００５６】
次にＣＰＵ２０が動作モード設定部２２が設定した動作モードが、動画モードであるのか静止画モードであるのかを判別し（Ｓ１１）、動画モードと判別した場合（Ｓ１０；動画モード）には、立体動画信号処理部１８が予めユーザによって選択された所定の立体動画データに対して上述した立体動画用の信号処理を行い（Ｓ１２）、表示制御部１５が信号処理後の立体動画データが表す立体動画を立体表示部１６に表示するか、又は記録／読出制御部１２が信号処理後の立体動画データを画像データ記録部１１に記録して（Ｓ１３）、一連の処理を終了する。
【００５７】
なお立体動画を立体表示部１６に表示するか、画像データ記録部１１に記録するかは、予めユーザが操作部２３を操作することにより設定される。
【００５８】
一方ステップＳ１１にて、動作モードが静止画モードであると判別した場合（Ｓ１０；静止画モード）には、静止画抽出部２１が画像データ記録部１１又はメモリ１９に記録された立体動画データのうち予めユーザによって選択された所定の立体動画データから１枚の任意の立体静止画を表す立体静止画データを抽出する（Ｓ１４）。
【００５９】
次に、静止画視差量取得部２４が、静止画抽出部２１が抽出した立体静止画データが表す立体静止画の視差量を上述したようにして取得し（Ｓ１５）、静止画視差量変換部２５が、静止画視差量取得部２４が取得した視差量よりも大きくなるように立体静止画データの視差量を変換する（Ｓ１６）。
【００６０】
通常、図３に示すように、立体静止画において人体に対する安全性が確保されている許容視差範囲ＤＳは、立体動画における許容視差範囲Ｄｍよりも大きく設定されているため、既に再生時に人体に対する安全性が確保されるように視差量が設定されている立体動画データから立体静止画データを抽出したときに、抽出した立体静止画データが表す立体静止画の視差量は許容視差範囲ＤＳよりもだいぶ小さくなるため再生時に立体感を十分に得られない場合がある。
【００６１】
そこで本実施形態の立体画像処理装置１は、静止画視差量変換部２５が、図３に示すように、立体動画データから抽出した各フレームｆｎすなわち立体静止画の視差量が元の視差量つまり抽出元の立体動画データが表す立体動画の視差量よりも大きくなるように立体静止画データの視差量を変換する。このとき変換後の視差量は、立体静止画の許容視差範囲ＤＳ内の値になるようにする。
【００６２】
なおここで「視差量が大きくなる」は図３において、視差量が０になるクロスポイントよりも遠方側（図中・・・よりも上側）においては、立体静止画の視差量の最大値（図中、上向きの矢印の先端）がより上側に位置することを意味し、視差量が０になるクロスポイントよりも手前側（図中・・・よりも下側）においては、立体静止画の視差量の最小値（図中、下向きの矢印の先端）がより下側に位置することを意味する。
【００６３】
上記のように、立体静止画の視差量を立体動画の視差量よりも大きくすることにより、立体静止画の再生時に観察者は十分な立体感を得ることができる。このとき抽出元の立体動画データが人体に対する安全性が確保されている許容視差範囲Ｄｍ内の視差量で構成されている場合には、立体動画としての人体に対する安全性の確保と立体静止画としての立体感の効果の両立を図ることができる。
【００６４】
なお本実施形態では、図３に示すように視差量の変換は、図中・・・で示す立体静止画が表示される表示面いわゆるクロスポイントを中心にして遠近均等に、すなわち、表示面から飛び出し方向の立体感と表示面から奥行き方向の立体感が同じ値になるように視差量を大きくしているが、本発明はこれに限られるものではなく、遠方向すなわち奥行き方向の立体感を示す視差量と近方向すなわち飛び出し方向の立体感を示す視差量とを別々に設定できるようにしてもよい。
【００６５】
通常、立体画像を観察するときに、奥行き方向の立体感を示す視差量が大きくなればなるほど、観察者は両目を該両目が離れる方向へ移動させて立体視を行わなければならず、特に両眼の間隔が狭い小さな子供等は奥行き方向の立体感を示す視差量が大きすぎると人体への影響が大きくなってしまう虞がある。従って、図４の静止画許容視差範囲Ｂに示すように、遠方向の許容視差範囲を近方向の許容視差範囲よりも大きく設定することが望ましい。
【００６６】
次に立体静止画信号処理部１７が、静止画視差量変換部２５により視差量が変換された後の立体静止画を表す立体静止画データに対して上述した立体静止画用の信号処理を行い（Ｓ１７）、表示制御部１５が信号処理後の立体静止画データが表す立体静止画を立体表示部１６に表示するか、又は記録／読出制御部１２が信号処理後の立体静止画データを画像データ記録部１１に記録して（Ｓ１３）、一連の処理を終了する。
【００６７】
以上のようにして、本実施形態の立体画像処理装置１は立体画像処理を行う。なお静止画視差量変換部２５による視差量の変換は、立体静止画が抽出された直後に行ってもよいし、立体静止画を表示するときに行っても良いし、立体静止画を記録するときに行っても良いし、適宜変更することができる。
【００６８】
次に図面を参照して本発明の第２の実施形態である立体画像処理装置１−２について説明する。図６は立体画像処理装置１−２の構成を示すブロック図、図７は図６の立体画像処理装置１−２の作用を示すフローチャート、図８は図６の静止画視差量変換部２５による視差量変換方法を説明する図である。なお図６に示す本実施形態の立体画像処理装置１−２の構成は、図１に示す上記実施形態の立体画像処理装置１の構成と同様の箇所は同番号で示して説明は省略し、異なる箇所についてのみ説明する。
【００６９】
本実施形態の立体画像処理装置１−２は、図６に示すように、図１の構成に、静止画視差量設定部２６を備えたものである。静止画視差量設定部２６は、立体静止画の許容視差範囲の上限値と下限値を設定するものであり、ユーザが操作部２３を操作することにより入力した値を許容視差範囲の上限値と下限値として設定可能となっている。許容視差範囲の上限値と下限値は、立体静止画において人体に対する安全性が確保されている許容視差範囲ＤＳで設定可能な構成となっており、本実施形態では十分な立体感を得ることができるように立体静止画の許容視差範囲の上限値と下限値は許容視差範囲ＤＳの上限値と下限値に設定されているものとする。
【００７０】
次に本実施形態の立体画像処理装置１−２を使用した立体画像処理方法について、以下に図面を参照して説明する。なお図７のステップＳ２０〜ステップＳ２５及びステップＳ２７の処理は図２のステップＳ１０〜ステップＳ１５及びステップＳ１７の処理と同様であるため説明は省略する。
【００７１】
本実施形態の立体画像処理装置１−２は、図７に示すように、静止画視差量取得部２４により抽出した立体静止画データが表す立体静止画の視差量が取得されると（Ｓ２５）、静止画視差量変換部２５が、静止画視差量取得部２４が取得した視差量が、この視差量の最大値と最小値がそれぞれ、設定してある立体静止画の許容視差範囲ＤＳの上限値と下限値になるように立体静止画データを変換する（Ｓ２６）。すなわち遠方向における視差量の最大値が許容視差範囲ＤＳの遠方向における許容視差量に、近方向における視差量の最大値が許容視差範囲ＤＳの近方向における許容視差量になるように変換する。
【００７２】
通常、図８に示すように、立体静止画において人体に対する安全性が確保されている許容視差範囲ＤＳは、立体動画における許容視差範囲Ｄｍよりも大きく設定されているため、既に再生時に人体に対する安全性が確保されるように視差量が設定されている立体動画データから立体静止画データを抽出したときに、抽出した立体静止画データが表す立体静止画の視差量は許容視差範囲ＤＳよりもだいぶ小さくなるため再生時に立体感を十分に得られない場合がある。
【００７３】
そこで本実施形態の立体画像処理装置１−２は、静止画視差量変換部２５が、図８に示すように、立体動画データから抽出した各フレームｆｎすなわち立体静止画の視差量の最大値と最小値が、一律に許容視差範囲ＤＳの上限値と下限値になるように立体静止画データの視差量を変換する。
【００７４】
上記のように、立体静止画の視差量を立体動画の視差量よりも大きい許容視差範囲ＤＳにすることにより、立体静止画の再生時に観察者は十分な立体感を得ることができる。このとき抽出元の立体動画データが人体に対する安全性が確保されている許容視差範囲Ｄｍ内の視差量で構成されている場合には、立体動画としての人体に対する安全性の確保と立体静止画としての立体感の効果の両立を図ることができる。
【００７５】
なお本実施形態では、図８に示すように静止画の基準視差量は、図中・・・で示す立体静止画が表示される表示面いわゆるクロスポイントを中心にして遠近均等に、すなわち、表示面から飛び出し方向の立体感と表示面から奥行き方向の立体感が同じ値になるように視差量を設定しているが、本発明はこれに限られるものではなく、遠方向すなわち奥行き方向の立体感を示す視差量と近方向すなわち飛び出し方向の立体感を示す視差量とを別々に設定できるようにしてもよい。
【００７６】
通常、立体画像を観察するときに、奥行き方向の立体感を示す視差量が大きくなればなるほど、観察者は両目を該両目が離れる方向へ移動させて立体視を行わなければならず、特に両眼の間隔が狭い小さな子供等は奥行き方向の立体感を示す視差量が大きすぎると人体への影響が大きくなってしまう虞がある。従って、図４の静止画許容視差範囲Ｂに示すように、遠方向の許容視差範囲を近方向の許容視差範囲よりも大きく設定することが望ましい。
【００７７】
次に図面を参照して本発明の第３の実施形態である立体画像処理装置１−３について説明する。図９は立体画像処理装置１−３の構成を示すブロック図、図１０は図９の立体画像処理装置１−３の作用を示すフローチャート、図１１は図９の静止画視差量変換部２５による視差量変換方法を説明する図である。なお図９に示す本実施形態の立体画像処理装置１−３の構成は、図１に示す上記実施形態の立体画像処理装置１の構成と同様の箇所は同番号で示して説明は省略し、異なる箇所についてのみ説明する。
【００７８】
本実施形態の立体画像処理装置１−３は、図９に示すように、図１の構成に、動画・静止画視差量設定部２７を備えたものである。動画・静止画視差量設定部２７は、立体静止画と立体動画の許容視差範囲の上限値と下限値をそれぞれ設定するものであり、ユーザが操作部２３を操作することにより入力した値を各許容視差範囲の上限値と下限値として設定可能となっている。各許容視差範囲の上限値と下限値は、各々人体に対する安全性が確保されている許容視差範囲ＤＳ、許容視差範囲Ｄｍで設定可能な構成となっており、本実施形態では十分な立体感を得ることができるように立体静止画の許容視差範囲の上限値と下限値は許容視差範囲ＤＳの上限値と下限値に、立体動画の許容視差範囲の上限値と下限値は許容視差範囲Ｄｍの上限値と下限値にそれぞれ設定されているものとする。
【００７９】
なお快適に立体視できる視差角θは、各種研究によって経験的に求められている。ここで視差角θとは、表示面上の一点を見たときの輻輳角と両眼視差により決まる立体を見たときの輻輳角との差をいう。現在、ハイビジョンテレビを想定した場合の立体動画の快適視差範囲は、瞳孔間間隔を６．５ｃｍ、表示観視距離（テレビの画面高さの３倍距離）での視聴を前提にしたときに、１画面内の奥行き範囲は１度以内に抑えると見易いとの研究結果がある。そのため本実施形態では、立体動画の許容視差範囲の上限値と下限値は視差角が１度となる視差量の値とし、立体静止画の許容視差範囲の上限値と下限値はこの立体動画の許容視差範囲の上限値と下限値よりも大きな値で設定する。
【００８０】
次に本実施形態の立体画像処理装置１−３を使用した立体画像処理方法について、以下に図面を参照して説明する。なお図１０のステップＳ３０〜ステップＳ３５及びステップＳ３７の処理は図２のステップＳ１０〜ステップＳ１５及びステップＳ１７の処理と同様であるため説明は省略する。
【００８１】
本実施形態の立体画像処理装置１−３は、図１０に示すように、静止画視差量取得部２４により抽出した立体静止画データが表す立体静止画の視差量が取得されると（Ｓ３５）、静止画視差量変換部２５が、静止画視差量取得部２４が取得した視差量が、設定してある立体静止画の許容視差範囲ＤＳの幅と立体動画の許容視差範囲Ｄｍの幅との比率を乗じた値になるように立体静止画データの視差量を変換する（Ｓ２６）。
【００８２】
通常、図１１に示すように、立体静止画において人体に対する安全性が確保されている許容視差範囲ＤＳは、立体動画における許容視差範囲Ｄｍよりも大きく設定されているため、既に再生時に人体に対する安全性が確保されるように視差量が設定されている立体動画データから立体静止画データを抽出したときに、抽出した立体静止画データが表す立体静止画の視差量は許容視差範囲ＤＳよりもだいぶ小さくなるため再生時に立体感を十分に得られない場合がある。
【００８３】
そこで本実施形態の立体画像処理装置１−３は、静止画視差量変換部２５が、図１１に示すように、立体動画データから抽出した各フレームｆｎすなわち立体静止画の視差量が、設定してある許容視差範囲ＤＳの幅と立体動画の許容視差範囲Ｄｍの幅との比率を乗じた値にあるように立体静止画データの視差量を変換する。すなわち静止画視差量取得部２４が取得した立体静止画の各フレームｆｍの視差量が、立体静止画の許容視差範囲ＤＳの幅／立体動画の許容視差範囲Ｄｍの幅倍となるように立体静止画データを変換する。
【００８４】
上記のように、立体静止画の視差量を立体動画の視差量よりも大きくなるように立体静止画の許容視差範囲ＤＳの幅／立体動画の許容視差範囲Ｄｍの幅倍にすることにより、立体静止画の再生時に観察者は十分な立体感を得ることができる。このとき抽出元の立体動画データが人体に対する安全性が確保されている許容視差範囲Ｄｍ内の視差量で構成されている場合には、立体動画としての人体に対する安全性の確保と立体静止画としての立体感の効果の両立を図ることができる。
【００８５】
なお本実施形態では、図１１に示すように静止画及び動画の基準視差量は、図中・・・で示す画像が表示される表示面いわゆるクロスポイントを中心にして遠近均等に、すなわち、表示面から飛び出し方向の立体感と表示面から奥行き方向の立体感が同じ値になるように視差量を設定しているが、本発明はこれに限られるものではなく、遠方向すなわち奥行き方向の立体感を示す視差量と近方向すなわち飛び出し方向の立体感を示す視差量とを別々に設定できるようにしてもよい。
【００８６】
すなわち、視差量が０になるクロスポイントの手前側と奥側とで、乗じる前記比率が異なるものであってもよい。
【００８７】
通常、立体画像を観察するときに、奥行き方向の立体感を示す視差量が大きくなればなるほど、観察者は両目を該両目が離れる方向へ移動させて立体視を行わなければならず、特に両眼の間隔が狭い小さな子供等は奥行き方向の立体感を示す視差量が大きすぎると人体への影響が大きくなってしまう虞がある。従って、図４の静止画許容視差範囲Ｂに示すように、遠方向の許容視差範囲を近方向の許容視差範囲よりも大きく設定することが望ましい。
【００８８】
次に図面を参照して本発明の第４の実施形態である立体画像処理装置１−４について説明する。図１２は立体画像処理装置１−４の構成を示すブロック図、図１３は図１２の立体画像処理装置１−４の作用を示すフローチャートである。なお図１２に示す本実施形態の立体画像処理装置１−４の構成は、図１に示す上記実施形態の立体画像処理装置１の構成と同様の箇所は同番号で示して説明は省略し、異なる箇所についてのみ説明する。
【００８９】
本実施形態の立体画像処理装置１−４は、図１２に示すように、図１の構成に、使用目的設定部２８を備えたものである。使用目的設定部２８は、静止画抽出処理部２１により抽出された立体静止画データが表す立体静止画の使用目的を設定するものであり、ユーザが操作部２３を操作することにより入力した使用目的を設定可能となっている。なお本実施形態では使用目的として印刷又は画面表示が設定可能となっていて、さらに画面表示は表示面の大きさ毎に設定可能となっている。
【００９０】
次に本実施形態の立体画像処理装置１−４を使用した立体画像処理方法について、以下に図面を参照して説明する。なお図１３のステップＳ４０〜ステップＳ４４の処理は図２のステップＳ１０〜ステップＳ１４、図１３のステップＳ４８の処理は図２のステップＳ１７の処理と同様であるため説明は省略する。
【００９１】
本実施形態の立体画像処理装置１−４は、図１３に示すように、静止画抽出処理部２１が立体静止画データを抽出すると（Ｓ４４）、次に使用目的設定部２８が、ユーザが操作部２３を操作することにより入力した使用目的を設定する（Ｓ４５）。そして静止画視差量取得部２４が静止画視差量取得部２４により抽出した立体静止画データが表す立体静止画の視差量を取得し（Ｓ４６）、静止画視差量変換部２５が、静止画視差量取得部２４が取得した視差量が、設定してある使用目的に応じた値となるように立体静止画データの視差量を変換する（Ｓ４７）。
【００９２】
本実施形態の静止画視差量変換部２５は、立体動画データから抽出した各フレームｆｎすなわち立体静止画の視差量を大きくすると共に、使用目的が印刷に設定されている場合には、使用目的として画面表示が設定されているときよりも視差量が小さくなるように変換する。一般的に立体画像印刷（レンチキュラープリント）する場合には、像が二重に見え易いので、視差量を抑えることが好ましい。また使用目的が画面表示に設定されている場合には、設定された表示面の大きさが大きい程、立体静止画を観察するときに人体への影響が大きくなると考えられるため、表示面の大きさが小さいときよりも変更する視差量が小さくなるように変換する。
【００９３】
上記のように、立体静止画の視差量を立体動画の視差量よりも大きくなるように立体静止画の使用目的に応じて変換にすることにより、立体静止画の再生時に観察者は十分な立体感を得ることができると共に立体静止画の使用時にその使用目的に応じた立体効果を得ることができる。このとき抽出元の立体動画データが人体に対する安全性が確保されている許容視差範囲Ｄｍ内の視差量で構成されている場合には、立体動画としての人体に対する安全性の確保と立体静止画としての立体感の効果の両立が、立体静止画の使用目的に応じて図ることができる。
【００９４】
なお本実施形態では、使用目的設定部２８は使用目的として印刷又は画面表示が設定可能とし、さらに画面表示は表示面の大きさ毎に設定可能としたが本発明はこれに限られるものではなく、印刷又は画面表示のみを設定可能にしてもよいし、画面表示のみ表示面の大きさ毎に設定可能にしてもよい。またその他の使用目的を設定可能にしてもよいし適宜変更することができる。
【００９５】
次に図面を参照して本発明の第５の実施形態である立体画像処理装置１−５について説明する。図１４は立体画像処理装置１−５の構成を示すブロック図、図１５は図１３の立体画像処理装置１−５の作用を示すフローチャートである。なお図１４に示す本実施形態の立体画像処理装置１−５の構成は、図１に示す上記実施形態の立体画像処理装置１の構成と同様の箇所は同番号で示して説明は省略し、異なる箇所についてのみ説明する。
【００９６】
本実施形態の立体画像処理装置１−５は、図１４に示すように、図１の構成に、絵柄視差量設定部２９及び静止画解析部３０を備えたものである。絵柄視差量設定部３０は立体静止画中の絵柄毎に視差量を設定するものであり、例えば、所定面積以上の面積を有する被写体が視差量が０になるクロスポイントよりも手前側に存在する絵柄は、前記被写体が存在しない絵柄よりも視差量を小さく設定する。なおこのとき所定面積は画面全体の面積の３分の１程度とする。また奥行き方向に連続的又は断続的な形状を有し、かつ所定面積よりも小さい面積を有する被写体が存在する絵柄は、前記被写体が存在しない絵柄よりも視差量を大きく設定する。なおこのとき所定面積は画面全体の面積の１０分の１程度とする。
【００９７】
静止画解析部３０は、静止画抽出処理部２１により抽出された立体静止画データが表す立体静止画を解析するものであり、静止画視差量取得部２４により取得された視差量を用いて、立体静止画において表示画面すなわちクロスポイントの手前側に存在する被写体の領域を算出する。領域の算出は、静止画視差量取得部２４により取得された視差量のうちクロスポイントよりも手前側の視差量を検出し、この検出された視差量を有する点（特徴点）が画像全体に対して占める比率を算出する。なお本実施形態においてこの比率が３分の１以上であるときに、所定面積以上の面積を有する被写体がクロスポイントよりも手前側に存在する絵柄であるとして立体静止画を解析する。
【００９８】
また静止画視差量取得部２４により取得された視差量を用いて、立体静止画において奥行き方向に連続的又は断続的な形状を有する被写体の領域を算出する。領域の算出は、静止画視差量取得部２４により取得された視差量のうち、視差量が連続的又は断続的に増加しているものを検出し、この検出された視差量を有する点（特徴点が画像全体に対して占める比率を算出する。なお視差量が連続的又は断続的に増加しているものとは、例えば図４において、視差量が徐々に上側に向かうものや視差量が徐々に下側に向かうものをいう。
また本実施形態においてこの比率が１０分の１よりも小さいときに、奥行き方向に連続的又は断続的な形状を有し、かつ所定面積よりも小さい面積を有する被写体が存在する絵柄であるとして立体静止画を解析する。
【００９９】
次に本実施形態の立体画像処理装置１−５を使用した立体画像処理方法について、以下に図面を参照して説明する。なお図１５のステップＳ５０〜ステップＳ５５の処理は図２のステップＳ１０〜ステップＳ１５、図１５のステップＳ５８の処理は図２のステップＳ１７の処理と同様であるため説明は省略する。
【０１００】
本実施形態の立体画像処理装置１−５は、図１５に示すように、静止画視差量取得部２４が静止画視差量取得部２４により抽出した立体静止画データが表す立体静止画の視差量を取得すると（Ｓ５５）、静止画解析部２９が上述のようにして立体静止画の絵柄を解析する（Ｓ５６）。
【０１０１】
次に静止画視差量変換部２５が、静止画視差量取得部２４が取得した視差量を、静止画解析部２９による解析結果に基づいて変換する（Ｓ５７）。
【０１０２】
本実施形態の静止画視差量変換部２５は、立体動画データから抽出した各フレームｆｎすなわち立体静止画の視差量を大きくすると共に、静止画解析部２９により所定面積以上の面積を有する被写体が視差量が０になるクロスポイントよりも手前側に存在する絵柄であると判別された場合には、ユーザが立体静止画を観察したときに視差が大きいと見づらい可能性があるので、変換する視差量を小さくする。また奥行き方向に連続的又は断続的な形状を有し、かつ所定面積よりも小さい面積を有する被写体が存在する絵柄であると判別された場合には、立体感を感じるのに効果的な絵柄であると判別して、変換する視差量を大きくする。このとき視差量は、予め絵柄視差量設定部３０により設定されている値に変換する。
【０１０３】
上記のように、立体静止画データの視差量を立体動画の視差量よりも大きくなるように立体画像の絵柄に応じて変換にすることにより、立体静止画の再生時に観察者は立体静止画の絵柄に応じた十分な立体感を得ることができる。このとき抽出元の立体動画データが人体に対する安全性が確保されている許容視差範囲Ｄｍ内の視差量で構成されている場合には、立体動画としての人体に対する安全性の確保と立体静止画としての立体感の効果の両立が、立体静止画の絵柄に応じて図ることができる。
【０１０４】
なお本発明は、上述した実施形態の内容に限られるものではなく、発明の趣旨を逸脱しない範囲において適宜変更することができる。
【符号の説明】
【０１０５】
１  ，１−２，１−３，１−４，１−５    立体画像処理装置
２０          ＣＰＵ（判断部）
２２          動作モード設定部
２１          立体静止画抽出部（静止画抽出部）
２４          静止画視差量取得部
２５          静止画視差量変換部
２６          静止画視差量設定部
２７          動画・静止画視差量設定部（動画静止画視差量設定部）
２８          使用目的設定部
２９          静止画解析部
３０          絵柄視差量設定部
【図１】
2012127843.tif 000003
【図２】
2012127843.tif 000004
【図３】
2012127843.tif 000005
【図４】
2012127843.tif 000006
【図５】
2012127843.tif 000007
【図６】
2012127843.tif 000008
【図７】
2012127843.tif 000009
【図８】
2012127843.tif 000010
【図９】
2012127843.tif 000011
【図１０】
2012127843.tif 000012
【図１１】
2012127843.tif 000013
【図１２】
2012127843.tif 000014
【図１３】
2012127843.tif 000015
【図１４】
2012127843.tif 000016
【図１５】
2012127843.tif 000017
【国際調査報告】
2012127843.tif 000018
2012127843.tif 000019
2012127843.tif 000020
2012127843.tif 000021