(57)【特許請求の範囲】
【請求項１】
撮影された左右両眼画像データからなる立体画像データを読み込む読込手段と、
前記読込手段で読み込まれた立体画像データから形成される左右両眼画像の傾きおよび位置ずれを補正する補正手段と、
前記補正手段により補正された左右両眼画像を立体表示手段で立体画像を表示する場合に両眼視差が無くなる点であるＺＤＰを設定するＺＤＰ設定手段と、
前記ＺＤＰ設定手段により設定されたＺＤＰを基準点として前記立体表示手段で立体画像を表示するための左右両眼画像の範囲をトリミングする立体表示範囲トリミング手段と、
前記立体表示範囲トリミング手段でトリミングされた左右画像を立体表示用の画像フォーマットに変換する画像フォーマット変換手段と、
前記立体表示範囲トリミング手段がトリミングする際に、トリミング範囲が所定の大きさよりも小さくなった時にユーザに警告を発する警告手段と、
を有することを特徴とする立体画像データ処理装置。
【請求項２】
撮影された左右両眼画像データからなる立体画像データを読み込む読込手段と、
前記読込手段で読み込まれた立体画像データから形成される左右両眼画像の傾きおよび位置ずれを補正する補正手段と、
前記補正手段により補正された左右両眼画像を立体表示手段で立体画像を表示する場合に両眼視差が無くなる点であるＺＤＰを設定するＺＤＰ設定手段と、
前記ＺＤＰ設定手段により設定されたＺＤＰを基準点として前記立体表示手段で立体画像を表示するための左右両眼画像の範囲をトリミングする立体表示範囲トリミング手段と、
前記立体表示範囲トリミング手段で指定された左右画像のトリミング範囲の少なくとも一方を左右方向に移動させて立体表示手段で表示される立体画像の立体感を調節する立体感調節手段と、
前記立体表示範囲トリミング手段でトリミングされ前記立体感調節手段により立体感を調節された左右画像を立体表示用の画像フォーマットに変換する画像フォーマット変換手段と、
を有することを特徴とする立体画像データ処理装置。
【請求項３】
前記立体感調整手段は、設定されたトリミング範囲の大きさに応じて長さが変わる立体感調整用のバーをＧＵＩとして備えたものであることを特徴とする請求項２に記載の立体画像データ処理装置。
【請求項４】
前記ＺＤＰ設定手段は、左右両眼画像のいずれか一方の画像でＺＤＰを設定すると他方の画像中から一方の画像で設定されたＺＤＰの近傍画像と類似する点を他方の画像のＺＤＰとして設定することを特徴とする請求項１〜３のいずれか１項に記載の立体画像データ処理装置。
【請求項５】
前記立体表示範囲トリミング手段は、左右両眼画像のいずれか一方の画像をトリミングすると他方の画像から一方の画像をトリミングした範囲の大きさとアスペクト比が同じとなる範囲をトリミングすることを特徴とする請求項１〜４にいずれか１項に記載の立体画像データ処理装置。
【請求項６】
立体表示手段の種類に対応した画像フォーマットを選択する画像フォーマット選択手段を有することを特徴とする請求項１〜５のいずれか１項に記載の立体画像データ処理装置。
【請求項７】
立体表示範囲トリミング手段は、前記画像フォーマット選択手段で選択された画像フォーマットに対応してトリミングする時のアスペクト比を固定することを特徴とする請求項６に記載の立体画像データ処理装置。
【請求項８】
立体表示範囲トリミング手段でトリミングされた左右画像を、平行法もしくは交差法で裸眼立体視可能に表示するプレビュー手段を有することを特徴とする請求項１〜７のいずれか１項に記載の立体画像データ処理装置。
【請求項９】
前記プレビュー手段は、立体表示範囲トリミング手段でトリミングされた左右画像を、ストライプ状に交互に合成してストライプ表示することを特徴とする請求項８に記載の立体画像データ処理装置。
【請求項１０】
前記プレビュー手段は、立体表示範囲トリミング手段でトリミングされた左右画像を、ストライプ状に交互に且つそれぞれ別の色でフィルタをかけて合成してストライプ表示することを特徴とする請求項８に記載の立体画像データ処理装置。
【請求項１１】
コンピュータを、
撮影された左右両眼画像データからなる立体画像データを読み込む読込手段と、
前記読込手段で読み込まれた立体画像データから形成される左右両眼画像の傾きおよび位置ずれを補正する補正手段と、
前記補正手段により補正された左右両眼画像を立体表示手段で立体画像を表示する場合に両眼視差が無くなる点であるＺＤＰを設定するＺＤＰ設定手段と、
前記ＺＤＰ設定手段により設定されたＺＤＰを基準点として立体表示手段で立体画像を表示するための左右両眼画像の範囲をトリミングする立体表示範囲トリミング手段と、
前記立体表示範囲トリミング手段でトリミングされた左右画像を立体表示用の画像フォーマットに変換する画像フォーマット変換手段と、
前記立体表示範囲トリミング手段がトリミングする際に、トリミング範囲が所定の大きさよりも小さくなった時にユーザに警告を発する警告手段、
として機能させるための立体画像データ処理用プログラム。
【請求項１２】
コンピュータを、
撮影された左右両眼画像データからなる立体画像データを読み込む読込手段と、
前記読込手段で読み込まれた立体画像データから形成される左右両眼画像の傾きおよび位置ずれを補正する補正手段と、
前記補正手段により補正された左右両眼画像を立体表示手段で立体画像を表示する場合に両眼視差が無くなる点であるＺＤＰを設定するＺＤＰ設定手段と、
前記ＺＤＰ設定手段により設定されたＺＤＰを基準点として立体表示手段で立体画像を表示するための左右両眼画像の範囲をトリミングする立体表示範囲トリミング手段と、
前記立体表示範囲トリミング手段で指定された左右画像のトリミング範囲の少なくとも一方を左右方向に移動させて立体表示手段で表示される立体画像の立体感を調節する立体感調節手段と、
前記立体表示範囲トリミング手段でトリミングされ前記立体感調節手段により立体感を調節された左右画像を立体表示用の画像フォーマットに変換する画像フォーマット変換手段、
として機能させるための立体画像データ処理用プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、立体画像データを処理する立体画像データ処理装置および立体画像データ処理用プログラムに関する。
【０００２】
【従来の技術】
従来から、左目と右目に異なる画像を表示することで、立体表示を可能とする３次元ディスプレイ（立体表示手段）について様々な研究がなされている。古くは、カメラのレンズの位置を調整し、人間の左目から見たことに相当する写真と、右目から見たことに相当する写真を並べて、それを双眼鏡型のアダプタを通して見る手法や、最近では、ビデオカメラと液晶シャッタを組み合わせることで、右目画像と左目画像を1フレームごと交互に録画し、再生時には液晶シャッタを２枚左右両眼のレンズの代わりに用いた眼鏡を使用し、交互に液晶シャッタをオン／オフすることで、立体表示を可能とする手法等がある。
【０００３】
また、通常のディスプレイの表面に、かまぼこ型のレンチキュラーレンズやスリット、縦縞模様を取り付け、表面のスリットや縦縞の幅に合わせて、左目画像と右目画像とを合成した画像を表示することで、眼鏡を使用せずに立体表示を可能とする３次元ディスプレイ（立体表示手段）の手法も研究されている。
【０００４】
眼鏡のあるなしに関わらず、一般的に３次元表示可能なディスプレイ上にて、立体写真を表示するためには、立体カメラや立体撮影可能なアダプタを用いて、左右両眼の２枚の画像を撮影する必要がある。ステレオ撮影するためのアダプタとしては、例えば、特開平１０−３２２７２５が提案されている。
【０００５】
ステレオアダプタを搭載して撮影された立体画像には、ステレオアダプタが写りこんでしまうという問題があるが、写りこんだステレオアダプタのけられ（影）を除去する発明としては、特開２００２−７７９４２号がある。しかし、以下に述べるように、単にステレオアダプタのけられを取り除くだけでは、良好に立体視できる画像にはならない。
【０００６】
【特許文献１】
特開平１０−３２２７２５号公報
【特許文献２】
特開２００１−３２０７３３号公報
【特許文献３】
特開２００２−７７９４２号公報
【０００７】
【発明が解決しようとする課題】
ステレオアダプタやステレオカメラを用いて立体写真を撮影する時に、ステレオカメラを傾けて撮影した場合やステレオアダプタが正確に位置決めされていない時に撮影後の画像を単純に合成してもステレオ視しにくいという問題がある。特に左右両眼画像で縦方向にずれが生じた場合には立体視しにくくなるため、ステレオアダプタをカメラに後付けするタイプのものでは、わずかな回転誤差でも問題が生じる。
【０００８】
また、撮影されたステレオペア画像を３次元ディスプレイに表示する時に、ステレオ画像中のどの点を３次元ディスプレイと同一平面にある点、つまり視差量の無い点(以下、Zero Disparity Plane（ＺＤＰ）とする)とするかで、立体感や立体視のし易さが変わるが、画像中のどの点をＺＤＰとするか決定することは困難である。
【０００９】
特開平１０−３２２７２５号では、ビデオカメラのファインダにガイドラインをつけることで上記の問題を解決しようとしているが、この方法では、撮影する時に人間がガイドラインにそって撮影対象の位置決めをする必要があるため使い勝手が良くない、液晶ファインダを持っていないカメラには搭載できない、既に撮影済みのステレオ写真を修正することができない、ＺＤＰを左右画像のそれぞれ中心に合わせて撮影するため自由な構図で撮影することが出来ないという問題点がある。
【００１０】
また、実際に撮影されたステレオ画像を、最終的に３次元ディスプレイで表示するためには、３次元ディスプレイで表示可能となるように、画像データのフォーマット変換やトリミング等の作業が必要になるが、これらの変換を従来では左右両眼画像に対しそれぞれ別途手作業で行っていたため、同じような作業を繰り返したり、トリミングするサイズを揃えたりすることが面倒であった。特開２００１−３２０７３３号では、ステレオペア画像を同時に編集する手段を提供しているが、ステレオ写真が撮影された時の左右両眼画像のずれを考慮していない。
【００１１】
本発明は、このような状況を鑑みてなされたもので、ステレオ撮影された左右両眼画像から左右両眼画像の傾きおよび位置ずれを補正し、また、左右両眼画像を同時に編集することで、ステレオ画像の補正と編集を容易にする手段を提供することを課題とする。
【００１２】
【課題を解決するための手段】
前述の課題を解決するため、本発明に係る立体画像データ処理装置および立体画像データ処理用プログラムは、次のような手段を採用する。
【００１３】
即ち、本発明の立体画像データ処理装置は、撮影された左右両眼画像データからなる立体画像データを読み込む読込手段と、
前記読込手段で読み込まれた立体画像データから形成される左右両眼画像の傾きおよび位置ずれを補正する補正手段と、前記補正手段により補正された左右両眼画像を立体表示手段で立体画像を表示する場合に両眼視差が無くなる点であるＺＤＰを設定するＺＤＰ設定手段と、前記ＺＤＰ設定手段により設定されたＺＤＰを基準点として前記立体表示手段で立体画像を表示するための左右両眼画像の範囲をトリミングする立体表示範囲トリミング手段と、前記立体表示範囲トリミング手段でトリミングされた左右画像を立体表示用の画像フォーマットに変換する画像フォーマット変換手段と、前記立体表示範囲トリミング手段がトリミングする際に、トリミング範囲が所定の大きさよりも小さくなった時にユーザに警告を発する警告手段と、を有することを特徴とする。
【００１４】
また、本発明の立体画像データ処理装置は、撮影された左右両眼画像データからなる立体画像データを読み込む読込手段と、前記読込手段で読み込まれた立体画像データから形成される左右両眼画像の傾きおよび位置ずれを補正する補正手段と、前記補正手段により補正された左右両眼画像を立体表示手段で立体画像を表示する場合に両眼視差が無くなる点であるＺＤＰを設定するＺＤＰ設定手段と、前記ＺＤＰ設定手段により設定されたＺＤＰを基準点として前記立体表示手段で立体画像を表示するための左右両眼画像の範囲をトリミングする立体表示範囲トリミング手段と、前記立体表示範囲トリミング手段で指定された左右画像のトリミング範囲の少なくとも一方を左右方向に移動させて立体表示手段で表示される立体画像の立体感を調節する立体感調節手段と、前記立体表示範囲トリミング手段でトリミングされ前記立体感調節手段により立体感を調節された左右画像を立体表示用の画像フォーマットに変換する画像フォーマット変換手段と、を有することを特徴とする。
【００１５】
また、本発明の立体画像データ処理装置は、前記立体感調整手段は、設定されたトリミング範囲の大きさに応じて長さが変わる立体感調整用のバーをＧＵＩとして備えたものであることを特徴とする。
【００１８】
また、本発明の立体画像データ処理装置は、前記ＺＤＰ設定手段は、左右両眼画像のいずれか一方の画像でＺＤＰを設定すると他方の画像中から一方の画像で設定されたＺＤＰの近傍画像と類似する点を他方の画像のＺＤＰとして設定することを特徴とする。
【００２０】
また、本発明の立体画像データ処理装置は、前記立体表示範囲トリミング手段は、左右両眼画像のいずれか一方の画像をトリミングすると他方の画像から一方の画像をトリミングした範囲の大きさとアスペクト比が同じとなる範囲をトリミングすることを特徴とする。
【００２３】
また、本発明の立体画像データ処理装置は、立体表示手段の種類に対応した画像フォーマットを選択する画像フォーマット選択手段を有することを特徴とする。
【００２４】
また、本発明の立体画像データ処理装置は、立体表示範囲トリミング手段は、前記画像フォーマット選択手段で選択された画像フォーマットに対応してトリミングする時のアスペクト比を固定することを特徴とする。
【００２７】
また、本発明の立体画像データ処理装置は、立体表示範囲トリミング手段でトリミングされた左右画像を、平行法もしくは交差法で裸眼立体視可能に表示するプレビュー手段を有することを特徴とする。
【００３３】
また、本発明の立体画像データ処理装置は、前記プレビュー手段は、立体表示範囲トリミング手段でトリミングされた左右画像を、ストライプ状に交互に合成してストライプ表示することを特徴する。
【００３４】
また、本発明の立体画像データ処理装置は、前記プレビュー手段は、立体表示範囲トリミング手段でトリミングされた左右画像を、ストライプ状に交互に且つそれぞれ別の色でフィルタをかけて合成してストライプ表示することを特徴する。
【００３６】
また、本発明のコンピュータによって実行される立体画像データ処理用プログラムは、コンピュータを、撮影された左右両眼画像データからなる立体画像データを読み込む読込手段と、前記読込手段で読み込まれた立体画像データから形成される左右両眼画像の傾きおよび位置ずれを補正する補正手段と、前記補正手段により補正された左右両眼画像を立体表示手段で立体画像を表示する場合に両眼視差が無くなる点であるＺＤＰを設定するＺＤＰ設定手段と、前記ＺＤＰ設定手段により設定されたＺＤＰを基準点として立体表示手段で立体画像を表示するための左右両眼画像の範囲をトリミングする立体表示範囲トリミング手段と、前記立体表示範囲トリミング手段でトリミングされた左右画像を立体表示用の画像フォーマットに変換する画像フォーマット変換手段と、前記立体表示範囲トリミング手段がトリミングする際に、トリミング範囲が所定の大きさよりも小さくなった時にユーザに警告を発する警告手段、として機能させることを特徴とする。
【００３９】
また、本発明のコンピュータによって実行される立体画像データ処理用プログラムは、  コンピュータを、撮影された左右両眼画像データからなる立体画像データを読み込む読込手段と、前記読込手段で読み込まれた立体画像データから形成される左右両眼画像の傾きおよび位置ずれを補正する補正手段と、前記補正手段により補正された左右両眼画像を立体表示手段で立体画像を表示する場合に両眼視差が無くなる点であるＺＤＰを設定するＺＤＰ設定手段と、前記ＺＤＰ設定手段により設定されたＺＤＰを基準点として立体表示手段で立体画像を表示するための左右両眼画像の範囲をトリミングする立体表示範囲トリミング手段と、前記立体表示範囲トリミング手段で指定された左右画像のトリミング範囲の少なくとも一方を左右方向に移動させて立体表示手段で表示される立体画像の立体感を調節する立体感調節手段と、前記立体表示範囲トリミング手段でトリミングされ前記立体感調節手段により立体感を調節された左右画像を立体表示用の画像フォーマットに変換する画像フォーマット変換手段、として機能させることを特徴とする。
【００４０】
【発明の実施の形態】
以下、本発明に係る立体画像データ処理装置の第一の実施の形態を図面に基づいて説明する。
図１は、本発明に係る立体画像データ処理装置１００の構成を示すブロック図である。
立体画像データ処理装置１００は、左右分割部１、第一トリミング部２（画像範囲トリミング手段）、傾き及び位置補正部３（補正手段）、ＺＤＰ設定部４（ＺＤＰ設定手段）、第二トリミング部５（立体表示範囲トリミング手段）、フォーマット変換部６（画像フォーマット変換手段）、飛び出し量調整部７（立体感調節手段）、プレビュー部８（プレビュー手段）、主制御部９およびユーザ入力部１０から概略構成されている。
【００４１】
図２は、図１の立体画像データ処理装置１００のプレビュー部８の詳細を示すブロック図である。
プレビュー部８は、ディスプレイ情報取得部１１、プレビュー画像生成部１２、表示法選択部１３およびプレビュー画像表示部１４から概略構成されている。
【００４２】
図３は、立体画像データ処理装置１００におけるの処理の流れを示すフローチャートである。
なお、本実施の形態の立体画像データ処理装置１００は、例えば、ディスプレイに表示されるパソコン用ＯＳ上で動作するＧＵＩ画面によって操作される。
なお、本発明の係る立体画像処理用プログラムは、例えば、パソコンにインストールされる。そして、本発明に係る立体画像処理用プログラムがインストールされたパソコンは本実施の形態の立体画像データ処理装置１００として動作する。
【００４３】
最初に、ステレオ（立体撮影）カメラまたはステレオ（立体撮影用）アダプタを搭載したカメラにてステレオ撮影された左右両眼画像データからなる立体画像データを読み込む（ステップＳ１）（読込手段）。
なお、図１０に示すように、使用するステレオアダプタによっては、ステレオアダプタ枠４０（ステレオアダプタのけられ（影））が撮影画像に映りこんでいる場合がある。
【００４４】
次いで、左右分割部１にて、撮影された立体画像データから形成される画像を中心で左右に分割して、それぞれを左眼画像および右眼画像として表示手段（例えば、ＧＵＩ画面上）に表示する（ステップＳ２）。
なお、ステレオカメラやステレオアダプタを搭載したカメラを使用せずに、左右２台のカメラを並べてステレオ撮影する場合には、左右両眼画像は別画像であるため、ステップＳ２の処理は省略する。この場合には、左右２台のカメラの左右両眼画像データをそれぞれ読み込む。
【００４５】
そして、第一トリミング部２にて、左眼画像および右眼画像から、ステレオアダプタのけられ（影）を除去する（ステップＳ３）。図５は、ステップＳ３におけるＧＵＩ画面を示す図である。左右それぞれの画像の左下を基準として、左眼画像２０は、(x1,y1)-(x2,y2)がトリミング範囲（補正範囲）であって、右眼画像２１は、(x3,y3)-(x4,y4)がトリミング範囲（補正範囲）である。トリミング範囲は、マウスやキーボード等で自由に変更することができるようにしてもよいし、デフォルト値を設定するようにしてもよい。トリミングする際には、左右両眼画像のトリミング範囲の大きさとアスペクト比を一定とする。これは、
x2-x1 = x4-x3
y2-y1 = y4-y3
という拘束条件を設けて、(x1,y1)が変更されると(x3,y3)が、(x2,y2)が変更されると(x4,y4)が、(x3,y3)が変更されると(x1,y1)が、(x4,y4)が変更されると(x2,y2)が上記拘束条件によって自動的に変更されるようにすることによって実現される。これによって、左右両眼画像の一方の画像をトリミングすると他方の画像から一方の画像をトリミングした範囲の大きさとアスペクト比が同じとなる範囲を自動的にトリミングすることができる。
また、ユーザがトリミング範囲を変更した時は、一連の処理が終了した時に前記トリミング範囲を記録して、新たに起動（立体画像データ処理装置１００の起動または立体画像データ処理用プログラムの起動）するときに、前記トリミング範囲をデフォルト値とするようにしてもよい。
また、左右それぞれの画像の縦横サイズに所定の比率（例えば、０．８）をかけた範囲をデフォルト値として自動的にトリミングするようにしても良い。
【００４６】
次いで、図５に示す「補正開始」のボタン２２を押すことによって、傾き及び位置補正部３にて、補正範囲における左右両眼画像の傾きおよび位置ずれを補正する（ステップＳ４）。
例えば、左右両眼画像中から、色やテクスチャが類似しているおよそ１００点程度を特徴点として選択し、それぞれの特徴点の組から左右両眼画像の回転方向および上下方向のずれを計算し、撮影画像が撮影されたときのカメラの位置を推定して、推定されたカメラの位置に基づいて、左右両眼画像を移動、回転およびワーピング処理することによって、撮影時の左右両眼画像の傾きおよび位置ずれが補正される。
なお、補正処理は計算時間がかかるため、補正が不必要なときはステップＳ４は省略してもよい。
【００４７】
そして、補正された立体画像データを出力するときの画像フォーマット（出力フォーマット）を選択する（ステップＳ５）。図６は、ステップＳ５におけるＧＵＩ画面を示す図である。画像フォーマットは、予め登録されている画像フォーマット２３（例えば、ｆｏｒｍａｔＡ、ｆｏｒｍａｔＢおよびｆｏｒｍａｔＣ）の中から選択される。この場合において、例えば、ｆｏｒｍａｔＡが選択されると、最終的に出力される画像は図１１に示す画像となる。ここで、画像フォーマットとは、この補正ソフトで補正された画像を最終的に表示するためのデバイス情報のことであり、例えばデバイスの解像度やデバイスが取り扱うことが出来るファイルの上限値、左右両眼画像の格納方法等が規定されている。
【００４８】
次いで、最終的に出力される画像を３次元ディスプレイ（立体表示手段）に表示した時に、ディスプレイから飛び出しも引っ込みもしない点（左右両眼画像の両眼視差が無くなる点（ＺＤＰ））を、ＺＤＰ設定部４で設定する（ステップＳ６）。
図６は、ステップＳ６におけるＧＵＩ画面を示す図である（ステップＳ５と同じ画面）。補正済み左右両眼画像表示領域２５、２６の内左右どちらか一方の画像からＺＤＰとしたい点を選択すると、選択した点を中心とした近傍と類似画像の領域を他方の画像中から輝度情報等を利用して探索し、探索された範囲の中心の点を一方のＺＤＰの対応点である他方のＺＤＰとする。左右それぞれの画像の左下を基準として、左眼画像のＺＤＰの座標を(zlx,zly)、右眼画像のＺＤＰの座標を(zrx,zry)とする。そして、(zlx,zly)と(zrx,zry)の左右それぞれの画像に対する位置の差が予め設定された値を超えた時には警告を発する。また、他方のＺＤＰが探索できなかった場合にも同様に警告を発する。
【００４９】
そして、第二トリミング部５にて、左右両眼画像から最終的に出力する画像範囲をＺＤＰを基準点としてトリミングする（ステップＳ７）。左右両眼画像の一方の画像をトリミングすると他方の画像から一方の画像でトリミングした範囲の大きさおよびアスペクト比と同じとなる範囲が自動的にトリミングされる。これは、
zlx-lx1 = zrx-rx1
zly-ly1 = zry-ry1
zlx-lx2 = zrx-rx2
zly-ly2 = zry-ry2
の拘束条件を設定することによって実現される。また、ステップＳ５において選択された画像フォーマットの画像の幅がＷで高さがＨであるときに、出力される画像とアスペクト比（Ｗ／Ｈ）が一定となるように、拘束条件
(lx1-lx2) / (ly1-ly2) =Ｗ/Ｈ
(rx1-rx2) / (ry1-ry2) =Ｗ/Ｈ
を設定する。
また、予め定められた大きさでトリミング範囲が初期値として設定されている場合には、この初期値は、トリミング範囲が最大となる上記拘束条件を満たす値に設定される。
【００５０】
次いで、飛び出し量調整部７にて、立体表示手段で表示される立体画像の飛び出し量を、飛び出し量調整バー２４（図６参照）を左右方向に動かし、左右画像のトリミング範囲の少なくとも一方の画像を左右方向に移動させることによって、左右画像の視差量を調節する（ステップＳ８）。
例えば、山を背景に人を撮影した場合、人と山との間でＺＤＰを指定したい場合、左右両眼画像のＺＤＰを設定する際にＺＤＰとして識別可能な画像がないために直接指定することができない。そこで、人や山をＺＤＰと指定した後に飛び出し量調整バー２４を動かし、一方の画像（例えば、右画像）のトリミング範囲を、左右方向に飛び出し量調整バー２４で指定された距離だけ動かすことによって、人と山との間をＺＤＰとすることができるようになる。なお、左画像のトリミング範囲を固定する代わりに、右画像のトリミング範囲を固定して左画像のトリミング範囲を動かすようにしてもよいし、両方の画像のトリミング範囲を同時に左右逆方向に動かしてもよい。また、ステップＳ８の処理は省略してもよい。なお、飛び出し量の調整は、キーボードの左右カーソルキーやスクロール付きマウスのスクロール機能によっても調節可能であって、ＧＵＩ画面のスクロールバーの操作に限定するものではない。
【００５１】
なお、ステップＳ７もしくはステップＳ８において、図６の「プレビュー」ボタン２７を押すと、第二トリミング部５でトリミングしたトリミング範囲である左右画像を別個に設けられた表示手段でプレビューとして表示される（プレビュー部８）。プレビュー部８は最終的に出力される画像が３次元ディスプレイ（立体表示手段）でどのように見えるかを通常の２次元ディスプレイで擬似表示するものである。また、このプレビューに関する処理は省略してもよい。
【００５２】
ここで、プレビュー部８での処理について説明する。
最初に、プレビュー画像生成部１２に第二トリミング部５でトリミングしたトリミング範囲である左右画像を読み込む（ステップＳ２０）、次いで、表示法選択部１３にて、プレビュー表示する時のフォーマットを選択する（ステップＳ２１）。そして、ディスプレイ情報取得部１１にて、表示するディスプレイ情報を読み込む（ステップＳ２２）。次いで、プレビュー画像生成部１２にてプレビュー表示用の画像を生成する（ステップＳ２３）。そして、プレビュー画像表示部１４にて表示する（ステップ２４）。
【００５３】
プレビュー表示では、表示法である平行法や交差法が選択された時は、裸眼立体視できるように図７（ａ）や（ｂ）のように左右画像３０、３１が左右に並べて配置される。裸眼立体視は慣れていない人にとって困難なため、裸眼立体視用に左右画像３０、３１を表示する時に、左右画像３０、３１にそれぞれ同一の枠画像３２を付加することで、対応点を見つけやすく立体視することを容易にすることができる。これはまた、裸眼立体視した時に、画面から飛び出しも引っ込みもしないＺＤＰとしての役割を果たすこととなる。
【００５４】
平行法で表示する時には、図９に示すようにユーザの両眼間隔ｄよりも、画面表示した時の両眼画像の間隔Ｌを狭くする必要がある。これは、人間の目は内側を向くことはできるが、外側を向くことができないためである。プレビュー画像表示部１４で、ある画像サイズの画像を表示する場合、表示に用いるディスプレイサイズやディスプレイ解像度によっては、実際にディスプレイに表示された時の物理的な大きさが変わるため、ディスプレイ情報（ディスプレイサイズおよびディスプレイ解像度）に応じてプレビュー表示するときの画面の大きさを変更するようにして、上記で説明した平行法で表示した時に立体視が不可能になる状況（ｄ＜Ｌ）を回避することができる。
【００５５】
また、左右画像を交互にストライプ上に合成して、アナグリフ表示することによって、裸眼立体視が苦手な人でも、最終的に出力される立体画像データから形成される立体画像を認識することができる。これは、図７（ｃ）を例に説明すると、背景の山の画像は左右両眼３０、３１で視差が付いているため二重に表示されているが、人間には視差が付いていないことから、最終的に出力される画像を３Ｄディスプレイ（立体表示手段）に表示した時に、人間はディスプレイと同一平面に表示され、背景の山はディスプレイよりも奥まって表示されると推測することができるということである。
【００５６】
また、アナグリフ表示するときに、左右画像３０、３１にそれぞれ赤と青のフィルタ処理を行い、表示された赤青のストライプ画像を、ユーザが赤青メガネをかけて観察することによって立体視することができるようになる。
【００５７】
図７および図８は、プレビュー表示の画面例を示す図である。図７の例は、（ａ）に平行法表示、（ｂ）に交差法表示、（ｃ）にアナグリフ表示をしたものである。図７では、表示方法の切り換えを３種類のボタン３３中から選択するようにしている。図８の例は、（ａ）に平行法表示、（ｂ）に交差法表示をしたものである。表示方法の切り換えは画面下部の表示切り換え用トグルバー３４をクリックすることで、平行法と交差法の表示を交互に切り換える。これは、裸眼立体視をしている時は目の焦点が通常とは違っており、この状態でＧＵＩの操作をすることが困難であるため、表示切り換え用トグルバー３４の上にマウスカーソルを置いておき、マウスを動かさずに同じ場所をクリックすることで、裸眼立体視をしている時に交差法と平行法の切り換えが視点を動かすことなしに行えるようにするためである。なお、トグルバーの代わりに画面のどこかをクリックすると表示が切り替わるようにしてもよい。裸眼立体視に慣れていないユーザには図８の例のプレビュー表示の方が便利である。
【００５８】
また、プレビュー画面は、飛び出し量調整部７にて調節された飛び出し量に応じて直ちに更新される。飛び出し量の調節は、図６の飛び出し量調整バー２４を直接マウスで動かす方法だけではなく、キーボードの左右カーソルキーやスクロールボタン付きマウスのスクロールボタン操作によっても可能で、プレビュー画面上で裸眼立体視を行っているときに、視点を動かすことなしに飛び出し量を調節することが可能である。
【００５９】
そして、図３に戻って、最終的に出力される画像としてよいか否かを判断する（ステップＳ９）。なお、ステップＳ９でＮＯの場合には、ステップＳ６に戻る。
【００６０】
次いで、ステップＳ９でＹＥＳの場合には、図６の「保存」ボタン２８を押すことによって、フォーマット変換部６にて、ステップＳ５で選択された画像フォーマットで、ステップＳ７でトリミングされた範囲の左右画像を最終的に立体画像データとして出力する（ステップＳ１０）。最終的に出力される画像は、例えば、図１１に示すように左右画像をそれぞれ横方向に半分に縮小し並べている。トリミングされた範囲の大きさと、最終的に出力される画像の大きさは異なってもよく、トリミングされた範囲の画像の拡大または縮小によって所定の大きさにする。このとき、ステップＳ７でトリミングする時のアスペクト比は、出力する画像フォーマットと同じになっているため、画像を拡大または縮小してもアスペクト比が変わるという不具合が生じることはない。
【００６１】
次に本発明の第二の実施の形態を説明する。第二の実施の形態は、第一の実施の形態の改良であり、改良点の一部、もしくは全てを第一の実施の形態に付加することが可能である。第二の実施の形態では、第一の実施の形態と同様に左右分割部１、第一トリミング部２（画像範囲トリミング手段）、傾き及び位置補正部３（補正手段）、ＺＤＰ設定部４（ＺＤＰ設定手段）、第二トリミング部５（立体表示範囲トリミング手段）、フォーマット変換部６（画像フォーマット変換手段）、飛び出し量調整部７（立体感調節手段）、プレビュー部８（プレビュー手段）、主制御部９およびユーザ入力部１０から概略構成されている。第二の実施の形態の処理の流れを、図１２のフローチャートを用いて説明する。
【００６２】
まず、ステップＳ３１では、ステップＳ１と同様に立体画像データを読み込み、ステップＳ３２では、ステップＳ２と同様に読み込まれた画像を中心で左右に分割して、それぞれを左眼画像および右眼画像として表示手段に表示する。次に、ステップＳ３３では、ステップＳ５と同様に出力フォーマットを選択する。第一の実施例では、出力フォーマット選択部２３が立体表示範囲をトリミングするＧＵＩ上に配置されていたが、第二の実際例では、図１３のように補正範囲をトリミングするＧＵＩ上に配置する。
【００６３】
ステップＳ３４では、ステップＳ３と同様に、第一トリミング部２にて、左眼画像および右眼画像から、ステレオアダプタのけられを除去する。この時、図１４に示すようにトリミング範囲が所定の大きさ(例として出力フォーマットの画像サイズ)以下になった時には、トリミング範囲を表す枠の色の変更により、ユーザに注意を促す。これは、最終的に出力するサイズよりもトリミング範囲が小さい時は、傾き補正処理後の画像サイズも出力する画像サイズよりも小さくなるため、出力時にトリミング範囲を拡大処理する必要があり、画像が劣化するためである。枠の色の変更以外にも、枠に囲まれた範囲の画像の色の変更や、枠の点滅、ウィンドウ下部に文字にて表示する５２等でも同様の効果があり、これらの機能を組み合わせても良い。また、補正開始ボタン２２が押されるとアラートボックス５３を表示し、補正処理に進まないようにしてもよい。
【００６４】
ステップＳ３５ではステップＳ４と同様に撮影画像の傾き及び位置補正を行うが、入力画像が撮影された時のカメラの焦点距離情報を利用することで、より精度の高い補正が可能である。そこで、撮影画像に撮影時に使用したレンズの焦点距離情報が付加されていた場合に補正処理に利用できる。例えばデジタルカメラ用の画像形式として、撮影画像に撮影条件を記録可能とするJPEG-EXIF形式が広く使用されており、撮影時のシャッタースピードや感度、レンズの焦点距離等の情報を画像ファイル内に格納することができる。しかし、カメラにステレオアダプタを付加した影響により、画像ファイルに付加されている焦点距離情報をそのまま使用するよりも、ユーザが明示的に焦点距離情報を入力した方が補正の効果が高い場合や、入力画像として撮影時の焦点距離情報が付加されていない画像形式を用いる時に、ユーザが焦点距離情報をプログラム実行時に入力可能とするために、図１３のように補正範囲をトリミングするGUI上にチェックボックスおよび焦点距離入力欄５１を備えることで、両手法を切り換えて使用可能とする。
【００６５】
ステップＳ３６ではステップＳ６と同様にＺＤＰを指定し、ステップＳ３７ではステップＳ７と同様に最終的に出力する範囲をトリミングする。この時、ステップＳ３４と同様にトリミング範囲が所定の大きさ（例として出力フォーマットの画像サイズ)以下になった時には、トリミング範囲を表す枠の色の変更により、ユーザに注意を促す。これは、最終的に出力するサイズよりもトリミング範囲が小さい時は、トリミング範囲を拡大処理する必要があるために画像が劣化するため、トリミング範囲を出力サイズよりも大きくした方が望ましいからである。ステップＳ３４と同様に、枠の色の変更以外にも、枠に囲まれた範囲の画像の色の変更や、枠の点滅、ウィンドウ下部に文字にて表示する等でも同様の効果があり、これらの機能を組み合わせても良い。また、保存ボタン２２が押されるとアラートボックスを表示し、トリミング範囲の保存をできないようにしてもよい。
【００６６】
ステップＳ３８ではステップＳ８と同様に、トリミングエリアを変更することで視差量調節が可能となるが、トリミング範囲の大きさによって調節できる範囲が決定される。具体的に左画像のトリミング範囲を(lx1,ly1)-(lx2,ly2)、右画像のトリミング範囲を(rx1,ry1)-(rx2,ry2)として説明する。立体画像を全体的に手前に飛び出させる時は、左画像のトリミング範囲を左に動かすと同時に右画像のトリミング範囲を右に動かし、全体的に奥に引っ込める時は、左画像のトリミング範囲を右に動かすと同時に右画像のトリミング範囲を左に動かす必要がある。
【００６７】
ここで、元画像の大きさを、width,heightとすると、飛び出し量の調節範囲dは、
-min(rx1,width-lx2) < d < min(lx1,width-rx2)
で決定される。この制限以上に飛び出し量を変更しようとした場合、元画像からトリミング範囲がはみ出てしまう。そこで、GUI上に表示される視差量調節バー５４の最大の長さLを、最大の長さをL＿MAXとした時に、
L= L＿MAX/ (min(x1,width-x4) + min(x1,width-x4)+1)
と決定し、トリミング範囲の大きさに応じて長さＬを変更してGUI上に表示することで、飛び出し量の変更可能な範囲を直感的に理解することができる。
【００６８】
図１８のようにトリミング範囲の幅が元画像の幅と等しい時は、視差量調整バーは最大の大きさL＿MAXとなり、視差量調整バーをGUI上で左右に動かすことができなくなる。図１５のようにトリミング範囲が小さければ、視差量調整バーが短くなり、GUI上で動かせる範囲が大きくなるため、図１６や図１７のように、飛び出し量を大きく調整することができる。
【００６９】
ステップＳ３７もしくはＳ３８において、図１５の「プレビュー」ボタン２７を押すと、実施例1と同様にプレビュー表示がなされる。トリミング範囲を調整して所望の結果が得られれば、図１５の保存ボタン２８を押すと、ステップＳ４０にて、ステップＳ３７でトリミングされた範囲の左右画像を、ステップＳ３３で選択された画像フォーマットにフォーマット変換部６で変換し、最終的に立体画像データとして出力する。
【００７０】
【発明の効果】
以上のように、本発明によれば、読込手段によって撮影された左右両眼画像データからなる立体画像データが読み込まれ、読込手段で読み込まれた立体画像データから形成される左右両眼画像が、補正手段によってその傾きおよび位置ずれが補正され、立体表示範囲トリミング手段によって立体表示手段で表示する範囲がトリミングされ、補正されおよびトリミングされた範囲がその後に画像フォーマット変換手段によって所定の立体表示手段で表示可能な画像フォーマットに変換されて立体画像データとして出力される。これによって、立体画像データの読み込みから、左右両眼画像の傾きおよび位置ずれの補正、立体表示範囲のトリミングおよび所定の画像フォーマットへの変換が一連の操作で行うことができる効果がある。
【００７１】
また、本発明によれば、左右両眼画像のＺＤＰが自動的に設定される。これによって、ユーザがＺＤＰを設定する必要がなくなって、ＺＤＰの設定が容易となる効果がある。
【００７２】
また、本発明によれば、左右両眼画像の一方の画像でＺＤＰを設定すると自動的に他方の画像のＺＤＰが設定される。これによって、左右両眼画像のそれぞれのＺＤＰの設定が容易となる効果がある。
【００７５】
また、本発明によれば、ＺＤＰを基準点として左右両眼画像がトリミングされる。これによって、立体表示手段で表示される立体画像の範囲をＺＤＰが基準点となる範囲とすることができる効果がある。
【００７７】
また、本発明によれば、左右両眼画像のいずれか一方の画像がトリミングされると他方の画像から一方の画像をトリミングした範囲の大きさとアスペクト比が同じとなる範囲が自動的にトリミングされる。これによって、左右両眼画像からトリミングする範囲が左右で異なることがなくなって、立体表示手段で表示される立体画像を良好なものにすることができる効果がある。
【００７８】
また、本発明によれば、トリミングした範囲の大きさが所定の大きさ以下になった時にユーザに警告することで、トリミング範囲が小さすぎるために補正処理が出来なくなることを回避し、また、補正後の画像をトリミングして保存する時に画質の劣化を防止する効果がある。
【００８０】
また、本発明によれば、画像フォーマット選択手段によって立体表示手段の種類に対応した画像フォーマットが選択される。これによって、立体表示手段の種類に応じた立体画像データを出力することができる効果がある。
【００８１】
また、本発明によれば、画像フォーマット選択手段で選択された画像フォーマットに対応してトリミングする時のアスペクト比が固定される。これによって、立体表示手段の種類に応じた左右両眼画像の範囲を容易にトリミングすることができる効果がある。
【００８２】
また、本発明によれば、立体感調節手段によってＺＤＰを設定した後に立体表示範囲トリミング手段で指定された左右画像のトリミング範囲の少なくとも一方が左右方向に移動されて立体表示手段で表示される立体画像の立体感が調節される。これによって、立体表示手段で表示する立体画像の立体感を調節することができる効果がある。
【００８３】
また、本発明によれば、立体感の調節に、トリミング範囲の大きさに応じて長さが変化する調節用のバーを使用することで、立体感を調節する範囲をユーザにわかり易く提示する効果がある。
【００９０】
また、本発明によれば、プレビュー手段は、左右画像がストライプ状に交互に合成されてストライプ表示される。これによって、プレビュー画面上の視差のある部分の大小から判断して立体表示手段で表示される立体画像の立体感を立体画像データの出力前に確認することができる効果がある。
【００９１】
また、本発明によれば、プレビュー手段は、左右画像がストライプ状に交互にそれぞれ別の色でフィルタをかけて合成されてストライプ表示される。これによって、ユーザがフィルタ色に対応したメガネをかけることによって立体視することができて立体表示手段で表示される立体画像の立体感を立体画像データの出力前に確認することができる効果がある。
【００９２】
また、本発明によれば、プレビュー手段は、平行法、交差法またはストライプ表示のいずれかを切り替え表示可能である。これによって、ユーザの所望する表示法を選択することができる効果がある。
【図面の簡単な説明】
【図１】本発明に係る立体画像データ処理装置の構成を示すブロック図である。
【図２】図１の立体画像データ処理装置のプレビュー部の詳細を示すブロック図である。
【図３】図１の立体画像データ処理装置の処理の流れを示す第一の実施の形態のフローチャートである。
【図４】図２のプレビュー部の処理の流れを示すフローチャートである。
【図５】第一の実施の形態の補正範囲をトリミングするＧＵＩ画面を示す図である。
【図６】第一の実施の形態の立体表示範囲をトリミング等するＧＵＩ画面を示す図である。
【図７】プレビュー画面を示す図である。
【図８】プレビュー画面を示す図である。
【図９】プレビュー画面の幅と両眼間隔との関係を示す図である。
【図１０】ステレオアダプタ枠を示す図である。
【図１１】出力画像を示す図である。
【図１２】第二の実施の形態の処理の流れを示すフローチャートである。
【図１３】第二の実施の形態の補正範囲をトリミングするＧＵＩ画面を示す図である。
【図１４】第二の実施の形態で補正範囲が小さい時に警告を発する時のＧＵＩ画面を示す図である。
【図１５】第二の実施の形態の立体表示範囲をトリミング等するＧＵＩ画面を示す図である。
【図１６】第二の実施の形態でトリミング範囲が小さい時に、トリミング範囲全体を手前に飛び出させる時のＧＵＩ画面を示す図である。
【図１７】第二の実施の形態でトリミング範囲が小さい時に、トリミング範囲全体を奥に引っ込める時のＧＵＩ画面を示す図である。
【図１８】第二の実施の形態でトリミング範囲が大きい時に、飛び出し量の調整が不可である時のＧＵＩ画面を示す図である。
【符号の説明】
１      左右分割部
２      第一トリミング部
３      傾き及び位置補正部
４      ＺＤＰ設定部
５      第二トリミング部
６      フォーマット変換部
７      飛び出し量調整部
８      プレビュー部
９      主制御部
１０    ユーザ入力部
１１    ディスプレイ情報取得部
１２    プレビュー画像生成部
１３    表示法選択部
１４    プレビュー画像表示部
【図１】
0004225768.tif 000002
【図２】
0004225768.tif 000003
【図３】
0004225768.tif 000004
【図４】
0004225768.tif 000005
【図５】
0004225768.tif 000006
【図６】
0004225768.tif 000007
【図７】
0004225768.tif 000008
【図８】
0004225768.tif 000009
【図９】
0004225768.tif 000010
【図１０】
0004225768.tif 000011
【図１１】
0004225768.tif 000012
【図１２】
0004225768.tif 000013
【図１３】
0004225768.tif 000014
【図１４】
0004225768.tif 000015
【図１５】
0004225768.tif 000016
【図１６】
0004225768.tif 000017
【図１７】
0004225768.tif 000018
【図１８】
0004225768.tif 000019