(57)【特許請求の範囲】
【請求項１】
複数の視点画像が並んだ一枚の立体視用統合画像を画像処理装置により生成する立体画像処理方法であって、オリジナルの立体視用統合画像の水平サイズ及び垂直サイズをそれぞれＨ及びＶとし、前記立体視用統合画像を内包する加工画像の水平サイズ及び垂直サイズをそれぞれＨ１及びＶ１とし、Ｖ／Ｈ≧２／３の条件を満たさない場合には、前記画像処理装置によりΔＶ＝２×Ｈ／３−Ｖの演算処理を行い、且つ、Ｖ１＞Ｖの条件を満足するように、前記画像処理装置が記憶手段を用いて前記オリジナルの立体視用統合画像の上下に任意色及び任意模様の少なくとも一つからなる垂直サイズが合計で前記ΔＶ以内のパディング領域を付加して前記加工画像を得ることを特徴とする立体画像処理方法。
【請求項２】
複数の視点画像が並んだ一枚の立体視用統合画像を画像処理装置により生成する立体画像処理方法であって、オリジナルの立体視用統合画像の水平サイズ及び垂直サイズをそれぞれＨ及びＶとし、前記立体視用統合画像を内包する加工画像の水平サイズ及び垂直サイズをそれぞれＨ１及びＶ１とし、Ｖ／Ｈ≧２／３の条件を満たさない場合には、前記画像処理装置によりΔＶ＝２×Ｈ／３−Ｖの演算処理を行い、前記画像処理装置が記憶手段を用いて前記オリジナルの立体視用統合画像の上下に任意色及び任意模様の少なくとも一つからなる垂直サイズが合計で前記ΔＶ以内のパディング領域を付加して前記加工画像を得ることを特徴とする立体画像処理方法。
【請求項３】
請求項１又は請求項２に記載の立体画像処理方法において、前記複数の視点画像が並んだ一枚の立体視用統合画像は、１組の右視点画像と左視点画像とが互いに横方向に並んだ一枚の立体視用統合画像であることを特徴とする立体画像処理方法。
【請求項４】
請求項１乃至請求項３のいずれかに記載の立体画像処理方法において、前記パディング領域が付加された前記加工画像の前記Ｖ１とＨ１の比率はプリント台紙の縦横比率と同一であることを特徴とする立体画像処理方法。
【請求項５】
請求項１乃至請求項３のいずれかに記載の立体画像処理方法において、前記パディング領域が付加された前記加工画像の前記Ｖ１とＨ１の比率はディスプレイの縦横比率と同一であることを特徴とする立体画像処理方法。
【請求項６】
複数の視点画像が並んだ一枚の立体視用統合画像を生成する立体画像処理装置であって、オリジナルの立体視用統合画像の水平サイズ及び垂直サイズをそれぞれＨ及びＶとし、前記立体視用統合画像を内包する加工画像の水平サイズ及び垂直サイズをそれぞれＨ１及びＶ１とし、Ｖ／Ｈ≧２／３の条件を満たさない場合には、ΔＶ＝２×Ｈ／３−Ｖの演算処理を行い、且つ、Ｖ１＞Ｖの条件を満足するように、前記オリジナルの立体視用統合画像の上下に任意色及び任意模様の少なくとも一つからなる垂直サイズが合計で前記ΔＶ以内のパディング領域を付加して前記加工画像を得る手段を備えたことを特徴とする立体画像処理装置。
【請求項７】
複数の視点画像が並んだ一枚の立体視用統合画像を生成する立体画像処理装置であって、オリジナルの立体視用統合画像の水平サイズ及び垂直サイズをそれぞれＨ及びＶとし、前記立体視用統合画像を内包する加工画像の水平サイズ及び垂直サイズをそれぞれＨ１及びＶ１とし、Ｖ／Ｈ≧２／３の条件を満たさない場合には、ΔＶ＝２×Ｈ／３−Ｖの演算処理を行い、前記オリジナルの立体視用統合画像の上下に任意色及び任意模様の少なくとも一つからなる垂直サイズが合計で前記ΔＶ以内のパディング領域を付加して前記加工画像を得る手段を備えたことを特徴とする立体画像処理装置。
【請求項８】
請求項６又は請求項７に記載の立体画像処理装置において、前記複数の視点画像が並んだ一枚の立体視用統合画像は、１組の右視点画像と左視点画像とが互いに横方向に並んだ一枚の立体視用統合画像であることを特徴とする立体画像処理装置。
【請求項９】
請求項６乃至請求項８のいずれかに記載の立体画像処理装置において、前記パディング領域が付加された前記加工画像の前記Ｖ１とＨ１の比率はプリント台紙の縦横比率と同一であることを特徴とする立体画像処理装置。
【請求項１０】
請求項６乃至請求項８のいずれかに記載の立体画像処理装置において、前記パディング領域が付加された前記加工画像の前記Ｖ１とＨ１の比率はディスプレイの縦横比率と同一であることを特徴とする立体画像処理装置。
【請求項１１】
コンピュータを、請求項６乃至請求項１０のいずれかに記載の立体画像処理装置における前記手段として機能させるプログラム。
【請求項１２】
請求項１１に記載のプログラムが記録された、コンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、立体画像処理方法及び立体画像処理装置及びプログラム及びプログラムが格納された記録媒体に関する。
【背景技術】
【０００２】
従来より、いわゆる平行法や交差法といった手法に基づく二枚の視差画像（右視点画像と左視点画像）を横方向に並べて一枚の立体視用統合画像を生成することが行われている。ディスプレイに表示した前記立体視用統合画像、或いはプリントアウトした前記立体視用統合画像を両眼で観察することで立体視が行える（特許文献１参照）。
【０００３】
【特許文献１】特開２００５−７８４２４号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、前記二枚の視差画像のそれぞれが例えば４（横）：３（縦）のアスペクト比を有するとすると、立体視用統合画像におけるアスペクト比は８：３となる。このようなアスペクト比を有する立体視用統合画像を例えば４：３のプリント台紙にプリントアウトしたり、４：３のディスプレイに表示すると、立体視を行う上で不所望な画像となって表示或いはプリントアウトされることになる。
【０００５】
具体的には、図４に示すように、プリント範囲が４：３（１．３３：１）であり、二枚の視差画像から成る立体視用統合画像の横幅が前記プリント範囲からはみ出している場合、右視点画像の領域について見ると、プリント範囲から実際にはみ出した領域（結果的にトリミングされた領域）と、プリント範囲内ではあるが左視点画像がプリント範囲から実際にはみ出したために立体視に利用できなくなった領域とが生じてしまう。同様のことは左視点画像の領域についても生じ、立体視に利用できる範囲はとても狭くなる。
【０００６】
この発明は、上記の事情に鑑み、立体視用統合画像がプリントアウト等される場合に不所望な画像カットがなされる事態を極力防止することなどができる立体画像処理方法及び立体画像処理装置及びプログラム及びプログラムが格納された記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
この発明の立体画像処理方法は、上記の課題を解決するために、複数の視点画像が並んだ一枚の立体視用統合画像を生成する立体画像処理方法であって、オリジナルの立体視用統合画像の水平サイズ及び垂直サイズをそれぞれＨ及びＶとし、前記立体視用統合画像を内包する加工画像の水平サイズ及び垂直サイズをそれぞれＨ１及びＶ１とすると、Ｖ１＞Ｖの条件を満足し、且つＶ１とＨ１との比率が所定比率の範囲内となる条件を満足するように、前記オリジナルの立体視用統合画像に任意色及び／又は任意模様のパディング領域を付加することを特徴とする。
【０００８】
また、この発明の立体画像処理方法は、複数の視点画像が並んだ一枚の立体視用統合画像を生成する立体画像処理方法であって、オリジナルの立体視用統合画像の水平サイズ及び垂直サイズをそれぞれＨ及びＶとし、前記立体視用統合画像を内包する加工画像の水平サイズ及び垂直サイズをそれぞれＨ１及びＶ１とすると、Ｖ１とＨ１との比率が所定比率となるように、前記オリジナルの立体視用統合画像に任意色及び／又は任意模様のパディング領域を付加することを特徴とする。
【０００９】
前記複数の視点画像が並んだ一枚の立体視用統合画像は、１組の右視点画像と左視点画像とが互いに横方向に並んだ一枚の立体視用統合画像であってもよい。これらの立体画像処理方法において、ＶとＨとの比率が規定比率を満たさない場合に、前記パディング領域を付加する処理を行うこととしてもよい。
【００１０】
これらの立体画像処理方法において、前記所定比率は、プリント台紙の縦横比率と同一又は略同一であるのがよい。また、これらの立体画像処理方法において、前記所定比率は、ディスプレイの縦横比率と同一又は略同一であるのがよい。
【００１１】
また、この発明の立体画像処理装置は、複数の視点画像が並んだ一枚の立体視用統合画像を生成する立体画像処理装置であって、オリジナルの立体視用統合画像の水平サイズ及び垂直サイズをそれぞれＨ及びＶとし、前記立体視用統合画像を内包する加工画像の水平サイズ及び垂直サイズをそれぞれＨ１及びＶ１とすると、Ｖ１＞Ｖの条件を満足し、且つＶ１とＨ１との比率が所定比率の範囲内となる条件を満足するように、前記オリジナルの立体視用統合画像に任意色及び／又は任意模様のパディング領域を付加する手段を備えたことを特徴とする。
【００１２】
また、この発明の立体画像処理装置は、複数の視点画像が並んだ一枚の立体視用統合画像を生成する立体画像処理装置であって、オリジナルの立体視用統合画像の水平サイズ及び垂直サイズをそれぞれＨ及びＶとし、前記立体視用統合画像を内包する加工画像の水平サイズ及び垂直サイズをそれぞれＨ１及びＶ１とすると、Ｖ１とＨ１との比率が所定比率となるように、前記オリジナルの立体視用統合画像に任意色及び／又は任意模様のパディング領域を付加する手段を備えたことを特徴とする。
【００１３】
前記複数の視点画像が並んだ一枚の立体視用統合画像は、１組の右視点画像と左視点画像とが互いに横方向に並んだ一枚の立体視用統合画像であってもよい。これらの立体画像処理装置において、ＶとＨとの比率が規定比率を満たさない場合に、前記パディング領域を付加する処理を行うこととしてもよい。かかる構成の立体画像処理装置において、前記規定比率を満たさない場合とは、Ｖ／Ｈ≧２／３を満たさない場合であることとしてもよい。
【００１４】
これら構成の立体画像処理装置において、前記所定比率は、プリント台紙の縦横比率と同一又は略同一であるのがよい。また、これら構成の立体画像処理装置において、前記所定比率は、ディスプレイの縦横比率と同一又は略同一であるのがよい。
【００１５】
また、この発明のプログラムは、コンピュータを、上述した立体画像処理装置における前記手段として機能させるものである。また、この発明の記録媒体は、上記プログラムが記録された、コンピュータが読み取り可能な記録媒体である。
【発明の効果】
【００１６】
以上説明したように、この発明によれば、立体視用統合画像がプリントアウト等される場合に不所望な画像カットがなされる事態を極力防止することができるなどの効果を奏する。
【発明を実施するための最良の形態】
【００１７】
以下、この発明の実施形態を図１乃至図３に基づいて説明していく。
【００１８】
図１はディジタルスチルカメラ１を例示した説明図である。ディジタルスチルカメラ１におけるレンズ機構１１は、レンズ群１１ａ、絞り調節を行なう絞り部１１ｂ等を備える。撮像素子駆動回路１８は撮像素子（例えば、ＣＣＤ）１２を駆動する。撮像素子１２は、前記レンズ機構１１を経た被写体の映像光を受け、電気信号に変換して出力する。撮像素子１２のアスペクト比は例えば４：３である。信号処理回路１４は、撮像素子１２から出力されてＡＧＣ（オートゲインコントローラ）アンプ１３にて利得調整された映像信号に対して各種の信号処理を実行し、図示しないカメラモニタに出力する。また、信号処理回路１４は、図示しないシャッタが押されたタイミングでの前記映像信号を画像データに変換する。この画像データはマイクロコンピュータ１６によってメモリ１７に格納される。絞り制御回路１５は撮像素子１２が出力する信号を入力しており、撮像素子１２の映像信号レベルが所定レベルになるように絞り部１１ｂにフィードバックをかける。
【００１９】
上記のディジタルスチルカメラ１を用いて立体視用統合画像を生成し記録することができる。この立体視用統合画像は、複数の視点画像が並んだ一枚の画像としたものである。例えば、ユーザーはメニュー項目のなかの「３Ｄ撮影」を選択した後、所望の被写体を撮影する。この１枚目の撮影による被写体のデータは例えば左視点画像データとしてメモリ１７に格納される。ディジタルスチルカメラ１は、例えば、「カメラを右側に少し移動させて同じ被写体を撮影してください」といったメッセージをカメラモニタ上に表示する。このメッセージに促されてユーザーは同じ被写体を撮影する。この２枚目の撮影による被写体のデータは右視点画像データとしてメモリ１７に格納される。
【００２０】
上記処理により、図２の（ａ）に示すように、左視点画像データと右視点画像データとがメモリ１７に格納されたことになる。ここで、それぞれの画像のアスペクト比をＨ／２：Ｖとする（Ｈ／２：Ｖは例えば撮像素子１２のアスペクト比である（例えば、４：３である））。そして、これら２枚の画像データが「３Ｄ撮影」のモードで得られたものであることを認識しているマイクロコンピュータ１６は、左視点画像データと右視点画像データとを横方向に並べて一枚の画像とする。この処理により、図２の（ｂ）に示すように、オリジナルの立体視用統合画像データが得られる。このオリジナルの立体視用統合画像データのアスペクト比はＨ：Ｖとなる。なお、カメラに立体画像撮影用のアダプタを取り付けて左右画像を同時に撮影する手法によっても、図２の（ｂ）に示す統合画像を得ることができる。
【００２１】
次に、マイクロコンピュータ１６は、前記オリジナルの立体視用統合画像データの上側及び下側にパディング領域（ダミー領域）を付加する。すなわち、図２の（ｃ）に示すように、前記オリジナルの立体視用統合画像を内包する加工画像を生成する。この加工画像のアスペクト比（Ｈ１：Ｖ１）は、例えば、４：３である。
【００２２】
すなわち、オリジナルの立体視用統合画像の水平サイズ及び垂直サイズをそれぞれＨ及びＶとし、前記立体視用統合画像を内包する加工画像の水平サイズ及び垂直サイズをそれぞれＨ１及びＶ１とすると、Ｖ１とＨ１との比率が所定比率となるように、前記オリジナルの立体視用統合画像に任意色のパディング領域を付加する。上記の例では、パディング領域は灰色データで構成しているが、他の色データを用いることもできる。
【００２３】
上記の例では、オリジナルの立体視用統合画像データのアスペクト比の値がどのような値であろうと関係無しに加工画像のアスペクト比（Ｈ１：Ｖ１）を所定のアスペクト比とする処理を行ったが、これに限らず、オリジナルの立体視用統合画像データのアスペクト比の値が所定の値を満たさない場合に加工画像を生成する（前記所定アスペクト比とする）こととしてもよい。例えば、図３のフローチャートに示すように、まず、左視点画像データと右視点画像データとを横方向に並べてオリジナルの立体視用統合画像データを得る（ステップＳ１）。次に、オリジナルの立体視用統合画像データの水平サイズＨと垂直サイズＶを算出する（ステップＳ２）。水平サイズＨ及び垂直サイズＶの単位は画素数でよい。次に、Ｖ／Ｈ≧２／３の条件を満たすかどうかを判断する（ステップＳ３）。この条件を満たす場合には加工画像の生成は行わない。一方、上記条件を満たさない場合には、ΔＶ＝２×Ｈ／３−Ｖの演算処理を行う（ステップＳ４）。そして、前記オリジナルの立体視用統合画像データの上側及び下側にそれぞれΔＶ／２の幅でパディング領域を付加する（ステップＳ５）。
【００２４】
すなわち、オリジナルの立体視用統合画像の水平サイズ及び垂直サイズをそれぞれＨ及びＶとし、前記立体視用統合画像を内包する加工画像の水平サイズ及び垂直サイズをそれぞれＨ１及びＶ１とすると、ＶとＨとの比率が規定比率を満たさない場合に、Ｖ１とＨ１との比率が所定比率となるように、前記オリジナルの立体視用統合画像に任意色で任意模様のパディング領域を付加する。前記任意色には無彩色を含み、上記の例では、パディング領域は一様な灰色データで構成しているが、他の色データを用いることもできるし、模様が入ったデータであってもよい。
【００２５】
これらの処理例では、加工画像のアスペクト比が所定比率となるようにパディング領域を付加したが、これに限らず、上記所定比率に一致しなくてもパディング領域をオリジナルの立体視用統合画像データの上下に少しでも付加すればその付加した分だけ立体視用統合画像の立体視領域を増大させることに役立つ。すなわち、オリジナルの立体視用統合画像の水平サイズ及び垂直サイズをそれぞれＨ及びＶとし、前記立体視用統合画像を内包する加工画像の水平サイズ及び垂直サイズをそれぞれＨ１及びＶ１とすると、Ｖ１＞Ｖの条件を満足し、且つＶ１とＨ１との比率が所定比率の範囲内となる条件を満足するように、前記オリジナルの立体視用統合画像に任意色のパディング領域を付加することとしてもよい。かかる処理においても、ＶとＨとの比率が規定比率を満たさない場合に、前記パディング領域を付加することとしてもよい。
【００２６】
図４を用いて更に説明を行っていく。市井のプリントサービスでは、例えば、横×縦＝１１９×８９（アスペクト比４：３＝１．３３：１）や１２７×８９（同１．４３：１）などのサイズの用紙が使用されており、オリジナル画像のアスペクト比が用紙と異なる場合には、用紙上に画像の「切れ」が生じないように縦横のうちオリジナル画像の長さが相対的に短い方向を基準にサイズを合わせてプリントする処理が採用されていることが多い。このため、オリジナル画像の長さが相対的に長い方向については画像が用紙からはみ出るため、結果的にトリミングを受けることになる。なお、ホームプリンターでも、用紙に合わせるモードを指定した場合に同様の処理を行う例がある。立体視を行う上で所望な画像を得るためには、上記立体視用統合画像を構成する左視点画像データと右視点画像データの共通視野領域（立体視野領域）が多いほどよい。ところが、上記のように立体視用統合画像（オリジナル画像）がトリミングを受けることによって、左視点画像内もしくは右視点画像内に利用できない領域が生じ、その結果、共通視野領域が十分確保できなかった場合、立体視が困難な利用価値のないプリント結果となる可能性がある。
【００２７】
上述したごとく、オリジナルの立体視用統合画像データに対してパディング領域を付加することにより（すなわち、加工画像を生成することにより）、この加工画像がプリントラボ等に持ち込まれても、上記のような処理によって画像のトリミングが行われるのを極力防止できることになる。すなわち、立体視が困難な利用価値のないプリントが行われるのを防止できる。
【００２８】
立体視を行う上で所望の画像を得るためには、上記トリミングが全く生じない、すなわち両視点画像の共通視野領域（立体視野領域）が１００％であるのが望ましいのであるが、必ずしも１００％である必要はない。両視点画像の共通視野領域（立体視野領域）がある程度確保されているならば、図３のフローチャートに示したごとく、加工画像の生成は行わなくてもよいとする処理を採用できる。そして、上記図３のフローチャートにおいて示した、「Ｖ／Ｈ≧２／３」は、いわば最悪のケース（用紙の長い方の辺が短い方の辺に対して１．３３の場合）であっても、共通視野領域（立体視野領域）を７７％とすることを可能にするための判定条件である。勿論、共通視野領域（立体視野領域）を７７％とすることは一実施例であって、これに限定されるものではない。なお、上記実施形態においては、視点数が２である場合を例にとり説明した。２視点画像の場合、ディスプレイやプリンタで出力された画像は、これを直接用いる形での利用（公知のステレオビューアー、平行法、交差法といわれる直視観察技法を用いての立体画像鑑賞）が普及しているため、本発明の課題とそれに対する効果が極めて大きいことは言うまでもないが、任意のｎ（ｎ＞２）視点画像の場合も、本発明は効果を発揮するものである。一例を示せば、ｎ視点の統合画像をそのまま出力して、その立体画像全体の撮影状況（例えば、多眼式カメラでの撮影において、撮影時に一部の視点だけ手や衣服で遮られたりしていないかなど）を確認するという利用方法を考えた場合、統合画像のアスペクト比が出力機器のそれに適合していないと、一部の視点の画像が欠落して確認不能になったりするという問題を生じること、およびこの問題に対して本発明が有効であることは明らかである。
【００２９】
また、上記の実施例では、立体画像処理装置としてディジタルスチルカメラを例示したが、これに限るものではない。例えば、スキャナが接続されたパーソナルコンピュータが立体画像処理装置となる。前記パーソナルコンピュータには前記スキャナのドライバソフトウェアがインストールされている。そして、例えば、前記スキャナのソフトウェアの起動画面上に「３Ｄ」といったボタンを設けておく。ユーザーは前記「３Ｄ」ボタンを操作した後、例えば左視点画像である写真をセットしてスキャナを動作させる。この１回目の動作の後、ユーザーは右視点画像である写真をセットしてスキャナを動作させる。上記２回のスキャニングによって得られた二つの画像データは、左視点画像データ及び右視点画像データとしてパーソナルコンピュータのメモリに格納される。かかる処理により、図２の（ａ）に示すように、左視点画像データと右視点画像データとがメモリに格納されたことになり、その後に図２の（ｂ）（ｃ）に示した処理をパーソナルコンピュータが行うこととしてもよい。この処理による加工画像をパーソナルコンピュータのモニタ上に表示してもよいし、或いは、前記加工画像を図示しないプリンタに供給してもよい。
【００３０】
パーソナルコンピュータがネットワーク接続可能な環境におかれている場合、或るサーバー（サイト）から左視点画像データと右視点画像データとをダウンロードすることが可能である。このようなダウンロードを行うと、図２の（ａ）に示すように、左視点画像データと右視点画像データとがパーソナルコンピュータのメモリに格納されたことになり、その後に図２の（ｂ）（ｃ）に示した処理をパーソナルコンピュータが行うこととしてもよい。この処理による加工画像をパーソナルコンピュータのモニタ上に表示してもよいし、或いは、前記加工画像を図示しないプリンタに供給してもよい。
【００３１】
図２の（ｂ）（ｃ）に示した処理をパーソナルコンピュータが行うためのプログラム（ソフトウェア）は、ネットワークを介してダウンロードしてもよいし、或いは前記プログラムが格納されたＣＤ−ＲＯＭからパーソナルコンピュータが読み取ることとしてもよい。
【００３２】
また、サムネイル画像のようなファイルの中身を示す縮小画像においても、トリミングされない状態で中身が正確に分かるとともに、それ自体で立体視できることが望ましい。このような縮小画像はアスペクト比が１対１となっていることが多く、これを満たすようにパディングを施すとよい。
【図面の簡単な説明】
【００３３】
【図１】この発明の立体画像処理装置としてのディジタルスチルカメラを示した説明図である。
【図２】立体視用統合画像の生成及び加工画像の生成の過程を示した説明図である。
【図３】立体視用統合画像の生成及び加工画像の生成の過程を示したフローチャートである。
【図４】立体視用統合画像とプリント範囲との関係を示した説明図である。
【符号の説明】
【００３４】
１    ディジタルスチルカメラ
１６  マイクロコンピュータ
１７  メモリ
【図１】
0004688590.tif 000002
【図２】
0004688590.tif 000003
【図３】
0004688590.tif 000004
【図４】
0004688590.tif 000005