(57)【要約】【課題】多数の立体画像を裸眼平行法が裸眼交差法により一度に鑑賞可能とする。【解決手段】立体視画像編集部４内のサムネイル一覧表示部４４０は、指定された裸眼交差法または裸眼平行法の立体視形式にしたがって、指定されたフォルダ内の複数の立体視画像を、１枚の画面上にサムネイル画像で画像毎に横方向に並べて一覧表示する。縦方向や横方向にはみ出す画像についてはスクロールバーを使用することにより画面内に表示する、また、この時、マウス等により、各画像の横方向の間隔を調整できるようにする。【選択図】図２
2004193795.tif 000002
【特許請求の範囲】
【請求項１】
左右にずらした２つ以上の平面画像を編集画面上に表示して立体視画像を生成し、この立体視画像を編集画面上で編集可能にした立体視画像編集装置において、
１つ以上の立体視画像ファイルが指定されたときに、各立体視画像を構成する左右の複数の平面画像を所定の大きさのサムネイル画像に変換するサムネイル画像作成部と、これを裸眼交差法又は裸眼平行法のいずれかの立体視形式に従って立体視画像毎に横方向に並べて表示部に一覧表示する立体視画像一覧表示処理部を設けたことを特徴とする立体視画像編集装置。
【請求項２】
前記立体視画像一覧表示処理部は、横方向に並べた前記サムネイル画像の間隔を調整可能にする、請求項１記載の立体視画像編集装置。
【請求項３】
左右にずらした２つ以上の平面画像を編集画面上に表示して立体視画像を生成し、この立体視画像を編集画面上で編集可能にした立体視画像編集プログラムにおいて、
１つ以上の立体視画像ファイルが指定されたときに、各立体視画像を構成する左右の複数の平面画像を所定の大きさのサムネイル画像に変換するサムネイル画像作成機能と、これを裸眼交差法又は裸眼平行法のいずれかの立体視形式に従って立体視画像毎に横方向に並べて表示部に一覧表示する立体視画像一覧表示処理機能を、コンピュータに実現させることを特徴とする立体視画像編集プログラム。
【請求項４】
前記立体視画像一覧表示処理機能は、横方向に並べた前記サムネイル画像の間隔を調整可能にする、請求項３記載の立体視画像編集プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、編集画面上に２つ以上の平面画像を左右にずらして表示することにより立体視画像を生成し、この立体視画像を編集可能にした立体視画像編集装置、及び立体視画像編集プログラムに関する。
【０００２】
【従来の技術】
インターネットを用いた商取引、いわゆるＥコマースにおいては、実際に商品を手に取ってみることができないために、画面上で商品を立体視させることが非常に有効である。しかし、様々なコンテンツをパソコンの画面上で立体視画像として提供するためには、ディジタルカメラ等で取得した平面画像を迅速に且つ容易に編集できる装置が必要となってくる。
【０００３】
そこで、従来は、立体視画像を生成するのに必要な左右平面画像をディジタルカメラ等で容易に得るための撮影アダプタや、得られた画像が右画像であるのか左画像であるのかを編集画面上で容易に識別できる機能を持った立体視画像編集装置について提案されている（たとえば、特許文献１参照）。
【０００４】
また、１枚の平面画像から、両眼視差に対応する奥行き値（「ズレ量」や「高さ」ともいう）、及び透明感等のパラメータが付与された２つの平面画像を作成し、この２つの平面画像により立体視画像を生成する立体視画像編集装置についても提案されている（たとえば、特許文献２参照）。
【０００５】
【特許文献１】
特開２００２−１２５４６号公報
【０００６】
【特許文献２】
特開２００２−１２３８４２号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、上記の先行技術に示される立体視画像編集装置は、編集機能としていずれも十分ではなく、ディジタルカメラ等で撮像された平面画像を読み込んで容易に立体視画像を作成したり、その編集作業を素早く行うには、更なる改良が要請されていた。
【０００８】
本発明の目的は、上記に鑑み、平面画像から立体視画像を容易に生成し、その編集も容易且つ迅速にできる立体視画像編集装置を提供することにある。
【０００９】
【課題を解決するための手段】
本発明に係る立体視画像編集装置は次の構成を備えている。
【００１０】
（１）左右にずらした２つ以上の平面画像を編集画面上に表示して立体視画像を生成し、この立体視画像を編集画面上で編集可能にした立体視画像編集装置において、
１つ以上の立体視画像ファイルが指定されたときに、各立体視画像を構成する左右の複数の平面画像を所定の大きさのサムネイル画像に変換するサムネイル画像作成部と、これを裸眼交差法又は裸眼平行法のいずれかの立体視形式に従って立体視画像毎に横方向に並べて表示部に一覧表示する立体視画像一覧表示処理部を設けたことを特徴とする。
【００１１】
本発明に係る立体視画像は、典型的には、左画像（以下、Ｌ画像）と右画像（以下、Ｒ画像）のＬＲ画像を左右にずらして配置することによって形成される。通常は、編集画面上でこのＬＲ画像が立体視画像として表示されるが、この編集画面は、多数組の立体視画像を同時に鑑賞可能にする機能は持っていない。そこで、本発明に係る立体視画像編集装置では、複数の立体視画像ファイルが指定された時に、各立体視画像を構成するＬＲ画像をサムネイル画像に変換し、これを横方向に並べて表示部に一覧表示する処理部を設けている。立体視画像ファイルが全部一度に表示できない場合には、画面上で、縦スクロール及び横スクロールが可能となる。
【００１２】
本発明では、このように多数の立体視画像が指定された時に、１つの表示画面上に各立体視画像毎に左右の複数のサムネイル画像が表示され、且つ、これらのサムネイル画像は裸眼交差法又は裸眼平行法のいずれかの立体視形式に従って横方向に並べられるため、ユーザは、この画面を見ることによって、複数の立体視画像を裸眼交差法又は裸眼平行法によって立体鑑賞をすることができる。
【００１３】
また、ユーザの能力に従い、上記裸眼交差法又は裸眼平行法のいずれかの形式に従って表示されている左右のサムネイル画像の間隔を調整可能とすることで、立体視鑑賞がより容易となる。
【００１４】
（２）左右にずらした２つの平面画像を編集画面上に表示して立体視画像を生成し、この立体視画像を編集画面上で編集可能にした立体視画像編集プログラムにおいて、
前記２つの平面画像の奥行き値が一定値以上のときに、各画像の左右端部分を表示されないようにトリミングするトリミング機能をコンピュータに実現させることを特徴とする。
【００１５】
通常、編集画面上で２つの左右の平面画像（Ｌ画像とＲ画像）を立体視画像として表示する時に、左右画像の高さ（奥行き値）がある程度以上に大きくなると、ＬＲ画像が重ならなくなった左右端部分については、立体とならない。特に、背景画像がある時には、その左右端部分については左右どちらかの眼に、当該画像とは関係のない背景画像が入ってくるために、不自然な立体視画像となる。そこで、本発明では、２つのＬＲ画像の高さ（奥行き値）が一定値以上の時に、各画像の左右端部分が表示されないようにトリミングする。トリミングされた部分については、背景画像がある時にはその背景画像が表示される。このように処理することで、正常な立体視鑑賞をすることができる。
【００１６】
（３）左右にずらした２つの平面画像を編集画面上に表示して立体視画像を生成し、この立体視画像を編集画面上で編集可能にした立体視画像編集プログラムにおいて、
前記２つの左右の平面画像を比較して画像の異なる領域を検出する機能と、その領域を左右置き換えた後、両眼視差に対応する奥行き値が置き換えた後の画像の奥行き値と同一となるように該置き換えた画像の奥行き値を自動調整する機能と、をコンピュータに実現させることを特徴とする。
【００１７】
立体視画像を生成するための平面画像を１台のディジタルカメラで取得する際、撮像範囲に動く被写体が存在していると、撮像時間差により、Ｌ画像とＲ画像とで被写体の位置が異なってくる。また、２台のディジタルカメラで同じ時間に同期して同一被写体を撮像しても、撮像範囲内に遠距離にある被写体と近距離にある被写体が混在する場合、各ディジタルカメラ間の距離によっては、近距離にある被写体の位置が大きく異なってくる場合がある。
【００１８】
上記のような場合、立体視鑑賞時にはＬＲ画像間において位置の異なる被写体について非常に見にくくなるため、通常は、このようなことが生じないように撮影時に時間、場所、被写体となる対象、機材等について細かな調整をする必要があった。
【００１９】
そこで、本発明では、２つのＬＲ画像を比較して、画像の異なる領域を自動的に抽出する。また、その抽出した領域をＬＲ画像において左右置き換え、さらに、両眼視差に対応する高さ（奥行き値）が置き換えた後の画像の奥行き値と同一となるように該置き換えた画像の奥行き値を自動調整する。前記検出した領域を左右置き換えることについては、自動であってもよいし手動であってもよい。
【００２０】
本発明では上記のように構成することで、ＬＲ画像において位置の異なった被写体があっても、その部分については左右入れ換えて且つ奥行き値が自動調整されるため、立体視鑑賞で自然な映像とすることができる。また、従来のように、撮影時間、撮影場所、撮影機材等を考慮しなくてもよい利点がある。
【００２１】
【発明の実施の形態】
図１は、本発明に係る立体視画像編集装置の機能ブロック図である。この立体視画像編集装置は、通常は、パソコンで構成される。したがって、編集処理を行うに際して必要な機能は、立体視画像編集プログラムによって提供される。
【００２２】
図１において、ディジタルカメラ１と２は、それぞれＬ画像（左側平面画像）とＲ画像（右側平面画像）を撮像する。この図では、２つのディジタルカメラ１、２を示してそれぞれＬ画像とＲ画像を撮像するようにしているが、１つのディジタルカメラを使用して、時間を異にしてＬ画像とＲ画像を撮像するようにしてもよい。また、１台の多眼カメラで同時にＬ画像とＲ画像を撮像するようにしてもよい。
【００２３】
Ｌ画像とＲ画像は画像入力部３に入力し、直接、又はファイル保存部を介して間接的に立体視画像編集部４に渡される。具体的には、立体視画像編集部４の中の立体視形式設定部４２に入力される。この立体視形式設定部４２は、画像入力部３からのＬＲ画像の立体視形式を設定する部分である。立体視形式には、裸眼平行法、裸眼交差法、赤色青色２色メガネ立体法、液晶メガネ立体法等による形式があり、これらの形式に従った画像処理を行う。なお、立体視画像編集部４内のファイル入力処理部４０は、画像入力部３に対する制御を行う。
【００２４】
ファイル保存処理部４１は、画像メモリ５に記憶されている立体視画像ファイルを画像ファイル部６に保存したり、画像ファイル部６に保存されている立体視画像ファイルを画像メモリ５に読み出す時の処理を行う。
【００２５】
立体視画像編集部４のＬＲ画像自動作成部４３は、文字画像等の輪郭が明確な画像に対してＬＲ画像を自動作成し、これを立体視画像として画像メモリ５に記憶する。このＬＲ画像自動作成部４３には、文字入力部８からの文字情報が入力する。また、文字入力部８にはキーボード７から入力された文字が入力する。設定により、このＬＲ画像自動作成部４３に、画像入力部３からの画像を入力するようにすることも可能である。なお、ＬＲ画像移動作成部４３において、ＬＲ画像を自動作成する方法については、たとえば、特開２００２−１２３８４２号公報に示されている。ＬＲ画像を自動作成する方法の一例として、文字入力部８から入力された文字に対して画像をもう１枚作成し、これらの２つの文字画像をＬ画像とＲ画像とし、各画像の透明度や高さ（ズレ量）のパラメータを色相、彩度、明度等の値によって自動設定する。
画像編集処理部４４は、サムネイル一覧表示部４４０と、左右画像端処理部４４１と、左右画像入れ換え処理部４４２とを備えている。サムネイル一覧表示部４４０は、画面上で、立体視画像ファイルが収納されているフォルダが指定された時に、そのフォルダ内にある各立体視画像を構成するＬＲ画像を所定の大きさのサムネイル画像に変換し、これを裸眼交差法又は裸眼平行法のいずれかの立体視形式に従って立体視画像毎に横方向に並べて表示部に一覧表示する処理を行う。
【００２６】
また、左右画像端処理部４４１は、編集画面上に表示されているＬＲ画像の高さ（奥行き値）が一定値以上の時に、各画像の左右端部分をトリミングして表示されないようにする処理を行う。さらに、左右画像入れ換え処理部４４２は、ＬＲ画像を比較して画像の異なる領域を検出し、その領域を左右置き換えた後に、「高さ」（奥行き値）が置き換えた後の画像の「高さ」（奥行き値）と同一となるように該置き換えた画像の「高さ」（奥行き値）を自動調整する。
【００２７】
画像メモリ５には、ＪＰＥＧ形式で記憶されるＬＲ画像からなる立体視画像とパラメータとが対になって記憶される。編集ウインドウ上に複数の立体視画像が表示される時には、この画像メモリ内には、各立体視画像に対応する画像データが記憶される。具体的には、画像入力部３からＬＲ画像が入力される毎に、同ＬＲ画像が立体視形式設定部４２を通過した後、立体視画像としてパラメータとともに順次記憶されていく。また、文字入力部８から文字データが入力される毎に、ＬＲ画像自動作成部４３を通過した後、立体視画像としてパラメータとともに記憶されていく。画像メモリ５上の画像データは、パラメータ情報に従ってグラフィックメモリ１０上に展開され、モニタ画面に表示される。なお、各立体視画像と対になって記憶されるパラメータは、高さ（奥行き値）、透明度、貼り付け位置、各パラメータの時間軸変化度合い等の値を含んでいる。
【００２８】
以下、各機能について説明する。
【００２９】
（Ａ）サムネイル一覧表示部４４０の機能について
編集ウインドウ上では、多数の立体視画像を一度に鑑賞することができないため、本実施形態では、複数の立体視画像が収納されているフォルダを指定することによって、そのフォルダ内に収納されている立体視画像をＬＲのサムネイル画像にして一覧表示する。立体視画像の形式は、裸眼平行法または裸眼交差法のいずれかとする。また、サムネイル画像の大きさは任意に変更することが可能である。さらに、Ｌ画像とＲ画像の間隔は、任意に調整可能とする。
【００３０】
これにより、ユーザは、裸眼交差法または裸眼平行法のいずれかにより、多数の立体視画像を一覧に鑑賞することができる。なお、縦方向および横方向へのスクロール機能により、画面をはみ出した立体視画像であっても容易に鑑賞することが可能である。
【００３１】
図２（Ａ）は、サムネイル一覧表示を行う時の操作方法を示す図である。ファイル指定部２０においてファイルの属性を指定する。例えば、ＬＲ画像を立体視画像として統合した画像の属性（図では、．ｉｏｓ）やＪＰＥＧ等の編集前の平面画像の属性を指定する。続いて、フォルダ２１とサムネイル画像の大きさ２２とを指定し、立体視形式として裸眼平行法２３または裸眼交差法２４を指定する。
【００３２】
上記の操作を行うと、裸眼平行法２３が指定された時には図２（Ｂ）のように表示され、裸眼交差法２４が指定された時には、図２（Ｃ）のように表示される。図２（Ｂ）および（Ｃ）の表示状態では、マウスにより左右の画像間隔を変更することができる。この画像間隔を調整することにより、鑑賞者の立体視能力に適した最適な間隔に配置することが可能である。なお、縦スクロールバー２５により、縦方向にはみ出している画像を容易に画面上に表示させることが可能である。
【００３３】
上記図２においては、２つの平面画像について示したが、これ以上の平面画像についても同様にサムネイル一覧表示を行うことが可能である。図３はこの表示例を示している。この場合、縦スクロールバー２５に加えて横スクロールバー２６を使用することにより、縦方向だけではなく横方向にはみ出した画像についても容易に画面上に表示させることが可能である。また、各画像の間隔については、図２に示す場合と同様に、マウスで変更することが容易である。
【００３４】
図４は、サムネイル一覧表示部４４０の概略の動作を示すフローチャートである。
【００３５】
ファイル種類、フォルダ、サムネイル画像のサイズ、表示形式（裸眼平行法か裸眼交差法）の指定を行うと（ＳＴ１）、立体視形式が裸眼平行法か裸眼交差法かに応じて（ＳＴ２）、画像の横方向への設定順を決める。すなわち、図２（Ｂ）に示すように裸眼平行法が指定された時にはＬ画像とＲ画像は、左側からＬ画像、Ｒ画像の順に表示され、図２（Ｃ）に示すように裸眼交差法が指定された時には、左側からＲ画像、Ｌ画像の順に表示されるように設定される（ＳＴ３、ＳＴ４）。続いて、指定されたファイル種類に該当する指定フォルダ内のすべての画像についてサムネイル一覧表示が行われる（ＳＴ５）。この時、縦スクロールバー２５によって画面からはみ出した画像を画面上に表示させることが可能であり、また、マウスによって画像間隔を変更することができる。画像間隔を変更するのは、裸眼平行法または裸眼交差法によって表示された画像を、ユーザが、容易に立体鑑賞できるようにするためである。
【００３６】
なお、ＬＲ画像が３つ以上で構成されている時には、図３に示すように横方向に各画像が表示されるが、裸眼平行法が指定された時には、上記ＳＴ３において、左から右方向に順に撮像した画像を同じく左端から右方向に順に表示するように設定される。また、裸眼交差法が指定された時には、上記ＳＴ４において、左から右方向に順に撮像された画像を右端から左方向に向けて順に表示するように設定される。
【００３７】
なお、上記ＳＴ５においてサムネイル一覧表示を行う時の画像間隔等のデフォルト値は、サムネイル一覧表示部４４０内において適当な値に設定されている。
【００３８】
本実施形態のサムネイル一覧表示部４４０においては、以上のように画面上に多数のサムネイル画像を一覧表示することにより、裸眼平行法または裸眼交差法により立体視画像を一覧で鑑賞することが可能である。なお、一覧表示されたサムネイル画像を所定のレイアウトで印刷可能にすることも可能である。
【００３９】
（Ｂ）左右画像端処理部４４１の機能について
編集ウインドウ上では、ＬＲ画像の高さを変えることによって、立体視空間での画像の奥行きを設定するようにしているために、鑑賞時の奥行きを深くするためには、ＬＲ画像の高さを大きくすることが必要である。しかし、高さをある程度以上大きくすると、ＬＲ画像が重ならなくなった左右端部分において立体視鑑賞することができなくなる。特に、当該画像が背景画像に対する貼り付け画像の時には、左右端部分については背景画像が眼に入ってくるために不自然な立体視鑑賞となる。
【００４０】
本実施形態では、上記の不都合を解消するために、ＬＲ画像の高さ（奥行き値）が一定値以上の時には、該画像の左右端部分をトリミングして表示されないように処理する。
【００４１】
図５は、左右画像端処理部４４１の機能を説明するための図である。
【００４２】
図に示す実施例では、編集ウインドウＷ１上に、立体視画像であるＰ１画像と、その上に貼り付けられている立体視画像の画像Ｐ２が表示されている。画像Ｐ１とＰ２とはそれぞれレイヤ管理され、レイヤウインドウＷ２上にそれぞれの画像がサムネイル表示されている。また、サムネイル画像の右側には設定ボタンＢが配置されており、サムネイル画像を選択してこのボタンＢを操作すると、パラメータ変更のためのレイヤ設定ダイアログＷ５が表示される。
【００４３】
図５（Ｂ）は上記レイヤ設定ダイアログを示している。このダイアログは上記レイヤウインドウＷ２上で選択された画像の「濃さ」と「高さ」を調整することができる。また、「領域外を暗く表示」のチェックボックスを備えている。この「領域外を暗く表示」の機能は、レイヤウインドウＷ２上で特定の画像を選択した時に、Ｗ１上でのその画像以外のすべての画像を暗く表示し、選択された特定画像に対するパラメータ設定が容易になるようにしている。
【００４４】
上記図５（Ａ）に示す状態では、画像Ｐ２の高さが一定値以上になっていないために、その画像の左右端部分に対するトリミング処理は行われていない。しかし、図５（Ｂ）において、「高さ」調整用のバーを左方向に移動してその値を一定値以上にすると、図５（Ｃ）に示すようにその左右端部分では立体視表示ができないためにトリミング処理して背景画像が表示されるようにしている、
図６は、上記左右画像端処理部４４１の機能を示すフローチャートである。
【００４５】
まず、編集ウインドウＷ１上に立体視画像を表示する。図５（Ａ）に示すように、今、編集ウインドウＷ１上に２つの立体視画像Ｐ１、Ｐ２が表示されているものとする。この段階で、いずれかの画像が選択されてその画像に対する「高さ」が変更されると（ＳＴ１１）、その「高さ」の値が一定値以上であることを条件に（ＳＴ１２）、当該画像の左右端をトリミング処理する（ＳＴ１３）。
【００４６】
なお、図５（Ｂ）に示すレイヤ設定ダイアログＷ５上で「高さ」を調整する時、その調整した値はリアルタイムで編集ウインドウＷ１上の画像に反映される。
【００４７】
以上の処理により、「高さ」を一定値以上にして画像の奥行き感を大きくした場合であっても、それによって生じやすくなる画像左右端部分での不自然さをなくすことができ、「高さ」の値に影響されることなく自然な立体視画像を保証することができる。
【００４８】
【発明の効果】
本発明の立体視画像編集装置及びプログラムでは、編集効率が非常に良くなる。具体的には、次の効果がある。
【００４９】
（１）多数の立体視画像を画面上で裸眼交差法または裸眼平行法によって容易に立体鑑賞することができる。また、上記裸眼交差法または裸眼平行法のいずれかの立体視形式に従って表示されている左右のサムネイル画像の間隔を調整可能にすることにより、ユーザの立体視能力に応じた画像間隔を設定できる利点がある。
【００５０】
（２）２つのＬＲ画像の高さ（奥行き値）が一定値以上の場合にその画像の左右端部分が自動的にトリミングされるため、「高さ」が大きく設定されている場合であっても、その左右端部分において正常な立体視鑑賞をすることができる。
【図面の簡単な説明】
【図１】本発明の実施形態である立体視画像編集装置の機能ブロック図である。
【図２】サムネイル一覧表示部４４０の機能について説明するための図である。
【図３】サムネイル一覧表示部４４０の機能について説明するための図である。
【図４】サムネイル一覧表示部４４０の機能を実現するためのプログラムの概略フローチャートを示す。
【図５】左右画像端処理部４４１の機能について説明するための図である。
【図６】左右画像端処理部４４１の機能を実現するためのプログラムの概略フローチャートを示す。
【図１】
2004193795.tif 000003
【図２】
2004193795.tif 000004
【図３】
2004193795.tif 000005
【図４】
2004193795.tif 000006
【図５】
2004193795.tif 000007
【図６】
2004193795.tif 000008
【手続補正書】
【提出日】平成14年12月10日(2002.12.10)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】図５
【補正方法】変更
【補正の内容】
【図５】
2004193795.tif 000009