(57)【要約】【課題】従来の平面画像から立体画像を作成する方法では、平面動画を分岐した画像の先行後行を制御するが、先行後行の制御に時間がかかり、被写体像の変化に対する追従性が悪いことである。発明が解決しようとする課題は、制御時間の短縮と被写体像の変化に対する追従性を改善することである。【解決手段】平面動画を分岐した画像を常に遅延または先行させた状態で、立体用画像対として出力する毎に、被写体像の移動方向に応じて、元画像と分岐したの一方を立体画像の左目用、他方を右目用とする。これにより、被写体像の左右変化が急激に起こった場合の追従性が改善される。【選択図】図７
2018121314.tif 000002
【特許請求の範囲】
【請求項１】
同一の平面動画対の一方を動画Ａ他方を動画Ｂとし、動画Ａの画像Ａと、再生中は常に画像Ａと同一の動画Ｂの画像Ｂ0の後または前のいずれか一方の画像Ｂとを選択して、この画像Ａと画像Ｂの対を立体用画像対とし、被写体像の移動方向に応じて、画像Ａと画像Ｂの一方を立体画像の左目用、他方を右目用とすることを特徴とする立体画像作成方法。
【請求項２】
請求項１において、動画Ａは動画ファイルＡ、動画Ｂは動画ファイルＢより再生されたものであり、動画ファイルＡに対して動画ファイルＢの再生のスタートを遅延または先行させることにより、立体用画像対用の画像Ａと画像Ｂを選択することを特徴とする立体画像作成方法。
【請求項３】
請求項１において、動画Ａの画像Ａと同一の動画Ｂの画像Ｂの後または前の一群の画像をメモリに保存することにより、立体用画像対用の画像Ａと画像Ｂ（実施例では画像ＢＢ）を選択することを特徴とする立体画像作成方法。
【請求項４】
請求項１において、動画Ａの画像Ａと同一の動画Ｂの画像Ｂの後または前の一群の画像をメモリに保存し、画像Ａと画像Ｂの比較することにより、立体用画像対用の画像Ａと画像Ｂ（実施例では画像ＢＢ）を選択することを特徴とする立体画像作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体テレビジョン方式における、平面画像から立体画像を作成する方法に関するものである。
【背景技術】
【０００２】
一般に動画は平面画像であり、立体画像は極めて少ない。また、過去の膨大な画像はほとんど平面画像である。立体画像は、左右のレンズを有する高価な立体カメラにより得られた一対の画像より作成される。そして、立体感は立体カメラによる左右のレンズ間距離により決まってしまう。
【０００３】
その為、平面画像から立体画像を生成する各種方式が提案されてきている。これにより、低価格で、立体感を自由にコントロールできる立体画像が得られ、過去の膨大な動画を立体画像として見られる。特に撮影機器や被写体が一定速度で移動する場合は、左右の撮影機器誤差がある立体撮影機による立体画像に比べ遜色がない立体映像を実現できる。
【０００４】
本明細書の特許文献１では、「２次元画像の３次元化方法として、２次元画像をフレーム単位で時間軸方向に遅らせるかまたは進ませることによって実現する方法が知られている」と述べている。以下、この方法の原理を整理しておく。
【０００５】
図１はビデオカメラが右方向（１⇒２）に移動しながら被写体を撮影している場合の原理を説明する図である。
【０００６】
図１の１０１は被写体、１０２はカメラ、１０３は撮影位置１、１０４は撮影位置２、１０５はカメラ移動、１０６は撮影範囲、１０７は立体角、１０８は画像Ａ、１０９は画像Ｂ、１１０は左目用撮影画面、１１１は右目用撮影画面、１１２は重ね合わせ像、１１３は像移動を表す。
【０００７】
図１に示すように、ビデオカメラが右方向（１⇒２）に移動１０５しながら被写体１０１を撮影している場合を撮影CRとする。図３に示すように、ビデオカメラ１０２が左方向に移動１０５しながら被写体１０１を撮影している場合を撮影CLとする。
【０００８】
また、図４に示すように、ビデオカメラ１０２固定で左方向（１⇒２）に移動４０１する被写体１０１を撮影する場合を撮影OLとする。図５に示すように、被写体が右方向に移動４０１する被写体を撮影する場合を撮影ORとする。
【０００９】
図１の場合を考える。図１は、ビデオカメラ１０２が右方向（１⇒２）に移動１０５しながら被写体１０１を撮影している様子を示す。カメラ１０２が左側での撮影画像Ａが撮影順が先の画像であり、カメラ１０２が右側での撮影画像Ｂが後の画像である。この場合、画面１１２、１１３上では被写体像が右から左に移動１１３する。
【００１０】
被写体像が右から左に移動１１３する場合、撮影順が先の画像（画像Ａ）を左目用の左画像、後の画像（画像Ｂ）を右目用の右画像とする。
【００１１】
左側の画像Ａ１０８は被写体が右側に寄り被写体を左斜め方向から見た画像となる。ここでは、レンズを通して反転した画像を元に戻して表現している。以下同様である。右側の画像Ｂ１０９は被写体が左側に寄り被写体を右斜め方向から見た画像となる。従って、画像Ａと画像Ｂより立体像が得られる。
【００１２】
図１でカメラ１０２の移動１０５の距離を底辺とし２等辺三角形の頂点を被写体１０１とする場合の頂点の角度を立体角θ１０７とよび、立体感のレベルを表す指標とする。
【００１３】
図２は再生時を説明する図である。
【００１４】
図２の２０１は左目用モニター画面、２０２は右目用モニター画面、２０３はレンズ、２０４は左目、２０５は右目、２０６は合成立体画、２０７は被写体虚像距離、２０８は立体角を表す。
【００１５】
図２に示すように、左側の左目用の撮影画像Ａ１０８をレンズ２０３を通して左目２０４で見、右側の右目用の撮影画像Ｂ１０９をレンズ２０３を通して右目２０５で見た場合を示す。前方には左目で見た虚像１０１と右目で見た虚像１０１（以下虚像を単に像と略す）が見えるのでこれを一致させる。このとき、左側の撮影画像Ａ１０８は被写体像が右側に寄り被写体を左斜め方向から見た画像となり、右側の撮影画像Ｂ１０９は被写体像が左側に寄り被写体を右斜め方向から見た画像となる。従って、左右の目でみた像は立体感が得られる。
【００１６】
ここで、両目２０４、２０５の間の距離を底辺とし２等辺三角形の頂点を被写体像とした場合の頂点の角度を立体角θm２０８とよび、立体感のレベルを表す指標とする。この立体角θmは、撮影時の立体角θ１０７とは一般に異なる。また、左目の像の画面は左に、右目の像の画面は右にずれる。
【００１７】
図３は撮影CLの場合の原理を説明する図である。
【００１８】
図３は、ビデオカメラ１０２が左方向（１⇒２）に移動１０５しながら被写体１０１を撮影している様子を示す。カメラ１０２が右側での撮影画像Ｂが撮影順が先の画像であり、カメラ１０２が左側での撮影画像Ａが後の画像である。この場合、画面１１２、１１３上では被写体像が左から右に移動１１３する。
【００１９】
被写体像が左から右に移動１１３する場合、撮影順が先の画像（画像Ｂ）を右目用の右画像、後の画像（画像Ａ）を左目用の左画像とする。
【００２０】
左側の画像Ａ１０８は被写体が右側に寄り被写体を左斜め方向から見た画像となる。右側の画像Ｂ１０９は被写体が左側に寄り被写体を右斜め方向から見た画像となる。従って、画像Ａと画像Ｂより立体像が得られる。
【００２１】
カメラ１０２の移動１０５の距離を底辺とし２等辺三角形の頂点を被写体１０１とする場合の頂点の角度を立体角θ１０７とよび、立体感のレベルを表す指標とする。
【００２２】
再生時はCRの場合と同じであり、図２での説明となる。
【００２３】
図４は撮影OLの場合の原理を説明する図である。
【００２４】
図４の４０１は被写体移動を表す。
【００２５】
図４は、ビデオカメラ固定で左方向（１⇒２）に移動４０１する被写体１０１をビデオカメラ１０２で撮影する様子を示す。被写体１０１が右側にある撮影画像Ａが撮影順が先の画像であり、被写体１０１が左側の撮影画像である撮影画像Ｂが後の画像である。この場合、CRの場合と同じく画面１２、１１３上では被写体像が右から左に移動１１３する。
【００２６】
被写体像が右から左に移動１１３する場合、撮影順が先の画像（画像Ａ）を左目用の左画像、後の画像（画像Ｂ）を右目用の右画像とする。
【００２７】
左側の画像Ａ１０８は被写体が右側に寄り被写体を左斜め方向から見た画像となる。右側の画像Ｂ１０９は被写体が左側に寄り被写体を右斜め方向から見た画像となる。従って、画像Ａと画像Ｂより立体像が得られる。
【００２８】
被写体１０１の移動距離を底辺とし逆２等辺三角形の頂点をカメラ１０２とする場合の頂点の角度もCRの場合と同様に立体角θ１０７とよび、立体感のレベルを表す指標とする。
【００２９】
再生時はCRの場合と同じであり、図２での説明となる。
【００３０】
図５は撮影ORの場合の原理を説明する図である。
【００３１】
図５では、ビデオカメラ固定で右方向（１⇒２）に移動４０１する被写体１０１をビデオカメラ１０２で撮影している様子を示す。被写体１０１が左側にある撮影画像Ｂが撮影順が先の画像であり、被写体１０１が右側の撮影画像である撮影画像Ａが後の画像である。この場合、CLの場合と同じく画面上では被写体像が左から右（１⇒２）に移動する。
【００３２】
被写体像が左から右に移動１１３する場合、撮影順が先の画像（画像Ｂ）を右目用の右画像、後の画像（画像Ａ）を左目用の左画像とする。
【００３３】
左側の画像Ａ１０８は被写体が右側に寄り被写体を左斜め方向から見た画像となる。右側の画像Ｂ１０９は被写体が左側に寄り被写体を右斜め方向から見た画像となる。従って、画像Ａと画像Ｂより立体像が得られる。
【００３４】
被写体１０１の移動距離を底辺とし逆２等辺三角形の頂点をカメラ１０２とする場合の頂点の角度もCRの場合と同様に立体角θ１０７とよび、立体感のレベルを表す指標とする。
【００３５】
再生時はCRの場合と同じであり、図２での説明となる。
【００３６】
以上より以下の結果が得られる。
【００３７】
結果１  ：画面上の像移動方向が左方向の場合は、撮影が先の画像を左目用の左画像（画像Ａ）、後の画像を右目用の右画像（画像Ｂ）とする。像移動方向が左方向の場合は、撮影機移動が右方向または被写体移動が左方向の場合である。
【００３８】
結果２  ：画面上の像移動方向が右方向の場合は、撮影が先の画像を右目用の右画像（画像Ｂ）、後の画像を左目用の左画像（画像Ａ）とする。像移動方向が右方向の場合は撮影機移動が左方向または被写体移動が右方向の場合である。
【００３９】
結果３  ：画像Ａは左側（左目用）の画像で被写体像が右側に寄る場合であり、被写体を左斜め方向から見た画像となる。また、画像Ｂは右側（右目用）の画像で被写体像が左側に寄る場合であり、被写体を右斜め方向から見た画像となる。従って、画像Ａと画像Ｂより立体像が得られる。
【先行技術文献】
【特許文献】
【００４０】
【特許文献１】特開平０７−２２２２０１
【発明の概要】
【発明が解決しようとする課題】
【００４１】
背景技術では、２次元画像から３次元画像への変換方法の原理を示した。ここではまず、変換方法の例である図６を用いて示しその課題を明らかにする。動画は連続的な画像信号であり、四角のブロックは主としてメモリー等を含む電子回路である。以下の同様な図は同じである。
【００４２】
図６の６０１は入力動画、６０２は動画Ａ、６０３は動画Ｂ、６０４は立体左右画像生成、６０５は画像Ｂの先行後行制御、６０６は動画Ａ、６０７は動画Ｂ、６０８は動画Ｂ、６０９は遅延、６１０は進ませる、６１１は画像Ａ群、６１２は画像Ｂ群、６１３は画像Ｂ群、６１４は画像Ａ、６１５は画像Ｂ、６１６は撮影順２、６１７は撮影順１、６１８は撮影順３、６１９は立体画像処理、６２０は出力画像を表す。
【００４３】
入力動画６０１は一対かつ同一の平面動画であり、一方を動画Ａ６０２、他方を動画Ｂ６０３とする。入力動画は外部から直接入力するかファイル等の記録媒体の再生により得られる。一対の動画は例えば、入力動画を２つに分岐するか、複製することにより得られる。平面動画としては、放送用動画、インタ-ネット経由の動画、配信された動画、カメラ機器により撮影された動画像等々、種々の動画がある。
【００４４】
この入力動画を「立体左右画像生成ブロック」６０４に入力する。ここではまず、動画Ａ６０２を立体画像の左目用、動像Ｂ６０３を右目用とする。
【００４５】
次に、「画像Ｂの先行後行制御ブロック」６０５に入力する。ここでは、動画Ａ６０２の画像Ａと画像Ａの前後画像を比較し、被写体像の移動方向と量を算出する。例えば、画像Ａと画像Ａの前後画像を画像認識でとらえて比較し、被写体像が画面上をどの方向にどれだけ動いたかを算出する。画像認識技術は従来技術である。
【００４６】
次に、これをもとに、画像Ｂの先行後行の制御をおこなう。
【００４７】
「背景技術」のところで述べたように、画面上の像移動方向が左方向の場合は、撮影が先の画像が左目用の左画像（画像Ａ）、後の画像が右目用の右画像（画像Ｂ）となる。そのために動画Ｂ６０７を先行(進ませる)。実際には動画Ａ６０６を遅延させることになる。
【００４８】
画面上の像移動方向が右方向の場合は、撮影が先の画像を右目用の右画像（画像Ｂ）、後の画像を左目用の左画像（画像Ａ）とする。そのために動画Ｂ６０７を後行(遅らせる、遅延)。
【００４９】
ここで、動画Ａ、Ｂの同期の一対画像である画像Ａ６１４と画像Ｂ６１５は、「背景技術」のところで述べたように、立体画像の左右の撮影画面となる。
【００５０】
次に、画像Ａ６１４と画像Ｂ６１５を「立体画像処理ブロック」６１９に入力する。ここでは立体画像化の処理をおこなう。立体画像化する方式は種々知られており、方式に応じて立体画像処理がなされる。
【００５１】
次に、「立体画像処理ブロック」から立体画像処理された「出力画像」６２０が出力される。
【００５２】
最後に、図示しないが、立体画像処理に応じた立体画像再生装置により、立体画像が再生される。
【００５３】
この方法での課題は、画像Ｂの先行後行の制御に時間がかかり、被写体像の左右変化が急激に起こった場合の追従性が悪いことである。
【課題を解決するための手段】
【００５４】
同一の平面動画の一方を動画Ａ、他方を動像Ｂとし、動画Ａに対して動画Ｂを再生中は常に遅延または先行させた状態で、動画Ａの画像Ａと動画Ｂの画像Ｂの対を立体用画像対として出力する毎に、被写体像の移動方向に応じて、画像Ａと画像Ｂの一方を立体画像の左目用、他方を右目用とするように制御する。
【発明の効果】
【００５５】
これにより、被写体像の移動方向の左右変化が急激に起こった場合の立体化処理の追従性が改善される。
【図面の簡単な説明】
【００５６】
【図１】図１はビデオカメラが右方向に移動しながら被写体を撮影している場合を説明する図である。（背景技術）
【図２】図２は再生時を説明する図である。（背景技術）
【図３】図３はビデオカメラが左方向に移動しながら被写体を撮影している場合を説明する図である。（背景技術）
【図４】図４はビデオカメラ固定で左方向に移動する被写体を撮影している場合の原理を説明する図である。（背景技術）
【図５】図５はビデオカメラ固定で右方向に移動する被写体を撮影している場合の原理を説明する図である。（背景技術）
【図６】図６は課題を明らかにする為の変換方法の例のブロック図である。（発明が解決しようとする課題）
【図７】図７は実施例１を説明するブロック図である。（実施例１）
【図８】図８は実施例１を説明するブロック図である。（実施例１）
【図９】図９は実施例２を説明するブロック図である。（実施例２）
【図１０】図１０は実施例２を説明するブロック図である。（実施例２）
【図１１】図１１は実施例３を説明するブロック図である。（実施例３）
【図１２】図１２は実施例３を説明するブロック図である。（実施例３）
【図１３】図１３は実施例４を説明するブロック図である。（実施例４）
【図１４】図１４は実施例４を説明するブロック図である。（実施例４）
【発明を実施するための形態】
【００５７】
同一の平面動画対の一方を動画Ａ、他方を動画Ｂとし、動画Ａに対して動画Ｂを再生中は常に遅延または先行させた状態で、動画Ａの画像Ａと動画Ｂの画像Ｂの対を立体用画像対として出力する毎に、被写体像の移動方向に応じて、画像Ａと画像Ｂの一方を立体画像の左目用、他方を右目用とする。
これにより、被写体像の移動方向の左右変化が急激に起こった場合の立体化処理の追従性が改善される。
【実施例１】
【００５８】
図７は発明の実施例１を説明するブロック図である。
【００５９】
図７の７０１は左右画像の制御、７０２は画像Ｂ0を表す。
【００６０】
図７の入力動画６０１は一対かつ同一の平面動画であり、一方を動画Ａ６０２、他方を動画Ｂ６０３とする。
【００６１】
この入力動画６０１を「立体左右画像生成ブロック」６０４に入力する。ここでは、まず動画Ｂ６０８を先行(進ませる)６１０させる。実際には画像Ａを遅延させる。再生中はこの状態が固定される。
【００６２】
次に、動画Ａ、Ｂの同期の一対画像である画像Ａ６１４と画像Ｂ６１５を「左右画像の制御ブロック」７０１に入力する。はじめに、画像Ａと画像Ｂを比較し被写体像移動方向と量を算出する。
【００６３】
次に、画面上の像移動方向が左方向の場合は、撮影が先の画像が左目用の左画像、後の画像が右目用の右画像とする。ここで、動画Ｂ６０７を先行(進ませる)させた場合、左目用の左画像は画像Ａとなり、右目用の右画像は画像Ｂとなる。従って、左目用の左画像を画像Ａ、右目用の右画像を画像Ｂとする。
【００６４】
画面上の像移動方向が右方向の場合は、撮影が先の画像を右目用の右画像、後の画像を左目用の左画像とする。ここで、動画Ｂ６０７を先行(進ませる)させた場合、左目用の左画像は画像Ｂとなり、右目用の右画像は画像Ａとなる。従って、左目用の左画像を画像Ｂとし、右目用の右画像を画像Ａとする。
【００６５】
ここで、動画Ａ、Ｂの同期の一対画像である画像Ａ６１４と画像Ｂ６１５は、「背景技術」のところで述べたように、立体画像の左右の撮影画面となる。
【００６６】
この制御は、画像Ａと画像Ｂの対を立体用画像対として出力する毎におこなう。
【００６７】
次に、画像Ａと画像Ｂを「立体画像処理ブロック」６１９で立体画像化の処理をおこなう。立体画像化する方式は種々知られており、方式に応じて立体画像処理がなされる。次に、「立体画像処理ブロック」から立体画像処理された「出力画像」６２０が出力される。
【００６８】
最後に、図示しないが、立体画像処理に応じた立体画像再生装置により、立体画像が再生される。
【００６９】
本発明は、同一の平面動画対の一方を動画Ａ他方を動画Ｂとし、動画Ａの画像Ａと、再生中は常に画像Ａと同一の動画Ｂの画像Ｂ0の後または前のいずれか一方の画像Ｂとを選択して、この画像Ａと画像Ｂの対を立体用画像対とし、被写体像の移動方向に応じて、画像Ａと画像Ｂの一方を立体画像の左目用、他方を右目用とすることを特徴とする。
【００７０】
従って、被写体像の左右変化が急激に起こった場合の立体化処理の追従性が改善される。また、変化点での左右の画像選択が正確に行える。
【００７１】
以上では、図７を用いて動画Ｂ６０８を先行(進ませる)６１０させた場合について述べたが、図８は動画Ｂ６０８を後行(遅らせる、遅延)６１０させた場合の説明図である。図８の場合のプロセスは、図７の場合と同様であるが、結果は逆となる。
【００７２】
すなわち、被写体像が左方向に移動する場合は、画像Ａ６１４を右目用とし画像Ｂ６１５を左目用画像とする。また、被写体像が右方向に移動する場合は、画像Ａを左目用とし画像Ｂを右目用画像とする。
【実施例２】
【００７３】
図９は実施例２を説明するブロック図である。
図９の９０１は動画ファイルＡ、９０２は動画ファイルＢ、９０３は動画ファイルＡ、９０４は動画ファイルＢ、９０５はスタート、９０６はスタート、９０７は左右画像の制御を表す。
【００７４】
入力動画６０１は一対かつ同一の平面動画ファイルであり、一方を動画ファイルＡ９０１、他方を動画ファイルＢ９０２とする。
【００７５】
この入力動画６０１を「立体左右画像生成ブロック」６０４に入力する。ここではまず、動画ファイルＢ９０４を先行(進ませる)スタート９０６させる。その後動画ファイルＡ９０３が後行スタート９０５となる。再生中はこの状態が固定される。
【００７６】
次に、動画Ａ、Ｂの同期の一対画像である画像Ａ６１４と画像Ｂ６１５を「左右画像の制御ブロック」９０７に入力する。はじめに、画像Ａと画像Ｂを比較し被写体像移動方向と量を算出する。
【００７７】
次に、画面上の像移動方向が左方向の場合は、撮影が先の画像が左目用の左画像、後の画像が右目用の右画像とする。ここで、動画Ｂ６０７を先行(進ませる)させた場合、左目用の左画像は画像Ａとなり、右目用の右画像は画像Ｂとなる。従って、左目用の左画像を画像Ａ、右目用の右画像を画像Ｂとする。
【００７８】
画面上の像移動方向が右方向の場合は、撮影が先の画像を右目用の右画像、後の画像を左目用の左画像とする。ここで、動画Ｂ６０７を先行(進ませる)させた場合、左目用の左画像は画像Ｂとなり、右目用の右画像は画像Ａとなる。従って、左目用の左画像を画像Ｂとし、右目用の右画像を画像Ａとする。
【００７９】
ここで、動画Ａ、Ｂの同期の一対画像である画像Ａ６１４と画像Ｂ６１５は、「背景技術」のところで述べたように、立体画像の左右の撮影画面となる。
【００８０】
この制御は、画像Ａと画像Ｂの対を立体用画像対として出力する毎におこなう。
【００８１】
次に、画像Ａと画像Ｂを「立体画像処理ブロック」６１９で立体画像化の処理をおこなう。立体画像化する方式は種々知られており、方式に応じて立体画像処理がなされる。次に、「立体画像処理ブロック」から立体画像処理された「出力画像」６２０が出力される。
【００８２】
最後に、図示しないが、立体画像処理に応じた立体画像再生装置により、立体画像が再生される。
【００８３】
本発明は、同一の平面動画対の一方を動画Ａ他方を動画Ｂとし、動画Ａの画像Ａと、再生中は常に画像Ａと同一の動画Ｂの画像Ｂ0の後または前のいずれか一方の画像Ｂとを選択して、この画像Ａと画像Ｂの対を立体用画像対とし、被写体像の移動方向に応じて、画像Ａと画像Ｂの一方を立体画像の左目用、他方を右目用とすることを特徴とする。
【００８４】
従って、被写体像の左右変化が急激に起こった場合の立体化処理の追従性が改善される。また、変化点での左右の画像選択が正確に行える。
【００８５】
本発明はまた、動画Ａは動画ファイルＡ、動画Ｂは動画ファイルＢより再生されたものであり、動画ファイルＡに対して動画ファイルＢの再生のスタートを遅延または先行させることにより、立体用画像対用の画像Ａと画像Ｂを選択することを特徴とする。
【００８６】
従って、動画Ｂを回路的に進めるまたは遅延させる場合に比べ、簡単な構成で立体化処理ができる。
【００８７】
以上では、図９を用いて動画Ｂファイル９０４を先行(進ませる)スタート９０６させる場合について述べたが、図１０は動画ファイルＢ９０４を後行(遅らせる、遅延)スタート９０６させた場合の説明図である。図１０の場合のプロセスは、図９の場合と同様であるが、結果は逆となる。
【００８８】
すなわち、被写体像が左方向に移動する場合は、画像Ａを右目用とし画像Ｂを左目用画像とする。また、被写体像が右方向に移動する場合は、画像Ａを左目用とし画像Ｂを右目用画像とする。
【実施例３】
【００８９】
図１１は実施例３を説明するブロック図である。
図１１の１１０１は画像ＢＢを表す。
【００９０】
図１１の入力動画６０１は一対かつ同一の平面動画であり、一方を動画Ａ６０２、他方を動画Ｂ６０３とする。
【００９１】
この入力動画６０１を「立体左右画像生成ブロック」６０４内の「画像ＢＢ作成ブロック」に入力する。
【００９２】
ここではまず、動画Ａの画像Ａ６１４をメモリーに保存する。同時に、画像Ａと同じ動画Ｂの画像Ｂ0と後一定範囲の画像Ｂ群を「画像Ｂ群ブロック」６１３内のメモリーに保存する。
【００９３】
次に画像Ｂ群から任意の画像Ｂを選択して画像ＢＢ１１０１とする。
【００９４】
次に、「左右画像の制御ブロック」９０７に画像Ａ６１４と画像ＢＢ１１０１の対を同期させて入力する。ここではまず、画像Ａと画像ＢＢを比較し、画像内の被写体の移動方向と移動量（絶対値）を計算する。
【００９５】
次に、画面上の像移動方向が左方向の場合は、撮影が先の画像が左目用の左画像、後の画像が右目用の右画像とする。ここで、左目用の左画像は画像Ａとなり、右目用の右画像は画像ＢＢとなる。従って、左目用の左画像を画像Ａ、右目用の右画像を画像ＢＢとする。
【００９６】
画面上の像移動方向が右方向の場合は、撮影が先の画像を右目用の右画像、後の画像を左目用の左画像とする。ここで、左目用の左画像は画像ＢＢとなり、右目用の右画像は画像Ａとなる。従って、左目用の左画像を画像ＢＢ、右目用の右画像を画像Ａとする。
【００９７】
ここで、動画Ａ、Ｂの同期の一対画像である画像Ａ６１４と画像ＢＢ１１０１は、「背景技術」のところで述べたように、立体画像の左右の撮影画面となる。
【００９８】
「左右画像生成ブロック」での入力から出力の作業は、動画Ａの各画像の順に順次実行される。「左右画像生成ブロック」に入力する画像は、初回は画像Ａで１ヶ、画像Ｂで複数個であるが、次回からは画像Ａと画像Ｂが１ヶづつ入力され押し出される形で順次入れ替わる。
【００９９】
次に、画像Ａ、画像ＢＢを同期させて「左右画像の制御ブロック」９０７から出力する。
【０１００】
次に、「立体画像処理ブロック」６１９に左目用画像Ａと右目用画像ＢＢを入力する。ここで、立体画像化の処理をおこなう。立体画像化する方式は種々知られており、方式に応じて立体画像処理がなされる。次に、「立体画像処理ブロック」６１９から立体画像処理された「出力画像」６２０が出力される。
【０１０１】
最後に、図示しないが、立体画像処理に応じた立体画像再生装置により、立体画像が再生される。
【０１０２】
本発明は、同一の平面動画対の一方を動画Ａ他方を動画Ｂとし、動画Ａの画像Ａと、再生中は常に画像Ａと同一の動画Ｂの画像Ｂ0の後または前のいずれか一方の画像Ｂ（実施例では画像ＢＢ）とを選択して、この画像Ａと画像Ｂの対を立体用画像対とし、被写体像の移動方向に応じて、画像Ａと画像Ｂの一方を立体画像の左目用、他方を右目用とすることを特徴とする。
【０１０３】
従って、被写体像の左右変化が急激に起こった場合の立体化処理の追従性が改善される。また、変化点での左右の画像選択が正確に行える。
【０１０４】
本発明はまた、動画Ａの画像Ａと同一の動画Ｂの画像Ｂの後または前の一群の画像をメモリに保存することにより、立体用画像対用の画像Ａと画像Ｂ（実施例では画像ＢＢ）を選択することを特徴とする。
【０１０５】
従って、動画Ｂを回路的に進めるまたは遅延させる場合に比べ、簡単な構成で立体化処理ができる。
【０１０６】
以上では、図１１用いて画像Ｂ0とその後一定範囲の画像Ｂ群６１３を考えた場合について述べたが、図１２は画像Ｂ0とその前一定範囲の画像Ｂ群６１３を考えた場合の説明図である。図１２の場合のプロセスは、図１１の場合と同様であるが、結果は逆となる。
【０１０７】
すなわち、被写体像が左方向に移動する場合は、画像Ａ６１４を右目用とし画像ＢＢ１１０１を左目用画像とする。また、被写体像が右方向に移動する場合は、画像Ａ６１４を左目用とし画像ＢＢ１１０１を右目用画像とする。
【実施例４】
【０１０８】
図１３は実施例４を説明するブロック図である。
図１３の１３０１はＡＢ比較、１３０２は評価選択を表す。
【０１０９】
図１３の入力動画６０１は一対かつ同一の平面動画であり、一方を動画Ａ６０２、他方を動画Ｂ６０３とする。
【０１１０】
この入力動画６０１を「立体左右画像生成ブロック」６０４内の「画像ＢＢ作成ブロック」に入力する。
【０１１１】
ここではまず、動画Ａの画像Ａ６１４をメモリーに保存する。同時に、画像Ａと同じ動画Ｂの画像Ｂ0と後一定範囲の画像Ｂ群を「画像Ｂ群ブロック」６１３内のメモリーに保存する。
【０１１２】
次に、「ＡＢ比較ブロック」１３０１で画像Ａと画像Ｂ群６１３の画像Ｂを順に比較し、画像内の被写体の移動量（絶対値）と移動方向を計算する。
【０１１３】
次に、画像内の被写体の移動量（絶対値）が一定範囲内で最大値の画像Ｂを選択して画像ＢＢ１１０１とし、すべて一定範囲外の場合は画像Ａと同一の画像Ｂ0を選択して画像ＢＢ１１０１とする。下限距離や上限距離は画面の大きさに対する割合で定める。基準は立体感や不自然さ等を考慮して定める。
【０１１４】
次に、「左右画像の制御ブロック」９０７に画像Ａ６１４と画像ＢＢ１１０１の対を同期させて入力する。
【０１１５】
ここで、画面上の像移動方向が左方向の場合は、撮影が先の画像が左目用の左画像、後の画像が右目用の右画像とする。ここで、左目用の左画像は画像Ａとなり、右目用の右画像は画像ＢＢとなる。従って、左目用の左画像を画像Ａ、右目用の右画像を画像ＢＢとする。
【０１１６】
画面上の像移動方向が右方向の場合は、撮影が先の画像を右目用の右画像、後の画像を左目用の左画像とする。ここで、左目用の左画像は画像ＢＢとなり、右目用の右画像は画像Ａとなる。従って、左目用の左画像を画像ＢＢ、右目用の右画像を画像Ａとする。
【０１１７】
ここで、動画Ａ、Ｂの同期の一対画像である画像Ａ６１４と画像ＢＢ１１０１は、「背景技術」のところで述べたように、立体画像の左右の撮影画面となる。
【０１１８】
「左右画像生成ブロック」での入力から出力の作業は、動画Ａの各画像の順に順次実行される。「左右画像生成ブロック」に入力する画像は、初回は画像Ａで１ヶ、画像Ｂで複数個であるが、次回からは画像Ａと画像Ｂが１ヶづつ入力され押し出される形で順次入れ替わる。
【０１１９】
次に、画像Ａ、画像ＢＢを同期させて「左右画像の制御ブロック」９０７から出力する。
【０１２０】
次に、「立体画像処理ブロック」６１９に左目用画像Ａと右目用画像ＢＢを入力する。ここで、立体画像化の処理をおこなう。立体画像化する方式は種々知られており、方式に応じて立体画像処理がなされる。次に、「立体画像処理ブロック」６１９から立体画像処理された「出力画像」６２０が出力される。
【０１２１】
最後に、図示しないが、立体画像処理に応じた立体画像再生装置により、立体画像が再生される。
【０１２２】
本発明は、同一の平面動画対の一方を動画Ａ他方を動画Ｂとし、動画Ａの画像Ａと、再生中は常に画像Ａと同一の動画Ｂの画像Ｂ0の後または前のいずれか一方の画像Ｂ（実施例では画像ＢＢ）とを選択して、この画像Ａと画像Ｂの対を立体用画像対とし、被写体像の移動方向に応じて、画像Ａと画像Ｂの一方を立体画像の左目用、他方を右目用とすることを特徴とする。
【０１２３】
従って、被写体像の左右変化が急激に起こった場合の立体化処理の追従性が改善される。また、変化点での左右の画像選択が正確に行える。
【０１２４】
本発明はまた、動画Ａの画像Ａと同一の動画Ｂの画像Ｂの後または前の一群の画像をメモリに保存し、画像Ａと画像Ｂの比較することにより、立体用画像対用の画像Ａと画像Ｂ（実施例では画像ＢＢ）を選択することを特徴とする。
【０１２５】
従って、動画Ｂを回路的に進めるまたは遅延させる場合に比べ、簡単な構成で立体化処理ができる。また、適切な立体感を管理することができる。
【０１２６】
以上では、図１３用いて画像Ｂ0とその後一定範囲の画像Ｂ群６１３を考えた場合について述べたが、図１４は画像Ｂ0とその前一定範囲の画像Ｂ群６１３を考えた場合の説明図である。図１４の場合のプロセスは、図１３の場合と同様であるが、結果は逆となる。
【０１２７】
すなわち、被写体像が左方向に移動する場合は、画像Ａ６１４を右目用とし画像ＢＢ１１０１を左目用画像とする。また、被写体像が右方向に移動する場合は、画像Ａ６１４を左目用とし画像ＢＢ１１０１を右目用画像とする。
【実施例５】
【０１２８】
実施例１、２、３、４において、実施例の初期設定やコントロールに対して、マニュアルでコントロールできるようにする。
【０１２９】
例えば実施例１の初期設定としては、動画Ｂを先行(進ませる)または後行(遅らせる、遅延)させる場合の大きさがある。ここで、大きさは視差量の大きさに略比例する。従って、この大きさのマニュアルコントロールは立体感の指標である視差量のマニュアルコントロールとなる。以下同様である。
【０１３０】
例えば実施例２の初期設定としては、動画Ｂファイルを先行(進ませる)スタートまたは後行(遅らせる、遅延)スタートさせる場合の大きさがある。ここで、大きさは視差量の大きさに略比例する。
【０１３１】
例えば実施例３の初期設定としては、画像Ｂ群の範囲がある。
【０１３２】
例えば実施例３で、画像ＢＢの選択をマニュアルできるようにする。ここで、画像ＢＢの位置は視差量の大きさに略比例する。
【０１３３】
例えば実施例４の初期設定としては、画像Ｂ群の範囲がある。
【０１３４】
例えば実施例４で、画像ＢＢの選択のコントロールをマニュアルできるようにする。ここで、画像ＢＢの位置は視差量の大きさに略比例する。
【０１３５】
例えば実施例１、２、３、４の初期設定としては、制御に用いる主被写体像の選択がある。
【０１３６】
例えば実施例１、２、３、４で、画像Ａを右目用画像とするか左目用画像とするかのコントロールをマニュアルできるようにする。また、調整した場合、動画にマニュアルコントロールの履歴を加えて出力、記録して、次回の再生からこの履歴に従うようにする。これにより画像を確認しながら不自然なところを調整することができ、これを繰り返すことにより、精度の高い立体動画が作れる。
【実施例６】
【０１３７】
実施例１、２、３、４に、各種機能を追加する。
【０１３８】
例えば、画像Ａと画像Ｂの対により立体視するときに、画像Ａと画像Ｂは必ずしも一致しない。その場合の対応としては、画面の拡大縮小、画面からはみ出した部分のトリミング等をほどこして対応する。
【０１３９】
また上記で、画面内の複数の被写体像は必ずしも移動方向が一致しない。その場合は制御に用いる被写体像として主被写体像を選択して対応することができる。画面分割してその中心位置あるいは特定位置の被写体像を主被写体像として選択することもでき、また人物等の特別な被写体像を主被写体像として選択することもできる。この場合の主被写体像と逆の動きをする被写体は、画像Ａと画像Ｂで同じとすることもできる。
【０１４０】
これは上記実施例すべてに共通であるが，本特許は、カメラ機器に搭載すれば単レンズの立体画像撮像装置となり、立体再生機器に搭載すれば平面画像入力の立体表示装置となる。本特許を搭載した単独の装置は、平面画像信号を入力し立体画像信号に変換して出力する立体画像変換機器となる。入力は、カメラ機器でも再生装置でも良く、出力先は再生機器でも記録機器でも良い。
【産業上の利用可能性】
【０１４１】
立体画像は、左右のレンズを有する高価な立体カメラにより得られた一対の画像より作成されるため高価となる。また、一般に動画は平面画像であり、立体画像は極めて少ない。これに対して平面画像から立体画像を作成する方法により、安価に立体画像を製作できる。また、膨大な平面動画遺産を立体画像化することができる。本発明は、この平面画像から立体画像を作成する方法の性能改善、装置の簡素化等に寄与する。
【符号の説明】
【０１４２】
１０１ 被写体
１０２ カメラ
１０３ 撮影順１
１０４ 撮影順２
１０５ カメラ移動
１０６ 撮影範囲
１０７ 立体角
１０８ 画像Ａ
１０９ 画像Ｂ
１１０ 左目用撮影画面
１１１ 右目用撮影画面
１１２ 重ね合わせ像
１１３ 像移動
２０１ 左目用モニター画面
２０２ 右目用モニター画面
２０３ レンズ
２０４ 左目
２０５ 右目
２０６ 合成立体画
２０７ 被写体虚像距離
２０８ 立体角
４０１ 被写体移動
６０１ 入力動画
６０２ 動画Ａ
６０３ 動画Ｂ
６０４ 立体左右画像生成
６０５ 画像Ｂの先行後行制御
６０６ 動画Ａ
６０７ 動画Ｂ
６０８ 動画Ｂ
６０９ 遅延
６１０ 進ませる
６１１ 画像Ａ群
６１２ 画像Ｂ群
６１３ 画像Ｂ群
６１４ 画像Ａ
６１５ 画像Ｂ
６１６ 撮影順２
６１７ 撮影順１
６１８ 撮影順３
６１９ 立体画像処理
６２０ 出力画像
７０１ 左右画像の制御
７０２ 画像Ｂ0
９０１ 動画ファイルＡ
９０２ 動画ファイルＢ
９０３ 動画ファイルＡ
９０４ 動画ファイルＢ
９０５ スタート
９０６ スタート
９０７ 左右画像の制御
１１０１ 画像ＢＢ
１３０１ ＡＢ比較
１３０２ 評価選択
【図７】
2018121314.tif 000003
【図１】
2018121314.tif 000004
【図２】
2018121314.tif 000005
【図３】
2018121314.tif 000006
【図４】
2018121314.tif 000007
【図５】
2018121314.tif 000008
【図６】
2018121314.tif 000009
【図８】
2018121314.tif 000010
【図９】
2018121314.tif 000011
【図１０】
2018121314.tif 000012
【図１１】
2018121314.tif 000013
【図１２】
2018121314.tif 000014
【図１３】
2018121314.tif 000015
【図１４】
2018121314.tif 000016