(57)【特許請求の範囲】
【請求項１】
静止画像から立体情報を生成する画像処理装置であって、
静止画像を取得する画像取得手段と、
取得された前記静止画像の中からオブジェクトを抽出するオブジェクト抽出手段と、
取得された前記静止画像における特徴を利用して、消失点を含む仮想的な空間を表す空間構図を特定する空間構図特定手段と、
特定された前記空間構図に、抽出された前記オブジェクトを関連づけることによって前記仮想的な空間におけるオブジェクトの配置を決定し、決定された当該オブジェクトの配置から前記オブジェクトに関する立体情報を生成する立体情報生成手段と、
奥行きを表すための複数の線分から構成される空間構図情報を記憶する空間構図情報記憶手段とを備え、
前記特徴は、前記静止画像における奥行きを表す複数の線状のオブジェクトを含み、
前記空間構図特定手段は、
前記特徴と空間構図情報とをマッチングすることにより、前記空間構図情報記憶手段から一の空間構図情報を選択し、選択された当該空間構図情報を用いて前記空間構図を特定する
ことを特徴とする画像処理装置。
【請求項２】
前記画像処理装置は、さらに、
前記仮想的な空間内に仮想カメラを想定し、前記仮想カメラの位置を移動させる視点制御手段と、
前記仮想カメラによって、任意の位置から撮影した場合の画像を生成する画像生成手段と、
生成された前記画像を表示する画像表示手段と
を備えることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記視点制御手段は、
前記仮想カメラが、生成された前記立体情報が存在する範囲を移動するように制御する
ことを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記視点制御手段は、さらに、
前記仮想カメラが、前記オブジェクトが存在しない空間を移動するように制御する
ことを特徴とする請求項２記載の画像処理装置。
【請求項５】
前記視点制御手段は、さらに、
前記仮想カメラが、生成された前記立体情報が示す前記オブジェクトが存在する領域を撮影するように制御する
ことを特徴とする請求項２記載の画像処理装置。
【請求項６】
前記立体情報生成手段は、さらに、
前記オブジェクトが前記空間構図における地平面に接する接地点を算出し、前記オブジェクトが前記接地点の位置に存在する場合の前記立体情報を生成する
ことを特徴とする請求項１記載の画像処理装置。
【請求項７】
前記立体情報生成出段は、さらに、
前記オブジェクトの種類によって、前記オブジェクトが前記空間構図と接する面を変更する
ことを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記立体情報生成出段は、さらに、
前記オブジェクトが前記空間構図の地平面と接する接地点が算出できなかった場合に、前記オブジェクト若しくは前記地平面の少なくとも一つを、内挿若しくは外挿若しくは補間することで、地平面と接する仮想接地点を算出し、前記オブジェクトが前記仮想接地点の位置に存在する場合の前記立体情報を生成する
ことを特徴とする請求項６記載の画像処理装置。
【請求項９】
静止画像から立体情報を生成する画像処理方法であって、
静止画像を取得する画像取得ステップと、
取得された前記静止画像の中からオブジェクトを抽出するオブジェクト抽出ステップと、
取得された前記静止画像における特徴を利用して、消失点を含む仮想的な空間を表す空間構図を特定する空間構図特定ステップと、
特定された前記空間構図に、抽出された前記オブジェクトを関連づけることによって前記仮想的な空間におけるオブジェクトの配置を決定し、決定された当該オブジェクトの配置から前記オブジェクトに関する立体情報を生成する立体情報生成ステップと、
奥行きを表すための複数の線分から構成される空間構図情報を空間構図情報記憶手段に記憶する空間構図情報記憶ステップとを含み、
前記特徴は、前記静止画像における奥行きを表す複数の線状のオブジェクトを含み、
前記空間構図特定ステップは、
前記特徴と空間構図情報とをマッチングすることにより、前記空間構図情報記憶手段から一の空間構図情報を選択し、選択された当該空間構図情報を用いて前記空間構図を特定する
ことを特徴とする画像処理方法。
【請求項１０】
静止画像から立体情報を生成する画像処理装置に使用される、コンピュータに実行させるためのプログラムであって、
静止画像を取得する画像取得ステップと、
取得された前記静止画像の中からオブジェクトを抽出するオブジェクト抽出ステップと、
取得された前記静止画像における特徴を利用して、消失点を含む仮想的な空間を表す空間構図を特定する空間構図特定ステップと、
特定された前記空間構図に、抽出された前記オブジェクトを関連づけることによって前記仮想的な空間におけるオブジェクトの配置を決定し、決定された当該オブジェクトの配置から前記オブジェクトに関する立体情報を生成する立体情報生成ステップと、
奥行きを表すための複数の線分から構成される空間構図情報を空間構図情報記憶手段に記憶する空間構図情報記憶ステップとを含み、
前記特徴は、前記静止画像における奥行きを表す複数の線状のオブジェクトを含み、
前記空間構図特定ステップは、
前記特徴と空間構図情報とをマッチングすることにより、前記空間構図情報記憶手段から一の空間構図情報を選択し、選択された当該空間構図情報を用いて前記空間構図を特定する
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画像から立体画像を生成する技術に関し、特に静止画像の中から人や物、動物、建造物などのオブジェクトを抽出し、当該オブジェクトを含む静止画像全体についての奥行きを示す情報である立体情報を生成する技術に関する。
【背景技術】
【０００２】
従来の静止画像から立体情報を得る方法として、複数のカメラで撮った静止画像から任意視点方向の立体情報を生成する手法がある。撮像時に画像に関する立体情報を抽出することにより、撮像時と異なる視点や視線方向における画像を生成する方法が示されている（例えば、特許文献１参照）。これは、画像を入力する左右の画像入力部と、被写体の距離情報を演算する距離演算部などを有しており、任意の視点及び視線方向から見た画像を生成する画像処理回路を備えている。同趣旨の従来技術としては特許文献２や特許文献３があり、複数の画像および視差をそれぞれ記録する汎用性の高い画像記録再生装置が提示されている。
【０００３】
また、特許文献４には、少なくとも異なる３つの位置から物体を撮像して、物体の正確な３次元形状を高速で認識する手法が示されており、他にも複数カメラ系は、他にも特許文献５など多数提示されている。
【０００４】
また、特許文献６は、１台のカメラで物体を回転させることなくその形状を取得することを目的として、魚眼レンズを付けたテレビカメラで、移動物体（車両）を一定の区間の間撮影し、その各撮影画像から背景画像を除去して車両のシルエットを求めている。各画像の車両タイヤの接地点の移動軌跡を求め、これより、カメラの視点と各画像における車両との相対位置を求める。この相対位置関係で投影空間に対し各シルエットを配し、その各シルエットを投影空間に投影して、車両の形状を取得している。複数画像から立体情報の取得を行う手法としては、エピポーラによる手法が広く知られているが、この特許文献６では、複数のカメラで対象物の複数視点の画像を得る代わりに、移動物体を対象として時系列的に複数の画像を得ることで立体情報の取得を行っている。
【０００５】
また、単一の静止画像から３次元構造を抽出し表示する手法としては、ＨＯＬＯＮ社製パッケージソフトとして「Motion Impact」が挙げられる。これは、一枚の静止画像から仮想的に立体情報を作り出すものであり、以下のステップで立体情報を構築する。
【０００６】
１）オリジナル画像（画像Ａ）を用意する。
【０００７】
２）別途画像処理ソフト（レタッチソフトなど）を使用し、オリジナル画像か    ら「立体化させるオブジェクトを消した画像（画像Ｂ）」と「立体化させる    オブジェクトのみをマスク化した画像（画像Ｃ）」を作る。
【０００８】
３）画像Ａ〜Ｃをそれぞれ「Motion Impact」に登録する。
【０００９】
４）オリジナル画像中の消失点を設定し、写真に立体的な空間を設定する。
【００１０】
５）立体化させたいオブジェクトを選択する。
【００１１】
６）カメラアングルやカメラモーションを設定する。
【００１２】
図1は、上記従来技術における静止画像から立体情報を生成し、さらに立体的な映像を生成するまでの処理の流れを示すフローチャートである（なお、図1における各ステップのうち、内部をメッシュで表したステップがユーザの手作業によるステップである）。
【００１３】
静止画像が入力されると、ユーザの手作業によって空間構図を表す情報（以下「空間構図情報」という。）が入力される（Ｓ９００）。具体的には、消失点の個数が決定され（Ｓ９０１）、消失点の位置が調整され（Ｓ９０２）、空間構図の傾きが入力され（Ｓ９０３）、空間構図の位置やサイズについて調整される（Ｓ９０４）。
【００１４】
次に、ユーザによって、オブジェクトをマスク化したマスク画像が入力され（Ｓ９１０）、マスクの配置と空間構図情報から立体情報が生成される（Ｓ９２０）。具体的には、ユーザによって、オブジェクトがマスクされた領域の選択（Ｓ９２１）およびオブジェクトの１辺（又は１面）が選択されると（Ｓ９２２）、それが空間構図と接触しているか否かが判断され（Ｓ９２３）、非接触の場合は（Ｓ９２３：Ｎｏ）、非接触である旨が入力され（Ｓ９２４）、接触している場合は（Ｓ９２３：Ｙｅｓ）、接触している部分の座標が入力される（Ｓ９２５）。以上の処理をオブジェクトのすべての面について実施する（Ｓ９２２〜Ｓ９２６）。
【００１５】
さらに、上記の処理をすべてのオブジェクトについて実施後（Ｓ９２１〜Ｓ９２７）、空間構図で規定される空間に全てのオブジェクトをマッピングし、立体的な映像を生成するための立体情報を生成する（Ｓ９２８）。
【００１６】
このあと、ユーザにより、カメラワークに関する情報が入力される（Ｓ９３０）。具体的には、ユーザによって、カメラを移動する経路が選択されると（Ｓ９３１）、そのプレビュー後（Ｓ９３２）、最終的なカメラワークが決定される（Ｓ９３３）。
【００１７】
以上の処理が終わると、上記ソフトの一機能であるモーフィングエンジンによって奥行き感が付加され（Ｓ９４０）、ユーザに提示する映像が完成する。
【特許文献１】特開平０９−００９１４３号公報
【特許文献２】特開平０７−０４９９４４号公報
【特許文献３】特開平０７−０９５６２１号公報
【特許文献４】特開平０９−０９１４３６号公報
【特許文献５】特開平０９−３０５７９６号公報
【特許文献６】特開平０８−０４３０５６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１８】
以上のように、従来、複数の静止画像若しくは複数のカメラで得られた静止画増から立体情報を得る手法は数多く示されている。
【００１９】
一方、静止画像の内容について３次元構造を自動的に解析し表示する手法はまだ確立されておらず、上記のように殆どが手作業に頼っている。
【００２０】
図１に示すように、従来技術においては、ほとんど全てを手作業で行う必要がある。言い換えると、唯一、立体情報を生成した後のカメラワークについて、カメラ位置を都度手入力するためのツールのみが提供されている状態である。
【００２１】
上記のように、静止画像の中の各オブジェクトを手作業で抜き出し、また背景となる画像も手作業で別途作成し、更に、消失点などの製図的な空間情報も手作業で個別に設定した上で、各オブジェクトを手作業で仮想的な立体情報にマッピングしている状況であり、容易には立体情報を作成できないという課題がある。また、消失点が画像外に有る場合には全く対応が出来ないといった課題もある。
【００２２】
さらに、３次元構造の解析結果後の表示についても、カメラワークの設定が煩雑であったり、奥行き情報を用いたエフェクトが考慮されていないといった課題を有している。これは、特にエンターテイメント向けの利用において大きな問題となる。
【００２３】
本発明は、上記従来の課題を解決するものであり、静止画像から立体情報を生成する際のユーザの作業負荷を軽減し得る画像処理装置等を提供することを目的とする。
【課題を解決するための手段】
【００２４】
上記の従来課題を解決するために、本発明に係る画像処理装置は、静止画像から立体情報を生成する画像処理装置であって、静止画像を取得する画像取得手段と、取得された前記静止画像の中からオブジェクトを抽出するオブジェクト抽出手段と、取得された前記静止画像における特徴を利用して、消失点を含む仮想的な空間を表す空間構図を特定する空間構図特定手段と、特定された前記空間構図に、抽出された前記オブジェクトを関連づけることによって前記仮想的な空間におけるオブジェクトの配置を決定し、決定された当該オブジェクトの配置から前記オブジェクトに関する立体情報を生成する立体情報生成手段と奥行きを表すための複数の線分から構成される空間構図情報を記憶する空間構図情報記憶手段とを備え、前記特徴は、前記静止画像における奥行きを表す複数の線状のオブジェクトを含み、前記空間構図特定手段は、前記特徴と空間構図情報とをマッチングすることにより、前記空間構図情報記憶手段から一の空間構図情報を選択し、選択された当該空間構図情報を用いて前記空間構図を特定する。
【００２５】
本構成によって、一枚の静止画像から立体情報を自動的に生成するため、立体情報を生成する際のユーザの手間を軽減することができる。
【００２６】
また、前記画像処理装置は、さらに、前記仮想的な空間内にカメラを想定し、当該カメラの位置を移動させる視点制御手段と、前記カメラによって、任意の位置から撮影した場合の画像を生成する画像生成手段と、生成された前記画像を表示する画像表示手段とを備えることを特徴とする。
【００２７】
本構成によって、生成された立体情報を用いて、静止画像から派生させた新しい画像を生成することが可能となる。
【００２８】
また、前記視点制御手段は、前記カメラが、生成された前記立体情報が存在する範囲を移動するように制御することを特徴とする。
【００２９】
本構成によって、仮想空間内を移動するカメラから撮影された画像が、データの無い部分を映し出すことが無くなり、画像の品質を向上させることができる。
【００３０】
また、前記視点制御手段は、さらに、前記カメラが、前記オブジェクトが存在しない空間を移動するように制御することを特徴とする。
【００３１】
本構成によって、仮想空間内を移動するカメラから撮影された画像が、オブジェクトへの衝突や通過を回避することができ、画像の品質を向上させることができる。
【００３２】
また、前記視点制御手段は、さらに、前記カメラが、生成された前記立体情報が示す前記オブジェクトが存在する領域を撮影するように制御することを特徴とする。
【００３３】
本構成によって、仮想空間内を移動するカメラがパンやズーム、回転等を行った際に、オブジェクトの裏面にデータが無かった、などという品質低下を防ぐことができる。
【００３４】
また、前記視点制御手段は、さらに、前記カメラが、前記消失点の方向へ移動するように制御することを特徴とする。
【００３５】
本構成によって、仮想空間内を移動するカメラから撮影された画像が、画像に入り込んでいくような視覚的効果を得ることができ、画像の品質を向上させることができる。
【００３６】
また、前記視点制御手段は、さらに、前記カメラが、生成された前記立体情報が示す前記オブジェクトの方向へ進むように制御することを特徴とする。
【００３７】
本構成によって、仮想空間内を移動するカメラから撮影された画像が、オブジェクトに近づいていくような視覚的効果を得ることができ、画像の品質を向上させることができる。
【００３８】
また、前記オブジェクト抽出手段は、抽出された前記オブジェクトの中から２以上の非並行の線状のオブジェクトを特定し、前記空間構図特定手段は、さらに、特定された前記２以上の線状のオブジェクトを延長することによって、１以上の消失点の位置を推定し、特定された前記２以上の線状のオブジェクトと前記推定された消失点の位置とから前記空間構図を特定することを特徴とする。
【００３９】
本構成によって、静止画像から立体情報を自動的に抽出し、空間構図情報を的確に反映することができ、生成する画像全体の品質を向上させることができる。
【００４０】
また、前記空間構図特定手段は、さらに、前記静止画像の外部においても前記消失点を推定することを特徴とする。
【００４１】
本構成によって、画像内に消失点が無いような画像（ほとんどのスナップ写真など、一般写真の大多数を占める画像）についても、空間構図情報を的確に取得することができ、生成する画像全体の品質を向上させることができる。
【００４２】
また、前記画像処理装置は、さらに、ユーザからの指示を受け付けるユーザインタフェース手段を備え、前記空間構図特定手段は、さらに、受け付けられたユーザからの指示に従って、特定された前記空間構図を修正することを特徴とする。
【００４３】
本構成によって、容易に空間構図情報についてのユーザ意図を反映することができ、全体の品質の向上を図ることができる。
【００４４】
また、前記画像処理装置は、さらに、空間構図のひな形となる空間構図テンプレートを記憶する空間構図テンプレート記憶手段を備え、前記空間構図特定手段は、取得された前記静止画像における特徴を利用して前記空間構図テンプレート記憶手段から一の空間構図テンプレートを選択し、選択された当該空間構図テンプレートを用いて前記空間構図を特定するように構成することもできる。
【００４５】
また、前記立体情報生成手段は、さらに、前記オブジェクトが前記空間構図における地平面に接する接地点を算出し、前記オブジェクトが前記接地点の位置に存在する場合の前記立体情報を生成することを特徴とする。
【００４６】
本構成によって、オブジェクトの空間配置をより的確に指定することができ、画像全体の品質を向上させることができる。例えば、ヒトの全身像が写っている写真の場合は、ヒトの足元と地平面との接点を算出することで、ヒトをより正しい空間位置にマッピングすることが可能となる。
【００４７】
また、前記立体情報生成出段は、さらに、前記オブジェクトの種類によって、前記オブジェクトが前記空間構図と接する面を変更することを特徴とする。
【００４８】
本構成によって、オブジェクトの種類によって接地面の変更が可能となり、より現実感の高い空間配置を得ることができ、画像全体の品質を向上させることができる。例えば、ヒトであれば地平面と足もとの接点を用い、看板であれば、側面との接点を用い、電灯であれば天井面との接点を用いるなど、適応的な対応が可能となる。
【００４９】
また、前記立体情報生成出段は、さらに、前記オブジェクトが前記空間構図の地平面と接する接地点が算出できなかった場合に、前記オブジェクト若しくは前記地平面の少なくとも一つを、内挿若しくは外挿若しくは補間することで、地平面と接する仮想接地点を算出し、前記オブジェクトが前記仮想接地点の位置に存在する場合の前記立体情報を生成することを特徴とする。
【００５０】
本構成によって、例えばバストアップで写っている人物など地平面との接点が無い場合でも、オブジェクトの空間配置をより的確に指定することができ、画像全体の品質を向上させることができる。
【００５１】
また、前記立体情報生成手段は、さらに、前記オブジェクトに所定の厚みを付与して空間に配置し、前記立体情報を生成することを特徴とする。
【００５２】
本構成によって、より自然なオブジェクトを空間に配置することができ、画像全体の品質を向上させることができる。
【００５３】
また、前記立体情報生成手段は、さらに、前記オブジェクトの周囲をぼかす又は尖鋭にする画像処理を付加して、前記立体情報を生成することを特徴とする。
【００５４】
本構成によって、より自然なオブジェクトを空間に配置することができ、画像全体の品質を向上させることができる。
【００５５】
また、前記立体情報生成手段は、さらに、前記オブジェクトの影に隠れていることにより欠如している背景のデータ又は他のオブジェクトのデータの少なくとも一方を、隠れていないデータを用いて構成することを特徴とする。
【００５６】
本構成によって、より自然なオブジェクトを空間に配置することができ、画像全体の品質を向上させることができる。
【００５７】
また、前記立体情報生成手段は、さらに、前記オブジェクトの背面や側面を表すデータを、前記オブジェクトの前面のデータから構成することを特徴とする。
【００５８】
本構成によって、より自然なオブジェクトを空間に配置することができ、画像全体の品質を向上させることができる。
【００５９】
また、前記立体情報生成手段は、前記オブジェクトの種類に基づいて、前記オブジェクトに関する処理を動的に変化させることを特徴とする。
【００６０】
本構成によって、より自然なオブジェクトを空間に配置することができ、画像全体の品質を向上させることができる。
【００６１】
なお、本発明は、上記画像処理装置における特徴的な構成手段をステップとする画像処理方法として実現したり、それらステップをパーソナルコンピュータ等に実行させるプログラムとして実現することもできる。そして、そのプログラムをＤＶＤ等の記録媒体やインターネット等の伝送媒体を介して広く流通させることができるのは云うまでもない。
【発明の効果】
【００６２】
本発明に係る画像処理装置によれば、従来では成しえなかった非常に簡便な操作で、写真（静止画像）から３次元情報を生成に奥行きを持った画像に再構築することができる。また、３次元空間内を仮想的なカメラで移動撮影することにより、煩雑な作業をすることなしに、従来では成しえなかった、静止画の中を動画として楽しむことができ、新しい写真の楽しみ方を提供することができる。
【発明を実施するための最良の形態】
【００６３】
以下、本発明に係る実施の形態について、図面を参照しながら詳細に説明する。なお、以下の実施の形態において、本発明について図面を用いて説明するが、本発明はこれらに限定されることを意図しない。
【００６４】
（実施の形態１）
図２は、本実施の形態に係る画像処理装置の機能構成を示すブロック図である。画像処理装置１００は、静止画像（「原画像」ともいう。）から立体情報（３次元情報ともいう。）を生成し、生成された立体情報を用いて新たな画像を生成して立体的な映像をユーザに提示し得る装置であり、画像取得部１０１、空間構図テンプレート記憶部１１０、空間構図ユーザＩＦ部１１１、空間構図特定部１１２、オブジェクトテンプレート記憶部１２０、オブジェクトユーザＩＦ部１２１、オブジェクト抽出部１２２、立体情報生成部１３０、立体情報ユーザＩＦ部１３１、情報補正ユーザＩＦ部１４０、情報補正部１４１、立体情報記憶部１５０、立体情報比較部１５１、スタイル／エフェクトテンプレート記憶部１６０、エフェクト制御部１６１、エフェクトユーザＩＦ部１６２、画像生成部１７０、画像表示部１７１、視点変更テンプレート記憶部１８０、視点制御部１８１、視点制御ユーザＩＦ部１８２、カメラワーク設定用画像生成部１９０を備える。
【００６５】
画像取得部１０１は、ＲＡＭやメモリカード等の記憶装置を備え、デジタルカメラやスキャナ等を介して静止画像又は動画におけるフレーム毎の画像の画像データを取得し、当該画像に対して２値化およびエッジ抽出を行う。なお、以下では、上記の取得した静止画像又は動画におけるフレーム毎の画像を「静止画像」で総称する。
【００６６】
空間構図テンプレート記憶部１１０は、ＲＡＭ等の記憶装置を備え、空間構図特定部１１２において使用する空間構図テンプレートを記憶する。ここで、「空間構図テンプレート」とは、静止画像における奥行きを表すための複数の線分から構成される骨組みをいい、各線分の始点および終点の位置、線分の交点の位置を表す情報に加え、静止画像における基準長さ等の情報も有している。
【００６７】
空間構図ユーザＩＦ部１１１は、マウス、キーボードおよび液晶パネル等を備え、ユーザからの指示を受け付けて空間構図特定部１１２に通知する。
【００６８】
空間構図特定部１１２は、取得された静止画像のエッジ情報や後述のオブジェクト情報などに基づいて、この静止画像についての空間構図（以下、単に「構図」ともいう。）を決定する。また、空間構図特定部１１２では、必要に応じて、空間構図テンプレート記憶部１１０から空間構図テンプレートを選択して（さらに、必要に応じて選択した空間構図テンプレートを修正し、）空間構図を特定する。さらに、空間構図特定部１１２は、オブジェクト抽出部１２２において抽出されたオブジェクトを参考にして、空間構図を決定又は修正してもよい。
【００６９】
オブジェクトテンプレート記憶部１２０は、ＲＡＭ又はハードディスク等の記憶装置を備え、上記取得した原画像の中からオブジェクトを抽出するためのオブジェクトテンプレートやパラメータなどを記憶する。
【００７０】
オブジェクトユーザＩＦ部１２１は、マウスやキーボード等を備え、静止画像からオブジェクトを抽出するために用いる手法（テンプレートマッチやニューラルネット、色情報など）を選択したり、上記の手法によってオブジェクト候補として提示された中からオブジェクトを選択したり、オブジェクト自体を選択したり、選択されたオブジェクトの修正やテンプレートの追加、オブジェクトを抽出する手法の追加などに際して、ユーザからの操作を受け付ける。
【００７１】
オブジェクト抽出部１２２は、静止画像からオブジェクトを抽出し、そのオブジェクトの位置、数、形状および種類等のオブジェクトに関する情報（以下「オブジェクト情報」という。）を特定する。この場合、抽出するオブジェクトについては、予めその候補（例えば、人、動物、建物、植物等）が決められているものとする。さらに、オブジェクト抽出部１２２は、必要に応じて、オブジェクトテンプレート記憶部１２０のオブジェクトテンプレートを参照し、各テンプレートと静止画像のオブジェクトとの相関値に基づくオブジェクトの抽出も行う。また、上記空間構図特定部１１２において決定された空間構図を参考にして、オブジェクトを抽出したり、そのオブジェクトを修正してもよい。
【００７２】
立体情報生成部１３０は、空間構図特定部１１２で決定された空間構図やオブジェクト抽出部１２２で抽出されたオブジェクト情報、立体情報ユーザＩＦ部１３１を介してユーザから受け付けた指示等に基づいて、取得した静止画像に関する立体情報を生成する。さらに、立体情報生成部１３０は、ＲＯＭやＲＡＭ等を備えるマイクロコンピュータであり、画像処理装置１００全体の制御を行う。
【００７３】
立体情報ユーザＩＦ部１３１は、マウスやキーボード等を備え、ユーザからの指示によって立体情報を変更する。
【００７４】
情報補正ユーザＩＦ部１４０は、マウス、キーボード等を備え、ユーザからの指示を受け付けて、情報補正部１４１に通知する。
【００７５】
情報補正部１４１は、情報補正ユーザＩＦ部１４０を介して受け付けたユーザの指示に基づいて、誤って抽出されたオブジェクトの補正、又は誤って特定された空間構図や立体情報を補正する。この場合、その他の補正手法として、例えばそれまでのオブジェクトの抽出、空間構図の特定又は立体情報の生成結果に基づいて規定されたルールベースに基づく補正等がある。
【００７６】
立体情報記憶部１５０は、ハードディスク等の記憶装置を備え、作成中の立体情報や過去に生成された立体情報を記憶する。
【００７７】
立体情報比較部１５１は、過去に生成された立体情報の全体若しくは一部と、現在処理中の（若しくは処理済の）立体情報の全体若しくは一部とを比較し、類似点や合致点が確認された場合に、立体情報生成部１３０に対して立体情報をより充実させるための情報を提供する。
【００７８】
スタイル／エフェクトテンプレート記憶部１６０は、ハードディスク等の記憶装置を備え、画像生成部１７０において生成する画像に付加する、トランジション効果や、色調変換など任意のエフェクト効果に関するプログラム、データ、スタイル又はテンプレート等を記憶する。
【００７９】
エフェクト制御部１６１は、画像生成部１７０において生成する新たな画像にトランジション効果や色調変換など、任意のエフェクト効果を加える。このエフェクト効果は、全体として統一感を出すために所定のスタイルに沿ったエフェクト群を用いることとしてもよい。さらに、エフェクト制御部１６１は、新しいテンプレート等をスタイル／エフェクトテンプレート記憶部１６０に追加し、又は参照したテンプレート等の編集を行う。
【００８０】
エフェクトユーザＩＦ部１６２は、マウスやキーボード等を備え、ユーザからの指示をエフェクト制御部１６１に通知する。
【００８１】
画像生成部１７０は、立体情報生成部１３０で生成された立体情報に基づいて上記静止画像を立体的に表現する画像を生成する。具体的には、上記生成された立体情報を用いて、静止画像から派生させた新たな画像を生成する。また、３次元画像は模式的であっても良く、カメラ位置やカメラ向きを３次元画像内に表示してもよい。さらに、画像生成部１７０は、別途指定される視点情報や表示エフェクト等を用いて新たな画像を生成する。
【００８２】
画像表示部１７１は、例えば液晶パネルやＰＤＰ等の表示装置であり、画像生成部１７０において生成された画像や映像をユーザに提示する。
【００８３】
視点変更テンプレート記憶部１８０は、予め決められたカメラワークの３次元的な動きを示す視点変更テンプレートを記憶する。
【００８４】
視点制御部１８１は、カメラワークとしての視点位置の決定を行う。この際、視点制御部１８１は、視点変更テンプレート記憶部１８０に記憶されている視点変更テンプレートを参照してもよい。さらに、視点制御部１８１は、視点制御ユーザＩＦ部１８２を介して受け付けたユーザの指示に基づいて、視点変更テンプレートの作成、変更および削除等を行う。
【００８５】
視点制御ユーザＩＦ部１８２は、マウスやキーボード等を備え、ユーザから受け付けた視点位置の制御に関する指示を視点制御部１８１に通知する。
【００８６】
カメラワーク設定用画像生成部１９０は、ユーザがカメラワークを決める際の参照となるような現在のカメラ位置から見た時の画像を生成する。
【００８７】
なお、本実施の形態に係る画像処理装置１００の構成要素として、上記の機能要素（即ち、図２において「〜部」として表した部署）の全てが必須というわけではなく、必要に応じて機能要素を選択して画像処理装置１００を構成できることは言うまでもない。
【００８８】
以下、上記のように構成される画像処理装置１００における各部の機能について詳細に説明する。以下では、オリジナルの静止画像（以下「原画像」という。）から立体情報を生成し、さらに、立体的な映像を生成する実施の形態について説明する。
【００８９】
まず、空間構図特定部１１２及びその周辺の部署の機能について説明する。
【００９０】
図３（ａ）は、本実施の形態に係る原画像の一例である。また、図３（ｂ）は、上記原画像を２値化した２値化画像の一例である。
【００９１】
空間構図を決定するためには、大まかなに空間構図を抽出することが重要であり、まず、原画像から主たる空間構図（以下「概略空間構図」という。）を特定する。ここでは、概略空間構図を抽出するために、「２値化」を行い、その後、テンプレートマッチによる当て嵌めを行う実施例を示す。勿論、２値化及びテンプレートマッチは概略空間構図を抽出する手法の一例に過ぎず、これら以外の任意の手法を用いて概略空間構図を抽出してもよい。さらに、概略空間構図を抽出することなく、直接、詳細な空間構図を抽出してもよい。なお、以下では、概略空間構図および詳細な空間構図を総称して「空間構図」という。
【００９２】
最初に、画像取得部１０１は、図３（ｂ）に示すように、原画像２０１を２値化して２値化画像２０２を得て、さらに、２値化画像２０２からエッジ抽出画像を得る。
【００９３】
図４（ａ）は、本実施の形態に係るエッジ抽出例であり、図４（ｂ）は、空間構図の抽出例であり、図４（ｃ）は、空間構図を確認するための表示例である。
【００９４】
画像取得部１０１は、２値化後、２値化画像２０２に対してエッジ抽出を行い、エッジ抽出画像３０１を生成し、空間構図特定部１１２およびオブジェクト抽出部１２２に出力する。
【００９５】
空間構図特定部１１２は、エッジ抽出画像３０１を用いて空間構図を生成する。より具体的に説明すると、空間構図特定部１１２は、エッジ抽出画像３０１から非並行の２以上の直線を抽出し、これらの直線を組み合わせた「骨組み」を生成する。この「骨組み」が空間構図である。
【００９６】
図４（ｂ）における空間構図抽出例３０２は、上記のように生成された空間構図の一例である。さらに、空間構図特定部１１２は、空間構図ユーザＩＦ部１１１を介して受け付けたユーザの指示により、空間構図確認画像３０３における空間構図が原画像の内容に合致するように補正する。ここで、空間構図確認画像３０３は、上記空間構図の適否を確認するための画像であり、原画像２０１と空間構図抽出例３０２とを合成した画像である。なお、ユーザによって、修正等を行う場合や他の空間構図抽出を適用する場合又は空間構図抽出例３０２を調整する場合などについても空間構図ユーザＩＦ部１１１を介して受け付けたユーザの指示に従う。
【００９７】
なお、上記の実施の形態では、原画像を「２値化」することによってエッジ抽出を行ったが、この方法に限定されるものでは無く、既存の画像処理方法を用いて、若しくはそれらの組み合わせによってエッジ抽出を行ってもよいことは言うまでも無い。既存の画像処理方法としては、色情報を用いるものや輝度情報を用いるもの、直交変換やウェーブレット変換を用いるもの、各種１次元／多次元フィルタを用いるものなどが有るがこれらに限定されない。
【００９８】
なお、空間構図は、上記のようにエッジ抽出画像から生成する場合に限らず、空間構図を抽出するために、予め用意しておいた空間構図のひな形である「空間構図抽出用テンプレート」を用いて決定してもよい。
【００９９】
図５（ａ）、（ｂ）は、空間構図抽出用テンプレートの一例である。空間構図特定部１１２では、必要に応じて空間構図テンプレート記憶部１１０から、図５（ａ）、（ｂ）に示すような空間構図抽出用テンプレートを選択し、原画像２０１と合成してマッチングを行い、最終的な空間構図を決定することも可能とする。
【０１００】
以下、空間構図抽出用テンプレートを用いて空間構図を決定する実施例について説明を行うが、空間構図抽出用テンプレートを用いずにエッジ情報やオブジェクトの配置情報（どこに何があるかを示す情報）から空間構図を推定してもよい。更に、セグメンテーション（領域分割）や直交変換・ウェーブレット変換、色情報、輝度情報など、既存の画像処理手法を任意に組み合わせて空間構図を決定することもできる。一例を挙げると、領域分割された各領域の境界面が向いている方向に基づいて空間構図を決定してもよい。また、静止画像に付帯するメタ情報（ＥＸＩＦなど任意のタグ情報）を利用してもよい。例えば、「焦点距離と被写体深度から、後述の消失点が画像内にあるかどうかの判断を行う」など、任意のタグ情報を用いて空間構図抽出に用いることが出来る。
【０１０１】
また、テンプレートの入力、修正又は変更や空間構図情報そのものの入力、修正又は変更などユーザの欲する全ての入出力を行うインタフェースとして、空間構図ユーザＩＦ部１１１を用いることも出来る。
【０１０２】
図５（ａ）、（ｂ）では、各空間構図抽出用テンプレートにおける消失点ＶＰ４１０を示されている。この例では、消失点が１点の場合を示しているが、消失点が複数あってもよい。空間構図抽出用テンプレートは、後述するようにこれらに限られるものではなく、奥行き情報を持つ（若しくは持っているように知覚できる）任意の画像に対応するようなテンプレートである。
【０１０３】
さらに、空間構図抽出用テンプレート４０１から空間構図抽出用テンプレート４０２のように、消失点の位置を移動することで、一つのテンプレートから類似する任意のテンプレートを生成することも出来る。また、消失点までに壁が存在する場合も有る。この場合は、正面奥壁４２０のように空間構図抽出用テンプレート内に（奥方向の）壁を設定することも出来る。正面奥壁４２０の奥方向の距離も消失点と同様に移動することが出来ることは言うまでもない。
【０１０４】
空間構図抽出用テンプレートの例としては、空間構図抽出テンプレート例４０１や空間構図抽出テンプレート例４０２のような消失点が一つである場合のほか、図１１の空間構図抽出テンプレート例１０１０のように、２つの消失点（消失点１００１、消失点１００２）を持つ場合や、図１２の空間構図抽出用テンプレート１１１０のように、壁が２方向から交わっているような場合（これも２消失点といえる）、図１３の空間構図抽出用テンプレート１２１０のように、縦型になっている場合、図１８（ａ）のカメラ移動例１７００に示すような地平線（水平線）のように、消失点が線状になっている場合、図１８（ｂ）のカメラ移動例１７５０のように、画像範囲外に消失点があるような場合など、製図やＣＡＤ、設計などの分野で一般的に用いられている空間構図を任意に用いることが出来る。
【０１０５】
なお、図１８（ｂ）のカメラ移動例１７５０のように、画像範囲外に消失点があるような場合については、図６の拡大型空間構図抽出用テンプレート５２０や拡大型の空間構図抽出用テンプレート５２１のように、空間構図抽出用テンプレートを拡大して用いることが出来る。この場合、図６（ａ）、（ｂ）における画像範囲例５０１、画像範囲例５０２および画像範囲例５０３のように、消失点が画像の外部にあるような画像についても消失点を設定することが可能になる。
【０１０６】
なお、空間構図抽出用テンプレートに関しては、消失点の位置など空間構図に関する任意のパラメータを自由に変更することもできる。例えば、図１０の空間構図抽出用テンプレート９１０では、消失点９１０の位置や正面奥壁９０２の壁高９０３、壁幅９０４などを変更することにより、様々な空間構図に対してより柔軟に対応することができる。同様に、図１１の空間構図抽出用テンプレート１０１０では、二つの消失点（消失点１００１と消失点１００２）の位置を任意に動かす例を示している。当然、変更する空間構図のパラメータは、消失点や正面奥壁に限られるものではなく、側壁面、天井面、正面奥壁面など空間構図内の任意の対象について、そのパラメータを変更することができる。更に、これらの面の傾きや空間配置上における位置など、面に関する任意の状態をサブパラメータとして利用することが出来る。また、変更方法も上下左右に限られるものでなく、回転やモーフィング、アフィン変換などによる変形などを行ってもよい。
【０１０７】
これらの変換や変更は、画像処理装置１００に用いるハードウェアのスペックやユーザインタフェース上の要求などに応じて、任意に組み合わせることができる。例えば、比較的ロースペックのＣＰＵで実装する場合には、予め用意する空間構図抽出用テンプレートの数を削減し、変換や変更も極力少ないものとして、その中から最も近い空間構図抽出用テンプレートをテンプレートマッチにより選択することが考えられる。また、記憶装置が比較的潤沢にある画像処理装置１００の場合には、予め多くのテンプレートを用意しておき、記憶装置上に保存し、変換や変更に要する時間を抑えるとともに、短時間で精度の良いマッチング成果を上げられるように、用いる空間構図抽出用テンプレートを階層的に分類して構成しておくこともできる（ちょうど高速検索を行うデータベース上のデータ配置と同様にテンプレートを配置することができる）。
【０１０８】
なお、図１２の空間構図抽出テンプレート例１１００や空間構図抽出テンプレート例１１１０では、消失点、正面奥壁のほか、稜線（稜線１１０３、稜線１１１３）の位置、稜線の高さ（稜線高１１０４、稜線高１１１４）を変更する例を示している。同様に、図１３では、縦型の空間構図の場合の消失点（消失点１２０２、消失点１２０１）、稜線（稜線１２０３）、稜線幅（稜線幅１２０４）の例を示している。
【０１０９】
これらの空間構図に関するパラメータは、空間構図ユーザＩＦ部１１１を介してユーザからの操作（例えば、指定、選択、修正、登録などが挙げられるが、この限りではない）によって設定してもよい。
【０１１０】
図２０は、空間構図特定部１１２における、空間構図を特定するまでの処理の流れを示すフローチャートである。
【０１１１】
最初に、空間構図特定部１１２は、画像取得部１０１からエッジ抽出画像３０１を取得すると、このエッジ抽出画像３０１から空間構図の要素（例えば、非並行の直線状のオブジェクトなど）を抽出する（Ｓ１００）。
【０１１２】
次に、空間構図特定部１１２は、消失点位置の候補を算出する（Ｓ１０２）。
この場合、空間構図特定部１１２は、算出された消失点の候補が点でない場合は（Ｓ１０４：Ｙｅｓ）、地平線を設定する（Ｓ１０６）。さらに、その消失点候補の位置が原画像２０１内にない場合は（Ｓ１０８：Ｎｏ）、消失点を外挿する（Ｓ１１０）。
【０１１３】
その後、空間構図特定部１１２は、消失点を中心とした空間構図を構成する要素を含む空間構図テンプレートを作成し（Ｓ１１２）、作成した空間構図テンプレートと空間構図構成要素とのテンプレートマッチング（単に「ＴＭ」ともいう。）を行う（Ｓ１１４）。
【０１１４】
以上の処理（Ｓ１０４〜Ｓ１１６）を全ての消失点候補について実施し、最終的に最も適切な空間構図を特定する（Ｓ１１８）。
【０１１５】
次に、オブジェクト抽出部１２２及びその周辺の部署の機能について説明する。
【０１１６】
オブジェクトの抽出手法としては、既存の画像処理方法や画像認識方法で用いられている手法を任意に用いることが出来る。例えば、人物抽出であればテンプレートマッチやニューラルネット、色情報などを基に抽出することが出来る。また、セグメンテーションや領域分割により、分割されたセグメントや領域をオブジェクトとみなすことも出来る。動画若しくは連続する静止画中の一静止画であれば、前後のフレーム画像からオブジェクトを抜き出すことも出来る。もちろん抽出手法や抽出ターゲットはこれらに限定されるものではなく任意である。
【０１１７】
上記のオブジェクト抽出用のテンプレートやパラメータなどはオブジェクトテンプレート記憶部１２０に記憶し、状況に応じて読み出して使うこともできる。また、新たなテンプレートやパラメータなどをオブジェクトテンプレート記憶部１２０に入力することも出来る。
【０１１８】
また、オブジェクトユーザＩＦ部１２１は、オブジェクトを抽出する手法（テンプレートマッチやニューラルネット、色情報など）を選択したり、候補として提示されたオブジェクトの候補を選択したり、オブジェクト自体を選択したり、結果の修正やテンプレートの追加、オブジェクト抽出手法の追加など、ユーザの欲する全ての作業を行うためのインタフェースを提供する。
【０１１９】
次に、立体情報生成部１３０及びその周辺の部署の機能について説明する。
【０１２０】
図７（ａ）は、抽出したオブジェクトを示す図であり、図７（ｂ）は、抽出したオブジェクトと決定された空間構図とを合成した画像の一例である。オブジェクト抽出例６１０では、原画像２０１から主な人物像をオブジェクト６０１、オブジェクト６０２、オブジェクト６０３、オブジェクト６０４、オブジェクト６０５、オブジェクト６０６をオブジェクトとして抽出している。この各オブジェクトと空間構図とを合成したものが奥行き情報合成例６１１である。
【０１２１】
立体情報生成部１３０は、上記のように抽出したオブジェクトを空間構図の中に配置することにより、立体情報を生成できる。なお、立体情報については、立体情報生成ユーザＩＦ部１３１を介して受け付けたユーザの指示に従って、入力したり、修正したりすることも出来る。
【０１２２】
画像生成部１７０は、上記のように生成された立体情報を有する空間において、新たに仮想的な視点を設定して原画像とは異なる画像を生成する。
【０１２３】
図２２は、上記で説明した、立体情報生成部１３０における処理の流れを示すフローチャートである。
【０１２４】
最初に、立体情報生成部１３０は、空間構図情報から空間構図における平面に関するデータ（以下「構図平面データ」という。）を生成する（Ｓ３００）。次に、立体情報生成部１３０は、抽出されたオブジェクト（「Ｏｂｊ」ともいう。）と構図平面との接点を算出し（Ｓ３０２）、オブジェクトと地平面との接点がなく（Ｓ３０４：Ｎｏ）、さらに壁面又は天面との接点もない場合は（Ｓ３０６：Ｎｏ）、オブジェクトは最前面にあるものとして空間における位置を設定する（Ｓ３０８）。これ以外の場合は、接点座標を算出し（Ｓ３１０）、オブジェクトの空間における位置を算出する（Ｓ３１２）。
【０１２５】
以上の処理を全てのオブジェクトに実施した場合は（Ｓ３１４：Ｙｅｓ）、オブジェクト以外の画像情報を空間構図平面にマッピングする（Ｓ３１６）。
【０１２６】
さらに、立体情報生成部１３０は、情報補正部１４１においてオブジェクトに関する修正内容を盛り込み（Ｓ３１８〜３２４）、立体情報の生成を完了する（Ｓ３２６）。
【０１２７】
ここで、図８を参照しながら、仮想視点位置の設定方法について説明する。まず、空間中の視点位置として仮想視点位置７０１を考え、視点方向として仮想視点方向７０２を設定する。この仮想視点位置７０１と仮想視点方向７０２を図９の奥行き情報合成例８１０（奥行き情報合成例６１１と同一）について考えると、正面からの視点から見た奥行き情報合成例８１０に対して、仮想視点位置７０１の視点と仮想視点方向７０２のような視点方向を設定した場合（即ち、少し進んで横方向から見た場合）、視点変更画像生成例８１１のような画像を生成することができる。
【０１２８】
同様に、図１５では、ある立体情報を有する画像に対して、視点位置と方向を想定した画像例を示す。画像例１４１２は、画像位置例１４０２の時の画像例である。また、画像例１４１１は、画像位置例１４０１の時の画像例である。画像位置例１４０１については、視点位置と視点対象を視点位置１４０３と視点対象１４０４で模式的に表現している。
【０１２９】
ここでは、図１５を、ある立体情報を有する画像から仮想視点を設定して画像を生成した例として用いた。なお、立体情報（空間情報）の取得に用いた静止画像を画像例１４１２とし、この画像例１４１２から抽出した立体情報に対して、視点位置１４０３、視点対象１４０４を設定した場合の画像が画像例１４１２であるということもいえる。
【０１３０】
同様に、図１６では、画像位置例１５０１と画像位置例１５０２に対応した画像例としてそれぞれ画像例１５１１と画像例１５１２を示している。このとき、それぞれの画像例の一部が重複している場合がある。例えば、画像共通部分１５２１と画像共通部分１５２１がそれにあたる。
【０１３１】
なお、前述のように、新たな画像を生成する際のカメラワーク・エフェクトとして、立体情報の内外を視点や焦点、ズーム、パン等をしながら、若しくはトランジションやエフェクトをかけながら画像を生成できることはもちろんである。
【０１３２】
更に、単に立体空間内を仮想的なカメラで撮影したような動画若しくは静止画を生成するだけではなく、上記の画像共通部分１５２１と画像共通部分１５２１のように、静止画として切出した時に共通する部分を対応させながら、動画若しくは静止画を（若しくは動画静止画混在状況下で）カメラワーク・エフェクトで繋いでいく処理を行うこともできる。ここでは、従来のカメラワークでは考えられなかった、モーフィングやアフィン変換などを用いて、共通する対応点や対応領域を繋いでいくことも可能となる。図１７は、共通部分（即ち、太枠で示した部分）を持つ画像同士をモーフィングやトランジション、画像変換（アフィン変換など）、エフェクト、カメラアングル変更、カメラパラメータ変更、などを用いて遷移させて表示する例を示している。共通部分の特定は立体情報から容易に可能であり、逆にいえば共通部分を持つようにカメラワークを設定することも可能である。
【０１３３】
図２１は、上記で説明した、視点制御部１８１における処理の流れを示すフローチャートである。
【０１３４】
最初に、視点制御部１８１は、カメラワークの開始点および終了点を設定する（Ｓ２００）。この場合、カメラワークの開始点および終了点は、概ね仮想空間の手前付近に開始点を設定し、開始点からより消失点に近い地点に終了点を設定する。この開始点および終了点の設定には、所定のデータベース等を利用してもよい。
【０１３５】
次に、視点制御部１８１は、カメラの移動先や移動方向を決定し（Ｓ２０２）、移動方法を決定する（Ｓ２０４）。例えば、手前から消失点の方向に、各オブジェクトの近傍を通りながら移動する。さらに、単に直線状に移動するのみでなく、らせん状に移動したり、移動途中に速度を変更したりしてもよい。
【０１３６】
さらに、視点制御部１８１は、実際に所定の距離についてカメラを移動する（Ｓ２０６〜２２４）。この間、もし、カメラパンなどのカメラエフェクトを実行する場合は（Ｓ２０８：Ｙｅｓ）、所定のエフェクトサブルーチンを実行する（Ｓ２１２〜Ｓ２１８）。
【０１３７】
また、視点制御部１８１は、カメラがオブジェクトや空間構図自体と接触しそうな場合は（Ｓ２２０：接触する）、改めて次の移動先を設定して（Ｓ２２８）、上記の処理を繰り返す（Ｓ２０２〜Ｓ２２８）。
【０１３８】
なお、視点制御部１８１は、カメラが終了点まで移動したら、カメラワークを終了する。
【０１３９】
前述の繰り返しになるが、これらの画像生成に関するカメラワークは、視点変更テンプレート記憶部１８０のように、予め決められた視点変更テンプレートをデータベースに用意して利用することも出来る。また、視点変更テンプレート記憶部１８０に新しい視点変更テンプレートを追加し、若しくは視点変更テンプレートを編集して利用してもよい。また、視点制御ユーザＩＦ部１８２を介して、ユーザの指示によって視点位置を決定したり、視点変更テンプレートを作成・編集・追加・削除してもよい。
【０１４０】
また、これらの画像生成に関するエフェクトは、エフェクト／スタイルテンプレート記憶部１６０のように、予め決められたエフェクト／スタイルテンプレートをデータベースに用意して利用することも出来る。また、エフェクト／スタイルテンプレート記憶部１６０に新しいエフェクト／スタイルテンプレートを追加し、若しくはエフェクト／スタイルテンプレートを編集して利用してもよい。また、エフェクトユーザＩＦ部１６２を介して、ユーザの指示によって視点位置を決定したり、エフェクト／スタイルテンプレートを作成・編集・追加・削除してもよい。
【０１４１】
なお、カメラワークを設定する際に、オブジェクトの位置を考慮し、オブジェクトに沿って若しくはオブジェクトにクローズアップするように、若しくはオブジェクトに回り込むように、などオブジェクトに依存した任意のカメラワークを設定することもできる。オブジェクトに依存した画像作成ができることは、カメラワークだけではなく、エフェクトについても同様であることは言うまでも無い。
【０１４２】
同様に、カメラワークを設定する際に、空間構図を考慮することもできる。エフェクトも同様である。先に述べた共通部分を考慮した処理は、空間構図とオブジェクトとの両方を利用したカメラワーク若しくはエフェクトの一例であり、生成される画像が動画であっても静止画であっても、空間構図とオブジェクトを用いた既存任意のカメラワークやエフェクト、カメラアングル、カメラパラメータ、画像変換、トランジションなどを利用できる。
【０１４３】
図１８(ａ)、（ｂ）は、カメラワークの一例を示す図である。図１８（ａ）のカメラワークの軌跡を示したカメラ移動例１７００では、開始視点位置１７０１から仮想的なカメラの撮像が開始され、カメラ移動線１７０８に沿ってカメラが移動した場合を表している。視点位置１７０２から視点位置１７０３、視点位置１７０４、視点位置１７０５、視点位置１７０６を順に通過して終了視点位置１７０７においてカメラワークが終了している。開始視点位置１７０１では、開始視点領域１７１０が撮影されており、終了視点位置１７０７では終了視点領域１７１１が撮影されている。この移動の間、カメラの移動を地上に相当する平面に投影したものがカメラ移動地上投影線１７０９である。
【０１４４】
同様に、図１８（ｂ）に示すカメラ移動例１７５０の場合は、開始視点位置１７５１から終了視点位置１７５２までカメラが移動し、それぞれ開始視点領域１７６０、終了視点領域１７６１を撮像している。この間のカメラの移動はカメラ移動線１７５３で模式的に示している。また、カメラ移動線１７５３の地上及び壁面に投影した軌跡は、それぞれカメラ移動地上投影線１７５４およびカメラ移動壁面投影線１７５５で示している。
【０１４５】
もちろん、上記カメラ移動線１７０８及びカメラ移動線１７５３上を移動する任意のタイミングで画像を生成することができる（動画でも静止画でも両者の混在でも良いことは言うまでも無い）。
【０１４６】
また、カメラワーク設定用画像生成部１９０は、ユーザがカメラワークを決める際の参考になるように、現在のカメラ位置から見た時の画像を生成してユーザに提示することができるが、その例を図１８のカメラ画像生成例１８１０に示している。図１９において、現在カメラ位置１８０３から撮影範囲１８０５を撮影した場合の画像を現在カメラ画像１８０４に表示している。
【０１４７】
視点制御ユーザＩＦ部１８２を介して、ユーザには、カメラ移動例１８００のようカメラを移動することによって模式的な立体情報や、その中のオブジェクトなどを提示することもできる。
【０１４８】
さらに、画像処理装置１００は、生成された複数の立体情報を合成することもできる。図１４（ａ）、（ｂ）は、複数の立体情報を合成する場合の一例を示す図である。図１４（ａ）には、現在の画像データ１３０１内に現在画像データオブジェクトＡ１３１１と現在画像データオブジェクトＢ１３１２が写っており、過去の画像データ１３０２内に過去画像データオブジェクトＡ１３１３と過去画像データオブジェクトＢ１３１４が写っている場合を示している。この場合、同一立体空間内に二つの画像データを合成することもできる。この場合の合成例が図１４（ｂ）に示す合成立体情報例１３２０である。この合成の際、複数の原画像間の共通要素から合成してもよい。また、全く異なる原画像データを合成してもよく、空間構図を必要に応じて変更してもよい。
【０１４９】
なお、本実施の形態における「エフェクト」とは、画像（静止画像および動画像）に対する効果全般を指すものとする。効果の例として、一般的なノンリニアな画像処理方法や、カメラワークやカメラアングル、カメラパラメータの変化によって可能な撮影時に付与する（付与できる）ものなどを挙げることができる。また、一般的なデジタル画像処理ソフト等で可能な処理も含まれる。更に、画像シーンに合わせて音楽や擬音を配置することも効果の範疇に入る。また、カメラアングルなど、エフェクトの定義内に含まれる効果を表す他の用語と「エフェクト」を併記している場合は、併記した効果を強調しているものであり、エフェクトの範疇を狭めるものではないことを明記する。
【０１５０】
なお、静止画像からのオブジェクト抽出であるため、抽出されたオブジェクトについての厚み情報が欠ける場合がありえる。この際、奥行き情報に基づいて適当な値を厚みとして設定することも可能である（奥行き情報から相対的なオブジェクトのサイズを算出し、サイズから厚みを適当に設定する、など任意の手法を取ってよい。）。
【０１５１】
なお、予めテンプレートなどを用意しておき、オブジェクトが何であるかを認識して、その認識結果を厚みの設定に用いてもよい。例えばリンゴであると認識された場合には、リンゴ相応の大きさに厚みを設定し、車であると認識された場合には、車相応の大きさに厚みを設定してもよい。
【０１５２】
なお、消失点をオブジェクトに設定してもよい。実際には無限遠に無いオブジェクトであっても無限遠に有るものとして処理することもできる。
【０１５３】
なお、オブジェクトの抽出にあたり、オブジェクトをマスクするマスク画像を生成してもよい。
【０１５４】
なお、抽出されたオブジェクトの立体情報へのマッピングに際して、奥行き情報内の適当な位置に再配置してもよい。必ずしも原画像データに忠実な位置にマッピングする必要は無く、エフェクトを施しやすい位置やデータ処理がしやすい位置など任意の位置に再配置してもよい。
【０１５５】
なお、オブジェクトを抽出した際、若しくは立体情報にマッピングした際、若しくは立体譲歩宇宙のオブジェクトについて処理を行う際、オブジェクトの裏側に相当する情報を適当に付与してもよい。原画像からはオブジェクトの裏側の情報は得られないことがありえるが、その際に、表側の情報を基に裏側の情報を設定してもよい（たとえば、オブジェクトの表側に相当する画像情報（立体情報で言えばテクスチャやポリゴンなどに相当する情報）をオブジェクトの裏側にもコピーするなど）。もちろん、他のオブジェクトや、他の空間情報などを参考に裏側の情報を設定してもよい。さらに、影をつける、黒く表示する、裏側から見るとオブジェクトが存在しないように見える、など裏側に与える情報そのものについては任意のものを与えることができる。なお、オブジェクトと背景をなめらかに見せるため、任意のスムージング処理を行ってもよい（境界をぼかすなど）。
【０１５６】
なお、３次元的に空間情報として配置されたオブジェクトの位置に基づきカメラパラメータを変更してもよい。例えば、画像生成時にオブジェクトの位置や空間構図からカメラ位置／深度によりピント情報（ピンボケ情報）を生成し、遠近感のある画像を生成してもよい。この場合、オブジェクトのみぼかしても良く、またオブジェクト及びその周囲をもぼかしてもよい。
【０１５７】
なお、上記実施の形態１に係る画像データ管理装置１００では、空間構図ユーザＩＦ部１１１、オブジェクトユーザＩＦ部１２１、立体情報ユーザＩＦ部１３１、情報補正ユーザＩＦ部１４０、エフェクトユーザＩＦ部１６２および視点制御ユーザＩＦ部１８２として分離させた機能構成としたが、上記の各ＩＦ部の機能を備える一のＩＦ部を有するように構成してもよい。
【産業上の利用可能性】
【０１５８】
本発明は、マイクロコンピュータ、デジタルカメラ又はカメラ付携帯電話機などの静止画から立体画像を生成する画像処理装置などに利用が可能である。
【図面の簡単な説明】
【０１５９】
【図１】図1は、従来技術における静止画像から立体情報を生成する処理内容を示すフローチャートである。
【図２】図２は、本実施の形態に係る画像処理装置の機能構成を示すブロック図である。
【図３】図３（ａ）は、本実施の形態に係る画像取得部に入力される原画像の一例である。図３（ｂ）は、上記図２（ａ）の原画像を２値化した画像例である。原画像と２値化例を示す図である。
【図４】図４（ａ）は、本実施の形態に係るエッジ抽出例である。図４（ｂ）は、本実施の形態に係る空間構図の抽出例である。図４（ｃ）は、本実施の形態に係る空間構図確認画面の一例を示す図である。
【図５】図５（ａ）、（ｂ）は、実施の形態１における、空間構図抽出用テンプレートの一例を示す図である。
【図６】図６（ａ）、（ｂ）は、実施の形態１における拡大型空間構図抽出用テンプレートの一例を示す図である。
【図７】図７（ａ）は、実施の形態１におけるオブジェクトの抽出例を示す図である。図７（ｂ）は、実施の形態１における抽出したオブジェクトと決定された空間構図とを合成した画像の一例である。
【図８】図８は、実施の形態１における仮想視点の設定例を示す図である。
【図９】図９（ａ）、（ｂ）は、実施の形態１における視点変更画像の生成例を示す図である。
【図１０】図１０は、実施の形態１における空間構図抽出用テンプレートの一例（消失点１つの場合）である。
【図１１】図１１は、実施の形態１における空間構図抽出用テンプレートの一例（消失点２つの場合）である。
【図１２】図１２（ａ）、（ｂ）は、実施の形態１における空間構図抽出用テンプレートの一例（稜線を含む場合）である。
【図１３】図１３は、実施の形態１における空間構図抽出用テンプレートの一例（稜線を含む縦型の場合）である。
【図１４】図１４（ａ）、（ｂ）は、実施の形態１における合成立体情報の生成例を示す図である。
【図１５】図１５は、実施の形態１における視点位置の変更例を示す図である。
【図１６】図１６（ａ）は、実施の形態１における視点位置変更例である。図１６（ｂ）は、実施の形態１における画像共通部分例を示す図である。図１６（ｃ）は、実施の形態１における画像共通部分例を示す図である。
【図１７】図１７は、実施の形態１における画像表示の遷移例を示す図である。
【図１８】図１８（ａ）、（ｂ）は、実施の形態１におけるカメラ移動例を示す図である。
【図１９】図１９は、実施の形態１におけるカメラ移動例を示す図である。
【図２０】図２０は、実施の形態１における空間構図特定部における処理の流れを示すフローチャートである。
【図２１】図２１は、実施の形態１における視点制御部における処理の流れを示すフローチャートである。
【図２２】図２２は、実施の形態１における立体情報生成部における処理の流れを示すフローチャートである。
【符号の説明】
【０１６０】
１００    画像処理装置
１０１    画像取得部
１１０    空間構図テンプレート記憶部
１１１    空間構図ユーザＩＦ部
１１２    空間構図特定部
１２０    オブジェクトテンプレート記憶部
１２１    オブジェクトユーザＩＦ部
１２２    オブジェクト抽出部
１３０    立体情報生成部
１３１    立体情報ユーザＩＦ部
１４０    情報補正ユーザＩＦ部
１４１    情報補正部
１５０    立体情報記憶部
１５１    立体情報比較部
１６０    スタイル／エフェクトテンプレート記憶部
１６１    エフェクト制御部
１６２    エフェクトユーザＩＦ部
１７０    画像生成部
１７１    画像表示部
１８０    視点変更テンプレート記憶部
１８１    視点制御部
１８２    視点制御ユーザＩＦ部
１９０    カメラワーク設定用画像生成部
２０１    原画像
２０２    ２値化画像
３０１    エッジ抽出画像
３０２    空間構図抽出例
３０３    空間構図確認画像
４０１    空間構図抽出テンプレート例
４０２    空間構図抽出テンプレート例
４１０    消失点
４２０    正面奥壁
５０１    画像範囲例
５０２    画像範囲例
５０３    画像範囲例
５１０    消失点
５１１    消失点
５２０    拡大型空間構図抽出テンプレート例
５２１    拡大型空間構図抽出テンプレート例
６１０    オブジェクト抽出例
６１１    奥行き情報合成例
７０１    仮想視点位置
７０２    仮想視点方向
８１０    奥行き情報合成例
８１１    視点変更画像生成例
９０１    消失点
９０２    正面奥壁
９０３    壁高
９０４    壁幅
９１０    空間構図抽出用テンプレート
１００１    消失点
１００２    消失点
１０１０    空間構図抽出用テンプレート
１１００    空間構図抽出用テンプレート
１１０１    消失点
１１０２    消失点
１１０３    稜線
１１０４    稜線高
１１１０    空間構図抽出用テンプレート
１２１０    空間構図抽出用テンプレート
１３０１    現在の画像データ
１３０２    過去の画像データ
１３１１    現在画像データオブジェクトＡ
１３１２    現在画像データオブジェクトＢ
１３１３    過去画像データオブジェクトＡ
１３１４    過去画像データオブジェクトＢ
１３２０    合成立体情報例
１４０１    画像位置例
１４０２    画像位置例
１４０３    視点位置
１４０４    視点対象
１４１１    画像例
１４１２    画像例
１５０１    画像位置例
１５０２    画像位置例
１５１１    画像例
１５１２    画像例
１５２１    画像共通部分例
１５２２    画像共通部分例
１６００    画像表示遷移例
１７００    カメラ移動例
１７０１    開始視点位置
１７０２    視点位置
１７０３    視点位置
１７０４    視点位置
１７０５    視点位置
１７０６    視点位置
１７０７    終了視点位置
１７０８    カメラ移動線
１７０９    カメラ移動地上投影線
１７１０    開始視点領域
１７１１    終了視点領域
１７５０    カメラ移動例
１７５１    開始視点位置
１７５２    終了視点位置
１７５３    カメラ移動線
１７５４    カメラ移動地上投影線
１７５５    カメラ移動壁面投影線
１７６０    開始視点領域
１７６１    終了視点領域
１８００    カメラ移動例
１８０１    開始視点位置
１８０２    終了視点位置
【図１】
0004642757.tif 000002
【図２】
0004642757.tif 000003
【図３】
0004642757.tif 000004
【図４】
0004642757.tif 000005
【図５】
0004642757.tif 000006
【図６】
0004642757.tif 000007
【図７】
0004642757.tif 000008
【図８】
0004642757.tif 000009
【図９】
0004642757.tif 000010
【図１０】
0004642757.tif 000011
【図１１】
0004642757.tif 000012
【図１２】
0004642757.tif 000013
【図１３】
0004642757.tif 000014
【図１４】
0004642757.tif 000015
【図１５】
0004642757.tif 000016
【図１６】
0004642757.tif 000017
【図１７】
0004642757.tif 000018
【図１８】
0004642757.tif 000019
【図１９】
0004642757.tif 000020
【図２０】
0004642757.tif 000021
【図２１】
0004642757.tif 000022
【図２２】
0004642757.tif 000023