(57)【要約】【課題】  本発明は、動画像の奥行き方向の情報を考慮したタイムラインの表示により、トランジションによる効果的な演出が行なえる手段を提供する。【解決手段】  画像処理装置は、画像取得部、深度マップ生成部、遷移画像生成部、タイムライン生成部及び表示制御部を備える。画像取得部は、被写体の奥行き情報が予め付加された２次元画像又は奥行き情報が算出可能な多視点画像を複数取得する。深度マップ生成部は、奥行き情報に基づいて、深度マップを画像毎に生成する。遷移画像生成部は、深度マップと、該深度マップに関連付けられている２次元画像又は多視点画像とに基づいて、任意の撮影場面を切り替える際のエフェクトを奏する遷移画像を生成する。タイムライン生成部は、表示モニタ上に画像編集用のタイムラインを生成する。表示制御部は、遷移画像に基づくエフェクトを表示モニタ上で実現するため、タイムラインの表示態様を、深度マップを活用して制御する。【選択図】    図１
2014016670.tif 000002
【特許請求の範囲】
【請求項１】
被写体の奥行き情報が予め付加された２次元画像又は前記奥行き情報が算出可能な多視点画像を複数取得する画像取得部と、
前記奥行き情報に基づいて、各被写体の奥行き方向の位置関係を関連付ける深度マップを画像毎に生成する深度マップ生成部と、
前記深度マップと、該深度マップに関連付けられている前記２次元画像又は前記多視点画像とに基づいて、任意の撮影場面を切り替える際のエフェクトを奏する遷移画像を生成する遷移画像生成部と、
画像表示用の表示モニタ上に画像編集用のタイムラインを生成するタイムライン生成部と、
前記遷移画像に基づく前記エフェクトを前記表示モニタ上で実現するため、前記タイムラインの表示態様を、前記深度マップを活用して制御する表示制御部と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記表示制御部は、前記タイムラインの表示を行なう際に、時間軸方向の情報と前記奥行き方向の前記奥行き情報とを関連付けて表示させることを特徴とする画像処理装置。
【請求項３】
請求項１又は請求項２に記載の画像処理装置において、
前記表示制御部は、ユーザ入力に応じて指定された時間における前記深度マップを前記タイムラインに表示させることを特徴とする画像処理装置。
【請求項４】
請求項１から請求項３の何れか１項に記載の画像処理装置において、
前記表示制御部は、前記エフェクトを前記表示モニタ上で実現するための条件に関し、ユーザ入力により前記条件を設定する手段を前記タイムラインに表示させることを特徴とする画像処理装置。
【請求項５】
被写体の奥行き情報が予め付加された２次元画像又は前記奥行き情報が算出可能な多視点画像を複数取得する画像取得処理と、
前記奥行き情報に基づいて、各被写体の奥行き方向の位置関係を関連付ける深度マップを画像毎に生成する深度マップ生成処理と、
前記深度マップと、該深度マップに関連付けられている前記２次元画像又は前記多視点画像とに基づいて、任意の撮影場面を切り替える際のエフェクトを奏する遷移画像を生成する遷移画像生成処理と、
画像表示用の表示モニタ上に画像編集用のタイムラインを生成するタイムライン生成処理と、
前記遷移画像に基づく前記エフェクトを前記表示モニタ上で実現するため、前記タイムラインの表示態様を、前記深度マップを活用して制御する表示制御処理と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、動画像を表示するための編集処理において、作品全体の流れ等を時系列に管理するタイムラインを利用する技術が開示されている（例えば、特許文献１参照）。タイムラインを利用する技術では、タイムラインが表示された表示モニタ上で、例えば、ユーザが特定の場面の切り替わり等のタイミングを簡単に把握したり、編集したりすることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４２２９１９９号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、動画像の奥行き方向の情報を考慮したタイムラインの表示の仕方については特に考慮されていない。したがって、その奥行き方向の情報を考慮したタイムラインの表示が可能になると、例えば、動画のストーリーの特定の場面転換時に視覚的な効果等を加えて切り替えるトランジションによる効果的な演出のバリエーションが拡がることが期待される。
【０００５】
そこで、本発明は、上記事情に鑑み、動画像の奥行き方向の情報を考慮したタイムラインの表示により、トランジションによる効果的な演出が行なえる手段を提供することを目的とする。
【課題を解決するための手段】
【０００６】
第１の発明に係る画像処理装置は、画像取得部と、深度マップ生成部と、遷移画像生成部と、タイムライン生成部と、表示制御部とを備える。画像取得部は、被写体の奥行き情報が予め付加された２次元画像又は奥行き情報が算出可能な多視点画像を複数取得する。深度マップ生成部は、奥行き情報に基づいて、各被写体の奥行き方向の位置関係を関連付ける深度マップを画像毎に生成する。遷移画像生成部は、深度マップと、該深度マップに関連付けられている２次元画像又は多視点画像とに基づいて、任意の撮影場面を切り替える際のエフェクトを奏する遷移画像を生成する。タイムライン生成部は、画像表示用の表示モニタ上に画像編集用のタイムラインを生成する。表示制御部は、遷移画像に基づくエフェクトを表示モニタ上で実現するため、タイムラインの表示態様を、深度マップを活用して制御する。
【０００７】
第２の発明は、第１の発明において、表示制御部は、タイムラインの表示を行なう際に、時間軸方向の情報と奥行き方向の奥行き情報とを関連付けて表示させる。
【０００８】
第３の発明は、第１又は第２の発明において、表示制御部は、ユーザ入力に応じて指定された時間における深度マップをタイムラインに表示させる。
【０００９】
第４の発明は、第１から第３の何れか１の発明において、表示制御部は、エフェクトを表示モニタ上で実現するための条件に関し、ユーザ入力によりその条件を設定する手段をタイムラインに表示させる。
【００１０】
第５の発明に係る画像処理プログラムは、画像取得処理と、深度マップ生成処理と、遷移画像生成処理と、タイムライン生成処理と、表示制御処理とをコンピュータに実行させる。画像取得処理は、被写体の奥行き情報が予め付加された２次元画像又は奥行き情報が算出可能な多視点画像を複数取得する。深度マップ生成処理は、奥行き情報に基づいて、各被写体の奥行き方向の位置関係を関連付ける深度マップを画像毎に生成する。遷移画像生成処理は、深度マップと、該深度マップに関連付けられている２次元画像又は多視点画像とに基づいて、任意の撮影場面を切り替える際のエフェクトを奏する遷移画像を生成する。タイムライン生成処理は、画像表示用の表示モニタ上に画像編集用のタイムラインを生成する。表示制御処理は、遷移画像に基づくエフェクトを表示モニタ上で実現するため、タイムラインの表示態様を、深度マップを活用して制御する。
【発明の効果】
【００１１】
本発明によれば、動画像の奥行き方向の情報を考慮したタイムラインの表示により、トランジションによる効果的な演出が行なえる手段を提供できる。
【図面の簡単な説明】
【００１２】
【図１】画像処理装置１の構成例を示すブロック図
【図２】深度マップの生成処理の一例を説明する図
【図３】画像処理装置１の動作の一例を示すフローチャート
【図４】タイムラインを用いた動画編集の一例を説明する図
【図５】遷移位置及びその遷移位置に基づく遷移画像の生成処理の一例を説明する図
【図６】境界ラインの編集処理の一例を説明する図
【図７】境界ラインの編集処理の一例を説明する図
【図８】第２実施形態における画像処理装置１の動作の一例を示すフローチャート
【図９】第２実施形態におけるタイムラインを用いた動画編集の一例を説明する図
【図１０】第３実施形態におけるタイムラインを用いた動画編集の一例を説明する図
【図１１】タイムラインを用いたクロスフェードの動画編集の一例を説明する図
【図１２】フェードアウトのトランジション効果の一例を示す図
【発明を実施するための形態】
【００１３】
（第１実施形態）
以下、図面に基づいて本発明の実施の形態を詳細に説明する。第１実施形態では、本発明の一実施形態の画像処理装置１について説明する。画像処理装置１は、例えば、パーソナルコンピュータ等のコンピュータによって実現される。
【００１４】
図１は、画像処理装置１の構成例を示すブロック図である。ここで、画像処理装置１には、本発明の一実施形態の画像処理プログラムが組み込まれる。これにより、画像処理装置１は、各被写体の奥行き情報を考慮したタイムラインの表示を行なうことが可能となる（詳細は後述する）。
【００１５】
画像処理装置１は、ＣＰＵ（Central Processing Unit）２と、記録インターフェース（以下、「記録Ｉ／Ｆ部」という。）３と、ＲＡＭ（Random Access Memory）４と、記憶装置５と、入出力インターフェース（以下、「入出力Ｉ／Ｆ部」という。）６と、バス７とを備える。また、画像処理装置１は、入出力Ｉ／Ｆ部６を解して、入力デバイス８と表示モニタ９とが接続されている。
【００１６】
また、ＣＰＵ２、記録Ｉ／Ｆ部３、ＲＡＭ４、記録装置５及び入出力Ｉ／Ｆ部６は、バス７を介して、互いに接続されている。
【００１７】
記録Ｉ／Ｆ部３には、着脱自在の記録媒体Ｍ１を接続するためのコネクタ（不図示）が形成されている。そして、記録Ｉ／Ｆ部３は、そのコネクタに接続された記録媒体Ｍ１にアクセスしてデータの読み出しや記録処理等を行なう。この記録媒体Ｍ１は、例えば、カード型の不揮発性のメモリカードである。図１では、コネクタに接続された後の記録媒体Ｍ１を示している。ＲＡＭ４は、データ処理の作業用のバッファメモリである。
【００１８】
記録装置５は、例えば、ハードディスクドライブ（Hard Disc Drive）装置であって、ＯＳ（オペレーティングシステム）プログラムやそのＯＳ上で実行する画像処理プログラム等を記録する。また、記録装置５は、静止画像、動画像等を記録する。
【００１９】
入出力Ｉ／Ｆ部６は、入力デバイス８や表示モニタ９との入出力に関するインターフェースを提供する。入力デバイス８は、例えば光学式のマウスやキーボードである。
【００２０】
表示モニタ９は、例えば液晶表示媒体により構成される。そして、表示モニタ９は、静止画像、動画像、画像処理装置１の操作メニュー等を表示する。また、表示モニタ９は、タイムラインを表示する。
【００２１】
また、ＣＰＵ２は、ＡＳＩＣ（画像エンジン：Application Specific Integrated Circuit）の機能を有し、各種演算及び画像処理装置１の統括的な制御を行なうマイクロプロセッサである。また、ＣＰＵ２は、画像取得部２１と、画像管理部２２と、画像処理部２３と、表示制御部２４としても機能する。
【００２２】
画像取得部２１は、被写体の奥行き情報が予め付加された２次元画像又は奥行き情報が算出可能な多視点画像を複数取得する。具体的には、画像取得部２１は、記録媒体Ｍ１や、記録装置５に記録されている動画像（例えば、複数の２次元画像又は複数の多視点画像から構成される各フレーム）を読み出すことにより取得する。また、画像取得部２１は、トランジション効果に利用するため、記録媒体Ｍ１や記録装置５に記録されている奥行き情報が付加されていない動画像を必要に応じて取得する。
【００２３】
なお、画像取得部２１は、例えば、上記の動画像をユーザの選択入力により取得する。また、画像取得部２１は、有線又は無線の通信ネットワークを介して、動画像を記録装置５にダウンロードして取得する構成にしても良い。
【００２４】
画像管理部２２は、取得した動画像を管理する。具体的には、画像管理部２２は、取得した動画像毎にデータ形式、解像度、フレームレート、奥行き情報等を管理する。なお、本実施形態では、動画像のデータ形式は、特に限定されず、２次元の動画像の場合、例えば、動画圧縮形式の一つであるモーションＪＰＥＧ（Joint Photographic Experts Group）形式であっても良い。また、動画像のデータ形式は、３次元の動画像の場合、例えば、Ｈ．２６４／ＭＶＣ（Multi-view Video Coding）形式であっても良い。
【００２５】
画像処理部２３は、トランジション効果を奏するための画像処理を行なう。トランジション効果とは、例えば、ワイプ、フェード等がある。ワイプは、場面転換の際、現在表示中の画面の中から別の画面が現れ、別の画面の面積が広がって元の画面が消えていく画像転換方法の一種である。
【００２６】
また、フェードには、フェードイン、フェードアウト、クロスフェードの種類がある。フェードインは、一色（例えば画面全体が黒色又は白色の状態）の状態から徐々に映像が見えている状態に移り変わる画像転換方法である。また、フェードアウトは、映像が見えている状態から徐々に一色に移り変わる画像転換方法である。さらに、クロスフェードは、２つの映像の片方をフェードアウトし、同時に他方をフェードインすることで画面を切り替える画像転換方法である。
【００２７】
但し、本実施形態では、従来のワイプ、フェード等によるトランジション効果に加え、動画像の奥行き方向の情報が考慮されたワイプ、フェード等による新しいトランジション効果を提供することができる。この動画像の奥行き方向には、例えば各被写体の奥行き方向が含まれる。
【００２８】
また、画像処理部２３は、多視点画像から奥行き情報を抽出する。さらに、画像処理部２３は、深度マップ生成部２３ａと、タイムライン生成部２３ｂと、遷移画像生成部２３ｃとを有する。
【００２９】
深度マップ生成部２３ａは、被写体の奥行き情報に基づいて、各被写体の奥行き方向の位置関係が関連付けられた深度マップ（Depth map）を生成する。
【００３０】
図２は、深度マップの生成処理の一例を説明する図である。図２（ａ）は、複数の多視点画像からなる動画像の構成例を示す。多視点画像は、例えば、２眼レンズを採用した動画像記録装置によって、ステレオ画像のファイルとして得られる。ここで、ステレオ画像のファイルは、右視点画像（右眼用画像：ＳＲ１、ＳＲ２、ＳＲ３、ＳＲ４、・・・）と左視点画像（左眼用画像：ＳL１、ＳL２、ＳL３、ＳL４、・・・）とが交互に記録される。この場合、ステレオ画像のファイルは、例えば、１枚の右視点画像と１枚の左視点画像とが１つの組となって、連続的に記録される。
【００３１】
図２（ｂ）は、１組のファイルの一例であって、左視点画像ＳＬ１と右視点画像ＳＲ１とを示す。
【００３２】
画像処理部２３は、左視点画像ＳＬ１、右視点画像ＳＲ１を解析してオブジェクトを抽出する。具体的には、画像処理部２３は、例えば、公知の顔検出処理等を行なうことにより、人物、動物等のオブジェクト（被写体）を検出する。この際、画像処理部２３は、各オブジェクトの特徴点を抽出する。画像管理部２２は、オブジェクトの位置情報及び特徴点を示す情報を、記録装置５に記録する。
【００３３】
なお、顔検出処理が困難な場合、画像処理部２３は、公知のグラフカット（Graph Cuts）法を用いて、人物等の物体の輪郭形状をオブジェクトとして認識しても良い。グラフカット法は、一例として、隣接する画素値が同一領域内の画素値とみなせるか否かの判定を「確からしさ」という数学的尺度に基づいて、対象領域（例えば人物の輪郭形状）と背景領域とを分割して対象領域を決定する方法である。
【００３４】
また、画像処理部２３は、画像解析により、輝度情報に基づいて、撮影シーンを判定して、背景の被写体（例えば、空）を検出しても良い。或いは、画像処理部２３は、マウス等の入力デバイス８を介して、ユーザの選択によりオブジェクトを認識しても良い。
【００３５】
一例として、図２（ｂ）において、画像処理部２３は、オブジェクトＯＢ１〜ＯＢ５を抽出したことを表わしている。
【００３６】
そして、深度マップ生成部２３ａは、公知の深度マップの生成手段を適用することにより、左視点画像ＳＬ１用の深度マップ（図２（ｃ））、右視点画像ＳＲ１用の深度マップ（図２（ｄ））を生成する。
【００３７】
具体的には、深度マップ生成部２３ａは、画像処理部２３が抽出したオブジェクトＯＢ１〜ＯＢ５の特徴点を記録装置５から読み出して、各オブジェクトの奥行き方向の距離を算出する。そして、深度マップ生成部２３ａは、左視点画像ＳＬ１と右視点画像ＳＲ１とにおいて、同じオブジェクト間で対応する特徴点の位置のずれ量を算出する。続いて、深度マップ生成部２３ａは、位置のずれ量に基づいて、各特徴点の奥行き方向の距離を算出することにより、左視点画像ＳＬ１用の深度マップ（図２（ｃ））、右視点画像ＳＲ１用の深度マップ（図２（ｄ））を生成する。
【００３８】
或いは、深度マップ生成部２３ａは、公知のステレオマッチング処理により、左視点画像ＳＬ１と右視点画像ＳＲ１との位相差を算出し、この位相差に基づいて深度マップを生成しても良い。つまり、本実施形態では、深度マップの生成手段は、特定の手段に限定されない。
【００３９】
また、深度マップ生成部２３ａは、被写体の奥行き情報が予め付加された２次元画像に基づいて、深度マップを生成しても良い。具体的には、画像取得部２１が取得した動画像の各フレームには、距離情報（奥行き情報）が付加されている。深度マップ生成部２３ａは、距離情報に基づいて、奥行き方向の距離を２次元画像の画素毎に特定することにより、図２（ｃ）、（ｄ）に示すと同様の深度マップを生成することができる。
【００４０】
なお、距離情報は、奥行き方向の距離を示す情報であれば、特に限定されない。例えば、距離情報は、電子カメラで撮像処理を行なった際に得られた被写体距離であっても良い。また、距離情報としては、電子カメラで画像を撮像する際に自動焦点の調節に用いられたＡＦ（オートフォーカス）の情報を含んでも良い。
【００４１】
つまり、画像取得部２１が取得した動画像の各フレームに距離情報が付加されている場合、深度マップ生成部２３ａは、フレームの画素毎に奥行き方向の距離を特定することができる。また、各フレームの部分領域毎の距離を示す距離情報が各フレームに付加されている場合、深度マップ生成部２３ａは、奥行き方向の距離を部分領域毎に特定することができる。
【００４２】
タイムライン生成部２３ｂは、表示制御部２４を介して、画像表示用の表示モニタ９上に画像編集用のタイムラインを生成する。例えば、タイムライン生成部２３ｂは、動画像における作品全体の流れ等を時系列に管理するタイムラインを生成する。詳細は、図４等を用いて後述する。
【００４３】
遷移画像生成部２３ｃは、深度マップと、その深度マップに関連付けられている２次元画像又は多視点画像とに基づいて、任意の撮影場面を切り替える際のエフェクトを奏する遷移画像（トランジション画像）を生成する。詳細は、図５等を用いて後述する。表示制御部２４は、遷移画像に基づくエフェクトを表示モニタ９上で実現するため、タイムラインの表示態様を、深度マップを活用して制御する。詳細は、図４等を用いて後述する。
【００４４】
なお、本実施形態では、多視点画像を表示モニタ９で再生する場合、多視点画像のままでなく、右視点画像又は左視点画像を抽出して、２次元画像として表示させても良い。したがって、遷移画像生成部２３ｃは、多視点画像のうち、右視点画像又は左視点画像を抽出して、遷移画像を生成しても良い。
【００４５】
次に、画像処理装置１の動作の一例について説明する。
【００４６】
図３は、画像処理装置１の動作の一例を示すフローチャートである。図４は、タイムラインを用いた動画編集の一例を説明する図である。
【００４７】
ここで、ＣＰＵ２は、入力デバイス８から、タイムラインを用いた動画編集用アプリケーション（本実施形態の画像処理プログラムを含む）の起動の指示を示すユーザ入力を受け付けると、図３に示すフローチャートの処理（以下「フローの処理」という。）を開始する。ＣＰＵ２の表示制御部２４は、図４に示す通り、動画編集用アプリケーションの表示画面を表示モニタ９に表示させる。
【００４８】
ここで、ＣＰＵ２が動画編集用アプリケーションを実行すると、ＣＰＵ２のタイムライン生成部２３ｂは、ユーザ入力に応じたタイムライン９３を生成する。そして、表示制御部２４は、プレビュー画面９１、ソースタブ画面９２、タイムライン９３を表示モニタ９に表示させる。
【００４９】
プレビュー画面９１は、遷移画像を試写し、画面上で確認するための画面である。プレビュー画面９１には、プレビュー再生ボタン９１ａ、先送りボタン９１ｂ、巻き戻しボタン９１ｃが備えられている。プレビュー再生ボタン９１ａは、遷移画像を再生するためのボタンである。先送りボタン９１ｂは、遷移画像を先送りするためのボタンであり、巻き戻しボタン９１ｃは、遷移画像を巻き戻すためのボタンである。これらのボタンは、マウスのクリック操作等により実行される。
【００５０】
ソースタブ画面９２は、サムネイルを一覧表示させるための画面である。タイムライン９３は、ユーザ入力に応じて、例えば、ワイプ、フェード用のタイムラインを表示する。以下、フローの処理を具体的に説明する。
【００５１】
ステップＳ１０１：表示制御部２４は、入力した画像の一覧表示処理を行なう。具体的には、先ず、ＣＰＵ２は、ユーザによる動画像の選択入力の操作を受け付ける。すると、ＣＰＵ２は、ユーザにより選択された動画像を動画編集用アプリケーションで利用できようにし（インポート）、図４に示す表示画面に切り替える。そして、表示制御部２４は、ソースタブ画面９２にサムネイルを一覧表示させる。図４では、一例として、表示制御部２４は、動画像Ａ〜動画像Ｆまでの６種類のサムネイルをソースタブ画面９２に一覧表示させる。そして、ＣＰＵ２は、ステップＳ１０２の処理に移行する。
【００５２】
ステップＳ１０２：ＣＰＵ２の画像取得部２１は、動画像の取得処理を行なう。具体的には、画像取得部２１は、ソースタブ画面９２にサムネイル表示されたコンテンツのうち、ユーザ入力により選択された動画像を読み出す。続いて、画像取得部２１は、その選択された動画像をタイムライン９３に挿入する。例えば、ユーザの選択入力により、動画像Ａ（ファイル名：source1.mov）、動画像Ｂ（ファイル名：source2.mov）が選択された場合、画像取得部２１は、タイムライン９３に、動画像Ａ（source1.mov）、動画像Ｂ（source2.mov）を挿入する。そして、ＣＰＵ２は、ステップＳ１０３の処理に移行する。
【００５３】
なお、フローの処理に示していないが、動画編集用アプリケーションを最初に起動した場合、ＣＰＵ２は、トランジション効果を加える画像処理を設定するためのトランジションの設定処理をユーザ入力により行なう。トランジションの設定としては、トランジションの種類、トランジションの期間を指定する情報を含む。トランジションの種類は、例えば、ワイプ、フェード等が挙げられる。トランジションの期間は、トランジション効果の奏する時間の長さを示す。
【００５４】
ステップＳ１０３：ＣＰＵ２の深度マップ生成部２３ａは、深度マップの生成処理を行なう。具体的には、深度マップ生成部２３ａは、動画像Ａ（source1.mov）がステレオの場合、時系列に連続する右視点のフレームと左視点のフレームとに基づいて、図２に示す手順に従って、深度マップを生成する。そして、ＣＰＵ２は、ステップＳ１０４の処理に移行する。
【００５５】
ステップＳ１０４：ＣＰＵ２の遷移画像生成部２３ｃは、遷移画像の生成処理を行なう。ここで、遷移画像生成部２３ｃは、一例として、ユーザ入力によりトランジションの期間が０．５秒と指定され、フレームレートが毎秒３０コマの場合、１５コマの遷移画像を生成する。但し、表示制御部２４は、後述する通り、例えば複数のコマ数の遷移画像を時系列に表示モニタ９に表示させていく場合、遷移画像を切り替える切替速度を可変とすることができる。
【００５６】
図５は、遷移位置及びその遷移位置に基づく遷移画像の生成処理の一例を説明する図である。なお、ステップＳ１０４の処理とステップＳ１０５の処理とは、連動しているので、ステップＳ１０５の処理と合わせて以下説明する。
【００５７】
ステップＳ１０５：ＣＰＵ２の表示制御部２４は、タイムラインの表示態様の制御処理を行なう。ここで、タイムライン９３は、一例として、映像用のタイムライン９３ａと音声用のタイムライン９３ｂとから構成されている。図４に示す通り、表示制御部２４は、タイムライン９３の表示を行なう際、映像用のタイムライン９３ａにおいて、時間軸方向（TIME）の情報と共に、奥行き方向の情報（図中、０は撮影位置、∞は遠方を指す。）を併記する。これにより、本実施形態では、３次元のトランジションの遷移状態を図示したり、ユーザ入力に応じてタイムライン９３の編集処理をしたりすることが可能となる。
【００５８】
一例として、表示制御部２４は、動画像Ａ（source1.mov）と動画像Ｂ（source2.mov）とを、所定の撮影場面で切り替える目安となる境界ライン９４を、映像用のタイムライン９３ａ上に設定する。また、表示制御部２４は、遷移画像をプレビュー画面９１に表示させるプレビュー位置決めライン９５を設定する。なお、ユーザがマウス等の入力デバイス８を操作することにより、表示制御部２４は、境界ライン９４やプレビュー位置決めライン９５を設定する。さらに、表示制御部２４は、プレビュー位置決めライン９５を示すポインタ９５ａも設定する。
【００５９】
なお、表示制御部２４は、タイムライン９３の時間軸方向に、所定の時間幅に応じて、動画像Ａ（source1.mov）及び動画像Ｂ（source2.mov）のファイル長を視覚的に表示する。
【００６０】
図５（ａ）は、一例として、プレビュー位置決めライン９５で設定された時刻での動画像Ａの１フレームを表わしている。図５（ｂ）は、プレビュー位置決めライン９５で設定された時刻での深度マップを表わしている。
【００６１】
ここで、図４に示す境界ライン９４とプレビュー位置決めライン９５との交点が、図５（ｂ）の遷移位置に対応付けられている。つまり、図５（ｂ）において、遷移位置（奥行き位置）を示すラインＬ１より遠い方向は遷移後の状態を表わしており、ラインＬ１よりも近い方向は遷移前の状態を表わしている。遷移画像生成部２３ｃは、次に遷移する動画像Ｂの領域については、図５（ａ）に示す動画像Ａに埋め込むようにして画像合成する。
【００６２】
この際、遷移画像生成部２３ｃは、図５（ｃ）に示す通り、ラインＬ１より遠い方向に相当する領域については、ラインＬ１より手前に位置する木のオブジェクト（ＯＢ４、ＯＢ５）を除く部分領域に、画像Ｂの対応する部分領域を重ねるようにして合成する
すなわち、遷移画像生成部２３ｃは、ラインＬ１の位置に応じて、ラインＬ１より手前については、動画像Ａを選択し、ラインＬ１より奥側については、動画像Ｂを選択して、遷移画像を生成する。
【００６３】
ステップＳ１０６：ＣＰＵ２は、プレビュー表示処理を行なう。ここで、境界ライン９４とプレビュー位置決めライン９５との位置関係が図４に示した通りの場合、表示制御部２４は、遷移画像生成部２３ｃが生成した遷移画像（図５（ｃ））をプレビュー画面９１に表示させる。
【００６４】
ステップＳ１０７：ＣＰＵ２は、境界の編集の指示入力の有無を判定する。ここでの処理は、ユーザが再度、境界の編集をし直したい場合に対処するための措置である。境界の編集の指示入力を受け付けない場合（ステップＳ１０７：Ｎｏ）、ＣＰＵ２は、図３に示すフローの処理を終了させる。一方、境界の編集の指示入力を受け付けた場合（ステップＳ１０７：Ｙｅｓ）、ＣＰＵ２は、ステップＳ１０８に移行する。
【００６５】
ステップＳ１０８：ＣＰＵ２は、ユーザ入力により編集処理の条件の受付処理を行なう。ここで、本実施形態では、２つ以上の動画像のファイルがタイムライン９３上に存在する場合、例えば、動画像Ａと動画像Ｂとの間にトランジションを指定することができる。
【００６６】
具体的には、ＣＰＵ２は、先ず、ユーザ入力に応じて図４に示す境界ライン９４の編集処理を行なう。この場合、ＣＰＵ２は、上述した通り、入力デバイス８（マウス）によるユーザ入力に応じて、境界ライン９４を任意の直線又は曲線に編集することができる。境界ライン９４は、トランジション効果の起点と終点を規定すると共に、直線や曲線の傾きに応じて遷移画像の切替速度の目安を与える。つまり、ユーザは、トランジションの切替速度（遷移速度）を自由に設定することができる。
【００６７】
図６、図７は、境界ラインの編集処理の一例を説明する図である。
【００６８】
図６は、境界ライン９４が直線の場合について例示している。この場合、表示制御部２４は、一例として、一定の切替速度（等速：基準値）で遷移画像を時系列に切り替えて表示モニタ９に表示させるための設定を行なう。
【００６９】
図７は、境界ライン９４が曲線の場合について例示している。この場合、表示制御部２４は、一例として、曲線の傾きに応じて、切替速度を基準値よりも速くし、その後、切替速度を基準値よりも遅くして、遷移画像を時系列に切り替えて表示モニタ９に表示させるための設定を行なう。これにより、本実施形態では、トランジションの速さを曲線の傾きに応じて変えることができる。
【００７０】
そして、ＣＰＵ２は、再度、図３に示すステップＳ１０３に戻り、ステップＳ１０３〜ステップＳ１０７の処理を繰り返す。つまり、ＣＰＵ２は、ステップＳ１０８でユーザが設定した条件に応じて、再度、遷移画像を生成する。そして、遷移画像生成部２３ｃは、境界ライン９４に基づく遷移位置Ｌ１に応じた遷移画像を複数生成するので、表示制御部２４は、実際の動画像の再生時に、例えば、奥行き情報を考慮したワイプのエフェクトを表示モニタ９の表示画面上で行なうことができる。
【００７１】
図５（ｄ）は、比較例として従来のワイプのトランジション効果を示す。従来のワイプは、図５（ｄ）に示す通り、奥行き方向の情報は考慮されず、劇場で幕が降りて来るようなエフェクトを奏する。一方、本実施形態では、図５（ｃ）に示す通り、奥行き情報が考慮されているので、例えば、奥行き方向の遠方から次の画像が手前に向かってくるような視覚効果が得られる。この際、図５（ｂ）で示した遷移位置を示すラインＬ１より手前側は、撮影場面を切り替える際、次の異なる撮影場面の画像が表示されないというトランジションの効果が得られる。
【００７２】
以上より、本実施形態によれば、動画像の奥行き方向の情報を考慮したタイムラインの表示により、トランジションによる効果的な演出が行なえる手段を提供できる。
【００７３】
（第２実施形態）
次に、第２実施形態について説明する。なお、第１実施形態と第２実施形態とにおいて、図１に示す画像処理装置１の構成要素は同様である。第２実施形態では、第１実施形態との相違点について主に説明する。第２実施形態では、表示制御部２４は、ユーザ入力に応じて指定された時間における深度マップをタイムラインに表示させる。これにより、第２実施形態では、タイムラインの表示において、トランジション効果の起点、終点及び遷移過程の編集が容易となるユーザインターフェースを提供することができる。
【００７４】
以下、第２実施形態における画像処理装置１の動作の一例について説明する。
【００７５】
図８は、第２実施形態における画像処理装置１の動作の一例を示すフローチャートである。図９は、第２実施形態におけるタイムラインを用いた動画編集の一例を説明する図である。ここで、ＣＰＵ２は、入力デバイス８から、タイムラインを用いた動画編集用アプリケーションの起動の指示を示すユーザ入力を受け付けると、その動画編集用アプリケーションを実行する。すると、表示制御部２４は、図９に示す通り、プレビュー画面９１、ソースタブ画面９２、タイムライン９６を表示モニタ９に表示させる。
【００７６】
続いて、ＣＰＵ２は、図８に示すフローの処理を開始する。
【００７７】
なお、ステップＳ２０１からステップＳ２０４までの処理は、図３に示すステップＳ１０１からステップＳ１０４と同様の処理であるので詳細な説明は省略する。
【００７８】
ステップＳ２０１：表示制御部２４は、入力した画像の一覧表示処理を行なう。
【００７９】
ステップＳ２０２：画像取得部２１は、動画像の取得処理を行なう。
【００８０】
ステップＳ２０３：深度マップ生成部２３ａは、深度マップの生成処理を行なう。
【００８１】
ステップＳ２０４：遷移画像生成部２３ｃは、遷移画像の生成処理を行なう。
【００８２】
ステップＳ２０５：表示制御部２４は、タイムラインの表示態様の制御処理を行なう。
ここで、図９に示すタイムライン９６は、一例として、映像用のビデオトラック９６ａと、エフェクトを設定するためのトランジショントラック９６ｂと、音声用の音声トラック９６ｃとを有している。
【００８３】
表示制御部２４は、タイムライン９６において、ビデオトラック９６ａと、トランジショントラック９６ｂと、音声トラック９６ｃとを時間軸方向に並列に配置して表示モニタ９に表示させる。このトランジショントラック９６ｂには、ユーザ入力に応じて指定したトランジション効果を適用することができる。
【００８４】
ステップＳ２０６：ＣＰＵ２は、プレビュー表示処理を行なう。ここで、表示制御部２４は、ユーザ入力に応じてプレビュー位置決めライン９５を設定する。すると、表示制御部２４は、プレビュー位置決めライン９５の時刻に対応する遷移画像をプレビュー画面９１に表示させる。なお、表示制御部２４は、一例として、プレビュー画面９１に、動画像Ｂ（source2.mov）に遷移する途中段階の１コマを表示させる。
【００８５】
ステップＳ２０７：ＣＰＵ２は、マウスポインタを表示画面上の任意の位置に設定するマウスオーバーによる指示入力の受付けの有無を判定する。マウスオーバーによる指示入力を受け付けなかった場合（ステップＳ２０７：Ｎｏ）、ＣＰＵ２は、図８に示すフローの処理を終了させる。一方、マウスオーバーによる指示入力を受け付けた場合（ステップＳ２０７：Ｙｅｓ）、ＣＰＵ２は、ステップＳ２０８の処理に移行する。
【００８６】
ステップＳ２０８：表示制御部２４は、深度マップを表示させる。具体的には、ユーザがトランジショントラック９６ｂの内の任意の点をマウスオーバーすると、表示制御部２４は、例えば、その点を含むラインＬ２を表示し、そのラインＬ２における深度マップ９６ｄを表示させる（図９参照）。また、ユーザがトランジショントラック９６ｂの内の任意の点をマウスオーバーすると、表示制御部２４は、例えば、その点を含むラインＬ３を表示し、そのラインＬ３における深度マップ９６ｅを表示させる（図９参照）。
【００８７】
深度マップ９６ｄ、９６ｅを表示させると、ユーザは、それらの深度マップ上で、その時間におけるトランジション効果が奥行き方向のどの位置に適用されているか目視することができる。
【００８８】
そして、表示制御部２４は、ユーザ入力に応じて、ビデオトラック９６ａの指定された時間幅を示す区間（図中、Ｌ２とＬ３とで挟まれた区間９７）に対して、トランジション効果（例えば、ワイプ）を奏する遷移画像を挿入する設定を行なうことができる。
【００８９】
これにより、ユーザは、動画像の奥行き方向のどの位置にトランジションの効果を挿入するかを確認し、編集することが容易となる。
【００９０】
ステップＳ２０９：ＣＰＵ２は、遷移位置の編集の指示入力の受付けの有無を判定する。遷移位置の編集の指示入力を受付けない場合（ステップＳ２０９：Ｎｏ）、ＣＰＵ２は、図８に示すフローの処理を終了させる。一方、遷移位置の編集の指示入力を受付けた場合（ステップＳ２０９：Ｙｅｓ）、ＣＰＵ２は、ステップＳ２１０の処理に移行する。
【００９１】
ステップＳ２１０：ＣＰＵ２は、遷移位置の編集の受付処理を行なう。具体的には、ユーザ入力により指定された区間９７が遷移位置の編集の対象となる。つまり、ＣＰＵ２は、深度マップ９６ｄにおける開始位置を示す開始ラインＬ４から、深度マップ９６ｅにおける終了位置を示すラインＬ５までを、編集対象とする。そして、ＣＰＵ２は、ステップＳ２０３の処理に戻り、ステップＳ２０３からステップＳ２０９の処理を繰り返す。これにより、本実施形態では、ユーザ入力により指定された区間９７内の画像に対して、深度マップを生成し、さらに、遷移画像を生成する。なお、ＣＰＵ２は、深度マップ９６ｄと深度マップ９６ｅの遷移位置を変更した場合、換言すると、ＣＰＵ２は、ユーザ入力に応じて、例えば、ラインＬ４とラインＬ５との間隔を狭めた場合、トランジショントラック９６ｂは、トランジション効果の範囲の変更が生じる。そのため、タイムライン生成部２３ｂは、再度タイムライン９６を生成する。
【００９２】
そして、ＣＰＵ２は、再度、遷移位置の編集の指示入力の受付けの有無を判定する。遷移位置の編集の指示入力を受付けない場合（ステップＳ２０９：Ｎｏ）、ＣＰＵ２は、図８に示すフローの処理を終了させる。
【００９３】
その後、表示制御部２４は、実際の動画像の再生時に、例えば、奥行き情報を考慮したワイプのエフェクトを表示モニタ９の表示画面上で行なうことができる。
【００９４】
以上より、第２実施形態では、タイムラインの表示において、トランジション効果の起点、終点及び遷移過程の編集が容易となるユーザインターフェースを提供することができる。
【００９５】
（第３実施形態）
次に、第３実施形態について説明する。なお、第１実施形態と第３実施形態とにおいて、図１に示す画像処理装置１の構成要素は同様である。第３実施形態では、第１実施形態との相違点について主に説明する。
【００９６】
第３実施形態では、第１実施形態とは、異なるトランジション効果を採用した場合について説明する。すなわち、第１実施形態では、ワイプを選択した場合のタイムラインの表示態様について説明した。第３実施形態では、フェードを選択した場合のタイムラインの表示態様について説明する。
【００９７】
ここで、第３実施形態では、図３に示すフローの処理において、ステップＳ１０４、ステップＳ１０５と、Ｓ１０７、Ｓ１０８の処理がフェード用のトランジション効果の処理に置き換わるだけなので、図３に示すフローの処理と同様である。
【００９８】
図１０は、第３実施形態におけるタイムラインを用いた動画編集の一例を説明する図である。ここで、ＣＰＵ２は、入力デバイス８から、タイムラインを用いた動画編集用アプリケーションの起動の指示を示すユーザ入力を受け付けると、その動画編集用アプリケーションを実行する。すると、タイムライン生成部２３ｂは、ユーザ入力に応じて第３実施形態のタイムライン９８を生成する。そして、表示制御部２４は、プレビュー画面９１、ソースタブ画面９２、タイムライン９８を表示モニタ９に表示させる。
【００９９】
ここで、タイムライン９８は、一例として、図１０に示す通り、トランジションの設定が可能な映像用のビデオトラック９８ａと、音声用の音声トラック９８ｂとを有している。このビデオトラック９８ａには、ユーザ入力に応じて指定したクロスフェードのトランジション効果を適用することができる。図１０において、表示制御部２４は、クロスフェードにおけるフェードアウト用の設定ライン９９ａ、９９ｂ、フェードイン用の設定ライン９９ｃ、９９ｄを、ユーザ入力に応じて設定することができる。ここで、表示制御部２４は、フェードアウト用の設定ライン９９ａ、９９ｂの間隔に応じて、フェードアウトの行なわれる時間を制御できる。表示制御部２４は、間隔を広げる程、フェードアウトの行なわれる時間を遅くする。また、同様にして、表示制御部２４は、フェードイン用の設定ライン９９ｃ、９９ｄの間隔に応じて、フェードインの行なわれる時間を制御できる。表示制御部２４は、間隔を広げる程、フェードインの行なわれる時間を遅くする。これらの間隔は、ユーザ入力により設定することができる。
【０１００】
なお、第３実施形態では、クロスフェードの設定の場合、ワイプの設定と異なり、撮影場面の切り替えの際、例えば、動画像Ａ（source1.mov）と、動画像Ｂ（source2.mov）とを独立に編集することができる。
【０１０１】
図１１は、タイムラインを用いたクロスフェードの動画編集の一例を説明する図である。図１２は、フェードアウトのトランジション効果の一例を示す図である。
【０１０２】
本実施形態のクロスフェードは、動画像のフレーム（遷移画像）の透過率を変えることで、例えば、奥行き方向のフェードイン、フェードアウトを実現することができる。そのため、従来のクロスフェード（フェードイン、フェードアウト）の効果とは異なる新規のトランジション効果が得られる。なお、図１１、図１２では、フェードアウトする場合について例示している。
【０１０３】
ここで、遷移画像の透過率を変える仕方としては、画像処理部２３は、例えば、輝度値を補正することにより、透過率０％の状態を白色に変更しても良い。
【０１０４】
図１１（ａ）は、フェードアウトする前の状態を表わしている。図１１（ｂ）は、図１０に示すフェードアウト用の設定ライン９９ａ、９９ｂを拡大表示している。また、設定ライン９９ａは、透過率１００％の状態（輝度値を補正する画像処理を施さない状態）を表わしており、設定ライン９９ｂは、透過率０％の状態を表わしている。設定ライン９９ａの各点（所定の奥行き方向の位置を示す）から設定ライン９９ｂに向けて伸びる矢印が、時間の経過に応じてフェードアウトすることを表わしている。
【０１０５】
そして、設定ライン９９ｂの各点が、それぞれ、図１２に示す遷移画像（ＦＯ１〜ＦＯ４）の状態を示している。つまり、本実施形態のフェードアウトは、奥行き方向から手前に向けて、被写体のフェードアウトする開始時間をずらしていく点を特徴とする。
【０１０６】
なお、フェードインについては、フェードアウトの逆の処理を行なえば良いので説明を省略する。
【０１０７】
以上より、第３実施形態では、タイムラインの表示において、ユーザ入力により、新規のクロスフェードのトランジション効果の設定が容易となる。これにより、画像処理装置１では、新規のクロスフェード等のトランジション効果を実現することができる。
【０１０８】
（実施形態の補足事項）
（１）上記の実施形態では、本発明の一実施形態である画像処理装置１をパーソナルコンピュータに適用したが、本発明は、これに限定されるものではない。例えば、他の実施形態としては、携帯用の情報処理端末等に本発明の一実施形態の画像処理プログラムを格納して、画像処理装置１と同様の処理を行なっても良い。
【０１０９】
（２）上記の実施形態では、入力デバイス８として、マウスやキーボードを採用したが、タッチパネル方式を採用しても良い。
【０１１０】
（３）上記の実施形態では、多視点画像として、左視点画像（左眼用画像）と右視点画像（右眼用画像）とからなる立体視用の画像を採用した。ここで、多視点画像は、異なる視点からの画像であれば良く、立体視用の画像に限られない。また、多視点画像は、左右の視点からの画像に限られない。多視点画像は、上下の視点からの画像を含んでも良い。或いは、多視点画像は、３つ以上の視点からの画像を含んでも良い。
【０１１１】
（４）上記の実施形態では、動画像について説明したが、２つの異なる静止画像に対してトランジション効果を適用するようにしても良い。
【符号の説明】
【０１１２】
１・・・画像処理装置、２１・・・画像取得部、２３ａ・・・深度マップ生成部、２３ｂ・・・タイムライン生成部、２３ｃ・・・遷移画像生成部、２４・・・表示制御部
【図１】
2014016670.tif 000003
【図２】
2014016670.tif 000004
【図３】
2014016670.tif 000005
【図４】
2014016670.tif 000006
【図５】
2014016670.tif 000007
【図６】
2014016670.tif 000008
【図７】
2014016670.tif 000009
【図８】
2014016670.tif 000010
【図９】
2014016670.tif 000011
【図１０】
2014016670.tif 000012
【図１１】
2014016670.tif 000013
【図１２】
2014016670.tif 000014