(57)【要約】【課題】映像処理装置及びその方法を提供する。【解決手段】映像処理装置及びその方法に係り、対象体を含むボリュームデータを取得するデータ取得部、映像平面から前記対象体の表面までの深度を表す深度データを取得する深度データ取得部、深度データに基づいて、ボリュームデータを処理して加工ボリュームデータを取得し、加工ボリュームデータを基に、レンダリング映像を生成する映像処理部、及びレンダリング映像を表示する表示部を含む映像処理装置である。【選択図】図１
2013186905.tif 000002
【特許請求の範囲】
【請求項１】
対象体を含むボリュームデータを取得するデータ取得部と、
映像平面から前記対象体の表面までの深度を表す深度データを取得する深度データ取得部と、
前記深度データに基づいて、前記ボリュームデータを処理して加工ボリュームデータを取得し、前記加工ボリュームデータに基づいて、レンダリング映像を生成する映像処理部と、
前記レンダリング映像を表示する表示部と、を含むことを特徴とする映像処理装置。
【請求項２】
前記映像処理部は、
前記深度データに基づいて得られた前記対象体の前記表面の境界データを用いて、前記ボリュームデータを対象体ボリュームと非対象体ボリュームに区分し、
前記ボリュームデータから前記非対象体ボリュームデータが除去された前記加工ボリュームデータを取得することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記映像処理部は、
前記深度データに基づいて、前記対象体の前記表面を表すマスクボリュームを取得し、前記マスクボリュームで前記ボリュームデータをマスキングし、前記加工ボリュームデータを取得することを特徴とする請求項１に記載の映像処理装置。
【請求項４】
ユーザから前記レンダリング映像を編集する編集要請の入力を受ける入力部をさらに含み、
前記映像処理部は、前記編集要請及び前記深度データに基づいて、編集レンダリング映像を生成し、
前記表示部は、前記編集レンダリング映像を表示することを特徴とする請求項１ないし３のいずれかに記載の映像処理装置。
【請求項５】
前記映像処理部は、
前記編集要請に基づいて、前記レンダリング映像内の編集領域を獲得し、前記深度データに基づいて、前記加工ボリュームデータ内の前記編集領域に対応する削除ボリュームを設定し、前記加工ボリュームデータから前記削除ボリュームが除去された編集ボリュームデータを取得し、前記編集ボリュームデータを基にして、前記編集レンダリング映像を生成することを特徴とする請求項４に記載の映像処理装置。
【請求項６】
前記映像平面から前記削除ボリュームの底面までの深度は、前記映像平面から前記対象体の前記表面までの前記深度と同じであるか、それより深いことを特徴とする請求項５に記載の映像処理装置。
【請求項７】
前記映像平面から前記削除ボリュームの上面までの深度は、前記編集領域内における前記対象体の最小表面深度と同じであるか、それより浅く、
前記映像平面から前記削除ボリュームの前記底面までの前記深度は、前記編集領域内における前記対象体の最大表面深度と同じであるか、それより浅いことを特徴とする請求項５または６に記載の映像処理装置。
【請求項８】
前記編集要請は、前記削除ボリュームの前記底面の前記深度を表すユーザ深度情報をさらに含むことを特徴とする請求項６または７に記載の映像処理装置。
【請求項９】
前記入力部は、前記編集レンダリング映像の復元を指示する復元要請の入力を受け、
前記映像処理部は、前記復元要請に基づいて復元レンダリング映像を生成し、
前記表示部は、前記復元レンダリング映像を表示することを特徴とする請求項４ないし８のいずれかに記載の映像処理装置。
【請求項１０】
前記映像処理部は、
前記編集ボリュームデータに前記削除ボリュームまたは前記削除ボリュームの一部を復元ボリュームとして設定し、前記編集ボリュームデータにより、前記復元ボリュームが復元された復元ボリュームデータを取得し、前記復元ボリュームデータに基づいて、前記復元レンダリング映像を生成することを特徴とする請求項９に記載の映像処理装置。
【請求項１１】
対象体を含むボリュームデータを取得する段階と、
映像平面から前記対象体の表面までの深度を表す深度データを取得する段階と、
前記深度データに基づいて、前記ボリュームデータを処理して加工ボリュームデータを取得し、前記加工ボリュームデータに基づいて、レンダリング映像を生成する段階と、
前記レンダリング映像を表示する段階と、を含むことを特徴とする映像処理方法。
【請求項１２】
前記加工ボリュームデータを取得する段階は、
前記深度データを基に取得された前記対象体の前記表面の境界データを用いて、前記ボリュームデータを対象体ボリュームと非対象体ボリュームに区分する段階と、
前記ボリュームデータから、前記非対象体ボリュームを除去する段階と、を含むことを特徴とする請求項１１に記載の映像処理方法。
【請求項１３】
ユーザから前記レンダリング映像の編集を指示する編集要請の入力を受ける段階と、
前記編集要請及び前記深度データに基づいて、編集レンダリング映像を生成する段階と、
前記編集レンダリング映像を表示する段階と、をさらに含むことを特徴とする請求項１１または１２に記載の映像処理方法。
【請求項１４】
前記編集レンダリング映像を生成する段階は、
前記編集要請に基づいて、前記レンダリング映像内の編集領域を獲得する段階と、
前記深度データを基にして、前記加工ボリュームデータ内の前記編集領域に対応する削除ボリュームを設定する段階と、
前記加工ボリュームデータから前記削除ボリュームが除去された編集ボリュームデータを取得する段階と、
前記編集ボリュームデータを基にして、前記編集レンダリング映像を生成する段階と、を含むことを特徴とする請求項１３に記載の映像処理方法。
【請求項１５】
前記映像平面から前記削除ボリュームの底面までの深度は、前記映像平面から前記対象体の前記表面までの前記深度と同じであるか、それより深いことを特徴とする請求項１４に記載の映像処理方法。
【請求項１６】
前記映像平面から前記削除ボリュームの上面までの深度は、前記編集領域内における前記対象体の最小表面深度と同じであるか、それより浅く、
前記映像平面から前記削除ボリュームの前記底面までの前記深度は、前記編集領域内における前記対象体の最大表面深度と同じであるか、それより浅いことを特徴とする請求項１４または１５に記載の映像処理方法。
【請求項１７】
前記編集要請は、前記削除ボリュームの前記底面の前記深度を表すユーザ深度情報をさらに含むことを特徴とする請求項１５または１６に記載の映像処理装置。
【請求項１８】
前記編集レンダリング映像の復元を指示する復元要請の入力を受ける段階と、
前記復元要請に基づいて復元レンダリング映像を生成する段階と、
前記復元レンダリング映像を表示する段階と、をさらに含むことを特徴とする請求項１３ないし１７のいずれかに記載の映像処理方法。
【請求項１９】
前記復元レンダリング映像を生成する段階は、
前記編集ボリュームデータに前記削除ボリュームまたは前記削除ボリュームの一部を復元ボリュームとして設定する段階と、
前記編集ボリュームデータで、前記復元ボリュームが復元された復元ボリュームデータを取得する段階と、
前記復元ボリュームデータを基に、前記復元レンダリング映像を生成する段階と、を含むことを特徴とする請求項１８に記載の映像処理方法。
【請求項２０】
請求項１１ないし１９のうちいずれか１項に記載の映像処理方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置及びその方法に関する。
【背景技術】
【０００２】
映像処理装置は、立体映像のためのボリュームデータにレンダリング（rendering）処理を行って、三次元質感を有する二次元レンダリング映像を生成することができる。また、映像処理装置は、ボリュームデータを処理して、レンダリング映像の品質を向上させたり、レンダリング映像を編集することができる。このとき、効率的にボリュームデータを処理することができる映像処理装置及びその方法が要求される。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明が解決しようとする技術的課題は、効率的にボリュームデータを処理することができる映像処理装置及びその方法を提供することである。
【課題を解決するための手段】
【０００４】
前記技術的課題を解決するための本発明の一実施形態による映像処理装置は、対象体を含むボリュームデータを取得するデータ取得部、映像平面から前記対象体の表面までの深度を表す深度データを取得する深度データ取得部、前記深度データに基づいて、前記ボリュームデータを処理して加工ボリュームデータを取得し、前記加工ボリュームデータを基にして、レンダリング映像を生成する映像処理部、及び前記レンダリング映像を表示する表示部を含む。
【０００５】
ユーザから前記レンダリング映像の編集を指示する編集要請の入力を受ける入力部をさらに含み、前記映像処理部は、前記編集要請及び前記深度データを基にして編集レンダリング映像を生成し、前記表示部は、前記編集レンダリング映像を表示する。
【０００６】
前記映像処理部は、前記深度データを基にして得られた前記対象体の前記表面の境界について、前記ボリュームデータを対象体ボリュームと非対象体ボリュームに区分し、前記ボリュームデータから前記非対象体ボリュームが除去された前記加工ボリュームデータを取得する。
【０００７】
前記映像処理部は、前記深度データを基にして、前記対象体の前記表面を表すマスクボリュームを取得し、前記マスクボリュームで前記ボリュームデータをマスキングし、前記加工ボリュームデータを取得する。
【０００８】
前記映像処理部は、前記編集要請に基づいて、前記レンダリング映像内の編集領域を獲得し、前記深度データを基に、前記加工ボリュームデータ内の前記編集領域に対応する削除ボリュームを設定し、前記加工ボリュームデータから前記削除ボリュームが除去された編集ボリュームデータを取得し、前記編集ボリュームデータを基に、前記編集レンダリング映像を生成する。
【０００９】
前記映像平面から前記削除ボリュームの底面までの深度は、前記映像平面から前記対象体の表面までの前記深度と同じであるか、よれより深い。
【００１０】
前記映像平面から前記削除ボリュームの上面までの深度は、前記編集領域内における前記対象体の最小表面深度と同じであるか、それより浅く、前記映像平面から前記削除ボリュームの前記底面までの前記深度は、前記編集領域内における前記対象体の最大表面深度と同じであるか、それより浅い。
【００１１】
前記編集要請は、前記削除ボリュームの前記底面の深度を指示するユーザ深度情報をさらに含んでいる。
【００１２】
前記入力部は、前記編集レンダリング映像の復元を指示する復元要請の入力を受け、前記映像処理部は、前記復元要請に基づいて復元レンダリング映像を生成し、前記表示部は、前記復元レンダリング映像を表示する。
【００１３】
前記映像処理部は、前記編集ボリュームデータに前記削除ボリュームまたは前記削除ボリュームの一部を復元ボリュームとして設定し、前記編集ボリュームデータにより、前記復元ボリュームが復元された復元ボリュームデータを取得し、前記復元ボリュームデータを基にして、前記復元レンダリング映像を生成する。
【００１４】
前記技術的課題を解決するための本発明の他の実施形態による映像処理方法は、対象体を含むボリュームデータを取得する段階、映像平面から前記対象体の表面までの深度を表す深度データを取得する段階、前記深度データを基にして、前記ボリュームデータを処理して加工ボリュームデータを取得し、前記加工ボリュームデータを基にしてレンダリング映像を生成する段階、及び前記レンダリング映像を表示する段階を含む。
【００１５】
前記技術的課題を解決するための本発明のさらに他の実施形態によるコンピュータで読み取り可能な記録媒体は、前記映像処理方法を具現するためのプログラムが記録される。
【発明の効果】
【００１６】
本発明の実施形態によれば、効率的にボリュームデータを処理することができる映像処理装置及びその方法を提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態による映像処理装置のブロック図である。
【図２】図１のデータ取得部で取得されるボリュームデータの一例を示す図面である。
【図３】図１の深度データ取得部で深度データを取得する方法の一例を示す図面である。
【図４】図１の映像処理部で取得される加工ボリュームデータの一例を示す図面である。
【図５】図１の映像処理部で、加工ボリュームデータ取得のために用いるマスクボリュームの一例を示す図面である。
【図６】対象体が胎児である場合、レンダリング映像の一例を示す図面である。
【図７】対象体が胎児である場合、編集レンダリング映像の一例を示す図面である。
【図８】編集領域が設定されたレンダリング映像及び編集レンダリング映像の一例を示す図面である。
【図９】削除ボリュームが設定された加工ボリュームデータの一例を示す図面である。
【図１０】図９の一部を拡大した図面である。
【図１１】加工ボリュームデータから削除ボリュームが除去された編集ボリュームデータの一例を示す図面である。
【図１２】編集レンダリング映像のための編集ボリュームデータの一例を示す図面である。
【図１３】復元レンダリング映像のための復元ボリュームデータの一例を示す図面である。
【図１４】本発明の他の実施形態による映像処理方法を示すフローチャートである。
【図１５】本発明の実施形態と異なる映像処理方法で生成された編集レンダリング映像の一例を示す図面である。
【発明を実施するための形態】
【００１８】
以下、図面を参照しながら、本発明の実施形態について詳細に説明する。
【００１９】
図１は、本発明の一実施形態による映像処理装置のブロック図である。
【００２０】
図１を参照すれば、映像処理装置１００は、制御部１１０及び表示部１２０を含む。映像処理装置１００は、入力部１３０及び保存部１４０をさらに含んでもよい。
【００２１】
映像処理装置１００は、超音波映像装置、コンピュータ断層撮映（ＣＴ：computed tomography）装置または磁気共鳴映像（ＭＲＩ：magnetic resonance imaging）装置などの医療映像装置のために使用される。例えば、映像処理装置１００は、医療映像装置に含まれる。ただし、映像処理装置１００は、医療映像装置だけでなく、ボリュームデータ処理が要求される他の多様な映像装置としても使用することができる。
【００２２】
制御部１１０は、データを取得したり処理し、表示部１２０に表示される表示映像を生成する。表示部１２０は、制御部１１０で生成する表示映像をリアルタイムで表示する。入力部１３０は、ユーザからの要請を入力する。制御部１１０は、ユーザ要請に基づいて、データを処理する。入力部１３０または入力部１３０の一部は、表示部１２０に表示される。
【００２３】
制御部１１０は、データ取得部１１２、深度データ取得部１１４及び映像処理部１１６を含んでいる。データ取得部１１２は、対象体（object）を含むボリュームデータを取得する。深度データ取得部１１４は、映像平面から対象体モデルの表面までの深度を表す深度データを取得する。映像処理部１１６は、深度データを基にしてボリュームデータを処理し、加工ボリュームデータを取得し、加工ボリュームデータを基に、レンダリング映像を生成する。表示部１２０は、レンダリング映像を表示する。
【００２４】
図２は、図１のデータ取得部で取得されるボリュームデータの一例を示す図面である。
【００２５】
図１及び図２を参照すれば、データ取得部１１２で取得されるボリュームデータ３００は、対象体２００を含む。ボリュームデータ３００は、複数のボクセル（voxel）値を含んでいる。対象体２００は、対象体の立体データである。図２で対象体２００は、胎児の立体データであるが、図２は例示であって、対象体が胎児に限定されるものではない。対象体は、人体を含む動物体であるか、動物体の一部である。例えば、対象体は、胎児または動物体の器官（organ）である。
【００２６】
一例として、データ取得部１１２は、対象体を含む三次元空間をスキャンし、スキャンされた三次元空間を立体映像化するボリュームデータ３００を取得する。他の例として、データ取得部１１２は、映像処理装置１００の外部のスキャン装置で対象体をスキャンして得たスキャン情報を伝達し、そのスキャン情報を基に、ボリュームデータ３００を取得することもできる。さらに他の例として、データ取得部１１２は、外部装置からボリュームデータ３００を伝達することもできる。ただし、それらに限定されることなく、映像処理装置１００は、他の多様な方法でボリュームデータ３００を取得することができる。
【００２７】
図３は、図１の深度データ取得部で、深度データを取得する方法の一例を示す図面である。
【００２８】
図１及び図３を参照すれば、深度データ取得部１１４は、映像平面ＩＰＬ（image plane）から対象体モデル２００の表面までの深度ＤＰ１〜ＤＰ５を表す深度データを取得する。
【００２９】
映像平面ＩＰＬは、仮想カメラで撮影されたボリュームデータ３００の視点（viewpoint）映像が形成される仮想の平面である。映像平面ＩＰＬに形成される視点映像は、表示部１２０に表示される。
【００３０】
深度データ取得部１１４は、ボリュームデータ３００に係わる映像平面ＩＰＬの位置及び方向を多様に設定することができる。映像平面ＩＰＬの位置及び方向は、入力部１３０を介して入力されるユーザ要請に基づいて変更することもできる。
【００３１】
映像平面ＩＰＬは、行列状に配列される複数の画素ＰＸ１〜ＰＸ５を含んでいる。図３では、一列に配列された第１画素ＰＸ１ないし第５画素ＰＸ５を図示したが、図３は、一例であって、映像平面ＩＰＬに含まれる複数の画素ＰＸ１〜ＰＸ５の個数を制限するものではない。
【００３２】
深度データ取得部１１４は、複数の画素ＰＸ１〜ＰＸ５ごとに対応する対象体２００の表面深度データＤＰ１〜ＤＰ５を取得する。従って、深度データは、映像平面ＩＰＬの複数の画素ＰＸ１〜ＰＸ５に係わる複数の表面深度データＤＰ１〜ＤＰ５を含んでいる。
【００３３】
深度データ取得部１１４は、映像平面ＩＰＬからボリュームデータ３００に入射される光の反射強度を基に、深度データを取得する。ボリュームデータ３００における、対象体２００の表面は、表面以外の部分に比し反射強度が大きい。従って、深度データ取得部１１４は、ボリュームデータ３００で、光の反射強度が最大である最大ポイントを検出し、最大ポイントを対象体２００の表面ポイントＳＰ１〜ＳＰ５と推定する。各表面ポイントＳＰ１〜ＳＰ５は、ボクセルであってもよい。また、深度データ取得部１１４は、表面ポイントＳＰ１〜ＳＰ５を基に、深度データを取得する。
【００３４】
例えば、深度データ取得部１１４は、ボリューム・レンダリングに使用されるレイキャスティング（ray casting）に基づいて、対象体２００の深度データを取得する。
【００３５】
映像平面ＩＰＬの複数の画素ＰＸ１〜ＰＸ５ごとに、映像平面ＩＰＬから、ボリュームデータ３００を経て、仮想平面ＶＰＬに光のレイ（ray）ＲＹ１〜ＲＹ５が入射されるようにする。
【００３６】
複数のレイＲＹ１〜ＲＹ５それぞれには、複数のサンプルポイントＳ１，Ｓ２，…，Ｓｎ（ｎは自然数）が設定される。複数のサンプルポイントＳ１，Ｓ２，…，Ｓｎそれぞれはボクセルである。図３に図示された複数のサンプルポイントＳ１，Ｓ２，…，Ｓｎは、一例であって、図３によってサンプルポイントの位置、サンプルポイントの間の間隔、サンプルポイントの個数などが制限されるものではない。
【００３７】
レイキャスティングでは、複数のレイＲＹ１〜ＲＹ５ごとに対応するレイ上の複数のサンプルポイントＳ１，Ｓ２，…，Ｓｎごとに光の反射強度を取得し、その複数の反射強度を加算して複数のサンプルポイントＳ１，Ｓ２，…，Ｓｎに係わる反射強度の総合値を取得する。例えば、第２レイ（ＲＹ２）上の複数のサンプルポイントＳ１，Ｓ２，…，Ｓｎに係わる反射強度の総合値ＴＳ（２）は、次の数式によって得ることができる。
【００３８】
【数１】
2013186905.tif 000003
【００３９】
数式１でＤｉは、第２レイＲＹ２の第ｉサンプルポイントＳｉでの光の強度（intensity）であり、Ｔｊは、第２レイＲＹ２の第ｊサンプルポイントＳｊでの透明度（transparency）である。
【００４０】
深度データ取得部１１４は、複数のレイＲＹ１〜ＲＹ５ごとに、複数のサンプルポイントＳ１，Ｓ２，…，Ｓｎに係わる複数の反射強度のうち最大反射強度を検出し、最大反射強度のサンプルポイントを、対象体２００の表面ポイントＳＰ１〜ＳＰ５として推定する。例えば、深度データ取得部１１４は、第２レイＲＹ２上の複数のサンプルポイントＳ１，Ｓ２，…，Ｓｎに係わる複数の反射強度のうち、最大反射強度Ｔｍａｘ（２）を、次の数式により検出する。
【００４１】
【数２】
2013186905.tif 000004
【００４２】
深度データ取得部１１４は、第２レイＲＹ２上の複数のサンプルポイントＳ１，Ｓ２，…，Ｓｎのうち、最大反射強度Ｔｍａｘ（２）のサンプルポイントを、第２表面ポイントＳＰ２として検出する。
【００４３】
深度データ取得部１１４は、第２レイＲＹ２上の第２表面ポイントＳＰ２を、第２画素ＰＸ２に係わる対象体２００の表面として推定し、第２画素ＰＸ２に係わる第２表面ポイントＳＰ２の深度を、第２表面深度ＤＰ２として取得する。深度データ取得部１１４は、他のレイについても、同様に表面深度を取得することにより、深度データを取得する。
【００４４】
次に、映像処理部１１６について説明する。
【００４５】
映像処理部１１６は、深度データを基にして、ボリュームデータ３００を処理し、加工ボリュームデータを取得する。映像処理部１１６は、深度データを基にして、対象体２００の表面の境界について、ボリュームデータ３００を、対象体ボリュームと非対象体ボリュームに区分する。映像処理部１１６は、ボリュームデータ３００から非対象体ボリュームが除去された加工ボリュームデータを取得する。
【００４６】
図４は、図１の映像処理部で取得される加工ボリュームデータの一例を示す図面である。図４の加工ボリュームデータ３００Ａは、図１の映像処理部１１６で、深度データを基にして、図３のボリュームデータ３００を処理して取得されたものであると仮定する。
【００４７】
図３及び図４を参照すれば、加工ボリュームデータ３００Ａは、ボリュームデータ３００における対象体２００の表面ＯＭＳを境界に、非対象体ボリュームが除去されたものである。非対象体ボリュームは、映像平面ＩＰＬからの深度が対象体モデル２００の表面ＯＭＳの深度より浅いボリュームであってもよい。非対象体ボリュームの除去とは、ボリュームデータ３００に含まれる複数のボクセル値のうち、非対象体ボリュームに含まれる複数のボクセル値を、いずれも基準値に変更することである。基準値としてボクセル値が変更されたボクセルは、黒色のような基準色で表示される。
【００４８】
このように、映像処理部１１６（図１）は、ボリュームデータ３００から非対象体ボリュームのみを除去し、対象体２００の表面ＯＭＳと、表面ＯＭＳより深いボリュームとを、除去しないこともある。対象体モデル２００の表面ＯＭＳより深度が浅い非対象体ボリュームは、ノイズまたは障害物である可能性が高い。従って、映像処理部１１６（図１）は、対象体２００の表面ＯＭＳを保存しながら、ボリュームデータ３００からノイズまたは障害物を除去する。
【００４９】
図５は、図１の映像処理部で、加工ボリュームデータ取得のために使用するマスクボリュームの一例を示す図面である。
【００５０】
図５を参照すれば、映像処理部１１６（図１）は、深度データを基に、対象体の表面ＯＭＳを指示するマスクボリュームＭＶを取得する。マスクボリュームＭＶで斜線部分は、対象体ボリュームＯＢＶを表し、非斜線部分は、非対象体ボリュームを表す。
【００５１】
図３ないし図５を参照すれば、映像処理部１１６（図１）は、マスクボリュームＭＶで、ボリュームデータ３００をマスキングし、加工ボリュームデータ３００Ａを取得する。マスキングとは、ボリュームデータ３００とマスクボリュームＭＶとをマッチングさせ、ボリュームデータ３００におけるマスクボリュームＭＶが指す非対象体ボリューム（非斜線部分）を除去し、加工ボリュームデータ３００Ａを取得する映像処理である。
【００５２】
映像処理部１１６（図１）は、加工ボリュームデータ３００Ａを基にして、レンダリング映像を生成する。レンダリング映像は、映像平面ＩＰＬに結ばれる加工ボリュームデータ３００Ａの視点映像である。映像処理部１１６（図１）は、レイキャスティングを基に、レンダリング映像を生成することができる。ただし、映像処理部１１６（図１）は、レイキャスティングだけではなく、他の多様なボリューム・レンダリング方法を基にして、レンダリング映像を生成することができる。表示部１２０（図１）は、レンダリング映像を表示する。
【００５３】
図６は、対象体が胎児である場合、レンダリング映像の一例を示す図面である。
【００５４】
図１及び図６を参照すれば、レンダリング映像４００は、対象体の顔の一部が、対象体の手によって遮られている。図３を参照すれば、映像平面ＩＰＬから対象体２００の手までの深度が、対象体２００の顔までの深度より浅い所にあるからである。
【００５５】
ところで、対象体の顔だけを関心領域（region of interest）としたい場合がある。この場合、対象体の手は、対象体の一部であるが、非関心領域である。従って、レンダリング映像４００が非関心領域を含む場合、レンダリング映像４００から非関心領域を除去することができるレンダリング映像４００の編集方法が要求される。
【００５６】
入力部１３０は、ユーザからレンダリング映像４００の編集を指示する編集要請の入力を受ける。映像処理部１１６は、入力部１３０を介して入力される編集要請、及び深度データ取得部１１４から取得された深度データを基にして、編集レンダリング映像を生成する。表示部１２０は、編集レンダリング映像を表示する。
【００５７】
図７は、対象体が胎児である場合、編集レンダリング映像の一例を示す図面である。図７の編集レンダリング映像５００は、図６のレンダリング映像４００から、編集要請及び深度データを基にして形成されたものである。
【００５８】
図６及び図７を参照すれば、編集レンダリング映像５００では、レンダリング映像４００に表示される非関心領域である対象体の手が除去されている。また、編集レンダリング映像５００では、対象体の手によって遮られていた対象体の顔が表示されている。
【００５９】
次に、図１の映像処理部１１６で、レンダリング映像４００から、編集レンダリング映像５００を生成する方法の一例について説明する。
【００６０】
映像処理部１１６は、編集要請に基づいて、レンダリング映像４００内の編集領域を獲得し、深度データを基にして、加工ボリュームデータ内の編集領域に対応する削除ボリュームを設定し、加工ボリュームデータから削除ボリュームが除去された編集ボリュームデータを取得し、編集ボリュームデータを基にして、編集レンダリング映像を生成する。
【００６１】
図８は、編集領域が設定されたレンダリング映像及び編集レンダリング映像の一例を示す図面である。
【００６２】
図１及び図８を参照すれば、映像処理部１１６は、入力部１３０を介して入力されるユーザの編集要請に基づいて、レンダリング映像４００Ａに、編集領域ＥＡを設定する。表示部１２０は、編集領域ＥＡが設定されたレンダリング映像４００Ａを表示する。また、表示部１２０は、レンダリング映像４００Ａにおいて、編集領域ＥＡが編集された編集レンダリング映像５００Ａを表示する。図８で編集領域ＥＡは、円形であるが、編集領域ＥＡは必ずしも円形に限定されない。
【００６３】
編集要請は、編集領域ＥＡを指す編集領域情報を含んでもよい。
【００６４】
一例として、ユーザは、表示部１３０に表示されるレンダリング映像４００Ａに、編集領域ＥＡを直接入力する方法で、編集領域情報を入力することができる。例えば、ユーザは、マウス、トラックボール（trackball）などで具現される入力部１３０を介して、レンダリング映像４００Ａ内の編集領域ＥＡを入力することができる。
【００６５】
他の例として、ユーザは、表示部１３０に表示されるレンダリング映像４００Ａで、１つのポイントを入力する方法で、編集領域情報を入力することができる。映像処理部１１６は、ポイントを基に、編集領域ＥＡを設定することができる。例えば、ポイントを中心にする円形が、編集領域ＥＡに設定される。編集領域ＥＡの半径ｒは、デフォルト（default）に設定された値や、ユーザによって調節された値であってもよい。または、ポイントを基に、楕円形または四角形のような編集領域ＥＡが設定されてもよい。
【００６６】
映像処理部１１６は、レンダリング映像４００Ａに設定された編集領域ＥＡを基に、加工ボリュームデータ内の編集領域ＥＡに対応する削除ボリュームを設定する。
【００６７】
図９は、削除ボリュームが設定された加工ボリュームデータの一例を示す図面を、図１０は、図９の一部を拡大した図面を、また、図１１は、加工ボリュームデータから削除ボリュームが除去された編集ボリュームデータの一例を示す図面である。
【００６８】
図１及び図９ないし図１１を参照すれば、映像処理部１１６は、映像平面ＩＰＬの編集領域ＥＡを基に、加工ボリュームデータ３００Ｂ内の編集領域ＥＡに対応する削除ボリュームＤＶを設定し、加工ボリュームデータ３００Ｂから削除ボリュームＤＶが除去された編集ボリュームデータ３００Ｃを取得する。
【００６９】
映像平面ＩＰＬの編集領域ＥＡは、少なくとも１つの画素ＥＰ１〜ＥＰ５を含んでいる。図１０では、一列に配列された第１画素ないし第５画素ＥＰ１〜ＥＰ５を図示しているが、図１０は、一例であって、編集領域ＥＡに含まれる少なくとも１つの画素ＥＰ１〜ＥＰ５の個数を制限するものではない。図１０の画素ＥＰ１〜ＥＰ５は、図３の画素ＰＸ１〜ＰＸ５において、編集領域ＥＡに含まれる画素である。
【００７０】
映像平面ＩＰＬから削除ボリュームＤＶの底面ＢＳの深度は、対応する対象体２００の表面深度Ｓ（ｐ）（ｐ＝１，２，…，５）と同じであるか、それより深い。すなわち、映像平面ＩＰＬから削除ボリュームＤＶの底面ＢＳの深度は、対応する除去厚さｄ（ｐ）（ｐ＝１，２，…，５）のために、対応する対象体２００の表面深度Ｓ（ｐ）（ｐ＝１，２，…，５）よりさらに深い。
【００７１】
図１０で、映像平面ＩＰＬの第１画素ＥＰ１に係わる削除ボリュームＤＶの底面ＢＳの深度は、対応する対象体２００の表面深度［Ｓ（１）］と同じである。すなわち、第１除去厚さｄ（１）が０である。また、映像平面ＩＰＬの第３画素ＥＰ３に係わる削除ボリュームＤＶの底面ＢＳの深度は、第３除去厚さｄ（３）の分、対応する対象体２００の表面深度Ｓ（３）よりさらに深い。
【００７２】
除去厚さｄ（ｐ）は、多様に設定することができる。除去厚さｄ（ｐ）は、編集領域ＥＡに含まれる複数の画素ＥＰ１〜ＥＰ５ごとに一定に設定してもよいし、複数の画素ＥＰ１〜ＥＰ５ごとに異なって設定してもよい。
【００７３】
また、除去厚さｄ（ｐ）は、自動的に設定された値であってもよい。編集領域ＥＡの少なくとも１つの画素ＥＰ１〜ＥＰ５のうち一つである第ｐ画素ＥＰｐ（ｐ＝１，２，…，５）に対応する除去厚さｄ（ｐ）は、編集領域ＥＡ内の第ｐ画素ＥＰｐの位置、第ｐ画素ＥＰｐに係わる対象体２００の表面深度Ｓ（ｐ）、及び編集領域ＥＡ内の対象体モデルの最大表面深度Ｓｍａｘのうち、少なくとも一つ以上を基に設定する。
【００７４】
第ｐ画素ＥＰｐに係わる対象体２００の表面深度Ｓ（ｐ）が浅いほど、除去厚さｄ（ｐ）が厚くなる。そして、第ｐ画素ＥＰｐに係わる対象体２００の表面深度Ｓ（ｐ）が深いほど、除去厚さｄ（ｐ）は薄くなる。
【００７５】
また、映像平面ＩＰＬから削除ボリュームＤＶの上面ＵＳの深度は、編集領域ＥＡ内の対象体２００の最小表面深度Ｓｍｉｎと同じであるか、さらに浅くてもよい。そして、映像平面ＩＰＬから削除ボリュームＤＶの底面ＢＳの深度は、編集領域ＥＡ内の対象体２００の最大表面深度Ｓｍａｘと同じであるか、それより浅い。
【００７６】
例えば、第ｐ画素ＥＰｐに対応する除去厚さｄ（ｐ）は、次の数式３によって得ることができる。
【００７７】
【数３】
2013186905.tif 000005
【００７８】
数式３で、ｐは、編集領域ＥＡ内の第ｐ画素ＰＸｐの位置、ｃは、編集領域ＥＡ内の中心点の位置、ｒは、編集領域ＥＡの半径である。
【００７９】
除去厚さｄ（ｐ）は、ユーザによって設定された値であってもよい。除去厚さｄ（ｐ）を調節するために、編集要請は、削除ボリュームＤＶの底面ＢＳの深度を表すユーザ深度情報をさらに含んでいる。除去厚さｄ（ｐ）を表すユーザ深度情報をさらに含んでもよい。
【００８０】
このように、映像処理部１１６は、編集ボリュームデータ３００Ｃを取得することができ、編集ボリュームデータ３００Ｃを基に、例えば、編集レンダリング映像５００Ａ（図８）を生成することができる。
【００８１】
もし、編集レンダリング映像に非関心領域が含まれていれば、ユーザは、再び編集要請を入力し、編集レンダリング映像を再編集することができる。編集レンダリング映像の再編集方法としては、例えば、レンダリング映像４００Ａ（図８）の編集方法に係わる内容が適用される。従って、重複説明は省略する。
【００８２】
編集レンダリング映像は、レンダリング映像から非関心領域を除去するのが目的であるが、編集過程で、非関心領域だけでなく、関心領域まで除去されてしまう場合が発生することもある。また、一旦除去された非関心領域が、再度、関心領域に変更される場合も生じる。このため、編集レンダリング映像から除去された非関心領域の一部または全部を修復することができる復元方法が要求される。
【００８３】
再び図１を参照すれば、入力部１３０は、例えば、編集レンダリング映像４００Ａ（図８）の復元を指示する復元要請の入力を受けることができる。映像処理部１１６は、復元要請に基づいて、復元レンダリング映像を生成する。表示部１２０は、その復元されたレンダリング映像を表示する。
【００８４】
図１２は、編集レンダリング映像のための編集ボリュームデータの一例を示す図面であり、図１３は、復元レンダリング映像のための復元ボリュームデータの一例を示す図面である。
【００８５】
図１、図１２及び図１３を参照すれば、映像処理部１１６は、編集ボリュームデータ３００Ｄで、復元ボリュームＲＶを設定することができる。復元ボリュームＲＶは、削除ボリュームＤＶまたは削除ボリュームＤＶの一部である。復元ボリュームＲＶの底面は、削除ボリュームＤＶの底面と一致する。
【００８６】
映像処理部１１６は、編集ボリュームデータ３００Ｄで、復元ボリュームＲＶが復元された復元ボリュームデータ３００Ｅを取得する。
【００８７】
保存部１４０には、ボリュームデータ、加工ボリュームデータ、編集ボリュームデータ、復元ボリュームデータなど、制御部１１０で処理されるデータが保存される。映像処理部１１６は、保存部１４０に保存されている加工ボリュームデータを基に、復元ボリュームＲＶを修復する。
【００８８】
図１４は、本発明の他の実施形態による映像処理方法を示すフローチャートである。
【００８９】
図１４を参照すれば、対象体を含むボリュームデータを取得する（Ｓ１１０）。平面映像から対象体の表面の深度を表す深度データを取得する（Ｓ１２０）。深度データを基に、ボリュームデータを処理して加工ボリュームデータを取得し、加工ボリュームデータを基に、レンダリング映像を生成する（Ｓ１３０）。そして、レンダリング映像を表示する（Ｓ１４０）。
【００９０】
図１４の映像処理方法は、図１の映像処理装置で遂行される。映像処理方法の各段階は、図１ないし図１３で説明した内容が適用される。従って、重複説明は省略する。
【００９１】
図１５は、本発明の実施形態と異なる映像処理方法で生成された編集レンダリング映像の一例を示す図面である。
【００９２】
図１５を参照すれば、ボリュームデータにおいて、マジックカット（magic cut）機能で、特定領域が除去され、その特定領域が除去されたボリュームデータを基にして、レンダリング映像が生成される。ところで、図１５の編集レンダリング映像は、除去された領域がその周辺と不連続性を示し、不自然に見える。また、ボリュームデータから、除去して欲しくない領域まで除去されている。
【００９３】
一方、図８を参照すれば、本発明の実施形態による編集レンダリング映像５００Ａは、編集領域ＥＡが周辺領域と連続性を示しており、自然な映像である。
【００９４】
このように、本発明の実施形態によれば、効率的にボリュームデータを処理する映像処理装置及びその方法を提供することができる。
【００９５】
本発明の実施形態によれば、ボリュームデータから非対象体のボリュームデータが選別除去される。対象体の表面より深度が浅い非対象体は、ノイズまたは障害物である可能性が高い。従って、対象体の表面を保存しながら、ボリュームデータからノイズまたは障害物が除去され、レンダリング映像の画質が改善される。
【００９６】
本発明の実施形態によれば、深度データを基にして、ボリュームデータを処理することにより、非関心領域を除去し、非関心領域によって遮られていた関心領域が表示された編集レンダリング映像を生成することができる。また、ユーザが編集要請を介して編集領域を設定すれば、その編集レンダリング映像を生成することができる。従って、ユーザに直観的であり、かつ操作が便利なレンダリング映像編集方法が提供される。
【００９７】
一方、前述の方法は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を用いて、前記プログラムを動作させる汎用デジタルコンピュータで具現することができる。また、前述の方法で使われたデータの構造は、コンピュータで読み取り可能な記録媒体に、多くの手段を介して記録される。前記コンピュータで読み取り可能な記録媒体は、マグネチック保存媒体（例えば、ＲＯＭ（read-only memory）、ＲＡＭ（random-access memory）、ＵＳＢ（universal serial bus）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ（compact disc）−ＲＯＭ、ＤＶＤ（digital versatile disc）など）、ＰＣ（personal computer）インターフェース（Interface）（例えば、ＰＣＩ、ＰＣＩ−express、Ｗｉｆｉなど）のような保存媒体を含む。
【００９８】
本実施形態と係わる技術分野で当業者であるならば、前記記載の本質的な特性から外れない範囲で変形された形態で具現されるということを理解することができるであろう。従って、ここで開示された方法は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならない。
【産業上の利用可能性】
【００９９】
本発明の映像処理装置及びその方法は、例えば、ボリュームデータ処理関連の技術分野に効果的に適用可能である。
【符号の説明】
【０１００】
１００    映像処理装置
１１０    制御部
１１２    データ取得部
１１４    深度データ取得部
１１６    映像処理部
１２０    表示部
１３０    入力部
１４０    保存部
２００    対象体
３００    ボリュームデータ
３００Ａ、３００Ｂ   加工ボリュームデータ
３００Ｃ、３００Ｄ    編集ボリュームデータ
３００Ｅ    復元ボリュームデータ
４００、４００Ａ    レンダリング映像
５００、５００Ａ    編集レンダリング映像
【図１】
2013186905.tif 000006
【図２】
2013186905.tif 000007
【図３】
2013186905.tif 000008
【図４】
2013186905.tif 000009
【図５】
2013186905.tif 000010
【図６】
2013186905.tif 000011
【図７】
2013186905.tif 000012
【図８】
2013186905.tif 000013
【図９】
2013186905.tif 000014
【図１０】
2013186905.tif 000015
【図１１】
2013186905.tif 000016
【図１２】
2013186905.tif 000017
【図１３】
2013186905.tif 000018
【図１４】
2013186905.tif 000019
【図１５】
2013186905.tif 000020