(57)【要約】【課題】被写体に係る複数のオブジェクトを合成してひとまとめにすることで管理しやすくすること。【解決手段】オブジェクト処理装置１００は、サーバ１０１から３次元データを取得し、３次元データから被写体に係る複数のオブジェクトを取得する。重なり体積演算部１０４は、複数のオブジェクト同士が重なっている領域の重なり量を、重なり体積として演算する。重なり体積設定部１０５は、ユーザ操作による重なり体積の指定を受け付け、重なり体積値を設定する。オブジェクト合成部１１２は、重なり体積演算部１０４により算出された重なり体積が所定値、または重なり体積設定部１０５による設定値になった際、複数のオブジェクトを合成する。液晶パネル１１４は、重なり体積の領域を色付けして合成後のオブジェクトの画像を表示する。【選択図】図１
2017056607.tif 000002
【特許請求の範囲】
【請求項１】
３次元データを取得する第１の取得手段と、
前記３次元データから被写体に係る複数のオブジェクトを取得する第２の取得手段と、
取得された前記複数のオブジェクトが重なっている領域の重なり量を演算する演算手段と、
前記演算手段により演算された前記重なり量がゼロでなく、互いに重なり合っている前記複数のオブジェクトを合成する合成手段を備えることを特徴とするデータ処理装置。
【請求項２】
前記合成手段は、前記複数のオブジェクトのうちの、第１のオブジェクトと、当該第１のオブジェクトとは異なるフレームのオブジェクトであって前記演算手段が演算した前記重なり量が最小の第２のオブジェクトを合成することを特徴とする請求項１に記載のデータ処理装置。
【請求項３】
ユーザ操作により前記複数のオブジェクトの重なり量を設定する設定手段をさらに備え、
前記合成手段は、前記演算手段による前記重なり量の演算結果が、前記設定手段により設定された前記重なり量である場合、互いに重なり合っている前記複数のオブジェクトを合成することを特徴とする請求項１または２に記載のデータ処理装置。
【請求項４】
前記演算手段は前記重なり量として体積を演算することを特徴とする請求項１から３のいずれか１項に記載のデータ処理装置。
【請求項５】
前記複数のオブジェクトの画像を表示する表示手段を備え、
前記表示手段は、前記複数のオブジェクトが重なっている領域と前記複数のオブジェクトが重なっていない領域とを区別して表示することを特徴とする請求項１から４のいずれか１項に記載のデータ処理装置。
【請求項６】
前記表示手段は、前記複数のオブジェクトが重なっている領域を色付けして表示することを特徴とする請求項５に記載のデータ処理装置。
【請求項７】
３次元データを処理するデータ処理装置にて実行されるデータ処理方法であって、
前記３次元データから被写体に係る複数のオブジェクトを取得するステップと、
前記複数のオブジェクトが重なっている領域の重なり量を演算するステップと、
前記重なり量がゼロであるか否かを判定するステップと、
前記重なり量がゼロでないと判定された場合に、互いに重なり合っている前記複数のオブジェクトを合成するステップを有することを特徴とするデータ処理方法。
【請求項８】
請求項７に記載の各ステップを前記データ処理装置のコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３Ｄ（３次元）プリンタで印刷するための３次元データを処理する技術に関する。
【背景技術】
【０００２】
３Ｄプリンタでは、ユーザが３Ｄ動画データから所望のシーンを選んで印刷することができる。特許文献１には、被写体像の動きを見やすく表示する方法として、切り出した被写体像が重ならないようにレイアウトして合成画像を生成する方法が開示されている。特許文献１に開示の画像記録装置は、動画データから、動きのある被写体が存在する画像領域を検出し、切り出し領域を設定して所定のサンプリング間隔で抽出し、水平または垂直方向に並べて結合することで合成画像を生成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−９９８７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１では、時系列上で連続的に切り出した同一被写体に係る複数のオブジェクトを並べて３Ｄプリンタで印刷すると、各オブジェクトの立体物（生成物）がバラバラに生成されるため、管理が大変である。
本発明の目的は、被写体に係る複数のオブジェクトを合成してひとまとめにすることで管理しやすくすることである。
【課題を解決するための手段】
【０００５】
本発明の一実施形態の装置は、３次元データを取得する第１の取得手段と、前記３次元データから被写体に係る複数のオブジェクトを取得する第２の取得手段と、取得された前記複数のオブジェクトが重なっている領域の重なり量を演算する演算手段と、前記演算手段により演算された前記重なり量がゼロでなく、互いに重なり合っている前記複数のオブジェクトを合成する合成手段を備える。
【発明の効果】
【０００６】
本発明によれば、被写体に係る複数のオブジェクトを合成してひとまとめにすることにより、管理が容易になる。
【図面の簡単な説明】
【０００７】
【図１】本発明の第１実施形態に係るオブジェクト処理装置の機能構成を示すブロック図である。
【図２】本発明の第１実施形態に係る３次元データの生成処理のフローチャートである。
【図３】図２に後続する処理を示すフローチャートである。
【図４】本発明の第１実施形態に係る基準オブジェクトの登録処理のフローチャートである。
【図５】本発明の第１実施形態に係る３次元データの生成処理を説明するための図である。
【図６】本発明の第２実施形態に係る３次元データの生成処理のフローチャートである。
【図７】図６に後続する処理を示すフローチャートである。
【図８】本発明の第２実施形態に係る３次元データの生成処理を説明するための図である。
【図９】本発明の第２実施形態にて重なり体積を設定する動作を説明するための図である。
【発明を実施するための形態】
【０００８】
以下、本発明の各実施形態を図面に基づいて詳細に説明する。各実施形態では、３次元データ処理装置としてオブジェクト処理装置を例示して説明する。
［第１実施形態］
図１は、本発明の第１実施形態に係るオブジェクト処理装置１００の構成例を示すブロック図である。オブジェクト処理装置１００は外部のサーバ１０１と通信可能である。サーバ１０１の記憶装置には、３Ｄ動画データが格納されている。
【０００９】
３Ｄデータ取得部１０２は、サーバ１０１から３Ｄ動画データを取得する。被写体オブジェクト取得部１０３は、フレームナンバーとそのフレームの座標情報に基づいて被写体の検出および抽出を行い、３Ｄプリンタで印刷可能な３Ｄデータを取得する。以下では、この３Ｄデータ（被写体オブジェクトデータ）を、ＯＢＪデータと略記する。重なり体積演算部１０４は、被写体のオブジェクト同士が重なっている部分の重なり量として体積（以下、重なり体積という）を演算する。重なり体積の演算は論理積演算を用いて行われる。重なり体積設定部１０５は、被写体のオブジェクト同士の重なり体積を設定する。
【００１０】
マイクロコンピュータ１０６はシステム全体を制御する制御中枢部である。マイクロコンピュータ（以下、制御部という）１０６は、ＣＰＵ（中央演算処理装置）、プログラムを格納する不揮発性メモリ（ＲＯＭ）、作業領域となる揮発性メモリ(ＲＡＭ)を有する。制御部１０６は、他のハードウェアとデータの受け渡しや制御用レジスタをアクセスするための外部バス、時間を計測するタイマを少なくとも有する。バス１０７には、各ブロック（符号１０２から１０６、１０８、１１１、１１２、１１５参照）が接続されている。バス１０７は制御部１０６の制御に従ってデータの受け渡しを行う伝送路である。
【００１１】
インタフェース部１０８は、制御部１０６の制御下にて、制御部１０６とメモリ１０９およびデータ送信部１１０とのデータの受け渡しを制御する。メモリ１０９は各ブロックが作業用に使用可能な記憶デバイスであり、サーバ１０１から入力された３Ｄ動画データを一時的に記憶するバッファ手段としても使用される。データ送信部１１０は、不図示の３Ｄプリンタへ立体データ（３次元データ）を送信する。
【００１２】
２Ｄ変換部１１１は、３Ｄ動画データを２Ｄ（２次元）画像データに変換して再生する処理を行う。オブジェクト合成部１１２は、複数のＯＢＪデータを取得して合成し、合成後のＯＢＪデータを出力する。スイッチ操作部１１３は、ユーザがオブジェクト処理装置１００を操作するためのスイッチなどを備え、制御部１０６はユーザ操作による操作指示を受け付ける。例えばスイッチ操作部１１３は、３Ｄ動画データを再生する操作スイッチや、各種パラメータを変更する操作ボタンを備える。
【００１３】
液晶パネル１１４は表示部を構成し、オブジェクトや仮想ボタンの画像を画面に表示する。タッチパネル操作部１１５は、液晶パネル１１４と一体に使用される操作デバイスを有する。液晶パネル１１４がサムネイル画像や仮想ボタンの画像を画面に表示した状態で、ユーザがタッチパネル操作部１１５を用いてオブジェクト処理装置１００に指示すると、制御部１０６は操作指示を受け付ける。
【００１４】
次に、図２から図５を参照して、３Ｄプリンタで印刷するための３次元データの生成処理について説明する。図２から図４は処理例を示すフローチャートである。ユーザがスイッチ操作部１１３で再生モードに設定することにより制御部１０６は下記処理を実行する。
図２のＳ２０１で制御部１０６は、基準となるオブジェクト（基準オブジェクト）を設定する。図４のフローチャートを参照して、基準オブジェクトの設定処理を説明する。
【００１５】
図４のＳ３０１では、制御部１０６の指示により、３Ｄデータ取得部１０２が再生対象のコンテンツデータをサーバ１０１から取得する。コンテンツデータは３Ｄ動画データである。取得された３Ｄ動画データは、制御部１０６の指示により、２Ｄ変換部１１１が２Ｄ変換して再生され、液晶パネル１１４に画像表示される。Ｓ３０２では、ユーザがタッチパネル操作部１１５で液晶表示画面をタッチすることにより、制御部１０６が２Ｄ変換部１１１の再生を一時停止させる。一時停止したフレームを基準フレームとして、制御部１０６はフレームナンバーをメモリ１０９に保持する。
【００１６】
Ｓ３０３では、基準オブジェクト（以下、基準ＯＢＪとも記す）の選択処理が行われる。基準ＯＢＪは、Ｓ３０２で設定されたフレーム内に存在する被写体の画像を、ユーザがタッチパネル操作部１１５で液晶表示画面上をタッチすることで選択される。制御部１０６は、ユーザの操作で選択された座標のデータをメモリ１０９に保持する。Ｓ３０４で制御部１０６は、選択されたオブジェクトを登録する。オブジェクトの登録では、制御部１０６がメモリ１０９に保持されているフレームナンバーと座標を読み出し、３Ｄデータ取得部１０２および被写体オブジェクト取得部１０３に設定する。３Ｄデータ取得部１０２は該当フレームの３Ｄ動画データをサーバ１０１より取得し、被写体オブジェクト取得部１０３へ入力する。被写体オブジェクト取得部１０３は、制御部１０６で設定された座標から、被写体の検出および抽出処理を行い、ＯＢＪデータを取得する。取得されたＯＢＪデータは、制御部１０６がオブジェクト合成部１１２に登録する。オブジェクト合成部１１２は、入力されたＯＢＪデータをメモリ１０９に保持する。図５（Ａ）を参照して、処理の具体例を説明する。
【００１７】
図５（Ａ）は、２Ｄ変換部１１１によって２Ｄ変換された動画が、液晶パネル１１４の画面に表示されている状態を例示し、被写体が画面の右側から左側に移動する様子を示す。ユーザは、再生中の動画を一時停止させる操作を行ってから、所望のシーンの被写体オブジェクトを基準オブジェクトとして登録する。
【００１８】
図２のＳ２０２からＳ２０６では、重なり体積が小さいオブジェクトをサーチする処理が実行される。Ｓ２０２では、制御部１０６が再生を一時停止した３Ｄデータ取得部１０２のフレームを、１Ｖ進ませるように３Ｄデータ取得部１０２に指示する。１Ｖは、フレームレートに対応する垂直周期を表す。３Ｄデータ取得部１０２は該当フレームの３Ｄ動画データをサーバ１０１より取得し、被写体オブジェクト取得部１０３に入力する。被写体オブジェクト取得部１０３は、新たに入力された３Ｄ動画データと、その１Ｖ前の画像の座標から算出した座標よりＯＢＪデータを取得する。座標については、１Ｖ前の被写体の顔画像を、色差等から制御部１０６が算出する。これにより、制御部１０６が比較するオブジェクト（以下、比較ＯＢＪという）のデータを取得することができる。
【００１９】
図２のＳ２０３で重なり体積演算部１０４は、基準ＯＢＪとＳ２０２で設定した比較ＯＢＪとの重なり体積を演算する。重なり体積演算部１０４は、被写体のオブジェクト同士の重なり体積を、公知の方法である論理積を用いて演算する。Ｓ２０４で制御部１０６は、一回目の演算であるか否かを判定する。今回の演算が一回目の演算である場合、Ｓ２０５に処理を進め、また二回目以降の演算である場合にはＳ２０７に遷移する。Ｓ２０５で比較ＯＢＪデータがメモリ１０９に保持される。Ｓ２０７では、Ｓ２０３の演算結果に基づいて、重なり体積が小さい比較ＯＢＪデータがメモリ１０９に保持される。
【００２０】
Ｓ２０５またはＳ２０７の処理後、Ｓ２０６で制御部１０６は、基準ＯＢＪと比較ＯＢＪとの重なりが無くなったか否かを判定する。重なりの有無の判定処理では、制御部１０６がオブジェクト同士の重なり体積がゼロであるか否かで判定する。オブジェクト同士が重なっている場合にはＳ２０３に戻り、１Ｖ後の比較ＯＢＪと基準ＯＢＪとの重なり体積の演算処理が実行される。Ｓ２０３からＳ２０６の処理が繰り返し実行される。これにより、複数の比較ＯＢＪデータのうち、基準ＯＢＪデータに対して重なり体積が最小となる比較ＯＢＪデータが検出される。
【００２１】
一方、Ｓ２０６で、オブジェクト同士が重なっていないと判定された場合には、Ｓ２０８に処理を進める。Ｓ２０８で制御部１０６は、メモリ１０９に保持された、重なり体積が小さい比較ＯＢＪデータを印刷用のオブジェクトに追加する。印刷用オブジェクトの追加処理は、メモリ１０９に保持された比較オブジェクトのＯＢＪデータを、オブジェクト合成部１１２に登録することにより行われる。オブジェクト合成部１１２は、登録された比較ＯＢＪデータを、基準ＯＢＪデータと合成してメモリ１０９上に保持する。図５（Ｂ）を参照して具体的に説明する。図５（Ｂ）の中央に基準オブジェクトが位置しており、その左側にオブジェクトＡ１，Ａ２と、右側にオブジェクトＭ１，Ｍ２を示す。これらのオブジェクトＡ１，Ａ２，Ｍ１，Ｍ２は、基準オブジェクトの被写体と同一の被写体のオブジェクトである。基準オブジェクトのフレームから数Ｖの時間経過後のオブジェクトＡ１が抽出され、印刷用オブジェクトに追加される。
【００２２】
図２のＳ２０９で制御部１０６は、図５（Ｂ）のオブジェクトＡ１のＯＢＪデータを基準ＯＢＪデータに変更してメモリ１０９に保持する。Ｓ２１０では、動画再生が終了したか否かについて判定処理が行われる。動画再生が終了していない場合には、Ｓ２０２に戻って、オブジェクトＡ１を基準オブジェクトに変更して、重なり体積が小さいオブジェクトのサーチ処理が実行される。これにより、図５（Ｂ）に示すオブジェクトＡ１に対して、重なり体積が小さいオブジェクトＡ２が抽出される。抽出されたオブジェクトＡ２のＯＢＪデータは、オブジェクト合成部１１２に登録されて、印刷用オブジェクトに追加される。Ｓ２０３〜Ｓ２１０の処理によって、基準オブジェクトおよびオブジェクトＡ１，Ａ２を合成したＯＢＪデータが生成される。
【００２３】
Ｓ２１０で動画が終了したことが判定された場合には、図３のＳ２１１に処理を進める。Ｓ２１１で制御部１０６は基準ＯＢＪの設定を戻し、図２のＳ２０１で設定した基準ＯＢＪのフレームナンバーとオブジェクトの座標をメモリ１０９に保持する。Ｓ２１２で制御部１０６は再生を一時停止した３Ｄデータ取得部１０２のフレームを、１Ｖ前に戻すように３Ｄデータ取得部１０２に指示する。３Ｄデータ取得部１０２は、該当フレームの３Ｄ動画データをサーバ１０１より取得し、被写体オブジェクト取得部１０３に入力する。被写体オブジェクト取得部１０３は、新たに入力された３Ｄ動画データと、その１Ｖ後の画像の座標から算出した座標よりＯＢＪデータを取得する。座標については、１Ｖ後の被写体の顔画像を、色差等から制御部１０６が算出する。
【００２４】
Ｓ２１３〜Ｓ２２０の各処理はＳ２０３〜Ｓ２１０の各処理に対応するが、基準オブジェクトのフレームよりも時間的に前のフレームに対して実行される。つまり、処理対象が異なること以外、その他については同様の処理が行われるため、それらの詳細を省略する。
【００２５】
Ｓ２１３〜Ｓ２２０の処理の結果、図５（Ｂ）に示すオブジェクトＭ１，Ｍ２が設定される。抽出されたＭ１およびＭ２のＯＢＪデータは、オブジェクト合成部１１２に登録される。オブジェクト合成部１１２は、メモリ１０９に保持されている合成データにＭ１，Ｍ２のＯＢＪデータを合成してメモリ１０９に保持する。基準オブジェクトと、さらにオブジェクトＭ１，Ｍ２を合成したＯＢＪデータが生成される。その結果、基準オブジェクトと、オブジェクトＡ１、Ａ２，Ｍ１，Ｍ２が合成されたＯＢＪデータが作成され、メモリ１０９に保存される。
【００２６】
Ｓ２２０で動画の終了が判定されると、処理を終了する。図５（Ｂ）に示すように、被写体の動きに応じた基準ＯＢＪとオブジェクトＡ１、Ａ２，Ｍ１，Ｍ２が液晶パネル１１４の画面に表示される。３Ｄプリンタで印刷を行う場合、制御部１０６はメモリ１０９から合成されたＯＢＪデータを取得し、データ送信部１１０から３Ｄプリンタへ転送する。３Ｄプリンタは、図５（Ｄ）に示すようにひとまとまりの立体物を生成する。
【００２７】
複数のオブジェクト同士の重なり体積をユーザに分かり易いように提示する目的で、オブジェクト同士が重なっている領域については、当該オブジェクトが重なっていない領域に対して表示色や明度などが区別して表示される。例えば、オブジェクト同士の重なっている領域が色付けにより区別されて液晶パネル１１４に表示される。図５（Ｃ）では中央に基準オブジェクトを示し、その左右にオブジェクトＡ１とＭ１をそれぞれ示す。基準オブジェクトとオブジェクトＭ１の重なり領域Ｋ１では、重なり体積の領域が色分けして表示される。基準オブジェクトとオブジェクトＡ１との重なり領域Ｋ２についても同様に、重なり体積の領域が色分けして表示される。
本実施形態によれば、３次元データから取得される被写体に係る複数のオブジェクト同士の重なり量に基づき、互いに重なり合っている複数のオブジェクトを、合成処理によって１つのオブジェクトにまとめることで生成物の管理が容易になる。また重なり量が最小となる複数のオブジェクトを合成することにより、オブジェクトが重なり過ぎることを回避できる。
【００２８】
［第２実施形態］
次に本発明の第２実施形態を説明する。本実施形態では、重なり体積をユーザが設定する例を説明する。図６から図９を用いて、３Ｄプリンタで印刷するための３次元データを生成する動作を説明する。図６および図７は処理例を説明するフローチャートである。図８は３次元データの生成処理を説明するための図である。図８（Ａ）は被写体の移動を示し、図８（Ｂ）は同一被写体に係る基準オブジェクトおよび複数のオブジェクトを示す図である。図８（Ｃ）はオブジェクトの生成物を示す模式図である。図９は重なり体積の設定処理の説明図である。
【００２９】
図６のＳ５０１では、被写体のオブジェクト同士の重なり体積について設定処理が行われる。制御部１０６は液晶パネル１１４の表示画面上にて重なり体積値を選択できることをユーザに通知する。ユーザは、重なり体積を大きくするか、または小さくするかについて、タッチパネル操作部１１５を用いて選択する。制御部１０６は、重なり体積をユーザが選択したことを検出すると、重なり体積設定部１０５に重なり体積値を設定する。重なり体積設定部１０５は、制御部１０６が設定した重なり体積値をメモリ１０９に保持する。重なり体積値は、被写体のオブジェクト同士の少なくとも一部が重なるときの値、つまりゼロより大きい値である。
図６および図７のＳ５０２〜Ｓ５２１の各処理は、図２および図３のＳ２０１〜Ｓ２２０の各処理に対応している。ユーザの操作指示により設定された重なり体積値に近いオブジェクトが抽出されること（Ｓ５０８，Ｓ５１８参照）以外、同様の処理が行われるため、それらの詳細な説明を省略し、相違点を説明する。
【００３０】
Ｓ５２１で動画の終了が判定された場合、Ｓ５２２で制御部１０６は被写体のオブジェクト同士の重なり体積を更新するか否かについて判定する。制御部１０６は重なり体積を更新すると判定した場合、図６のＳ５０１に処理を戻す。図９は、画面中央に基準オブジェクトを示し、その左右にオブジェクトＢ１とＮ１をそれぞれ示す。オブジェクトＢ１とＮ１は、基準オブジェクトの被写体と同一の被写体のオブジェクトである。ユーザは液晶パネル１１４の画面上に表示された被写体の画像にタッチ操作で変更の指示を行う。図９の例では、基準オブジェクトの右側においてオブジェクトＮ１が重なっている。ユーザがオブジェクトＮ１の位置をタッチパネル操作部１１５でタッチすると、制御部１０６がタッチされた座標を認識して、基準オブジェクトに対するオブジェクトＮ１の重なり体積を変更する。ユーザが手指を右側に動かすと、基準オブジェクトとオブジェクトＮ１との重なり体積は小さくなり、手指を左側に動かすと、基準オブジェクトとオブジェクトＮ１との重なり体積は大きくなる。基準オブジェクトに対して、ユーザが選択するオブジェクトの少なくとも一部が重なるように、重なり体積の設定範囲が制限される。
【００３１】
Ｓ５２２で制御部１０６が重なり体積を更新しない場合には、処理を終了する。図８（Ｂ）に示すように、被写体の動きに応じた基準ＯＢＪとオブジェクトＡ３，Ａ４，Ｍ３，Ｍ４が液晶パネル１１４の画面に表示される。３Ｄプリンタで印刷を行う場合、制御部１０６はメモリ１０９から合成されたＯＢＪデータを取得し、データ送信部１１０から３Ｄプリンタに送信する。３Ｄプリンタは、図８（Ｃ）に示すひとまとまりの立体物を生成する。
本実施形態では、オブジェクト同士の重なり量を、ユーザ操作による指定に応じて任意に設定できるので、ユーザの利便性が向上する。
【００３２】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００３３】
１０２  ３Ｄデータ取得部
１０３  被写体オブジェクト取得部
１０４  重なり体積演算部
１０５  重なり体積設定部
１１２  オブジェクト合成部
【図１】
2017056607.tif 000003
【図２】
2017056607.tif 000004
【図３】
2017056607.tif 000005
【図４】
2017056607.tif 000006
【図５】
2017056607.tif 000007
【図６】
2017056607.tif 000008
【図７】
2017056607.tif 000009
【図８】
2017056607.tif 000010
【図９】
2017056607.tif 000011