(57)【要約】【課題】使用条件における自由度が高く、高精度のサイズ表示が安定的に可能であり、オブジェクトのサイズの実感が得られる実物大画像生成プログラム、実物大画像生成装置、及び、実物大画像生成方法を提供する。【解決手段】オブジェクトＡを含む第一領域を撮像装置２ａにより撮像した原画像データｄ１を取得し、オブジェクトＡを含む第二領域を深度センサ２ｂにより測定して得られる深度情報ｄ２を取得し、入力装置３から原画像データｄ１に含まれるオブジェクトＡの指定を受け付け、オブジェクトＡに対応する深度を深度情報ｄ２から取得し、オブジェクトＡに対応する深度と、予め記憶されている係数Ｃとから、オブジェクトが表示装置４に表示されたときに実物大のサイズとなる拡大率又は縮小率を算出し、その拡大縮小率で原画像データを拡大縮小した加工画像データを生成する。【選択図】  図１
2016212811.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトを含む第一領域を撮像装置により撮像した原画像データを取得する原画像データ取得ステップと、
前記オブジェクトを含む第二領域を深度センサにより検知して得られる深度情報を取得する深度情報取得ステップと、
入力装置から前記原画像データに含まれる前記オブジェクトの指定を受け付けるオブジェクト受付ステップと、
前記指定されたオブジェクトに対応する深度を前記深度情報から取得し、当該深度と、予め記憶されている係数とから、前記指定されたオブジェクトが表示装置に表示されたときに実物大のサイズとなる拡大率又は縮小率を算出する算出ステップと、
前記算出された拡大率又は縮小率で前記原画像データを拡大又は縮小した加工画像データを生成する画像処理ステップと、
を備える処理をコンピュータに実行させることを特徴とする実物大画像生成プログラム。
【請求項２】
オブジェクトを含む第一領域を撮像装置により撮像した原画像データを取得する画像データ取得ステップと、
前記オブジェクトを含む第二領域を深度センサにより検知して得られる深度情報を取得する深度情報取得ステップと、
入力装置から深度の指定を受け付ける深度受付ステップと、
前記指定された深度と、予め記憶されている係数とから、前記指定された深度に対応する箇所が表示装置に表示されたときに実物大のサイズとなる拡大率又は縮小率を算出する算出ステップと、
前記算出された拡大率又は縮小率で前記原画像データを拡大又は縮小した加工画像データを生成する画像処理ステップと、
を備える処理をコンピュータに実行させることを特徴とする実物大画像生成プログラム。
【請求項３】
前記係数は、前記加工画像データの出力先となる表示装置の解像度及び素子の物理サイズから算出された値で、前記センサから得られる深度に応じて前記表示装置に表示される前記オブジェクト又は前記箇所が実物大のサイズとなるよう調整されていることを特徴とすることを特徴とする請求項１又は請求項２記載の実物大画像生成プログラム。
【請求項４】
前記拡大率又は縮小率は、下記数１により算出されることを特徴とする請求項１乃至請求項３のいずれか一項に記載の実物大画像生成プログラム。
（数１）
ｒ＝Ｄ／Ｃ
ｒ：前記拡大率又は縮小率
Ｄ：前記オブジェクトの深度
Ｃ：前記係数
【請求項５】
前記原画像データは動画像を構成する任意のフレームであり、前記オブジェクト受付ステップにおいて指定されたオブジェクトを追跡するステップを備え、
前記算出ステップは、前記追跡されたオブジェクトが表示装置に表示されたときに実物大のサイズとなる前記拡大率又は縮小率を算出すること
を特徴とする請求項１に記載の実物大画像生成プログラム。
【請求項６】
前記加工画像データを、前記深度受付ステップにおいて指定された深度以上又は深度以下の範囲以外についてマスクするマスク処理ステップを備えることを特徴とする請求項２記載の実物大画像生成プログラム。
【請求項７】
オブジェクトを含む第一領域を撮像装置により撮像した原画像データを取得する画像データ取得手段と、
前記オブジェクトを含む第二領域を深度センサにより検知して得られる深度情報を取得する深度情報取得手段と、
入力装置から前記原画像データに含まれるオブジェクトの指定を受け付けるオブジェクト受付手段と、
前記指定されたオブジェクトに対応する深度を前記深度情報から取得し、当該深度と、予め記憶されている係数とから、前記指定されたオブジェクトが表示装置に表示されたときに実物大のサイズとなる拡大率又は縮小率を算出する算出手段と、
前記算出された拡大率又は縮小率で前記原画像データを拡大又は縮小した加工画像データを生成する画像処理手段と、
を備えることを特徴とする実物大画像生成装置。
【請求項８】
オブジェクトを含む第一領域を撮像装置により撮像した原画像データを取得する画像データ取得手段と、
前記オブジェクトを含む第二領域を深度センサにより検知して得られる深度情報を取得する深度情報取得手段と、
入力装置から深度の指定を受け付ける深度受付手段と、
前記指定された深度と、予め記憶されている係数とから、前記指定された深度に対応する箇所が表示装置に表示されたときに実物大のサイズとなる拡大率又は縮小率を算出する算出手段と、
前記算出された拡大率又は縮小率で前記原画像データを拡大又は縮小した加工画像データを生成する画像処理手段と、
を備えることを特徴とする実物大画像生成装置。
【請求項９】
オブジェクトを含む第一領域を撮像装置により撮像した原画像データを取得する画像データ取得ステップと、
前記オブジェクトを含む第二領域を深度センサにより検知して得られる深度情報を取得する深度情報取得ステップと、
入力装置から前記原画像データに含まれるオブジェクトの指定を受け付けるオブジェクト受付ステップと、
前記指定されたオブジェクトに対応する深度を前記深度情報から取得し、当該深度と、予め記憶されている係数とから、前記指定されたオブジェクトが表示装置に表示されたときに実物大のサイズとなる拡大率又は縮小率を算出する算出ステップと、
前記算出された拡大率又は縮小率で前記原画像データを拡大又は縮小した加工画像データを生成する画像処理ステップと、
を備える処理をコンピュータが実行することを特徴とする実物大画像生成方法。
【請求項１０】
オブジェクトを含む第一領域を撮像装置により撮像した原画像データを取得する画像データ取得ステップと、
前記オブジェクトを含む第二領域を深度センサにより検知して得られる深度情報を取得する深度情報取得ステップと、
入力装置から深度の指定を受け付ける深度受付ステップと、
前記指定された深度と、予め記憶されている係数とから、前記指定された深度に対応する箇所が表示装置に表示されたときに実物大のサイズとなる拡大率又は縮小率を算出する算出ステップと、
前記算出された拡大率又は縮小率で前記原画像データを拡大又は縮小した加工画像データを生成する画像処理ステップと、
を備える処理をコンピュータが実行することを特徴とする実物大画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置で撮影されたオブジェクトを実物大の大きさに表示する実物大画像生成プログラム、実物大画像生成装置、及び、実物大画像生成方法に関する。
【背景技術】
【０００２】
我々が普段目にする写真や動画には、そこに写っている物体の大きさの情報が付随しておらず、物体が実際の大きさで表示されていないことが殆どである。そのため、インターネットショッピングにおける商品写真や、グルメサイトにおける料理写真など、対象物の実際の大きさが実感できないことによるトラブルが日常的に発生している。
【０００３】
一方、近年では、情報化の拡大と変化によってスマートフォンやタブレット型端末の利用者が増加しており、携帯端末の急速な増加に伴い、これらの端末で利用できる多くのアプリケーションプログラムが開発されている。その中には測量系のアプリケーションプログラムもあり、画像や撮影機能を利用することで、手軽に物体のサイズを測定できるものがある。
【０００４】
たとえば、下記非特許文献１には、携帯端末で撮影されたオブジェクトの写真と、撮影時の携帯端末の角度と、撮影者の身長とから、三角測量の原理に基づいてオブジェクトの寸法を測定するアプリケーションプログラムが開示されている。
【０００５】
また、下記非特許文献２には、オブジェクトの下端を撮影機器の中心に映し、撮影機器の角度を変化させて上端を中心に映すことで、撮影機の動いた角度と撮影者の身長とから三角測量の原理に基づいて測定対象の寸法を測定するアプリケーションプログラムが開示されている。
【０００６】
また、下記特許文献１には、直方体形状のオブジェクトの面上に基準尺を配置した状態として撮影し、撮影画像からオブジェクトの姿勢に関するパラメータとスケールを求め、パラメータとスケールに基づいてオブジェクトの寸法を測定する技術が開示されている。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】ＲｏｏｍＲｕｌｅｒ，［Ｏｎｌｉｎｅ］，［２０１５年４月２２日検索］、インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ｉｔｕｎｅｓ．ａｐｐｌｅ．ｃｏｍ／ｊｐ／ａｐｐ／ｒｏｏｍｒｕｌｅｒ／ｉｄ５０９４５３０３９？ｍｔ＝８＞
【非特許文献２】Ｓｍａｒｔ  Ｍｅａｓｕｒｅ，［Ｏｎｌｉｎｅ］，［２０１５年４月２２日検索］、インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ｐｌａｙ．ｇｏｏｇｌｅ．ｃｏｍ／ｓｔｏｒｅ／ａｐｐｓ／ｄｅｔａｉｌｓ？ｉｄ＝ｋｒ．ｓｉｒａ．ｍｅａｓｕｒｅ＆ｈｌ＝ｊａｂ＞
【特許文献】
【０００８】
【特許文献１】特開２０１０−８３５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記特許文献１のように基準尺を用いる場合は、基準尺を準備してオブジェクトに近接配置しなければならず、測定時の自由度が低い。
【００１０】
また、非特許文献１や非特許文献２は、撮影者が立っている水平な同一平面上に対象物が配置されている必要があり、測定可能な部分も、その平面上の線分か、もしくはその平面に接する半直線な垂線しか測定することができない。また、携帯端末は撮影者の口の高さに位置させる必要があり、測定時の自由度も低い。また、非特許文献２は、対象物の全体を撮影する必要がある点でも制約がある。
【００１１】
また、非特許文献１は測定可能な長さの範囲は卓上サイズのものから基線の数倍程度となっており、極端に大きいものや小さいものは測定精度が悪くなっていた。非特許文献２では、測定対象の大きさによる制約は無いが、撮影者が撮影機器を動かす必要があるため、角度センサの誤差や撮影者の手の動きなどが影響し、測定精度が不安定であった。
【００１２】
さらに、上記従来技術のいずれも、測定結果の情報が数値で表わされるだけである。このため、オブジェクトの大きさの実感が得られにくい。
【００１３】
そこで、本発明の目的は、使用時における自由度が高く、高精度のサイズ表示が安定的に可能であり、サイズの実感が得られる実物大画像生成プログラム、実物大画像生成装置、及び、実物大画像生成方法を提供することにある。
【課題を解決するための手段】
【００１４】
本発明の実物大画像生成プログラムは、オブジェクトを含む第一領域を撮像装置により撮像した原画像データを取得する原画像データ取得ステップと、前記オブジェクトを含む第二領域を深度センサにより検知して得られる深度情報を取得する深度情報取得ステップと、入力装置から前記原画像データに含まれる前記オブジェクトの指定を受け付けるオブジェクト受付ステップと、前記指定されたオブジェクトに対応する深度を前記深度情報から取得し、当該深度と、予め記憶されている係数とから、前記指定されたオブジェクトが表示装置に表示されたときに実物大のサイズとなる拡大率又は縮小率を算出する算出ステップと、前記算出された拡大率又は縮小率で前記原画像データを拡大又は縮小した加工画像データを生成する画像処理ステップと、を備える処理をコンピュータに実行させることを特徴とする。
【００１５】
ここで、深度とは、深度センサからオブジェクトまでの距離と正比例する値であり、深度センサからオブジェクトまでの距離が近いと深度の値は小さく、遠いと深度の値は大きくなる。また、オブジェクトが表示装置に表示されたときの実物大のサイズとは、オブジェクトの少なくとも一部分が実物大となるサイズであれば良い。
【００１６】
この発明によれば、ユーザは、深度センサから得られる深度、表示装置の解像度及び素子の物理サイズ（すなわち原画像データを表示装置に表示したときのオブジェクトのサイズ）、及び、オブジェクトの実物のサイズに基づいて、表示装置に表示されるオブジェクトが深度に応じて実物大のサイズとなる係数Ｃを算出し、予めコンピュータに設定しておく。そして、ユーザは、撮像装置で画像を撮像し、深度センサで深度を測定し、撮像装置から得られる原画像から実物大での表示を希望するオブジェクトを指定する。すると、コンピュータが深度と係数とから拡大率又は縮小率を算出し、その拡大率又は縮小率で原画像を拡大又は縮小することで、オブジェクトが実物大のサイズとなる加工画像データを生成し、表示装置に対して出力する。表示装置にはユーザにより指定されたオブジェクトが実物大のサイズで表わされる。
【００１７】
また、本発明の実物大画像生成プログラムは、オブジェクトを含む第一領域を撮像装置により撮像した原画像データを取得する画像データ取得ステップと、前記オブジェクトを含む第二領域を深度センサにより検知して得られる深度情報を取得する深度情報取得ステップと、入力装置から深度の指定を受け付ける深度受付ステップと、前記指定された深度と、予め記憶されている係数とから、前記画像データの前記指定された深度に対応する箇所が表示装置に表示されたときに実物大のサイズとなる拡大率又は縮小率を算出する算出ステップと、前記算出された拡大率又は縮小率で前記原画像データを拡大又は縮小した加工画像データを生成する画像処理ステップと、を備える処理をコンピュータに実行させることを特徴とする。
【００１８】
この発明によれば、ユーザが深度を指定することで、その深度に対応する箇所が実物大のサイズで表示される。
【発明の効果】
【００１９】
本発明によれば、深度センサからの深度情報を利用するため、基準尺を配置する必要がなく、撮像装置の位置や操作等の制約もなく、使用時の自由度が高い。また、深度センサを利用するため、安定的に高精度なサイズ表示が可能となる。また、表示装置にはオブジェクトや任意の箇所が実物大のサイズで表示されるため、ユーザはサイズの実感が得られる。したがって、使用条件における自由度が高く、高精度のサイズ表示が安定的に可能であり、サイズの実感が得られる実物大画像生成プログラム、実物大画像生成装置、及び、実物大画像生成方法を提供することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第一実施の形態における実物大画像生成装置の概略システム構成図である。
【図２（ａ）】上記実施の形態における実物大画像生成装置の機能を説明する説明図であり、初期状態において表示装置に表示されている原画像を示す図である。
【図２（ｂ）】上記実施の形態における実物大画像生成装置の機能を説明する説明図であり、原画像の中で実物大のサイズ表示の対象とするオブジェクトを選択した状態を示す図である。
【図２（ｃ）】上記実施の形態における実物大画像生成装置の機能を説明する説明図であり、オブジェクトが実物大のサイズとなるように原画像を拡大縮小処理した加工後画像を示す図である。
【図３】上記実施の形態において、位置の異なるオブジェクトの深度を測定する場合を例として、深度センサの原理を概念的に説明する説明図である。
【図４】上記実施の形態において、深度センサから得られる深度情報を概念的に説明する説明図であり、深度センサと検知範囲とオブジェクトの位置関係を示す説明図である。
【図５】図４の状態から得られる深度情報を概念的に説明する説明図である。
【図６】上記実施の形態における実物大画像生成装置を説明する機能ブロック図である。
【図７】上記実施の形態における実物大画像生成装置の第一処理の動作を説明するフローチャートを示す図である。
【図８】上記実施の形態における実物大画像生成装置の第二処理の動作を説明するフローチャートを示す図である。
【図９】上記実施の形態における撮像装置により撮像される第一領域の原画像データと、深度センサにより検知される第二領域の深度情報を示す図であり、（ａ）は深度情報を可視化した図、（ｂ）は原画像データを可視化した図である。
【図１０】上記実施の形態における実物大画像生成装置の前処理を説明する説明図である。
【図１１（ａ）】上記実施の形態における実物大画像生成装置により生成される画像の例であり、原画像データが表示装置に表示された状態の画像を示す図である。
【図１１（ｂ）】上記実施の形態において、ユーザが実物大のサイズ表示を希望するオブジェクトを入力装置により指定した状態の画像を示す図である。
【図１１（ｃ）】上記実施の形態において、オブジェクトが実物大のサイズで表示された状態の画像を示す図である。
【図１２】第二実施の形態における実物大画像生成装置を説明する機能ブロック図である。
【図１３】上記実施の形態における、実物大画像生成装置の第一処理を説明するフローチャートを示す図である。
【図１４】上記実施の形態における、実物大画像生成装置の第二処理を説明するフローチャートを示す図である。
【図１５】本発明の第三実施の形態における、本実施の形態の実物大画像生成装置を説明する機能ブロック図である。
【図１６】上記実施の形態における、実物大画像生成装置の第一処理を説明するフローチャートを示す図である。
【図１７】上記実施の形態における、実物大画像生成装置の第二処理を説明するフローチャートを示す図である。
【図１８】本発明の第四実施の形態における、実物大画像生成装置を説明する機能ブロック図である。
【図１９】上記実施の形態における、実物大画像生成装置の第二処理を説明するフローチャートを示す図である。
【図２０】上記実施の形態における、マスク処理ステップを実行した加工画像データの例を示す図である。
【図２１】コンピュータのハードウエア資源を説明するブロック図である。
【発明を実施するための形態】
【００２１】
［第一の実施の形態］
本実施の形態の実物大画像生成装置１００は、撮影画像に含まれるオブジェクトＡを実物大のサイズで表示装置に表示可能とするものである。図１は本実施の形態の実物大画像生成装置１００を含む概略システム構成図である。
【００２２】
図２は、本実施の形態の実物大画像生成装置１００の機能を説明する説明図である。ここでは、図２に示す画像を一例として説明する。図２（ａ）は初期状態において表示装置に表示されている原画像Ｆ１を示す図であり、図２（ｂ）は原画像Ｆ１の中でユーザが実物大のサイズ表示を希望するオブジェクトＡを選択した状態Ｆ２を示す図であり、図２（ｃ）はオブジェクトＡが実物大のサイズとなるように原画像Ｆ１を拡大又は縮小処理した加工画像Ｆ２を示す図である。
【００２３】
本発明の理解のために、まず、本実施の形態の実物大画像生成装置１００により実現される機能の概要を説明し、実物大画像生成装置１００の詳細な処理については後述することとする。複合装置２は撮像装置２ａと深度センサ２ｂの機能を有する装置であり、ユーザは、複合装置２を操作することにより、撮像装置２ａの機能で第一領域を撮像して原画像データｄ１を生成するとともに、深度センサ２ｂの機能で第二領域を測定し、第二領域の複数箇所の各々の深度から構成される深度情報ｄ２を生成する。
【００２４】
実物大画像生成装置１００は、撮像装置２ａと深度センサ２ｂから画像データｄ１と深度情報ｄ２を取得すると、入力装置３からオブジェクトＡの指定を意味する指令ｄ３が入力されるまで、原画像データｄ１を表示装置４にそのまま表示する（図２（ａ）参照）。
【００２５】
図２（ｂ）に示すように、ユーザが入力装置３により原画像データｄ１に含まれるオブジェクトＡを指定すると（図２（ｂ）中の矢印）、実物大画像生成装置１００は、オブジェクトＡが実物大のサイズとなる拡大率又は縮小率（以下、拡大縮小率ｒという。）で原画像データｄ１を拡大又は縮小し、加工画像データｄ４を生成する。生成された加工画像データｄ４は実物大画像生成装置１００から表示装置４に出力され、表示装置４に表示される（図２（ｃ）参照）。オブジェクトＡは実物大のサイズで表示され、ユーザはオブジェクトＡのサイズを実感することができる。
【００２６】
以下、詳細に説明する。実物大画像生成装置１００は、スマートフォンやタブレット等の携帯端末、パーソナルコンピュータ、その他のコンピュータシステムであり、ＲＯＭなどの不揮発性の記憶手段（図示せず）に記憶されているプログラムが読み込まれることにより、ＣＰＵやメモリ等のハードウエア資源とソフトウエアとが協働して、以下に説明する各手段を実現し、実物大画像生成装置１００として機能するものである。
【００２７】
入力装置３は、マウス、キーボード、タッチパネルなどであり、ユーザの指令ｄ３を実物大画像生成装置１００に入力する機能を有する。表示装置４は、ディスプレイであり、実物大画像生成装置１００からの画像データなどが入力されると、入力された画像データに基づいて動画像や静止画像などを表示する機能を有する。入力装置３と表示装置４は、実物大画像生成装置１００と一体的に構成されていても良いし、別体として構成されていても良い。
【００２８】
複合装置２は、撮像装置２ａと深度センサ２ｂとが一つの筐体に内蔵された既知の装置を用いることができる。撮像装置２ａは、動画像を撮像可能なデジタルビデオカメラであり、レンズを通した映像を個体撮像素子に結像させ、デジタル画像データに変換する機能を有する。動画像データは、連続する複数フレームを時系列に配列させて順次出力することにより構成されている。以下、本実施の形態では動画像を例に説明し、原画像データｄ１は１フレーム分のデータを意味することとし、図面に示す原画像データｄ１は複数フレームのうちの１フレームを抽出したものとする。
【００２９】
深度センサ２ｂは、Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ（以下、ＴＯＦと言う。）方式のものである。ＴＯＦは、照射された赤外線が対象物に反射して戻ってくる時間から深度情報を測定するＤｅｐｔｈセンシング方式を採用している。
【００３０】
図３は、位置の異なるオブジェクトＡ１，Ａ２の深度を測定する場合を例として、深度センサ２ｂの原理を概念的に説明する説明図である。深度センサ２ｂは、光源（ＬＥＤ）２ｂ１と、複数の受光素子が配列するＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  ＭＯＳ）センサ２ｂ２を備える。光源２ｂ１は、不可視光である赤外線をパルス変調して照射光Ｌ１１，Ｌ１２を照射し、オブジェクトＡ１，Ａ２に反射した反射光Ｌ２１，Ｌ２２をＣＭＯＳセンサ２ｂ２の受光素子で受光し、受光したパルスの位相遅れを計算することで、オブジェクトＡ１，Ａ２までの距離が割り出される。これにより、オブジェクトＡ１，Ａ２の深度を測定することができる。
【００３１】
本実施の形態では、上記の原理で動作する既知の深度センサ２ｂを用いており、深度情報ｄ２を１フレームとして、連続する複数フレームを時系列に配列させて順次出力する。以下、深度情報ｄ１は１フレーム分の深度のデータを意味することとする。
【００３２】
図４は、深度センサ２ｂから得られる深度情報を概念的に説明する説明図であり、深度センサと検知範囲とオブジェクトの位置関係を示す説明図である。深度センサ２ｂは、略四角錐形状の検知範囲Ｒにおける深度を検知する。検知範囲Ｒ内には、球形オブジェクトＡ３，立方体形オブジェクトＡ４，鉛直平面オブジェクトＡ５が位置している。なお、図４は、鉛直方向から示す図である。
【００３３】
図５は、図４の状態から得られる深度情報ｄ２を概念的に説明する説明図である。深度情報ｄ２は、複数ピクセルｐ（ここでは縦４２４ピクセル×横５１２ピクセル）で構成される１フレームのピクセルごとの深度群であり、各ピクセルについての深度の値が得られる。すなわち、深度情報ｄ２は、平面上の二次元直交座標系における各座標の深度から構成される深度群として表わされる。球形オブジェクトＡ３については円形の範囲Ａ３ｒ内のピクセル（座標）が図４に示す深度Ｄ３（詳細には球形オブジェクトＡ３の表面形状に沿った深度）となり、立方体オブジェクトＡ４については四角形の範囲Ａ４ｒ内のピクセル（座標）が図４に示す深度Ｄ４となり、鉛直平面オブジェクトＡ５については背景Ａ５ｒのピクセル（座標）が図４に示す深度Ｄ５となる。
【００３４】
撮像装置２ａと深度センサ２ｂとは連動しており、一対の原画像データｄ１と深度情報ｄ２は、略同一タイミングで得られる一対のフレームとして関連付けられ、実物大画像生成装置１００に送信される。
【００３５】
図６は、実物大画像生成装置１００を説明する機能ブロック図である。実物大画像生成装置１００は、第一処理部１０１と第二処理部１０２とを備える。第一処理部１０１は、原画像データ取得手段１１、深度情報取得手段１２、記憶手段１１ａ，１２ａ、出力手段２３を備える。第二処理部１０２は、原画像データ取得手段１１、深度情報取得手段１２、対応付手段１３、オブジェクト受付手段１４、拡大縮小率算出手段１５、拡大縮小画像処理手段１６、係数記憶手段１７、終了受付手段１８、出力手段２３を備える。なお、原画像データ取得手段１１、深度情報取得手段１２、記憶手段１１ａ，１２ａ、及び、出力手段２３は、第一処理部１０１と第二処理部１０２で共有されている。
【００３６】
原画像データ取得手段１１は、オブジェクトＡを含む第一領域を撮像装置２ａにより撮像して得られる原画像データｄ１を、フレーム単位で撮像装置２ａから取得する機能を有する。取得した原画像データｄ１は記憶手段１１ａに蓄積記憶される。
【００３７】
深度情報取得手段１２は、オブジェクトＡを含む第二領域を深度センサ２ｂにより検知して得られる深度情報ｄ２を、フレーム単位で深度センサ２ｂから取得する機能を有する。取得した深度情報ｄ２は記憶手段１２ａに蓄積記憶される。略同一タイミングで撮像・検知された一対の原画像データｄ１と深度情報ｄ２は、関連付けされて記憶される。
【００３８】
対応付手段１３は、一対の画像データｄ１と深度情報ｄ２について、深度情報ｄ２の各座標の深度を画像データｄ１の対応する位置に対応付ける機能を有する。ここでは、既知のマッピングの技術を用いる。
【００３９】
オブジェクト受付手段１４は、ユーザによる入力装置３の操作により、原画像データｄ１に含まれるオブジェクトＡの指定を受け付ける。ここでは、オブジェクトＡの領域内の任意の座標（ｘ，ｙ）を受け付ける。
【００４０】
拡大縮小率算出手段１５は、オブジェクトＡを示す座標（ｘ，ｙ）に対応する深度Ｄを深度情報ｄ２から取得し、深度Ｄと予め係数記憶手段１７に記憶されている係数Ｃとから、オブジェクトＡが実物大のサイズとなる拡大率又は縮小率（以下、拡大縮小率ｒという。）を算出する機能を有する。
【００４１】
拡大縮小画像処理手段１６は、算出された拡大縮小率ｒで原画像データｄ１を拡大又は縮小した加工画像データｄ４を生成する機能を有する。出力手段２３は、原画像データｄ１や加工画像データｄ４を表示装置４に出力する機能を有する。係数記憶手段１７は、ユーザが予め算出した係数Ｃを記憶する不揮発性の記憶部である。
【００４２】
以下、実物大画像生成装置１００の動作について説明する。図７は、実物大画像生成装置１００の第一処理部１０１の動作を説明するフローチャートを示す図であり、図８は実物大画像生成装置１００の第二処理部１０２の動作を説明するフローチャートを示す図である。
【００４３】
（第一処理）
図７に示す第一処理は、ユーザが実物大表示の指示をしていない状態における実物大画像生成装置１００の処理である。ユーザが複合装置２によりオブジェクトＡを含む第一領域の動画像を撮像すると、原画像データ取得手段１１は、撮像装置２ａにより撮像された原画像データｄ１を取得する（原画像データ取得ステップＳ１１）。フレーム単位で連続して取得される原画像データｄ１は、フレームごとに時系列に記憶手段１１ａに蓄積記憶される。また、撮像装置２ａと連動して、深度センサ２ｂによりオブジェクトＡを含む第二領域の深度が測定され、深度情報取得手段１２により深度情報ｄ２が取得される（深度情報取得ステップＳ１２）。フレーム単位で連続して取得される深度情報ｄ２は、フレームごとに時系列に記憶手段１２ａに蓄積記憶される。略同一タイミングで取得された一対の原画像データｄ１と深度情報ｄ２は関連付けされて記憶されている。
【００４４】
図９は撮像装置２ａにより撮像される第一領域の原画像データｄ１と、深度センサ２ｂにより測定される第二領域の深度情報ｄ２を示す図であり、（ｂ）は原画像データｄ１を可視化した図、（ａ）は深度情報ｄ２を可視化した図である。ここでは、原画像データｄ１は横１９２０×縦１０８０ピクセルであり、深度情報ｄ２は横５１２×縦４２４ピクセルであり、解像度やサイズが異なる。
【００４５】
記憶手段１１ａに蓄積記憶された原画像データｄ１はフレーム単位で時系列に出力手段２３に受け渡され、出力手段２３から表示装置４に出力される（ステップＳ１３）。表示装置４には原画像データｄ１がフレーム単位で順次表示される。
【００４６】
つぎに、オブジェクト受付手段１４は、オブジェクトＡを指定する入力を入力装置３から受け付けたか否かを判断する（オブジェクト受付ステップＳ１４）。入力を受け付けていない場合（ステップＳ１４の「Ｎｏ」参照）は、ステップ１５に進む。
【００４７】
ステップ１５では、終了受付手段１８が実物大画像生成プログラムの処理の終了指令を入力装置３から受け付けたか否かを判断する。ユーザから終了指令を受け付けていない場合は（ステップＳ１５の「Ｎｏ」参照）、直後のフレームに対してテップＳ１３からの処理を繰り返し、原画像を動画表示する。終了指令を受け付けた場合（ステップＳ１５の「Ｙｅｓ」参照）は、第一処理を終了する。
【００４８】
ユーザが入力装置３を用いて原画像データｄ１内のオブジェクト（すなわち、オブジェクトＡの領域内の座標（ｘ，ｙ））を指定すると、ステップＳ１４においてその入力が受け付けられ、座標（ｘ，ｙ）が指定記憶手段１９に記憶される（ステップＳ１６）。そして、ユーザのオブジェクト指定の入力がトリガーとなって第二処理が実行される（ステップＳ１７）。
【００４９】
（第二処理）
図８に示す第二処理部１０２の動作について説明する。原画像データ取得ステップＳ２１、深度情報取得ステップＳ２２は第一処理のステップＳ１１，Ｓ１２と同様であるため説明を省略する。
【００５０】
ステップＳ２３において、対応付手段１３が記憶手段１１ａと記憶手段１２ａから一対の原画像データｄ１と深度情報ｄ２を取得し、深度情報ｄ２の各ピクセルの深度を原画像データｄ１の対応する位置に対応付ける。本実施の形態では、原画像データｄ１を構成するピクセルと、深度情報ｄ２を構成するピクセルとを対応付けることにより、原画像データｄ１の座標系の各座標に対して、深度情報ｄ１の各ピクセルの深度を割り当てている。
【００５１】
このとき、図９に示すように、原画像データｄ１と深度情報ｄ２はピクセル数が異なる。さらに、撮像装置２ａと深度センサ２ｂは複合装置２において同軸に配置されていないため、そのまま重ねてもずれが発生する。そこで、このずれを解消して、ずれの無い対応付けを可能とするマッピング技術を用いる。マッピングは既知の技術であり、既存の複合装置２のＳＤＫ（Ｓｏｆｔｗａｒｅ  Ｄｅｖｅｌｏｐｍｅｎｔ  Ｋｉｔ）のライブラリに用意されているものを用いることができる。これにより、ずれの無い対応付けが可能となる。なお、図９は、円で囲まれた部分と矢印により、一対の特徴点の対応関係を示したものであり、実際の画面には表示されない。
【００５２】
また、ステップＳ２３では、深度情報ｄ２について、ノイズを除去するフィルタリング処理をマッピングの前に行っても良い。深度情報ｄ２は、オブジェクトとオブジェクトの境界など、急激な深度の変化が起こる箇所では深度が測定できず、このような場合は深度が０となる。そこで、急激に変化している深度が０の座標に対して、これをノイズとみなしてフィルタをかける。ノイズを除去するフィルタは既知の技術を用いれば良く、例えば、メディアンフィルタや平均値フィルタが挙げられる。
【００５３】
つぎに、拡大縮小率算出手段１５が拡大縮小率ｒを算出する（算出ステップＳ２４）。拡大縮小率ｒは、指定記憶手段１９に記憶されている座標（ｘ、ｙ）の深度Ｄ１と、係数記憶手段１７に記憶されている係数Ｃとから算出され、表示装置４に表示されるオブジェクトＡが実物大のサイズとなる比率である。なお、オブジェクトＡの実物大のサイズとは、特にオブジェクトＡの中の深度Ｄ１に対応する箇所が実物大となるサイズを意味する。すなわち、拡大縮小率ｒは、オブジェクトＡの少なくとも一部分が実物大のサイズとなる値であれば良い。
【００５４】
係数Ｃは、深度センサ２ｂから得られる深度Ｄ１、表示装置４の解像度及び素子の物理サイズ（すなわち原画像データｄ１を表示装置４に表示したときのオブジェクトの寸法）、及び、オブジェクトの実物の寸法などから、深度に応じて表示装置４に表示されるオブジェクトが実物大のサイズとなる値をユーザが予め算出し、入力装置３から不揮発性の係数記憶手段１７に入力して設定しておく。係数Ｃは表示装置４の解像度や素子の物理サイズにより変動するため、表示装置４に合わせてユーザが設定・変更可能となっている。
【００５５】
深度Ｄ１は、指定記憶手段１９に記憶されている座標（ｘ，ｙ）の深度を取得することで得られる。表示装置４に表示される原画像データｄ１に対して、ユーザが入力装置３によりオブジェクト内の任意の座標（ｘ，ｙ）を指定すると、拡大縮小手段１６は、座標（ｘ，ｙ）に対応する深度Ｄ１を深度データｄ２から取得し、一時記憶手段（図示せず）に記憶する。
【００５６】
拡大縮小率ｒは下記の数１の式で表わされる。係数Ｃは不揮発性の係数記憶手段１７に記憶されており、深度Ｄ１は一時記憶手段に記憶されており、拡大縮小率算出手段１５の拡大縮小率ｒの算出処理において各々が読みだされ、式１に代入されて拡大縮小率ｒが算出される。算出された拡大縮小率ｒは記憶手段（図示せず）に記憶される。
【００５７】
（数１）
拡大縮小率ｒ＝Ｄ／Ｃ
Ｄ：オブジェクトの深度
Ｃ：係数
【００５８】
つぎに、拡大縮小画像処理手段１６が原画像データｄ１を縦方向及び横方向の各々について拡大縮小率ｒで拡大又は縮小し加工画像データｄ４を生成する（画像処理ステップＳ２５）。表示装置４に表示されるオブジェクトＡは、拡大縮小率ｒで拡大又は縮小され、実物大のサイズとなる。
【００５９】
ここで、拡大縮小画像処理手段１６は、原画像データｄ１を拡大又は縮小する前処理として、加工画像データｄ４が原画像データｄ１と同一のウインドウサイズとなるように、原画像データｄ１から矩形の小ウインドウｄ１１を切り取る処理を設けても良い。図１０は前処理の説明図である。小ウインドウｄ１１は座標（ｘ、ｙ）を中心点とする矩形ウインドウである。
【００６０】
小ウインドウｄ１１の幅と高さは以下の数２の式で求められる。
（数２）
小ウインドウの幅ｗ  ＝（Ｗ×Ｃ）／Ｄ
小ウインドウの高さｈ＝（Ｈ×Ｃ）／Ｄ
Ｄ：オブジェクトの深度
Ｃ：係数
Ｗ：原画像データｄ１の幅
Ｈ：原画像データｄ２の高さ
【００６１】
小ウインドウｄ１１の左上角の座標である始点（ｘ１、ｙ１）は以下の数３の式で求められる。
（数３）
ｘ１＝ｘ−（Ｗ×Ｃ／Ｄ）／２
ｙ１＝ｙ−（Ｈ×Ｃ／Ｄ）／２
ｘ、ｙ：ユーザにより入力された座標（ｘ，ｙ）
Ｄ：オブジェクトの深度
Ｃ：係数
Ｗ：原画像データｄ１の幅
Ｈ：原画像データｄ２の高さ
【００６２】
こうして原画像データｄ１から小ウインドウｄ１１を切り取り、拡大縮小画像処理手段１６により小ウインドウｄ１１を縦方向及び横方向の各々について拡大又は縮小することで、加工画像データｄ４を原画像データｄ１と同じウインドウサイズとすることができる。
【００６３】
図８に戻り、つぎに、生成された加工画像データｄ４は出力手段２３に受け渡され、表示装置４に出力される（ステップＳ２６）。表示装置４には、加工画像データｄ４が表示される。
【００６４】
その後、ステップＳ２７において終了受付手段１８が実物大表示終了指令を受け付けた場合（ステップＳ２７の「Ｙｅｓ」参照）、第一処理に戻り、第二処理を終了する。ステップＳ２７において終了受付手段１８が実物大表示終了指令を受け付けていない場合（ステップＳ２７の「Ｎｏ」参照）は、ステップＳ２３に戻り直後のフレームに対して処理を繰り返す。
【００６５】
以下、実施例を説明する。図１１（ａ）〜図１１（ｃ）は実物大画像生成装置１００により生成される画像の例である。図１１（ａ）は原画像データｄ１が表示装置４に表示された状態の画像Ｆ１である。初期状態において、表示装置４には原画像データｄ１が表示されている。図１１（ｂ）に示す表示画面Ｆ２のように、ユーザは実物大のサイズで表示したいオブジェクトＡ（ここでは黒い正方形を側面に描いた白地の直方体形状の箱）を入力装置３により指定する。すると、実物大画像生成装置１００により加工画像データｄ４が生成され、図１１（ｃ）に示されるように、表示装置４にはオブジェクトＡが実物大のサイズで示される画像Ｆ３が表示される。  
【００６６】
なお、画像Ｆ３には、メイン画像として加工画像データｄ４の一部切り取り画像（小ウインドウｄ１１を拡大縮小率ｒで加工した画像）が表示され（図１１（ｃ）の画像中の符号１で示される領域）、加工画像データｄ４の左上角付近には原画像データｄ１の縮小画像が重ね合わせて小さく表示され（図１１（ｃ）の画像中の符号２で示される領域）、小ウインドウｄ１１は原画像データｄ１内の矩形の小枠（図１１（ｃ）の画像中の符号３で示される小枠）で示される。これにより、原画像データｄ１と加工画像データｄ４と小ウインドウｄ１１の関係が分かりやすくなる。なお、画像Ｆ３内における数字は説明の為に付与した符号であり、実際には表示されない。
【００６７】
以上のように、実物大表示装置１００は深度センサ２ｂを利用するため、使用時における自由度が高く、高精度のサイズ表示が安定的に得られる。また、オブジェクトが実物大のサイズで表示装置４に表示されるため、ユーザはオブジェクトＡのサイズの実感が得られる。
【００６８】
［第二の実施の形態］
本実施の形態は、オブジェクトＡを追跡して実物大表示を行う機能を有する。上記実施の形態では、入力装置３から指定された座標（ｘ，ｙ）の深度Ｄを取得するため、オブジェクトＡが座標（ｘ，ｙ）から外れた場合はオブジェクトＡの実物大表示は行われず、座標（ｘ、ｙ）における新たな深度に基づいて原画像データｄ１の拡大又は縮小が行われる。これに対して、本実施の形態では、オブジェクトＡが入力装置３により指定された座標（ｘ，ｙ）を外れた場合であっても、オブジェクトＡを追跡して実物大表示を行う。以下、詳細に説明する。
【００６９】
図１２は、本実施の形態の実物大画像生成装置２００を説明する機能ブロック図である。なお、以下の説明において、第一の実施の形態と同一の要素は、同一の符号を付して説明を省略する。
【００７０】
実物大表示装置２００は、オブジェクト認識手段２０とオブジェクト追跡手段２１を備える。オブジェクト認識手段２０は、ユーザが入力装置３により指定した座標を含むオブジェクトＡを認識する機能を有する。
【００７１】
また、オブジェクト追跡手段２１は、連続する原画像データの各原画像データにおいて直前の原画像データのオブジェクトＡと特徴点が近似するオブジェクトをオブジェクトＡとして認識することで、オブジェクトＡを連続して認識し、追跡する機能を有する。
【００７２】
図１３は、実物大表示装置２００の第一処理の動作を説明するフローチャートを示す図である。本実施の形態では、ステップＳ１６の後にステップＳ１６１が追加される。ステップＳ１６１では、オブジェクト認識手段２０がオブジェクトＡの認識を行う。これは、既知の技術を用いることができ、例えば、画像データｄ１の特徴点を抽出することで各オブジェクトの境界線を特定し、ステップＳ１６において記憶された座標（ｘ，ｙ）、すなわち、ユーザにより指定された座標（ｘ，ｙ）を含む領域をオブジェクトＡとして認識する。
【００７３】
図１４は、実物大表示装置２００の第二処理を説明するフローチャートを示す図である。ステップＳ２３の後にオブジェクト追跡ステップＳ２３１が実行される。オブジェクト追跡ステップＤ２３１では、オブジェクト追跡手段２１が、連続する原画像データの各原画像データにおいて直前の原画像データのオブジェクトＡと特徴点が近似するオブジェクトをオブジェクトＡとして認識することで、動画像においてオブジェクトＡを連続して認識し、追跡する。
【００７４】
オブジェクト追跡ステップＳ２３１の後に拡大縮小率算出ステップＳ２４１が実行される。オブジェクトＡは境界線に囲まれた広さを持つ領域として認識されるため、オブジェクトＡの領域には複数の座標が含まれており、各座標について深度Ｄが得られる。そこで、拡大縮小率算出手段１５は、オブジェクトＡの深度Ｄ１として、オブジェクトＡの領域に含まれる複数の座標の各深度に基づいて所定の規則によりひとつの深度Ｄ１を算出する。所定の規則としては、オブジェクトＡの領域に含まれる座標の各深度のうち最小値とするのが好適であるが、最大値や平均値や中央値としても良い。すなわち、オブジェクトＡの少なくとも一部分が実物大のサイズとなる値であれば良い。
【００７５】
そして、算出された深度Ｄ１を用いて原画像データｄ１の拡大縮小画像処理を行い、表示装置４に出力する。これにより、表示装置４には、動画像中のオブジェクトＡが常に実物大のサイズで表示されることとなる。ユーザが最初に指定した座標（ｘ，ｙ）からオブジェクトＡが外れても、実物大のサイズで表示されることとなり、動画像において特定のオブジェクトを実物大のサイズで追跡することが可能となる。
【００７６】
［第三の実施の形態］
本実施の形態は、ユーザにより深度を指定可能とし、指定された深度Ｄ２に対応する箇所（領域）を実物大のサイズで表示する機能を有する。上記他の実施の形態においては、原画像データｄ１の中から座標を指定することで深度Ｄ１が決定されたが、本実施の形態では、ユーザが直接的に深度を入力することで指定する。これにより、ユーザは指定した深度に存在する全ての箇所を、実物大のサイズで表示することができる。
【００７７】
図１５は、本実施の形態の実物大画像生成装置３００を説明する機能ブロック図である。なお、以下の説明において、第一の実施の形態と同一の要素は、同一の符号を付して説明を省略する。
【００７８】
実物大画像生成装置３００は、深度受付手段１４３と指定記憶手段１９３と拡大縮小率算出手段１５３を備える。深度受付手段１４３は、ユーザにより入力装置３により指定された深度Ｄ２を受け付ける機能を有し、指定記憶手段１９３は深度Ｄ２を記憶する機能を有する。拡大縮小率算出手段１５３は、指定記憶部１９３から深度Ｄ２を取得し、深度Ｄ２を用いて拡大縮小率ｒを算出する機能を有する。
【００７９】
ユーザによる深度Ｄ２の指定は、様々な形態での入力が可能となっている。たとえば、ユーザに対して深度Ｄ２を数値で入力させる画面を表示し、ユーザに数値を入力させたり、表示装置４に表示される原画像データｄ１に対してマウス等により座標（ｘ２，ｙ２）を指定させることで、座標（ｘ２，ｙ２）に対応する深度Ｄ２を深度情報ｄ２から取得したりすることで深度Ｄ２の指定が可能となっている。
【００８０】
図１６は、実物大表示装置３００の第一処理を説明するフローチャートを示す図である。本実施の形態では、深度受付ステップＳ１４３において、深度受付手段１４３が、入力装置３から深度Ｄ２の入力を受け付けたか否かを判断する。ユーザが入力装置３から深度Ｄ２を入力すると、その入力が受け付けられ、深度Ｄ２が指定記憶手段１９３に記憶される。
【００８１】
図１７は、実物大表示装置３００の第二処理を説明するフローチャートを示す図である。拡大縮小率算出ステップＳ２４３において、拡大縮小率算出手段１５３は指定記憶部１９３から深度Ｄ２を取得し、深度Ｄ２を用いて拡大縮小率ｒを算出する。
【００８２】
後続の処理では、原画像データｄ１に対して拡大縮小率ｒで拡大又は縮小する画像処理が行われる。これにより、表示装置４には深度Ｄ２に対応する全ての箇所が常に実物大のサイズで表示される。
【００８３】
［第四の実施の形態］
本実施の形態は、実物大表示装置４００が、加工画像データｄ４の一部領域にマスクをすることで、特定の領域を注目され易くするものである。
【００８４】
図１８は、本実施の形態の実物大画像生成装置４００を説明する機能ブロック図である。実物大画像生成装置４００は、ユーザにより指定された深度以上、又は、深度以下の範囲以外の領域についてマスクをするマスク手段４１を備える。なお、本実施の形態は、上記第三の実施の形態に本機能を適用した例であり、以下の説明において、第三の実施の形態と同一の要素は、同一の符号を付して説明を省略する。
【００８５】
図１９は、実物大表示装置４００の第二処理を説明するフローチャートを示す図である。拡大縮小処理ステップＳ２５と出力ステップＳ２６の間にマスク処理判断ステップＳ４０とマスク処理ステップＤ４１が追加される。マスク処理判断ステップＳ４０は、ユーザによるマスク指令が入力されたかを判断する（ステップＳ４０）。マスク指令が入力された場合（ステップＳ４０の「Ｙｅｓ」参照）、それをトリガーとしてマスク処理ステップＳ４１を実行する。マスク処理ステップＳ４１では、マスク手段４１が拡大縮小処理された加工画像データｄ４に対して、ユーザにより指定された深度Ｄ２以上又は深度Ｄ２以下の領域以外をマスクする。表示装置４には、深度Ｄ２以上又は深度Ｄ２以下の領域以外がマスクされ、深度Ｄ２以下又は深度Ｄ２以上の領域のみがクリアに表示される。
【００８６】
すなわち、加工画像データｄ４の座標を深度等高線でつなぎ、指定された深度Ｄ２を示す深度等高線を境界として一方の領域がマスクされることとなる。図２０は、原画像データｄ１において最前に位置するオブジェクトが顔である場合の、マスク処理ステップＳ４１を実行した加工画像データｄ４の例を示す図である。指定した深度以下の領域に含まれる顔は表示され、それ以外の領域はマスクされることで、顔の注目度が上がる。
【００８７】
ステップＳ４０においてマスク指令が入力されなかった場合（ステップＳ４０の「Ｎｏ」参照）、マスク処理Ｓ４１を実行することなく、ステップＳ２６に進み、加工画像データｄ４を表示装置４に出力する。
【００８８】
なお、マスクＭｋの色・模様・透明度等の形態はユーザにより指定可能としても良い。また、深度等高線を境界とした一方側の領域と他方側の領域のいずれをマスクするかは、ユーザにより指定可能としても良いし、システム内に予め設定されていても良い。
【００８９】
これにより、注視したい深度範囲のみを表示させたりすることが可能となる。また、エンターテイメントの観点からも面白味のある動画像が制作できる。
【００９０】
さらに、上記第一の実施の形態乃至第四の実施の形態において、実物大画像生成装置１００〜４００は、寸法測定機能を備えても良い。詳細には、ユーザが入力装置３により座標２点を指定すると、実物大画像生成装置１００〜４００は、指定した座標２点の深度を求め、深度センサ２ｂが検知する四角錐形状の空間における三次元座標を算出し、指定された座標２点の間の寸法を算出して表示装置４に出力する。
【００９１】
また、スケールを示すスケールバーを加工画像データｄ４に重ねて出力装置に表示しても良い。スケールバーは、ユーザの操作に従い、加工画像データｄ４の座標系において移動や回転が自在となっている。ユーザは、スケールバーを測定対象の測定箇所に沿わせるように移動させることで寸法を測定する。これにより、あたかも定規で寸法を測定するかのような感覚で、オブジェクトの寸法が自由に測定可能となる。なお、スケールバーの操作性の観点から、表示手段４はマルチタッチデバイスが好適である。
【００９２】
以上、上記本発明によれば、使用時における自由度が高く、高精度の測定値が安定的に得られ、オブジェクトのサイズの実感が得られる実物大画像生成プログラム、実物大画像生成装置、及び、実物大画像生成方法を提供することができる。
【００９３】
また、本発明は、その趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。たとえば、各々が別体の撮像装置２ａと深度センサ２ｂを用いることも可能であり、この場合は撮像装置２ａと深度センサ２ｂを並列配置すれば良い。
【００９４】
また、上記実施の形態においては動画像を例に説明したが、静止画像についても適用可能である。この場合は、動画像の１フレームに対する処理と同じ処理を静止画像に対して行うだけで良い。
【００９５】
また、上記実施の形態の実物大画像生成装置を実現するコンピュータは、汎用的な携帯端末でもよいし、専用の携帯端末でも良いし、パーソナルコンピュータでも良いし、サーバでも良い。汎用的な携帯端末やパーソナルコンピュータである場合は、本実施の形態における処理を実施するためのアプリケーションをダウンロード等により取得しても良い。また、専用の携帯端末である場合は、ハードディスク・ドライブ等に上記アプリケーションが予め格納されていても良い。これらは、内蔵の撮像装置や深度センサから原画像データや深度情報を取得し、一体型のディスプレイに結果を出力しても良い。また、サーバである場合は、ユーザ端末からネットワーク経由で原画像データや深度情報を取得し、処理結果をネットワーク経由でユーザ端末に出力するようにしても良い。
【００９６】
また、上で述べた実物大画像生成装置は、コンピュータ装置であって、図２１に示すように、メモリ２５０１とＣＰＵ２５０３とハードディスク・ドライブ（ＨＤＤ）２５０５と表示装置２５０９に接続される表示制御部２５０７とリムーバブル・ディスク２５１１用のドライブ装置２５１３と入力装置２５１５とネットワークに接続するための通信制御部２５１７とがバス２５１９で接続されている。オペレーティング・システム（ＯＳ：Operating System）及び本実施例における処理を実施するためのアプリケーション・プログラムは、ＨＤＤ２５０５に格納されており、ＣＰＵ２５０３により実行される際にはＨＤＤ２５０５からメモリ２５０１に読み出される。ＣＰＵ２５０３は、アプリケーション・プログラムの処理内容に応じて表示制御部２５０７、通信制御部２５１７、ドライブ装置２５１３を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ２５０１に格納されるが、ＨＤＤ２５０５に格納されるようにしてもよい。本技術の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク２５１１に格納されて頒布され、ドライブ装置２５１３からＨＤＤ２５０５にインストールされる。インターネットなどのネットワーク及び通信制御部２５１７を経由して、ＨＤＤ２５０５にインストールされる場合もある。このようなコンピュータ装置は、上で述べたＣＰＵ２５０３、メモリ２５０１などのハードウエアとＯＳ及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。
【００９７】
以上、本発明は上記実施の形態に限定されるものではなく、発明の範囲内において適宜変更可能である。
【符号の説明】
【００９８】
１００，２００，３００，４００  実物大画像生成装置
２  複合装置
２ａ  撮像装置
２ｂ  深度センサ
３  入力装置
４  表示装置
【図１】
2016212811.tif 000003
【図２（ａ）】
2016212811.tif 000004
【図２（ｂ）】
2016212811.tif 000005
【図２（ｃ）】
2016212811.tif 000006
【図３】
2016212811.tif 000007
【図４】
2016212811.tif 000008
【図５】
2016212811.tif 000009
【図６】
2016212811.tif 000010
【図７】
2016212811.tif 000011
【図８】
2016212811.tif 000012
【図１０】
2016212811.tif 000013
【図１２】
2016212811.tif 000014
【図１３】
2016212811.tif 000015
【図１４】
2016212811.tif 000016
【図１５】
2016212811.tif 000017
【図１６】
2016212811.tif 000018
【図１７】
2016212811.tif 000019
【図１８】
2016212811.tif 000020
【図１９】
2016212811.tif 000021
【図２０】
2016212811.tif 000022
【図２１】
2016212811.tif 000023
【図９】
2016212811.tif 000024
【図１１（ａ）】
2016212811.tif 000025
【図１１（ｂ）】
2016212811.tif 000026
【図１１（ｃ）】
2016212811.tif 000027