(57)【要約】【課題】ユーザの目から見える、実際の風景と、画像表示装置での表示に対して、一体感のある画像表示を行う。【解決手段】紙面２０に対して画像表示装置（ＡＲ装置）１０を接地して使用する。そのため、ユーザの目の位置にかかわらず、画像表示部１３には、紙面２０内の適切な領域を、紙面２０と同じ大きさで表示させることで、実際の風景（紙面２０）に対して一体感のある画像表示をさせることができる。すなわち、画像表示部１３は、あたかも透明なガラスであるかのように見せることができる。画像表示部１３にて表示する領域は、紙面２０を撮影した画像Ｉの撮影範囲と、撮像部１５の紙面２０の接地位置Ｐと、画像表示部１３の大きさ（ＷＤおよびＨＤ）の少なくとも１つの情報を利用することで適切な領域とすることが出来る【選択図】図１３
2016023962.tif 000002
【特許請求の範囲】
【請求項１】
撮影位置に置いた撮像装置にて、対象物体を撮影して、撮影画像を得る撮影ステップと、
上記撮像装置を、上記撮影位置と上記対象物体との間を移動させることで、上記撮影位置と上記対象物体までの距離を計測する計測ステップと、
上記撮像装置の視野角と、上記距離とにより、上記対象物体の大きさを計算する計算ステップとを
有することを特徴とする被写体の大きさを測定する方法。
【請求項２】
撮像部と画像表示部が一体となった装置を使用して、画像を表示する方法において、
撮影位置に置いた上記装置の上記撮像部にて、対象物体を撮影して、撮影画像を得る撮影ステップと、
上記撮影画像あるいは必要に応じて上記撮影画像を素材とした画像の一部を切り出す切り出しステップと、
上記切り出しステップで切り出された画像を、上記装置が上記対象物体に接地された時に上記画像表示部にて表示する表示ステップとを有し、
上記切り出しステップでは、上記対象物体の大きさと、上記装置が上記対象物体に接地された時の位置と、上記画像表示部の大きさの少なくとも１つの情報を利用して切り出す領域を決定すること
を特徴とする画像表示方法。
【請求項３】
請求項２において、
上記対象物体の大きさを確定するために、
さらに、
上記装置を、上記撮影位置と上記対象物体との間を移動させることで、上記撮影位置と上記対象物体までの距離を計測する計測ステップと、
上記撮像部の視野角と、上記距離とにより、上記対象物体の大きさを計算する計算ステップとを
設けたことを特徴とする画像表示方法。
【請求項４】
撮影位置に置いた撮像部にて、対象物体を撮影して、撮影画像を得る撮影画像取得部と、
上記撮像部を、上記撮影位置と上記対象物体との間を移動させることで、上記撮影位置と上記対象物体までの距離を計測する計測処理部と、
上記撮像部の視野角と、上記距離とにより、上記対象物体の大きさを計算する計算処理部とを
有することを特徴とする被写体の大きさを測定する装置。
【請求項５】
撮像部と画像表示部が一体となった装置において、
撮影位置に置いた上記装置の上記撮像部にて、対象物体を撮影して、撮影画像を得る撮影画像取得部と、
上記撮影画像あるいは必要に応じて上記撮影画像を素材とした画像の一部を切り出す切り出し処理部と、
上記切り出し処理部で切り出された画像を、上記装置が上記対象物体に接地された時に上記画像表示部にて表示する処理を行う画像表示制御部とを有し、
上記切り出し処理部では、上記対象物体の大きさと、上記装置が上記対象物体に接地された時の位置と、上記画像表示部の大きさの少なくとも１つの情報を利用して切り出す領域を決定すること
を特徴とする画像を表示する装置。
【請求項６】
請求項５において、
上記対象物体の大きさを確定するために、
さらに、
上記撮像部を、上記撮影位置と上記対象物体との間を移動させることで、上記撮影位置と上記対象物体までの距離を計測する計測処理部と、
上記撮像部の視野角と、上記距離とにより、上記対象物体の大きさを計算する計算処理部とを
設けたことを特徴とする画像を表示する装置。
【請求項７】
撮影位置に置いた撮像装置にて、対象物体を撮影して、撮影画像を得る撮影ステップと、
上記撮像装置を、上記撮影位置と上記対象物体との間を移動させることで、上記撮影位置と上記対象物体までの距離を計測する計測ステップと、
上記撮像装置の視野角と、上記距離とにより、上記対象物体の大きさを計算する計算ステップとを
有することを特徴とする被写体の大きさを測定するためのコンピュータに実行させるプログラム。
【請求項８】
撮像部と画像表示部が一体となった装置を使用して、画像を表示するプログラムにおいて、
撮影位置に置いた上記装置の上記撮像部にて、対象物体を撮影して、撮影画像を得る撮影ステップと、
上記撮影画像あるいは必要に応じて上記撮影画像を素材とした画像の一部を切り出す切り出しステップと、
上記切り出しステップで切り出された画像を、上記装置が上記対象物体に接地された時に上記画像表示部にて表示する表示ステップとを有し、
上記切り出しステップでは、上記対象物体の大きさと、上記装置が上記対象物体に接地された時の位置と、上記画像表示部の大きさの少なくとも１つの情報を利用して切り出す領域を決定すること
を特徴とする画像を表示するためのコンピュータに実行させるプログラム。
【請求項９】
請求項８において、
上記対象物体の大きさを確定するために、
さらに、
上記装置を、上記撮影位置と上記対象物体との間を移動させることで、上記撮影位置と上記対象物体までの距離を計測する計測ステップと、
上記撮像部の視野角と、上記距離とにより、上記対象物体の大きさを計算する計算ステップとを
設けたことを特徴とする画像を表示するためのコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮影対象物体を撮影して、撮影対象物体の大きさを測定する方法、装置、並びに、プログラムに関するもの、および、撮影された画像を素材として編集した画像を表示させる方法、装置、並びに、プログラムに関するものである。
【背景技術】
【０００２】
近年、拡張現実感（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）を用いたアプリケーションが実現されてきている。たとえば、スマートフォンやタブレットＰＣを用いて、紙面などの対象物体を撮影すると、その対象物体を認識して、適切な画像を表示させるアプリケーションである。より具体的には、株式会社中日新聞社東京本社が提供する「東京ＡＲ」というアプリケーションである。また、非特許文献１のFigure 1にも、同様のアプリケーションの例が記載されている。さらに、特許文献１にも同様のアプリケーションが開示されている。
【０００３】
また、顔の写っている１枚の画像から、自動で顔を認識して、口や目などが動く動画を作成する技術も、存在している。より具体的には、モーションポートレート株式会社の開発した技術である。この技術を流用することで、以下のようなＡＲを用いたアプリケーションが考えられる。
【０００４】
図１の１００が従来のＡＲ装置（具体的にはスマートフォンあるいはタブレットＰＣなど）である。ＡＲ装置１００には、画像表示部１１０と、撮像部１２０を有している。撮像部１２０は、画像表示部１１０に対して反対側に設置されており、図中には見えていない。撮像部１２０により、たとえば、紙面２０を撮影する。紙面２０には人３０が描かれているとする。ここで、紙面とは、たとえば、雑誌の特定の１ページであり、その特定の１ページには人物の写真が印刷されている。ユーザが、撮像部１２０を用いて、紙面２０を撮影すると、ＡＲ装置１００は、画像を解析して、人の顔の部分を検出する。さらに、その顔画像を変形して、目や口が動く動画を作成する。そして、作成した動画を、画像表示部１１０に表示する。図１の画像表示部１１０には、このような動画を再生している状況を図示している。
【０００５】
図１の４０は、ユーザの目を示している。図１は、ユーザが、紙面２０を撮影した直後に、画像表示部１１０を見ている場面である。
【０００６】
ユーザの目４０から見える光景を、図２に示す。ユーザからは、図２に示すように、ＡＲ装置１００が見える。ＡＲ装置１００内の画像表示部１１０には、撮影された画像（より正確には、撮影された画像のうち、顔部分を変形させた動画）が見える。また、ＡＲ装置１００の外側には、実世界の風景が見える。すなわち、紙面２０が見える。さらに、紙面２０上に描かれた人３０の一部も見える。図２において、紙面２０と、画像表示部１１０内に表示される画像とは、一体感がない。これは、対象物体である人の大きさが違うからである。つまり、画像表示部１１０内の人の大きさと、実世界の紙面２０上に描かれた人３０の大きさが違うからである。
【０００７】
このように、ユーザの目４０から見えるＡＲ装置１００は、実際の風景に対して、一体感のある画像表示をすることができなかった。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１２−１９５７３２号公報
【非特許文献】
【０００９】
【非特許文献１】Schmalstieg, Dieter, and Daniel Wagner. "Mobile phones as a platform for augmented reality." connections 1 (2009): 3.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
前述のとおり、特許文献１や非特許文献１に記載の技術を用いることで、拡張現実感（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）を実現できるが、表示に関しては一体感がなかった。つまり、ユーザの目４０から見えるＡＲ装置１００は、実際の風景に対して、一体感のある画像表示をすることができなかった。
【００１１】
本技術は、このような状況に鑑みてなされたものであり、実際の風景に対して、一体感のある画像表示をさせるようにするものである。
【課題を解決するための手段】
【００１２】
本技術の一側面の被写体の大きさを測定する方法は、以下のとおりである。撮影位置に置いた撮像装置にて、対象物体を撮影して、撮影画像を得る撮影ステップと、上記撮像装置を、上記撮影位置と上記対象物体との間を移動させることで、上記撮影位置と上記対象物体までの距離を計測する計測ステップと、上記撮像装置の視野角と、上記距離とにより、上記対象物体の大きさを計算する計算ステップとを有する。これにより、被写体の大きさを測定することが出来る。
【００１３】
また、本技術の一側面の画像を表示する方法は、以下のとおりである。撮像部と画像表示部が一体となった装置を使用して、画像を表示する方法において、撮影位置に置いた上記装置の上記撮像部にて、対象物体を撮影して、撮影画像を得る撮影ステップと、上記撮影画像あるいは必要に応じて上記撮影画像を素材とした画像の一部を切り出す切り出しステップと、上記切り出しステップで切り出された画像を、上記装置が上記対象物体に接地された時に上記画像表示部にて表示する表示ステップとを有し、上記切り出しステップでは、上記対象物体の大きさと、上記装置が上記対象物体に接地された時の位置と、上記画像表示部の大きさの少なくとも１つの情報を利用して切り出す領域を決定する。これにより、一体感のある画像表示を可能とする。
【００１４】
そして、上記画像を表示する方法において、上記対象物体の大きさを確定するために、さらに、上記装置を、上記撮影位置と上記対象物体との間を移動させることで、上記撮影位置と上記対象物体までの距離を計測する計測ステップと、上記撮像部の視野角と、上記距離とにより、上記対象物体の大きさを計算する計算ステップとを設けた。これにより、一体感のある画像表示を可能とする。
【００１５】
本技術の一側面の被写体の大きさを測定する装置は、以下のとおりである。撮影位置に置いた撮像部にて、対象物体を撮影して、撮影画像を得る撮影画像取得部と、上記撮像部を、上記撮影位置と上記対象物体との間を移動させることで、上記撮影位置と上記対象物体までの距離を計測する計測処理部と、上記撮像部の視野角と、上記距離とにより、上記対象物体の大きさを計算する計算処理部とを有する。これにより、被写体の大きさを測定することが出来る。
【００１６】
また、本技術の一側面の画像を表示する装置は、以下のとおりである。撮像部と画像表示部が一体となった装置において、撮影位置に置いた上記装置の上記撮像部にて、対象物体を撮影して、撮影画像を得る撮影画像取得部と、上記撮影画像あるいは必要に応じて上記撮影画像を素材とした画像の一部を切り出す切り出し処理部と、上記切り出し処理部で切り出された画像を、上記装置が上記対象物体に接地された時に上記画像表示部にて表示する処理を行う画像表示制御部とを有し、上記切り出し処理部では、上記対象物体の大きさと、上記装置が上記対象物体に接地された時の位置と、上記画像表示部の大きさの少なくとも１つの情報を利用して切り出す領域を決定する。これにより、一体感のある画像表示を可能とする。
【００１７】
そして、上記画像を表示する装置において、上記対象物体の大きさを確定するために、さらに、上記撮像部を、上記撮影位置と上記対象物体との間を移動させることで、上記撮影位置と上記対象物体までの距離を計測する計測処理部と、上記撮像部の視野角と、上記距離とにより、上記対象物体の大きさを計算する計算処理部とを設けた。これにより、一体感のある画像表示を可能とする。
【００１８】
本技術の一側面の被写体の大きさを測定するプログラムは、以下のとおりである。撮影位置に置いた撮像装置にて、対象物体を撮影して、撮影画像を得る撮影ステップと、上記撮像装置を、上記撮影位置と上記対象物体との間を移動させることで、上記撮影位置と上記対象物体までの距離を計測する計測ステップと、上記撮像装置の視野角と、上記距離とにより、上記対象物体の大きさを計算する計算ステップとを有する。これにより、被写体の大きさを測定することが出来る。
【００１９】
また、本技術の一側面の画像を表示するプログラムは、以下のとおりである。撮像部と画像表示部が一体となった装置を使用して、画像を表示するプログラムにおいて、撮影位置に置いた上記装置の上記撮像部にて、対象物体を撮影して、撮影画像を得る撮影ステップと、上記撮影画像あるいは必要に応じて上記撮影画像を素材とした画像の一部を切り出す切り出しステップと、上記切り出しステップで切り出された画像を、上記装置が上記対象物体に接地された時に上記画像表示部にて表示する表示ステップとを有し、上記切り出しステップでは、上記対象物体の大きさと、上記装置が上記対象物体に接地された時の位置と、上記画像表示部の大きさの少なくとも１つの情報を利用して切り出す領域を決定する。これにより、一体感のある画像表示を可能とする。
【００２０】
そして、上記画像を表示するプログラムにおいて、上記対象物体の大きさを確定するために、さらに、上記装置を、上記撮影位置と上記対象物体との間を移動させることで、上記撮影位置と上記対象物体までの距離を計測する計測ステップと、上記撮像部の視野角と、上記距離とにより、上記対象物体の大きさを計算する計算ステップとを設けた。これにより、一体感のある画像表示を可能とする。
【００２１】
本技術の一側面は、撮影位置に置いた撮像装置にて、対象物体を撮影して、撮影画像を得ることと、上記撮像装置を、上記撮影位置と上記対象物体との間を移動させることで、上記撮影位置と上記対象物体までの距離を計測することと、上記撮像装置の視野角と、上記距離とにより、上記対象物体の大きさを計算することを有する。これにより、被写体の大きさを測定することが出来る。
【００２２】
また、本技術の一側面は、撮像部と画像表示部が一体となった装置を使用して、画像を表示するにあたり、撮影位置に置いた上記装置の上記撮像部にて、対象物体を撮影して、撮影画像を得ることと、上記撮影画像あるいは必要に応じて上記撮影画像を素材とした画像の一部を切り出すことと、上記切り出された画像を、上記装置が上記対象物体に接地された時に上記画像表示部にて表示することを有し、上記切り出す過程では、上記対象物体の大きさと、上記装置が上記対象物体に接地された時の位置と、上記画像表示部の大きさの少なくとも１つの情報を利用して切り出す領域を決定する。これにより、一体感のある画像表示を可能とする。
【００２３】
そして、上記対象物体の大きさを確定するために、さらに、上記装置を、上記撮影位置と上記対象物体との間を移動させることで、上記撮影位置と上記対象物体までの距離を計測することと、上記撮像部の視野角と、上記距離とにより、上記対象物体の大きさを計算することを設けた。これにより、一体感のある画像表示を可能とする。
【発明の効果】
【００２４】
本技術の一側面によれば、被写体の大きさを測定することが出来る。あるいは、一体感のある画像を表示させることができる。
【図面の簡単な説明】
【００２５】
【図１】従来の装置の使用例を説明する図である。
【図２】従来の装置による一体感のない表示状態を説明するための図である。
【図３】本発明の実施例の装置を説明するための図である。
【図４】本発明の実施例の装置内に設置された各部位の位置関係を説明するための図である。
【図５】本発明の実施例の装置の使用例を説明する図である。
【図６】本発明の実施例の装置での処理を説明するフローチャートである。
【図７】本発明の実施例の装置での処理を説明するフローチャートである。
【図８】本発明の実施例で撮影される画像についての説明図である。
【図９】本発明の実施例で撮影される画像についての説明図である。
【図１０】本発明の実施例において行われる位置推定に関する説明図である。
【図１１】本発明の実施例における紙面と装置の位置関係を説明するための図である。
【図１２】本発明の実施例で表示される画像についての説明図である。
【図１３】本発明の実施例の装置による一体感のある表示状態を説明するための図である。
【発明を実施するための形態】
【００２６】
本発明の利点をまず述べる。なお、本発明の実施例は、ＡＲの体験をユーザに提供する画像表示装置に関するものであり、以降では、ＡＲ装置と命名して述べていく。
（利点１）ＡＲ装置を紙面に接地させて動作させるので、ユーザの目の位置に関係なく、画像の適切な一部分のみを表示させることで、実際の風景に対して、一体感のある画像表示をさせることができる。すなわち、画像表示部は、あたかも透明なガラスであるかのように見せることができる。
さらに、以下の利点もある。
（利点２）紙面に接地したことは、ＡＲ装置への衝撃を検出することにより自動で検出するので、ユーザが明示的にＡＲ装置の動作開始（すなわち、表示開始）を指示しなくても良い。
（利点３）ユーザがＡＲ装置を紙面から離した場合、ＡＲ装置内の加速度センサによりこの動作を検出し、ＡＲ動作を終了させるようにしているので、ユーザが明示的にＡＲ装置の動作終了（すなわち、表示終了）を指示しなくても良い。
【００２７】
図３に本発明の実施例であるＡＲ装置１０を示す。ＡＲ装置１０には、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ（ＣＰＵ、中央演算処理部）１１と、操作部１２と、画像表示部１３と、メモリ１４と、撮像部１５と、加速度センサ１６と、ネットワークインターフェース部１７とを有し、さらに、１１乃至１７間でのデータのやりとりを行うことができるようにバス１８も有している。このようなＡＲ装置のハードウエア構成は、米IBM社のパーソナル・コンピュータ「P C／ A T（ P e r s o n a l C o m p u t e r / A d v a n c e d T e c h n o l o g y）」の互換機又は後継機を採用することができる。勿論、他のアーキテクチャを備えたコンピュータを採用しても良い。また、通常、メモリ１４には、オペレーティング・システムが格納されており、このオペレーティング・システム上で、本発明の実施例の処理（以降、ＡＲ動作と呼ぶことにする）を行うプログラムが実行される。ＡＲ動作を行うプログラムも、あらかじめ、メモリ１４上に格納されている。もし、メモリ１４上に格納されていない場合には、後述のネットワークインターフェース部１７を介して、インターネット上からＡＲ動作を行うプログラムをダウンロードすれば良い。ＣＰＵ１１は、各種演算処理を実行できる。操作部１２から、ユーザは各種命令をＡＲ装置１０に対して、与えることができる。操作部１２は、画像表示装置１３と一体化されており、タッチパネルによる入力ができるようにしても良い。画像表示部１３には、画像や情報を表示できる。メモリ１４には、ＡＲ動作を行うプログラムのほか、ＣＰＵ１１で計算されたデータ、撮像部１５で撮影された画像、加速度センサ１６からの加速度情報、ネットワークインターフェース部１７を介してネットワーク上のデータをダウンロードしたものなどを格納することができる。撮像部１５は、たとえば、レンズとイメージセンサより成り、外界を撮影して、画像を生成することができる。ネットワークインターフェース部１７を介して、ＡＲ装置１０は、インターネット等のネットワークに接続でき、インターネット上の各種情報にアクセスできる。なお、加速度センサ１６は、通常３軸センサであるが、本発明の実施例においては、ｚ軸方向の加速度情報のみを使用する。また、一般的に、加速度センサは重力の影響を受けるが、重力の影響は加速度センサの値から引き算することでキャンセルできるので、以降では、重力の影響はないものとして説明する。
【００２８】
なお、以降では、画像に関する座標系は、画像の中心が原点であり、横方向がｘ軸（右側が正）、縦方向がｙ軸（下側が正）とする。説明の都合上、画像表示部１３については、さらに、垂直な方向の軸をｚ軸と呼ぶことにする。画像表示部１３から画像表示部１３の裏側へ向かう方向が、ｚ軸の正の方向である。また、画像表示部１３の裏側には、撮像部１５が設置されているとする。画像表示部１３の中心と、撮像部１５の中心の位置は同じとする。正確には、ＡＲ装置の厚みの分だけ、ｚ軸方向に、画像表示部１３の中心と撮像部１５の中心の位置は違っているが、厚みは通常薄いので、無視する。また、画像表示部１３の大きさは、横ＷＤ、縦ＨＤとする。この様子を、図４に示す。
【００２９】
撮像部１５は、画像表示部１３とは反対側を撮影することが出来る。撮像部１５では、横方向（ｘ軸方向）にＡｈという画角で、縦方向（ｙ軸方向）にＡｖという画角で撮影が行われる。画角ＡｈおよびＡｖは既知とする。また、撮影される画像は、横Ｗ画素、縦Ｈ画素の画像とする。
【００３０】
なお、画像表示装置１３の中心と、撮像部１５の中心が違う場合は、後述する位置の計算に関して、その分オフセットを加算すればよいので、画像表示部１３の中心と、撮像部１５の中心の位置は同じとして説明しても一般性を失わない。
【００３１】
このＡＲ装置１０を用いた、具体的な使用手順を示す。
【００３２】
ユーザは、まず、ＡＲ動作を行いたい対象物（紙面）を用意する。この紙面には、人物が描かれているとする。図５に、紙面の例を示しておく。図５の２０が紙面であり、３０が紙面上に描かれている人物である。
【００３３】
ユーザは、ＡＲ装置１０に対して、ＡＲ動作を行うように、操作部１２を介して、ＡＲ装置１０に命令するとともに、ＡＲ装置１０を紙面２０に向ける。ＡＲ装置１０は、この命令を受けると、撮像部１５により撮影を開始する。そして、ＡＲ装置１０を紙面２０に近づけるように、ＡＲ装置１０はユーザに指示を出す。指示を受けたユーザは、図５の矢印５０で示す方向にＡＲ装置１０を動かし、最終的には、ＡＲ装置１０を紙面２０に接地させる。ＡＲ装置１０は、接地されると、自動で画像表示部１３に、人３０の顔の動画を表示する。この動画は、後述するように、実際の風景に対して、一体感のある画像となる。すなわち、画像表示部１３は、あたかも透明なガラスであるかのように見せることができる。さらに、ユーザがＡＲ装置１０を紙面から離すと自動でＡＲ動作を終える。
【００３４】
以上が、具体的な使用手順である。このようにして、前述の（利点１）から（利点３）の利点を受けることが可能となる。
【００３５】
それでは、以下で、詳しく処理の流れを説明していく。
【００３６】
図６および図７に本発明の実施例の処理の流れを示す。
【００３７】
ユーザは、ＡＲ装置１０に対して、ＡＲ動作を行うように、操作部１２を介して、ＡＲ装置１０に命令する。これにより、ＡＲ装置１０は、最初に、図６のステップＳ１を行う。
【００３８】
ステップＳ１では、撮像部１５にて撮影を行い、撮影された画像をＩとして、バス１８を介してメモリ１４に格納する。なお、既に画像Ｉがメモリ１４に格納されている場合には、上書きする。そして、ステップＳ２に進む。
【００３９】
ステップＳ２では、メモリ１４に格納されている画像Ｉを取り出し、ＣＰＵ１１にて、解析を行う。この解析により、画像Ｉの中から顔を検出する。なお、画像の中から顔を認識する技術は既知の技術であり、解析処理の詳細説明は省略する。そして、ステップＳ３に進む。
【００４０】
ステップＳ３では、直前のステップにおいて顔が検出できたか判定する。顔が検出できなかった場合には、再度撮影を行うために、ステップＳ１に戻る。顔が検出できた場合には、処理を進めるためにステップＳ４に進む。なお、ステップＳ１における撮影は、ユーザが紙面２０に向けて撮影していることが想定される。紙面２０上には人物３０が描かれているので、ステップＳ２では通常顔を検出することができる。したがって、ステップＳ３からステップＳ１に戻ることは、あまりあり得ない。万一、顔を検出できなかった場合のみ、ＡＲ動作を最初からやり直すために、ステップＳ１に戻る。
【００４１】
ステップＳ４では、ユーザに対して、ＡＲ装置１０を紙面２０に向けて移動させるように、ユーザに指示する。具体的には、画像表示部１３に、「この装置を紙面に向けて移動させてください」と表示する。そして、ステップＳ５に進む。
【００４２】
ステップＳ５では、時刻を示す数値パラメータｔに０をセットする。そして、ステップＳ６に進む。
【００４３】
ステップＳ６へ進む段階では、ユーザは、ＡＲ装置１０を紙面２０から離した位置に保持している。そして、ＡＲ装置１０内ではステップＳ６以降の処理が行われるが、これら処理が行われている最中に、ユーザは、ＡＲ装置１０を紙面２０に近づけていき、最終的には、紙面２０にＡＲ装置１０を接地させるという動作を行う。
【００４４】
ステップＳ６では、撮像部１５にて撮影を行う。撮影された画像はバス１８を介してＣＰＵ１１へ送られる。なお、この画像は、時刻ｔにおいて撮影された画像であるので、Ｉ（ｔ）とする。また、加速度センサ１６からのｚ軸方向の加速度の値を、バス１８を介して、ＣＰＵ１１へ送る。なお、この加速度の値は、時刻ｔの時の値であるので、ａ（ｔ）とする。そして、ステップＳ７に進む。
【００４５】
ステップＳ７では、ＣＰＵ１１により画像Ｉ（ｔ）が合焦した画像であるか判断する。具体的には、画像Ｉ（ｔ）の高周波数成分を調べ、所定の閾値以上であれば、合焦した画像であると判断する。上記閾値未満であれば、ボケた画像（合焦していない画像）と判断する。合焦した画像である場合には、ステップＳ８に進む。そうでなければ、ステップＳ１１（図７）に進む。
【００４６】
ステップＳ８では、メモリ１４内にある画像Ｉを、バス１８を介してＣＰＵ１１へ送る。そして、ＣＰＵ１１で、画像Ｉと画像Ｉ（ｔ）のマッチングを行い、画像Ｉと画像Ｉ（ｔ）の位置関係を求める。すなわち、式１を満たす３つの変数Ｓ、Ｘ（ｔ）、Ｙ（ｔ）を求める。
【００４７】
【数１】
2016023962.tif 000003
【００４８】
ここで、Ｉ（ｘ１，ｙ１）は、画像Ｉの位置（ｘ１，ｙ１）の画素値である。また、Ｉ（ｔ，ｘ，ｙ）は、画像Ｉ（ｔ）の位置（ｘ，ｙ）の画素値である。つまり、画像Ｉ（ｔ）を、式１で変形することにより、画像ＩとなるようなＳ、Ｘ（ｔ）、Ｙ（ｔ）を求める計算を行う。式１は、画像Ｉ（ｔ）をＳ倍だけ拡大／縮小して、さらに、ｘ軸方向にＸ（ｔ）だけ、ｙ軸方向にＹ（ｔ）だけ平行移動した画像が、画像Ｉとなることを意味している。この様子を図８に示す。図８の（ア）に画像Ｉを、（イ）に画像Ｉ（ｔ）を示す。図８の画像は、いずれも横Ｗ画素、縦Ｈ画素より成る。ユーザはＡＲ装置１０を紙面２０に近づけているので、画像Ｉに対して、画像Ｉ（ｔ）は拡大された画像となる。この拡大率がＳである。画像Ｉ（ｔ）の任意の位置（ｘ，ｙ）の投影像は、画像Ｉの位置（ｘ１，ｙ１）と同じ投影像である。なお、２枚の画像のマッチング（位置関係の計算）の手法は、特徴点によるマッチング手法など、既知の手法を使えば良いので、その詳細説明を省略する。
【００４９】
ステップＳ８の後、ステップＳ９に進む。
【００５０】
ステップＳ９では、撮影された画像Ｉ（ｔ）の中心（ｘ，ｙ）＝（０，０）が、画像Ｉに対して、どのような位置関係にあるかを、ＣＰＵ１１で求める。式１において、（ｘ，ｙ）＝（０，０）を代入すれば良いので、結果として、（Ｘ（ｔ），Ｙ（ｔ））となる。つまり、ステップＳ９では、直前のステップで求めたＳ、Ｘ（ｔ）、Ｙ（ｔ）のうち、Ｓのみを破棄して、Ｘ（ｔ）およびＹ（ｔ）を保持する。ステップＳ９の後、ステップＳ１０に進む。
【００５１】
ステップＳ１０では、単位時間（たとえば、１／３０秒）だけ待つ。そして、単位時間進んだので、ｔを１だけインクリメントする。ステップＳ１０の後、ステップＳ６に戻り、更新されたｔについての処理を行う。
【００５２】
ステップＳ６からステップＳ１０での処理を行っている最中は、ユーザはＡＲ装置１０を紙面２０に近づけている。したがって、しばらくすると、被写体に近づき過ぎて撮影される画像はボケた画像（合焦していない画像）しか撮影できなくなる。このような画像が撮影された時点で、ステップＳ１１に進む。
【００５３】
ステップＳ１１では、合焦した画像が撮影できなくなった時刻を記憶しておくために、数値パラメータｔ１に、現在のｔの値をセットする。そして、ステップＳ１２に進む。
【００５４】
ステップＳ１２では、加速度センサ１６のｚ軸方向の値が不連続になったかを検出する。不連続でなければ、ステップＳ１３に進み、不連続であれば、ステップＳ１５に進む。
【００５５】
ステップＳ１３では、単位時間（たとえば、１／３０秒）だけ待つ。そして、単位時間進んだので、ｔを１だけインクリメントする。そして、ステップＳ１４に進む。
【００５６】
ステップＳ１４では、加速度センサ１６からのｚ軸方向の加速度の値を、バス１８を介して、ＣＰＵ１１へ送る。なお、この加速度の値は、時刻ｔの時の値であるので、ａ（ｔ）とする。そして、ステップＳ１２に戻る。
【００５７】
ステップＳ１５に進むということは、加速度センサ１６のｚ軸方向の値が不連続を検知したということである。すなわち、ＡＲ装置１０が紙面２０に接触（接地）したことを意味する。ステップＳ１５では、ＡＲ装置１０が紙面２０に接触（接地）した時刻を記憶しておくために、数値パラメータｔ２に、現在のｔの値をセットする。そして、ステップＳ１６に進む。
【００５８】
ここまでの処理において計算されたデータについて、説明しておく。人３０が描かれている紙面２０を撮影した画像Ｉは、時刻ｔ＝０において撮影されている。時刻ｔ＝０からｔ＝ｔ１−１までに撮像部１５で撮影された各画像Ｉ（ｔ）の中心は、画像Ｉにおいては（Ｘ（ｔ），Ｙ（ｔ））に対応している。また、時刻ｔ＝０からｔ＝ｔ２までのそれぞれの時刻におけるｚ軸方向の加速度の値は、ａ（ｔ）である。
【００５９】
ステップＳ１６では、画像Ｉを撮影した時のＡＲ装置１０と紙面２０までの距離Ｌを求める。すなわち、ＣＰＵ１１にて、ｔ＝０から ｔ＝ｔ２まで ａ（ｔ）を２回積分し、その値をＬとする。画像Ｉを撮影した時刻がｔ＝０であり、ＡＲ装置１０が紙面２０と接触（接地）した時刻がｔ＝ｔ２であるから、この期間における加速度ａ（ｔ）を２回積分すれば、距離Ｌを求めることが出来る。
【００６０】
距離Ｌを求めることで、画像Ｉが撮影した被写体の大きさを知ることが出来る。つまり、紙面２０上のどの範囲を撮影したかを知ることが出来る。図９に示すように、画像Ｉを撮影した時刻における撮像部１５の位置は紙面２０から距離Ｌだけ離れている。そして、撮像部１５は、横方向（ｘ軸方向）にＡｈという画角で、縦方向（ｙ軸方向）にＡｖという画角で撮影を行っている。したがって、紙面２０において、横方向に２Ｌ×ｔａｎ（Ａｈ／２）という長さ、縦方向に２Ｌ×ｔａｎ（Ａｖ／２）という長さの矩形領域を撮影したことが分かる。
【００６１】
ステップＳ１６の後、ステップＳ１７に進む。
【００６２】
ステップＳ１７では、接触した時刻（すなわち、時刻ｔ＝ｔ２）における画像表示部１３の中心が画像 Ｉ に対してどのような位置関係であるか外挿する。外挿された位置を（Ｘ（ｔ２），Ｙ（ｔ２））とする。これは、ＣＰＵ１１にて、ｔ＝０からｔ＝ｔ１−１までの（Ｘ（ｔ），Ｙ（ｔ））の値を使って、外挿する。外挿には、各種手法が存在するが、たとえば、線形回帰モデルにより外挿すれば良い。すなわち、式２が最小となるＡ１とＢ１を求める。そして、Ｘ（ｔ２）＝Ａ１  ×  ｔ２  ＋  Ｂ１  とすればよい。この様子を図１０に示す。Ｙ（ｔ２）についても同様に求めればよい。
【００６３】
【数２】
2016023962.tif 000004
【００６４】
時刻ｔ＝ｔ１以降は、近接撮影のため、ピントが合わずに画像を取得していないが、もし画像を取得していたら、時刻ｔ＝ｔ２における画像の中心は、画像Ｉにおいては（Ｘ（ｔ２），Ｙ（ｔ２））に対応していると言える。
【００６５】
画像Ｉの中で位置（Ｘ（ｔ２），Ｙ（ｔ２））に対応する紙面２０上の位置をＰとする（図９参照）。すなわち、紙面２０上の位置Ｐの被写体の投影像は、画像Ｉにおいては、位置（Ｘ（ｔ２），Ｙ（ｔ２））である。時刻ｔ＝ｔ２において、もし、撮像部１５で撮影していたら、撮影画像の中心は、位置Ｐを撮影していたと推測される。時刻ｔ＝ｔ２において、ＡＲ装置１０は紙面２０に接地していることを加味すると、撮像部１５の位置は、紙面２０上の位置Ｐと一致する。この様子を図１１に示す。
【００６６】
ステップＳ１７の後、ステップＳ１８に進む。
【００６７】
ステップＳ１８では、画像Ｉ内の顔を変形させて動画Ｉａを作成する。具体的には、ＣＰＵ１１にて、前述のモーションポートレート株式会社の開発した技術を適用して処理すればよい。動画Ｉａは、画像Ｉと同様に、横Ｗ画素、縦Ｈ画素の画像群である。そして、ステップＳ１９に進む。
【００６８】
ステップＳ１９では、動画 Ｉａ から、位置（Ｘ（ｔ２），Ｙ（ｔ２））を中心とし、横ＷＣ画素、縦ＨＣ画素の矩形領域を切り出した動画Ｉｂを作成する（図１２参照）。ここで、ＷＣおよびＨＣは、式３で示す値である。
【００６９】
【数３】
2016023962.tif 000005
【００７０】
ステップＳ１９の後、ステップＳ２０に進む。
【００７１】
ステップＳ２０では、動画 Ｉｂ をＡＲ装置１０内の画像表示部１３にて表示（動画を再生）する。
【００７２】
ここで表示される画像（動画Ｉｂ）の大きさについて説明しておく。紙面２０において、画像Ｉの撮影範囲は、横方向に２Ｌ×ｔａｎ（Ａｈ／２）という長さ、縦方向に２Ｌ×ｔａｎ（Ａｖ／２）という長さである（前述）。また、画像表示部１３の大きさは、横ＷＤ、縦ＨＤである。動画Ｉａの大きさは、画像Ｉと同じで、横Ｗ、縦Ｈである。したがって、動画Ｉａから、式３で示す横ＷＣ、縦ＨＣの大きさを切り出して、画像表示部１３に表示すると、紙面２０上の大きさと同じ大きさとなる。
【００７３】
次に、表示される画像（動画Ｉｂ）の位置について説明しておく。動画Ｉｂの中心は、動画Ｉａ（すなわち画像Ｉ）において位置（Ｘ（ｔ２），Ｙ（ｔ２））である。画像Ｉ（すなわち、動画Ｉａ）の中で位置（Ｘ（ｔ２），Ｙ（ｔ２））に対応する紙面２０上の位置はＰである。画像表示部１３の中心と撮像部１５は同じ位置であるから、接地されているＡＲ装置１０の画像表示部１３の中心の位置は、紙面２０において位置Ｐである。したがって、動画Ｉｂの中心位置は、紙面２０上では、接地されている画像表示部１３の中心の位置と合致する。
【００７４】
上記動画Ｉｂの大きさと位置についての説明より明らかに、ユーザから見て、画像表示部１３に表示される動画は、ＡＲ装置１０の外側に見える実世界の風景（紙面２０に描かれた人３０の一部）と一体感のある画像を表示することになる。換言すれば、画像表示部１３は、あたかも透明なガラスであるかのように見せることができる。図１３には、ユーザから見た光景を示す。ユーザからは、図１３に示すように、ＡＲ装置１０が見える。ＡＲ装置１０内の画像表示部１３には、撮影された画像（より正確には、撮影された画像のうち、顔部分を変形させた動画）が見える。また、ＡＲ装置１０の外側には、実世界の風景が見える。すなわち、紙面２０が見える。さらに、紙面２０上に描かれた人３０の一部も見える。図１３において、紙面２０と、画像表示部１３内に表示される画像とは、一体感がある。これは、対象物体である人の大きさが同じであるからである。つまり、画像表示部１３内の人の大きさと、実世界の紙面２０上に描かれた人３０の大きさが同じであるからである。
【００７５】
ステップＳ２０の後、ステップＳ２１に進む。
【００７６】
ステップＳ２１では、加速度センサ１６のｚ軸方向の値を検知する。加速度の値が０であれば、ＡＲ装置１０は紙面２０に接地され続けていると判断できるので、ステップＳ２０に戻り、動画Ｉｂの再生を続ける。加速度の値が０でなければ、ユーザがＡＲ装置１０を紙面２０から離したと判断できるので、ステップＳ２２に進む。
【００７７】
ステップＳ２２では、ユーザがＡＲ装置１０を紙面２０から離したので、画像表示部１３での表示を終了して、ＡＲ動作を終了する。
【００７８】
以上で本発明の実施例の説明を終える。
【００７９】
上記実施例における重要な点を以下で述べる。
（重要な点１）ＡＲ装置１０の撮像部１５により撮影を行い、画像Ｉを得る。単に撮影しただけでは、画像Ｉの撮影範囲の大きさが不明である。そこで、画像Ｉを得た位置と、紙面２０との間をＡＲ装置１０を移動させることで、距離Ｌを求めている。この距離Ｌと、撮像部１５の画角（横方向Ａｈ、および、縦方向Ａｖ）とを用いることで、画像Ｉの撮影範囲の大きさ（横方向に２Ｌ×ｔａｎ（Ａｈ／２）という長さ、縦方向に２Ｌ×ｔａｎ（Ａｖ／２）という長さ）を求めている。このようにして、撮影範囲の大きさを求めることが出来る。
（重要な点２）さらに、画像表示部１３の大きさ（横ＷＤ、縦ＨＤ）と同じ大きさを、画像Ｉの撮影範囲の大きさ（横方向に２Ｌ×ｔａｎ（Ａｈ／２）という長さ、縦方向に２Ｌ×ｔａｎ（Ａｖ／２））のデータから切り出している。これにより、画像表示部１３での表示物体の大きさと、ＡＲ装置１００の外側に見える実世界の風景の大きさとが一致する。
（重要な点３）また、ＡＲ装置１０を接地した位置（前述の位置Ｐ）を求めることにより、画像Ｉから切り出す位置を決定している。これにより、画像表示部１３での表示物体の位置と、ＡＲ装置１００の外側に見える実世界の風景の位置とが一致する。
上記３つの重要な点のうち１つでも実行することで、従来にないメリットを得ることが出来る。そして、上記３つの重要な点をすべて実行することで、最大限のメリットを得ることが出来る。
【００８０】
本発明においては、紙面２０に対してＡＲ装置１０を接地して使用する。そのため、ユーザの目の位置にかかわらず、画像表示部１３には、紙面２０を撮影した画像Ｉの適切な領域を、紙面２０と同じ大きさで表示させることで、実際の風景（紙面２０）に対して一体感のある画像表示をさせることができる。すなわち、画像表示部１３は、あたかも透明なガラスであるかのように見せることができる。
【００８１】
画像表示部１３にて表示する領域は、紙面２０を撮影した画像Ｉの撮影範囲と、撮像部１５の紙面２０の接地位置Ｐと、画像表示部１３の大きさ（ＷＤおよびＨＤ）の少なくとも１つの情報を利用することで適切な領域とすることが出来る。
【００８２】
また、上記本発明の実施例においては、画像ＩおよびＩ（ｔ）より、位置（Ｘ（ｔ２），Ｙ（ｔ２））を求めていたが、時刻ｔ＝０からｔ＝ｔ２までの加速度センサのｘ軸方向とｙ軸方向の値を使って、求めても良い。
【００８３】
また、上記処理では誤差を生じることも考えられるので、接地後、ユーザが、動画Ｉａから切り出す大きさや位置を手動で微調整できるようにしても良い。
【００８４】
また、上記本発明の実施例は、顔を変形させた動画を表示させる例であったが、本発明は顔に限定するわけではない。たとえば、風景写真が掲載されている紙面を撮影して、その風景の色を徐々に赤色に変えていく動画を作成して動画Ｉａとしても良い。これにより、徐々に夕暮れになっていく動画を、ユーザは、見ることが出来る。
【００８５】
以上、本発明の実施形態を詳述してきたが、具体的な構成は本実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００８６】
さらに、本技術は、以下の構成とすることも可能である。
【００８７】
［１］
撮影位置に置いた撮像装置にて、対象物体を撮影して、撮影画像を得る撮影ステップと、
上記撮像装置を、上記撮影位置と上記対象物体との間を移動させることで、上記撮影位置と上記対象物体までの距離を計測する計測ステップと、
上記撮像装置の視野角と、上記距離とにより、上記対象物体の大きさを計算する計算ステップとを
有することを特徴とする被写体の大きさを測定する方法。
［２］
撮像部と画像表示部が一体となった装置を使用して、画像を表示する方法において、
撮影位置に置いた上記装置の上記撮像部にて、対象物体を撮影して、撮影画像を得る撮影ステップと、
上記撮影画像あるいは必要に応じて上記撮影画像を素材とした画像の一部を切り出す切り出しステップと、
上記切り出しステップで切り出された画像を、上記装置が上記対象物体に接地された時に上記画像表示部にて表示する表示ステップとを有し、
上記切り出しステップでは、上記対象物体の大きさと、上記装置が上記対象物体に接地された時の位置と、上記画像表示部の大きさの少なくとも１つの情報を利用して切り出す領域を決定すること
を特徴とする画像表示方法。
［３］
上記［２］において、
上記対象物体の大きさを確定するために、
さらに、
上記装置を、上記撮影位置と上記対象物体との間を移動させることで、上記撮影位置と上記対象物体までの距離を計測する計測ステップと、
上記撮像部の視野角と、上記距離とにより、上記対象物体の大きさを計算する計算ステップとを
設けたことを特徴とする画像表示方法。
［４］
撮影位置に置いた撮像部にて、対象物体を撮影して、撮影画像を得る撮影画像取得部と、
上記撮像部を、上記撮影位置と上記対象物体との間を移動させることで、上記撮影位置と上記対象物体までの距離を計測する計測処理部と、
上記撮像部の視野角と、上記距離とにより、上記対象物体の大きさを計算する計算処理部とを
有することを特徴とする被写体の大きさを測定する装置。
［５］
撮像部と画像表示部が一体となった装置において、
撮影位置に置いた上記装置の上記撮像部にて、対象物体を撮影して、撮影画像を得る撮影画像取得部と、
上記撮影画像あるいは必要に応じて上記撮影画像を素材とした画像の一部を切り出す切り出し処理部と、
上記切り出し処理部で切り出された画像を、上記装置が上記対象物体に接地された時に上記画像表示部にて表示する処理を行う画像表示制御部とを有し、
上記切り出し処理部では、上記対象物体の大きさと、上記装置が上記対象物体に接地された時の位置と、上記画像表示部の大きさの少なくとも１つの情報を利用して切り出す領域を決定すること
を特徴とする画像を表示する装置。
［６］
上記［５］において、
上記対象物体の大きさを確定するために、
さらに、
上記撮像部を、上記撮影位置と上記対象物体との間を移動させることで、上記撮影位置と上記対象物体までの距離を計測する計測処理部と、
上記撮像部の視野角と、上記距離とにより、上記対象物体の大きさを計算する計算処理部とを
設けたことを特徴とする画像を表示する装置。
［７］
撮影位置に置いた撮像装置にて、対象物体を撮影して、撮影画像を得る撮影ステップと、
上記撮像装置を、上記撮影位置と上記対象物体との間を移動させることで、上記撮影位置と上記対象物体までの距離を計測する計測ステップと、
上記撮像装置の視野角と、上記距離とにより、上記対象物体の大きさを計算する計算ステップとを
有することを特徴とする被写体の大きさを測定するためのコンピュータに実行させるプログラム。
［８］
撮像部と画像表示部が一体となった装置を使用して、画像を表示するプログラムにおいて、
撮影位置に置いた上記装置の上記撮像部にて、対象物体を撮影して、撮影画像を得る撮影ステップと、
上記撮影画像あるいは必要に応じて上記撮影画像を素材とした画像の一部を切り出す切り出しステップと、
上記切り出しステップで切り出された画像を、上記装置が上記対象物体に接地された時に上記画像表示部にて表示する表示ステップとを有し、
上記切り出しステップでは、上記対象物体の大きさと、上記装置が上記対象物体に接地された時の位置と、上記画像表示部の大きさの少なくとも１つの情報を利用して切り出す領域を決定すること
を特徴とする画像を表示するためのコンピュータに実行させるプログラム。
［９］
上記［８］において、
上記対象物体の大きさを確定するために、
さらに、
上記装置を、上記撮影位置と上記対象物体との間を移動させることで、上記撮影位置と上記対象物体までの距離を計測する計測ステップと、
上記撮像部の視野角と、上記距離とにより、上記対象物体の大きさを計算する計算ステップとを
設けたことを特徴とする画像を表示するためのコンピュータに実行させるプログラム。
【符号の説明】
【００８８】
１０…画像表示装置（ＡＲ装置）
１１…中央演算処理部
１２…操作部
１３…画像表示部
１４…メモリ
１５…撮像部
１６…加速度センサ
１７…ネットワークインターフェース部
１８…バス
２０…紙面
３０…紙面に描かれた人
４０…ユーザの目
５０…画像表示装置（ＡＲ装置）を動かす方向
１００…従来の画像表示装置（従来のＡＲ装置）
１１０…画像表示部
１２０…撮像部
【図１】
2016023962.tif 000006
【図２】
2016023962.tif 000007
【図３】
2016023962.tif 000008
【図４】
2016023962.tif 000009
【図５】
2016023962.tif 000010
【図６】
2016023962.tif 000011
【図７】
2016023962.tif 000012
【図８】
2016023962.tif 000013
【図９】
2016023962.tif 000014
【図１０】
2016023962.tif 000015
【図１１】
2016023962.tif 000016
【図１２】
2016023962.tif 000017
【図１３】
2016023962.tif 000018