(57)【要約】【課題】撮影者の水平方向目線よりも高い障害物の向こう側に存在する被写体を撮影する場合に、変形した画像を視認してしまって、画像の正確な位置決定ができなくなることを防止することできる携帯端末装置、撮影方法、及びコンピュータプログラムを提供すること。【解決手段】図４に示すような、被写体方向３０４と画像確認角度３０３とが一致しない場合を、加速度センサを用いて認識し、被写体方向３０４と画像確認角度３０３とが一致しない場合であることが認識された場合は、ＣＰＵが、画像確認角度３０３に応じて、図８に示すように撮影画像を変形させる。その結果、撮影者３０２から見た画像は、図７に示すように、正確に被写体を捉えたものとなるので、撮影者３０２は、該画像を、正面から見ているようなイメージで確認することが可能になる。また、シャッターが押下された時には、被写体の形状に忠実な画像を取得することができる。【選択図】図４
2014003575.tif 000002
【特許請求の範囲】
【請求項１】
撮影者が第１の指令を発令した時点以降、被写体を撮影して撮影画像データに変換する撮影手段と、
前記第１の指令が発令されたタイミングで、本装置の位置を基準位置として設定する初期化手段と、
前記基準位置からの本装置の移動状況を認識する移動状況認識手段と、
前記移動状況に応じて前記撮影画像データを変形し、変形画像データを得る画像変形手段と、
前記変形画像データを表示装置に表示する表示手段と、
撮影者が第２の指令を発令したタイミングで、前記撮影画像データを取得する画像取得手段と
を備える携帯端末装置。
【請求項２】
前記移動状況認識手段が認識する移動状況は、本装置の移動方向及び移動距離である
請求項１に記載の携帯端末装置。
【請求項３】
前記移動方向及び移動距離は、加速度センサによって算出されるものである
請求項２に記載の携帯端末装置。
【請求項４】
前記移動方向及び移動距離は、コンピュータで実行される画像認識プログラムによって認識されるものである
請求項２に記載の携帯端末装置。
【請求項５】
撮影者の目線を捉えることができる追加の手段を備え、前記移動方向及び移動距離は、該追加の手段が捉えた撮影者の目線に基づいて把握されるものである
請求項２に記載の携帯端末装置。
【請求項６】
前記画像取得手段は、前記撮影画像データを、前記撮影者が前記第２の指令を指示した前記タイミングで、メモリに記憶させる
請求項１に記載の携帯端末装置。
【請求項７】
撮影者が第１の指令を発令した時点以降、被写体を撮影して撮影画像データに変換する撮影ステップと、
前記第１の指令が発令されたタイミングで、本装置の位置を基準位置として設定する初期化ステップと、
前記基準位置からの本装置の移動状況を認識する移動状況認識ステップと、
前記移動状況に応じて前記撮影画像データを変形し、変形画像データを得る画像変形ステップと、
前記変形画像データを表示装置に表示する表示ステップと、
撮影者が第２の指令を発令したタイミングで、前記撮影画像データを取得する画像取得ステップと
を備える撮影方法。
【請求項８】
撮影者が第１の指令を発令した時点以降、被写体を撮影して撮影画像データに変換する撮影ステップと、
前記第１の指令が発令されたタイミングで、本装置の位置を基準位置として設定する初期化ステップと、
前記基準位置からの本装置の移動状況を認識する移動状況認識ステップと、
前記移動状況に応じて前記撮影画像データを変形し、変形画像データを得る画像変形ステップと、
前記変形画像データを表示装置に表示する表示ステップと、
撮影者が第２の指令を発令したタイミングで、前記撮影画像データを取得する画像取得ステップと
をコンピュータに実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は携帯端末装置、撮影方法、及びコンピュータプログラムに係る。特に、付属のカメラで撮影者の水平方向目線の高さ以上の障害物の向こう側に有る被写体を撮影する際に、被写体を正確に画像枠の中央に捉えているか否かを確認することができる携帯端末装置、撮影方法、及びコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、携帯端末装置には、カメラを本体に付属させたカメラ付きの携帯端末装置が普及している。ところが、装置を設計する立場から見ると、このようなカメラ付きの携帯端末装置は、装置の一体化及び小型化が進んでおり、よって、装置にはカメラの撮影角度を変えるような複雑な構造を持たせることが困難になっている。また、撮影者の水平方向目線よりも高い位置に存在する障害物の向こう側の風景等を撮影する場合、撮影者は、携帯端末装置を上方に移動させ、且つ、カメラの向きを被写体方向に向ける操作が必要となる。しかし、このような操作を行った後で、撮影者が撮影画面を見ると、撮影画像は台形に変形して見えてしまう。よって、このような場合において、撮影者は、ターゲットとする被写体を、画面の中央に捉えているか否かを判断することが困難であるといった問題点が生じていた。
【０００３】
なお、この分野の公知例技術として、例えば、特許文献１には、パースペクティブ歪をプロセッサにより補償するディジタルカメラを開示している。具体的には、被写体を下から見上げて撮影したために画像にパースペクティブ歪が現れた場合には、位置によって変動する倍率でこの歪を持つ画像をプロセス処理により拡大することによって、パースペクティブ歪を除去した画像を得る、ものとしている。
【０００４】
また、例えば、特許文献２には、振動による画面の振れを、上下左右については表示位置で、前後については表示倍率で補正する画像表示装置を開示している。具体的には、画像表示装置にはカメラが設けられ、使用者の顔までの距離を測定するＡＦ機能を備えている。ＡＦ機構によって測定された使用者の顔までの距離データと、内蔵された加速度センサによって検出された携帯端末装置の上下左右および前後への移動量がＣＰＵに伝えられる。ＣＰＵでは顔までの距離を初期値として、加速度センサで検出された前後方向（遠近）の移動に伴う表示画像の目視サイズ変動を補正するための、表示画像の拡大縮小量が算出される。また、加速度センサによって検出された携帯端末装置の上下左右への移動量から、画面の上下左右への振れを補正するための、画面の表示領域のシフト方向およびシフト量が算出される、ものとしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４２３３７９７号公報
【特許文献２】特開２００４−１２８７１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述の特許文献１に記載の装置のような、パースペクティブ歪をプロセッサにより補償するディジタルカメラは、被写体を下から見上げて撮影したために画像に現れるパースペクティブ歪を除去するための有効な手段である。しかしながら、このような手段は、必ずしも位置によって変動する倍率でもって該歪を持つ画像をプロセス処理により拡大することに限定されるものではない。
【０００７】
また、前述の特許文献２に記載の装置のような、振動による画面の振れを、上下左右については表示位置で、前後については表示倍率で補正する画像表示装置は、振動による画面の振れを補正するための有効な手段である。しかしながら、表示画面に現れる歪みは、必ずしも振動によるものとは限らない。
【０００８】
ところで、前述のとおり、近年の携帯端末装置は、一体化及び小型化が進んだ結果、カメラの撮影角度を変えるような複雑な構造を持たせることが困難になっている。また、撮影者の水平方向目線よりも高い障害物の向こう側に存在する被写体（人物、風景等）を撮影する場合、携帯端末装置を上方に移動させ、且つ、カメラの向きを被写体方向に向ける。そのため、撮影者が撮影画面を見ると、台形に変形して見えてしまうといった問題点が生じている。勿論、このような問題点は、前述の特許文献１及び２に開示の技術によっても解消されるものではない。
【０００９】
本発明の目的は、上述した課題を解決する携帯端末装置、撮影方法、及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明に係る携帯端末装置は、撮影者が第１の指令を発令した時点以降、被写体を撮影して撮影画像データに変換する撮影手段と、前記第１の指令が発令されたタイミングで、本装置の位置を基準位置として設定する初期化手段と、前記基準位置からの本装置の移動状況を認識する移動状況認識手段と、前記移動状況に応じて前記撮影画像データを変形し、変形画像データを得る画像変形手段と、前記変形画像データを表示装置に表示する表示手段と、撮影者が第２の指令を発令したタイミングで、前記撮影画像データを取得する画像取得手段とを備える。
【００１１】
また、本発明に係る撮影方法は、撮影者が第１の指令を発令した時点以降、被写体を撮影して撮影画像データに変換する撮影ステップと、前記第１の指令が発令されたタイミングで、本装置の位置を基準位置として設定する初期化ステップと、前記基準位置からの本装置の移動状況を認識する移動状況認識ステップと、前記移動状況に応じて前記撮影画像データを変形し、変形画像データを得る画像変形ステップと、前記変形画像データを表示装置に表示する表示ステップと、撮影者が第２の指令を発令したタイミングで、前記撮影画像データを取得する画像取得ステップとを備える。
【００１２】
さらに、本発明に係るコンピュータプログラムは、撮影者が第１の指令を発令した時点以降、被写体を撮影して撮影画像データに変換する撮影ステップと、前記第１の指令が発令されたタイミングで、本装置の位置を基準位置として設定する初期化ステップと、前記基準位置からの本装置の移動状況を認識する移動状況認識ステップと、前記移動状況に応じて前記撮影画像データを変形し、変形画像データを得る画像変形ステップと、前記変形画像データを表示装置に表示する表示ステップと、撮影者が第２の指令を発令したタイミングで、前記撮影画像データを取得する画像取得ステップとをコンピュータに実行させる。
【発明の効果】
【００１３】
以上の説明から明らかなように、この発明によれば、障害物の向こう側を撮影する場合、表示部を斜めから見ることより、表示画像が潰れたように変形して、被写体を正確に中央に捉えているかを確認することが困難になるといった問題点を解消することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る携帯端末装置のブロック構成を示す構成図である。
【図２】本発明の実施形態に係る携帯端末装置の外観を示す外観図である。
【図３】被写体方向に障害物が存在しない場合の撮影を行う方法を示す説明図である。
【図４】被写体方向に障害物が存在する場合の撮影を行う方法を示す説明図である。
【図５】被写体方向に障害物が存在しない場合の撮影画像の一例を示す説明図である。
【図６】被写体方向に障害物が存在する場合に、従前のカメラ機能付き携帯端末装置を用いて撮影した撮影画像の一例を示す説明図である。
【図７】被写体方向に障害物が存在する場合に、本発明の実施形態に係る携帯端末装置を用いて撮影した撮影画像の一例を示す説明図である。
【図８】被写体方向に障害物が存在する場合に、本発明の実施形態に係る携帯端末装置を用いて撮影した撮影画像の、正面から見たイメージを一例として示す説明図である。
【図９】本発明の実施形態に係る携帯端末装置の撮影時の処理手順を示すフローチャート図である。
【発明を実施するための形態】
【００１５】
本発明は、カメラ機能付き携帯端末装置において、撮影者の水平方向目線の高さ以上の障害物の向こう側を撮影しようとした場合に適用できるものである。即ち、このような場合、一般的な従前のカメラ機能付き携帯端末装置では、撮影画像が変形して見えてしまうので、撮影者は、そのイメージを確認することが困難であった。また、その結果として、画像の正確な位置決定ができなくなるといった問題点が生じていた。そこで、本発明の携帯端末装置では、撮影画像を予め変形させることにより、撮影者から見た画像が、正常（即ち、被写体に忠実な形状）に見えるようにする。これにより、被写体の形状に忠実な画像を取得できるようにすると共に、被写体を捉えたイメージを撮影者に分かり易く表示することで、撮影者の撮影作業を容易にすることができる。
【００１６】
以下、本発明の携帯端末装置、撮影方法、及びコンピュータプログラムの実施形態について、図面を参照して詳細に説明する。図１は、本発明の実施形態に係る携帯端末装置のブロック構成を示す構成図である。同図に示本実施形態の携帯端末装置は、ＣＰＵ１、カメラ部１０４、加速度センサ３、表示部１０３、メモリ５、及びキー入力部６を具備する。この他に、携帯電話網やインターネット網を介して他の情報処理機器との通信を可能にする通信部を備えることができる。
【００１７】
図１に示す携帯端末装置において、ＣＰＵ１は、ストアードプログラミング方式に準拠した制御方法で本装置全体を制御する。カメラ部１０４は、被写体を撮影して撮影画像データに変換し、該変換した撮影画像データをＣＰＵ１に出力する。加速度センサ３は、本装置に加えられる加速度を検出し、本装置がどのように移動したかを認識する。表示部１０３は、撮影画像データや、撮影者に対する指示やデータを表示する。メモリ５は、ＣＰＵ１に実行させるためのプログラムを記憶すると共に画像処理を含む各種アプリケーションの実行に必要なデータを記憶する。キー入力部６は、本装置の起動指令及び操作指令を入力すると共に画像の取得を指示するために必要なデータや指令を入力する。図１に示す携帯端末装置は、具体的には、ディジタルカメラ、携帯電話装置、携帯情報処理装置、及びゲーム機器であっても良い。
【００１８】
図２は、本発明の実施形態に係る携帯端末装置の外観を示す外観図である。同図に示すように、表示部１０３は、表示面１０１に付属する部分である。カメラ部１０４は、カメラ実装面１０２に付属する部分である。
【００１９】
図３は、被写体方向に障害物が存在しない場合の撮影を行う方法を示す説明図である。図４は、被写体方向に障害物が存在する場合の撮影を行う方法を示す説明図である。図５は、被写体方向に障害物が存在しない場合の撮影画像の一例を示す説明図である。図６は、被写体方向に障害物が存在する場合に、従前のカメラ機能付き携帯端末装置を用いて撮影した撮影画像の一例を示す説明図である。図７は、被写体方向に障害物が存在する場合に、本発明の実施形態に係る携帯端末装置を用いて撮影した撮影画像の一例を示す説明図である。以下、図１〜図７を参照して、本実施形態のカメラ機能付き携帯端末装置の機能を説明する。
【００２０】
まず、図３に示すように、本発明の実施形態に係るカメラ機能付き携帯端末装置２０１を用いて、被写体方向２０４に障害物が存在しない場合の撮影を行う場合、被写体方向２０４と画像確認角度２０３とが一直線に並ぶ。この場合は、カメラ機能付き携帯端末装置２０１の表示部１０３には、図５に示すような画像が見えるので、被写体を捉えたイメージを認識することは容易である。なお、このような状況は一般的な従前の装置にあっても同様である。
【００２１】
次に、図４に示すように、撮影者３０２の前方に障害物３０５が存在する場合において障害物３０５の向こう側の被写体を撮影する場合、このままでは、表示部１０３に出力される画像は、図６に示すように、潰れたイメージ（変形画像）になってしまう。したがって、撮影者３０２は、被写体を正確なイメージで認識することが困難になる。そこで、本実施形態に係る携帯端末装置では、図８に示すように、ＣＰＵ１において画像処理プログラム（図示は省略）を実行することにより、撮影画像データを予め変形させる。これにより、撮影者３０２から見た画面が、図７に示すように見えるので、被写体を捉えたイメージが分かり易くなり、かつ撮影者３０２の撮影作業をも容易にすることができる。
【００２２】
図８は、被写体方向に障害物が存在する場合に、カメラ機能付き携帯端末装置３０１（本発明の実施形態に係る携帯端末装置）を用いて撮影した撮影画像の、正面から見たイメージを一例として示す説明図である。本発明の実施形態に係る携帯端末装置では、撮影者３０２の前方に障害物３０５が存在する場合において、障害物３０５の向こう側の被写体を撮影する場合には、上述のとおり、撮影画像を、図８に示すように予め変形させるものとする。
【００２３】
このような処理を実現するために、本発明の実施形態に係る携帯端末装置は、図１に示す加速度センサ３を用いて、図４に示すような、被写体方向３０４と画像確認角度３０３とが一致しない場合を認識する。そして、被写体方向３０４と画像確認角度３０３とが一致しない場合であることが認識された場合は、前述のとおり、ＣＰＵ１における画像処理プログラムが、画像確認角度３０３に応じて、図８に示すように撮影画像を変形させる。その結果、撮影者３０２から見た画像は、図７に示すように、正確な画像位置で忠実に被写体を捉えたものとなるので、撮影者３０２は、該画像を、正面から見ているようなイメージで確認することが可能になる。また、シャッターが押下された時には、被写体の形状に忠実な画像を取得することができる。
【００２４】
なお、一般的な従前の装置にあっては、撮影者３０２の前方に障害物３０５が存在する場合は、障害物３０５の向こう側の被写体を撮影しようとした場合に問題が生じる。即ち、この場合は、被写体方向３０４と画像確認角度３０３とが好適に一致しなくなる。そのため、一般的な従前の装置の場合、表示部１０３に出力される画像は、図６に示すように潰れたイメージ（変形画像）になってしまって、被写体を正確なイメージで認識することが困難になる。
【００２５】
以下、本発明の実施形態に係る携帯端末装置の動作を１使用例に基づいて説明する。但し、撮影に使用するカメラ機能付き携帯端末装置３０１（本発明の実施形態に係る携帯端末装置）は、図３に示すような位置でカメラ機能を起動した場合、図３に示す画像確認角度２０３が０度として、図５に示すような画像を表示できるものとする。また、ここでは、図４に示すように障害物３０５の向こう側を撮影する場合とする。この場合、図４に示すように、撮影者３０２がカメラ機能付き携帯端末装置３０１を上方に移動させると、加速度センサ３（図１）が反応する。また、その反応に対応した本装置の移動量（移動距離）及び移動方向を出力する。
【００２６】
次に、ＣＰＵ１（図１）が、画像確認角度３０３を算出し、該算出した画像確認角度３０３に応じて、撮影画像を図８に示すように変形させ、該変形画像を表示部１０３に表示する。その結果、図４に示す撮影者３０２には、図７に示すように、正面で捉えた場合と同様な、正確な比率の画像を視認させることが可能となる。なお、ここでは、カメラ機能付き携帯端末装置３０１を上方に移動させた場合を示した。これに対して、障害物の状況次第で、左右方向を含む他の任意の方向に、カメラ機能付き携帯端末装置３０１を移動させることが可能であり、この場合にも本発明の実施形態に係る携帯端末装置は、上記と同様の動作を行うものとする。
【００２７】
図９は、本発明の実施形態に係る携帯端末装置の撮影時の処理手順を示すフローチャート図である。以下、図１〜８を参照しながら、図９に示すフローチャートを用いて、本実施形態に係る携帯端末装置の撮影時の動作を説明する。ここでは、図２に外観を示すカメラ機能付き携帯端末機器において、まず、ステップＳ１では、図３に示すように、撮影者２０２が、図３に示す状態でカメラ機能をＯＮにし（第１の指令の発令）、これにより、カメラ部１０４が起動する。また、ステップＳ２では、ＣＰＵ１が、このタイミングでの本装置の位置を基本位置として初期設定を行う。具体的には、画像認識角度０度で変形無しの正面画像を設定する。
【００２８】
次に、ステップＳ３では、撮影者２０２が、表示機能をＯＮにし、これにより、ＣＰＵ１が、表示部１０３を起動させる。この時点では、図５に示すような変形無し画像が表示される。その後、ステップＳ４では、加速度センサ３が、本装置の上下方向への移動を検出する。加速度センサ３が、本装置の上下方向への移動を検出した場合、ステップＳ５に続く。また、加速度センサ３が、本装置の上下方向への移動を検出しなかった場合、ステップＳ７に移る。この時、現在の表示画像は、図５に示すような変形無し画像のままである。
【００２９】
ステップＳ５では、ＣＰＵ１が、本装置の移動量（移動距離）及び移動方向に応じて図４に示すような画像確認角度３０３を算出する。また、継続するステップＳ６では、ＣＰＵ１が、上記の算出結果に基づいて、図示しない画像処理部を介して表示画像の変形を行い、これを現在の表示画像として、処理の流れをステップＳ７に引き継ぐ。
【００３０】
ステップＳ７では、ＣＰＵ１が、現在の表示画像を表示部１０３の表示画面に出力する。この時、ステップＳ５から処理の流れを引き継いだ場合は、図８に示すような画像が表示される。この場合は、本装置は上下方向へ移動している場合であるため、図３に示す撮影者２０２は、図４に示す撮影者３０２（図３に示す撮影者２０２と同一人物）のように、図４に示すような画像確認角度３０３で表示画像を視認することができる。このため撮影者３０２（図３に示す撮影者２０２と同一人物）には、該表示画像は図７に示すように見えるので、撮影者３０２（即ち撮影者２０２）は、被写体を捉えた画像を正面から見た正確なイメージで見ることができる。
【００３１】
よって、この時点で、撮影者３０２が、シャッター等を押せば、図４に示す被写体方向３０４の方向に存在する被写体を、被写体方向３０４が示す角度と方向でもって正確に捉えた画像を取り込むことができる。その後、ステップＳ８では、ＣＰＵ１が、撮影が終了したか否かを検証し、撮影が終了した場合はステップＳ９に進む。また、撮影が終了していない場合はステップＳ４に戻る。ステップＳ９では、撮影者３０２が、表示機能をＯＦＦにし、これにより、ＣＰＵ１が、表示部１０３を停止させる。
【００３２】
引き続くステップＳ１０では、撮影者３０２が、カメラ機能を停止させ、これにより、カメラ部１０４が停止する。これにより、撮影時の処理が終了する。
【００３３】
本実施形態に係る携帯端末装置によれば、障害物の向こう側を撮影する場合、表示部を斜めから見ることより、表示部１０３の表示画像が潰れたように変形し、被写体を正確に中央に捉えているかを確認することが困難になるという問題を解消することができる。即ち、この実施形態に係る携帯端末装置では、予め表示画面を変形させて表示部１０３に表示する。このようにして、撮影者３０２は、被写体を中央に捉えていることの確認が容易になるので、正確な形状の被写体を撮影画像として取得する（より具体的には、メモリ５に記憶させる）ことが可能となる。
【００３４】
前述の実施形態では、図１に示す加速度センサ３を用いて、撮影に使用される携帯端末装置の移動状況（移動方向及び移動距離）を検出した。これに対して、ＣＰＵ１で実行される画像認識プログラム（図示は省略）が、撮影結果として捉えた画像データの変化から、カメラの位置が上方に移動したことを検出し、その移動状況（移動方向及び移動距離）に応じて表示画像を変形させることも可能である。
【００３５】
また、図２に示す表示面１０１側にもカメラを備え、魚眼レンズ等で撮影者３０２の目線方向を捉えることにより、その目線方向に合わせてカメラの位置が上方に移動したことを検出し、その移動量に応じて表示画像を変形させることも可能である。さらに、撮影者３０２（図４）によるキー操作により、強制的に表示画像を変形させることも可能である。
【００３６】
なお、本発明に係る携帯端末装置の各構成要素の処理の少なくとも一部をコンピュータ制御により実行するものとする。かつ、上記処理を、図９のフローチャートで示した手順によりコンピュータに実行せしめるプログラムは、半導体メモリを始め、ＣＤ−ＲＯＭや磁気テープなどのコンピュータ読み取り可能な記録媒体に格納して配付してもよい。そして、少なくともマイクロコンピュータ、パーソナルコンピュータ、汎用コンピュータを範疇に含むコンピュータが、上記の記録媒体から上記プログラムを読み出して、実行するものとしてもよい。
【符号の説明】
【００３７】
１  ＣＰＵ
３  加速度センサ
５  メモリ
６  キー入力部
１０１  表示面
１０２  カメラ実装面
１０３  表示部
１０４  カメラ部
２０２  撮影者
３０２  撮影者
２０３  画像確認角度
３０３  画像確認角度
２０４  被写体方向
３０４  被写体方向
【図１】
2014003575.tif 000003
【図２】
2014003575.tif 000004
【図３】
2014003575.tif 000005
【図４】
2014003575.tif 000006
【図５】
2014003575.tif 000007
【図６】
2014003575.tif 000008
【図７】
2014003575.tif 000009
【図８】
2014003575.tif 000010
【図９】
2014003575.tif 000011