(57)【要約】【課題】最適な静止画撮影を容易にするユーザ補助機能を提供することを目的とする。【解決手段】水平面の第１の軸を中心とした情報処理装置の角度を取得する第１の取得手段と、第１の取得手段により取得された角度の変化に応じて対象物の撮影を補助する補助オブジェクトの形状を変更し、変更した補助オブジェクトを対象物と共に画像表示装置に表示する表示手段と、を有することによって課題を解決する。【選択図】図８
2016143967.tif 000002
【特許請求の範囲】
【請求項１】
水平面の第１の軸を中心とした情報処理装置の角度を取得する第１の取得手段と、
前記第１の取得手段により取得された角度の変化に応じて対象物の撮影を補助する補助オブジェクトの形状を変更し、変更した前記補助オブジェクトを前記対象物と共に画像表示装置に表示する表示手段と、
を有する情報処理装置。
【請求項２】
水平面の第２の軸を中心とした情報処理装置の角度を取得する第２の取得手段を更に有し、
前記表示手段は、前記第２の取得手段により取得された角度の変化に対しては前記補助オブジェクトの形状を変更せず、前記画像表示装置に表示する請求項１記載の情報処理装置。
【請求項３】
前記表示手段は、前記第１の取得手段により取得された角度に応じて前記補助オブジェクトの表示する角度を変更し、前記画像表示装置に表示する請求項１又は２記載の情報処理装置。
【請求項４】
前記表示手段は、前記対象物を囲う四角形の底辺の上底又は下底を削除した形状の補助オブジェクトを前記対象物と共に画像表示装置に表示する請求項１乃至３何れか１項記載の情報処理装置。
【請求項５】
前記表示手段は、前記対象物を囲う四角形の底辺の上底と下底とを削除した形状の補助オブジェクトを前記対象物と共に画像表示装置に表示する請求項１乃至３何れか１項記載の情報処理装置。
【請求項６】
前記表示手段は、前記第１の取得手段により取得された角度が閾値より大きい場合、前記補助オブジェクトを非表示とする請求項１乃至５何れか１項記載の情報処理装置。
【請求項７】
前記表示手段は、ユーザ操作に応じて、前記補助オブジェクトの表示と非表示とを切り替える請求項１乃至６何れか１項記載の情報処理装置。
【請求項８】
鉛直方向の第３の軸を中心とした情報処理装置の角度を取得する第３の取得手段を更に有し、
前記表示手段は、前記第３の取得手段により取得された角度に応じて前記補助オブジェクトの表示方向を変更する請求項１乃至７何れか１項記載の情報処理装置。
【請求項９】
対象物の矩形候補を決定する決定手段と、
前記決定手段により決定された矩形候補を表示する表示手段と、
を更に有する請求項１乃至８何れか１項記載の情報処理装置。
【請求項１０】
情報処理装置が実行する情報処理方法であって、
水平面の第１の軸を中心とした情報処理装置の角度を取得する第１の取得ステップと、
前記第１の取得ステップにより取得された角度の変化に応じて対象物の撮影を補助する補助オブジェクトの形状を変更し、変更した前記補助オブジェクトを前記対象物と共に画像表示装置に表示する表示ステップと、
を含む情報処理方法。
【請求項１１】
コンピュータに、
水平面の第１の軸を中心とした情報処理装置の角度を取得する第１の取得ステップと、
前記第１の取得ステップにより取得された角度の変化に応じて対象物の撮影を補助する補助オブジェクトの形状を変更し、変更した前記補助オブジェクトを前記対象物と共に画像表示装置に表示する表示ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、モバイル端末（携帯電話やスマートフォン、タブレット等）にカメラの機能が組み込まれ、その機能を活かしたアプリケーションが多く作成されている。このようなアプリケーションには、書類をカメラで撮影して、ドキュメント画像に変換して保存する機能や、ＯＣＲ技術を使って文字の抽出を行う機能を有するものがある。この場合は、書類を出来るだけ大きく撮影することが望ましく、それを補助するユーザ補助機能が重要になってくる。
特許文献１には、静止画像の撮影時に、装置の傾きを検出し、検出した傾きを示す情報を、撮影画面に重ねて表示することにより、ユーザが傾きを意識しながら傾きを適正に補正し、意図した角度の撮像結果を得ることを可能とする撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−６７０５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような撮像装置においては、ユーザが撮影時の装置の角度を確認することや意図した角度に静止画を撮影することはできる。しかしながら、そうした場合でも撮影する対象物の大きさや位置等は意識しづらく、特定の画像処理を行うには不十分な大きさの静止画像を撮影してしまうという難点がある。
特に書類等を撮影し、その静止画像に画像処理を行う場合や、ＯＣＲをかけて文字を抽出すると言った、高精度の画像が必要な場合には、可能な限り大きく撮影する必要がある。しかし大きく撮影しようとするあまり、画面からはみ出て撮影をしてしまう可能性が高くなってしまうという難点がある。
また、固定のガイドを表示することで撮影をやりやすくしているアプリケーション等が存在するが、固定のガイドでは、撮像装置を傾けた場合に実際の画像とガイドの位置が乖離することで逆に撮影に支障をきたすといった問題がある。
本発明は、最適な静止画撮影を容易にするユーザ補助機能を提供することを目的とする。
【課題を解決するための手段】
【０００５】
そこで、本発明の情報処理装置は、水平面の第１の軸を中心とした情報処理装置の角度を取得する第１の取得手段と、前記第１の取得手段により取得された角度の変化に応じて対象物の撮影を補助する補助オブジェクトの形状を変更し、変更した前記補助オブジェクトを前記対象物と共に画像表示装置に表示する表示手段と、を有する。
【発明の効果】
【０００６】
本発明によれば、最適な静止画撮影を容易にするユーザ補助機能を提供することができる。
【図面の簡単な説明】
【０００７】
【図１】携帯端末のハードウェア構成の一例を示す図である。
【図２】携帯端末のソフトウェア構成の一例を示す図である。
【図３】携帯端末の傾きを表す軸を示す図である。
【図４】Ｘ軸を軸とした携帯端末の傾きとそのときのガイド表示とを示す図である。
【図５】Ｙ軸を軸とした携帯端末の傾きとそのときのガイド表示とを示す図である。
【図６】ガイド非表示の画面を示す図である。
【図７】Ｚ軸を軸に横向きにしたときのガイド表示を示す図である。
【図８】ガイド表示の情報処理の一例を示すフローチャートである。
【図９】操作パネルに表示する矩形検出の候補線の優先度を示す図である。
【図１０】矩形検出の情報処理の一例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について図面に基づいて説明する。
【０００９】
（実施形態１）
まず図１を用いて、携帯端末１００のハードウェア構成を説明する。なお、本実施形態の携帯端末１００はスマートフォンやタブレットＰＣ等の装置を想定しているが、静止画撮影を実行可能な情報処理装置であれば他の装置であってもよい。
ＣＰＵ１０６は、ＲＯＭ１０７が記憶している制御プログラムを読み出して、携帯端末１００の動作を制御するための様々な処理を実行する。ＲＯＭ１０７は、制御プログラムを記憶している。ＲＡＭ１０８は、ＣＰＵ１０６の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ１０９は、写真や電子文書等の様々なデータを記憶する。また、後述するＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）１２０や画像処理アプリケーション２００のプログラムもＨＤＤ１０９に記憶されている。なお、携帯端末１００は、ＨＤＤ１０９の代わりにフラッシュメモリを備えてもよい。
操作パネル１０１は、ユーザのタッチ操作を検出可能なタッチパネル機能を備え、ＯＳ１２０や画像処理アプリケーション２００が提供する各種画面を表示する。ユーザは操作パネル１０１にタッチ操作を入力することで、携帯端末１００に所望の操作指示を入力することができる。なお、携帯端末１００は、ハードウェアキーを備えていて、ユーザはこのハードウェアキーを用いて携帯端末１００に操作指示を入力することができるようにしてもよい。操作パネルは、画像表示装置の一例である。
スピーカー１０２とマイク１０３とは、ユーザが他の携帯端末や固定電話と電話をする際に使用される。カメラ１０４は、ユーザの撮像指示に応じて撮像する。カメラ１０４で撮像された写真は、ＨＤＤ１０９の所定の領域に記憶される。
加速度センサー１０５は、携帯端末１００にかかる重力加速度により、携帯端末１００の傾きを検知する。
ＣＰＵ１０６がＲＯＭ１０７やＨＤＤ１０９に記憶されているプログラムを読み出し、実行することによって、後述するソフトウェア構成やフローチャートの処理が実現される。
【００１０】
次に図２を用いて、携帯端末１００のソフトウェア構成を説明する。
ＯＳ１２０は、携帯端末１００全体の動作を制御するためのソフトウェアである。携帯端末１００には、後述する画像処理アプリケーション２００を含め、様々なアプリケーションをインストールすることができる。ＯＳ１２０は、これらのアプリケーションとの間で情報をやり取りし、アプリケーションから受けた指示に従って、操作パネル１０１に表示する画面を変更や、加速度センサー１０５で検知した傾きをアプリケーションに通知する。
画像処理アプリケーション２００は、携帯端末１００にインストールされたアプリケーションである。携帯端末１００には、この画像処理アプリケーション２００の他に様々なアプリケーションがインストールされているが、説明は省略する。
画像処理アプリケーション２００のソフトウェア構成についてさらに詳しく説明する。画面制御部２０１は、ＯＳ１２０を介して操作パネル１０１に表示する画面を制御する。画面制御部２０１によって、後述する図４に示す画面が操作パネル１０１に表示される。また、画面制御部２０１は、操作パネル１０１を介してユーザが入力した操作指示を判別する。
カメラ撮影部２０２は、カメラ１０４を介して操作パネル１０１に表示される動画から静止画を撮影する。角度計測部２０３は、加速度センサー１０５で検知した重力加速度情報から携帯端末１００の傾きを計算する。その傾き情報を使って、ガイド生成部２０５は、操作パネル１０１に表示するガイドの形状を変化させる。記憶部２０４は、様々な情報をＲＡＭ１０８等のメモリに一時的に記憶する。ガイドは、対象物の撮影を補助する補助オブジェクトの一例である。
矩形検出部２０６は、詳細は図９で後述するが、撮影した対象物の矩形を検出する。
【００１１】
図３は、携帯端末１００の傾きを表す軸を示す図である。図３（ａ）は、水平面の携帯端末１００の画面に対して縦横比の短い方向の軸がＸ軸、長い方向がＹ軸である。また図３（ｂ）は、図３（ａ）の矢印４００の方向から携帯端末１００を見た図である。水平面の携帯端末１００の画面に垂直な方向がＺ軸である。
図４は、図３のＸ軸を軸とした携帯端末１００の傾きと、そのときのガイド表示と、を示す図である。操作パネル１０１には撮影するシャッターボタン３０２が表示される。シャッターボタン３０２は、ハードキーでもよい。図４（ａ）は、携帯端末１００が水平面のＸ軸に対して角度３０１、傾いた状態の撮影画面を、操作パネル１０１に表示している例を示している。撮影する対象物３０３は、底辺の上底と下底との差が少ない形状になる。ＣＰＵ１０６は、角度３０１から算出された形状でガイド３０４を表示する。対象物３０３は、用紙サイズにより縦横比が一定ではないため、ＣＰＵ１０６は、ガイド３０４の形状を、縦方向の長さを固定しない枠で表示する。本実施形態では、ＣＰＵ１０６は、左右の線と底辺の上辺の線とでガイドを表示している。しかし、ＣＰＵ１０６は、ガイドを左右と下の線との３辺で表示してもよいし、左右の線の２辺のみで表示してもよい。ガイド表示切り替えトグルボタン３０８は、ユーザが、トグルを切り替えることにより、ガイド表示と非表示（図６）との切り替えを指示するためのものである。図４（ｂ）は、携帯端末１００が水平面のＸ軸に対して角度３０５、傾いた状態の撮影画面を、操作パネル１０１に表示している例を示している。撮影する対象物３０６は、上底と下底との差が大きい形状になる。ガイド３０７は、角度３０５から算出された形状で表示される。ガイド３０７はガイド３０４より上底と下底との差が大きい形状になる。
【００１２】
図５は、図３のＹ軸を軸とした携帯端末１００の傾きと、そのときのガイド表示と、を示す図である。携帯端末１００が３２０で示すように水平面からＹ軸に対して傾いた場合、ＣＰＵ１０６は、ガイド３２１の形状は変化させない。画像処理の精度を高めるためには、Ｙ軸に対する傾きを最小限にする必要がある。ＣＰＵ１０６は、図５に示される様に、ガイド３２１の形状を変化させず対象物３２２との形状の相違を可視化する。このことで、ユーザに対して水平性を保たせる効果が得られる。
図６は、ガイド非表示の画面を示す図である。水平面のＸ軸からの傾き３１０が、設定された閾値以上の傾きの場合、対象物は対象物３１１に示すように縦方向が大きく潰れた状態になる。そのため、このような場合、ＣＰＵ１０６は、ユーザに視覚的な通知としてガイドを自動で非表示に切り替える。また、壁の撮影をする際には、水平面の軸からの傾きに合わせたガイドは必要ないため、ＣＰＵ１０６は、前述したように自動でガイドを非表示にする。ＣＰＵ１０６は、トグルボタン３０８のユーザ操作に応じた設定に関係なくガイドを非表示にする。
図７は、携帯端末１００において、Ｚ軸を軸に、携帯端末１００を横向きにしたときのガイド表示を示す図である。ＣＰＵ１０６は、Ｚ軸を軸にして携帯端末１００が横向きと判断した場合、ガイド３３０で示すように、ガイドの表示方向を変化させ、横向きの撮影に合わせた形状にする。例えば、ＣＰＵ１０６は、Ｚ軸に対する角度が閾値以上の場合、携帯端末１００が横向きであると判断する。横向きの撮影における携帯端末１００の傾きによるガイド表示の形状変化は、前述した図４、５、６で示される内容に関し、Ｘ軸とＹ軸とを置き換えればよい。
図４、図５、図７のガイドは、対象物を囲う、四角形の底辺の下底を削除した形状の補助オブジェクトの一例である。また、図示していないが、左右の線の２辺のみのガイドは、対象物を囲う、四角形の底辺の上底と下底とを削除した形状の補助オブジェクトの一例である。
【００１３】
図８は、ガイド表示の情報処理の一例を示すフローチャートである。
カメラ撮影が開始されると、ステップＳ６０１において、ＣＰＵ１０６は、トグルボタン３０８がＯＮかどうかを確認する。ＣＰＵ１０６は、トグルボタン３０８がＯＮであると判定した場合、ステップＳ６０２に進み、トグルボタン３０８がＯＮでないと判定した場合、ステップＳ６１１に進む。
ステップＳ６０２において、ＣＰＵ１０６は、携帯端末１００の角度変化の検知を開始する。
ステップＳ６０３において、ＣＰＵ１０６は、鉛直方向のＺ軸を中心とした携帯端末１００の角度を取得する。
ステップＳ６０４において、ＣＰＵ１０６は、鉛直方向のＺ軸を中心とした携帯端末１００の角度が閾値以下か否かを判定する。ＣＰＵ１０６は、鉛直方向のＺ軸を中心とした携帯端末１００の角度が閾値以下であると判定した場合、図４で示す縦向きであるとして、ステップＳ６０５に進む。一方、ＣＰＵ１０６は、鉛直方向のＺ軸を中心とした携帯端末１００の角度が閾値以下でないと判定した場合、図７で示す横向きであるとして、ステップＳ６０８に進む。
【００１４】
ステップＳ６０５において、ＣＰＵ１０６は、水平面のＸ軸を中心とした携帯端末１００の角度を取得する。
ステップＳ６０６において、ＣＰＵ１０６は、水平面のＸ軸を中心とした携帯端末１００の角度が閾値以下か判定する。ＣＰＵ１０６は、水平面のＸ軸を中心とした携帯端末１００の角度が閾値以下であると判定した場合、ステップＳ６０７に進み、水平面のＸ軸を中心とした携帯端末１００の角度が閾値以下でないと判定した場合、ステップＳ６１１に進む。
ステップＳ６０７において、ＣＰＵ１０６は、図４に示すような角度に合わせた縦向きガイドを表示する。
一方、ステップＳ６０８において、ＣＰＵ１０６は、水平面のＹ軸を中心とした携帯端末１００の角度を取得する。
ステップＳ６０９において、ＣＰＵ１０６は、水平面のＹ軸を中心とした携帯端末１００の角度が閾値以下か判定する。ＣＰＵ１０６は、水平面のＹ軸を中心とした携帯端末１００の角度が閾値以下であると判定した場合、ステップＳ６１０に進み、水平面のＹ軸を中心とした携帯端末１００の角度が閾値以下でないと判定した場合、ステップＳ６１１に進む。
ステップＳ６１０において、ＣＰＵ１０６は、図７に示すような角度に合わせた横向きガイドを表示する。
一方、ステップＳ６１１において、ＣＰＵ１０６は、ガイドを非表示にする。
【００１５】
以上の説明の通り、本実施形態によれば、ユーザが携帯端末１００で書類等を撮影する際に、角度に合わせてガイドの形状を自動的に変化させることで、最大限に大きさを保ちながら、意図しない角度のブレを極力なくすことができる。それにより、撮影した画像の画像処理の精度も高めることができる。
【００１６】
（実施形態２）
画像処理アプリケーション２００は、撮影した画像を画像処理するが、その際に対象物の矩形を検知して矩形情報を使った画像変換を行う場合がある。対象物の矩形は、画像処理アプリケーション２００が自動判別するが、撮影した環境や対象物によっては、矩形の自動判別が正しく動作しない場合があり、ユーザが画面操作を介して手動で矩形調整をする必要がある。本実施形態では、その自動判別の精度を高めるための方法に関して記載する。
図９は、操作パネル１０１に表示する、矩形検出の候補線の優先度を示す図である。対象物５００は、表や図形が入った書類をカメラで撮影したドキュメント画像である。ガイド５０４は、撮影時に表示していたガイドである。ここで、画像処理アプリケーション２００は、自動検知において複数の候補線５０１、５０２、５０３を検出して、その中から対象物５００の矩形に最適な線を矩形として表示する。ここで矩形の決定にガイド５０４が用いられる。ガイド５０４は携帯端末１００の各軸の角度から計算された最適な形状になるように表示されているため、そのガイド５０４と並行、かつ、距離が近い候補線が矩形である確率が高くなる。候補線５０１、５０２、５０３では、ガイド５０４からの距離は近い方から候補線５０３、５０１、５０２であり、ガイド５０４と並行に近い候補線は５０１、５０２である。そこから、画像処理アプリケーション２００は、候補線５０１が矩形の可能性が高いと判断でき、自動検出する矩形とする。
【００１７】
図１０は、矩形検出の情報処理の一例を示すフローチャートである。
カメラで撮影後、ステップＳ７０１において、ＣＰＵ１０６は、候補線の検出を行う。
ステップＳ７０２において、ＣＰＵ１０６は、候補線が複数ある場合、ステップＳ７０３からステップＳ７０７までの処理を、候補線数分、繰り返す。
ステップＳ７０４において、ＣＰＵ１０６は、候補線とガイドとの距離を計測する。
ステップＳ７０５において、ＣＰＵ１０６は、候補線とガイドとの平行度（角度）を計測する。
ステップＳ７０６において、ＣＰＵ１０６は、ステップＳ７０５の結果とステップＳ７０４の結果とから候補線の矩形候補としての評価を実施する。そして、ＣＰＵ１０６は、既に矩形候補があればそれと比較して、処理対象の候補線の方が矩形候補より優先順位が上位となる矩形候補か否かを判定する。ＣＰＵ１０６は、処理対象の候補線の方が上位となる矩形候補であると判定すると、ステップＳ７０７に進み、そうでないと判定すると、ステップＳ７０７の処理を省略する。
ステップＳ７０７において、ＣＰＵ１０６は、処理対象の候補線を矩形候補とする。
矩形候補が決定した場合、ステップＳ７０８において、ＣＰＵ１０６は、決定した矩形候補を操作パネル１０１に表示する。
【００１８】
以上の説明の通り、本実施形態によれば、ユーザが撮影した対象物の矩形の自動検出の精度を高め、ユーザが矩形の修正をすることなく画像処理を実行できる確率を高めることができる。
【００１９】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００２０】
以上、上述した各実施形態によれば、携帯端末１００は、撮影時に、対象物を画面に収まる範囲で可能な限り大きく、また撮影画像を画像処理する際に、画像処理精度を高められるように角度に応じたガイド表示を行う。このことで最適な静止画撮影を容易にするユーザ補助機能を提供することができる。
【符号の説明】
【００２１】
１００  携帯端末
１０６  ＣＰＵ
１０７  ＲＯＭ
１０９  ＨＤＤ
２００  画像処理アプリケーション
【図１】
2016143967.tif 000003
【図２】
2016143967.tif 000004
【図３】
2016143967.tif 000005
【図４】
2016143967.tif 000006
【図５】
2016143967.tif 000007
【図６】
2016143967.tif 000008
【図７】
2016143967.tif 000009
【図８】
2016143967.tif 000010
【図９】
2016143967.tif 000011
【図１０】
2016143967.tif 000012