(57)【要約】本体を動かすことで撮像装置を動作させ、撮像フレームの位置決め及びいわゆる「手ぶれ」の状態の防止を実現するスマートフォンを提供すること。  スマートフォン１は、被撮像物を撮像する撮像装置２、撮像装置２の３軸方向に関する位置又は位置に関連する量を測定するセンサ５、及びセンサ５から出力される３軸方向のそれぞれに対応する３つのセンサ値のうちの少なくとも１つを用いて撮像装置２の動作を制御する制御装置６を備える。センサ５により、被撮像物を撮像する撮像装置２の３軸方向に関する位置又は位置に関連する量を測定し、制御装置６により、そのセンサ５から出力される３軸方向のそれぞれに対応する３つのセンサ値のうちの少なくとも１つを用いて撮像装置２の動作を制御することで、ユーザがスマートフォン本体を動かすことによりスマートフォンに搭載された撮像装置２の動作を制御することが可能となる。
2018066705.tif 000002
【特許請求の範囲】
【請求項１】
スマートフォン本体を動かすことでこれに搭載された撮像装置の動作を制御するスマートフォンであって、
被撮像物を撮像する撮像装置と、
前記撮像装置の３軸方向に関する速度、加速度、角速度又は角加速度を測定するセンサと、
前記センサから出力される前記３軸方向のそれぞれに対応する３つのセンサ値のうちの少なくとも１つを用いて前記撮像装置の動作を制御する制御装置と、
を備え、
前記制御装置は、
前記センサから前記３つのセンサ値を周期的に受信し、該３つのセンサ値のうちの少なくとも１つのセンサ値の変化量が閾値を超えた場合に、該閾値を超えた時点を時間変化パターンの開始時点として、前記３つのセンサ値の時間変化パターンが予め定められた時間変化パターンに対応するか否か判断し、
前記予め定められた時間変化パターンの後、前記３つのセンサ値が時間に対して略一定であるか否か判断し、略一定である場合に前記開始時点における前記撮像装置の画像と前記開始時点からＴ’だけ経過した時点における前記撮像装置の画像とを比較し、両画像の相違が閾値よりも小さい場合にのみ前記経過した時点で前記撮像装置を動作させ、
前記Ｔ’の値は、１．５〜２．５秒であり、
前記予め定められた時間変化パターンは、前記スマートフォンを前記３軸のうちのいずれか１軸について一向きに回転させた後、逆向きに回転して回転前の位置に戻すことで生じる時間変化パターンであることを特徴とする、スマートフォン。
【請求項２】
前記制御装置は、ユーザに、前記スマートフォンを前記３軸のうちのいずれか１軸について一向きに回転し、その後に逆向きに回転して回転前の位置に戻す動作をさせると同時に、前記センサから前記３つのセンサ値を受信することで、前記予め定められた時間変化パターンを決定することを特徴とする、請求項１に記載のスマートフォン。
【請求項３】
前記制御装置は、前記少なくとも１つのセンサ値と前記予め定められた時間変化パターンとの差分を算出し、該差分の積算を閾値と比較することを特徴とする、請求項２に記載のスマートフォン。
【請求項４】
前記センサは、前記撮像装置の３軸方向に関する加速度を測定する加速度センサであり、
前記制御装置は、前記３つのセンサ値のうちの２つのセンサ値が時間に対して変化し且つ残りの１つのセンサ値が時間に対して略一定である場合に、前記２つのセンサ値の時間変化パターンを判断することを特徴とする、請求項１から３のいずれか一項に記載のスマートフォン。
【請求項５】
前記予め定められた時間変化パターンは、前記センサ値である加速度の値が、（１）−９．８ｍ／ｓ２からＸ１だけ増加し、時間Ｔ以内に−９．８ｍ／ｓ２に戻る変化、
（２）０ｍ／ｓ２からＸ２だけ増加又は減少し、時間Ｔ以内に０ｍ／ｓ２に戻る変化、
（３）９．８ｍ／ｓ２からＸ１だけ減少し、時間Ｔ以内に９．８ｍ／ｓ２に戻る変化パターンのうちのいずれかであり、
前記Ｘ１の値は、４．９〜１４．７ｍ／ｓ２であり、
前記Ｘ２の値は、８．５〜９．８ｍ／ｓ２であり、
前記Ｔの値は、０．８〜１．８秒であることを特徴とする、請求項４に記載のスマートフォン。
【請求項６】
前記センサは、前記撮像装置の３軸に関する回転角を測定する角速度センサであり、
前記制御装置は、前記３つのセンサ値のうちの１つのセンサ値が時間に対して変化し且つ残りの２つのセンサ値が時間に対して略一定である場合に、前記１つのセンサ値の時間変化パターンを判断することを特徴とする、請求項１から３のいずれか一項に記載のスマートフォン。
【請求項７】
前記予め定められた時間変化パターンは、前記センサ値である角速度の値が、（１）０から増加又は減少して０に戻り、前記センサ値の積分の絶対値がＹラジアンである変化と、
（２）０から減少又は増加して０に戻り、前記センサ値の積分の絶対値がＹラジアンである変化と、が時間Ｔの間に連続する変化パターンであり、
前記Ｙの値はπ／３〜２π／３ラジアンであり、
前記Ｔの値は０．８〜１．８秒であることを特徴とする、請求項６に記載のスマートフォン。
【請求項８】
前記制御装置は、前記両画像の相違を、前記両画像のＲＧＢ輝度値のヒストグラムの相違に基づいて比較することを特徴とする、請求項１から７のいずれか一項に記載のスマートフォン。
【請求項９】
前記制御装置は、更に、撮像装置の３軸方向に関する速度、加速度、角速度又は角加速度を測定するセンサと、前記センサから出力される前記３軸方向のそれぞれに対応する３つのセンサ値のうちの少なくとも１つを用いて前記撮像装置の動作を制御する３つのセンサ値を周期的に受信し、該３つのセンサ値のうちの少なくとも１つのセンサ値の変化量が閾値を超えた場合の電子シャッタが起動しない時点で、連続的に取得できる複数画像をメモリ配列にキャッシュする
請求項１〜８のいずれか一項に記載のスマートフォン。
【請求項１０】
前記制御装置は、更に、撮像装置の３軸方向に関する速度、加速度、角速度又は角加速度を測定するセンサと、前記センサから出力される前記３軸方向のそれぞれに対応する３つのセンサ値のうちの少なくとも１つを用いて前記撮像装置の動作を制御する３つのセンサ値を周期的に受信し、該３つのセンサ値のうちの少なくとも１つのセンサ値の変化量が閾値を超えた場合の電子シャッタを切る時点で、連続的に取得できる複数画像をメモリ配列にキャッシュする
請求項１〜８のいずれか一項に記載のスマートフォン。
【請求項１１】
前記制御装置は、キャッシュした全てのフレーム画像のＲＧＢ色ヒストグラムの各成分を０−２５５ の２５６階調数値を４等分し、中央の代表値に置き換えることで６４色まで減色を行い、その６４次元ベクトルの色特徴を用いてピクセル毎の局所画像の物体の明暗差、輝度の分布、輝度の勾配方向の分布などの特徴量を演算処理して検出し、予め定める閾値を超えて配列が連続して近似値を持つピクセルを類似オブジェクトとしてグループ化して全てのフレーム画像内に存在する局所画像の物体認識を判別する
請求項９又は１０記載のスマートフォン。
【請求項１２】
前記制御装置は、ＲＧＢ値の輝度を保持したまま色相情報と彩度情報を削除して、グレースケールに変換して２値化、各ピクセルの輪郭線を演算処理して抽出し、予め定める閾値を超えて配列が連続して近似値を持つピクセルを類似オブジェクトとしてグループ化して全てのフレーム画像内に存在する局所画像の物体認識を判別する
請求項１１記載のスマートフォン。
【請求項１３】
前記制御装置は、類似オブジェクトとしてグループ化したピクセルの中心点にxy座標軸を持つオーバーレイするレイヤーファイルを構成し、局所画像のオブジェクト領域を表わすフォーカスポイントを線画して表示させ、全てのフレーム画像において、局所画像の物体の位置認識処理を行う
請求項１２記載のスマートフォン。
【請求項１４】
前記制御装置は、前記局所画像の物体認識を判別した位置を全てのフレーム画像で追尾する
請求項１３記載のスマートフォン。
【請求項１５】
前記制御装置は、写真撮影モードと動画撮影モードを有しており、
前記センサから前記３つのセンサ値を周期的に受信し、該３つのセンサ値のうちの少なくとも１つのセンサ値の変化量が閾値を超えた場合に、該閾値を超えた時点を時間変化パターンの開始時点とし、その開始時点のセンサ値により、傾き前の画像が何フレーム前のものかを判断して別のメモリに画像を取り出し、同時にその時の角度及び／又は向きのセンサ値を予め定める閾値と比較演算して開始時静止センサ値として合わせて保持し、前記３つのセンサ値の時間変化パターンが予め定められた時間変化パターンに対応するか否か判断し、
前記予め定められた時間変化パターンの後、前記３つのセンサ値が時間に対して略一定であるか否か判断し、略一定である場合に前記開始時点における前記撮像装置の画像と前記開始時点からＴ’だけ経過した時点における前記撮像装置の画像が静止した時点でのセンサ値により、静止した時点での画像が何フレーム前のものかを判断して別のメモリに画像を取り出し、同時にその時の角度及び／又は向きのセンサ値を予め定める閾値と比較演算して終了時静止センサ値として合わせて保持し、開始時静止センサ値と終了時静止センサ値とを比較し、両画像のセンサ値の相違が閾値よりも小さい場合にのみ前記経過した時点で前記撮像装置を動作させ、前記写真撮影モードにおいてシャッタ動作の開始、あるいは、前記動画撮影モードにおいて撮影開始する
請求項９〜１４のいずれか一項に記載のスマートフォン。
【請求項１６】
前記制御装置は、写真撮影モードと動画撮影モードを有しており、
前記センサから前記３つのセンサ値を周期的に受信し、該３つのセンサ値のうちの少なくとも１つのセンサ値の変化量が閾値を超えた場合に、該閾値を超えた時点を時間変化パターンの開始時点とし、前記３つのセンサ値の時間変化パターンが予め定められた時間変化パターンに対応するか否か判断し、
前記予め定められた時間変化パターンの後、前記３つのセンサ値が時間に対して略一定であるか否か判断し、略一定である場合に前記開始時点における前記撮像装置の画像と前記開始時点からＴ’だけ経過した時点における前記撮像装置の画像とを比較し、両画像の相違が閾値よりも小さい場合にのみ前記経過した時点で前記撮像装置を動作させ、前記写真撮影モードにおいてシャッタ動作の開始、あるいは、前記動画撮影モードにおいて撮影開始する
請求項９〜１４のいずれか一項に記載のスマートフォン。
【請求項１７】
前記装制御装置は、前記撮影装置で撮影した動画を、再生、停止、一時停止、巻き戻し・早送り、コマ送り、コマ戻し、終了動作させる
請求項１５又は１６記載のスマートフォン。
【請求項１８】
前記Ｔ’の値は、１．５〜２．５秒であり、前記予め定められた時間変化パターンは、前記スマートフォンを前記３軸のうちのいずれか１軸について一向きに回転させた後、逆向きに回転して回転前の位置に戻すことで生じる時間変化パターンである
請求項１５〜１７の何れかに記載のスマートフォン。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置の動作を制御するスマートフォンに関する。
【背景技術】
【０００２】
スマートフォンには撮像装置が搭載され、日常的に、これを用いて被撮像物が撮像されている。撮像の際、ユーザは片方又は両方の手でスマートフォンを支持・固定し、撮像ボタンを押す操作をする。ここで、撮像ボタンは、撮像装置の撮像方向に対して、スマートフォンの逆側の面に設けられている。ユーザが被撮像物を正面に見てスマートフォンのユーザ自身の側を操作することで撮像できるものである。【０００３】
スマートフォンを操作するユーザがそのスマートフォンを用いて自身を撮像するいわゆる「自撮り」においては、撮像ボタンがスマートフォンのユーザに向いていない面にあることとなる。このため、撮像ボタンを押すことが容易でなく、スマートフォンが動いて撮像フレームの位置決めがずれる、いわゆる「手ぶれ」の状態になる、その他の問題が発生する可能性が高くなる。なお、撮像ボタンの操作に起因するかかる問題は、自撮りでない場合にも発生し得る。【０００４】
そこで、例えば特許文献１には、スマートフォンと独立のコントローラを携帯し、これを用いて無線でスマートフォンを操作するシステムが開示されている。しかし、スマートフォンと合わせてコントローラを携帯することが広く受け入れられるものではない。むしろ、スマートフォンに撮像を行わせる手段として、撮像ボタンの操作以外の手段をスマートフォンに持たせることが有効である。【０００５】
ボタンの操作以外の手段によるスマートフォンの操作としては、例えば非特許文献１には、スマートフォンを振る動作によってアプリケーションを起動する手段が開示されている。しかし、撮像については、撮像フレームの位置決め、いわゆる「手ぶれ」の状態の防止等の要件を満たすことが必要であり、単純にスマートフォンを振る動作によって撮像することでは不十分である。また、最近のスマートフォンでは音量ボタン等で撮像を行う機能を備えたものもあるが、多くのユーザが所持しているものではない。【０００６】
以上に述べたとおり、撮像ボタンの操作以外の手段によってスマートフォンの撮像装置を使用する手段は、広くは知られていなかった。【０００７】
スマートフォンは、液晶画面の拡大傾向から端末の大型化が進む一方、より薄い筐体形状へと技術開発を進めている。 その結果、搭載カメラ（スマートフォンカメラ）は、受光素子が小さいカメラとなり、画角に対し焦点距離が短く、また、焦点距離を固定した単焦点レンズが採用され、５ｍｍを超えるカメラレンズが、スマートフォンには採用されることはあまりない。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１１−２３７７１６号公報
【特許文献２】特開２０１６−６３４５２号公報
【特許文献３】特開２０１６−７２６７３号公報
【特許文献４】特開２０１６−１２２９０２号公報
【特許文献５】国際公開第２０１３／０８４４２８号公報
【特許文献６】国際公開第２０１５／０４０８０９号公報
【特許文献７】国際公開第２０１６／１３３１５８号公報
【非特許文献】
【０００９】
【非特許文献１】Shake−Google  PlayのAndroidアプリhttps://play.google.com    /store/apps/details?id=com.adl.appshaker&hl=ja
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、本体を動かすことで撮像装置を動作させ、撮像フレームの位置決め及びいわゆる「手ぶれ」の状態の防止を実現するスマートフォンを提供することを課題とする。【００１１】
一般的にスマートフォンカメラで採用されるレンズは、筐体形状の設計上、絞り値（Ｆ値）が非常に小さく（明るいレンズ）、焦点距離が短い。ピントは、絞り値（Ｆ値）、レンズの焦点距離、撮影距離（被写体とカメラの間の距離）で決まる。そこで、撮影する写真や動画は、被写界深度が深くなり、近くのものから遠くのものまでピントが合っているように見えるパンフォーカス効果を得やすくなり、画像内の局所までくっきり鮮明に映すことが可能である。この構造上の利点を利用した、画像内の局所画像を検索する機能を提供することを課題とした。
【課題を解決するための手段】
【００１２】
本発明のスマートフォンは、
スマートフォン本体を動かすことでこれに搭載された撮像装置の動作を制御するスマートフォンであって、
被撮像物を撮像する撮像装置と、
前記撮像装置の３軸方向に関する速度、加速度、角速度又は角加速度を測定するセンサと、
前記センサから出力される前記３軸方向のそれぞれに対応する３つのセンサ値のうちの少なくとも１つを用いて前記撮像装置の動作を制御する制御装置と、
を備え、
前記制御装置は、
前記センサから前記３つのセンサ値を周期的に受信し、該３つのセンサ値のうちの少なくとも１つのセンサ値の変化量が閾値を超えた場合に、該閾値を超えた時点を時間変化パターンの開始時点として、前記３つのセンサ値の時間変化パターンが予め定められた時間変化パターンに対応するか否か判断し、
前記予め定められた時間変化パターンの後、前記３つのセンサ値が時間に対して略一定であるか否か判断し、略一定である場合に前記開始時点における前記撮像装置の画像と前記開始時点からＴ’だけ経過した時点における前記撮像装置の画像とを比較し、両画像の相違が閾値よりも小さい場合にのみ前記経過した時点で前記撮像装置を動作させ、
前記Ｔ’の値は、１．５〜２．５秒であり、
前記予め定められた時間変化パターンは、前記スマートフォンを前記３軸のうちのいずれか１軸について一向きに回転させた後、逆向きに回転して回転前の位置に戻すことで生じる時間変化パターンである。【００１３】
３つのセンサ値の時間変化パターンが予め定められたものとなるように、ユーザがスマートフォン本体を動かすことによりスマートフォンに搭載された撮像装置の動作を制御することが可能となる。予め定められた時間変化パターンは、スマートフォンを３軸のうちのいずれか１軸について一向きに回転させた後、逆向きに回転して回転前の位置に戻すことで生じる時間変化パターンであるものとする。ユーザが、被撮像物を撮像する姿勢でスマートフォンを位置決めし、その状態から３軸のうちのいずれか１軸について一向きに回転させた後、逆向きに回転して回転前の位置に戻し（撮像フレームの位置決めをし）、静止させ（いわゆる「手ぶれ」をなくし）、被撮像物を撮像する姿勢を再度とったうえで撮像装置の動作を制御することができる。【００１４】
本発明のスマートフォンは、
前記制御装置は、ユーザに、前記スマートフォンを前記３軸のうちのいずれか１軸について一向きに回転し、その後に逆向きに回転して回転前の位置に戻す動作をさせると同時に、前記センサから前記３つのセンサ値を受信することで、前記予め定められた時間変化パターンを決定する。【００１５】
この特徴によれば、撮像装置を動作させるのに利用する予め定められた時間変化パターンをユーザ毎に固有に設定することができる。【００１６】
本発明のスマートフォンは、
前記制御装置は、前記少なくとも１つのセンサ値と前記予め定められた時間変化パターンとの差分を算出し、該差分の積算を閾値と比較する。【００１７】
差分の積算が閾値より小さい場合に少なくとも１つのセンサ値の時間変化パターンが予め定められた時間変化パターンに対応すると判断することができ、確実な判断をおこなうことができる。【００１８】
本発明のスマートフォンは、
前記センサは、前記撮像装置の３軸方向に関する加速度を測定する加速度センサであり、
前記制御装置は、前記３つのセンサ値のうちの２つのセンサ値が時間に対して変化し且つ残りの１つのセンサ値が時間に対して略一定である場合に、前記２つのセンサ値の時間変化パターンを判断する。【００１９】
多くのスマートフォンに搭載されている加速度センサにより、制御装置によって撮像装置の動作を制御することが可能となる。加速度センサについては、後述のとおり、３つのセンサ値のうちの２つのセンサ値が時間に対して変化し且つ残りの１つのセンサ値が時間に対して略一定である。【００２０】
本発明のスマートフォンは、
前記予め定められた時間変化パターンは、前記センサ値である加速度の値が、（１）−９．８ｍ／ｓ２からＸ１だけ増加し、時間Ｔ以内に−９．８ｍ／ｓ２に戻る変化、
（２）０ｍ／ｓ２からＸ２だけ増加又は減少し、時間Ｔ以内に０ｍ／ｓ２に戻る変化、
（３）９．８ｍ／ｓ２からＸ１だけ増加し、時間Ｔ以内に９．８ｍ／ｓ２に戻る変化パターンのうちのいずれかであり、
前記Ｘ１の値は、４．９〜１４．７ｍ／ｓ２であり、
前記Ｘ２の値は、８．５〜９．８ｍ／ｓ２であり、
前記Ｔの値は、０．８〜１．８秒である。【００２１】
スマートフォンを、３軸のうちの１軸周りに０．８〜１．８秒の間に６０〜１２０度回転して戻すことにより、スマートフォンに搭載された撮像装置の動作を制御することが可能となる。０．８〜１．８秒の時間をかけてスマートフォンを動かすと、その動きの加速度はあまり大きなものではなく、３軸に対する重力加速度（９．８ｍ／ｓ２）の方向の時間変化として時間変化パターンを定めることができる。なお、４．９ｍ／ｓ２≒９．８ｍ／ｓ２×（１−ｃｏｓ６０°）、１４．７ｍ／ｓ２≒９．８ｍ／ｓ２×（１−ｃｏｓ１２０°）、８．５ｍ／ｓ２≒９．８ｍ／ｓ２×ｓｉｎ６０°であり、６０〜１２０度の回転によって時間変化パターンが実現される。【００２２】
本発明のスマートフォンは、
前記センサは、前記撮像装置の３軸に関する回転角速度を測定する角速度センサであり、
前記制御装置は、前記３つのセンサ値のうちの１つのセンサ値が時間に対して変化し且つ残りの２つのセンサ値が時間に対して略一定である場合に、前記１つのセンサ値の時間変化パターンを判断する。【００２３】
スマートフォンに搭載されている角速度センサにより、制御装置によって撮像装置の動作を制御することが可能となる。角速度センサについては、後述のとおり、３つのセンサ値のうちの１つのセンサ値が時間に対して変化し且つ残りの２つのセンサ値が時間に対して略一定である。【００２４】
本発明のスマートフォンは、
前記予め定められた時間変化パターンは、前記センサ値である角速度の値が、（１）０から増加又は減少して０に戻り、前記センサ値の積分の絶対値がＹラジアンである変化と、（２）０から減少又は増加して０に戻り、前記センサ値の積分の絶対値がＹラジアンである変化と、が時間Ｔの間に連続する変化パターンであり、
前記Ｙの値はπ／３〜２π／３ラジアンであり、
前記Ｔの値は０．８〜１．８秒である。【００２５】
スマートフォンを、３軸のうちの１軸周りに０．８〜１．８秒の間に６０〜１２０度回転して戻すことにより、スマートフォンに搭載された撮像装置の動作を制御することが可能となる。【００２６】
本発明のスマートフォンは、
前記制御装置は、前記３つのセンサ値のうちの少なくとも１つの変化量が閾値を超えた場合に、該閾値を超えた時点を時間変化パターンの開始時点として前記３つのセンサ値の時間変化パターンを判断する。【００２７】
ユーザに、回転動作の開始時点を把握することができる。【００２８】
本発明のスマートフォンは、
前記制御装置は、前記開始時点からＴ’だけ経過した時点で撮像装置を動作させ、前記Ｔ’の値は、１．５〜２．５秒である。【００２９】
ユーザによる、一向きに回転し、その後に逆向きに回転して回転前の位置に戻す動作が、略２秒（１．５〜２．５秒）で行われた場合にのみ撮像装置を動作させることができる。ユーザは動作を略２秒ものとし、ユーザが動作を行わなかった場合における撮像装置の誤動作を予防することができる。【００３０】
本発明のスマートフォンは、
前記制御装置は、前記開始時点における前記撮像装置の画像と前記開始時点からＴ’だけ経過した時点における前記撮像装置の画像とを比較し、両画像の相違が閾値よりも小さい場合にのみ撮像装置を動作させる。【００３１】
ユーザが開始時点において撮像フレームの位置決めをした場合に、その位置にスマートフォンが戻された時に撮像装置を動作させることができる。【００３２】
本発明のスマートフォンは、
前記制御装置は、前記両画像の相違を、前記両画像のＲＧＢ輝度値のヒストグラムの相違に基づいて比較する。【００３３】
開始時点と撮像時点の撮像装置の画像の比較を、容易な計算で行うことができる。【００３４】
上述した本発明のスマートフォンは、更に、以下に説明する機能を備えたものにすることができる。図９は、以下に説明する機能を備えた本発明のスマートフォンで実行される各処理のフローを説明するものである。【００３５】
本発明のスマートフォンにおいて、
前記制御装置は、更に、撮像装置の３軸方向に関する速度、加速度、角速度又は角加速度を測定するセンサと、前記センサから出力される前記３軸方向のそれぞれに対応する３つのセンサ値のうちの少なくとも１つを用いて前記撮像装置の動作を制御する３つのセンサ値を周期的に受信し、該３つのセンサ値のうちの少なくとも１つのセンサ値の変化量が閾値を超えた場合の電子シャッタが起動しない時点(開始時点)で、連続的に取得できる複数画像（例えば、３０フレーム〜６０フレーム、等の複数の画像）をメモリ配列にキャッシュする。【００３６】
これは、電子シャタが起動しない時点で、連続的に取得できる複数画像をメモリ配列にキャッシュするものである。【００３７】
シャタを切る時点でも、常に、連続的に取得できる複数画像をメモリ配列にキャッシュすることもできる。いわゆる連写機能を備えているものである。【００３８】
すなわち、  本発明のスマートフォンにおいて、
前記制御装置は、更に、撮像装置の３軸方向に関する速度、加速度、角速度又は角加速度を測定するセンサと、前記センサから出力される前記３軸方向のそれぞれに対応する３つのセンサ値のうちの少なくとも１つを用いて前記撮像装置の動作を制御する３つのセンサ値を周期的に受信し、該３つのセンサ値のうちの少なくとも１つのセンサ値の変化量が閾値を超えた場合の電子シャッタを切る時点で、連続的に取得できる複数画像（例えば、３０フレーム〜６０フレーム、等の複数の画像）をメモリ配列にキャッシュする。【００３９】
これらの場合、前記制御装置は、キャッシュした全てのフレーム画像のＲＧＢ色ヒストグラムの各成分を０−２５５ の２５６階調数値を４等分し、中央の代表値に置き換えることで６４色まで減色を行い、その６４次元ベクトルの色特徴を用いてピクセル毎の局所画像の物体の明暗差、輝度の分布、輝度の勾配方向の分布などの特徴量を演算処理して検出し、予め定める閾値を超えて配列が連続して近似値を持つピクセルを類似オブジェクトとしてグループ化して全てのフレーム画像内に存在する局所画像の物体認識を判別する。【００４０】
更に、前記の場合、前記制御装置は、ＲＧＢ値の輝度を保持したまま色相情報と彩度情報を削除して、グレースケールに変換して２値化、各ピクセルの輪郭線を演算処理して抽出し、予め定める閾値を超えて配列が連続して近似値を持つピクセルを類似オブジェクトとしてグループ化して全てのフレーム画像内に存在する局所画像の物体認識を判別する。【００４１】
また、前記の場合、前記制御装置は、類似オブジェクトとしてグループ化したピクセルの中心点にxy座標軸を持つオーバーレイするレイヤーファイルを構成し、局所画像のオブジェクト領域を表わすフォーカスポイントを線画して表示させ、全てのフレーム画像において、局所画像の物体の位置認識処理を行う。また、前記局所画像の物体認識を判別した位置を全てのフレーム画像で追尾する。【００４２】
上述した前記制御装置の動作を前記制御装置が実行するために、前記スマートフォンにインストールされているアプリケーション上に予め画像の物体認識に利用するデータセットをメモリにロードして演算処理してフォーカスポイントを線画して表示させることや、外部アプリケーションから物体認識に利用するデータセットと演算処理して、すべてのフレーム画像におけるフォーカスポイントを線画して表示、追尾する動作を前記制御装置が実行させるようにすることもできる。【００４３】
前記において、前記制御装置は、傾き方向へ振る(傾ける)初動の速度により、傾き前の画像が何フレーム前のものかを判断し別のメモリに取り出し、同時にその時の角度、向きも合わせて保持する動作を実行する。なお、この時も常にフレーム画像はメモリ配列にキャッシュされていく状態である。【００４４】
また、前記において、前記制御装置は、逆方向へ振る(傾ける)ことで傾き方向へ振る(傾ける)初動の速度で保持した角度、向きとの近似値＋速度（静止状態を識別する）によりその位置のフレーム画像を取り出してシャッタを動作させ、動画においては撮影を開始する。【００４５】
また、前記において、前記制御装置は、前記開始時点からＴ’だけ経過した時点で、領域を表わす全てのフレームのフォーカスポイントのxy座標位置情報や局所画像情報を自動的にＸＭＬ言語等の様々なデータ形式でレイヤーファイルに記述が可能であり、画像内にメタタグやバイナリデータとして記述保存することや、ネットワークを経由して保存したクラウド上のサーバで呼び出すことができる。【００４６】
また、局所以外の画像情報を捨てることでも局所画像を表示することが可能である。【００４７】
更に、撮影情報、ＧＰＳ位置情報といった局所画像情報や撮影情報をテキストなどで画像ファイル内部やオーバーレイしたレイヤーファイルなどにユーザが手動で記述できる。 
また、記述した全ての情報は、上述したアプリケーション上に保存して新たな画像のデータセットとしての利用や外部アプリケーションから局所画像情報に映る物体のなどの特徴量や記述情報を呼び出すことが行える。【００４８】
前記局所画像の判定において、かかる判定のための手段は、輪郭線分布の他、無数に存在するので、いずれの手順を用いてもよい。 
本発明の他の実施形態のスマートフォンは、
スマートフォン本体を動かすことでこれに搭載された撮像装置の動作を制御するスマートフォンであって、被撮像物を撮像する撮像装置と、
前記撮像装置の３軸方向に関する速度、加速度、角速度又は角加速度を測定するセンサと、
前記センサから出力される前記３軸方向のそれぞれに対応する３つのセンサ値のうちの少なくとも１つを用いて前記撮像装置の動作を制御する制御装置と、
を備え、
前記制御装置は、写真撮影モードと動画撮影モードを有しており、
前記センサから前記３つのセンサ値を周期的に受信し、該３つのセンサ値のうちの少なくとも１つのセンサ値の変化量が閾値を超えた場合に、該閾値を超えた時点を時間変化パターンの開始時点とし、その開始時点のセンサ値により、傾き前の画像が何フレーム前のものかを判断して別のメモリに画像を取り出し、同時にその時の角度及び／又は向きのセンサ値を予め定める閾値と比較演算して開始時静止センサ値として合わせて保持し、前記３つのセンサ値の時間変化パターンが予め定められた時間変化パターンに対応するか否か判断し、
前記予め定められた時間変化パターンの後、前記３つのセンサ値が時間に対して略一定であるか否か判断し、略一定である場合に前記開始時点における前記撮像装置の画像と前記開始時点からＴ’だけ経過した時点における前記撮像装置の画像が静止した時点でのセンサ値により、静止した時点での画像が何フレーム前のものかを判断して別のメモリに画像を取り出し、同時にその時の角度及び／又は向きのセンサ値を予め定める閾値と比較演算して終了時静止センサ値として合わせて保持し、開始時静止センサ値と終了時静止センサ値とを比較し、両画像のセンサ値の相違が閾値よりも小さい場合にのみ前記経過した時点で前記撮像装置を動作させ、前記写真撮影モードにおいてシャッタ動作の開始、あるいは、前記動画撮影モードにおいて撮影開始する。【００４９】
他の実施形態では、
前記制御装置は、写真撮影モードと動画撮影モードを有しており、
前記センサから前記３つのセンサ値を周期的に受信し、該３つのセンサ値のうちの少なくとも１つのセンサ値の変化量が閾値を超えた場合に、該閾値を超えた時点を時間変化パターンの開始時点とし、前記３つのセンサ値の時間変化パターンが予め定められた時間変化パターンに対応するか否か判断し、
前記予め定められた時間変化パターンの後、前記３つのセンサ値が時間に対して略一定であるか否か判断し、略一定である場合に前記開始時点における前記撮像装置の画像と前記開始時点からＴ’だけ経過した時点における前記撮像装置の画像とを比較し、両画像の相違が閾値よりも小さい場合にのみ前記経過した時点で前記撮像装置を動作させ、前記写真撮影モードにおいてシャッタ動作の開始、あるいは、前記動画撮影モードにおいて撮影開始する。【００５０】
前記装制御装置は、逆方向へ振ることで傾き方向へ振る初動の速度で保持した角度、向きとの近似値と速度とによりその位置のフレーム画像を取り出して前記撮像装置の動作開始または動作終了させるものである。【００５１】
また、前記装制御装置は、前記撮影装置で撮影した動画を、再生、停止、一時停止、巻き戻し・早送り、コマ送り、コマ戻し、終了動作させる。【００５２】
前記Ｔ’の値は、１．５〜２．５秒であり、前記予め定められた時間変化パターンは、前記スマートフォンを前記３軸のうちのいずれか１軸について一向きに回転させた後、逆向きに回転して回転前の位置に戻すことで生じる時間変化パターンである。
【発明の効果】
【００５３】
本発明のスマートフォンによれば、本体を動かすことで撮像装置を動作させ、撮像フレームの位置決め及びいわゆる「手ぶれ」の状態の防止を実現することが可能となる。【００５４】
また、本発明のスマートフォンによれば、一般的にスマートフォンカメラで採用されるレンズは、筐体形状の設計上、絞り値（Ｆ値）が非常に小さく（明るいレンズ）、焦点距離が短いことから、撮影する写真や動画は、被写界深度が深くなり、近くのものから遠くのものまでピントが合っているように見えるパンフォーカス効果を得やすくなり、画像内の局所までくっきり鮮明に映すことが可能であるという構造上の利点を利用して、画像内の局所画像を検索する機能を提供することができる。
【図面の簡単な説明】
【００５５】
【図１】スマートフォンの一実施形態の構成を示すブロック図である。
【図２】撮像装置を操作する動作の一例を説明する図である。
【図３】図２の動作に係るスマートフォンの動きを説明する図である。
【図４】撮像装置を操作する動作の別の例を説明する図である。
【図５】図４の動作に係るスマートフォンの動きを説明する図である。
【図６】図２の動作において加速度センサが出力するセンサ値の時間変化パターンを示す図である。
【図７】図４の動作において加速度センサが出力するセンサ値の時間変化パターンを示す図である。
【図８】図４の動作において角速度センサが出力するセンサ値の時間変化パターンを示す図である。
【図９】本発明のスマートフォンの機能の一例を説明するフローチャートである。
【図１０】本発明のスマートフォンによる撮影動作の一例を説明する図で、傾ける（筺体：横向き/天：左）動作を説明する図。外側カメラ、内側カメラの場合でも、縦横どちらの構え方でも傾ける画像操作は変わらないので、図１０では外側カメラの場合を図示して説明している。
【図１１】本発明のスマートフォンによる動画の再生操作の一例を表す図である。液晶画面側（内側）のみでの視聴であるが縦横視聴可能で、再生操作も縦横のどちらでも操作が可能なので、図１１では、筺体：横向き/天：左での再生操作を説明している。
【図１２】本発明のスマートフォンによる撮影動作（傾ける(筺体：横向き/天：左)）と、加速度センサが出力するセンサ値の時間変化パターンの関係を示す図である。
【図１３】本発明のスマートフォンによる撮影動作（傾ける(筺体：縦/天：上)） と、加速度センサが出力するセンサ値の時間変化パターンの関係を示す図である。
【図１４】本発明のスマートフォンによる撮影動作（傾ける(筺体：横向き/天：左)）と、角速度センサ（ジャイロセンサ）が出力するセンサ値の時間変化パターンの関係を示す図である。
【図１５】本発明のスマートフォンによる撮影動作（傾ける(筺体：縦/天：上)）と、角速度センサ（ジャイロセンサ）が出力するセンサ値の時間変化パターンの関係を示す他の図である。
【発明を実施するための形態】
【００５６】
以下、本発明の一実施形態について説明する。
【００５７】
図１に、本実施形態に係るスマートフォン１の構成を示す。スマートフォン１は、スマートフォン本体（単に、本体１と呼ぶ）を動かすことでこれに搭載された撮像装置の動作を制御することを目的とするものであり、撮像装置２、表示装置３、記憶装置４、センサ５、及び制御装置６を備える。なお、これらの装置は、一軸方向を長手とする矩形面を有する筐体状の本体１（例えば図２参照）内に搭載されている。なお、表示装置３が設けられた本体１の一面上で互いに直交する方向をＸ軸及びＹ軸方向とし、一面に直交する方向をＺ軸方向とする。撮像においては、表示装置３の表示面を水平方向に向けて本体１を支持することが多いが、その状態においてＺ軸は水平方向、Ｘ軸及びＹ軸の一方が鉛直方向、他方が水平方向を向くこととなる。
【００５８】
撮像装置２は、本体１に備えられたレンズ（不図示）を介して被撮像物を撮像する装置であり、一例としてＣＣＤイメージセンサ、或いはＣＭＯＳイメージセンサを採用することができる。撮像装置２は、本体１内に組み込まれている。なお、本実施形態で制御される撮像装置の動作は、撮像装置２の電子シャッタを起動してスチール画像、すなわち写真（単に、イメージとも呼ぶ）を撮ることとするが、これに限らず、動画を撮ることを可能である。また、電子シャッタを起動しない時点において画像を記録することも可能である。撮像装置２により撮像されたイメージは、例えばＪＰＥＧフォーマット等のデジタルフォーマットにより表現されて、後述する表示装置３及び記憶装置４に送信される。
【００５９】
表示装置３は、撮像装置２によりレンズ（不図示）を介して捉えられているイメージ或いは撮像されたイメージを表示する装置であり、本体１の表面に設けられている。
【００６０】
記憶装置４は、撮像装置２により撮像されたイメージを保存する装置であり、例えばＤＲＡＭ等のメモリを採用することができる。記憶装置４は、本体１内に組み込まれている。
【００６１】
センサ５は、本体１内に搭載されて、撮像装置２の３軸方向に関する速度、加速度、角速度又は角加速度を測定する装置である。センサ５として、例えば、撮像装置２の３軸方向に関する加速度を測定する加速度センサを採用することができる。加速度センサにより、撮像装置２の３軸方向に関する加速度を測定し、後述する制御装置６により、加速度センサから出力される３軸方向のそれぞれに対応する３つのセンサ値のうちの２つを用いて撮像装置２の動作を制御することで、ユーザが本体１を動かすことにより撮像装置２の動作を制御することが可能となる。また、センサ５として、撮像装置２の３軸に関する回転角を測定する角速度センサ（ジャイロセンサとも呼ぶ）を採用することができる。角速度センサにより、撮像装置２の３軸に関する回転角を測定し、後述する制御装置６により、角速度センサから出力される３軸に関する回転角に対応する３つのセンサ値のうちの１つを用いて撮像装置２の動作を制御することで、ユーザが本体１を動かすことにより撮像装置２の動作を制御することが可能となる。
【００６２】
なお、センサ５として、加速度センサ及び角速度センサ（ジャイロセンサ）に限らず、速度センサ、角加速度センサを採用してもよい。
【００６３】
制御装置６は、撮像装置２の動作を制御する装置である。制御装置６は、例えば中央処理装置（ＣＰＵ）を有し、撮像アプリケーションを実行することにより撮像装置２の動作を制御する装置としての機能を発現する。なお、撮像アプリケーションは、例えば記憶装置４に記憶され、それをＣＰＵが読み込むことができる。制御装置６は、センサ５から３軸方向のそれぞれに対応する３つのセンサ値を周期的に受信し、それらのうちの少なくとも１つのセンサ値の時間変化パターンを判断する。それにより、ユーザが本体１を動かすことで生じる３つのセンサ値のうちの少なくとも１つのセンサ値の時間変化パターンに基づいて撮像装置２の動作を制御することができる。制御装置６による撮像装置２の動作制御については後述する。
【００６４】
その他、通信装置（不図示）を備え、これにより撮像装置２により撮像されたイメージを転送できることとしてもよい。
【００６５】
図２及び図３に、それぞれ、ユーザによる撮像装置２を操作するための動作の一例及びこの動作における本体１の動きを示す。ユーザは、図２に示すように、右手８で本体１の一短手を持ち、表示装置３を自身（図面奥方）に向け、本体１を横向きに支持することで、被撮像物、例えばユーザ自身を撮像フレーム内に位置決めして撮像する姿勢をとる。この状態から、ユーザは、（１）手首を回して本体１を約９０度、図２における反時計周りに振り上げる。それにより、本体１は、縦向きに支持される。この状態から、ユーザは、（２）手首を逆に回して本体１を図２における時計回りに振り下ろす。それにより、本体１は横向きに支持され、被撮像物を撮像する姿勢を再度とる。ユーザは、（３）この状態で本体１をとめ、（４）静止することで、撮像装置２の動作を制御する。この一連の動作において、本体１は、図３よりわかるように、（１）一短手近傍を通るＺ軸について一向き回転し、その後、（２）逆の向きに回転して回転前の位置に戻り、（３）静止する。なお、右手でなく左手でも同様である。
【００６６】
なお、ここでは、本体１をその短手近傍を通るＺ軸に関して回転することとしたが、Ｚ軸は本体１の別の位置を通るものであってもよい、例えば長手の近傍を通るＺ軸に関して回転することとしてもよい。すなわち、図に示されたＺ軸に平行な方向に関して回転すれば、回転軸のＸ座標及びＹ座標は任意である。
【００６７】
図４及び図５に、それぞれ、ユーザによる撮像装置２を操作するための動作の別の例及びこの動作における本体１の動きを示す。ユーザは、図４に示すように、両手９で本体１の両短手を持ち、表示装置３を自身（図面奥方）に向け、本体１を横向きに支持することで、被撮像物、例えばユーザ自身を撮像フレーム内に位置決めして撮像する姿勢をとる。この状態から、ユーザは、（１）手首を回して本体１を約９０度、上向き（又は下向き）に傾ける。それにより、本体１は、水平に支持される。この状態から、ユーザは、（２）手首を逆に回して本体１を戻す。それにより、本体１は横向きに支持され、被撮像物を撮像する姿勢を再度とる。ユーザは、（３）この状態で本体１を静止することで、撮像装置の動作を制御する。この一連の動作において、本体１は、図５よりわかるように、（１）本体の中心を通るＹ軸について一向きに傾き（Ｙ軸に関して回転し）、その後、（２）戻って（Ｙ軸に関して逆向きに回転して）最初の位置に戻り、（３）静止する。なお、両手でなく片手で操作しても同様である。
【００６８】
なお、ここでは、本体１をその中心を通るＹ軸に関して傾けることとしたが、本体１の中心を通るＸ軸に関して傾けることとしてもよい。また、回転軸の座標は任意である。
【００６９】
制御装置６による撮像装置２の動作制御について説明する。動作制御は、センサ値の時間変化パターンの判断と、静止等の撮像条件の判断がある。
【００７０】
（センサ値の時間変化パターンの判断）
制御装置６は、センサ５から３つのセンサ値ｇｄ，ｎ（ｄ＝１，２，３：ｄ＝１はＸ軸に，ｄ＝２はＹ軸に，ｄ＝３はＺ軸に係るセンサ値）を間隔Δｔで周期的に受信する。時間ｔｉ（＝ｉΔｔ）に対する数値列ｇｄ，ｉ（ｉ＝１〜Ｎ）を得ることができる。制御装置６は、数値列ｇｄ，ｉが予め定められた時間変化パターンに対応するか否か判断する。ここで、「予め定められた時間変化パターン」及び判断するための手順には、バリエーションが考えられる。以下、説明する。
【００７１】
以下、センサ５が加速度センサである場合について説明する。
【００７２】
制御装置６は、受信毎に３つのセンサ値ｇｄ，ｎ（ｄ＝１，２，３）の絶対値のうちの少なくとも１つの変化量Δｇｄ，ｎ（＝｜ｇｄ，ｎ＋１−ｇｄ，ｎ｜）が閾値を超えたか否か判断し、閾値を超えた場合にその時点ｔｎを時間変化パターンの開始時点とする。以下、説明のため、ｄ＝１の変化量が閾値を超えたものとするが、ｄ＝２、ｄ＝３についても同様である。
【００７３】
その後、制御装置６は、閾値を超えた変化量以外の変化量Δｇｄ，n（ｄ＝２，３）のうち一方が閾値を超えたか否か判断する。以下、説明のため、ｄ＝２の変化量が閾値を超えたものとするが、ｄ＝３についても同様である。すなわち、ｄ＝１，２の変化量が閾値を超え、ｄ＝３の変化量は閾値を超えない。
【００７４】
その後、制御装置６は、ｇ１，ｉ及びｇ２，ｉ（ｉ＝ｎ〜Ｎ）の値が「予め定められた時間変化パターン」に対応するか、ｇ３，ｉ（ｉ＝ｎ〜Ｎ）の値がほぼ一定であるかを判断する。ｇ３，ｉの値については、ｇ３，ｎの値との差（｜ｇ３，ｎ−ｇ３，ｉ｜）がｉによらずに一定値以下であれば「ほぼ一定」とすることができる。
【００７５】
ｄ＝１，２について「予め定められた時間変化パターン」に対応するか否かについては、以下の手順が考えられる。
【００７６】
（手順１）Δｇｄ，ｉの値が正負逆転する（Δｇｄ，ｉとΔｇｄ，ｉ＋１との正負が異なる）時点ｔｉを求め、そのｉに対するｇｄ，ｉの値を「極値（ｐ）」として記憶する。また、その後、Δｇｄ，ｉの値がΔｇｄ，nの値に近づく（｜ｇｄ，n−ｇｄ，ｉ｜）ことを確認する。（この時のｉの値をＵとする。）ここで、ｇｄ，n≒９．８（ｍ／ｓ２）又はｇｄ，n≒−９．８（ｍ／ｓ２）であれば、４．９≦｜ｐ−ｇｄ，n｜（Ｘ１）≦１４．７（ｍ／ｓ２）であることで「予め定められた時間変化パターン」に対応するとすることができる。また、ｇｄ，n≒０（ｍ／ｓ２）であれば、８．５≦｜ｐ−ｇｄ，n｜（Ｘ２）≦９．８（ｍ／ｓ２）であることで「予め定められた時間変化パターン」に対応するとすることができる。ここで、重力加速度は１方向にのみ存在するので、ｇ１，n及びｇ２，nの一方が０に近く、他方が９．８又は−９．８に近い。
【００７７】
(手順２)  ユーザに撮像装置２を操作するための動作をさせると同時に、制御装置６により、センサ５から３つのセンサ値を受信して、基準パターンｆｉ（ｉ＝１〜Ｍ）を予め求めておく。受信毎のセンサ値ｇｄ，ｉと基準パターンｆｄ，ｉとの差の絶対値の積算値Ｓ＝Σｄ＝１〜３（Σｉ＝１〜Ｍ｜ｇｄ，ｎ＋ｉ−１−ｆｄ，ｉ｜）を求める。積算値Ｓが予め定めた閾値以下であれば、「予め定められた時間変化パターン」に対応するとすることができる。
【００７８】
以上、手順１及び手順２について説明したが、（１）−９．８ｍ／ｓ２からＸ１だけ増加し、時間Ｔ以内に−９．８ｍ／ｓ２に戻る変化、（２）０ｍ／ｓ２からＸ２だけ増加又は減少し、時間Ｔ以内に０ｍ／ｓ２に戻る変化、（３）９．８ｍ／ｓ２からＸ１だけ減少し、時間Ｔ以内に９．８ｍ／ｓ２に戻る、のうちのいずれかであること、又は、基準パターンとの乖離が小さいこと、を判断できればよく、かかる判断のための手順は無数に存在する。いずれの手順を用いてもよい。
【００７９】
図６に、図２に示した本体１を振る動作において加速度センサが出力するセンサ値の時間変化パターンを示す。振る動作において、３つのセンサ値のうちの２つのセンサ値、すなわち図３に定義するＸ軸及びＹ軸に関するセンサ値が時間に対して変化し且つ残りの１つのセンサ値、すなわち図３に定義するＺ軸に関するセンサ値が時間に対して略一定となる。すなわち、Ｚ軸は重力加速度の方向に対して略垂直な方向を維持し、Ｘ−Ｙ平面が重力加速度の方向を含んで回転する。制御装置６は、この場合に、Ｘ軸及びＹ軸に関するセンサ値の時間変化パターンを判断することで、撮像装置２の動作を制御することができる。
【００８０】
図７に、図４に示した本体１を傾ける動作において加速度センサが出力するセンサ値の時間変化パターンを示す。傾ける動作において、３つのセンサ値のうちの２つのセンサ値、すなわち図５に定義するＸ軸及びＺ軸に関するセンサ値が時間に対して変化し且つ残りの１つのセンサ値、すなわち図５に定義するＹ軸に関するセンサ値が時間に対して略一定となる。Ｙ軸は重力加速度の方向に対して略垂直な方向を維持し、Ｘ−Ｚ平面が重力加速度の方向を含んで回転する。制御装置６は、この場合に、Ｘ軸及びＺ軸に関するセンサ値の時間変化パターンを判断することで、撮像装置２の動作を制御することができる。
【００８１】
以上のように、振る動作、傾ける動作共に、２つのセンサ値が時間に対して変化し、残りの１つのセンサ値が時間に対して略一定となる。重力加速度の方向（動作開始前の−Ｘ方向）とは直交する方向の軸（Ｙ軸、Ｚ軸）を中心として回転するので、回転軸方向には重力加速度が変化せず、他の２軸方向に重力加速度が変化する。また、少なくとも１秒程度をかけてスマートフォンの長径の長さの２０ｃｍ程度が移動するものであり、その移動に必要な加速度は１ｍ／ｓ２以下となり（厳密にはスマートフォン上のセンサ位置と回転中心の座標とに依存し、より小さい可能性もある）、重力加速度の変化が確実に検出される。なお、重力加速度の方向の軸（Ｘ軸）を中心とした回転では、重力加速度に対するスマートフォンの方向が変化せず、３つのセンサ値の全てが変化しないので、加速度センサによっては、動作を検出することができない。
【００８２】
以下、センサ５が角速度センサである場合について説明する。
【００８３】
制御装置６は、受信毎に３つのセンサ値ｇｄ，ｎの絶対値のうちの少なくとも１つの値が閾値を超えたか否か判断し、閾値を超えた場合にその時点ｔｎを時間変化パターンの開始時点とする。以下、説明のため、ｄ＝２の値が閾値を超えたものとするが、ｄ＝１、ｄ＝３についても同様である。
【００８４】
その後、制御装置６は、ｇ２，ｉ（ｉ＝ｎ〜Ｎ）の値が「予め定められた時間変化パターン」に対応するか、ｇ１，ｉ及びｇ３，ｉ（ｉ＝ｎ〜Ｎ）の値がほぼ一定であるかを判断するｇ１，ｉ及びｇ３，ｉの値については、ｇ１，ｎ及びｇ３，ｎの値との差（｜ｇ１，ｎ−ｇ１，ｉ｜、｜ｇ３，ｎ−ｇ３，ｉ｜）がｉによらずに一定値以下であれば「ほぼ一定」とすることができる。
【００８５】
ｄ＝２について「予め定められた時間変化パターン」に対応するか否かについては、以下の手順が考えられる。
【００８６】
（手順１）閾値を超えたｇ２，ｉの値が０近くに戻る（｜ｇ２，ｉ｜が所定の閾値よりも小さい）時点ｔｉを求め、そのｉに対する時点をｕとする。ｔ＝ｎからｔ＝ｕまでのｇ２，ｉの積算値Ｓ’＝Σｉ＝ｎ〜ｕ（ｇ２，ｉ）を求め、積算値Ｓ’が、π／３≦｜Ｓ’｜≦２π／３ラジアンであれば、「予め定められた時間変化パターン」の前半部分に対応するとする。その後、ｕの値を前記ｎの値として扱い、再びｇ２，ｉの値が閾値を超えてから０近くに戻る時点をｕ’とし、同様に積算値Ｓ’’＝Σｉ＝ｕ〜ｕ’（ｇ２，ｉ）を求める。積算値Ｓ’’が、π／３≦｜Ｓ’’｜≦２π／３ラジアンであり、Ｓ’とＳ’’との正負が逆であれば、「予め定められた時間変化パターン」に対応するとする。
【００８７】
(手順２)  ユーザに撮像装置２を操作するための動作をさせると同時に、制御装置６により、センサ５から３つのセンサ値を受信して、基準信号ｆｉ（ｉ＝１〜Ｍ）を予め求めておく。受信毎のセンサ値ｇｄ，ｉと基準信号ｆｉとの差の絶対値の積算Ｓ＝Σｉ＝１〜Ｍ｜ｇｎ＋ｉ−１−ｆｉ｜する。積算値Ｓが予め定めた閾値以下であれば、「予め定められた時間変化パターン」に対応するとすることができる。
【００８８】
以上、手順１及び手順２について説明したが、π／３≦｜Ｓ’｜≦２π／３ラジアン、π／３≦｜Ｓ’’｜≦２π／３ラジアン、かつ、Ｓ’とＳ’’との正負が逆である、又は、基準パターンとの乖離が小さいこと、を判定できればよく、かかる判定のための手順は無数に存在する。いずれの手順を用いてもよい。
【００８９】
図８に、図４に示した本体１を傾ける動作において角速度センサが出力するセンサ値の時間変化パターンを示す。傾ける動作において、３つのセンサ値のうちの１つのセンサ値、すなわち図５に定義するＹ軸に関するセンサ値が時間に対して変化し且つ残りの２つのセンサ値、すなわち図５に定義するＸ軸及びＺ軸に関するセンサ値が時間に対して略一定となる。傾ける動作は、Ｙ軸を中心とする回転であり、Ｙ軸中心の角速度が発生し、他軸中心の角速度が発生しない。制御装置６は、この場合に、Ｙ軸に関するセンサ値の時間変化パターンを判断することで、撮像装置２の動作を制御することができる。
【００９０】
振る動作の場合には、Ｚ軸を中心とする回転であり、Ｚ軸に関するセンサ値が時間に対して変化し、Ｘ軸及びＹ軸に関するセンサ値が時間に対して略一定となる。同様に、Ｘ軸を中心とする回転動作についても、Ｘ軸に関するセンサ値が時間に対して変化し、Ｙ軸及びＺ軸に関するセンサ値が時間に対して略一定となる。加速度センサでは検出できないＸ軸を中心とする回転動作について、角速度センサでは検出できる。
【００９１】
センサ５が、加速度センサである場合にも、角速度センサである場合にも、動作の開始時点（ｔｎ）から終了時点（加速度センサである場合にはｔＵ、角速度センサである場合にはｔｕ’）までの時間が０．８〜１．８秒であることを、確認する。動作の開始時点から終了時点までの時間が０．８〜１．８秒でない場合には、「予め定められた時間変化パターン」に対応しないものとする。
【００９２】
なお、基準パターンと比較する場合（手順２）には、動作の開始時点から終了時点までの時間の確認を行わなくともよい。基準パターンの時間長が０．８〜１．８秒であれば、動作の開始時点から終了時点までの時間が０．８〜１．８秒でない場合には必然的に積算値Ｓが大きくなると考えられるためである。
【００９３】
（静止等の撮像条件の判断）
制御装置６は、動作の終了後に、静止を判断する。静止の判断は、Δｇｄ，ｉの値が、ｄ＝１，２，３の全てについて一定値以下であることが所定の時間（例えば０．２秒）にわたって継続することとすればよい。
【００９４】
制御装置６は、動作の開始時点（ｔｎ）から静止が判断されるまでの時間が１．５〜２．５秒である場合にのみ、静止が判断されたら、撮像装置２を動作させることとする。ただし、動作の開始時点から静止が判断されるまでの時間にかかわらず、静止が判断されたら撮像装置２を動作させることとしてもよい。
【００９５】
制御装置６は、また、動作の開始時点の画像と静止が判断された時の画像とを比較し、両画像の相違が大きい場合には撮像装置２を動作させないこととしてもよい。ユーザは、動作開始前に撮像フレームの位置決め（撮像装置の位置と方向の確定）を行うと考えられる。位置決めされた撮像フレームと異なる場合には撮像を行わず、位置決めのずれを防ぐものである。
【００９６】
このため、制御装置６は、動作の開始時点と静止が判断された時点において、撮像装置２を動作させて画像を取得する。
【００９７】
２の画像が類似するか否かの比較は、各種の方法が知られており、いずれを用いてもよい。一例として、以下の方法によれば高速の処理が可能である。
【００９８】
画像データの各ピクセルは、色の値（例えばＲＧＢ値）を有している。色の値（多くの場合２４ビット）を、クラスタ化し（近い色を同じ色であるとみなし）、例えば６４色とする。例えばＲＧＢ各々の値の上位２ビットのみを見ることとすれば６４色になる。画像全体にわたり、各ピクセルが６４色のいずれであるかのヒストグラムを求める。すなわち、ｃ番目の色の全ピクセル出現比率ｐｃを求める。Σｃ＝１〜６４ｐｃ＝１である。
【００９９】
２つの画像の類似度Ｒを、Ｒ＝Σｃ＝１〜６４（ｍｉｎ（ｐ１，ｃ，ｐ２，ｃ））として計算する。ｍｉｎは２つの値のうちの小さいほうである。同一の画像であればＲ＝１となる。（Σｃ＝１〜６４（ｍｉｎ（ｐ１，ｃ，ｐ２，ｃ））＝１−Σｃ＝１〜６４（｜ｐ１，ｃ−ｐ２，ｃ｜）であり、画像が相違するほどＲの値が小さくなることがわかる。）。
【０１００】
かかる高速計算を行うと、静止が判断された時点と、その前後の時点とを合わせて複数の画像を処理し、Ｒが最大のものが撮像された画像である（スマートフォン内に保存される）ようにすることが可能となる。
【０１０１】
以上詳細に説明したように、本実施形態に係るスマートフォン１は、被撮像物を撮像する撮像装置２、撮像装置２の３軸方向に関する位置又は位置に関連する量を測定するセンサ５、及びセンサ５から出力される３軸方向のそれぞれに対応する３つのセンサ値のうちの少なくとも１つを用いて撮像装置２の動作を制御する制御装置６を備える。センサ５により、被撮像物を撮像する撮像装置２の３軸方向に関する位置又は位置に関連する量を測定し、制御装置６により、そのセンサ５から出力される３軸方向のそれぞれに対応する３つのセンサ値のうちの少なくとも１つを用いて撮像装置２の動作を制御することで、ユーザがスマートフォン本体を動かすことによりスマートフォンに搭載された撮像装置２の動作を制御することが可能となる。
【産業上の利用可能性】
【０１０２】
本体を動かすことで撮像装置を動作させ、撮像フレームの位置決め及びいわゆる「手ぶれ」の状態の防止を実現するスマートフォンである。多くの個人ユーザによる利用が考えられ、スマートフォン製造業者による本発明の実装が期待される。【０１０３】
本発明のスマートフォンにおいける制御動作は、撮像装置の電子シャッタを起動してスチール画像、すなわち写真（単に、イメージとも呼ぶ）を撮ることに限らず、動画を撮ることも適用される。また、電子シャッタを起動しない時点において画像を記録することにも適用される。
【符号の説明】
【０１０４】
１    スマートフォン（本体）
２    撮像装置
３    表示装置
４    記憶装置
５    センサ
６    制御装置
【図１】
2018066705.tif 000003
【図２】
2018066705.tif 000004
【図３】
2018066705.tif 000005
【図４】
2018066705.tif 000006
【図５】
2018066705.tif 000007
【図６】
2018066705.tif 000008
【図７】
2018066705.tif 000009
【図８】
2018066705.tif 000010
【図９】
2018066705.tif 000011
【図１０】
2018066705.tif 000012
【図１１】
2018066705.tif 000013
【図１２】
2018066705.tif 000014
【図１３】
2018066705.tif 000015
【図１４】
2018066705.tif 000016
【図１５】
2018066705.tif 000017
【国際調査報告】
2018066705.tif 000018
2018066705.tif 000019
2018066705.tif 000020
2018066705.tif 000021