(57)【要約】【課題】本体を動かすことで撮像装置を動作させ、撮像フレームの位置決め及びいわゆる「手ぶれ」の状態の防止を実現するスマートフォンを提供すること。【解決手段】スマートフォン１は、被撮像物を撮像する撮像装置２、撮像装置２の３軸方向に関する位置又は位置に関連する量を測定するセンサ５、及びセンサ５から出力される３軸方向のそれぞれに対応する３つのセンサ値のうちの少なくとも１つを用いて撮像装置２の動作を制御する制御装置６を備える。センサ５により、被撮像物を撮像する撮像装置２の３軸方向に関する位置又は位置に関連する量を測定し、制御装置６により、そのセンサ５から出力される３軸方向のそれぞれに対応する３つのセンサ値のうちの少なくとも１つを用いて撮像装置２の動作を制御することで、ユーザがスマートフォン本体を動かすことによりスマートフォンに搭載された撮像装置２の動作を制御することが可能となる。【選択図】図１
2018061220.tif 000002
【特許請求の範囲】
【請求項１】
被撮像物を撮像する撮像装置と、
前記撮像装置の３軸方向に関する速度、加速度、角速度又は角加速度を測定するセンサと、
前記センサから出力される前記３軸方向のそれぞれに対応する３つのセンサ値のうちの少なくとも１つを用いて前記撮像装置の動作を制御する制御装置と、
を備え、
前記制御装置は、
前記センサから前記３つのセンサ値を周期的に受信し、該３つのセンサ値のうちの少なくとも１つのセンサ値の時間変化パターンが予め定められた時間変化パターンに対応するか否か判断し、
前記時間変化パターンの後、前記３つのセンサ値が時間に対して略一定であるか否か判断し、
略一定である場合に前記撮像装置の動作を制御し、
前記予め定められた時間変化パターンは、前記スマートフォンを前記３軸のうちのいずれか１軸について一向きに回転させた後、逆向きに回転して回転前の位置に戻すことで生じる時間変化パターンであることを特徴とする、スマートフォン。
【請求項２】
前記制御装置は、ユーザに、前記スマートフォンを前記３軸のうちのいずれか１軸について一向きに回転し、その後に逆向きに回転して回転前の位置に戻す動作をさせると同時に、前記センサから前記３つのセンサ値を受信することで、前記予め定められた時間変化パターンを決定することを特徴とする、請求項１に記載のスマートフォン。
【請求項３】
前記制御装置は、前記少なくとも１つのセンサ値と前記予め定められた時間変化パターンとの差分を算出し、該差分の積算を閾値と比較することを特徴とする、請求項２に記載のスマートフォン。
【請求項４】
前記センサは、前記撮像装置の３軸方向に関する加速度を測定する加速度センサであり、
前記制御装置は、前記３つのセンサ値のうちの２つのセンサ値が時間に対して変化し且つ残りの１つのセンサ値が時間に対して略一定である場合に、前記２つのセンサ値の時間変化パターンを判断することを特徴とする、請求項１から３のいずれか一項に記載のスマートフォン。
【請求項５】
前記予め定められた時間変化パターンは、前記センサ値である加速度の値が、（１）−９．８ｍ／ｓ２からＸ１だけ増加し、時間Ｔ以内に−９．８ｍ／ｓ２に戻る変化、（２）０ｍ／ｓ２からＸ２だけ増加又は減少し、時間Ｔ以内に０ｍ／ｓ２に戻る変化、（３）９．８ｍ／ｓ２からＸ１だけ減少し、時間Ｔ以内に９．８ｍ／ｓ２に戻る変化パターンのうちのいずれかであり、
前記Ｘ１の値は、４．９〜１４．７ｍ／ｓ２であり、
前記Ｘ２の値は、８．５〜９．８ｍ／ｓ２であり、
前記Ｔの値は、０．８〜１．８秒であることを特徴とする、請求項６に記載のスマートフォン。
【請求項６】
前記センサは、前記撮像装置の３軸に関する回転角を測定する角速度センサであり、
前記制御装置は、前記３つのセンサ値のうちの１つのセンサ値が時間に対して変化し且つ残りの２つのセンサ値が時間に対して略一定である場合に、前記１つのセンサ値の時間変化パターンを判断することを特徴とする、請求項１から３のいずれか一項に記載のスマートフォン。
【請求項７】
前記予め定められた時間変化パターンは、前記センサ値である角速度の値が、（１）０から増加又は減少して０に戻り、前記センサ値の積分の絶対値がＹラジアンである変化と、（２）０から減少又は増加して０に戻り、前記センサ値の積分の絶対値がＹラジアンである変化と、が時間Ｔの間に連続する変化パターンであり、
前記Ｙの値はπ／３〜２π／３ラジアンであり、
前記Ｔの値は０．８〜１．８秒であることを特徴とする、請求項５に記載のスマートフォン。
【請求項８】
前記制御装置は、前記３つのセンサ値のうちの少なくとも１つの変化量が閾値を超えた場合に、該閾値を超えた時点を時間変化パターンの開始時点として前記３つのセンサ値の時間変化パターンを判断することを特徴とする、請求項１〜７のいずれか１項に記載のスマートフォン。
【請求項９】
前記制御装置は、前記開始時点からＴ’だけ経過した時点で撮像装置を動作させ、
前記Ｔ’の値は、１．５〜２．５秒であることを特徴とする、請求項８に記載のスマートフォン。
【請求項１０】
前記制御装置は、前記開始時点における前記撮像装置の画像と前記開始時点からＴ’だけ経過した時点における前記撮像装置の画像とを比較し、両画像の相違が閾値よりも小さい場合にのみ撮像装置を動作させることを特徴とする、請求項９に記載のスマートフォン。
【請求項１１】
前記制御装置は、前記両画像の相違を、前記両画像のＲＧＢ輝度値のヒストグラムの相違に基づいて比較することを特徴とする、請求項１０に記載のスマートフォン。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置の動作を制御するスマートフォンに関する。
【背景技術】
【０００２】
スマートフォンには撮像装置が搭載され、日常的に、これを用いて被撮像物が撮像されている。撮像の際、ユーザは片方又は両方の手でスマートフォンを支持・固定し、撮像ボタンを押す操作をする。ここで、撮像ボタンは、撮像装置の撮像方向に対して、スマートフォンの逆側の面に設けられている。ユーザが被撮像物を正面に見てスマートフォンのユーザ自身の側を操作することで撮像できるものである。
【０００３】
スマートフォンを操作するユーザがそのスマートフォンを用いて自身を撮像するいわゆる「自撮り」においては、撮像ボタンがスマートフォンのユーザに向いていない面にあることとなる。このため、撮像ボタンを押すことが容易でなく、スマートフォンが動いて撮像フレームの位置決めがずれる、いわゆる「手ぶれ」の状態になる、その他の問題が発生する可能性が高くなる。なお、撮像ボタンの操作に起因するかかる問題は、自撮りでない場合にも発生し得る。
【０００４】
そこで、例えば特許文献１には、スマートフォンと独立のコントローラを携帯し、これを用いて無線でスマートフォンを操作するシステムが開示されている。しかし、スマートフォンと合わせてコントローラを携帯することが広く受け入れられるものではない。むしろ、スマートフォンに撮像を行わせる手段として、撮像ボタンの操作以外の手段をスマートフォンに持たせることが有効である。
【０００５】
ボタンの操作以外の手段によるスマートフォンの操作としては、例えば非特許文献１には、スマートフォンを振る動作によってアプリケーションを起動する手段が開示されている。しかし、撮像については、撮像フレームの位置決め、いわゆる「手ぶれ」の状態の防止等の要件を満たすことが必要であり、単純にスマートフォンを振る動作によって撮像することでは不十分である。また、最近のスマートフォンでは音量ボタン等で撮像を行う機能を備えたものもあるが、多くのユーザが所持しているものではない。
【０００６】
以上に述べたとおり、撮像ボタンの操作以外の手段によってスマートフォンの撮像装置を使用する手段は、広くは知られていなかった。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１６−０７２６７３号公報
【０００８】
【非特許文献１】Shake - Google Play の Android アプリhttps://play.google.com/store/apps/details?id=com.adl.appshaker&hl=ja
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、本体を動かすことで撮像装置を動作させ、撮像フレームの位置決め及びいわゆる「手ぶれ」の状態の防止を実現するスマートフォンを提供することを課題とする。
【課題を解決するための手段】
【００１０】
本発明のスマートフォンは、
被撮像物を撮像する撮像装置と、
前記撮像装置の３軸方向に関する速度、加速度、角速度又は角加速度を測定するセンサと、
前記センサから出力される前記３軸方向のそれぞれに対応する３つのセンサ値のうちの少なくとも１つを用いて前記撮像装置の動作を制御する制御装置と、
を備え、
前記制御装置は、
前記センサから前記３つのセンサ値を周期的に受信し、該３つのセンサ値のうちの少なくとも１つのセンサ値の時間変化パターンが予め定められた時間変化パターンに対応するか否か判断し、
前記時間変化パターンの後、前記３つのセンサ値が時間に対して略一定であるか否か判断し、
前記予め定められた時間変化パターンは、前記スマートフォンを前記３軸のうちのいずれか１軸について一向きに回転させた後、逆向きに回転して回転前の位置に戻すことで生じる時間変化パターンであることを特徴とする。
【００１１】
この特徴によれば、３つのセンサ値の時間変化パターンが予め定められたものとなるように、ユーザがスマートフォン本体を動かすことによりスマートフォンに搭載された撮像装置の動作を制御することが可能となる。予め定められた時間変化パターンは、スマートフォンを３軸のうちのいずれか１軸について一向きに回転させた後、逆向きに回転して回転前の位置に戻すことで生じる時間変化パターンであるものとする。ユーザが、被撮像物を撮像する姿勢でスマートフォンを位置決めし、その状態から３軸のうちのいずれか１軸について一向きに回転させた後、逆向きに回転して回転前の位置に戻し（撮像フレームの位置決めをし）、静止させ（いわゆる「手ぶれ」をなくし）、被撮像物を撮像する姿勢を再度とったうえで撮像装置の動作を制御することができる。
【００１２】
本発明のスマートフォンは、
前記制御装置は、ユーザに、前記スマートフォンを前記３軸のうちのいずれか１軸について一向きに回転し、その後に逆向きに回転して回転前の位置に戻す動作をさせると同時に、前記センサから前記３つのセンサ値を受信することで、前記予め定められた時間変化パターンを決定することを特徴とする。
【００１３】
この特徴によれば、撮像装置を動作させるのに利用する予め定められた時間変化パターンをユーザ毎に固有に設定することができる。
【００１４】
本発明のスマートフォンは、
前記制御装置は、前記少なくとも１つのセンサ値と前記予め定められた時間変化パター
ンとの差分を算出し、該差分の積算を閾値と比較することを特徴とする。
【００１５】
この特徴によれば、差分の積算が閾値より小さい場合に少なくとも１つのセンサ値の時間変化パターンが予め定められた時間変化パターンに対応すると判断することができ、確実な判断をおこなうことができる。
【００１６】
本発明のスマートフォンは、
前記センサは、前記撮像装置の３軸方向に関する加速度を測定する加速度センサであり、
前記制御装置は、前記３つのセンサ値のうちの２つのセンサ値が時間に対して変化し且つ残りの１つのセンサ値が時間に対して略一定である場合に、前記２つのセンサ値の時間変化パターンを判断することを特徴とする。
【００１７】
この特徴によれば、多くのスマートフォンに搭載されている加速度センサにより、制御装置によって撮像装置の動作を制御することが可能となる。加速度センサについては、後述のとおり、３つのセンサ値のうちの２つのセンサ値が時間に対して変化し且つ残りの１つのセンサ値が時間に対して略一定である。
【００１８】
本発明のスマートフォンは、
前記予め定められた時間変化パターンは、前記センサ値である加速度の値が、（１）−９．８ｍ／ｓ２からＸ１だけ増加し、時間Ｔ以内に−９．８ｍ／ｓ２に戻る変化、（２）０ｍ／ｓ２からＸ２だけ増加又は減少し、時間Ｔ以内に０ｍ／ｓ２に戻る変化、（３）９．８ｍ／ｓ２からＸ１だけ増加し、時間Ｔ以内に９．８ｍ／ｓ２に戻る変化パターンのうちのいずれかであり、
前記Ｘ１の値は、４．９〜１４．７ｍ／ｓ２であり、
前記Ｘ２の値は、８．５〜９．８ｍ／ｓ２であり、
前記Ｔの値は、０．８〜１．８秒であることを特徴とする。
【００１９】
この特徴によれば、スマートフォンを、３軸のうちの１軸周りに０．８〜１．８秒の間に６０〜１２０度回転して戻すことにより、スマートフォンに搭載された撮像装置の動作を制御することが可能となる。０．８〜１．８秒の時間をかけてスマートフォンを動かすと、その動きの加速度はあまり大きなものではなく、３軸に対する重力加速度（９．８ｍ／ｓ２）の方向の時間変化として時間変化パターンを定めることができる。なお、４．９ｍ／ｓ２≒９．８ｍ／ｓ２×（１−ｃｏｓ６０°）、１４．７ｍ／ｓ２≒９．８ｍ／ｓ２×（１−ｃｏｓ１２０°）、８．５ｍ／ｓ２≒９．８ｍ／ｓ２×ｓｉｎ６０°であり、６０〜１２０度の回転によって時間変化パターンが実現される。
【００２０】
本発明のスマートフォンは、
前記センサは、前記撮像装置の３軸に関する回転角速度を測定する角速度センサであり、
前記制御装置は、前記３つのセンサ値のうちの１つのセンサ値が時間に対して変化し且つ残りの２つのセンサ値が時間に対して略一定である場合に、前記１つのセンサ値の時間変化パターンを判断することを特徴とする。
【００２１】
この特徴によれば、スマートフォンに搭載されている角速度センサにより、制御装置によって撮像装置の動作を制御することが可能となる。角速度センサについては、後述のとおり、３つのセンサ値のうちの１つのセンサ値が時間に対して変化し且つ残りの２つのセンサ値が時間に対して略一定である。
【００２２】
本発明のスマートフォンは、
前記予め定められた時間変化パターンは、前記センサ値である角速度の値が、（１）０から増加又は減少して０に戻り、前記センサ値の積分の絶対値がＹラジアンである変化と、（２）０から減少又は増加して０に戻り、前記センサ値の積分の絶対値がＹラジアンである変化と、が時間Ｔの間に連続する変化パターンであり、
前記Ｙの値はπ／３〜２π／３ラジアンであり、
前記Ｔの値は０．８〜１．８秒であることを特徴とする。
【００２３】
この特徴によれば、スマートフォンを、３軸のうちの１軸周りに０．８〜１．８秒の間に６０〜１２０度回転して戻すことにより、スマートフォンに搭載された撮像装置の動作を制御することが可能となる。
【００２４】
本発明のスマートフォンは、
前記制御装置は、前記３つのセンサ値のうちの少なくとも１つの変化量が閾値を超えた場合に、該閾値を超えた時点を時間変化パターンの開始時点として前記３つのセンサ値の時間変化パターンを判断することを特徴とする。
【００２５】
この特徴によれば、ユーザに、回転動作の開始時点を把握することができる。
【００２６】
本発明のスマートフォンは、
前記制御装置は、前記開始時点からＴ’だけ経過した時点で撮像装置を動作させ、
前記Ｔ’の値は、１．５〜２．５秒であることを特徴とする。
【００２７】
この特徴によれば、ユーザによる、一向きに回転し、その後に逆向きに回転して回転前の位置に戻す動作が、略２秒（１．５〜２．５秒）で行われた場合にのみ撮像装置を動作させることができる。ユーザは動作を略２秒ものとし、ユーザが動作を行わなかった場合における撮像装置の誤動作を予防することができる。
【００２８】
本発明のスマートフォンは、
前記制御装置は、前記開始時点における前記撮像装置の画像と前記開始時点からＴ’だけ経過した時点における前記撮像装置の画像とを比較し、両画像の相違が閾値よりも小さい場合にのみ撮像装置を動作させることを特徴とする。
【００２９】
この特徴によれば、ユーザが開始時点において撮像フレームの位置決めをした場合に、その位置にスマートフォンが戻された時に撮像装置を動作させることができる。
【００３０】
本発明のスマートフォンは、
前記制御装置は、前記両画像の相違を、前記両画像のＲＧＢ輝度値のヒストグラムの相違に基づいて比較することを特徴とする。
【００３１】
この特徴によれば、開始時点と撮像時点の撮像装置の画像の比較を、容易な計算で行うことができる。
【発明の効果】
【００３２】
本発明のスマートフォンによれば、本体を動かすことで撮像装置を動作させ、撮像フレームの位置決め及びいわゆる「手ぶれ」の状態の防止を実現することが可能となる。
【図面の簡単な説明】
【００３３】
【図１】図１は、スマートフォンの構成を示すブロック図である。
【図２】図２は、撮像装置を操作する動作の一例を説明する図である。
【図３】図３は、図２の動作に係るスマートフォンの動きを説明する図である。
【図４】図４は、撮像装置を操作する動作の別の例を説明する図である。
【図５】図５は、図４の動作に係るスマートフォンの動きを説明する図である。
【図６】図６は、図２の動作において加速度センサが出力するセンサ値の時間変化パターンを示す図である。
【図７】図７は、図４の動作において加速度センサが出力するセンサ値の時間変化パターンを示す図である。
【図８】図８は、図４の動作において角速度センサが出力するセンサ値の時間変化パターンを示す図である。
【発明を実施するための形態】
【００３４】
以下、本発明の一実施形態について説明する。
【００３５】
図１に、本実施形態に係るスマートフォン１の構成を示す。スマートフォン１は、スマートフォン本体（単に、本体１と呼ぶ）を動かすことでこれに搭載された撮像装置の動作を制御することを目的とするものであり、撮像装置２、表示装置３、記憶装置４、センサ５、及び制御装置６を備える。なお、これらの装置は、一軸方向を長手とする矩形面を有する筐体状の本体１（例えば図２参照）内に搭載されている。なお、表示装置３が設けられた本体１の一面上で互いに直交する方向をＸ軸及びＹ軸方向とし、一面に直交する方向をＺ軸方向とする。撮像においては、表示装置３の表示面を水平方向に向けて本体１を支持することが多いが、その状態においてＺ軸は水平方向、Ｘ軸及びＹ軸の一方が鉛直方向、他方が水平方向を向くこととなる。
【００３６】
撮像装置２は、本体１に備えられたレンズ（不図示）を介して被撮像物を撮像する装置であり、一例としてＣＣＤイメージセンサ、或いはＣＭＯＳイメージセンサを採用することができる。撮像装置２は、本体１内に組み込まれている。なお、本実施形態で制御される撮像装置の動作は、撮像装置２の電子シャッタを起動してスチール画像、すなわち写真（単に、イメージとも呼ぶ）を撮ることとするが、これに限らず、動画を撮ることを可能である。また、電子シャッタを起動しない時点において画像を記録することも可能である。撮像装置２により撮像されたイメージは、例えばＪＰＥＧフォーマット等のデジタルフォーマットにより表現されて、後述する表示装置３及び記憶装置４に送信される。
【００３７】
表示装置３は、撮像装置２によりレンズ（不図示）を介して捉えられているイメージ或いは撮像されたイメージを表示する装置であり、本体１の表面に設けられている。
【００３８】
記憶装置４は、撮像装置２により撮像されたイメージを保存する装置であり、例えばＤＲＡＭ等のメモリを採用することができる。記憶装置４は、本体１内に組み込まれている。
【００３９】
センサ５は、本体１内に搭載されて、撮像装置２の３軸方向に関する速度、加速度、角速度又は角加速度を測定する装置である。センサ５として、例えば、撮像装置２の３軸方向に関する加速度を測定する加速度センサを採用することができる。加速度センサにより、撮像装置２の３軸方向に関する加速度を測定し、後述する制御装置６により、加速度センサから出力される３軸方向のそれぞれに対応する３つのセンサ値のうちの２つを用いて撮像装置２の動作を制御することで、ユーザが本体１を動かすことにより撮像装置２の動作を制御することが可能となる。また、センサ５として、撮像装置２の３軸に関する回転角を測定する角速度センサ（ジャイロセンサとも呼ぶ）を採用することができる。角速度センサにより、撮像装置２の３軸に関する回転角を測定し、後述する制御装置６により、角速度センサから出力される３軸に関する回転角に対応する３つのセンサ値のうちの１つを用いて撮像装置２の動作を制御することで、ユーザが本体１を動かすことにより撮像装置２の動作を制御することが可能となる。
【００４０】
なお、センサ５として、加速度センサ及び角速度センサ（ジャイロセンサ）に限らず、速度センサ、角加速度センサを採用してもよい。
【００４１】
制御装置６は、撮像装置２の動作を制御する装置である。制御装置６は、例えば中央処理装置（ＣＰＵ）を有し、撮像アプリケーションを実行することにより撮像装置２の動作を制御する装置としての機能を発現する。なお、撮像アプリケーションは、例えば記憶装置４に記憶され、それをＣＰＵが読み込むことができる。制御装置６は、センサ５から３軸方向のそれぞれに対応する３つのセンサ値を周期的に受信し、それらのうちの少なくとも１つのセンサ値の時間変化パターンを判断する。それにより、ユーザが本体１を動かすことで生じる３つのセンサ値のうちの少なくとも１つのセンサ値の時間変化パターンに基づいて撮像装置２の動作を制御することができる。制御装置６による撮像装置２の動作制御については後述する。
【００４２】
その他、通信装置（不図示）を備え、これにより撮像装置２により撮像されたイメージを転送できることとしてもよい。
【００４３】
図２及び図３に、それぞれ、ユーザによる撮像装置２を操作するための動作の一例及びこの動作における本体１の動きを示す。ユーザは、図２に示すように、右手８で本体１の一短手を持ち、表示装置３を自身（図面奥方）に向け、本体１を横向きに支持することで、被撮像物、例えばユーザ自身を撮像フレーム内に位置決めして撮像する姿勢をとる。この状態から、ユーザは、（１）手首を回して本体１を約９０度、図２における反時計周りに振り上げる。それにより、本体１は、縦向きに支持される。この状態から、ユーザは、（２）手首を逆に回して本体１を図２における時計回りに振り下ろす。それにより、本体１は横向きに支持され、被撮像物を撮像する姿勢を再度とる。ユーザは、（３）この状態で本体１をとめ、（４）静止することで、撮像装置２の動作を制御する。この一連の動作において、本体１は、図３よりわかるように、（１）一短手近傍を通るＺ軸について一向き回転し、その後、（２）逆の向きに回転して回転前の位置に戻り、（３）静止する。なお、右手でなく左手でも同様である。
【００４４】
なお、ここでは、本体１をその短手近傍を通るＺ軸に関して回転することとしたが、Ｚ軸は本体１の別の位置を通るものであってもよい、例えば長手の近傍を通るＺ軸に関して回転することとしてもよい。すなわち、図に示されたＺ軸に平行な方向に関して回転すれば、回転軸のＸ座標及びＹ座標は任意である。
【００４５】
図４及び図５に、それぞれ、ユーザによる撮像装置２を操作するための動作の別の例及びこの動作における本体１の動きを示す。ユーザは、図４に示すように、両手９で本体１の両短手を持ち、表示装置３を自身（図面奥方）に向け、本体１を横向きに支持することで、被撮像物、例えばユーザ自身を撮像フレーム内に位置決めして撮像する姿勢をとる。この状態から、ユーザは、（１）手首を回して本体１を約９０度、上向き（又は下向き）に傾ける。それにより、本体１は、水平に支持される。この状態から、ユーザは、（２）手首を逆に回して本体１を戻す。それにより、本体１は横向きに支持され、被撮像物を撮像する姿勢を再度とる。ユーザは、（３）この状態で本体１を静止することで、撮像装置の動作を制御する。この一連の動作において、本体１は、図５よりわかるように、（１）本体の中心を通るＹ軸について一向きに傾き（Ｙ軸に関して回転し）、その後、（２）戻って（Ｙ軸に関して逆向きに回転して）最初の位置に戻り、（３）静止する。なお、両手でなく片手で操作しても同様である。
【００４６】
なお、ここでは、本体１をその中心を通るＹ軸に関して傾けることとしたが、本体１の中心を通るＸ軸に関して傾けることとしてもよい。また、回転軸の座標は任意である。
【００４７】
制御装置６による撮像装置２の動作制御について説明する。動作制御は、センサ値の時間変化パターンの判断と、静止等の撮像条件の判断がある。
【００４８】
（センサ値の時間変化パターンの判断）
制御装置６は、センサ５から３つのセンサ値ｇｄ，ｎ（ｄ＝１，２，３：ｄ＝１はＸ軸に，ｄ＝２はＹ軸に，ｄ＝３はＺ軸に係るセンサ値）を間隔Δｔで周期的に受信する。時間ｔｉ（＝ｉΔｔ）に対する数値列ｇｄ，ｉ（ｉ＝１〜Ｎ）を得ることができる。制御装置６は、数値列ｇｄ，ｉが予め定められた時間変化パターンに対応するか否か判断する。ここで、「予め定められた時間変化パターン」及び判断するための手順には、バリエーションが考えられる。以下、説明する。
【００４９】
以下、センサ５が加速度センサである場合について説明する。
【００５０】
制御装置６は、受信毎に３つのセンサ値ｇｄ，ｎ（ｄ＝１，２，３）の絶対値のうちの少なくとも１つの変化量Δｇｄ，ｎ（＝｜ｇｄ，ｎ＋１−ｇｄ，ｎ｜）が閾値を超えたか否か判断し、閾値を超えた場合にその時点ｔｎを時間変化パターンの開始時点とする。以下、説明のため、ｄ＝１の変化量が閾値を超えたものとするが、ｄ＝２、ｄ＝３についても同様である。
【００５１】
その後、制御装置６は、閾値を超えた変化量以外の変化量Δｇｄ，n（ｄ＝２，３）のうち一方が閾値を超えたか否か判断する。以下、説明のため、ｄ＝２の変化量が閾値を超えたものとするが、ｄ＝３についても同様である。すなわち、ｄ＝１，２の変化量が閾値を超え、ｄ＝３の変化量は閾値を超えない。
【００５２】
その後、制御装置６は、ｇ１，ｉ及びｇ２，ｉ（ｉ＝ｎ〜Ｎ）の値が「予め定められた時間変化パターン」に対応するか、ｇ３，ｉ（ｉ＝ｎ〜Ｎ）の値がほぼ一定であるかを判断する。ｇ３，ｉの値については、ｇ３，ｎの値との差（｜ｇ３，ｎ−ｇ３，ｉ｜）がｉによらずに一定値以下であれば「ほぼ一定」とすることができる。
【００５３】
ｄ＝１，２について「予め定められた時間変化パターン」に対応するか否かについては、以下の手順が考えられる。
【００５４】
（手順１）Δｇｄ，ｉの値が正負逆転する（Δｇｄ，ｉとΔｇｄ，ｉ＋１との正負が異なる）時点ｔｉを求め、そのｉに対するｇｄ，ｉの値を「極値（ｐ）」として記憶する。また、その後、Δｇｄ，ｉの値がΔｇｄ，nの値に近づく（｜ｇｄ，n−ｇｄ，ｉ｜）ことを確認する。（この時のｉの値をＵとする。）ここで、ｇｄ，n≒９．８（ｍ／ｓ２）又はｇｄ，n≒−９．８（ｍ／ｓ２）であれば、４．９≦｜ｐ−ｇｄ，n｜（Ｘ１）≦１４．７（ｍ／ｓ２）であることで「予め定められた時間変化パターン」に対応するとすることができる。また、ｇｄ，n≒０（ｍ／ｓ２）であれば、８．５≦｜ｐ−ｇｄ，n｜（Ｘ２）≦９．８（ｍ／ｓ２）であることで「予め定められた時間変化パターン」に対応するとすることができる。ここで、重力加速度は１方向にのみ存在するので、ｇ１，n及びｇ２，nの一方が０に近く、他方が９．８又は−９．８に近い。
【００５５】
(手順２)  ユーザに撮像装置２を操作するための動作をさせると同時に、制御装置６により、センサ５から３つのセンサ値を受信して、基準パターンｆｉ（ｉ＝１〜Ｍ）を予め求めておく。受信毎のセンサ値ｇｄ，ｉと基準パターンｆｄ，ｉとの差の絶対値の積算値Ｓ＝Σｄ＝１〜３（Σｉ＝１〜Ｍ｜ｇｄ，ｎ＋ｉ−１−ｆｄ，ｉ｜）を求める。積算値Ｓが予め定めた閾値以下であれば、「予め定められた時間変化パターン」に対応するとすることができる。
【００５６】
以上、手順１及び手順２について説明したが、（１）−９．８ｍ／ｓ２からＸ１だけ増加し、時間Ｔ以内に−９．８ｍ／ｓ２に戻る変化、（２）０ｍ／ｓ２からＸ２だけ増加又は減少し、時間Ｔ以内に０ｍ／ｓ２に戻る変化、（３）９．８ｍ／ｓ２からＸ１だけ減少し、時間Ｔ以内に９．８ｍ／ｓ２に戻る、のうちのいずれかであること、又は、基準パターンとの乖離が小さいこと、を判断できればよく、かかる判断のための手順は無数に存在する。いずれの手順を用いてもよい。
【００５７】
図６に、図２に示した本体１を振る動作において加速度センサが出力するセンサ値の時間変化パターンを示す。振る動作において、３つのセンサ値のうちの２つのセンサ値、すなわち図３に定義するＸ軸及びＹ軸に関するセンサ値が時間に対して変化し且つ残りの１つのセンサ値、すなわち図３に定義するＺ軸に関するセンサ値が時間に対して略一定となる。すなわち、Ｚ軸は重力加速度の方向に対して略垂直な方向を維持し、Ｘ−Ｙ平面が重力加速度の方向を含んで回転する。制御装置６は、この場合に、Ｘ軸及びＹ軸に関するセンサ値の時間変化パターンを判断することで、撮像装置２の動作を制御することができる。
【００５８】
図７に、図４に示した本体１を傾ける動作において加速度センサが出力するセンサ値の時間変化パターンを示す。傾ける動作において、３つのセンサ値のうちの２つのセンサ値、すなわち図５に定義するＸ軸及びＺ軸に関するセンサ値が時間に対して変化し且つ残りの１つのセンサ値、すなわち図５に定義するＹ軸に関するセンサ値が時間に対して略一定となる。Ｙ軸は重力加速度の方向に対して略垂直な方向を維持し、Ｘ−Ｚ平面が重力加速度の方向を含んで回転する。制御装置６は、この場合に、Ｘ軸及びＺ軸に関するセンサ値の時間変化パターンを判断することで、撮像装置２の動作を制御することができる。
【００５９】
以上のように、振る動作、傾ける動作共に、２つのセンサ値が時間に対して変化し、残りの１つのセンサ値が時間に対して略一定となる。重力加速度の方向（動作開始前の−Ｘ方向）とは直交する方向の軸（Ｙ軸、Ｚ軸）を中心として回転するので、回転軸方向には重力加速度が変化せず、他の２軸方向に重力加速度が変化する。また、少なくとも１秒程度をかけてスマートフォンの長径の長さの２０ｃｍ程度が移動するものであり、その移動に必要な加速度は１ｍ／ｓ２以下となり（厳密にはスマートフォン上のセンサ位置と回転中心の座標とに依存し、より小さい可能性もある）、重力加速度の変化が確実に検出される。なお、重力加速度の方向の軸（Ｘ軸）を中心とした回転では、重力加速度に対するスマートフォンの方向が変化せず、３つのセンサ値の全てが変化しないので、加速度センサによっては、動作を検出することができない。
【００６０】
以下、センサ５が角速度センサである場合について説明する。
【００６１】
制御装置６は、受信毎に３つのセンサ値ｇｄ，ｎの絶対値のうちの少なくとも１つの値が閾値を超えたか否か判断し、閾値を超えた場合にその時点ｔｎを時間変化パターンの開始時点とする。以下、説明のため、ｄ＝２の値が閾値を超えたものとするが、ｄ＝１、ｄ＝３についても同様である。
【００６２】
その後、制御装置６は、ｇ２，ｉ（ｉ＝ｎ〜Ｎ）の値が「予め定められた時間変化パターン」に対応するか、ｇ１，ｉ及びｇ３，ｉ（ｉ＝ｎ〜Ｎ）の値がほぼ一定であるかを判断するｇ１，ｉ及びｇ３，ｉの値については、ｇ１，ｎ及びｇ３，ｎの値との差（｜ｇ１，ｎ−ｇ１，ｉ｜、｜ｇ３，ｎ−ｇ３，ｉ｜）がｉによらずに一定値以下であれば「ほぼ一定」とすることができる。
【００６３】
ｄ＝２について「予め定められた時間変化パターン」に対応するか否かについては、以下の手順が考えられる。
【００６４】
（手順１）閾値を超えたｇ２，ｉの値が０近くに戻る（｜ｇ２，ｉ｜が所定の閾値よりも小さい）時点ｔｉを求め、そのｉに対する時点をｕとする。ｔ＝ｎからｔ＝ｕまでのｇ２，ｉの積算値Ｓ’＝Σｉ＝ｎ〜ｕ（ｇ２，ｉ）を求め、積算値Ｓ’が、π／３≦｜Ｓ’｜≦２π／３ラジアンであれば、「予め定められた時間変化パターン」の前半部分に対応するとする。その後、ｕの値を前記ｎの値として扱い、再びｇ２，ｉの値が閾値を超えてから０近くに戻る時点をｕ’とし、同様に積算値Ｓ’ ’ ＝Σｉ＝ｕ〜ｕ’（ｇ２，ｉ）を求める。積算値Ｓ’ ’が、π／３≦｜Ｓ’ ’｜≦２π／３ラジアンであり、Ｓ’とＳ’ ’との正負が逆であれば、「予め定められた時間変化パターン」に対応するとする。
【００６５】
(手順２)  ユーザに撮像装置２を操作するための動作をさせると同時に、制御装置６により、センサ５から３つのセンサ値を受信して、基準信号ｆｉ（ｉ＝１〜Ｍ）を予め求めておく。受信毎のセンサ値ｇｄ，ｉと基準信号ｆｉとの差の絶対値の積算Ｓ＝Σｉ＝１〜Ｍ｜ｇｎ＋ｉ−１−ｆｉ｜する。積算値Ｓが予め定めた閾値以下であれば、「予め定められた時間変化パターン」に対応するとすることができる。
【００６６】
以上、手順１及び手順２について説明したが、π／３≦｜Ｓ’｜≦２π／３ラジアン、π／３≦｜Ｓ’ ’｜≦２π／３ラジアン、かつ、Ｓ’とＳ’ ’との正負が逆である、又は、基準パターンとの乖離が小さいこと、を判定できればよく、かかる判定のための手順は無数に存在する。いずれの手順を用いてもよい。
【００６７】
図８に、図４に示した本体１を傾ける動作において角速度センサが出力するセンサ値の時間変化パターンを示す。傾ける動作において、３つのセンサ値のうちの１つのセンサ値、すなわち図５に定義するＹ軸に関するセンサ値が時間に対して変化し且つ残りの２つのセンサ値、すなわち図５に定義するＸ軸及びＺ軸に関するセンサ値が時間に対して略一定となる。傾ける動作は、Ｙ軸を中心とする回転であり、Ｙ軸中心の角速度が発生し、他軸中心の角速度が発生しない。制御装置６は、この場合に、Ｙ軸に関するセンサ値の時間変化パターンを判断することで、撮像装置２の動作を制御することができる。
【００６８】
振る動作の場合には、Ｚ軸を中心とする回転であり、Ｚ軸に関するセンサ値が時間に対して変化し、Ｘ軸及びＹ軸に関するセンサ値が時間に対して略一定となる。同様に、Ｘ軸を中心とする回転動作についても、Ｘ軸に関するセンサ値が時間に対して変化し、Ｙ軸及びＺ軸に関するセンサ値が時間に対して略一定となる。加速度センサでは検出できないＸ軸を中心とする回転動作について、角速度センサでは検出できる。
【００６９】
センサ５が、加速度センサである場合にも、角速度センサである場合にも、動作の開始時点（ｔｎ）から終了時点（加速度センサである場合にはｔＵ、角速度センサである場合にはｔｕ’）までの時間が０．８〜１．８秒であることを、確認する。動作の開始時点から終了時点までの時間が０．８〜１．８秒でない場合には、「予め定められた時間変化パターン」に対応しないものとする。
【００７０】
なお、基準パターンと比較する場合（手順２）には、動作の開始時点から終了時点までの時間の確認を行わなくともよい。基準パターンの時間長が０．８〜１．８秒であれば、動作の開始時点から終了時点までの時間が０．８〜１．８秒でない場合には必然的に積算値Ｓが大きくなると考えられるためである。
【００７１】
（静止等の撮像条件の判断）
制御装置６は、動作の終了後に、静止を判断する。静止の判断は、Δｇｄ，ｉの値が、ｄ＝１，２，３の全てについて一定値以下であることが所定の時間（例えば０．２秒）にわたって継続することとすればよい。
【００７２】
制御装置６は、動作の開始時点（ｔｎ）から静止が判断されるまでの時間が１．５〜２．５秒である場合にのみ、静止が判断されたら、撮像装置２を動作させることとする。ただし、動作の開始時点から静止が判断されるまでの時間にかかわらず、静止が判断されたら撮像装置２を動作させることとしてもよい。
【００７３】
制御装置６は、また、動作の開始時点の画像と静止が判断された時の画像とを比較し、両画像の相違が大きい場合には撮像装置２を動作させないこととしてもよい。ユーザは、動作開始前に撮像フレームの位置決め（撮像装置の位置と方向の確定）を行うと考えられる。位置決めされた撮像フレームと異なる場合には撮像を行わず、位置決めのずれを防ぐものである。
【００７４】
このため、制御装置６は、動作の開始時点と静止が判断された時点において、撮像装置２を動作させて画像を取得する。
【００７５】
２の画像が類似するか否かの比較は、各種の方法が知られており、いずれを用いてもよい。一例として、以下の方法によれば高速の処理が可能である。
【００７６】
画像データの各ピクセルは、色の値（例えばＲＧＢ値）を有している。色の値（多くの場合２４ビット）を、クラスタ化し（近い色を同じ色であるとみなし）、例えば６４色とする。例えばＲＧＢ各々の値の上位２ビットのみを見ることとすれば６４色になる。画像全体にわたり、各ピクセルが６４色のいずれであるかのヒストグラムを求める。すなわち、ｃ番目の色の全ピクセル出現比率ｐｃを求める。Σｃ＝１〜６４ｐｃ＝１である。
【００７７】
２つの画像の類似度Ｒを、Ｒ＝Σｃ＝１〜６４（ｍｉｎ（ｐ１，ｃ，ｐ２，ｃ））として計算する。ｍｉｎは２つの値のうちの小さいほうである。同一の画像であればＲ＝１となる。（Σｃ＝１〜６４（ｍｉｎ（ｐ１，ｃ，ｐ２，ｃ））＝１−Σｃ＝１〜６４（｜ｐ１，ｃ−ｐ２，ｃ｜）であり、画像が相違するほどＲの値が小さくなることがわかる。）
【００７８】
かかる高速計算を行うと、静止が判断された時点と、その前後の時点とを合わせて複数の画像を処理し、Ｒが最大のものが撮像された画像である（スマートフォン内に保存される）ようにすることが可能となる。
【００７９】
以上詳細に説明したように、本実施形態に係るスマートフォン１は、被撮像物を撮像する撮像装置２、撮像装置２の３軸方向に関する位置又は位置に関連する量を測定するセンサ５、及びセンサ５から出力される３軸方向のそれぞれに対応する３つのセンサ値のうちの少なくとも１つを用いて撮像装置２の動作を制御する制御装置６を備える。センサ５により、被撮像物を撮像する撮像装置２の３軸方向に関する位置又は位置に関連する量を測定し、制御装置６により、そのセンサ５から出力される３軸方向のそれぞれに対応する３つのセンサ値のうちの少なくとも１つを用いて撮像装置２の動作を制御することで、ユーザがスマートフォン本体を動かすことによりスマートフォンに搭載された撮像装置２の動作を制御することが可能となる。
【産業上の利用可能性】
【００８０】
本体を動かすことで撮像装置を動作させ、撮像フレームの位置決め及びいわゆる「手ぶれ」の状態の防止を実現するスマートフォンである。多くの個人ユーザによる利用が考えられ、スマートフォン製造業者による本発明の実装が期待される。
【符号の説明】
【００８１】
１    スマートフォン（本体）
２    撮像装置
３    表示装置
４    記憶装置
５    センサ
６    制御装置
【図１】
2018061220.tif 000003
【図２】
2018061220.tif 000004
【図３】
2018061220.tif 000005
【図４】
2018061220.tif 000006
【図５】
2018061220.tif 000007
【図６】
2018061220.tif 000008
【図７】
2018061220.tif 000009
【図８】
2018061220.tif 000010
【手続補正書】
【提出日】平成29年3月25日(2017.3.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
スマートフォン本体を動かすことでこれに搭載された撮像装置の動作を制御するスマートフォンであって、
被撮像物を撮像する撮像装置と、
前記撮像装置の３軸方向に関する速度、加速度、角速度又は角加速度を測定するセンサと、
前記センサから出力される前記３軸方向のそれぞれに対応する３つのセンサ値のうちの少なくとも１つを用いて前記撮像装置の動作を制御する制御装置と、
を備え、
前記制御装置は、
前記センサから前記３つのセンサ値を周期的に受信し、該３つのセンサ値のうちの少なくとも１つのセンサ値の変化量が閾値を超えた場合に、該閾値を超えた時点を時間変化パターンの開始時点として、前記３つのセンサ値の時間変化パターンが予め定められた時間変化パターンに対応するか否か判断し、
前記予め定められた時間変化パターンの後、前記３つのセンサ値が時間に対して略一定であるか否か判断し、略一定である場合に前記開始時点における前記撮像装置の画像と前記開始時点からＴ’だけ経過した時点における前記撮像装置の画像とを比較し、両画像の相違が閾値よりも小さい場合にのみ前記経過した時点で前記撮像装置を動作させ、
前記Ｔ’の値は、１．５〜２．５秒であり、
前記予め定められた時間変化パターンは、前記スマートフォンを前記３軸のうちのいずれか１軸について一向きに回転させた後、逆向きに回転して回転前の位置に戻すことで生じる時間変化パターンであることを特徴とする、スマートフォン。
【請求項２】
前記制御装置は、ユーザに、前記スマートフォンを前記３軸のうちのいずれか１軸について一向きに回転し、その後に逆向きに回転して回転前の位置に戻す動作をさせると同時に、前記センサから前記３つのセンサ値を受信することで、前記予め定められた時間変化パターンを決定することを特徴とする、請求項１に記載のスマートフォン。
【請求項３】
前記制御装置は、前記少なくとも１つのセンサ値と前記予め定められた時間変化パターンとの差分を算出し、該差分の積算を閾値と比較することを特徴とする、請求項２に記載のスマートフォン。
【請求項４】
前記センサは、前記撮像装置の３軸方向に関する加速度を測定する加速度センサであり、
前記制御装置は、前記３つのセンサ値のうちの２つのセンサ値が時間に対して変化し且つ残りの１つのセンサ値が時間に対して略一定である場合に、前記２つのセンサ値の時間変化パターンを判断することを特徴とする、請求項１から３のいずれか一項に記載のスマートフォン。
【請求項５】
前記予め定められた時間変化パターンは、前記センサ値である加速度の値が、（１）−９．８ｍ／ｓ２からＸ１だけ増加し、時間Ｔ以内に−９．８ｍ／ｓ２に戻る変化、（２）０ｍ／ｓ２からＸ２だけ増加又は減少し、時間Ｔ以内に０ｍ／ｓ２に戻る変化、（３）９．８ｍ／ｓ２からＸ１だけ減少し、時間Ｔ以内に９．８ｍ／ｓ２に戻る変化パターンのうちのいずれかであり、
前記Ｘ１の値は、４．９〜１４．７ｍ／ｓ２であり、
前記Ｘ２の値は、８．５〜９．８ｍ／ｓ２であり、
前記Ｔの値は、０．８〜１．８秒であることを特徴とする、請求項４に記載のスマートフォン。
【請求項６】
前記センサは、前記撮像装置の３軸に関する回転角を測定する角速度センサであり、
前記制御装置は、前記３つのセンサ値のうちの１つのセンサ値が時間に対して変化し且つ残りの２つのセンサ値が時間に対して略一定である場合に、前記１つのセンサ値の時間変化パターンを判断することを特徴とする、請求項１から３のいずれか一項に記載のスマートフォン。
【請求項７】
前記予め定められた時間変化パターンは、前記センサ値である角速度の値が、（１）０から増加又は減少して０に戻り、前記センサ値の積分の絶対値がＹラジアンである変化と、（２）０から減少又は増加して０に戻り、前記センサ値の積分の絶対値がＹラジアンである変化と、が時間Ｔの間に連続する変化パターンであり、
前記Ｙの値はπ／３〜２π／３ラジアンであり、
前記Ｔの値は０．８〜１．８秒であることを特徴とする、請求項６に記載のスマートフォン。
【請求項８】
前記制御装置は、前記両画像の相違を、前記両画像のＲＧＢ輝度値のヒストグラムの相違に基づいて比較することを特徴とする、請求項１から７のいずれか一項に記載のスマートフォン。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明のスマートフォンは、
スマートフォン本体を動かすことでこれに搭載された撮像装置の動作を制御するスマートフォンであって、
被撮像物を撮像する撮像装置と、
前記撮像装置の３軸方向に関する速度、加速度、角速度又は角加速度を測定するセンサと、
前記センサから出力される前記３軸方向のそれぞれに対応する３つのセンサ値のうちの少なくとも１つを用いて前記撮像装置の動作を制御する制御装置と、
を備え、
前記制御装置は、
前記センサから前記３つのセンサ値を周期的に受信し、該３つのセンサ値のうちの少なくとも１つのセンサ値の変化量が閾値を超えた場合に、該閾値を超えた時点を時間変化パターンの開始時点として、前記３つのセンサ値の時間変化パターンが予め定められた時間変化パターンに対応するか否か判断し、
前記予め定められた時間変化パターンの後、前記３つのセンサ値が時間に対して略一定であるか否か判断し、略一定である場合に前記開始時点における前記撮像装置の画像と前記開始時点からＴ’だけ経過した時点における前記撮像装置の画像とを比較し、両画像の相違が閾値よりも小さい場合にのみ前記経過した時点で前記撮像装置を動作させ、
前記Ｔ’の値は、１．５〜２．５秒であり、
前記予め定められた時間変化パターンは、前記スマートフォンを前記３軸のうちのいずれか１軸について一向きに回転させた後、逆向きに回転して回転前の位置に戻すことで生じる時間変化パターンであることを特徴とする。