(57)【要約】【課題】  移動中に表示内容を確認する場合の視認性の向上をはかる。【解決手段】電子機器１０は、画像を表示する表示部１４と、画像を使用者が閲覧する動作を検出した場合に、撮影により取得される使用者の眼球の位置から眼球の動きベクトルを算出し、算出した動きベクトルを打ち消すように画像を補正する制御部１１と、により構成される。制御部１１は、所定の角度を越える傾きが検出された場合に、撮影される使用者の眼球の位置を画像認識により算出し、前回算出値と今回算出値とから眼球の動きベクトルを算出し、算出した動きベクトルが規定値を越えた場合に、動きベクトルを打ち消すように表示部１４に表示される画像を補正する。【選択図】図１
2014082648.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する表示部と、
撮影により取得される前記使用者の眼球の位置から前記眼球の動きベクトルを算出し、前記算出した動きベクトルを打ち消すように前記画像を補正する制御部と、
を有することを特徴とする電子機器。
【請求項２】
傾き検出部と、撮像部と、を更に備え、
前記制御部は、
前記傾き検出部により所定の角度を越える傾きが検出された場合に、前記撮像部によって撮影される前記使用者の眼球の位置を画像認識により算出し、前回算出した値と今回算出した値とから前記眼球の動きベクトルを算出し、前記算出した動きベクトルが規定値を越えた場合に、前記動きベクトルを打ち消すように前記表示部に表示される画像を補正することを特徴とする請求項１記載の電子機器。
【請求項３】
前記制御部は、
前記算出した動きベクトルが第１の規定値を越えた場合に前記画像を補正し、前記第１の規定値より大きい第２の規定値を越えた場合に、前記画像に含まれる文字のサイズを変更することを特徴とする請求項１または２記載の電子機器。
【請求項４】
前記表示部の少なくとも一部領域に表示されるソフトウェアキーボードを操作することによってデータ入力を行う操作部を更に有し、
前記制御部は、
前記操作部による操作を検知すると、前記ソフトウェアキーボードの表示領域を拡大することを特徴とする請求項１記載の電子機器。
【請求項５】
少なくとも表示部を有する電子機器の画像補正方法であって、
前記表示部に表示される画像を使用者が閲覧する動作を検出した場合に、撮影により取得される前記使用者の眼球の位置から前記眼球の動きベクトルを算出するステップと、
前記算出した動きベクトルを打ち消すように前記表示部に表示される前記画像を補正するステップと、を有することを特徴とする電子機器における画像補正方法。
【請求項６】
少なくとも表示部を有する電子機器のコンピュータに、
撮影により取得される前記使用者の眼球の位置から前記眼球の動きベクトルを算出する処理と、
前記算出した動きベクトルを打ち消すように前記表示部に表示される前記画像を補正する処理と、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器、画像補正方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、歩行や走行の際、使用者に所持させ、移動量および移動方向を連続的に計測していくことで、使用者の現在位置や移動経路を求めることができる腕時計（ランニングウォッチ）が開発されている。この腕時計によれば、使用者が希望する距離や時間の設定に応じて、希望するカロリー、移動速度、歩数等に応じてコースが設定できるようになっている。また、スマートフォンの普及により、当該スマートフォンに専用のアプリケーションプログラムを実装し、携帯させることで上記した腕時計と同じ機能を実現することができる。
【０００３】
ところで、使用者が走行中に、上記した腕時計やスマートフォン等の電子機器で、走行時間やラップ、あるいは心拍数等を確認したい場合がある。この場合、頭、あるいは手や腕の振れにより表示が見辛くなり、視認性が悪化する。このため、従来、例えば、特許文献１では、カメラ画像で計測した視線に基づいて画面の表示を制御できる視線制御表示装置が提案されている。また、特許文献２では、動く物体上に置かれた被観察者の視線の動きを分析して表示する視線表示装置が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特公平５−８３２４７号公報
【特許文献２】特開２００７−２１３４６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された技術によれば、動き検出手段が、車両等の動く物体の動きを検出し、表示手段が、撮影手段によって撮像された画像上に、検出された動く物体による動きを、演算手段によって眼球の運動を分析して得られる被観察者の視線の動きとともに識別して表示する。したがって、被観察者の意思に基づく視線の動きと動く物体の動きによる影響とを区別して観察することができる。しかしながら、視線の動きに基づき撮影された画像を直接的に補正しないため、移動中に表示内容を確認する場合、頭や手振れ等の影響による視認性の悪化は否めない。
【０００６】
また、特許文献２に開示された技術によれば、Ｎ個の表示領域のうち、何処に視線が移動しているかにより表示領域を選択して表示を制御するため、視線の検出精度が粗くても正確な表示制御は可能である。しかしながら、特許文献１同様、視線の動きに基づき撮影された画像を直接的に補正しないため、移動中に表示内容を確認する場合に、頭や手振れ等の影響による視認性の悪化は否めない。
【０００７】
本発明は上記した課題を解決するためになされたものであり、その目的は、移動中に表示内容を確認する場合の視認性の向上をはかった、電子機器、画像補正方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記した課題を解決するために本発明の電子機器は、画像を表示する表示部と、撮影により取得される前記使用者の眼球の位置から前記眼球の動きベクトルを算出し、前記算出した動きベクトルを打ち消すように前記画像を補正する制御部と、を有することを特徴とする。
【０００９】
本発明は、少なくとも表示部を有する電子機器の画像補正方法であって、前記表示部に表示される画像を使用者が閲覧する動作を検出した場合に、撮影により取得される前記使用者の眼球の位置から前記眼球の動きベクトルを算出するステップと、前記算出した動きベクトルを打ち消すように前記表示部に表示される前記画像を補正するステップと、を有することを特徴とする。
【００１０】
本発明のプログラムは、少なくとも表示部を有する電子機器のコンピュータに、撮影により取得される前記使用者の眼球の位置から前記眼球の動きベクトルを算出する処理と、前記算出した動きベクトルを打ち消すように前記表示部に表示される前記画像を補正する処理と、を実行させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、移動中に表示内容を確認する場合の視認性の向上をはかった、電子機器、画像補正方法、およびプログラムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る電子機器の内部構成を示すブロック図である。
【図２】本発明の実施の形態に係る電子機器の動作を示すフローチャートである。
【図３】視線検出のための判定基準となる規定角度のイメージ図である。
【図４】撮像画像と表示画像の一例を示す図である。
【図５】ソフトキーボードに適用した場合の画面表示例を示す図である。
【図６】本発明の実施の形態に係る電子機器の適用例を示す図である。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して本発明を実施するための実施の形態（以下、単に実施形態という）について詳細に説明する。
【００１４】
（実施形態の構成）
本実施形態に係る電子機器１０は、例えば携帯用の表示装置であって、制御部１１と、記憶部１２と、操作部１３と、表示部１４と、加速度センサー１５と、撮像部１６と、通信部１７とにより構成される。これらブロックは、いずれも、アドレス、データ、コントロールのためのラインが複数本で構成されるシステムバス１８を介して共通に接続されている。
【００１５】
制御部１１は、記憶部１２のプログラム領域に割り当てられ記憶された本実施形態に係るプログラムを逐次読み出し実行することにより、画像を使用者が閲覧する動作を検出した場合に、撮影により取得される使用者の眼球の位置から眼球の動きベクトルを算出し、当該算出した動きベクトルを打ち消すように画像を補正する機能を実行する。
【００１６】
具体的に、制御部１１は、傾き検出部として用いられる加速度センサー１５により所定の角度を越える傾きが検出された場合に、撮像部１６によって撮影される使用者の眼球の位置を画像認識により算出し、前回のサンプリング時に算出した値と今回のサンプリング時に算出した値とから眼球の動きベクトルを算出し、当該算出した動きベクトルが規定値（Ｐrescribed value）を越えた場合に、動きベクトルを打ち消すように表示部１４に表示される画像を補正する。また、制御部１１は、算出した動きベクトルが第１の規定値Ｐ１を越えた場合に画像を補正し、第１の規定値Ｐ１より大きい第２の規定値Ｐ２を越えた場合に、画像に含まれる文字のサイズを変更してもよい。すなわち、第１の規定値Ｐ１＜第２の規定値Ｐ２である。
【００１７】
記憶部１２には、プログラム領域と作業領域とが割当てられ、プログラム領域には、本実施形態に係るプログラムが、作業領域には、例えば、使用者の眼球位置、眼球の位置の変化に基づく動きベクトル等のプログラムの実行過程で生成される各種データが一時格納される。本実施形態に係るプログラムは、少なくとも表示部１４を有する電子機器１０のコンピュータ（制御部１１）に、表示部１４に表示された画像を使用者が閲覧する動作を検出した場合に、撮影により取得される使用者の眼球の位置から眼球の動きベクトルを算出する処理と、当該算出した動きベクトルを打ち消すように表示部１４に表示される画像を補正する処理と、を実行させる。なお、記憶素子として、例えば、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）が実装される。
【００１８】
操作部１３は、例えば、キースイッチからなり、使用者によって操作されることにより、制御部１１に対する指令、あるいはデータとして出力される。表示部１４は、例えば、ＬＣＤ（Liquid Crystal Device）や有機ＥＬ（Organic Electro-Luminescence）等の表示素子を有する表示モニタであり、ここでは、制御部１１により補正された画像を表示する。なお、操作部１３は、表示部１４と一体形成されたタッチパネルで構成してもよい。
【００１９】
加速度センサー１５は、検出素子として例えば歪みゲージが接着された電子部品であり、搭載される装置の姿勢（傾き）を検出するブリッジ回路を内蔵する。加速度センサー１５は、電子機器１０の傾きαを検出して制御部１１に出力する傾き検出部として機能する。制御部１１は、加速度センサー１５により、例えば、３０度〜５０度の所定の角度を越える傾きが検出された場合に使用者が電子機器１０（表示部１４）の表示画面を閲覧している状態にあると判断し、撮像部１６によって撮影される使用者の眼球の位置を画像認識により算出し、前回のサンプリング時に算出した値と今回のサンプリング時に算出した値とから眼球の動きベクトルを算出する。
【００２０】
撮像部１６は、レンズ、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementally Metal Oxide Semiconductor）等の画像センサー、およびドライバＩＣ等を含むカメラである。撮像部１６は、レンズを通して入射された被写体光を画像センサーによって電気信号に変換し、ドライバＩＣで増幅して制御部１１に出力する。
【００２１】
通信部１７は、例えば、ＴＣＰ／ＩＰ（Transmission Control Protocol／Internet Protocol）にしたがうプロトコルで不図示のネットワークを経由してサーバをアクセスすることにより地図等のデータを取得し、あるいは他の電子機器との間でデータ交換する。また、例えば、Ｗｉ−Ｆｉ（登録商標）やＢｌｕｅＴｏｏｔｈ（登録商標）等の近距離無線通信規格に準拠した通信アダプタを含み、他の電子機器との間でリンクを確立して近距離無線通信によりデータ交換を行う。
【００２２】
（実施形態の動作）
以下、図２のフローチャートを参照しながら、図１に示す本実施形態に係る電子機器１０の動作を説明する。
【００２３】
電子機器１０は、まず、制御部１１が、加速度センサー１５からデータを取得して重力方向（鉛直方向）を算出して重力方向に対する筐体の傾きαを算出する（ステップＳ１０１）。次に、制御部１１は、算出した傾きが所定の角度範囲にあるか否かを判定する（ステップＳ１０２）。すなわち、ここでは、電子機器１０の筐体の傾きが３０度〜５０度の範囲にある場合、すなわち、３０°≦α≦５０°である場合、使用者が手に持って電子機器１０の表示画面（表示部１４）を閲覧している状態であると判定する。
【００２４】
使用者が表示画面を閲覧している状態にあると判定されると（ステップＳ１０２“Ｙｅｓ”）、制御部１１は、撮像部１６を起動し、撮像部１６により撮影される使用者の眼球の画像データを所定のサンプリング期間毎に取得する（ステップＳ１０３）。使用者が表示画面を閲覧している状態にないと判定されると（ステップＳ１０２“Ｎｏ”）、ステップＳ１０１の傾き算出処理に戻る。
【００２５】
続いて制御部１１は、取得した画像から画像解析により使用者の眼球の位置を算出する（ステップＳ１０４）。なお、画像解析の方法は、例えば、特許文献１に詳細に開示されている。眼球の位置は一方の目でもよいが、ここでは左右の眼球の位置を検出するものとする。２つの眼球の位置を使用することで精度を上げることができる。一方、画像から眼球が検出できなかった場合（ステップＳ１０５“Ｎｏ”）、使用者は、表示画面を閲覧していないことになるため、ステップＳ１０１の傾き算出処理に戻る。次に、前回のサンプリング時に算出した眼球の位置と今回のサンプリング時算出した目の位置の動きベクトルを算出する（ステップＳ１０６）。動きベクトルを算出する方法についても特許文献１に詳細に開示されている。
【００２６】
続いて制御部１１は、算出された動きベクトルと第１の規定値Ｐ１との比較を行う（ステップＳ１０７）。ここで、第１の規定値Ｐ１は、表示画像のシフト処理が必要な閾値とする。左目の動きベクトル量をＶＬ、右目の動きベクトル量をＶＲとする。動きベクトルの量は、例えば移動した画素数で表し、一例として第１の規定値Ｐ１を２０画素、第２の規定値をＰ２を２００画素とする。そして左目の動きベクトル量ＶＬと右目の動きベクトル量ＶＲを加算した値を規定値と比較する。動きベクトルが第１の規定値Ｐ１以上の場合、すなわち、（ＶＬ＋ＶＲ）≦２０のとき（ステップＳ１０７“Ｙｅｓ”）、更に、算出された動きベクトルと第２の規定値Ｐ２との比較を行う（ステップＳ１０８）。規定値Ｐ２は、振れが激しく表示画像中に文字が含まれていれば文字サイズを拡大する必要がある閾値をいう。
【００２７】
ここで、動きベクトル量が第２の規定値Ｐ２以上の場合は、すなわち、２００≦（ＶＬ＋ＶＲ）のとき（ステップＳ１０８“Ｙｅｓ”）、制御部１１は、表示画像中に含まれる文字のサイズが小さい場合は規定の大きな文字サイズに変換することで可読性を上げる処理を実行する（ステップＳ１０９）。大きな文字サイズは、例えば２倍と言うように２段階でも良いが、動きベクトル量に応じて多段階で文字サイズを変えてもよい。続いて、制御部１１は、表示部１４に表示された画像のシフト処理による画像補正を行う（ステップＳ１１０）。
【００２８】
なお、ステップＳ１０７の第１の規定値Ｐ１判定処理で動きベクトルが第１の規定値Ｐ１以下の場合（ステップＳ１０７“Ｎｏ”）、あるいはステップＳ１０８の規定値２判定処理で第２の規定値Ｐ２以下の場合（ステップＳ１０８“Ｎｏ”）、使用者の目の位置と画像の表示位置との間にブレが少ないと判断されるため、画像のシフト処理は省略され、ステップＳ１０１の傾き算出処理に戻る。
【００２９】
シフト処理による画像補正のイメージが、図４（ａ）（ｂ）（ｃ）（ｄ）に示されている。図４（ａ）は撮像部１６により１フレーム前に撮像された頭部被写体像であり、図４（ｂ）は、画像のシフト処理による補正結果を示す頭部被写体像である。図４（ｂ）に示すように、１フレーム前に撮像された頭部被写体像Ａ（点線表記）の目の位置から明らかなように、動きベクトルとは逆方向に動きベクトルの量（ズレ量Ｂ）だけ平行移動していることがわかる。この場合の動きベクトルの量は（ＶＬ＋ＶＲ）／２を使用する。
【００３０】
図４（ｃ）は、表示部１４に表示された補正前の文字画像であり、図４（ｄ）は、画像のシフト処理を経て表示部１４に表示された補正後の文字画像である。図４（ｄ）に示すように、文字画像を、眼球の位置ずれと逆方向（図中、矢印方向）に表示位置Ｃから補正後の表示位置Ｄへ動きベクトル量（ずれ量Ｅ）だけ平行移動していることがわかる。
【００３１】
また、本実施形態に係る電子機器１０によれば、使用者がソフトキーボード（ＳＩＰ：Software Input Panel）を用いて操作部１３により入力操作を行っていた場合、例えば、図５に示すように、表示部１４の一部表示領域にソフトキーボード画像も同時にシフト移動し、それに合わせて入力位置の補正（画像補正）を行うことで使用者にストレスのない操作インタフェースを提供することができる。このとき、ソフトキーボードの表示領域を通常より大きくすることにより操作性を向上させることができる。
【００３２】
（実施形態の効果）
以上説明のように本実施形態に係る電子機器１０によれば、制御部１１は、加速度センサー１５により使用者が電子機器１０を閲覧している状態を検出したときに、電子機器１０から見た使用者の眼球の移動量と方向を動きベクトルとして算出し、移動量が規定値以上の場合に、表示部１４に表示された画像を、先に算出された動きベクトルを打ち消す方向に補正する。このように、例えば、移動中の乗り物の振動の影響で、あるいは手や腕の振れ等により使用者の目の位置と画像の表示位置とがずれても、それに合わせて画像を補正して表示するため、視認性が向上するといった効果が得られる。また、その際に平行移動（シフト補正）により画像を補正するため処理が容易であり制御部１１の負担が軽く済む。
【００３３】
なお、本実施形態に係る電子機器１は、例えば、図６（ａ）にその外観を示す腕時計（ランニングウォッチ）に適用して顕著な効果が得られる。ランニングウォッチは、計測タイム、走行ラップ、走行距離、あるいは心拍数等の計測データを記憶し、計画的なトレーニングをサポートする用途に使用される。勿論、このランニングウォッチに制限されず、スマートフォンや携帯電話等、移動中の乗り物の振動の影響で、あるいは手や腕の振れ等により使用者の目の位置と画像の表示位置とがずれて見辛くなる携帯用の電子機器の全てに適用が可能である。
【００３４】
また、本実施形態に係る電子機器１０において、画像の補正は電子機器１０自体が行うものとして説明したが、例えば、図６（ｂ）に示すように、クライアントサーバ型のネットワーク３０を介して接続される画像補正装置２０（サーバ）が画像の補正を行ない、ランニングウォッチ１０ａやスマートフォン１０ｂ等の電子機器１０にサービスを行うシステム形態としてもよい。このとき、画像補正装置２０（サーバ）がＳＮＳ（Social Networking Service）機能を持っていれば、ＩＰ（Internet Protocol）網等のネットワーク３０経由で接続されるＳＮＳに参加するスマートフォン１０ｂ等の端末が、ランニングウォッチ１０ａを所持してランニングあるいはジョギングしている人に対し、コメントを書き込むことも可能になる。
【００３５】
なお、本実施形態に係る電子機器の画像補正方法は、例えば、図１に示すように、少なくとも表示部１４を有する電子機器１０に適用される画像補正方法である。そして、その画像補正方法は、例えは、図２に示すように、前記表示部に表示される画像を使用者が閲覧する動作を検出した場合に、撮影により取得される前記使用者の眼球の位置から前記眼球の動きベクトルを算出するステップ（Ｓ１０１〜Ｓ１０６）と、前記算出した動きベクトルを打ち消すように前記表示部に表示される前記画像を補正するステップ（Ｓ１０７〜Ｓ１１０）と、を有する。
【００３６】
本実施形態に係る電子機器の画像補正方法によれば、例えば、ランニングやジョギング中に腕時計やスマートフォン等を見たときに振動等の影響で眼の位置と表示位置とがずれてもそれに合わせて画像を補正するため、表示が見易くなるという効果が得られる。
【００３７】
また、本実施形態に係るプログラムは、例えば、図１に示すように、少なくとも表示部１４を有する電子機器１０のコンピュータ（制御部１１）に適用される。そして、そのプログラムは、例えば、図２に示すように、前記表示部１４に表示された画像を使用者が見る動作を検出した場合に、撮影により取得される前記使用者の眼球の位置から前記眼球の動きベクトルを算出する処理（Ｓ１０１〜Ｓ１０６）と、前記算出した動きベクトルを打ち消すように前記表示部に表示される前記画像を補正する処理（Ｓ１０７〜Ｓ１１０）と、を実行させる。
【００３８】
本実施形態に係るプログラムによれば、制御部１１が記憶部１２のプログラム領域に記憶された当該プログラム逐次読み出し実行することにより、使用者が表電子機器１０の表示内容を閲覧したことを検出したときに、電子機器１０から見た使用者の目（眼球）の運動量を動きベクトルとして算出し、その動きベクトルが規定値以上であった場合に、動きベクトルを打ち消す方向に表示内容をシフトさせる補正を行う処理を実行することで、視認性、および操作性の向上を図った電子機器１０を提供することができる。
【００３９】
以上、本発明の好ましい実施形態について詳述したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。またその様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００４０】
以下に、本願出願時の特許請求の範囲を付記する。
［付記］
［請求項１］
画像を表示する表示部と、
撮影により取得される前記使用者の眼球の位置から前記眼球の動きベクトルを算出し、前記算出した動きベクトルを打ち消すように前記画像を補正する制御部と、
を有することを特徴とする電子機器。
［請求項２］
傾き検出部と、撮像部と、を更に備え、
前記制御部は、
前記傾き検出部により所定の角度を越える傾きが検出された場合に、前記撮像部によって撮影される前記使用者の眼球の位置を画像認識により算出し、前回算出した値と今回算出した値とから前記眼球の動きベクトルを算出し、前記算出した動きベクトルが規定値を越えた場合に、前記動きベクトルを打ち消すように前記表示部に表示される画像を補正することを特徴とする請求項１記載の電子機器。
［請求項３］
前記制御部は、
前記算出した動きベクトルが第１の規定値を越えた場合に前記画像を補正し、前記第１の規定値より大きい第２の規定値を越えた場合に、前記画像に含まれる文字のサイズを変更することを特徴とする請求項１または２記載の電子機器。
［請求項４］
前記表示部の少なくとも一部領域に表示されるソフトウェアキーボードを操作することによってデータ入力を行う操作部を更に有し、
前記制御部は、
前記操作部による操作を検知すると、前記ソフトウェアキーボードの表示領域を拡大することを特徴とする請求項１記載の電子機器。
［請求項５］
少なくとも表示部を有する電子機器の画像補正方法であって、
前記表示部に表示される画像を使用者が閲覧する動作を検出した場合に、撮影により取得される前記使用者の眼球の位置から前記眼球の動きベクトルを算出するステップと、
前記算出した動きベクトルを打ち消すように前記表示部に表示される前記画像を補正するステップと、を有することを特徴とする電子機器における画像補正方法。
［請求項６］
少なくとも表示部を有する電子機器のコンピュータに、
撮影により取得される前記使用者の眼球の位置から前記眼球の動きベクトルを算出する処理と、
前記算出した動きベクトルを打ち消すように前記表示部に表示される前記画像を補正する処理と、
を実行させることを特徴とするプログラム。
【符号の説明】
【００４１】
１０…電子機器、１０ａ腕時計（ランニングウォッチ）、１０ｂ…スマートフォン、１１…制御部、１２…記憶部、１３…操作部、１４…表示部、１５…加速度センサー、１６…撮像部、１７…通信部、１８…システムバス、２０…画像補正装置（サーバ）、３０…ネットワーク。
【図１】
2014082648.tif 000003
【図２】
2014082648.tif 000004
【図３】
2014082648.tif 000005
【図４】
2014082648.tif 000006
【図５】
2014082648.tif 000007
【図６】
2014082648.tif 000008