(57)【要約】【課題】確実に所望の文字列を選択可能な画像処理装置、画像処理方法及び画像処理プログラムを提供する。【解決手段】実施形態による画像処理装置は、第１、第２取得部と、処理部と、を含む。第１取得部は、文字列を含む複数の画像に関するデータを時系列に取得する。第２取得部は、入力を受け取る。処理部は、検出動作と、選択動作と、を実施する。検出動作は、複数の画像から複数の画像領域を検出することを含む。複数の画像領域のそれぞれは、複数の画像のそれぞれに含まれる文字列のそれぞれを含む。複数の画像領域のそれぞれは検出時刻に検出され、複数の画像領域のそれぞれは画像領域位置を有する。選択動作は、複数の画像領域のうちの少なくとも１つを選択することを含む。選択は、複数の画像領域のそれぞれの検出時刻と、入力を受け取った受取時刻と、の第１差、及び、複数の画像領域のそれぞれの画像領域位置と、入力の位置と、の第２差に基づいて行う。【選択図】図１
2017091455.tif 000002
【特許請求の範囲】
【請求項１】
文字列を含む複数の画像に関するデータを時系列に取得する第１取得部と、
入力を受け取る第２取得部と、
処理部と、
を備え、
前記処理部は、
前記複数の画像から複数の画像領域を検出する検出動作であって、前記複数の画像領域のそれぞれは、前記複数の画像のそれぞれに含まれる前記文字列のそれぞれを含み、前記複数の画像領域のそれぞれは検出時刻に検出され、前記複数の画像領域のそれぞれは画像領域位置を有する、前記検出動作と、
前記複数の画像領域のうちの少なくとも１つを選択する選択動作であって、前記選択は、前記複数の画像領域のそれぞれの前記検出時刻と、前記第２取得部で前記入力を受け取った受取時刻と、の第１差、及び、前記複数の画像領域のそれぞれの前記画像領域位置と、前記入力の位置と、の第２差に基づいて行う、前記選択動作と、
を実施する、画像処理装置。
【請求項２】
前記複数の画像領域のうちで選択された前記少なくとも１つの前記第１差は、前記複数の画像領域のうちで選択されなかった別の１つの前記第１差よりも小さい、請求項１記載の画像処理装置。
【請求項３】
前記複数の画像領域のうちで選択された前記少なくとも１つの前記第２差は、前記複数の画像領域のうちで選択されなかった別の１つの前記第２差よりも小さい、請求項１または２に記載の画像処理装置。
【請求項４】
前記複数の画像領域のうちで選択された前記少なくとも１つの前記第１差は、１００ミリ秒以上、５００ミリ秒以下である請求項１〜３のいずれか１つに記載の画像処理装置。
【請求項５】
文字列を含む複数の画像に関するデータを時系列に取得する第１取得部と、
入力を受け取る第２取得部と、
処理部と、
を備え、
前記処理部は、
前記複数の画像から複数の画像領域を検出する検出動作であって、前記複数の画像領域のそれぞれは、前記複数の画像のそれぞれに含まれる前記文字列のそれぞれを含み、前記複数の画像領域のそれぞれは検出時刻に検出され、前記複数の画像領域のそれぞれは画像領域位置を有する、前記検出動作と、
前記複数の画像領域のうちで同一の文字列を含む画像領域をグループ化し、複数のグループを生成するグループ化動作であって、前記複数のグループのそれぞれは、前記検出時刻に基づくグループ検出時刻、及び、前記画像領域位置に基づくグループ位置を有する、前記グループ化動作と、
前記複数のグループのうちの少なくとも１つを選択する選択動作であって、前記選択は、前記複数のグループのそれぞれの前記グループ検出時刻と、前記受取時刻と、の第３差、及び、前記複数のグループのそれぞれの前記グループ位置と、前記入力の位置と、の第４差に基づいて行う、前記選択動作と、
を実施する、画像処理装置。
【請求項６】
前記複数のグループのうちで選択された前記少なくとも１つの前記第３差は、前記複数のグループのうちで選択されなかった別の１つの前記第３差よりも小さい、請求項５記載の画像処理装置。
【請求項７】
前記複数のグループのうちで選択された前記少なくとも１つの前記第４差は、前記複数のグループのうちで選択されなかった別の１つの前記第４差よりも小さい、請求項５または６に記載の画像処理装置。
【請求項８】
前記検出動作は、前記文字列のそれぞれについて文字列らしさを表す評価値を算出することをさらに含み、
前記処理部は、前記複数のグループのうちで選択された前記少なくとも１つに含まれる複数の画像領域の中から、前記評価値が最も高い文字列を含む画像領域を選択するグループ内選択動作をさらに実施する、請求項５〜７のいずれか１つに記載の画像処理装置。
【請求項９】
前記処理部は、前記複数のグループのうちで選択された前記少なくとも１つに含まれる複数の画像領域の中から少なくとも１つを選択するグループ内選択動作であって、前記選択は、前記複数の画像領域のそれぞれの前記画像領域位置と、前記入力の位置と、の第５差に基づいて行う、前記グループ内選択動作をさらに実施する、請求項５〜７のいずれか１つに記載の画像処理装置。
【請求項１０】
前記処理部は、
前記入力を受け取ったときに前記画像処理装置の傾きを検出する傾き検出動作と、
前記複数の画像領域のそれぞれの前記画像領域位置を、前記傾きに応じて補正する位置補正動作と、
をさらに実施する請求項１〜９のいずれか１つに記載の画像処理装置。
【請求項１１】
前記画像領域位置は、前記複数の画像のそれぞれにおける水平及び垂直方向の座標と、前記複数の画像領域のそれぞれの前記検出時刻と、を含む請求項１〜１０のいずれか１つに記載の画像処理装置。
【請求項１２】
前記画像を表示する表示部をさらに備え、
前記表示部は、前記複数の画像領域のうちで選択された前記少なくとも１つを識別可能に表示する請求項１〜４のいずれか１つに記載の画像処理装置。
【請求項１３】
前記第２取得部は、前記表示部に設けられたタッチパネルを含む請求項１２記載の画像処理装置。
【請求項１４】
文字列を含む複数の画像に関するデータを時系列に取得し、
入力を受け取り、
前記複数の画像から複数の画像領域を検出し、前記複数の画像領域のそれぞれは、前記複数の画像のそれぞれに含まれる前記文字列のそれぞれを含み、前記複数の画像領域のそれぞれは検出時刻に検出され、前記複数の画像領域のそれぞれは画像領域位置を有し、
前記複数の画像領域のうちの少なくとも１つを選択し、前記選択は、前記複数の画像領域のそれぞれの前記検出時刻と、前記入力を受け取った受取時刻と、の第１差、及び、前記複数の画像領域のそれぞれの前記画像領域位置と、前記入力の位置と、の第２差に基づいて行う、画像処理方法。
【請求項１５】
文字列を含む複数の画像に関するデータを時系列に取得する工程と、
入力を受け取る工程と、
前記複数の画像から複数の画像領域を検出し、前記複数の画像領域のそれぞれは、前記複数の画像のそれぞれに含まれる前記文字列のそれぞれを含み、前記複数の画像領域のそれぞれは検出時刻に検出され、前記複数の画像領域のそれぞれは画像領域位置を有する工程と、
前記複数の画像領域のうちの少なくとも１つを選択し、前記選択は、前記複数の画像領域のそれぞれの前記検出時刻と、前記入力を受け取った受取時刻と、の第１差、及び、前記複数の画像領域のそれぞれの前記画像領域位置と、前記入力の位置と、の第２差に基づいて行う工程と、
を、コンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
実空間に存在する文字列をカメラで撮影し、撮影した画像から文字列を検出する画像処理装置がある。画像処理装置においては、リアルタイムで撮影している画像を表示させながら、ユーザに画像内の所望の文字列を選択させ、文字列に関する様々な情報を表示する場合がある。この場合、ユーザが画像内の所望の文字列を認識し、選択するまでにタイムラグが生じる。画像内の文字列の位置はタイムラグの間に変化してしまう。このため、ユーザは所望の文字列を選択できない可能性がある。このような画像処理装置においては、確実に所望の文字列を選択できることが望まれる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−８８０４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の実施形態は、確実に所望の文字列を選択可能な画像処理装置、画像処理方法及び画像処理プログラムを提供する。
【課題を解決するための手段】
【０００５】
本発明の実施形態によれば、第１取得部と、第２取得部と、処理部と、を備えた画像処理装置が提供される。前記第１取得部は、文字列を含む複数の画像に関するデータを時系列に取得する。前記第２取得部は、入力を受け取る。前記処理部は、検出動作と、選択動作と、を実施する。前記検出動作は、前記複数の画像から複数の画像領域を検出することを含む。前記複数の画像領域のそれぞれは、前記複数の画像のそれぞれに含まれる前記文字列のそれぞれを含む。前記複数の画像領域のそれぞれは検出時刻に検出され、前記複数の画像領域のそれぞれは画像領域位置を有する。前記選択動作は、前記複数の画像領域のうちの少なくとも１つを選択することを含む。前記選択は、前記複数の画像領域のそれぞれの前記検出時刻と、前記第２取得部で前記入力を受け取った受取時刻と、の第１差、及び、前記複数の画像領域のそれぞれの前記画像領域位置と、前記入力の位置と、の第２差に基づいて行う。
【図面の簡単な説明】
【０００６】
【図１】第１の実施形態に係る画像処理装置を例示するブロック図である。
【図２】複数の画像を例示する図である。
【図３】第１の実施形態に係る検出部の動作例を例示する模式図である。
【図４】図４（ａ）〜図４（ｃ）は、指示位置の取得方法を例示する模式図である。
【図５】第１の実施形態に係る選択部の動作例を例示する模式図である。
【図６】図６（ａ）及び図６（ｂ）は、参考例に係る画像処理装置の画像を例示する模式図である。
【図７】第２の実施形態に係る画像処理装置を例示するブロック図である。
【図８】図８（ａ）及び図８（ｂ）は、第２の実施形態に係るグループ化部の動作例を例示する模式図である。
【図９】第３の実施形態に係る画像処理装置を例示するブロック図である。
【図１０】第３の実施形態に係る傾き補正方法を例示する模式図である。
【図１１】第４の実施形態に係る画像処理装置を例示するブロック図である。
【発明を実施するための形態】
【０００７】
以下に、本発明の各実施の形態について図面を参照しつつ説明する。  
なお、図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。  
なお、本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
【０００８】
（第１の実施形態）
図１は、第１の実施形態に係る画像処理装置を例示するブロック図である。
実施形態に係る画像処理装置１１０は、第１取得部１１と、第２取得物１２と、処理部２０と、表示部３０と、を含む。第１取得部１１には、例えば、入出力端子が用いられる。取得部１０は、有線または無線を介して外部と通信する入出力インタフェースを含む。処理部２０には、例えば、ＣＰＵ（Central Processing Unit）やメモリなどを含む演算装置が用いられる。処理部２０の各ブロックの一部、又は全部には、ＬＳＩ（Large Scale Integration）等の集積回路またはＩＣ（Integrated Circuit）チップセットを用いることができる。各ブロックに個別の回路を用いてもよいし、一部又は全部を集積した回路を用いてもよい。各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。集積化には、ＬＳＩに限らず、専用回路又は汎用プロセッサを用いてもよい。
【０００９】
処理部２０には、検出部２１と、選択部２２と、が設けられる。これらの各部は、例えば、画像処理プログラムとして実現される。すなわち、画像処理装置１１０は、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現される。画像処理装置１１０に含まれる各部の機能は、上記のコンピュータ装置に搭載されたプロセッサに画像処理プログラムを実行させることにより実現することができる。このとき、画像処理装置１１０は、上記の画像処理プログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記の画像処理プログラムを配布して、この画像処理プログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、処理部２０は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
【００１０】
表示部３０は、例えば、液晶ディスプレイなどで構成される。この例においては、表示部３０は、第２取得部１２を含む。第２取得部１２は、例えば、表示部３０に一体で設けられたタッチパネルを含む。
【００１１】
実施形態において、第１取得部１１は、文字列を含む複数の画像に関するデータを時系列に取得する。
第２取得部１２は、ユーザからの入力を受け取る。
検出部２１は、検出動作を実施する。検出動作は、複数の画像から複数の画像領域を検出することを含む。複数の画像領域のそれぞれは、複数の画像のそれぞれに含まれる文字列のそれぞれを含む。複数の画像領域のそれぞれは、検出時刻に検出される。複数の画像領域のそれぞれは、画像領域位置を有する。
選択部２２は、選択動作を実施する。選択動作は、複数の画像領域のうちの少なくとも１つを選択することを含む。選択は、複数の画像領域のそれぞれの検出時刻と、第２取得部１２で入力を受け取った受取時刻と、の第１差、及び、複数の画像領域のそれぞれの画像領域位置と、入力の位置と、の第２差に基づいて行う。
【００１２】
画像処理装置において、リアルタイムで撮影している画像を表示させながら、ユーザに画像内の所望の文字列を選択させ、文字列に関する様々な情報を表示する場合を想定する。この場合、ユーザが画像内の所望の文字列を認識し、文字列を選択するまでにタイムラグが生じる。画像内の文字列の位置はタイムラグの間に変化してしまう場合がある。このため、ユーザは所望の文字列を選択できない可能性がある。
【００１３】
これに対して、実施形態に係る画像処理装置１１０は、文字列を含む複数の画像を時系列に取得し、複数の画像から複数の画像領域を検出する。複数の画像領域のそれぞれは文字列のそれぞれを含む。画像処理装置１１０は、ユーザからの入力を受け取り、入力の受取時刻を基準として、複数の画像領域のうちで入力の位置に近い画像領域を選択する。これにより、ユーザは、確実に所望の文字列を選択することができる。
【００１４】
図２は、複数の画像を例示する図である。
図２に表すように、複数の画像に関するデータ４０ｊ、４０ｊ＋１、…、４０ｋ（以下、画像４０ｊ、４０ｊ＋１、…、４０ｋという）は、、時系列に取得される。複数の画像４０ｊ、４０ｊ＋１、…、４０ｋのそれぞれは、文字列を含む。画像４０ｊ、４０ｊ＋１、…、４０ｋは、例えば、看板、標識、レストランのメニューなどの実空間に存在する文字列を含む画像であればよい。第１取得部１１は、時刻ｔｊにおいて画像４０ｊを取得し、時刻ｔｊ＋１において画像４０ｊ＋１を取得し、時刻ｔｋにおいて画像４０ｋを取得する。第１取得部１１は、画像４０ｊ、４０ｊ＋１、…、４０ｋを、デジタルスチルカメラなどの撮像デバイスから取得してもよい。この場合、撮像デバイスは、画像処理装置１１０と一体で設けられていてもよいし、別体で設けられていてもよい。表示部３０は、複数の画像４０ｊ、４０ｊ＋１、…、４０ｋを取得した順に表示する。
【００１５】
検出部２１は、複数の画像４０ｊ、４０ｊ＋１、…、４０ｋから複数の画像領域を検出する。この例においては、画像４０ｊから画像領域Ｒ１ｊ〜Ｒ４ｊが検出される。画像領域Ｒ１ｊは文字列ｃ１ｊを含む。画像領域Ｒ２ｊは文字列ｃ２ｊを含む。画像領域Ｒ３ｊは文字列ｃ３ｊを含む。画像領域Ｒ４ｊは文字列ｃ４ｊを含む。同様に、画像４０ｊ＋１から画像領域Ｒ１ｊ＋１〜Ｒ４ｊ＋１が検出される。画像領域Ｒ１ｊ＋１は文字列ｃ１ｊ＋１を含む。画像領域Ｒ２ｊ＋１は文字列ｃ２ｊ＋１を含む。画像領域Ｒ３ｊ＋１は文字列ｃ３ｊ＋１を含む。画像領域Ｒ４ｊ＋１は文字列ｃ４ｊ＋１を含む。画像４０ｋから画像領域Ｒ１ｋ〜Ｒ３ｋが検出される。画像領域Ｒ１ｋは文字列ｃ１ｋを含む。画像領域Ｒ２ｋは文字列ｃ２ｋを含む。画像領域Ｒ３ｋは文字列ｃ３ｋを含む。これらの画像４０ｊ、４０ｊ＋１、…、４０ｋの１つを、単に画像４０ともいう。
【００１６】
画像領域Ｒ１ｊ〜Ｒ４ｊ、Ｒ１ｊ＋１〜Ｒ４ｊ＋１、…、Ｒ１ｋ〜Ｒ３ｋのそれぞれは、例えば、矩形状の領域で表される。検出部２１は、画像領域Ｒ１ｊ〜Ｒ４ｊ、Ｒ１ｊ＋１〜Ｒ４ｊ＋１、…、Ｒ１ｋ〜Ｒ３ｋのそれぞれの検出時刻及び画像領域位置を取得する。なお、処理部２０は、時刻を取得するための時計機能を有する。この例においては、画像領域Ｒ１ｊ〜Ｒ４ｊの検出時刻は、ｔｊ（検出時刻ｔｊ）である。画像領域Ｒ１ｊ＋１〜Ｒ４ｊ＋１の検出時刻は、ｔｊ＋１（検出時刻ｔｊ＋１）である。画像領域Ｒ１ｋ〜Ｒ３ｋの検出時刻は、ｔｋ（検出時刻ｔｋ）である。これらの画像領域Ｒ１ｊ〜Ｒ４ｊ、Ｒ１ｊ＋１〜Ｒ４ｊ＋１、…、Ｒ１ｋ〜Ｒ３ｋの１つを、単に画像領域Ｒともいう。表示部３０は、複数の画像領域Ｒをユーザが識別可能なように、文字列を囲む枠などで表示してもよい。
【００１７】
図３は、第１の実施形態に係る検出部２１の動作例を例示する模式図である。
図中、Ｘ方向は画像の水平方向に沿う。Ｙ方向は画像の垂直方向に沿う。Ｔ方向は時間方向を表す。
【００１８】
図３に表すように、画像４０及び画像４０ｋは、時系列に取得される。画像４０及び画像４０ｋのそれぞれは、文字列（図示せず）を含む。画像４０は、任意の時刻ｔ（ｔｊ≦ｔ＜ｔｋ）において取得される。画像４０は、画像４０ｊ、４０ｊ＋１、…の中のいずれかである。画像４０ｋは、時刻ｔｋにおいて取得される。ここでは２つの画像を例示しているが、３つ以上の画像でもよい。
【００１９】
例えば、画像４０から、文字列を含む画像領域Ｒｉｔが検出される。画像領域Ｒｉｔは、時刻ｔでのｉ番目の検出結果であることを意味する。画像領域Ｒｉｔ内の文字列が直線状である場合には、画像領域Ｒｉｔの画像領域位置ｐｔは、４点の２次元座標（ｘｉｔ(1)、ｙｉｔ(1)）、（ｘｉｔ(2)、ｙｉｔ(2)）、（ｘｉｔ(3)、ｙｉｔ(3)）、（ｘｉｔ(4)、ｙｉｔ(4)）を用いて表すことができる。
【００２０】
この例においては、時刻ｔのｉ番目の画像領域Ｒｉｔの画像領域位置ｐｔは、（ｘｉｔ(1)、ｙｉｔ(1)、ｘｉｔ(2)、ｙｉｔ(2)、ｘｉｔ(3)、ｙｉｔ(3)、ｘｉｔ(4)、ｙｉｔ(4)、ｔ）、で表される。
【００２１】
すなわち、複数の画像領域Ｒのそれぞれの画像領域位置ｐｔは、画像領域Ｒｉｔと同様に、４点の２次元座標を用いて表すことができる。このようにして、複数の画像領域Ｒのそれぞれの検出時刻ｔ及び画像領域位置ｐｔを得ることができる。
【００２２】
ここで、文字列の検出方法の具体例について説明する。例えば、画像中の画素のうち、隣接する画素間で、画素の色などの特徴が類似する画素同士を連結して、１つ以上の連結成分を生成する。具体的には、画像中の画素を白及び黒で二値化し、二値化された画素のうち黒画素が隣接して２つ以上連続する場合、連続する黒画素の集合を連結成分として生成する。
【００２３】
連結成分の位置関係及び連結成分の類似度に応じて、略同一直線上に並ぶ連結成分を組み合わせ、文字列として検出する。具体的には、例えば、連結成分毎に特徴ベクトルを生成し、２つの連結成分間の位置関係及び特徴の類似度を、特徴ベクトルの距離で定義する。特徴ベクトルの距離が閾値未満であれば、２つの連結成分は類似しており同一直線上に並ぶと考えられる。この場合、２つの連結成分を接続する。特徴ベクトルの各要素としては、例えば、連結成分の中心点を表すｘ座標及びｙ座標、各連結成分の平均色、連結成分のサイズ（高さ、幅、周囲長など）が挙げられる。なお、中心点とは、例えば、連結成分に対して外接する矩形の中央点であればよい。このようにして検出された文字列に外接する矩形状の領域を、画像領域として検出する。文字列の検出方法は、これに限定されない。
【００２４】
第２取得部１２は、ユーザから指示された指示位置ｐの入力を受け取る。第２取得部１２は、例えば、タッチパネルを含む。処理部２０は、時計機能を用いて、第２取得部１２が指示位置ｐの入力を受け取った受取時刻ｔｐ（＞検出時刻ｔｋ）を取得する。指示位置ｐは、例えば、ユーザがタッチパネルに対してタップ操作などを行うことで指示される表示画面上の位置である。指示位置ｐは、例えば、受取時刻ｔｐにおける表示画面上の２次元座標を用いて表すことができる。指示位置ｐは、例えば、（ｘｋ、ｙｋ、ｔｐ）で表される。なお、指示位置ｐの取得方法は、タッチパネルに限定されない。指示位置ｐは、例えば、マウスなどのポインティングデバイスを用いて取得してもよい。
【００２５】
図４（ａ）〜図４（ｃ）は、指示位置ｐの取得方法を例示する模式図である。
実施形態に係る表示部３０は、第２取得部１２として、タッチパネルを一体で備えている。表示部３０は、画像４０ｋを表示する。指示位置ｐは、図４（ａ）に表すように、表示部３０の表示画面上の１つの点として入力される。指示位置ｐは、例えば、ユーザがタップ操作を行うことで入力される。この場合、指示位置ｐは、１つの座標で表される。このようにして、指示位置ｐの座標点（ｘｋ、ｙｋ）と、受取時刻ｔｐと、が取得される。
【００２６】
指示位置ｐは、図４（ｂ）に表すように、表示部３０の表示画面上に線分として入力される。指示位置ｐは、例えば、ユーザがドラッグ操作で線分を描くことで入力される。線分の形状は限定されない。線分は折れ曲がっていてもよい。この場合、指示位置ｐは、座標群で表される。座標群は、表示画面上で連続して指定される複数の座標からなる。このようにして、指示位置ｐの座標群を構成する各座標点ｐｋ（ｘｋ(k)、ｙｋ(k））（k=1,2,…,K）と、受取時刻ｔｐと、が取得される。
【００２７】
指示位置ｐは、図４（ｃ）に表すように、表示部３０の表示画面上に領域として入力される。指示位置ｐは、例えば、ユーザがドラッグ操作で囲み線を描くことで入力される。囲み線の形状は限定されない。囲み線は折れ曲がっていてもよい。この場合、指示位置ｐは、座標領域で表される。座標領域は、表示画面上で連続して指定される複数の座標からなる座標群で囲まれている。このようにして、指示位置ｐの座標領域を構成する各座標点ｐｋ（ｘｋ(k)、ｙｋ(k））（k=1,2,…,K）と、受取時刻ｔｐと、が取得される。
【００２８】
図５は、第１の実施形態に係る選択部２２の動作例を例示する模式図である。
図中、Ｘ方向は画像の水平方向に沿う。Ｙ方向は画像の垂直方向に沿う。Ｔ方向は時間方向を表す。
【００２９】
選択部２２は、複数の画像領域Ｒのうちの少なくとも１つを選択する選択動作を行う。選択は、第１差及び第２差に基づいて行われる。第１差は、複数の画像領域Ｒのそれぞれの検出時刻ｔと、受取時刻ｔｐと、の差である。第２差は、複数の画像領域Ｒのそれぞれの画像領域位置ｐｔと、指示位置ｐと、の差である。具体的には、複数の画像領域Ｒのうちで選択された少なくとも１つの第１差は、複数の画像領域Ｒのうちで選択されなかった別の１つの第１差よりも小さい。複数の画像領域Ｒのうちで選択された少なくとも１つの第２差は、複数の画像領域Ｒのうちで選択されなかった別の１つの第２差よりも小さい。
【００３０】
例えば、選択部２２は、複数の画像領域Ｒの中から、受取時刻ｔｐから一定時間δｔ内に検出された画像領域Ｒを抽出する。一定時間δｔは、予め実験などに基づいて定められた値である。
【００３１】
図５に表すように、画像領域Ｒ１ａ〜Ｒ１ｃ、画像領域Ｒ２ａ〜Ｒ２ｃ、画像領域Ｒ３ａ、Ｒ３ｂ、及び、画像領域Ｒ４ａ、Ｒ４ｂが検出されている。画像領域Ｒ１ａ〜Ｒ１ｃ、画像領域Ｒ２ａ〜Ｒ２ｃ、画像領域Ｒ３ａ、Ｒ３ｂ、及び、画像領域Ｒ４ａ、Ｒ４ｂの各画像領域Ｒについて、検出時刻ｔが取得されている。
【００３２】
選択部２２は、各画像領域Ｒのそれぞれの検出時刻ｔに基づいて、指示位置ｐの受取時刻ｔｐから一定時間δｔ内に検出された画像領域Ｒを、画像領域Ｒ１ａ〜Ｒ１ｃ、画像領域Ｒ２ａ〜Ｒ２ｃ、画像領域Ｒ３ａ、Ｒ３ｂ、及び、画像領域Ｒ４ａ、Ｒ４ｂの中から抽出する。つまり、画像領域Ｒ１ａ〜Ｒ１ｃ、画像領域Ｒ２ａ〜Ｒ２ｃ、画像領域Ｒ３ａ、Ｒ３ｂ、及び、画像領域Ｒ４ａ、Ｒ４ｂのそれぞれの検出時刻ｔと、受取時刻ｔｐと、の差（第１差）が、一定時間δｔ内にある画像領域Ｒが抽出される。以下では、抽出された画像領域Ｒを、抽出領域ＲＡという。
【００３３】
この例においては、画像領域Ｒ１ａ〜Ｒ１ｃ、画像領域Ｒ２ａ〜Ｒ２ｃ、画像領域Ｒ３ａ、Ｒ３ｂ、及び、画像領域Ｒ４ａが、抽出領域ＲＡとなる。抽出領域ＲＡ１ａ〜ＲＡ１ｃは、画像領域Ｒ１ａ〜Ｒ１ｃに対応する。抽出領域ＲＡ２ａ〜ＲＡ２ｃは、画像領域Ｒ２ａ〜Ｒ２ｃに対応する。抽出領域ＲＡ３ａ、ＲＡ３ｂは、画像領域Ｒ３ａ、Ｒ３ｂに対応する。抽出領域ＲＡ４ａは、画像領域Ｒ４ａに対応する。画像領域Ｒ４ｂは、一定時間δｔ内に検出されていない。このため、画像領域Ｒ４ｂは抽出されない。
【００３４】
人間の視覚の平均的な反応時間は、例えば、１８０ｍｓ以上、２００ｍｓ以下、とされる。この反応時間は、ユーザが画像内に所望の文字列を認識してから、指などで画像にタッチ操作するまでのタイムラグとなる。このため、一定時間δｔとしては、タイムラグを考慮し、例えば、１００ミリ秒（ｍｓ）以上、５００ｍｓ以下とすることが望ましい。このように、実施形態においては、ユーザの操作を受け取った受取時刻ｔｐから一定時間δｔだけ過去に検出された画像領域Ｒを選択対象とする。
【００３５】
選択部２２は、複数の抽出領域ＲＡ（ここでは、抽出領域ＲＡ１ａ〜ＲＡ１ｃ、抽出領域ＲＡ２ａ〜ＲＡ２ｃ、抽出領域ＲＡ３ａ、ＲＡ３ｂ、及び、抽出領域ＲＡ４ａ）のそれぞれの画像領域位置ｐｔと、指示位置ｐと、の第２差（距離）を算出し、算出した距離に基づいて、複数の抽出領域ＲＡの少なくとも１つを選択する。具体的には、例えば、図３に表すように、距離尺度ｄｉｓｔ（ｐ、Ｒｉｔ）を算出する。ｘ、ｙは画像の水平及び垂直方向の座標を表し、ｔは検出時刻を表す。距離尺度ｄｉｓｔ（ｐ、Ｒｉｔ）は、画像領域Ｒｉｔと、指示位置ｐと、の間の距離を表す。距離尺度ｄｉｓｔ（ｐ、Ｒｉｔ）は、次式により算出できる。この例においては、図４（ａ）に表すように、指示位置ｐが座標点の場合について示す。
【００３６】
【数１】
2017091455.tif 000003
【００３７】
【数２】
2017091455.tif 000004
【００３８】
点ｐ′（ｘ′、ｙ′、ｔ′）は、画像領域Ｒｉｔに含まれる任意の座標点を表す。つまり、式２により、距離Ｄ（ｐ、ｐ′）を求める。距離Ｄ（ｐ、ｐ′）は、指示位置ｐの座標点（ｘｋ、ｙｋ、ｔｐ）と、画像領域Ｒｉｔに含まれる複数の点ｐ′（ｘ′、ｙ′、ｔ′）のそれぞれとの間の距離である。そして、式１により、距離Ｄ（ｐ、ｐ′）の最小値を、距離尺度ｄｉｓｔ（ｐ、Ｒｉｔ）として求める。なお、この例においては、検出時刻ｔを考慮し、（ｘ、ｙ、ｔ）の座標系を用いたが、検出時刻ｔを考慮せずに、（ｘ、ｙ）のみを用いて距離尺度を求めてもよい。
【００３９】
ここで、図４（ｂ）に表すように、指示位置ｐが線分である場合、または、図４（ｃ）に表すように、指示位置ｐが領域である場合、式２により、指示位置ｐの各座標点ｐｋ（ｘｋ(k)、ｙｋ(k））（k=1,2,…,K）について、画像領域Ｒｉｔに含まれる複数の点ｐ′（ｘ′、ｙ′、ｔ′）のそれぞれとの間の距離Ｄ（ｐｋ、ｐ′）を求める。式１により、距離Ｄ（ｐｋ、ｐ′）の最小値を、ｄｉｓｔ（ｐｋ、Ｒｉｔ）として求める。ｄｉｓｔ（ｐｋ、Ｒｉｔ）は、指示位置ｐの各座標点ｐｋについて求められる。そして、次式により、ｄｉｓｔ（ｐｋ、Ｒｉｔ）の合計値を算出し、これを距離尺度とすればよい。
【００４０】
【数３】
2017091455.tif 000005
【００４１】
なお、ここでは、距離尺度を、ｄｉｓｔ（ｐｋ、Ｒｉｔ）の合計値としたが、距離尺度は、ｄｉｓｔ（ｐｋ、Ｒｉｔ）の最大値または最小値としてもよい。
【００４２】
選択部２２は、例えば、次式により、距離尺度ｄｉｓｔ（ｐ、Ｒｉｔ）が最も小さい抽出領域ＲＡを選択する。ここで、選択された抽出領域ＲＡの第１差（検出時刻ｔと受取時刻ｔｐとの差）は、一定時間δｔ内にある。
【００４３】
【数４】
2017091455.tif 000006
【００４４】
すなわち、距離尺度ｄｉｓｔ（ｐ、Ｒｉｔ）を、ｔｐ−δｔ≦ｔ≦ｔｐの範囲で、最小となる（ｔｍｉｎ、ｉｍｉｎ）を求める。これにより、時刻ｔｍｉｎのｉｍｉｎ番目の抽出領域ＲＡが選択される。ここで、表示部３０は、選択された抽出領域ＲＡを、ユーザが画像内で識別可能な状態で表示してもよい。例えば、抽出領域ＲＡの枠の色や、抽出領域ＲＡ内の文字列の色を変化させるなどの方法が考えられる。また、選択された抽出領域ＲＡは、位置情報（座標及び時刻）のみをユーザに提供するようにしてもよい。画像は、例えば、外部のサーバ装置などに記憶される。この場合、位置情報と画像とを対応付けておき、位置情報から画像を読み出せるようにしておくとよい。
【００４５】
選択部２２は、距離尺度ｄｉｓｔ（ｐ、Ｒｉｔ）が小さい順に複数の抽出領域ＲＡを選択するようにしてもよい。例えば、距離尺度ｄｉｓｔ（ｐ、Ｒｉｔ）が小さい順に５つの抽出領域ＲＡを選択するように予め設定しておくとよい。この場合、選択された５つの抽出領域ＲＡの画像がユーザに提示される。ユーザは、これら５つの抽出領域ＲＡの画像の中から、所望の抽出領域ＲＡの画像を選択することができる。
【００４６】
図６（ａ）及び図６（ｂ）は、参考例に係る画像処理装置の画像を例示する模式図である。
前述したように、リアルタイムで撮影している画像を表示させながら、ユーザに画像内の所望の文字列を選択させ、文字列に関する様々な情報を表示する画像処理装置を想定する。
【００４７】
図６（ａ）の参考例において、複数の画像４０ｊ、４０ｊ＋１、…、４０ｋは、文字列を含み、時系列に取得される。画像４０ｊは時刻ｔｊにおいて取得され、画像４０ｊ＋１は時刻ｔｊ＋１において取得され、画像４０ｋは時刻ｔｋにおいて取得される。複数の画像４０ｊ、４０ｊ＋１、…、４０ｋから複数の画像領域Ｒが検出される。
【００４８】
この例においては、画像４０ｊから画像領域Ｒ１ｊ〜Ｒ４ｊが検出される。画像領域Ｒ１ｊは文字列ｃ１ｊを含む。画像領域Ｒ２ｊは文字列ｃ２ｊを含む。画像領域Ｒ３ｊは文字列ｃ３ｊを含む。画像領域Ｒ４ｊは文字列ｃ４ｊを含む。同様に、画像４０ｊ＋１から画像領域Ｒ１ｊ＋１〜Ｒ４ｊ＋１が検出される。画像領域Ｒ１ｊ＋１は文字列ｃ１ｊ＋１を含む。画像領域Ｒ２ｊ＋１は文字列ｃ２ｊ＋１を含む。画像領域Ｒ３ｊ＋１は文字列ｃ３ｊ＋１を含む。画像領域Ｒ４ｊ＋１は文字列ｃ４ｊ＋１を含む。画像４０ｋから画像領域Ｒ１ｋ〜Ｒ３ｋが検出される。画像領域Ｒ１ｋは文字列ｃ１ｋを含む。画像領域Ｒ２ｋは文字列ｃ２ｋを含む。画像領域Ｒ３ｋは文字列ｃ３ｋを含む。ここで、画像４０ｋにおいては、画像領域Ｒ４ｋが検出されていない。
【００４９】
時刻ｔｊにおいて、ユーザが画像４０ｊ内の文字列ｃ４ｊを認識し、これを選択するために、指ｆを動かす。時刻ｔｋにおいて、ユーザは指ｆで文字列ｃ４ｋにタッチする。しかしながら、文字列ｃ４ｋを含む画像領域Ｒ４ｋは未検出であるため、画像領域Ｒ４ｋを選択することはできない。
【００５０】
図６（ｂ）の参考例においては、画像４０ｋから画像領域Ｒ４ｋが検出されている。しかし、時刻ｔｋにおいてカメラが上を向いてしまい、画像４０ｋ内で文字列ｃ４ｋの位置が下側に移動している。つまり、時刻ｔｊにおいて、ユーザが画像４０ｊ内の文字列ｃ４ｊを認識し、これを選択するために、指ｆを動かしたときに、文字列ｃ４ｋの移動のために、時刻ｔｋにおいて、ユーザは意図に反して指ｆで文字列ｃ４ｋの上をタッチしてしまう。この場合も、画像領域Ｒ４ｋを選択することはできない。
【００５１】
すなわち、ユーザが画像内の所望の文字列を認識し、選択するまでにタイムラグが生じる。タイムラグの間に画像内の文字列が検出されなかったり、タイムラグの間に画像内の文字列の位置が変化してしまうことが起こり得る。このため、ユーザは所望の文字列を選択できない可能性がある。
【００５２】
これに対して、実施形態に係る画像処理装置１１０は、複数の画像４０ｊ〜４０ｋを時系列に取得し、複数の画像４０ｊ〜４０ｋから複数の画像領域Ｒ１ｊ〜を検出する。複数の画像領域Ｒ１ｊ〜のそれぞれは文字列を含む。画像処理装置１１０は、ユーザからの入力を受け取り、入力の受取時刻ｔｐを基準として、複数の画像領域Ｒ１ｊ〜のうちで指示位置ｐに近い画像領域Ｒを選択する。これにより、ユーザは、確実に所望の文字列を選択することができる。
【００５３】
（第２の実施形態）
図７は、第２の実施形態に係る画像処理装置を例示するブロック図である。
実施形態に係る画像処理装置１１１は、処理部２０を含む。処理部２０は、検出部２１、選択部２２を含み、さらに、グループ化部２３、グループ内選択部２４を含む。
【００５４】
検出部２１は、検出動作を実施する。検出動作は、複数の画像４０ｊ〜４０ｋから複数の画像領域Ｒを検出すること、複数の画像領域Ｒのそれぞれの検出時刻ｔ及び画像領域位置ｐｔを取得することを含む。検出部２１は、さらに、複数の文字列のそれぞれについて文字列らしさを表す評価値Ｓ（Ｒ）を算出する。評価値Ｓ（Ｒ）は、例えば、文字列を構成する黒画素の連結成分それぞれの連結成分度Ｃｉの特徴ベクトルをＶｉとしたときに、文字列に含まれる連結成分ｉ＝１〜Ｎ(ただし、１〜Ｎが文字列の片方の始端からもう片方の始端にソートされて並んでいるものとする)として、以下の式を用いて計算することができる。なお、Ｄ（Ａ、Ｂ）は、ベクトルＡとベクトルＢとのユークリッド距離を表す。
【００５５】
【数５】
2017091455.tif 000007
【００５６】
第２取得部１２は、ユーザからの指示位置ｐの入力を受け取る。このとき、処理部２０は、時計機能を用いて、第２取得部１２が指示位置ｐの入力を受け取った受取時刻ｔｐを取得する。
【００５７】
図８（ａ）及び図８（ｂ）は、第２の実施形態に係るグループ化部２３の動作例を例示する模式図である。
図８（ｂ）は、図８（ａ）のＷ部を拡大した拡大図である。
図中、Ｘ方向は画像の水平方向に沿う。Ｙ方向は画像の垂直方向に沿う。Ｔ方向は時間方向を表す。
【００５８】
グループ化部２３は、グループ化動作を実施する。グループ化動作は、複数の画像領域Ｒの中で同一の文字列を含む画像領域Ｒをグループ化し、複数のグループＧを生成することを含む。すなわち、グループ化部２３は、近接する複数の画像領域Ｒを１つのグループにまとめる処理を行う。より具体的には、グループ化部２３は、複数の画像４０ｊ〜４０ｋの中から複数の文字列を検出し、同一と判定された文字列同士を画像４０ｊ〜４０ｋ間で対応付ける。これにより、文字列の追跡を行い、追跡結果に基づいて、同一の文字列を含む複数の画像領域Ｒを１つのグループにまとめる処理を行う。グループ化処理には、例えば、移動体（人物や車等）の追跡などで一般的に用いられる手法を利用することができる。
【００５９】
複数の画像領域Ｒが１つのグループＧにグループ化されると、３次元の時空間上では立体的な形状として表される。この例においては、図８（ａ）に表すように、４つのグループＧ１〜Ｇ４が生成される。４つのグループＧ１〜Ｇ４のそれぞれは、例えば、直方体形状として表される。例えば、グループＧ１に含まれる画像領域Ｒの集合Ｒｇは、次式のように、Ｎ（ｇ）個の画像領域Ｒで構成される。
【００６０】
【数６】
2017091455.tif 000008
【００６１】
選択部２２は、複数のグループＧ１〜Ｇ４のうちの少なくとも１つを選択する選択動作を実施する。選択は、第３差及び第４差に基づいて行われる。第３差は、複数のグループＧ１〜Ｇ４のそれぞれのグループ検出時刻ｔと、受取時刻ｔｐと、の差である。第４差は、複数のグループＧ１〜Ｇ４のそれぞれのグループ位置ｐｔと、指示位置ｐと、の差である。グループ検出時刻ｔは、各画像領域Ｒの検出時刻ｔに基づく。グループ位置ｐｔは、各画像領域Ｒの画像領域位置ｐｔに基づく。
【００６２】
複数のグループＧ１〜Ｇ４のうちで選択された少なくとも１つの第３差は、複数のグループＧ１〜Ｇ４のうちで選択されなかった別の１つの第３差よりも小さい。複数のグループＧ１〜Ｇ４のうちで選択された少なくとも１つの第４差は、複数のグループＧ１〜Ｇ４のうちで選択されなかった別の１つの第４差よりも小さい。
【００６３】
例えば、選択部２２は、複数のグループＧ１〜Ｇ４の中から、複数の抽出領域ＲＡを含むグループＧを抽出する。なお、抽出領域ＲＡは、指示位置ｐの受取時刻ｔｐから一定時間δｔ内に検出された画像領域Ｒのことを意味する。複数のグループＧ１〜Ｇ４のそれぞれのグループ検出時刻ｔと、受取時刻ｔｐと、の差（第３差）が、一定時間δｔ内にあるグループＧが抽出される。以下では、抽出されたグループＧを、抽出グループＧＡという。本例においては、グループＧ１〜Ｇ４が全て抽出されている。このため、グループＧ１〜Ｇ４と、抽出グループＧＡ１〜ＧＡ４と、が一致する。
【００６４】
選択部２２は、複数の抽出グループＧＡ１〜ＧＡ４のそれぞれと、指示位置ｐと、の第４差（距離）を算出し、算出した距離に基づいて、複数の抽出グループＧＡ１〜ＧＡ４の少なくとも１つを選択する。この距離は、例えば、距離尺度ｄｉｓｔ（ｐ、Ｒｇ）で表される。選択部２２は、次式により、距離尺度ｄｉｓｔ（ｐ、Ｒｇ）を算出し、距離尺度ｄｉｓｔ（ｐ、Ｒｇ）が最も小さい抽出グループＧＡを選択する。例えば、抽出グループＧＡ１が選択される。
【００６５】
【数７】
2017091455.tif 000009
【００６６】
式７において、点ｐ′（ｘ′、ｙ′、ｔ′）は、抽出グループＧＡを構成する画像領域Ｒ１ｇ、Ｒ２ｇ、…ＲＮ（ｇ）ｇのそれぞれに含まれる任意の座標点を表す。つまり、前述の式２により、距離Ｄ（ｐ、ｐ′）を求める。距離Ｄ（ｐ、ｐ′）は、指示位置ｐの座標点（ｘｋ、ｙｋ、ｔｐ）と、画像領域Ｒ１ｇ、Ｒ２ｇ、…ＲＮ（ｇ）ｇに含まれる複数の点ｐ′（ｘ′、ｙ′、ｔ′）のそれぞれとの間の距離である。そして、式１により、距離Ｄ（ｐ、ｐ′）の最小値を、距離尺度ｄｉｓｔ（ｐ、Ｒｇ）として求める。
【００６７】
グループ内選択部２４は、グループ内選択動作を実施する。グループ内選択動作は、選択部２２で選択された抽出グループＧＡ１に含まれる複数の抽出領域ＲＡ〜ＲＡＮの中から少なくとも１つを選択することを含む。例えば、複数の抽出領域ＲＡ１〜ＲＡＮの中で、評価値Ｓ（Ｒ）が最も高い文字列を含む抽出領域ＲＡを選択する。ある抽出グループＧＡに属するＮ（ｇ）個の抽出領域ＲＡの中から、評価値Ｓ（Ｒｊｇ）が最も高い抽出領域Ｒｍａｘｇを、次式により選択することができる。なお、Ｒｊｇとは、ある抽出グループＧＡのｊ番目の抽出領域であることを意味する。
【００６８】
【数８】
2017091455.tif 000010
【００６９】
グループ内選択部２４は、別のグループ内選択動作を実施してもよい。この場合、選択は、第５差に基づいて行われる。第５差は、複数の抽出領域ＲＡ１〜ＲＡＮのそれぞれの画像領域位置ｐｔと、指示位置ｐと、の差である。つまり、グループ内選択部２４は、複数の抽出領域ＲＡ１〜ＲＡＮのそれぞれと、指示位置ｐと、の間の第５差（距離）を算出し、算出した距離が最も短い抽出領域ＲＡを選択してもよい。この距離は、例えば、距離尺度ｄ（ｐ、Ｒｊｇ）で表される。例えば、ある検出グループＧＡに属するＮ（ｇ）個の抽出領域ＲＡの中から、距離尺度ｄ（ｐ、Ｒｊｇ）が最も小さい抽出領域Ｒｍｉｎｇを、次式により算出することができる。なお、Ｒｊｇとは、ある抽出グループＧＡのｊ番目の抽出領域であることを意味する。
【００７０】
【数９】
2017091455.tif 000011
【００７１】
グループ内選択部２４は、距離尺度ｄ（ｐ、Ｒｊｇ）が小さい順に複数の抽出領域ＲＡを選択するようにしてもよい。例えば、距離尺度ｄ（ｐ、Ｒｊｇ）が小さい順に５つの抽出領域ＲＡを選択するように予め設定しておくとよい。この場合、選択された５つの抽出領域ＲＡの画像がユーザに提示される。ユーザは、これら５つの抽出領域ＲＡの画像の中から、所望の抽出領域ＲＡの画像を選択することができる。
【００７２】
このように、実施形態によれば、文字列のグループ化処理を追加することで、所望の文字列の選択精度をさらに高めることが可能となる。
【００７３】
（第３の実施形態）
図９は、第３の実施形態に係る画像処理装置を例示するブロック図である。
実施形態に係る画像処理装置１１２は、処理部２０を含む。処理部２０は、検出部２１、選択部２２を含み、さらに、傾き検出部２５、位置補正部２６を含む。
【００７４】
傾き検出部２５は、傾き検出動作を実施する。傾き検出動作は、指示位置ｐの入力を受け取ったときに画像処理装置１１２の傾きを検出することを含む。傾きの検出には、例えば、ジャイロセンサなどの各種のセンサが用いられる。
位置補正部２６は、位置補正動作を実施する。位置補正動作は、複数の画像領域Ｒのそれぞれの画像領域位置ｐｔを、傾きに応じて補正することを含む。
【００７５】
図１０は、第３の実施形態に係る傾き補正方法を例示する模式図である。
画像処理装置１１２は、カメラ５０を備える。この例においては、ワールド座標系Ｗｃと、カメラ座標系Ｃｃと、を用いて説明する。
【００７６】
カメラ５０の位置を、ワールド座標系Ｗｃで（ｘｏ、ｙｏ、ｚｏ）と表す。カメラ５０の方向は、ローリング角ω、ピッチング角φ、ヨーイング角κで表される。ローリング角ω、ピッチング角φ及びヨーイング角κはそれぞれワールド座標系ＷｃのＸ軸、Ｙ軸、Ｚ軸における回転角を表す。
【００７７】
カメラ５０の投影中心から撮影された画像領域Ｒへのベクトルを考える。画像領域Ｒ上のある頂点のワールド座標を（ｘｐ、ｙｐ、ｚｐ）とし、現時刻のカメラ５０の位置が（ｘｏ、ｙｏ、ｚｏ）、カメラ５０の方向が(ωo、φo、κo)のときに、カメラ座標系Ｃｃでのベクトルの成分（ｕｐ、ｖｐ、ｗｐ）と、ワールド座標系Ｗｃでのベクトルの成分（ｘｐ-ｘｏ、ｙｐ-ｙｏ、ｚｐ-ｚｏ）と、の間で次の関係が成り立つ。
【００７８】
【数１０】
2017091455.tif 000012
【００７９】
式１０を単純化するために、３軸それぞれの回転行列をａ１１〜ａ３３を要素とする１つの行列で表すと、次式となる。
【００８０】
【数１１】
2017091455.tif 000013
【００８１】
さらに、画像領域Ｒのカメラ座標系Ｃｃ上での位置（ｕ、ｖ）は、次式の関係が成り立つ。なお、ｃはレンズの焦点距離を表す。
【００８２】
【数１２】
2017091455.tif 000014
【００８３】
【数１３】
2017091455.tif 000015
【００８４】
カメラ５０の位置と方向がそれぞれ（Δｘｏ、Δｙｏ、Δｚｏ）、（Δωo、Δφo、Δκo）だけ変動した場合、画像領域Ｒのカメラ座標系Ｃｃ上での位置の変動（Δｕ、Δｖ）は、式１２、式１３から近似的に求めることができる。
【００８５】
式１２の右辺及び式１３の右辺を、それぞれ、Ｆｕ（ｘｏ、ｙｏ、ｚｏ、ωo、φo、κo）、Ｆｖ（ｘｏ、ｙｏ、ｚｏ、ωo、φo、κo）とおくと、次式が得られる。
【００８６】
【数１４】
2017091455.tif 000016
【００８７】
【数１５】
2017091455.tif 000017
【００８８】
Ｆｕ（ｘｏ、ｙｏ、ｚｏ、ωo、φo、κo）、Ｆｖ（ｘｏ、ｙｏ、ｚｏ、ωo、φo、κo）をそれぞれ（ｘｏ、ｙｏ、ｚｏ、ωo、φo、κo）の周りでテイラー展開すると、(Δｕ,Δｖ)は、次式により算出できる。
【００８９】
【数１６】
2017091455.tif 000018
【００９０】
【数１７】
2017091455.tif 000019
【００９１】
テイラー展開による微係数は、以下のように算出される。
【００９２】
【数１８】
2017091455.tif 000020
【００９３】
図１０に表すように、ワールド座標系Ｗｃを、ワールド座標系ＷｃのＺ軸方向とカメラ５０の方向(ωo、φo、κo)とが同じ向きになるように設定する。現時刻のカメラ５０の位置（ｘｏ、ｙｏ、ｚｏ）は、ワールド座標系ＷｃのＺ軸上の距離Ｈにある。このとき、カメラ位置（０、０、Ｈ）、カメラ方向（０、０、０）となり、(Δｕ、Δｖ)が計算できる。実際には距離Ｈは不明であるため、予め定めた値で代用すればよい。これにより、大凡の位置を補正することができる。そして、(Δｕ、Δｖ)を、カメラ座標系Ｃｃでの位置補正値として出力する。
【００９４】
このように、実施形態によれば、ユーザからのタッチ操作等を受け取ったときに画像処理装置１１２の傾きを検出し、傾きに応じて画像領域の検出位置を補正することができる。このため、より高精度に所望の文字列を選択することが可能となる。
【００９５】
（第４の実施形態）
図１１は、第４の実施形態に係る画像処理装置を例示するブロック図である。  
実施形態に係る画像処理装置２００は、デスクトップ型またはラップトップ型の汎用計算機、携帯型の汎用計算機、その他の携帯型の情報機器、撮像デバイスを有する情報機器、スマートフォン、その他の情報処理装置など、様々なデバイスによって実現可能である。
【００９６】
図１１に表すように、実施形態の画像処理装置２００は、ハードウェアの構成例として、ＣＰＵ２０１と、入力部２０２と、出力部２０３と、ＲＡＭ２０４と、ＲＯＭ２０５と、外部メモリインタフェース２０６と、通信インタフェース２０７と、を含む。
【００９７】
上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態の画像処理装置による効果と同様な効果を得ることも可能である。上述の実施形態に記載された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、またはこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の画像処理装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合または読み込む場合はネットワークを通じて取得または読み込んでもよい。
【００９８】
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等で動作するＭＷ（ミドルウェア）などが実施形態を実現するための各処理の一部を実行してもよい。
【００９９】
さらに、実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した記録媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。また、記録媒体は１つに限らず、複数の記録媒体から実施形態における処理が実行される場合も、実施形態における記録媒体に含まれる。記録媒体の構成は何れの構成であってもよい。
【０１００】
なお、実施形態におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、実施形態における各処理を実行するためのものであって、パーソナルコンピュータ、マイクロコンピュータ等の１つからなる装置、あるいは、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
【０１０１】
また、実施形態におけるコンピュータとは、パーソナルコンピュータに限らず、情報処理機器に含まれる演算処理装置、マイクロコンピュータ等も含み、プログラムによって実施形態における機能を実現することが可能な機器、装置を総称している。
【０１０２】
実施形態によれば、確実に所望の文字列を選択可能な画像処理装置、画像処理方法及び画像処理プログラムが提供できる。
【０１０３】
以上、具体例を参照しつつ、本発明の実施の形態について説明した。しかし、本発明は、これらの具体例に限定されるものではない。例えば、取得部、処理部などの各要素の具体的な構成に関しては、当業者が公知の範囲から適宜選択することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範囲に包含される。
【０１０４】
また、各具体例のいずれか２つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。
【０１０５】
その他、本発明の実施の形態として上述した画像処理装置、画像処理方法及び画像処理プログラムを基にして、当業者が適宜設計変更して実施し得る全ての画像処理装置、画像処理方法及び画像処理プログラムも、本発明の要旨を包含する限り、本発明の範囲に属する。
【０１０６】
その他、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。
【０１０７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１０８】
１１…第１取得部、  １２…第２取得部、  ２０…処理部、  ２１…検出部、  ２２…選択部、  ２３…グループ化部、  ２４…グループ内選択部、  ２５…傾き検出部、  ２６…位置補正部、  ３０…表示部、  ４０、４０ｊ、４０ｊ＋１、４０ｋ…画像（データ）、  ５０…カメラ、  δｔ…一定時間、  κ…ヨーイング角、  φ…ピッチング角、  ω…ローリング角、  １１０〜１１２、２００…画像処理装置、  ２０１…ＣＰＵ、  ２０２…入力部、  ２０３…出力部、  ２０４…ＲＡＭ、  ２０５…ＲＯＭ、  ２０６…外部メモリインタフェース、  ２０７…通信インタフェース、  Ｃｃ…カメラ座標系、  Ｇ、Ｇ１〜Ｇ４…グループ、  ＧＡ、ＧＡ１〜ＧＡ４…検出グループ、  Ｈ…距離、  Ｒ、Ｒ１ｊ〜Ｒ４ｊ、Ｒ１ｊ＋１〜Ｒ４ｊ＋１、Ｒ１ｋ〜Ｒ４ｋ、Ｒ１ａ〜Ｒ１ｃ、Ｒ２ａ〜Ｒ２ｃ、Ｒ３ａ、Ｒ３ｂ、Ｒ４ａ、Ｒ４ｂ…画像領域、  ＲＡ、ＲＡ１ａ〜ＲＡ１ｃ、ＲＡ２ａ〜ＲＡ２ｃ、ＲＡ３ａ、ＲＡ３ｂ、ＲＡ４ａ…抽出領域、  Ｗｃ…ワールド座標系、  ｃ１ｊ〜ｃ４ｊ、ｃ１ｊ＋１〜ｃ４ｊ＋１、ｃ１ｋ〜ｃ４ｋ…文字列、  ｆ…指、  ｐ…指示位置、  ｐｔ…画像領域位置、  ｔ、ｔｊ、ｔｊ＋１、ｔｋ…検出時刻、  ｔｐ…受取時刻
【図１】
2017091455.tif 000021
【図２】
2017091455.tif 000022
【図３】
2017091455.tif 000023
【図４】
2017091455.tif 000024
【図５】
2017091455.tif 000025
【図６】
2017091455.tif 000026
【図７】
2017091455.tif 000027
【図８】
2017091455.tif 000028
【図９】
2017091455.tif 000029
【図１０】
2017091455.tif 000030
【図１１】
2017091455.tif 000031