(57)【要約】【課題】使い勝手の良い表示装置、表示制御装置およびプログラムを提供する。【解決手段】本発明の表示装置１は、被写体を撮影する撮影部１１０と、撮影部１１０により撮影された動画像に写っている複数の検索対象の位置を特定する特定部１３０と、特定部１３０により特定された複数の検索対象のそれぞれの位置に基づいて、ユーザーが複数の検索対象のそれぞれを被写体のなかから識別できるように、複数の拡張現実画像を表示する表示部１４０と、を備える。【選択図】図３
2018106481.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影する撮影部と、
前記撮影部により撮影された動画像に写っている複数の検索対象の位置を特定する特定部と、
前記特定部により特定された複数の前記検索対象のそれぞれの位置に基づいて、ユーザーが複数の前記検索対象のそれぞれを前記被写体のなかから識別できるように、複数の拡張現実画像を表示する表示部と、を備えることを特徴とする表示装置。
【請求項２】
前記動画像のなかから複数の前記検索対象を検索するための検索条件を取得する取得部を備え、
前記特定部は、前記検索条件に基づいて前記動画像のなかから複数の前記検索対象を検索し、複数の前記検索対象の検索結果に基づいて、複数の前記検索対象の位置を特定することを特徴とする請求項１に記載の表示装置。
【請求項３】
前記取得部は、前記検索条件を音声認識により取得することを特徴とする請求項２に記載の表示装置。
【請求項４】
前記表示部は、複数の前記拡張現実画像を、それぞれ異なる表示形態で表示することを特徴とする請求項１ないし３のいずれか１項に記載の表示装置。
【請求項５】
前記検索対象は文字であることを特徴とする請求項１ないし４のいずれか１項に記載の表示装置。
【請求項６】
前記特定部は、前記文字の光学文字認識結果に基づいて、前記文字の位置を特定することを特徴とする請求項５に記載の表示装置。
【請求項７】
前記被写体は印刷物であり、
前記特定部は、前記印刷物を印刷するための画像データに基づいて、前記印刷物に印刷された前記検索対象の位置を特定することを特徴とする請求項１ないし５のいずれか１項に記載の表示装置。
【請求項８】
前記印刷物の所定の位置には、識別マークが印刷されており、
前記特定部は、前記印刷物に印刷されている前記識別マークの位置を基準にして、前記検索対象の位置を特定することを特徴とする請求項７に記載の表示装置。
【請求項９】
前記識別マークの画像を含む前記画像データを生成する生成部を備えることを特徴とする請求項８に記載の表示装置。
【請求項１０】
被写体を撮影した動画像に写っている複数の検索対象の位置を特定する特定部と、
前記特定部により特定された複数の前記検索対象のそれぞれの位置に基づいて、ユーザーが複数の前記検索対象のそれぞれを前記被写体のなかから識別できるように、複数の拡張現実画像を表示させる表示制御部と、を備えることを特徴とする表示制御装置。
【請求項１１】
コンピューターを、
被写体を撮影した動画像に写っている複数の検索対象の位置を特定する特定部と、
前記特定部により特定された複数の前記検索対象のそれぞれの位置に基づいて、ユーザーが複数の前記検索対象のそれぞれを前記被写体のなかから識別できるように、拡張現実画像を表示させる表示制御部と、として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮影した画像の表示を行う表示装置、表示制御装置およびプログラムに関する。
【背景技術】
【０００２】
従来、この種の技術として、特許文献１が知られている。特許文献１には、携帯端末で文字を撮影し、その文字に対応する文字コードを取得する際に、撮影対象となる文字列を見失わないようにするため、直前に撮影した文字列を強調表示する技術が開示されている。この強調表示は、拡張現実表示と称され、近年、ゲーム機やスマートフォンなどで広く利用されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２０９５９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１の使い勝手はさらなる改善の余地があった。
【０００５】
本発明は、より使い勝手のよい表示装置、表示制御装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の表示装置は、被写体を撮影する撮影部と、撮影部により撮影された画像に写っている検索対象の位置を特定する特定部と、特定部により特定された検索対象の位置に基づいて、ユーザーが検索対象を被写体のなかから識別できるように、拡張現実画像を表示する表示部と、を備えることを特徴とする。
【０００７】
本発明の構成によれば、被写体を撮影した画像に写っている検索対象の位置を特定し、その特定結果に基づいて拡張現実画像を表示するため、ユーザーは、被写体のなかから検索対象を容易に識別することができる。
なお、「ユーザーが検索対象を被写体のなかから識別できるように」の「被写体」は、「透過性を有する画面越しに見える被写体」でもよいし、「画像に写っている被写体」でもよい。
また、撮影部により撮影される画像は、動画像でもよいし、静止画像でもよい。
また、特定部は、１の検出対象の位置を特定してもよいし、複数の検出対象の位置を特定してもよい。後者の場合、表示部は、複数の拡張現実画像を表示し、表示制御部は、複数の拡張現実画像を表示させる。
【０００８】
上記の表示装置において、画像のなかから検索対象を検索するための検索条件を取得する取得部を備え、特定部は、検索条件に基づいて画像のなかから検索対象を検索し、検索対象の検索結果に基づいて、検索対象の位置を特定することを特徴とする。
【０００９】
本発明の構成によれば、ユーザーは、検索条件を指示することができる。
なお、取得部は、一つに限らず複数の検索条件を取得してもよい。また、複数の検索条件を取得した場合、検索対象の検索アルゴリズムは、各種論理演算式（ＡＮＤ、ＯＲ、ＮＯＴ、ＮＡＮＤ、ＮＯＲ、ＥＯＲ、ＸＯＲなど）または各種論理演算式の組み合わせを採用可能である。
【００１０】
上記の表示装置において、取得部は、検索条件を音声認識により取得することを特徴とする。
【００１１】
本発明の構成によれば、ユーザーは、検索条件を音声で指示することができるため、手を使えない状況において便利である。また、例えば、本の読み合わせや資料を用いた会議などにおいて、読み終わった個所や説明対象となっている文・段落などを、検索対象として示したい場合にも便利である。
【００１２】
上記の表示装置において、特定部により、複数の検索対象の位置が特定された場合、表示部は、特定部により特定された複数の検索対象のそれぞれの位置に基づいて、複数の拡張現実画像を、それぞれ異なる表示形態で表示することを特徴とする。
【００１３】
本発明の構成によれば、複数の拡張現実画像を、それぞれ異なる表示形態で表示するため、ユーザーは、複数の検索対象を、それぞれ区別することができる。
【００１４】
上記の表示装置において、検索対象は文字であることを特徴とする。
【００１５】
本発明の構成によれば、例えば、本の読み合わせや資料を用いた会議など、文章のなかから特定の文字を識別する必要がある場合に便利である。
なお、検索対象となる「文字」は、一文字でもよいし、複数の文字でもよい。
【００１６】
上記の表示装置において、特定部は、文字の光学文字認識結果に基づいて、文字の位置を特定することを特徴とする。
【００１７】
本発明の構成によれば、光学文字認識技術を用いて、容易に文字を認識し、文字の位置を特定することができる。
【００１８】
上記の表示装置において、被写体は印刷物であり、特定部は、印刷物を印刷するための画像データに基づいて、印刷物に印刷された検索対象の位置を特定することを特徴とする。
【００１９】
本発明の構成によれば、印刷物を印刷するための画像データを利用するため、画像に対し光学文字認識を行う必要がない。これにより、検索対象が小さい場合や印刷物の印刷品質が悪い場合であっても、正確に検索対象の位置を特定することができる。
【００２０】
上記の表示装置において、印刷物の所定の位置には、識別マークが印刷されており、特定部は、印刷物に印刷されている識別マークの位置を基準にして、検索対象の位置を特定することを特徴とする。
【００２１】
本発明の構成によれば、印刷物に印刷されている識別マークの位置を基準にして、検索対象の位置を特定するため、識別マークが印刷されていない印刷物の文字列の位置を特定する場合と比較して、正確に検索対象の位置を特定することができる。
【００２２】
上記の表示装置において、識別マークの画像を含む画像データを生成する生成部を備えることを特徴とする。
【００２３】
本発明の構成によれば、識別マーク付きの印刷物を印刷するための画像データを自装置で生成するため、外部から画像データを取得する必要がない。
【００２４】
本発明の表示制御装置は、被写体を撮影した画像に写っている検索対象の位置を特定する特定部と、特定部により特定された検索対象の位置に基づいて、ユーザーが検索対象を被写体のなかから識別できるように、拡張現実画像を表示させる表示制御部と、を備えることを特徴とする。
【００２５】
本発明の構成によれば、被写体を撮影した画像に写っている検索対象の位置を特定し、その特定結果に基づいて拡張現実画像を表示させるため、ユーザーは、その表示結果から検索対象を容易に識別することができる。
なお、表示制御装置は、表示装置を内蔵してもよいし、外付けしてもよい。後者の場合、無線通信または有線通信を介して表示制御装置と表示装置が通信可能な構成であればよい。
【００２６】
本発明のプログラムは、コンピューターを、被写体を撮影した画像に写っている検索対象の位置を特定する特定部と、特定部により特定された検索対象の位置に基づいて、ユーザーが検索対象を被写体のなかから識別できるように、拡張現実画像を表示させる表示制御部と、として機能させることを特徴とする。
【００２７】
このプログラムを用いることにより、ユーザーが被写体のなかから検索対象を容易に識別可能とするための表示を行う表示装置を実現することができる。
なお、コンピューターを含む上記の表示装置は、物理的に１つのものでもよいし、複数のものが協働して上記の表示装置を構成してもよい。
【図面の簡単な説明】
【００２８】
【図１】本発明の一実施形態に係る携帯端末および印刷物の平面図である。
【図２】携帯端末のハードウェア構成を示すブロック図である。
【図３】携帯端末の機能構成を示すブロック図である。
【図４】印刷物の一例を示す図である。
【図５】被写体画像および拡張現実画像の表示例を示す図である。
【図６】被写体画像および拡張現実画像の表示例を示す図である。
【図７】拡張現実表示処理の流れを示すフローチャートである。
【図８】第２実施形態に係る携帯端末の機能構成を示すブロック図である。
【図９】第２実施形態に係る識別マーク付きの印刷物の一例を示す図である。
【図１０】第３実施形態に係る表示システムの機能構成を示すブロック図である。
【発明を実施するための形態】
【００２９】
［第１実施形態］
以下、本発明の一実施形態に係る表示装置、表示制御装置およびプログラムについて、添付図面を参照しながら詳細に説明する。本実施形態では、本発明の表示装置を、携帯端末に適用した場合について例示する。
【００３０】
図１は、本発明の一実施形態に係る携帯端末１および印刷物Ｐの平面図である。印刷物Ｐは、「被写体」の一例であり、文字列を棒線で表している。携帯端末１は、例えばスマートフォンであり、撮像レンズ１５ａ、マイクロフォン１６ａおよびタッチパネル１７（ディスプレー１７ａ）を備える。同図は、携帯端末１の撮像レンズ１５ａで、印刷物Ｐを撮影している状態を示している。印刷物Ｐを撮影した画像は、タッチパネル１７に表示される。以下、画像に含まれる印刷物Ｐの画像を「被写体画像」と称する。
【００３１】
なお、携帯端末１としては、同図に示したスマートフォンに限らず、スマートグラスなど様々なカメラ機能および表示機能付きの情報処理端末を適用可能であるが、以下ではスマートフォンの場合を例にして説明を行う。
【００３２】
次に、図２を参照し、携帯端末１のハードウェア構成を説明する。携帯端末１は、ＣＰＵ（Central  Processing  Unit）１１、ＲＯＭ（Read  Only  Memory）１２、ＲＡＭ（Random  Access  Memory）１３、端末メモリー１４、カメラモジュール１５、マイクロフォンモジュール１６およびタッチパネル１７を備える。
【００３３】
ＣＰＵ１１は、携帯端末１内の各部と信号の入出力を行い、各種演算処理を行う。ＲＯＭ１２は、不揮発性の記憶媒体であり、ＯＳ（Operating  System）や各種アプリケーションを記憶する。本実施形態の携帯端末１は、アプリケーションとして、専用アプリケーション５０を記憶する。専用アプリケーション５０は、被写体を撮影した画像から、検索対象を検索して検索対象の位置を特定し、その特定位置に、拡張現実画像ｇ（図５，図６参照）を表示させるものである。なお、専用アプリケーション５０は、「プログラム」の一例である。
【００３４】
ＲＡＭ１３は、揮発性の記憶媒体であり、ＣＰＵ１１のワークエリアとして用いられる。また、端末メモリー１４は、不揮発性の記憶媒体であり、各種設定情報を記憶する。
【００３５】
カメラモジュール１５は、被写体像を形成する撮像レンズ１５ａの他、撮像レンズ１５ａにより形成された被写体像を光電変換する撮像素子、撮像素子から出力された出力信号をＡ／Ｄ変換するＡ／Ｄ変換器、Ａ／Ｄ変換されたデジタル信号に対し画像処理を行う画像処理回路を含む。
【００３６】
マイクロフォンモジュール１６は、ユーザーの音声を集音（受音）するマイクロフォン１６ａの他、集音したアナログ音声信号を増幅するアンプ、アンプから出力されたアナログ音声信号をＡ／Ｄ変換するＡ／Ｄ変換器、Ａ／Ｄ変換されたデジタル音声信号に対し音声信号処理を行う音声信号処理回路を含む。
【００３７】
タッチパネル１７は、ディスプレー１７ａおよびタッチ式センサー１７ｂを一体形成したものであり、表示手段および入力手段として用いられる。ディスプレー１７ａは、撮影された動画像など各種情報を表示する。また、タッチ式センサー１７ｂは、タッチパネル１７に対するユーザーの操作を検出し、その検出信号をＣＰＵ１１に出力する。
【００３８】
なお、携帯端末１の上記のハードウェア構成は、あくまでも一例であり、同様の機能を有する他のハードウェアを採用してもよい。例えば、タッチパネル１７に代えて、表示手段および入力手段を個別に搭載してもよい。
【００３９】
次に、図３を参照し、携帯端末１の機能構成を説明する。携帯端末１は、機能構成として、撮影部１１０、取得部１２０、特定部１３０および表示部１４０を備える。これらの機能は、主にＣＰＵ１１が専用アプリケーション５０を実行することにより実現される機能である。なお、撮影部１１０は、専用アプリケーション５０ではなく、既知のカメラアプリケーションを利用して実現してもよい。
【００４０】
撮影部１１０は、被写体となる印刷物Ｐを撮影するものであり、カメラモジュール１５の機能を含む。本実施形態において、撮影部１１０は、動画像（音声無しの映像）を撮影する。
【００４１】
取得部１２０は、動画像のなかから検索対象を検索するための検索条件を音声認識により取得するものであり、マイクロフォンモジュール１６の機能を含む。取得部１２０は、ユーザーの音声を集音し、音声認識アルゴリズムに基づいて音声認識を行い、その音声認識結果を検索条件として取得する。なお、本実施形態において、文字には数字や記号を含み、「検索対象」は「１以上の文字」であり、「検索条件」は、「１以上の文字の読み方（音）」である。つまり、後述する特定部１３０では、検索条件として取得した「１以上の文字の読み方」と一致する「１以上の文字」を検索対象として検索し、その位置を特定する。なお、以下の説明では、「１以上の文字」を「文字列」と称する。
【００４２】
特定部１３０は、取得部１２０により取得した検索条件に基づいて、撮影部１１０により撮影された動画像のなかから検索対象を検索し、複数の検索対象の検索結果に基づいて、複数の検索対象の位置を特定する。つまり、動画像のなかから、音声認識により取得した文字列と一致する１以上の文字列を検索し、その１以上の文字列の動画像上の位置（タッチパネル１７上の位置）を特定する。このとき特定部１３０は、動画像に対して光学文字認識を行うことにより文字列を検索し、その検索結果に基づいて、文字列の位置を特定する。また、特定部１３０は、文字列の位置を特定するだけでなく、文字列の文字サイズ、文字コード、フォント種類を特定する。なお、一致するとは完全一致でなくともよく、必要に応じて同じ意味を持つ文字列（数字や記号や別言語での文字列に置き換えたものを含む）であってもよい。例えば、「いち」と「一」と「１」と「ｏｎｅ」とは全て「いち」と一致するとみなしてもよい。
【００４３】
表示部１４０は、特定部１３０により特定された文字列の位置に基づいて、拡張現実画像ｇを表示するものであり、タッチパネル１７（ディスプレー１７ａ）の機能を含む。表示部１４０は、特定部１３０により複数の文字列が特定された場合、特定された複数の文字列のそれぞれの位置に基づいて、複数の文字列のそれぞれを、ユーザーが被写体（タッチパネル１７に表示された被写体画像）のなかから識別できるように、複数の拡張現実画像ｇを表示する。
【００４４】
ここで、図４ないし図６を参照し、具体例を挙げて表示部１４０の処理を説明する。図４は、印刷物Ｐの一例を示す図である。同図に示すように、印刷物Ｐには、文章が印刷されている。この文書は、日本語版ウィキペディア (Wikipedia): フリー百科事典の2016年11月29日 (火) 09:30更新版の「セイコーエプソン」の記事より引用したものである。また、撮影部１１０により印刷物Ｐを撮影すると、表示部１４０は、同図に示すような被写体を含む動画像Ｓをタッチパネル１７に表示する。
【００４５】
撮影部１１０により印刷物Ｐを撮影している状態で、ユーザーがマイクロフォンモジュール１６に「セイコーインスツル」と声を出す場合を例として説明する。まずユーザーが「セイコー」まで声を出した時点で、取得部１２０により「セイコー」という文字列の読み方を検索条件として取得する（文字列「セイコー」を音声認識する）。そして特定部１３０は、撮影部１１０が印刷物Ｐを撮影した動画像Ｓから光学文字認識によって印刷物Ｐに印刷されている文字を認識し、読み方が「セイコー」の文字列（同図の例では、文字列「セイコー」、文字列「Seiko」）の位置を特定する。そして表示部１４０は撮影部１１０が印刷物Ｐを撮影した動画像Ｓの中の特定された位置の文字列に対して、拡張現実画像ｇを表示する（図５参照）。図５の例では、検索対象が６個検索されたため、６個の拡張現実画像ｇ１〜ｇ６を表示する。本実施形態では、拡張現実画像ｇとして、検索対象となる文字列を太文字化した画像と、検索対象となる文字列に付加される下線の画像と、を表示する。前者の「文字列を太文字化した画像」は、特定部１３０により特定された文字サイズ、文字コード、フォント種類に応じて生成される画像である。このように、音声で読み上げられた文字列が太文字および下線によって強調表示されるため、ユーザーは、印刷物Ｐのどの部分が読み上げられたのかを容易に把握することができる。なお、本実施形態では、動画像Ｓを用いているため、撮影部１１０が撮影している位置が変動しうる。そのため、撮影部１１０が撮影している位置が変動しても変動に追随し常に検索対象の文字列に拡張現実画像ｇを表示するようにする。
【００４６】
次に、図５のように、動画像Ｓおよび拡張現実画像ｇ１〜ｇ６が表示されている状態で、ユーザーが「インスツル」と声を出すことで取得部１２０により「セイコー」に続く文字列として「インスツル」という文字列の読み方を検索条件として取得する（文字列「インスツル」を音声認識すると）。そして特定部１３０は読み方が「インスツル」の文字列を特定する。次いで、表示部１４０は、それまで表示していた拡張現実画像ｇ１〜ｇ６のうち、読み方が「インスツル」の文字列の前に存在する拡張現実画像ｇ４を残したまま、読み方が「インスツル」の文字列に対して、新たな拡張現実画像ｇ１１を表示する（図６参照）。また、表示部１４０は、「インスツル」という文字列を取得した時点で、それまで表示していた、その他の拡張現実画像ｇ１，ｇ２，ｇ３，ｇ５，ｇ６を、非表示とする。
【００４７】
このように、携帯端末１（専用アプリケーション５０）は、文字列が順次読み上げられ、検索条件を取得する度に、拡張現実画像ｇの表示を更新する。但し、ユーザーにより、拡張現実表示処理を終了する操作が行われた場合、または検索条件の取得が長時間（例えば３分間）途切れた場合、拡張現実表示処理を一旦終了する（それまで表示していた全ての拡張現実画像ｇを非表示とする）。そして、再度文字列が読み上げられると、新たに読み上げられた文字列に拡張現実画像ｇの表示を行う。
【００４８】
なお、検索条件の取得が一定時間（一連の文字列と認識する時間よりも長く、拡張現実表示処理を一旦終了する時間よりも短い時間。例えば５秒間）途切れた場合には、別の検索対象の文字列としてもよい。また、図５および図６の例では、拡張現実画像ｇとして、検索対象となる文字列を太文字化した画像と、検索対象となる文字列に付加される下線の画像と、を表示しているため、拡張現実画像ｇの対象となる文字列が連続している場合、下線の画像が連続しているように見えるが、別の検索対象の文字列に対し、下線の画像が連続しないような異なる拡張現実画像ｇを表示してもよい。例えば、検索対象の文字列ごとに下線の種類を変えたりしてもよい。
【００４９】
また、拡張現実画像ｇは、図５および図６に示した例に限定されるものではない。例えば、検索対象となる文字列に対して太字以外の文字装飾を行った画像（文字色、文字サイズ、文字フォントを変化させた画像など）を重畳表示してもよい。また、重畳表示する場合は、文字の画線部のみを重畳させてもよいし、ラベルを貼り付けたようにベース部分を含めて重畳させてもよい。前者の場合、被写体画像のベース色（印刷物Ｐの印刷媒体の色）を生かすことができる。また、後者の場合、被写体画像の検索対象となる文字列の位置と、拡張現実画像ｇの表示位置が多少ずれてしまった場合でも、被写体画像に印刷された文字と拡張現実画像ｇの太字の文字とが二重に見えることがないため視認性を損なわない。また、透過性を有するマーカーを、検索対象となる文字列に対して重畳表示してもよい。さらに、拡張現実画像ｇとして動画像を表示してもよい。例えば、検索対象となる文字列が浮き上がっていくような動画像、検索対象となる文字列の画線部が振動するような動画像、などが考えられる。
【００５０】
次に、図７のフローチャートを参照し、携帯端末１による拡張現実表示処理の流れを説明する。ここでは、専用アプリケーション５０が起動されて、撮影部１１０により被写体（印刷物Ｐ）の撮影が行われ、表示部１４０が、被写体を含む動画像Ｓを表示している状態であるものとする。このフローチャートは、専用アプリケーション５０を終了するまで繰返し実行される。
【００５１】
この状態で、取得部１２０が新たに検索条件を取得する又は既に取得していた検索条件があると（Ｓ０１：Ｙｅｓ）、新たに取得した動画像Ｓに対して光学文字認識を行って動画像Ｓ中の対象フレームから文字列を認識する（Ｓ０２）。そして、特定部１３０は、取得した又は既に取得していた検索条件に基づいて動画像Ｓ中の対象フレームから検索対象を検索し、検索対象の有無を判断する（Ｓ０３）。つまり、検索条件として取得した文字列（音声認識された文字列）が、対象フレームの光学文字認識結果に含まれるか否かを判断する。なお、検索条件を取得しないで既に取得していた検索条件もない場合（Ｓ０１：Ｎｏ）、および検索対象がないと判断した場合は（Ｓ０３：Ｎｏ）、Ｓ０１に戻る。また、Ｓ０１では、音節や単語を認識するたびに（音節ごとに又は単語ごとに）検索条件を取得してもよいし、音声が短時間途切れたときに検索条件を取得してもよい。
【００５２】
特定部１３０は、Ｓ０３で「Ｙｅｓ」と判断した場合、検索対象の位置を特定する（Ｓ０４）。つまり、検索条件として新たに取得した文字列や検索条件として既に取得していた文字列が、対象フレームのどの位置に存在するのかを特定する。なお、Ｓ０３で複数の検索対象が見つかった場合、Ｓ０４では、複数の検索対象の位置を特定する。その後、表示部１４０は、Ｓ０３で検索された文字列に、連続文字列が含まれるか否かを判断する（Ｓ０５）。ここで、「連続文字列」とは、既に拡張現実画像ｇが重畳表示されている文字列の後に、新たに連続する文字列を指す。例えば、図６に示した例では、文字列「インスツル」が、連続文字列となる。Ｓ０５の判断は、拡張現実画像ｇが重畳表示されている文字列が存在しない場合は「Ｎｏ」となるため、拡張現実表示処理の処理開始後、１回目は必ず「Ｎｏ」となる。また、新たな検索条件が取得されていない場合（検索条件が更新されていない場合）にも、新たな文字列がないため、Ｓ０５の判断は「Ｎｏ」となる。
【００５３】
表示部１４０は、Ｓ０５で「Ｎｏ」と判断した場合、Ｓ０４で特定された検索対象の位置に基づいて、ユーザーが検索対象を対象フレーム上で識別できるように、検索対象の文字列に対し拡張現実画像ｇを重畳して対象フレームを表示する（Ｓ０６）。また、Ｓ０６では、それまで表示していた拡張現実画像ｇである旧拡張現実画像が存在する場合、その旧拡張現実画像とは異なる表示形態の拡張現実画像ｇを重畳表示する。
【００５４】
一方、表示部１４０は、Ｓ０５で「Ｙｅｓ」と判断した場合、Ｓ０４で特定された検索対象の位置に基づいて、Ｓ０３で検索された文字列のうち連続文字列に対し、新規の拡張現実画像ｇである新拡張現実画像を重畳して対象フレームを表示する（Ｓ０７）。つまり、Ｓ０７では、Ｓ０３で検索された文字列のうち連続文字列に該当しない文字列に対しては、新拡張現実画像を表示しない。また、Ｓ０７では、旧拡張現実画像のうち連続文字列前に存在する旧拡張現実画像を残し、その他の拡張現実画像ｇを非表示とする。つまり、図６に示した例では、拡張現実画像ｇ４が「連続文字列前に存在する旧拡張現実画像」であり、拡張現実画像ｇ１１が「新拡張現実画像」である。
【００５５】
そして、Ｓ０６やＳ０７で表示を行った後は、新たな検索条件の取得が長時間途切れたかどうかを判断する（Ｓ０８）。Ｓ０８で「Ｎｏ」と判断した場合、つまり長時間途切れていなければ動画像Ｓの次のフレームを対象フレームとして（Ｓ０９）、Ｓ０１に戻る。なお、Ｓ０８における、新たな検索条件の取得が長時間途切れたかどうかの判断は、最後の検索条件の取得時からの経過時間を計測し、経過時間が所定時間に達した場合、途切れたと判断する。つまり、Ｓ０１：Ｎｏと判断した時点からの経過時間に基づいて判断するものではない。また、「新たな検索条件」とは、「前回の検索条件と異なる検索条件」を指すものではなく、「新規に音声認識された検索条件」を指すものである。つまり、「セイコー」、「セイコー」と同じ音を続けて認識した場合、２回目の「セイコー」は「新たな検索条件」となる。一方、Ｓ０８で「Ｙｅｓ」と判断した場合、つまり新たな検索条件の取得が長時間途切れていれば、既に取得していた検索条件を消去して全ての拡張現実画像ｇを非表示とする（Ｓ１０）。そしてその後、動画像Ｓの次のフレームを対象フレームとして（Ｓ０９）、Ｓ０１に戻る。
【００５６】
以上説明したとおり、本実施形態の携帯端末１によれば、被写体となる印刷物Ｐを撮影した動画像のなかから、検索条件として取得した文字列と一致する文字列の位置を特定し、その特定結果に基づいて複数の拡張現実画像ｇを表示するため、ユーザーは、被写体画像のなかから検索対象となる複数の文字列を容易に識別することができる。また、携帯端末１は、音声認識により検索条件を取得するため、ユーザーは、手を使えない状況においても、検索条件を指示することができる。さらに、本実施形態の携帯端末１は、動画像を撮影している間、図７に示した拡張現実表示処理をフレーム単位で実行するため、一旦検索対象となる文字列の位置を特定した後、新たな検索条件を取得していない状態で携帯端末１が動いたとしても、検索対象となる文字列に対し拡張現実画像ｇを表示し続けることができる。
【００５７】
なお、ここで言う「複数の拡張現実画像ｇの表示」とは、図５に示した拡張現実画像ｇ１〜ｇ６を表示すること、および図６に示した拡張現実画像ｇ４，ｇ１１を表示すること、の両方を含む。つまり、検索条件は必ずしも１回で取得する必要はなく、複数回に分けて取得してもよい。上記の実施形態では、１回目に取得した検索条件に基づいて表示する拡張現実画像ｇが拡張現実画像ｇ１〜ｇ６であり、１回目と２回目に取得した検索条件に基づいて表示する拡張現実画像ｇが拡張現実画像ｇ４，ｇ１１である。
【００５８】
なお、以下の変形例を採用可能である。
［変形例１］
上記の実施形態において表示部１４０は、拡張現実画像ｇを上述とは異なる表示形態で表示してもよい。また、複数の検索対象に対する複数の拡張現実画像ｇを、全て同一表示形態で表示したが、それぞれ異なる表示形態で表示してもよい。「異なる表示形態」とは、装飾の種類や装飾方法が異なることを含む。例えば、複数の拡張現実画像ｇを、全て異なる色で表示してもよいし、異なる付加情報（番号１、２などや、一本下線と波下線や、丸囲みと雲囲み等）を付加して表示してもよい。また、複数の拡張現実画像ｇを、異なる周期で点滅表示させるようにしてもよい。また、文字列の文字種類（片仮名、平仮名、漢字、アルファベットなど）や文字サイズに応じて、表示形態を変更してもよい。例えば、片仮名には、黄色マーカーの拡張現実画像ｇを表示し、アルファベットには、赤色マーカーの拡張現実画像ｇを表示する、などが考えられる。
【００５９】
［変形例２］
上記の実施形態において特定部１３０は、複数の検索対象の位置を特定したが、必ずしも複数でなくて良く、一つの検索対象の位置を特定してもよい。また、さらなる変形例として、複数の検索対象がある場合に、検索対象の位置を特定し、複数の検索対象がない場合（検索対象が一つしかない場合）は、検索対象の位置を特定しない（すなわち、拡張現実画像ｇを表示しない）構成としてもよい。この構成によれば、印刷物Ｐに印刷されている文字数が少ない場合など、拡張現実画像ｇの表示の必要性が低い場合に、無駄な表示制御を省略できる。
【００６０】
［変形例３］
上記の実施形態において撮影部１１０は、動画像を撮影したが、静止画像を撮影してもよい。この場合、上記の拡張現実表示処理は、タッチパネル１７に静止画像が表示されている状態で実行される。
【００６１】
［変形例４］
上記の実施形態において特定部１３０は、検索対象として文字列を検索したが、文字列以外の画像を検索対象としてもよい。また、取得部１２０は、検索条件として文字列を取得したが、検索対象を特定可能であれば、文字列以外の情報を取得してもよい。例えば、検索対象が文字列の場合、文字種類や文字色を検索条件として取得してもよい。また、検索対象が文字列以外の画像の場合、画像の特徴（色、大きさ、明るさ、形状など）を検索条件として取得してもよい。
【００６２】
［変形例５］
上記の実施形態において取得部１２０は、一つの検索条件を取得してもよいし、複数の検索条件を取得してもよい。複数の検索条件を取得する場合、検索対象の検索アルゴリズムは、各種論理演算式（ＡＮＤ、ＯＲ、ＮＯＴ、ＮＡＮＤ、ＮＯＲ、ＥＯＲ、ＸＯＲなど）または各種論理演算式の組み合わせを採用可能である。例えば、図５に示す被写体画像が表示されている場合であって、検索条件１が文字列の読み方として「セイコー」、検索条件２が文字種類として「アルファベット」、採用する論理演算式が「ＡＮＤ」の場合、特定部１３０は、これら２つの条件を満たす文字列「Ｓｅｉｋｏ」の位置を特定すればよい。つまり、表示部１４０は、拡張現実画像ｇ２および拡張現実画像ｇ６を表示すればよい。
【００６３】
［変形例６］
上記の実施形態において表示部１４０は、検索条件に対応する１以上の文字列があり、その１以上の文字列に連続文字列が含まれない場合、検索対象の文字列に対し、旧拡張現実画像とは異なる拡張現実画像ｇを重畳表示したが（図７のＳ０６参照）、旧拡張現実画像を非表示としてもよい。一方、検索条件に対応する１以上の文字列があり、その１以上の文字列に連続文字列が含まれる場合、旧拡張現実画像のうち連続文字列前の旧拡張現実画像のみを残し、新拡張現実画像を重畳表示したが（図７のＳ０７参照）、全ての旧拡張現実画像を残してもよい。また、図７のＳ０７では、連続文字列に対してのみ新拡張現実画像を重畳表示したが、Ｓ０３で検索された全ての文字列に対して新拡張現実画像を重畳表示してもよい。また、図７のＳ０３で検索対象の有無を判断する場合、読み上げられた文字列と、文章中の文字列とが完全に一致しない場合でも、整合性が所定割合以上であれば、「検索対象あり」と判断してもよい。
【００６４】
［変形例７］
上記の実施形態において表示部１４０は、特定部１３０により特定された文字列を対象として拡張現実画像ｇを表示したが、特定部１３０により特定された文字列を含む所定の範囲を対象として拡張現実画像ｇを表示してもよい。例えば、特定部１３０により特定された文字列を中心とした所定領域、特定された文字列を含む文または段落、などを対象として拡張現実画像ｇを表示することが考えられる。
【００６５】
［変形例８］
上記の実施形態において特定部１３０は、検索対象の位置として、動画像上の位置を特定したが、動画像のなかの被写体画像上の位置を特定してもよい。この場合、特定部１３０は、特定された被写体画像上の検索対象の位置と、タッチパネル１７に表示されている動画像のなかの被写体画像の位置と、に基づいて、動画像上における検索対象の位置を特定する。
【００６６】
［変形例９］
上記の実施形態では、携帯端末１のタッチパネル１７に動画像を表示したが、透過性（透光性）を有する画面に動画像を表示してもよい。この場合、表示部１４０は、被写体画像を表示する必要はなく、ユーザーが画面を通して視認可能な被写体の位置に合わせて、拡張現実画像ｇを表示すればよい。また、この場合、撮影部１１０による撮影範囲がユーザーの視野に含まれることが前提となるため、ユーザーの頭の位置、顔の向き、眼球の動き等をセンサー等により検出し、それらの検出結果に基づいて、被写体を視認しているユーザーの視野を特定してもよい。そして、ユーザーが、視野に含まれる被写体（透過性を有する画面越しに見える被写体）のなかから、複数の検索対象のそれぞれを識別できるように複数の拡張現実画像ｇを表示すればよい。透過性を有する画面を備えた表示装置としては、例えば、レーザープロジェクション式カーナビゲーション、シースループロジェクション、透過型デジタルサイネージ、などが考えられる。また、透過性を有する画面を備えた表示装置として、ヘッドマウントディスプレーを採用してもよい。この場合は、ユーザーの頭部の動きに合わせて撮影部１１０による撮影範囲が変化するため、ユーザーの頭の位置や顔の向きの検出を省略してもよい。また、さらなる変形例として、書画カメラやプロジェクターにより、スクリーンや壁に向けて拡張現実画像ｇを投影してもよい。
【００６７】
［第２実施形態］
次に、図８および図９を参照し、本発明の第２実施形態について説明する。本実施形態は、特定部１３０が、印刷物ＰＭを印刷するための画像データを利用し、印刷物ＰＭ（図９参照）に印刷された識別マークＭの位置を基準として検索対象の位置を特定する点で第１実施形態と異なる。以下、第１実施形態と異なる点のみ説明する。なお、本実施形態において、第１実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、第１実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。
【００６８】
携帯端末１´のハードウェア構成は、第１実施形態（図２参照）と同様の構成を採用可能であるため、説明を省略する。図８は、第２実施形態に係る携帯端末１´の機能構成を示すブロック図である。本実施形態に係る携帯端末１´は、図１の携帯端末１´の機能構成（図３参照）に、生成部１５０を追加した構成である。
【００６９】
生成部１５０は、印刷物ＰＭを印刷するための画像データを生成するものであり、主にＣＰＵ１１が専用アプリケーション５０を実行することにより実現される。生成する画像データのファイル形式（ＪＰＥＧやＢＭＰなど）は問わない。また、生成部１５０は、携帯端末１´に入力された情報、または外部から取得した情報である原稿データを印刷するための第１の画像データに、識別マークＭを印刷するための第２の画像データを付加することにより、印刷物ＰＭを印刷するための画像データを生成する。そしてその画像データを必要に応じて変換したり制御情報を付加したりして印刷データを生成する。必要がなければ、画像データをそのまま印刷データとしてもよい。なお、生成部１５０は、原稿データと、識別マークＭ（識別マークＭを生成するためのキャラクタ列）と、を関連付けた関連情報を、端末メモリー１４内の所定の記憶領域に記憶する。
【００７０】
図９は、識別マークＭ付きの印刷物ＰＭの一例を示す図である。本実施形態では、識別マークＭ１〜Ｍ４としてバーコードを印刷している。バーコードには、印刷物ＰＭを特定するための印刷物コードと、各バーコードの印刷位置（用紙の左上、右上、左下、右下、など）を示す情報を含む。なお、識別マークＭは、１回の印刷で複数ページが印刷される場合、印刷番号とページ番号を示す情報をさらに含む。若しくは、各ページに、異なる印刷物コードを含むバーコードを印刷してもよい。これにより、１回の印刷で複数ページが印刷される場合、ページを特定することができる。また、図９の例では、印刷物ＰＭの四隅に識別マークＭが印刷されているが、１か所のみでもよいし、さらに多くの箇所に識別マークＭを印刷してもよい。
【００７１】
図８の説明に戻る。本実施形態の携帯端末１´は、印刷装置２と直接的又は間接的に通信可能に構成される。特に図示しないが、携帯端末１´および印刷装置２には、両者が通信を行うための通信部が設けられる。また、印刷装置２は、印刷部２１０を備える。印刷部２１０は、携帯端末１´から送信された印刷データに基づいて印刷を行うものであり、印刷ヘッドや用紙搬送機構などを含む。また、当該印刷部２１０による印刷により、印刷物ＰＭが作成される。
【００７２】
上記の構成により、本実施形態に係る特定部１３０´は、原稿データに基づいて、印刷物ＰＭに印刷された検索対象（文字列）の位置を特定する。または、特定部１３０´は、印刷物ＰＭに印刷されている識別マークＭと原稿データとに基づいて、識別マークＭの位置を基準にして、検索対象の位置を特定する。つまり、特定部１３０´は、端末メモリー１４内の所定の記憶領域を参照し、撮影部１１０が撮影した動画像に含まれる被写体画像の識別マークＭから、識別マークＭに関連付けられた原稿データを特定する。これは具体的にいうと、バーコードリーダー機能を用いてバーコード情報を読み取り、それをデコードすることで、識別マークＭを特定して、特定された識別マークＭに関連付けられた原稿データを特定する。さらに、特定部１３０´は、特定された原稿データの文字コードのなかから、検索条件として取得した文字列の文字コードを検索し、その検索結果が示す文字列の位置と、識別マークＭの位置と、に基づいて、識別マークＭを基準とした文字列の位置を特定する。例えば、識別マークＭ１の先端位置を座標（０，Ｙ）、識別マークＭ２の後端位置を座標（Ｘ，Ｙ）、識別マークＭ３の先端位置を座標（０，０）、識別マークＭ４の後端位置を座標（Ｘ，０）としたときの、検索対象となる文字列の先端位置および後端位置を特定する。そして、画像データのなかの文字列の位置（識別マークＭを基準とした文字列の位置）と、タッチパネル１７に表示されている動画像Ｓの識別マークＭの位置と、に基づいて、動画像Ｓ上の文字列の位置（すなわち、拡張現実画像ｇを表示すべき位置）を特定する。なお、文字コードが含まれていない原稿データである場合には、原稿データの画像に対して光学文字認識を使って検索してもよい。
【００７３】
一方、本実施形態に係る表示部１４０は、特定部１３０´により特定された文字列の位置に基づいて、拡張現実画像ｇを表示する。
【００７４】
以上説明したとおり、第２実施形態の携帯端末１´によれば、印刷物ＰＭを印刷するための画像データを利用して、印刷物ＰＭに印刷された検索対象の位置を特定するため、撮影した動画像に対して光学文字認識を行う必要がない。これにより、撮影された画像中の文字が小さい場合や印刷物ＰＭの印刷品質が悪い場合など、撮影された画像に対して光学文字認識を行うことが困難であっても、正確に検索対象の位置を特定することができる。また、印刷物ＰＭに印刷されている識別マークＭの位置を基準にして、検索対象の位置を特定するため、識別マークＭの位置を基準としない構成と比較して、正確に検索対象の位置を特定することができる。また、携帯端末１´自身で画像データを生成するため、外部から画像データを取得する必要がない。
【００７５】
なお、第２実施形態では、以下の変形例を採用可能である。
［変形例１０］
上記の実施形態において生成部１５０は、識別マークＭの画像を含む画像データを生成したが、識別マークＭの画像を含まない画像データを生成してもよい。識別マークＭの画像を含めない場合は、被写体画像の四隅または用紙の上端、下端、左端、右端の位置を基準として、検索対象の位置を特定してもよい。
【００７６】
［変形例１１］
上記の実施形態では、識別マークＭとしてバーコードを例示したが、２次元コードなど、他のコード画像を用いてもよい。また、コード画像以外に、所定の記号やマークを用いてもよい。
【００７７】
［変形例１２］
上記の実施形態では、携帯端末１´の生成部１５０により原稿データから印刷データを生成したが、携帯端末１´と異なる印刷データ生成装置が、原稿データから印刷データを生成し、携帯端末１´は印刷データを生成しない構成でもよい。この場合、特定部１３０´は、原稿データと関連情報とを印刷データ生成装置から取得し、取得した原稿データと関連情報とを利用して検索対象となる文字列の位置を特定する。この印刷データ生成装置は、パーソナルコンピューターであってもよいし、印刷装置２が兼ねていてもよい。
【００７８】
［第３実施形態］
次に、図１０を参照し、本発明の第３実施形態について説明する。本実施形態は、第１実施形態に示した携帯端末１を複数の装置の組み合わせによって実現するものである。以下、第１実施形態と異なる点のみ説明する。なお、本実施形態においても、第１実施形態と同様の構成部分については同様の符号を付し、詳細な説明を省略する。また、第１実施形態と同様の構成部分について適用される変形例は、本実施形態についても同様に適用される。
【００７９】
図１０は、第３実施形態に係る表示システムＳＹの機能構成を示すブロック図である。表示システムＳＹは、表示制御装置３と、撮影装置４と、表示装置５と、を含む。表示制御装置３と撮影装置４、および表示制御装置３と表示装置５は、通信可能に構成される。撮影装置４は、第１実施形態の撮影部１１０と同機能の撮影部４１０を備える。撮影装置４で撮影された動画像データは、表示制御装置３に送信される。
【００８０】
一方、表示制御装置３は、取得部１２０、特定部１３０および表示制御部１６０を備える。表示制御部１６０は、主にＣＰＵ１１が専用アプリケーション５０を実行することにより実現される機能であり、第１実施形態の表示部１４０の表示制御を司る機能に相当する。表示制御部１６０は、拡張現実画像ｇを表示するための表示データを生成し、表示装置５に送信する。表示装置５は、表示制御装置３から送信された表示データを表示する表示部５１０を備える。表示部５１０は、非透過性または透過性のディスプレーである。
【００８１】
以上説明したとおり、第３実施形態によれば、簡易な構成の表示制御装置３であっても、撮影装置４および表示装置５と協働することにより、第１実施形態と同様の効果を奏することができる。
【００８２】
なお、第３実施形態では、以下の変形例を採用可能である。
［変形例１３］
本実施形態を、第２実施形態と組み合わせてもよい。つまり、第２実施形態の生成部１５０を、表示制御装置３に追加し、特定部１３０を特定部１３０´に入れ替えた構成としてもよい。
［変形例１４］
本実施形態とは異なる複数の装置の組み合わせで携帯端末１，１´を実現してもよい。
【００８３】
また、実施形態１〜３に共通して、以下の変形例を採用可能である。
［変形例１５］
上記の実施形態および変形例に示した携帯端末１，１´または表示制御装置３における各構成要素をプログラムとして提供してもよい。また、そのプログラムを各種記録媒体（ＣＤ−ＲＯＭ、フラッシュメモリー等）に格納して提供してもよい。すなわち、コンピューターを携帯端末１，１´または表示制御装置３の各構成要素として機能させるためのプログラム、それを記録したコンピューター読み取り可能な記録媒体、並びにそれによって作成された成果物（印刷物ＰＭなど）も、本発明の権利範囲に含まれる。その他、本発明の要旨を逸脱しない範囲で、適宜変更が可能である。
【符号の説明】
【００８４】
１…携帯端末、１１０…撮影部、１２０…取得部、１３０…特定部、１４０…表示部
【図１】
2018106481.tif 000003
【図２】
2018106481.tif 000004
【図３】
2018106481.tif 000005
【図４】
2018106481.tif 000006
【図５】
2018106481.tif 000007
【図６】
2018106481.tif 000008
【図７】
2018106481.tif 000009
【図８】
2018106481.tif 000010
【図９】
2018106481.tif 000011
【図１０】
2018106481.tif 000012