(57)【要約】【課題】周辺に陳列されている商品群のなかから所望の商品を見つけ出すときにユーザが感じる負担を軽減すること。【解決手段】携帯端末（１）は、撮像装置（１４）と、制御装置（１６）と、報知装置（１５）とを備えている。携帯端末（１）において、撮像装置（１４）は、周辺を撮影することによって画像を生成し、制御装置（１６）は、探査対象（対象商品ＳＯ）が上記画像に写っている場合に、報知装置（１５）が上記対象商品の位置を報知するように、報知装置（１５）を制御する。【選択図】図１
2019207569.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの撮像装置と、少なくとも１つの制御装置と、少なくとも１つの報知装置とを備えている携帯端末であって、
上記撮像装置は、該携帯端末の周辺を撮影することによって画像を生成し、
上記制御装置は、探査対象が上記画像に写っている場合に、上記探査対象の位置を報知するように上記報知装置を制御する、
ことを特徴とする携帯端末。
【請求項２】
上記撮像装置は、該携帯端末の上記周辺の動画像を生成し、
上記制御装置は、上記探査対象が上記画像に写っている場合に、上記探査対象の位置を追尾し、且つ、上記報知装置が上記探査対象の位置をリアルタイムで報知するように、上記報知装置を制御する、
ことを特徴とする請求項１に記載の携帯端末。
【請求項３】
上記報知装置は、表示装置であり、
上記制御装置は、上記探査対象が上記画像に写っている場合に、上記画像のうち上記探査対象に対応する部分をその他の部分から差別化した状態で表示するように上記表示装置を制御する、
ことを特徴とする請求項１又は２に記載の携帯端末。
【請求項４】
上記報知装置は、制御装置からの制御に応じた方向を指し示す方向指示装置であり、
上記制御装置は、上記探査対象が上記画像に写っている場合に、上記探査対象が位置する方向を指し示すように上記方向指示装置を制御する、
ことを特徴とする請求項１又は２に記載の携帯端末。
【請求項５】
上記報知装置は、プロジェクタであり、
上記制御装置は、上記探査対象が上記画像に写っている場合に、上記プロジェクタにより上記探査対象の位置を示す情報を投影する、
ことを特徴とする請求項１又は２に記載の携帯端末。
【請求項６】
報知装置を備えた携帯端末を制御する制御装置であって、
上記携帯端末の周辺を撮影した画像中に探査対象が写っているか否かを判定する比較判定部と、
上記画像に上記探査対象が写っている場合に、上記探査対象の位置を報知するように上記報知装置を制御する報知装置制御部と、を備えている、
ことを特徴とする制御装置。
【請求項７】
請求項６に記載の制御装置としてコンピュータを機能させるための制御プログラムであって、上記比較判定部及び上記報知装置制御部としてコンピュータを機能させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末及び携帯端末の制御装置に関する。
【背景技術】
【０００２】
小売店において所望の商品を購入するために、ユーザ（消費者）は、（１）所望の商品が配置されている陳列棚を特定し、（２）その陳列棚に陳列されている商品群のなかから所望の商品を見つけ出し、（３）見つけ出した所望の商品をレジにて精算する、という工程を経る。
【０００３】
ユーザが頻繁に買い物をする小売店において、過去に購入経験のある商品を購入する場合、上述した（１）（２）の工程は、ユーザにとってさして負担になるものではない。しかし、それ以外の場合、上述した（１）（２）の工程を行う場合に、ユーザは、大きな負担を感じる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−５９２８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ユーザが感じるこのような負担を軽減するための技術が、特許文献１に記載されている。具体的には、特許文献１に記載されたカートは、（ａ）店舗内における自己位置を検出し、（ｂ）検出した自己位置からユーザの所望の商品の陳列位置まで、ユーザを搭乗させた状態で店舗内を自走し、（ｃ）所望の商品の陳列位置に対して所定距離範囲内に到達した場合に、所望の商品の陳列位置に到達したことをユーザに告知するように構成されている。すなわち、このカートは、ユーザを搭乗させた状態で、ユーザが所望する商品の陳列位置の近くまで、ユーザを誘導してくれる。
【０００６】
しかし、このカートは、ユーザが所望する商品の陳列位置の近くまでユーザを誘導してくれるだけなので、ユーザは、上述した（１）（２）の工程のうち（２）の工程を相変わらず自身で行う必要がある。小売店においては、他の客が商品を購入したり、一旦手に取った商品を元の位置とはずれた位置に戻してしまったりすることにより、ユーザが所望する商品が所定の陳列位置とは異なる別の陳列位置に移動されているといった場合も想定される。このような場合、上述した（２）の工程を行うユーザは、大きな負担を感じる。したがって、特許文献１に記載された技術には、ユーザの負担を軽減する余地がある。また、上述の負担感は、商品の購入時に限られず、任意の探査対象を探す際に生じ得る。
【０００７】
本発明の一態様は、上述した課題に鑑みなされたものであり、探査対象を見つけ出すときにユーザが感じる負担を軽減することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明の一態様に係る携帯端末は、少なくとも１つの撮像装置と、少なくとも１つの制御装置と、少なくとも１つの報知装置とを備えている。本携帯端末において、上記撮像装置は、該携帯端末の周辺を撮影することによって画像を生成し、上記制御装置は、探査対象が上記画像に写っている場合に、上記探査対象の位置を報知するように上記報知装置を制御する。
【０００９】
上記の課題を解決するために、本発明の一態様に係る制御装置は、報知装置を備えた携帯端末を制御する制御装置である。本制御装置は、上記携帯端末の周辺を撮影した画像中に探査対象が写っているか否かを判定する比較判定部と、上記画像に上記探査対象が写っている場合に、上記探査対象の位置を報知するように上記報知装置を制御する報知装置制御部と、を備えている。
【００１０】
なお、本発明の一態様に係る制御装置としてコンピュータを機能させるための制御プログラムであって、上記比較判定部及び上記報知装置制御部としてコンピュータを機能させるための制御プログラムも本発明の範疇に含まれる。
【発明の効果】
【００１１】
本発明の一態様に係る携帯端末、制御装置、及び制御プログラムは、周辺に陳列されている商品群のなかから所望の商品を見つけ出すときにユーザが感じる負担を軽減することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態に係る携帯端末のブロック図である。
【図２】（ａ）及び（ｂ）は、それぞれ、図１に示した携帯端末の一例であるロボット型の携帯端末の正面図及び背面図である。
【図３】（ａ）は、複数の本棚により構成された本棚群の一例を示す斜視図である。（ｂ）は、対象商品の位置を報知している状態の携帯端末の背面図である。
【図４】図１に示した携帯端末が実施する対象商品の探査処理の流れを示すフローチャートである。
【図５】図３に示した探査処理に含まれる対象商品の位置を報知する工程の第１の変形例の背面図である。
【図６】図３に示した探査処理に含まれる対象商品の位置を報知する工程の第２の変形例の背面図である。
【発明を実施するための形態】
【００１３】
〔第１の実施形態〕
本発明の第１の実施形態に係る携帯端末１について、図１〜図３を参照して説明する。図１は、携帯端末１の要部構成を示すブロック図である。図２の（ａ）及び（ｂ）は、それぞれ、携帯端末１の一例であるロボット型の携帯端末１の正面図及び背面図である。図３の（ａ）は、複数の本棚により構成された本棚群の一例を示す斜視図であり、図３の（ｂ）は、対象商品ＳＯの位置を報知している状態の携帯端末１の背面図である。
【００１４】
携帯端末１は、ユーザが所望の商品を購入する場合に、そのユーザを補助する機能を有する。ユーザ（消費者）は、小売店において所望の商品を購入するために、（１）所望の商品が配置されている陳列棚を特定し、（２）その陳列棚に陳列されている商品群のなかから、探査対象である所望の商品を見つけ出し、（３）見つけ出した所望の商品をレジにて精算する、という工程を経る。携帯端末１は、上述した（１）〜（３）の工程のうち、特に（２）の工程においてユーザを補助する。その結果、携帯端末１は、周辺に陳列されている商品群のなかから所望の商品を見つけ出すときにユーザが感じる負担を軽減することができる。
【００１５】
本実施形態では、小売店の一例である書店を訪れたユーザが、探査対象である所望の書籍を店内から探査する場合を例として、携帯端末１の構成とその処理（探査処理Ｐ１）とについて説明する。
【００１６】
なお、携帯端末１が利用される小売店は、書店に限定されるものではない。すなわち、携帯端末１は、如何なる商品を取り扱う小売店においても利用可能である。また、携帯端末１は、商品に限られず、任意の探査対象の探査に利用できる。例えば、図書館における書籍の探査や、駐車場におけるユーザの車の探査などにも利用できる。
【００１７】
（携帯端末１）
図１に示すように、携帯端末１は、通信装置１１、入力装置１２、駆動装置１３、撮像装置１４、報知装置１５、制御装置１６、及び記憶装置１７を備えている。なお、図１に示したハードウェア資源は、商品探査機能を実現するために使用されるハードウェア資源である。携帯端末１は、図１に示したこれらのハードウェア資源の他に、ジャイロセンサや、ＬＥＤなど、不図示のハードウェア資源を備えていてもよい。
【００１８】
携帯端末１は、スマートフォンに代表されるタブレット型の携帯端末でもよいし、スマートフォンとしての機能を併せ持つロボット型の携帯端末であってもよい。本実施形態では、図２の（ａ）及び（ｂ）に示すように、携帯端末１がロボット型の携帯端末１であるものとして説明する。以下では、ロボット型の携帯端末１を構成する各部について簡単に説明した後に、上述した各ハードウェア資源について説明する。
【００１９】
ロボット型の携帯端末１は、胴部Ｂと、四肢である右腕部ＲＡ、左腕部ＬＡ、右脚部ＲＬ、及び左脚部ＬＬと、頭部Ｈとにより構成されている。
【００２０】
胴部Ｂの背面側には、表示装置の一例であり、その表面近傍にタッチパネルが形成された液晶ディスプレイ（ＬＣＤ）Ｄが設けられている。液晶ディスプレイＤは、後述する報知装置１５の一態様である。また、タッチパネルは、後述する入力装置１２の一態様であり、ユーザからの文字入力を受け付ける。また、胴部Ｂの正面側には、スピーカＳが設けられている。
【００２１】
胴部Ｂは、上述した液晶ディスプレイＤ及びスピーカＳや、後述する通信装置１１、駆動装置１３、制御装置１６、及び記憶装置１７などを収容する筐体として機能する。なお、図２において、通信装置１１、駆動装置１３、制御装置１６、及び記憶装置１７は、図示されていない。
【００２２】
頭部Ｈの正面側には、額に対応する部分にプロジェクタＰが設けられており、眉間に対応する部分にカメラＣが設けられており、こめかみに対応する部分の近傍に２つのマイクＭ１，Ｍ２が設けられており、口に対応する部分にレシーバＲが設けられている。また、頭部Ｈの背面側には、後頭部に対応する位置に３つ目のマイクであるマイクＭ３と、複数の細孔により構成された細孔群ＡＰが設けられている。
【００２３】
プロジェクタＰは、後述する報知装置１５の一態様であり、後述する制御装置１６からの制御信号を受けて、光を投光したり、画像を投影させたりする。カメラＣは、後述する撮像装置１４の一態様であるデジタルカメラである。カメラＣは、周辺を撮影した場合に、周辺を表す画像データを生成し、その画像データを制御装置１６に提供する。スピーカＳは、制御装置１６からの制御信号を受けて、音声を発する。頭部Ｈの正面側に設けられたマイクＭ１，Ｍ２、及び、頭部Ｈの背面側に設けられたマイクＭ３は、後述する入力装置１２の一態様である。マイクＭ１〜Ｍ３のうち少なくとも何れか１つは、ユーザからの音声入力を受け付けた場合に、受け付けた音声を表す音声データを生成し、その音声データを制御装置１６に提供する。なお、以下において、マイクＭ１〜Ｍ３の各々を区別する必要がないため、マイクＭ１〜Ｍ３をまとめてマイクＭと記載する。
【００２４】
頭部Ｈは、上述したプロジェクタＰ、カメラＣ及びスピーカＳを収容する筐体として機能する。上述した細孔群ＡＰは、頭部Ｈの内部においてプロジェクタＰから生じた熱を頭部Ｈの外部へ逃がすための放熱穴として機能する。
【００２５】
ロボット型の携帯端末１において、右腕部ＲＡ、左腕部ＬＡ、右脚部ＲＬ、左脚部ＬＬ、及び頭部Ｈの各々は、胴部Ｂに対して可動部を介して接続されている。例えば、右腕部ＲＡ及び左腕部ＬＡの各々は、胴部Ｂに対して肩関節のように動かすことができる可動部を介して接続されており、右脚部ＲＬ及び左脚部ＬＬの各々は、胴部Ｂに対して股関節のように動かすことができる可動部を介して接続されており、頭部Ｈｅは、胴部Ｂに対して首関節のように動かすことができる可動部を介して接続されている。
【００２６】
携帯端末１は、インターネット６を介してサーバ５と接続されている。通信装置１１は、インターネット６を介して携帯端末１と接続されたサーバ５と通信する装置である。本実施形態においては、店舗内の無線ＬＡＮを経由してインターネット接続を行うものとして説明する。この場合、通信装置１１は、例えば、ＷｉＦｉ（登録商標）通信モジュールにより実現される。なお、携帯電話回線網を経由してインターネット接続を行う場合であれば、通信装置１１は、例えば、３Ｇ通信モジュールやＬＴＥ通信モジュールなどにより実現される。
【００２７】
入力装置１２は、ユーザからの入力を受け付ける装置である。本実施形態において、ユーザは、音声入力を用いて、所望の商品がなんであるかを携帯端末１に対して入力する。この場合、入力装置１２は、例えばマイクにより実現される。なお、ユーザが文字入力を用いて所望の商品がなんであるかを携帯端末１に対して入力する場合であれば、入力装置１２は、タッチパネル又はキーボードにより実現される。
【００２８】
駆動装置１３は、少なくとも１つのモータと、複数のギヤとを備えている。駆動装置１３は、制御装置１６からの制御信号を受けて、上記モータが動力を発生し、複数のギヤが上記動力を指定された可動部（例えば頭部Ｈと胴部Ｂとを接続する可動部）に伝達することによって、図２に示した右腕部ＲＡ、左腕部ＬＡ、右脚部ＲＬ、左脚部ＬＬ、及び頭部Ｈの各部位（例えば頭部Ｈ）を動かす。
【００２９】
駆動装置１３は、頭部Ｈと胴部Ｂとを接続する可動部を動かすことによって、頭部Ｈの向きを上下左右に振ることができる。この構成により、ロボット型の携帯端末１は、カメラＣ及びプロジェクタＰにおけるパン機構及びチルト機構を備えている。
【００３０】
また、駆動装置１３は、左腕部ＬＡと胴部Ｂとを接続する可動部を動かすことによって、左腕部ＬＡを上げたり下げたりすることができる。また、左腕部ＬＡには、肘関節に対応する可動部が設けられているので、駆動装置１３は、この肘関節に対応する可動部を動かすことによって、左腕部ＬＡを曲げたり伸ばしたりすることができる。これらの動きを組み合わせることにより、駆動装置１３は、左腕部ＬＡを用いて任意の方向を指し示すことができる。このことは、右腕部ＲＡについても同様である。
【００３１】
また、駆動装置１３は、左脚部ＬＬと胴部Ｂとを接続する可動部を動かすことによって、左脚部ＬＬを前後に動かすことができる。このことは、右脚部ＲＬについても同様である。駆動装置１３は、左脚部ＬＬと右脚部ＲＬとを協調させて動かすことによって、ロボット型の携帯端末１を任意の方向へ歩かせる（あるいは移動させる）ことができる。
【００３２】
撮像装置１４は、携帯端末１の周辺を撮影することによって画像を生成するデジタルカメラにより実現される。ロボット型の携帯端末１は、撮像装置１４として図２の（ａ）に示したカメラＣを備えている。ロボット型の携帯端末１は、制御装置１６からの制御信号を受けて、上述したように任意の方向へ歩くことができ、且つ、チルト機構及びパン機構を有する。そのため、ロボット型の携帯端末１は、ユーザからの特別な操作を受け付けることなく、その周辺の様子を表す画像を生成することができる。なお、撮像装置１４が生成する画像は、静止画像であってもよいし、動画像であってもよい。
【００３３】
報知装置１５は、制御装置１６からの制御信号を受けて、対象商品の位置をユーザに対して報知する。本実施形態のロボット型の携帯端末１において、報知装置１５は、図２の（ｂ）に示した液晶ディスプレイＤにより実現される。また、図５に示すロボット型の携帯端末１の第１の変形例である携帯端末１Ａのように、報知装置１５は、プロジェクタＰにより実現することもできる。また、図６に示すロボット型の携帯端末１の第２の変形例である携帯端末１Ｂのように、報知装置１５は、プロジェクタＰ及び左腕部ＬＡにより実現することもできる。報知装置１５の一態様である（１）左腕部ＬＡと、（２）左腕部ＬＡと胴部Ｂとを接続する可動部とは、請求の範囲に記載の方向指示装置の一態様でもある。
【００３４】
制御装置１６は、記憶装置１７に格納された制御プログラムを実行する装置であり、図１に示すように音声認識部１６１、対象商品特定部１６２、位置検索部１６３、駆動装置制御部１６４、撮像装置制御部１６５、比較判定部１６６、報知装置制御部１６７、及び対象商品追尾部１６８として機能する。
【００３５】
音声認識部１６１は、入力装置１２であるマイクＭが生成した音声データを受け取って音声認識し、その音声認識結果を出力する。音声認識結果は、例えば文字データとして出力してもよい。例えば、ユーザが、書籍の題名や、著者の名称や、発行年や、１０桁あるいは１３桁のＩＳＢＮコードなどを音声で入力した場合、音声認識部１６１は、これらの情報を示す文字データを出力してもよい。
【００３６】
対象商品特定部１６２は、音声認識部１６１が認識した文字データをサーバ５に提供する。サーバ５の記憶装置には、小売店において取り扱っている書籍に関する書籍情報をまとめた書籍情報データベースが格納されている。サーバ５は、音声認識部１６１が認識した文字データを検索ワードとして、書籍情報データベースを検索し、ヒットした書籍に関する書籍情報を対象商品特定部１６２に提供する。対象商品特定部１６２は、例えば、ヒットした書籍に関する書籍情報が１件である場合には、その書籍情報に対応する書籍をユーザにより指定された探査対象である対象商品ＳＯとして特定する。ヒットした書籍に関する書籍情報が複数件存在する場合、対象商品特定部１６２は、その複数件の書籍情報を液晶ディスプレイＤに表示させたうえで、複数件の書籍情報のなかから１件の書籍情報を選択するようにユーザに対して促す。ここで、ユーザが複数件の書籍情報のなかから１件の書籍情報を選択した場合、対象商品特定部１６２は、その１件の書籍情報に対応する書籍をユーザにより指定された探査対象である対象商品ＳＯとして特定する。
【００３７】
また、上述した書籍情報データベースには、小売店において取り扱っている書籍の特徴的な部分の画像である検索用画像が、各書籍の書籍情報に関連付けられている。サーバ５は、対象商品特定部１６２からの要請に応じて、対象商品ＳＯに関連付けられた検索用画像を書籍情報データベースから抽出し、抽出した検索用画像を後述する比較判定部１６６に提供する。書籍の特徴的な部分は、書籍の題名や、著者の名称など書籍を特定するための情報が記載されている部分が好ましい。
書籍の特徴的な部分の一例としては、書籍の背表紙及び表紙が上げられる。本実施形態では、書籍の特徴的な部分として、背表紙を採用している。
【００３８】
位置検索部１６３は、対象商品特定部１６２により対象商品ＳＯとして特定された書籍の書籍情報をサーバ５へ提供する。サーバ５の記憶装置には、本棚配置データベースが格納されている。本棚配置データベースは、小売店の店内に配置された本棚を特定するための本棚ＩＤ（Ｒ，Ｌ）が、小売店の店内のどのような位置に配置されているかを特定する配置情報と関連付けられた状態で格納されている。
【００３９】
本実施形態では、小売店の店内に配置された本棚の一例として、図３の（ａ）に示す５行５列の本棚群を用いて説明する。この本棚群を構成する２５個の本棚には、行を特定する行番号Ｒ（１以上５以下の整数）と、列を特定する列番号Ｌ（１以上５以下の整数）とにより定められる本棚ＩＤ（１，１）〜（５，５）が付されている。
【００４０】
サーバ５の記憶装置に格納されている各書籍の書籍情報には、その書籍が陳列されている本棚の本棚ＩＤが関連付けられている。したがって、サーバ５は、位置検索部１６３より提供された、対象商品ＳＯとして特定された書籍の書籍情報を参照することによって、対象商品ＳＯが陳列されている本棚の本棚ＩＤ（Ｒ，Ｌ）を特定することができる。本実施形態では、対象商品ＳＯが陳列されている本棚が棚ＩＤ（３，２）である本棚であるものとして説明する。サーバ５は、このように特定した本棚ＩＤ（３，２）を位置検索部１６３に提供する。
【００４１】
駆動装置制御部１６４は、携帯端末１の位置を表す位置情報を取得し、その位置情報をサーバ５へ提供する。サーバ５は、その位置情報と、上述した本棚ＩＤ（３，２）と、上述した本棚配置データベースとを参照して、携帯端末１の位置から本棚ＩＤ（３，２）により特定される本棚までの経路を表す経路情報を生成する。サーバ５は、その経路情報を駆動装置制御部１６４へ提供する。駆動装置制御部１６４は、サーバ５から提供された経路情報に基づき、ロボット型の携帯端末１が本棚ＩＤ（３，２）により特定される本棚の近傍まで移動するように、駆動装置１３を制御する。
【００４２】
なお、経路情報を生成する技術、及び、経路情報に基づきロボット型の携帯端末１を移動させる技術としては、既存の技術を適宜利用することができる。また、携帯端末１がロボット型ではなくタブレット型の携帯端末１である場合、携帯端末１は、駆動装置制御部１６４の代わりにナビゲーション部を備えている。ナビゲーション部は、サーバ５から提供された経路情報に基づき、ユーザを本棚ＩＤ（３，２）により特定される本棚の近傍まで導くためのナビゲーション情報を順次、液晶ディスプレイＤに表示するように構成されている。
【００４３】
撮像装置制御部１６５は、ロボット型の携帯端末１が本棚ＩＤ（３，２）により特定される本棚の近傍まで移動したのちに、携帯端末１の周辺を撮影することによって周辺の様子を表す画像を生成するように撮像装置１４を制御する。撮像装置１４は、生成した画像を比較判定部１６６に提供する。なお、撮像装置制御部１６５は、携帯端末１の周辺として本棚ＩＤ（３，２）により特定される本棚を含む領域が含まれるように、撮像装置１４を制御することが好ましい。
【００４４】
比較判定部１６６は、サーバ５から提供された対象商品ＳＯに関連付けられた検索用画像を表す検索用画像データと、撮像装置１４から提供された周辺画像を表す画像データとを比較して、検索用画像が周辺画像中に含まれているか否かを判定する。すなわち、比較判定部１６６は、対象商品ＳＯが撮像装置制御部１６５より提供された画像に写っているか否かを判定する。
【００４５】
対象商品ＳＯが撮像装置制御部１６５より提供された画像に写っていなかったと比較判定部１６６が判定した場合、撮像装置制御部１６５は、先に撮影した画像とは異なる範囲を含む別の画像を生成するように撮像装置１４を制御する。比較判定部１６６は、検索用画像データと上記別の画像とを比較して、対象商品ＳＯが上記別の画像に写っているか否かを判定する。なお、撮像装置制御部１６５及び比較判定部１６６が上述した処理を所定の回数（例えば３回）繰り返したにも関わらず、対象商品ＳＯが撮像装置制御部１６５より提供された画像に写っていなかったと比較判定部１６６が判定した場合、後述する報知装置制御部１６７は、対象商品ＳＯが現在、品切れ中である旨のメッセージを液晶ディスプレイＤに表示させるように、液晶ディスプレイＤを制御する構成であってもよい。
【００４６】
報知装置制御部１６７は、対象商品ＳＯが撮像装置制御部１６５より提供された画像に写っていると比較判定部１６６が判定した場合に、撮像装置制御部１６５より提供された画像に対して、対象商品ＳＯが配置されている位置を明示するマーカＭＡを重畳させ、マーカＭＡが重畳した状態の画像を表示させるように液晶ディスプレイＤを制御することによって、対象商品ＳＯの位置をユーザに報知する（図３の（ｂ）参照）。
【００４７】
換言すれば、報知装置制御部１６７は、対象商品ＳＯが撮像装置制御部１６５より提供された画像に写っている場合に、上記画像のうち対象商品ＳＯに対応する部分をその他の部分から差別化した状態で表示するように、表示装置である液晶ディスプレイＤを制御する。対象商品ＳＯに対応する部分をその他の部分から差別化する手法は、マーカＭＡに限定されるものではない。
【００４８】
携帯端末１にとって必須ではないものの、制御装置１６は、破線で示した対象商品追尾部１６８を備えていることが好ましい。制御装置１６が対象商品追尾部１６８を備えている場合、撮像装置制御部１６５は、携帯端末１の周辺の動画像を生成するように撮像装置１４を制御する。すなわち、撮像装置１４は、携帯端末１の周辺の動画像を生成し、その動画像を対象商品追尾部１６８に提供する。
【００４９】
対象商品追尾部１６８は、対象商品ＳＯが撮像装置制御部１６５より提供された画像に写っていると比較判定部１６６が判定した場合に、対象商品ＳＯの位置を追尾し、且つ、動画像に対して、対象商品ＳＯが配置されている位置を明示するマーカＭＡを重畳させ、マーカＭＡが重畳した状態の動画像を表示させるように、液晶ディスプレイＤを制御する。
【００５０】
記憶装置１７は、制御装置１６により参照される各種データを記憶する装置である。記憶装置１７は、例えば、メモリにより実現される。
【００５１】
（探査処理Ｐ１）
ロボット型の携帯端末１が実施する探査処理Ｐ１について、図４に示すフローチャートを参照しながら説明する。図４は、携帯端末１が実施する対象商品の探査処理Ｐ１の流れを示すフローチャートである。
【００５２】
図４に示すように、探査処理Ｐ１は、工程Ｓ１〜工程Ｓ７を含んでおり、破線で示した工程Ｓ８を含んでいることが好ましい。
【００５３】
工程Ｓ１は、入力装置１２であるマイクＭが生成した音声データを受け取り、その音声データが表す文字データをユーザが探している書籍に関する情報として認識する工程である。工程Ｓ１は、ユーザからの入力を受け付ける工程であり、音声認識部１６１が実施する工程である。
【００５４】
工程Ｓ２は、工程Ｓ１において取得した文字データから対象商品ＳＯを特定する工程であり、対象商品特定部１６２が実施する工程である。
【００５５】
工程Ｓ３は、対象商品ＳＯとして特定された書籍が陳列されている本棚の本棚ＩＤ（Ｒ，Ｌ）を検索する工程であり、位置検索部１６３が実施する工程である。
【００５６】
工程Ｓ４は、ロボット型の携帯端末１を、本棚ＩＤ（Ｒ，Ｌ）により特定される本棚の近傍まで移動させる工程であり、駆動装置制御部１６４が実施する工程である。
【００５７】
工程Ｓ５は、ロボット型の携帯端末１が本棚ＩＤ（３，２）により特定される本棚の近傍まで移動したのちに、携帯端末１の周辺を撮影することによって画像を生成する工程である。工程Ｓ５は、撮像装置制御部１６５が実施する工程である。
【００５８】
工程Ｓ６は、対象商品ＳＯに関連付けられた検索用画像と、工程Ｓ５において生成された画像とを比較して、対象商品ＳＯが工程Ｓ５において生成された画像に写っているか否かを判定する工程である。工程Ｓ６は、比較判定部１６６が実施する工程である。なお、工程Ｓ６による判定結果が否であった場合、探査処理Ｐ１は、工程Ｓ５からの処理を繰り返す。
【００５９】
工程Ｓ７は、対象商品ＳＯが工程Ｓ５において生成された画像に写っている場合に、工程Ｓ５において生成された画像に対して、対象商品ＳＯが配置されている位置を明示するマーカＭＡを重畳させ、マーカＭＡが重畳した状態の画像を液晶ディスプレイＤに表示させることによって、対象商品ＳＯの位置をユーザに報知する工程である。工程Ｓ７は、報知装置制御部１６７が実施する工程である。
【００６０】
工程Ｓ８は、対象商品ＳＯが工程Ｓ５において生成された画像に写っている場合に、対象商品ＳＯの位置を追尾し、且つ、動画像データに対して、対象商品ＳＯが陳列されている位置を明示するマーカＭＡを重畳させ、マーカＭＡが重畳した状態の動画像を液晶ディスプレイＤに表示させることによって、対象商品ＳＯの位置をユーザに報知する工程である。工程Ｓ８は、対象商品追尾部１６８が実施する工程である。
【００６１】
（携帯端末１の効果）
上述したように、制御装置１６の報知装置制御部１６７は、対象商品ＳＯが撮像装置制御部１６５より提供された画像に写っている場合に、報知装置１５（本実施形態では液晶ディスプレイＤ）が対象商品ＳＯの位置を報知するように、報知装置１５を制御する。
【００６２】
携帯端末１によれば、対象商品ＳＯを指定したユーザは、報知装置１５が報知する対象商品ＳＯの位置を頼りにして、実際の対象商品ＳＯを探査することができる。その結果、ユーザは、携帯端末１を用いない場合と比較して、容易に対象商品ＳＯを見つけることができる。したがって、携帯端末１は、周辺に陳列されている商品群のなかから対象商品ＳＯを見つけるときにユーザが感じる負担を軽減することができる。
【００６３】
また、撮像装置１４であるカメラＣは、携帯端末１の周辺の動画像を生成し、報知装置制御部１６７は、対象商品ＳＯが撮像装置制御部１６５より提供された画像に写っている場合に、対象商品ＳＯの位置を追尾し、且つ、報知装置１５が対象商品ＳＯの位置をリアルタイムで報知するように、報知装置１５を制御することが好ましい。
【００６４】
携帯端末１によれば、報知装置１５が対象商品ＳＯの位置をリアルタイムで報知することができるので、ユーザは、対象商品ＳＯをより容易に見つけることができる。
【００６５】
本実施形態において、報知装置１５は、表示装置の一態様である液晶ディスプレイＤであり、対象商品ＳＯが撮像装置制御部１６５より提供された画像に写っている場合に、上記画像のうち対象商品ＳＯに対応する部分をその他の部分から差別化した状態で表示するように液晶ディスプレイＤを制御することが好ましい。
【００６６】
携帯端末１によれば、ユーザは、液晶ディスプレイＤに表示された画像であって、対象商品ＳＯに対応する部分が他の部分から差別化された画像を参照しながら実際の対象商品ＳＯを探査することができる。その結果、ユーザは、携帯端末１を用いない場合と比較して、更に容易に対象商品ＳＯを見つけることができる。したがって、携帯端末１は、周辺に陳列されている商品群のなかから対象商品ＳＯを見つけるときにユーザが感じる負担を更に軽減することができる。
【００６７】
なお、図４に示した探査処理Ｐ１は、携帯端末１と同様の効果を奏する。また、上述した制御装置１６は、携帯端末１及び探査処理Ｐ１とともに、本発明の範疇に含まれる。制御装置１６は、携帯端末１と同様の効果を奏する。
【００６８】
〔第１の変形例〕
図２に示したロボット型の携帯端末１の第１の変形例について、図５を参照して説明する。図５は、第１の変形例であるロボット型の携帯端末１Ａの背面図であり、対象商品ＳＯの位置を報知している状態の携帯端末１Ａの背面図である。
【００６９】
本変形例においては、液晶ディスプレイＤの代わりに、図２の（ａ）に示したプロジェクタＰが報知装置１５として機能する。それ以外の点において、携帯端末１Ａは、携帯端末１と同様の構成を有する。
【００７０】
報知装置制御部１６７は、対象商品ＳＯが撮像装置制御部１６５より提供された画像に写っていると比較判定部１６６が判定した場合に、携帯端末１の周辺のうち対象商品ＳＯが位置する方向を指し示すようにプロジェクタＰを制御する。
【００７１】
プロジェクタＰは、報知装置制御部１６７からの制御に応じて、図５に示すように、対象商品ＳＯが位置する方向に対してスポットライトＳＬを投影する。携帯端末１の場合と同様に、携帯端末１Ａは、プロジェクタＰにおけるパン機構及びチルト機構を備えている。撮像装置制御部１６５は、カメラＣが画像を生成したときの頭部Ｈの向き（換言すれば画角）と、撮像装置制御部１６５より提供された画像における対象商品ＳＯの位置とから、プロジェクタＰがスポットライトＳＬを投影すべき方向を導出することができる。報知装置制御部１６７は、カメラＣが画像を生成したときの頭部Ｈの向き（換言すれば画角）と、撮像装置制御部１６５より提供された画像における対象商品ＳＯの位置とから、プロジェクタＰがスポットライトＳＬを投影すべき方向を導出し、この導出した方向にスポットライトＳＬを投影するようにプロジェクタＰを制御する。
【００７２】
なお、本変形例では、液晶ディスプレイＤの代わりにプロジェクタＰを報知装置１５として用いる場合について説明した。しかし、報知装置１５として、液晶ディスプレイＤとプロジェクタＰとを併用することもできる。
【００７３】
（携帯端末１Ａの効果）
携帯端末１Ａは、携帯端末１と比較して、対象商品ＳＯが陳列されている本棚と液晶ディスプレイＤとを見比べながら対象商品ＳＯを探す必要がないため、ユーザの視線移動が少なくなる。したがって、ユーザが容易に対象商品ＳＯを見つけることができるため、携帯端末１Ａは、対象商品ＳＯを見つけるときにユーザが感じる負担を更に軽減することができる。
【００７４】
〔第２の変形例〕
図２に示したロボット型の携帯端末１の第２の変形例について、図６を参照して説明する。図６は、第２の変形例であるロボット型の携帯端末１Ｂの背面図であり、対象商品ＳＯの位置を報知している状態の携帯端末１Ｂの背面図である。携帯端末１Ｂは、図５に示した携帯端末１Ａを更に変形したものでもある。本変形例では、携帯端末１Ａの構成をベースにして、携帯端末１Ｂの構成について説明する。
【００７５】
携帯端末１Ｂは、報知装置１５の一態様であるプロジェクタＰに加えて、報知装置１５の別の一態様である方向指示装置を備えている。方向指示装置は、（１）図２の（ａ）に示した左腕部ＬＡと、（２）左腕部ＬＡと胴部Ｂとを接続する可動部（図２の（ａ）には不図示）とにより構成されている。それ以外の点において、携帯端末１Ｂは、携帯端末１Ａと同様の構成を有する。
【００７６】
報知装置制御部１６７は、対象商品ＳＯが撮像装置制御部１６５より提供された画像に写っていると比較判定部１６６が判定した場合に、携帯端末１の周辺のうち対象商品ＳＯが位置する方向を指し示すようにプロジェクタＰを制御するとともに、携帯端末１の周辺のうち対象商品ＳＯが位置する方向を指し示すように左腕部ＬＡを制御する。携帯端末１の周辺のうち対象商品ＳＯが位置する方向は、第１の変形例の場合と同様に、カメラＣが画像を生成したときの頭部Ｈの向き（換言すれば画角）と、撮像装置制御部１６５より提供された画像における対象商品ＳＯの位置とから導出することができる。
【００７７】
プロジェクタＰが投影するスポットライトＳＬは、図５に示したものと同じであるため、ここではその説明を省略する。
【００７８】
駆動装置１３は、報知装置制御部１６７からの制御に応じて、図６に示すように、対象商品ＳＯが位置する方向（図６に示した矢印Ａの方向）を指し示すように、左腕部ＬＡと胴部Ｂとを接続する可動部を動かす。
【００７９】
なお、本変形例では、報知装置１５としてプロジェクタＰと方向指示装置とを用いる場合について説明した。しかし、報知装置１５として方向指示装置のみを用いることもできるし、報知装置１５として液晶ディスプレイＤとプロジェクタＰと方向指示装置とを併用することもできるし、液晶ディスプレイＤと方向指示装置とを併用することもできる。
【００８０】
（携帯端末１Ｂの効果）
携帯端末１Ｂは、プロジェクタＰが投影するスポットライトＳＬに加えて、左腕部ＬＡを用いて対象商品ＳＯが位置する方向を指し示す。ユーザは、携帯端末１Ｂによる報知が行われるときに、本棚の方向を見ている場合もあれば、携帯端末１Ｂの方向を見ている場合もある。ユーザが携帯端末１Ｂの方向を見ている場合であっても、携帯端末１Ｂは、左腕部ＬＡを用いて対象商品ＳＯが位置する方向を指し示すことができるので、スポットライトＳＬが投影されている方向へ、迷うことなく視線を移動させることができる。したがって、携帯端末１Ｂは、携帯端末１Ａと比較して、対象商品ＳＯを見つけるときにユーザが感じる負担を更に軽減することができる場合がある。
【００８１】
〔ソフトウェアによる実現例〕
制御装置１６の制御ブロック（特に撮像装置制御部１６５、比較判定部１６６、報知装置制御部１６７、及び対象商品追尾部１６８）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【００８２】
後者の場合、制御装置１６は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００８３】
〔まとめ〕
本発明の態様１に係る携帯端末は、少なくとも１つの撮像装置と、少なくとも１つの制御装置と、少なくとも１つの報知装置とを備えている。本携帯端末において、上記撮像装置は、該携帯端末の周辺を撮影することによって画像を生成し、上記制御装置は、探査対象が上記画像に写っている場合に、上記探査対象の位置を報知するように上記報知装置を制御する。
【００８４】
本発明の態様２に係る携帯端末は、上記態様１において、上記撮像装置は、該携帯端末の上記周辺の動画像を生成し、上記制御装置は、上記探査対象が上記画像に写っている場合に、上記探査対象の位置を追尾し、且つ、上記報知装置が上記探査対象の位置をリアルタイムで報知するように、上記報知装置を制御する、ように構成されていることが好ましい。
【００８５】
本発明の態様３に係る携帯端末は、上記態様１又は２において、上記報知装置が表示装置であり、上記制御装置は、上記探査対象が上記画像に写っている場合に、上記画像のうち上記探査対象に対応する部分をその他の部分から差別化した状態で表示するように上記表示装置を制御する、ように構成されていることが好ましい。
【００８６】
本発明の態様４に係る携帯端末は、上記態様１又は２において、上記報知装置が制御装置からの制御に応じた方向を指し示す方向指示装置であり、上記制御装置は、上記探査対象が上記画像に写っている場合に、上記探査対象が位置する方向を指し示すように上記方向指示装置を制御する、ように構成されていることが好ましい。
【００８７】
本発明の態様５に係る携帯端末は、上記態様１又は２において、上記報知装置がプロジェクタであり、上記制御装置は、上記探査対象が上記画像に写っている場合に、上記プロジェクタにより上記探査対象の位置を示す情報を投影する、ように構成されていることが好ましい。
【００８８】
本発明の態様６に係る制御装置は、報知装置を備えた携帯端末を制御する制御装置である。本制御装置は、上記携帯端末の周辺を撮影した画像中に探査対象が写っているか否かを判定する比較判定部と、上記画像に上記探査対象が写っている場合に、上記探査対象の位置を報知するように上記報知装置を制御する報知装置制御部と、を備えている。
【００８９】
本発明の各態様に係る制御装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記制御装置が備える各部（ソフトウェア要素）として動作させることにより上記制御装置をコンピュータにて実現させる制御装置の探査処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【００９０】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【符号の説明】
【００９１】
１  携帯端末
１１  通信装置
１２  入力装置
１３  駆動装置
１４  撮像装置
１５  報知装置
１６  制御装置
１７  記憶装置
Ｃ  カメラ（撮像装置）
Ｄ  液晶ディスプレイ（報知装置の一態様、表示装置に対応）
Ｐ  プロジェクタ（報知装置の一態様）
ＬＡ  左腕部（報知装置の一態様）
【図１】
2019207569.tif 000003
【図２】
2019207569.tif 000004
【図３】
2019207569.tif 000005
【図４】
2019207569.tif 000006
【図５】
2019207569.tif 000007
【図６】
2019207569.tif 000008