(57)【要約】      （修正有）【課題】メニューに書かれた料理がどのような料理であるかを把握する仕組みを提供する。【解決手段】メニュー画像を取得し、取得したメニュー画像に対してＯＣＲ処理を実行することで、メニュー画像に含まれる文字列を取得する。取得した文字列を用いて検索されたインターネット上の画像情報を取得し、取得された画像情報を表示する。【選択図】図１
2016066316.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する画像取得手段と、
前記画像取得手段により取得されたメニュー画像に対してＯＣＲ処理を実行することで、当該画像に含まれる文字列を取得する文字列取得手段と、
前記文字列取得手段により取得された文字列を用いて検索されたインターネット上の情報を取得する検索結果取得手段と、
前記検索結果取得手段により取得された検索結果を表示する表示制御手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
位置情報を取得する位置情報取得手段をさらに備え、
前記検索結果取得手段は、前記位置情報取得手段で取得した位置情報と、前記文字列取得手段で取得した文字列とを用いて検索された情報を取得することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記検索結果取得手段により取得した検索結果が所定の条件を満たさなかった場合、前記文字列取得手段により取得された文字列から名詞を抽出する名詞抽出手段をさらに備え、
前記検索結果取得手段は、さらに、前記名詞抽出手段により抽出された名詞を用いて検索された情報を取得することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記検索結果取得手段は、さらに、
前記名詞抽出手段により抽出された名詞が複数ある場合、それぞれの名詞により検索された情報を取得することを特徴とし、
前記表示制御手段は、さらに、
前記検索結果取得手段で取得したそれぞれの名詞による検索結果を、１画面上に表示することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
ユーザから注意食材の設定を受け付ける注意食材設定受付手段をさらに備え、
前記表示制御手段は、前記検索結果取得手段により取得された情報に含まれる前記設定を受け付けた注意食材を識別可能に表示することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
【請求項６】
前記検索結果取得手段は、検索された情報として画像を取得することを特徴とし、
前記表示制御手段は、前記検索結果取得手段により取得された画像を表示することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
情報処理装置画像取得手段が、画像を取得する画像取得工程と、
前記情報処理装置の文字列取得手段が、前記画像取得工程において取得された画像に対してＯＣＲ処理を実行することで、当該画像に含まれる文字列を取得する文字列取得工程と、
前記情報処理装置の検索結果取得手段が、前記文字列取得工程において取得された文字列を用いて検索されたインターネット上の情報を取得する検索結果取得工程と、
前記情報処理装置の表示制御手段が、前記検索結果取得工程において取得された検索結果を表示する表示制御工程と、
を備えることを特徴とする情報処理方法。
【請求項８】
情報処理装置において実行可能なプログラムであって、
前記情報処理装置を、
画像を取得する画像取得手段と、
前記画像取得手段により取得された画像に対してＯＣＲ処理を実行することで、当該画像に含まれる文字列を取得する文字列取得手段と、
前記文字列取得手段により取得された文字列を用いて検索されたインターネット上の情報を取得する検索結果取得手段と、
前記検索結果取得手段により取得された検索結果を表示する表示制御手段として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、プログラムに関する。
【背景技術】
【０００２】
飲食店には様々なメニューがあり、名前を聞けば誰もが分かる料理もあれば、その店独自の創作料理もある。
【０００３】
また、メニューには、料理の写真が載せられていることもあるが、単に料理名だけの場合もある。このような料理の写真が載っていない場合には、どのような料理であるかを想像するのが難しい場合もある。
【０００４】
また、日本語の分からない外国人や、逆に外国語で表記されたメニューの場合にも、どのような料理であるか想像することは難しい。
【０００５】
外国語で表記されたメニューに対応すべく、特許文献１には、メニュー等をカメラ画像データとして取り込み、文字認識して翻訳する技術について記載がされている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平９−１３８８０２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、メニューを文字認識して、翻訳しただけでは、メニューに書かれた言葉の意味は理解できても、それがどのような料理であるのかまでは、理解できない。
【０００８】
また、上述の通り、その店独自の創作料理である場合には、翻訳するだけでどのような料理かをイメージすることは難しい。さらに、どのような食材が使われた料理であるかを認識することも困難である。
【０００９】
そこで、本発明は、メニューに書かれた料理がどのような料理であるかを把握することを可能とする仕組みを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の情報処理装置は、画像を取得する画像取得手段と、前記画像取得手段により取得された画像に対してＯＣＲ処理を実行することで、当該画像に含まれる文字列を取得する文字列取得手段と、前記文字列取得手段により取得された文字列を用いて検索されたインターネット上の情報を取得する検索結果取得手段と、前記検索結果取得手段により取得された検索結果を表示する表示制御手段と、を備えることを特徴とする。
【００１１】
また、本発明の情報処理方法は、情報処理装置の画像取得手段が、画像を取得する画像取得工程と、前記情報処理装置の文字列取得手段が、前記画像取得工程において取得された画像に対してＯＣＲ処理を実行することで、当該画像に含まれる文字列を取得する文字列取得工程と、前記情報処理装置の検索結果取得手段が、前記文字列取得工程において取得された文字列を用いて検索されたインターネット上の情報を取得する検索結果取得工程と、前記情報処理装置の表示制御手段が、前記検索結果取得工程において取得された検索結果を表示する表示制御工程と、を備えることを特徴とする。
【００１２】
また、本発明のプログラムは、情報処理装置において実行可能なプログラムであって、前記情報処理装置を、画像を取得する画像取得手段と、前記画像取得手段により取得された画像に対してＯＣＲ処理を実行することで、当該画像に含まれる文字列を取得する文字列取得手段と、前記文字列取得手段により取得された文字列を用いて検索されたインターネット上の情報を取得する検索結果取得手段と、前記検索結果取得手段により取得された検索結果を表示する表示制御手段として機能させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、メニューに書かれた料理がどのような料理であるかを把握することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】情報処理システムの構成を示す図
【図２】情報処理装置のハードウエア構成を示す図
【図３】情報処理装置が実行する処理を示すフローチャート
【図４】注意食材が登録されたデータテーブルの一例を示す図
【図５】情報処理装置に表示される言語選択受付画面の一例を示す図
【図６】メニューの一例を示す図
【図７】情報処理装置に表示される検索対象メニューの選択受付画面の一例を示す図
【図８】情報処理装置に表示される注意食材の選択を受け付ける画面の一例を示す図
【図９】情報処理装置に表示される検索結果一覧画面の一例を示す図
【図１０】情報処理装置に表示される検索結果一覧画面の一例を示す図
【図１１】情報処理装置に表示される検索結果一覧画面の一例を示す図
【発明を実施するための形態】
【００１５】
図１を用いて、本発明の実施形態における情報処理システムの構成について説明する。
【００１６】
本実施形態における情報処理システムは、情報処理装置１０１がインターネットとネットワーク回線を介して接続された構成となっている。
【００１７】
以下、図２を用いて、図１に示した情報処理装置１０１のハードウエア構成の一例について説明する。
【００１８】
図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０３あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  ／  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な各種プログラム等が記憶されている。
【００１９】
２０２はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０３あるいは外部メモリ２１１からＲＡＭ２０２にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。
【００２０】
また、２０５は入力コントローラで、入力装置２０９等からの入力を制御する。２０６はビデオコントローラで、液晶ディスプレイ等のディスプレイ装置２１０への表示を制御する。なお、ディスプレイ装置は、液晶ディスプレイに限られず、ＣＲＴディスプレイなどであっても良い。これらは必要に応じてクライアントが使用するものである。
【００２１】
２０７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶するハードディスク（ＨＤ）や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。
【００２２】
２０８は通信Ｉ／Ｆコントローラで、ネットワーク（例えば、図１に示したＬＡＮ４００）を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。
【００２３】
なお、ＣＰＵ２０１は、例えばＲＡＭ２０２内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ装置２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ装置２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
【００２４】
ハードウエア上で動作する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０２にロードされることによりＣＰＵ２０１によって実行されるものである。
【００２５】
なお、全ての装置がこれらの構成を備えているわけではなく、必要なものを備えていればよい。
【００２６】
次に図３を用いて、情報処理装置１０１のＣＰＵ２０１が実行する処理について説明する。
【００２７】
なお、図３のフローチャートで示す処理は、情報処理装置１０１のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理である。
【００２８】
ステップＳ３０１では、情報処理装置１０１のＣＰＵ２０１は、ユーザの指示により、アプリケーションの起動をする。
【００２９】
ステップＳ３０２では、情報処理装置１０１のＣＰＵ２０１は、現在の位置を示す情報の取得を試み、取得できたか否かを判断する。
【００３０】
取得できた場合（ステップＳ３０２：ＹＥＳ）は、処理をステップＳ３０３に移行する。
【００３１】
取得できない場合（ステップＳ３０３：ＮＯ）は、処理をステップＳ３０４に移行する。
【００３２】
ここでの位置を示す情報とは、例えば住所（東京都品川区など）や、緯度経度、さらには住所等から特定される店舗名などが想定されるが、現在の位置を示す情報であれば、いずれの情報であっても良い。
【００３３】
位置情報の取得方法としては、ＧＰＳ情報を用いても良いし、不図示の入力画面を介してユーザによる入力を受け付けてもよい。
【００３４】
ステップＳ３０４では、情報処理装置１０１のＣＰＵ２０１は、図５に一例を示す言語選択画面を表示し、ユーザから言語の選択を受け付ける。
【００３５】
ステップＳ３０５では、情報処理装置１０１のＣＰＵ２０１は、メニューの画像を取得する。取得する方法としては、例えば情報処理装置１０１に備えられたカメラ機能を起動し、メニューを撮影することで取得しても良い。また、予め撮影され情報処理装置１０１の記憶領域に記憶されている画像を読み出すことで取得しても良い。
メニュー画像の一例を図６に示す。
【００３６】
ステップＳ３０６では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ３０５で取得された画像に対して、ＯＣＲ処理（文字認識処理）を実行し、文字列を取得する。
ここで図７に示す画面について説明する。
【００３７】
図７は、検索対象とするメニューの選択を受け付け、検索指示を受け付ける画面の一例であり、ステップＳ３０６におけるＯＣＲ処理を実行した結果が表示される。
【００３８】
図７の７０１に示す領域内の文字列が、ＯＣＲ処理により得られた文字列（メニュー名）である。
【００３９】
各メニューに設けられたラジオボタン７０２のいずれかの選択を受け付けることで、検索対象となるメニューの選択を受け付ける。そして、検索ボタン７０４が押下されることで、当該選択されたメニューの検索処理（ステップＳ３０８以降の処理）が実行される。
【００４０】
図７の画面において注意食材設定ボタン７０３が押下されると、注意食材の設定を受け付ける画面（一例として図８）に遷移する。そして、ステップＳ３０７に示す注意食材の設定受け付け処理が実行される。
図３の説明に戻る。
【００４１】
ステップＳ３０７では、情報処理装置１０１のＣＰＵ２０１は、図８に示す画面を介して、ユーザから注意食材の設定を受け付ける。
ここで図８に示す画面について説明する。
図８は、注意食材の設定を受け付ける画面である。
【００４２】
図８の画面に表示される注意食材候補は、図４に示すテーブルに登録されている食材である。一般にアレルギー症状を発生するおそれのある食材や、宗教上食べることが禁止されている食材などが登録されている。
【００４３】
図８の画面におけるそれぞれの食材名に備えられたチェックボックス（８０１）にチェックがなされることで、注意食材としての設定を受け付ける。
【００４４】
図８の例では、「卵」、「牛乳」、「リンゴ」が注意食材として設定されている。
【００４５】
検索ボタン８０２が押下されることで、ステップＳ３０８以降の処理が実行される。
【００４６】
ステップＳ３０８では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ３０３で位置情報を記憶したか否かを判断する。
【００４７】
位置情報が記憶されている場合（ステップＳ３０８：ＹＥＳ）は、処理をステップＳ３１０に移行する。
【００４８】
位置情報が記憶されていない場合（ステップＳ３０８：ＮＯ）は、処理をステップＳ３０９に移行する。
【００４９】
ステップＳ３０９では、情報処理装置１０１のＣＰＵ２０１は、図７の画面を介して選択されたメニュー名の検索処理を行う。
【００５０】
検索処理は、具体的には、インターネットに存在する情報を検索する機能を提供するサービスに対して、当該選択されたメニュー名を渡し、当該サービスによりインターネット上の情報をメニュー名により検索する。そして、検索された結果を当該サービスから受け取る（取得する）ことにより実行する。
【００５１】
ステップＳ３１０、Ｓ３１５における検索処理も同様である。
【００５２】
ステップＳ３１０では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ３０３で記憶された位置情報と図７の画面を介して選択されたメニュー名とを用いて検索処理を行う。
【００５３】
例えば、図７の画面を介して選択されたメニュー名が「シェフの気まぐれサラダ」であり、ステップＳ３０３で記憶された位置情報が「東京都品川区」であれば、「シェフの気まぐれサラダ」と「東京都品川区」との論理積により検索する。
【００５４】
ステップＳ３１１では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ３０９、Ｓ３１０における検索処理において、検索結果が存在したか否かを判断する。
【００５５】
検索結果が存在した場合（何らかの情報が検索された場合）（ステップＳ３１１：ＹＥＳ）は、処理をステップＳ３１２に移行する。
【００５６】
検索結果が０件であった場合（検索された情報が無かった場合）（ステップＳ３１１：ＮＯ）は、処理をステップＳ３１３に移行する。
【００５７】
なお、本実施形態においては、検索結果が０件であったか否かにより処理を移行しているが、例えば検索結果が１００件以下であるか否かなど、所定件数以下であるか等の条件によって処理を移行するよう制御してもよい。
【００５８】
ステップＳ３１２では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ３０９、３１０において取得した検索結果を表示する。
検索結果の表示例については、図９に一例を示す。
【００５９】
図９、図１０は、ステップＳ３１２において表示される、検索結果一覧画面の一例を示す図である。
【００６０】
図９は、「シェフの気まぐれサラダ」で検索した結果である。
【００６１】
図９に示すように、「シェフの気まぐれサラダ」で検索されたインターネット上の画像データが一覧で表示されている（画像Ａ〜画像Ｌ）。
【００６２】
図１０は、「シェフの気まぐれサラダ」で検索し、注意食材とともに検索結果が表示された画面の一例である。
【００６３】
例えば、注意食材として設定された「卵」や「リンゴ」について、識別可能に表示されている。
【００６４】
なお、使用食材については、当該画像にかかる料理に使われている食材であり、レシピとともに画像が掲載されているＷｅｂサイトなどから、画像とともに取得されるものとする。使用食材が取得できない場合には、例えば画像Ｂのように、使用食材の項目は空欄となる。
【００６５】
ステップＳ３１３では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ３０６において図７に示す画面を介して選択されたメニュー名から、名詞を抽出する。
【００６６】
例えば「春野菜のバーニャカウダ」であれば、「春」、「野菜」、「バーニャカウダ」の３語が抽出される（「春野菜」、「バーニャカウダ」の２語でもよい）。
【００６７】
名詞抽出処理については、形態素解析技術や、予め記憶された辞書情報等を用いることで実現可能であり、公知の技術により実現可能であるため、本実施形態においての説明は省略する。
【００６８】
ステップＳ３１４では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ３１３で抽出されたそれぞれの名詞を用いて、インターネット上の情報を検索する。
【００６９】
ステップＳ３１５では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ３１４における検索処理の結果を表示する。検索結果の表示例については、図１１に一例を示す。
【００７０】
図１１は、ステップＳ３１５における検索結果が表示された画面の一例を示す図である。
【００７１】
図１１に示す画面には、「春」、「野菜」、「バーニャカウダ」で検索した結果がそれぞれ表示されている。
【００７２】
また、注意食材が使われている料理に係る画像（例えば画像Ｒ）については、画像の枠を強調表示するなどして、識別可能に表示される。
【００７３】
以上のように、本は発明では、画像に対してＯＣＲ処理を実行することで文字列を取得し、当該文字列によりインターネット上の情報を検索し、当該検索結果を表示することで、例えばメニュー名からはどのような料理かをイメージすることが難しい場合でも、インターネット上の情報をもとに、そのメニューが示す料理をイメージすることが可能となる。
【００７４】
また、住所や店舗名などの情報をも用いて検索することで、より適切な検索結果を得ることが可能となる。
【００７５】
また、ＯＣＲ処理により取得した文字列から名詞を抽出し、抽出した名詞により検索された結果を表示することで、その店独自の創作料理などであっても、使われている食材や調理法などをイメージすることが可能となる。
【００７６】
また、注意食材にかかる情報を検索し、検索結果を表示することで、注意食材を使った料理であるかを認識することを可能とし、アレルギー症状の発生を防いだり、宗教上等の理由で禁忌とされる食材を食べてしまうことを防ぐことが可能となる。
【００７７】
なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。
【００７８】
また、本発明におけるプログラムは、図３の処理をコンピュータに実行させるプログラムである。なお、本発明におけるプログラムは、図３の各処理ごとのプログラムであってもよい。
【００７９】
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。
【００８０】
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。
【００８１】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。
【００８２】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８３】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８４】
また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【００８５】
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【００８６】
１０１  情報処理装置
【図１】
2016066316.tif 000003
【図２】
2016066316.tif 000004
【図３】
2016066316.tif 000005
【図４】
2016066316.tif 000006
【図５】
2016066316.tif 000007
【図６】
2016066316.tif 000008
【図７】
2016066316.tif 000009
【図８】
2016066316.tif 000010
【図９】
2016066316.tif 000011
【図１０】
2016066316.tif 000012
【図１１】
2016066316.tif 000013