(57)【要約】【課題】表示画面内の対象の描画位置を指定した発話による操作をすることができる技術を提供する。【解決手段】実施形態の電子機器は、ユーザの音声を用いて、画面上の対象とこの対象に関する操作を決定し、当該決定した操作を実行する制御部を備え、前記画面上には、ウェブページの一部のみが表示されうるものである。前記制御部は、前記画面に前記ウェブページの一部のみが表示されている場合であって、前記ユーザの音声に位置に関する情報と操作に関する情報とが含まれる場合に、当該位置に関する情報と、前記ウェブページに含まれる１以上の要素が前記画面上のいずれの描画位置に描画されているかに関する情報とに応じて、対象を決定すると共に、当該操作に関する情報に応じて操作を決定し、当該決定した対象に対して、当該決定した操作を実行可能である。【選択図】図２
2014002795.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの音声を用いて、画面上の対象とこの対象に関する操作を決定し、当該決定した操作を実行する制御部
を備え、
前記画面上には、ウェブページの一部のみが表示されうるものであって、
前記制御部は、前記画面に前記ウェブページの一部のみが表示されている場合であって、前記ユーザの音声に位置に関する情報と操作に関する情報とが含まれる場合に、当該位置に関する情報と、前記ウェブページに含まれる１以上の要素が前記画面上のいずれの描画位置に描画されているかに関する情報とに応じて、対象を決定すると共に、当該操作に関する情報に応じて操作を決定し、当該決定した対象に対して、当該決定した操作を実行可能な、
電子機器。
【請求項２】
前記操作は、ウェブページの要素にアクセスする仕組みに基づいて実行する請求項１に記載の電子機器。
【請求項３】
更に前記画面を備えた請求項１または２に記載の電子機器。
【請求項４】
前記制御部は、前記決定した対象に対する処理が１つである場合は、当該処理を行う、請求項１から３のいずれかに記載の電子機器。
【請求項５】
前記制御部は、前記決定した対象に対する処理が複数ある場合は、前記操作に関する情報に応じて処理を行う、請求項１から４のいずれかに記載の電子機器。
【請求項６】
電子機器の表示方法であって、
ユーザの音声を用いて、画面上の対象とこの対象に関する操作を決定する操作を決定し、当該決定した操作を実行する制御ステップ
を含み、
前記画面上には、ウェブページの一部のみが表示されうるのであって、
前記制御ステップでは、前記画面に前記ウェブページの一部のみが表示されている場合であって、前記ユーザの音声に位置に関する情報と操作に関する情報とが含まれる場合に、当該位置に関する情報と、前記ウェブページに含まれる１以上の要素が前記画面上のいずれの描画位置に描画されているかに関する情報とに応じて、対象を決定すると共に、当該操作に関する情報に応じて操作を決定し、当該決定した対象に対して、当該決定した操作を実行可能な、
表示方法。
【請求項７】
前記操作は、ウェブページの要素にアクセスする仕組みに基づいて実行する請求項６に記載の表示方法。
【請求項８】
前記制御ステップでは、前記決定した対象に対する処理が１つである場合は、当該処理を行う、請求項６または７に記載の表示方法。
【請求項９】
前記制御ステップでは、前記決定した対象に対する処理が複数ある場合は、前記操作に関する情報に応じて処理を行う、請求項６から８のいずれかに記載の表示方法。
【請求項１０】
ユーザの音声を用いて、画面上の対象とこの対象に関する操作を決定し、当該決定した操作を実行する制御ステップ
を電子機器に実行させるプログラムであって、
前記画面上には、ウェブページの一部のみが表示されうるのであって、
前記制御ステップでは、前記画面に前記ウェブページの一部のみが表示されている場合であって、前記ユーザの音声に位置に関する情報と操作に関する情報とが含まれる場合に、当該位置に関する情報と、前記ウェブページに含まれる１以上の要素が前記画面上のいずれの描画位置に描画されているかに関する情報とに応じて、対象を決定すると共に、当該操作に関する情報に応じて操作を決定し、当該決定した対象に対して、当該決定した操作を実行可能な、
プログラム。
【請求項１１】
前記操作は、ウェブページの要素にアクセスする仕組みに基づいて実行する請求項１０に記載のプログラム。
【請求項１２】
前記制御ステップでは、前記決定した対象に対する処理が１つである場合は、当該処理を行う、請求項１０または１１に記載のプログラム。
【請求項１３】
前記制御ステップでは、前記決定した対象に対する処理が複数ある場合は、前記操作に関する情報に応じて処理を行う、請求項１０から１２のいずれかに記載の表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、webページ処理方法、ブラウザ操作方法に係わる電子機器、表示方法、およびプログラムに関する。
【背景技術】
【０００２】
webサイトを表示可能なテレビが販売されている。また、音声操作でブラウジングが可能な先行技術がある。例えば画面内の操作可能な物にすべて番号付けを行い、番号で操作対象を選択させるものや、発話のコマンド体系が決まっており、それに沿った発話で操作させるものといった種類がある。しかしながら両者とも、webページのコンテンツに対して、描画位置を指定した操作やユーザが思った通りの発話によって操作を行うことはできない。
【０００３】
また、複数のウェブページから指定のページを優先的に表示させるための工夫をしたものもある。操作対象を絞り込む際にあらかじめページごとのインデックスを生成しておき、ユーザからの入力によってそのインデックスに検索処理を施し、最終的に操作対象を決定するというものである（例えば、特許文献１参照。）。
【０００４】
即ち、表示画面内の対象の描画位置を指定した発話による操作への要望があるが、かかる要望を実現するための手段は知られていない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１９８３５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の実施の形態は、表示画面内の対象の描画位置を指定した発話による操作をすることができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、実施形態の電子機器は、ユーザの音声を用いて、画面上の対象とこの対象に関する操作を決定し、当該決定した操作を実行する制御部を備え、前記画面上には、ウェブページの一部のみが表示されうるものである。前記制御部は、前記画面に前記ウェブページの一部のみが表示されている場合であって、前記ユーザの音声に位置に関する情報と操作に関する情報とが含まれる場合に、当該位置に関する情報と、前記ウェブページに含まれる１以上の要素が前記画面上のいずれの描画位置に描画されているかに関する情報とに応じて、対象を決定すると共に、当該操作に関する情報に応じて操作を決定し、当該決定した対象に対して、当該決定した操作を実行可能である。
【図面の簡単な説明】
【０００８】
【図１】実施形態の電子機器のシステム構成の一例を示すブロック図。
【図２】同実施形態の要部を示す機能ブロック構成図。
【図３】同実施形態の操作決定部におけるフローチャート。
【図４】同実施形態の一例を示すユーザの発話内容(入力)とwebコンテンツへの操作（出力）のイメージ。
【発明を実施するための形態】
【０００９】
以下、実施の形態について図面を参照して説明する。
【００１０】
図１は、実施形態の電子機器のシステム構成を示すブロック図である。この電子機器は、例えば映像表示装置１０として実現される。また、この電子機器は、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、スレートＰＣ、  テレビジョン受信機、映像データを保存するためのレコーダ（例えば、ハードディスクレコーダ、ＤＶＤレコーダ、  セットトップボックス）、ＰＤＡ、カーナビゲーション装置、スマートフォン等として実現され得る。
【００１１】
映像表示装置１０は、操作信号受信部１１、制御部１２、ネットワークＩ／Ｆ部１３、Ｗｅｂ情報解析部１４、Ｗｅｂ情報統合画面生成部１５、記憶部１６、装置内情報取得部１８、キー情報取得部１９、表示画面特定部２０、表示データ出力部２１、および音声入力部２２等を備えている。
【００１２】
操作信号受信部１１は、リモートコントローラ４０から送信された、ユーザによって操作されたボタンに応じた操作信号を受信し、受信した操作信号に応じた信号を制御部１２に出力する。なお、リモートコントローラ４０にはＷｅｂ情報統合画面の表示を指示するための表示指示ボタンが設けられており、表示指示ボタンが操作された場合に、リモートコントローラ４０は、表示指示信号を送信する。操作信号受信部１１が表示指示受信信号を受信すると、表示指示受信信号を制御部１２に送信する。なおリモートコントローラ４０は、映像表示装置１０を音声を入力するモードにするために対話的に用いても良いし、この機能は他の手段によってもよい。
【００１３】
ネットワークＩ／Ｆ部１３は、インターネット上のＷｅｂサイトと通信を行って、Ｗｅｂページデータを受信する。Ｗｅｂ情報解析部１４は、ネットワークＩ／Ｆ部１３によって受信されたＷｅｂページデータを解析し、表示画面上に表示される文字や画像などオブジェクトの配置を計算する。
【００１４】
Ｗｅｂ情報統合画面生成部１５は、Ｗｅｂ情報解析部１４の解析結果とリモートコントローラ４０の操作に基づいた操作信号に基づいて、Ｗｅｂ情報統合画面を生成する。表示画面上に表示されるＷｅｂ情報統合画面の一例を図４に示す。図４で示すように、Ｗｅｂ情報統合画面内には、複数の文字や画像などのオブジェクトが画面に配置されている。
【００１５】
Ｗｅｂ情報統合画面生成部１５は、生成したＷｅｂ情報統合画面のＷｅｂ情報統合画面データ（Ｗｅｂサイトのアドレス、配置位置等）を記憶部１６に格納する。なお、記憶部１６は複数のＷｅｂ情報統合画面データを格納することが可能である。Ｗｅｂ情報統合画面データは、複数のＷｅｂページから生成されることもあれば、単一のＷｅｂページから生成されることもある。また、ＷｅｂページそのものをＷｅｂ情報統合画面と同等のものとすることも可能である。
【００１６】
制御部１２は、操作信号受信部１１から送信された表示指示受信信号を受信すると、放送データ受信部１７および表示画面特定部２０にＷｅｂ情報統合画面を表示させるための表示命令を送信する。
【００１７】
装置内情報取得部１８は、表示命令の受信に応じて、受信した放送データに重畳されているＥＰＧ（Electronic Program Guide）データから、現在受信している番組の名称（番組名）を抽出し、番組名を表示画面特定部２０に送信する。
【００１８】
キー情報取得部１９は、記憶部１６に格納されているＷｅｂ情報統合画面データからキー情報を取得する。キー情報取得部１９は、取得したキー情報をＷｅｂ情報統合画面データに対応づけて記憶部１６に格納する。キー情報は、例えばサイト名である。
【００１９】
表示データ出力部２１は、Ｗｅｂ情報統合画面データを受信すると、Ｗｅｂ情報統合画面データに基づいたＷｅｂページの受信をネットワークＩ／Ｆ部１３に命令する。Ｗｅｂ情報解析部１４は、ネットワークＩ／Ｆ部１３によって受信されたＷｅｂページデータを解析し、表示画面上に表示される文字や画像などオブジェクトの配置を計算する。Ｗｅｂ情報統合画面生成部１５は、Ｗｅｂ情報解析部１４の解析結果とＷｅｂ情報統合画面データとに基づいて、１以上のＷｅｂページまたはＷｅｂクリップが配置されたＷｅｂ情報統合画面を表示するためのデータを生成する。表示データ出力部２１は、生成されたデータに基づいてディスプレイ３０の表示画面上に表示するための表示データを生成する。
【００２０】
図２は、実施形態の要部を示す機能ブロック構成図である。音声認識部２１０、認識結果解析部２０１、操作決定部２００、DOM操作部２０８、DOM管理部２０９、画面出力部２２０および対話部２３０を含んで構成されている。
【００２１】
音声認識部２１０は、図示せぬマイクやアンプを含む音声入力部２２と制御部１２などから構成される。認識結果解析部２０１は、主に制御部１２に拠る。操作決定部２００は、操作信号受信部１１と制御部１２などから構成される。DOM操作部２０８は、主に制御部１２に拠る。DOM管理部２０９は、主に記憶部１６に拠る。画面出力部２２０は、主に表示データ出力部２１に拠る。対話部２３０は、リモコン４０と操作信号受信部１１と制御部１２、表示データ出力部２１などに拠る。
【００２２】
音声認識部２１０は、音声入力部２２に入力され増幅や例えば場合によりFFTなどの手法を用いて時間領域から周波数領域への変換がされた音声信号を、制御部１２で文字情報へと圧縮するものである。この文字情報を用いて認識結果解析部２０１は、文字列を出力する。操作決定部２００を中心とする各部の連携動作については、図３のフローチャートの説明において後述する。
【００２３】
ここで、DOM（Document Object Model）とDOMメンバについて簡単に説明しておく。DOMは、xmlやhtmlの各要素、例えば<p<や<img>といった類の要素にアクセスする仕組みといえる。このDOMを操作することによって、要素の値をダイレクトに操作できる。例えば<p>の中身のテキストを変更したり、のsrcの中身を変更して別の画像に差し替えるといったことを可能とする。まとめると文書オブジェクトモデル(DOM)とは、HTML文書およびXML文書のためのアプリケーション=プログラミング=インターフェイス(API)である。これは、文書の論理的構造や、文書へのアクセスや操作の方法を定義するものである。
【００２４】
DOMメンバと処理内容に関しては、後述の操作ルールDBには例えば以下のような処理ルールが複数登録されている。
【００２５】
（L）リンク  …URLを開く
（T）テキストボックス  …引数の文字列を入力
（B）ボタン  …テキストボックスに入力された文字列を引数にデータ送信
さて図３は、本提案の実施例である音声操作ブラウザにおいて、ユーザ発話の認識結果を解析した文字列cを入力とし、HTML言語で記述されたwebページ内のDOMメンバへの操作内容を出力とする操作決定部２００の処理を説明するフローチャートである。
【００２６】
まずステップ201では音声認識結果を形態素解析するなどして1個以上の単語を取得済みなことを前提としている。
【００２７】
音声認識の解析結果の文字列c(201a)について、ステップ202にて「入力欄」「絵」「リンク」などと操作対象であるDOMメンバを特定可能である文字列が含まれているか否かを判定する。たとえば「入力欄」という文字列が含まれていれば、ステップ203にて表示ページ中のDOMメンバのうち <input>要素のtype属性が”textbox”であるオブジェクトを配列Array1として取得し、ステップ205へとぶ。
【００２８】
またステップ204にて、文字列cに、描画位置を指定するための「上」「下」「左」「右」「中」などの語彙が含まれているか否かを判定する。含まれていれば、それを位置情報p(204a)とする。ステップ205にて、Array1の操作対象候補のうち、位置情報pに合致するものが含まれているものを取得する。
【００２９】
ステップ206にて、操作対象候補が１つに絞られれば、ステップ209で別途保持している操作ルールDB（DOM管理部２０９の内容の一つ）に照合し、ステップ209aで操作対象のDOMメンバとその処理内容を出力し、DOM操作部２０８の入力とする。この操作ルールDBには、操作対象のDOMメンバの要素の種類と要素ごとの操作内容が記述されており、例えば  <a>要素の場合、「href属性の文字列を入力として新規ページをロードする」といった処理内容を操作ルールとして定義してある。
【００３０】
ステップ204、ステップ206において条件に合致しない場合は、ステップ207にて新規のユーザ発話を指示する表示を行う。
【００３１】
図４は、実施形態の一例を示すユーザの発話内容(入力)とwebコンテンツへの操作（出力）のイメージである。ページ表示範囲の画像のうち相対的に左に描画されているものにフォーカスし、拡大を行う。これはWeb情報解析部１４がレンダリングエンジンとして機能し、またWeb情報統合画面生成部１５がブラウザ表示部として機能することによって、実現されている。具体的には、「左の絵を大きく！」との発話による音声認識と解析後にこれらの機能が実行される（図４（ａ）の左の絵の表示状態から図４（ｂ）の左の絵の表示状態への移行）。
【００３２】
以上説明した実施例によれば音声を用いたブラウザ操作時に、webページに含まれるリンクやボタンやテキストボックスなどの操作対象について、ユーザ視点で見えている情報を用いることで、見たままの情報を含む自然な発話での操作(例えばwebサーフィン)を可能にする。即ち実施形態の効果として、webページのコンテンツに対して、描画位置を指定した操作やユーザが思った通りの発話によって操作を行うことができる。コンテンツ中の言語情報だけに依存せず、視覚情報である描画位置を利用して、ユーザ視点から以下のような自然な発話での操作を可能とする。
【００３３】
（１）既存デバイス（マウス＋キーボード）の入力によって実現しているwebサーフィンを音声入力で行うための技術であり、ユーザにとって見えている情報であるページ内での描画位置を使って操作対象を特定することにより、コマンド体系に縛られない自然な発話での操作を可能とする。
【００３４】
（２）1回の発話から、webサーフィン時の操作内容を限定するための複数の情報を抽出可能なため、従来デバイスでの操作に比べ操作ステップ数を大きく減らすことが可能になる。
【００３５】
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
【００３６】
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。
【符号の説明】
【００３７】
１０  映像表示装置
１１  操作信号受信部
１２  制御部
１３  ネットワークＩ／Ｆ部
１４  Ｗｅｂ情報解析部
１５  情報統合画面生成部
１６  記憶部、
１８  装置内情報取得部
１９  キー情報取得部
２０  表示画面特定部
２１  表示データ出力部
２２  音声入力部
３０  ディスプレイ
４０  リモートコントローラ
２００  操作決定部
２０１  認識結果解析部
２０８  DOM操作部
２０９  DOM管理部
２１０  音声認識部
２２０  画面出力部
２３０  対話部
【図１】
2014002795.tif 000003
【図２】
2014002795.tif 000004
【図３】
2014002795.tif 000005
【図４】
2014002795.tif 000006