(57)【要約】本発明は、ディスプレイ部を備え音声制御が可能な映像表示装置であって、上記ディスプレイ部を介して表示される画面上の実行単位領域別に識別音声データが割当てられてマッピング（ｍａｐｐｉｎｇ）されたデータベースが保存されたメモリー部、使用者の音声の入力を受ける音声認識部、上記音声認識部が使用者の音声を受信した場合、上記データベースを検索して上記使用者の音声と対応する識別音声データが存在するか判断する情報処理部、及び、上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データが存在する場合、該当識別音声データが割当てられた実行単位領域に入力信号を発生させる制御部、を含んで構成されたことを特徴とする音声制御映像表示装置、及び上記音声制御映像表示装置で行われる映像表示装置の音声制御方法を提供する。
2017521692.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイ部を備え音声制御が可能な映像表示装置であって、
上記ディスプレイ部を介して表示される画面上の実行単位領域別に識別音声データが割当てられてマッピング（ｍａｐｐｉｎｇ）されたデータベースが保存されたメモリー部、
使用者の音声の入力を受ける音声認識部、
上記音声認識部が使用者の音声を受信した場合、上記データベースを検索して上記使用者の音声と対応する識別音声データが存在するか判断する情報処理部、  及び、
上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データが存在する場合、該当識別音声データが割当てられた実行単位領域に入力信号を発生させる制御部、を含み、
上記データベースには、識別音声データと結合して使用される場合、識別音声データが割当てられた実行単位領域を基準として特定の画面制御を行うようにする制御命令に対応する制御音声データが追加的に保存されており、
上記情報処理部は、上記音声認識部が使用者の音声を受信した場合、上記データベースを検索して上記使用者の音声と対応する識別音声データ及び制御音声データが存在するか判断し、
上記制御部は、上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データ及び制御音声データが存在する場合、該当識別音声データが割当てられた実行単位領域入力信号を発生させ、入力信号を発生させた実行単位領域を基準として該当制御音声データに対応する制御命令を実行するように構成されたことを特徴とする音声制御映像表示装置。
【請求項２】
上記ディスプレイ部は、画面を表示する際、画面上の実行単位領域別に割当てられた識別音声データも共に顕示するように構成されたことを特徴とする、請求項１に記載の音声制御映像表示装置。
【請求項３】
上記データベースは、上記ディスプレイ部を介して表示される互いに異なる２以上の画面に対して、各画面上の実行単位領域別に識別音声データが割当てられてマッピングされたことを特徴とする、請求項１に記載の音声制御映像表示装置。
【請求項４】
請求項１ないし請求項３のいずれか一つの音声制御映像表示装置で行われる映像表示装置の音声制御方法であって、
（ａ）上記メモリー部が、上記ディスプレイ部を介して表示される画面上の実行単位領域別に識別音声データが割当てられてマッピング（ｍａｐｐｉｎｇ）されたデータベースを保存する段階、
（ｂ）上記音声認識部が、使用者の音声の入力を受ける段階、
（ｃ）上記情報処理部が、上記データベースを検索して上記使用者の音声と対応する識別音声データが存在するか判断する段階、及び、
（ｄ）上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データが存在する場合、上記制御部が該当識別音声データが割当てられた実行単位領域に入力信号を発生させる段階、を含み、
上記（ａ）段階は、上記メモリー部が、識別音声データと結合して使用される場合、識別音声データが割当てられた実行単位領域を基準として特定の画面制御を行うようにする制御命令に対応する制御音声データを追加的に含むデータベースを保存する方式で行われ、
上記（ｃ）段階は、上記情報処理部が上記データベースを検索して上記使用者の音声と対応する識別音声データ及び制御音声データが存在するか判断する方式で行われ、
上記（ｄ）段階は、上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データ及び制御音声データが存在する場合、上記制御部が該当識別音声データが割当てられた実行単位領域入力信号を発生させ、入力信号を発生させた実行単位領域を基準として上記制御音声データに対応する制御命令を実行する方式で行われるように構成されたことを特徴とする映像表示装置の音声制御方法。
【請求項５】
上記（ｂ）段階は、上記ディスプレイ部に表示される画面上の実行単位領域別に割当てられた音声データが顕示される状態で行われることを特徴とする、請求項４に記載の映像表示装置の音声制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声制御映像表示装置及び映像表示装置の音声制御方法に関する。より詳細には、ディスプレイ部を介して表示される画面上の実行単位領域別に割当てられた識別音声データと、入力される使用者の音声を比較して、使用者の音声と対応する識別音声データが存在する場合、該当識別音声データが割当てられた実行単位領域に入力信号を発生させるように構成された音声制御映像表示装置及びこのような映像表示装置の音声制御方法に関する。
【背景技術】
【０００２】
最近、多様なスマート機器が発売されるに伴い、映像表示装置も多機能化、高度化し、映像表示装置を制御するための多様な入力方法も開発されているが、マウス、キーボード、タッチパッド、ボタン式リモコン等のような既存の方法の他に、モーションセンシングリモコン、タッチスクリーン等の入力方式が開発されて発表されている。このように多様な入力方法の中でも、使用者がさらに手軽に映像表示装置を制御するために、使用者の音声を認識して映像表示装置を制御する音声制御方式が近来脚光を浴びている。
しかし、使用者が発話した音声を認識して映像表示装置を制御する音声制御方式は、使用者個々人の口腔構造及び発音の差異によって認識率が下がるという点と、使用者がデータベースに保存された音声命令語を学習しなければならない不便さ等が問題点として指摘されてきた。すなわち、使用者の便宜性の側面で、満足できるだけの水準の音声制御方式は、いまだ発表されていない実情である。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明は、ディスプレイ部を介して表示される画面上の実行単位領域別に割当てられた識別音声データと、入力される使用者の音声を比較して、使用者の音声と対応する識別音声データが存在する場合、該当識別音声データが割当てられた実行単位領域に入力信号を発生させるように構成されて、既存のタッチスクリーン制御方式の使用者経験（ＵＸ）が有する便宜性及び直観性を音声制御に適用することができるようにする音声制御映像表示装置及びこのような映像表示装置の音声制御方法を提供することにその目的がある。
【課題を解決するための手段】
【０００４】
上述した課題の解決のために、本発明は、ディスプレイ部を備え音声制御が可能な映像表示装置であって、上記ディスプレイ部を介して表示される画面上の実行単位領域別に識別音声データが割当てられてマッピング（ｍａｐｐｉｎｇ）されたデータベースが保存されたメモリー部、使用者の音声の入力を受ける音声認識部、上記音声認識部が使用者の音声を受信した場合、上記データベースを検索して上記使用者の音声と対応する識別音声データが存在するか判断する情報処理部、及び、上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データが存在する場合、該当識別音声データが割当てられた実行単位領域に入力信号を発生させる制御部、を含んで構成されたことを特徴とする音声制御映像表示装置を提供する。
【０００５】
この際、上記ディスプレイ部は、画面を表示する際、画面上の実行単位領域別に割当てられた識別音声データも共に顕示するように構成されたことを特徴とすることができる。
【０００６】
また上記データベースは、上記ディスプレイ部を介して表示される互いに異なる２以上の画面に対して、各画面上の実行単位領域別に識別音声データが割当てられてマッピングされたことを特徴とすることができる。
【０００７】
また上記データベースには、識別音声データと結合して使用される場合、識別音声データが割当てられた実行単位領域を基準として特定の画面制御を行うようにする制御命令に対応する制御音声データが追加的に保存されており、上記情報処理部は、上記音声認識部が使用者の音声を受信した場合、上記データベースを検索して上記使用者の音声と対応する識別音声データ及び制御音声データが存在するか判断し、上記制御部は、上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データ及び制御音声データが存在する場合、該当識別音声データが割当てられた実行単位領域入力信号を発生させ、入力信号を発生させた実行単位領域を基準として該当制御音声データに対応する制御命令を実行するように構成されたことを特徴とすることができる。
【０００８】
また本発明は、上記音声制御映像表示装置で行われる映像表示装置の音声制御方法であって、（ａ）上記メモリー部が、上記ディスプレイ部を介して表示される画面上の実行単位領域別に識別音声データが割当てられてマッピング（ｍａｐｐｉｎｇ）されたデータベースを保存する段階、（ｂ）上記音声認識部が、使用者の音声の入力を受ける段階、（ｃ）上記情報処理部が、上記データベースを検索して上記使用者の音声と対応する識別音声データが存在するか判断する段階、及び、（ｄ）上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データが存在する場合、上記制御部が該当識別音声データが割当てられた実行単位領域に入力信号を発生させる段階、を含んで構成されたことを特徴とする映像表示装置の音声制御方法を共に提供する。
【０００９】
この際、上記（ｂ）段階は、上記ディスプレイ部に表示される画面上の実行単位領域別に割当てられた音声データが顕示される状態で行われることを特徴とすることができる。
【００１０】
また上記（ａ）段階は、上記メモリー部が、識別音声データと結合して使用される場合、識別音声データが割当てられた実行単位領域を基準として特定の画面制御を行うようにする制御命令に対応する制御音声データを追加的に含むデータベースを保存する方式で行われ、上記（ｃ）段階は、上記情報処理部が上記データベースを検索して上記使用者の音声と対応する識別音声データ及び制御音声データが存在するか判断する方式で行われ、上記（ｄ）段階は、上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データ及び制御音声データが存在する場合、上記制御部が該当識別音声データが割当てられた実行単位領域入力信号を発生させ、入力信号を発生させた実行単位領域を基準として上記制御音声データに対応する制御命令を実行する方式で行われるように構成されたことを特徴とすることができる。
【発明の効果】
【００１１】
本発明に係る音声制御映像表示装置及び映像表示装置の音声制御方法によれば、次のような効果がある。
１．ディスプレイ部を介して表示される画面上の実行単位領域別に割当てられた音声データと、入力された使用者の音声を比較する方式で入力制御が行われるようにして、既存のタッチスクリーン方式の入力制御方式をそのまま音声制御方式に適用させることにより、簡便かつ直観的な音声制御を具現することができるようにする。
２．数十ないし数百種類の音声命令語を使用する既存の音声制御方式と異なり、限定された音声データをもって多様な入力制御が行われることができるようにする。
３．使用者が音声命令語を多く学習しなくても手軽に音声制御を行うことができるようにする。
４．タッチスクリーンの具現及び操作が難しいウェアラブル機器、仮想現実ヘッドセット（ＶＲ機器）、モバイル運営体制が搭載され音声制御が可能なビームプロジェクタ等に有用な使用者インターフェースを提供することができるようにする。
【図面の簡単な説明】
【００１２】
【図１】タッチスクリーンの模式図である。
【図２】本発明に係る音声制御映像表示装置のディスプレイ部を介して表示されるアンドロイドスマートフォンの一般的なホーム画面である。
【図３】図２のホーム画面で「アプリ」（２）がタッチされた時に示されるアプリケーション画面である。
【図４】本発明に係る音声制御映像表示装置のディスプレイ部を介して表示される画面上の実行単位領域の構成例である。
【図５】本発明に係る音声制御映像表示装置のメモリー部に保存されたデータベースの実施例である。
【図６】本発明に係る音声制御映像表示装置のディスプレイ部を介して表示される画面が６×４の行列からなった実行単位領域を有する場合に、画面の上端右側に存在する実行単位領域からアルファベット順でアルファベット文字が各実行単位領域の固有な識別音声データとして割当てられた実施例である。
【図７】本発明に係る音声制御映像表示装置で識別音声データと制御音声データが結合して使用される実施例である。
【図８】本発明に係る映像表示装置の音声制御方法の順序図である。
【発明の実施のための最善の形態】
【００１３】
本発明の実施のための最善の形態は次のとおりである。
１．音声制御映像表示装置
ディスプレイ部を備え音声制御が可能な映像表示装置であって、上記ディスプレイ部を介して表示される画面上の実行単位領域別に識別音声データが割当てられてマッピング（ｍａｐｐｉｎｇ）されたデータベースが保存されたメモリー部、使用者の音声の入力を受ける音声認識部、上記音声認識部が使用者の音声を受信した場合、上記データベースを検索して上記使用者の音声と対応する識別音声データが存在するか判断する情報処理部、及び、上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データが存在する場合、該当識別音声データが割当てられた実行単位領域に入力信号を発生させる制御部、を含んで構成されたことを特徴とする音声制御映像表示装置であって、
上記データベースには、識別音声データと結合して使用される場合、識別音声データが割当てられた実行単位領域を基準として特定の画面制御を行うようにする制御命令に対応する制御音声データが追加的に保存されており、上記情報処理部は、上記音声認識部が使用者の音声を受信した場合、上記データベースを検索して上記使用者の音声と対応する識別音声データ及び制御音声データが存在するか判断し、上記制御部は、上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データ及び制御音声データが存在する場合、該当識別音声データが割当てられた実行単位領域入力信号を発生させ、入力信号を発生させた実行単位領域を基準として該当制御音声データに対応する制御命令を実行するように構成されたことを特徴とする音声制御映像表示装置である。
２．映像表示装置の音声制御方法
上記音声制御映像表示装置で行われる映像表示装置の音声制御方法であって、（ａ）上記メモリー部が、上記ディスプレイ部を介して表示される画面上の実行単位領域別に識別音声データが割当てられてマッピング（ｍａｐｐｉｎｇ）されたデータベースを保存する段階、（ｂ）上記音声認識部が、使用者の音声の入力を受ける段階、（ｃ）上記情報処理部が、上記データベースを検索して上記使用者の音声と対応する識別音声データが存在するか判断する段階、及び、（ｄ）上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データが存在する場合、上記制御部が該当識別音声データが割当てられた実行単位領域に入力信号を発生させる段階、を含んで構成され、
上記（ａ）段階は、上記メモリー部が識別音声データと結合して使用される場合、識別音声データが割当てられた実行単位領域を基準として特定の画面制御を行うようにする制御命令に対応する制御音声データを追加的に含むデータベースを保存する方式で行われ、上記（ｃ）段階は、上記情報処理部が上記データベースを検索して上記使用者の音声と対応する識別音声データ及び制御音声データが存在するか判断する方式で行われ、上記（ｄ）段階は、上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データ及び制御音声データが存在する場合、上記制御部が該当識別音声データが割当てられた実行単位領域入力信号を発生させ、入力信号を発生させた実行単位領域を基準として上記制御音声データに対応する制御命令を実行する方式で行われるように構成されたことを特徴とする映像表示装置の音声制御方法である。
【発明を実施するための形態】
【００１４】
以下では本発明に係る音声制御映像表示装置及び映像表示装置の音声制御方法に関して、具体的な実施例と共に詳細に説明することにする。
１．音声制御映像表示装置
本発明に係る音声制御映像表示装置は、ディスプレイ部、上記ディスプレイ部を介して表示される画面上の実行単位領域別に識別音声データが割当てられてマッピング（ｍａｐｐｉｎｇ）されたデータベースが保存されたメモリー部、使用者の音声の入力を受ける音声認識部、上記音声認識部が使用者の音声を受信した場合、上記データベースを検索して上記使用者の音声と対応する識別音声データが存在するか判断する情報処理部、及び、上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データが存在する場合、該当識別音声データが割当てられた実行単位領域に入力信号を発生させる制御部を含んで構成される。このような構成を有する本発明に係る音声制御映像表示装置は、従来広く使用されているスマートフォン、タブレットＰＣ、スマートＴＶ、カーナビゲーション装置をはじめとして、最近発表されたスマートグラス、スマートウォッチ及び仮想現実ヘッドセット（ＶＲ機器）のようなウェアラブル機器、モバイル運営体制が搭載され音声制御が可能なビームプロジェクタ等、音声制御の具現が可能な全ての映像表示装置に具現されることができる。
【００１５】
図１に示されたように、近来スマートフォン、タブレットＰＣ等に適用されて広く使用されるタッチスクリーンの入力制御方式は、感圧式と静電式があるが、感圧式はタッチスクリーンの圧力が加えられた部分の座標値を測定して該当部分に入力信号を発生させる方式であり、静電式はタッチスクリーンの四隅に取付けられたセンサがタッチがなされた部分の電子変化を感知して座標値を測定し該当部分に入力信号を発生させる方式である。タッチスクリーン方式は、ＧＵＩ（Ｇｒａｐｈｉｃ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）環境で直観的な入力方式として使用者の便宜性が非常に高い。本発明は、音声命令語と特定実行内容を１：１で対応させる方式で行われる既存の音声制御方式と全く異なった接近により、タッチスクリーン方式の長所を音声制御に適用することができるようにするということに特徴がある。
【００１６】
本発明において、上記実行単位領域とは、タッチスクリーン入力方式においてタッチスクリーンとタッチ手段（例えば、指、静電ペン等）が接触する接触面に該当する概念であって、上記ディスプレイ部を介して表示される画面上に入力信号と実行信号が発生する範囲を意味する。すなわち、基本的に多数のピクセル（Ｐｉｘｅｌ）で構成された一定領域を意味し、該当領域上のどのピクセルに入力信号または実行信号が発生しても、同一な結果をもたらす領域とみることができる一つのアイコン配置領域、ハイパーリンク部等を含むように区画することができる概念である。後に詳察する実施例と図２ないし図６でのように、スマートフォンのディスプレイ部に表示される画面上に各種アプリケーションの短縮アイコンらが配列されるそれぞれの行列型格子領域をその例としてあげることができ、画面毎にその大きさと数、模様及び配列が変わることができる可変的な概念である。
【００１７】
上記メモリー部は、スマートフォン、タブレットＰＣ等に具現された音声制御映像表示装置に内蔵されたメモリチップで具現される。上記データベースは、上記ディスプレイ部を介して表示される画面上の実行単位領域別に識別音声データが割当てられてマッピング（ｍａｐｐｉｎｇ）されたものであるが、具体的には、画面上で同一な実行単位領域と認められる領域別に付与される固有の座標情報を含むようになる。また上記識別音声データは、使用者の口腔構造及び発声特性を考慮して、音声認識率向上のために、使用者が直接録音したデータを活用することもできる。また上記メモリー部は、上記ディスプレイ部を介して表示される基本的な画面の実行単位領域の分布パターン別フォーマットを予め保存していて、使用者によって特定フォーマットが選択されるようにすることもできる。
【００１８】
上記音声認識部は、使用者の音声の入力を受ける部分であって、スマートフォン、タブレットＰＣ等に具現された音声制御映像表示装置に内蔵されたマイク装置及び音声認識回路で具現される。
【００１９】
上記情報処理部及び上記制御部は、スマートフォン、タブレットＰＣ等に具現された音声制御映像表示装置に内蔵されるＣＰＵ及びＲＡＭを含んだ制御回路部で具現される。上記情報処理部は、上記音声認識部が使用者の音声を受信した場合、上記データベースを検索して上記使用者の音声と対応する識別音声データが存在するか判断する役割を行うが、具体的には、上記使用者の音声と対応する識別音声データが存在する場合、該当識別音声データが割当てられた実行単位領域の固有座標情報を検出するようになる。また上記制御部は、上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データが存在する場合、該当識別音声データが割当てられた実行単位領域に入力信号を発生させる役割を行うが、上記情報処理部によって検出された座標情報を有する画面上の領域に入力信号を発生させる。入力信号の発生結果は、該当実行単位領域に存在する内容によって変わる。該当実行単位領域に特定アプリケーションの短縮アイコンが存在する場合、そのアプリケーションが実行されるのであり、該当実行単位領域に仮想キーボードの特定文字が存在する場合、該当特定文字が入力されるのであり、該当実行単位領域に画面転換のような命令が指定されている場合、該当命令が行われるのであり、場合によっては何の遂行もないこともあり得る。
【００２０】
図２は、アンドロイドスマートフォンの一般的なホーム画面である。図３は、上記ホーム画面で「アプリ」（２）がタッチされた時に示されるアプリケーション画面である。タッチスクリーン操作を介して「ａｂｃ」（１）アプリケーションをホーム画面ではないアプリケーション画面で実行しようとする場合、ホーム画面の右側下端の「アプリ」（２）をタッチし、その結果アプリケーション画面が示されれば、アプリケーション画面上の「ａｂｃ」（３）をタッチすればよい。
【００２１】
本発明では、このような過程が音声制御方式で具現されることができるようにする。具体的には、図４に示されたように、上記ディスプレイ部を介して表示される画面上の実行単位領域が分けられており、上記データベースは、図５でのようにホーム画面とアプリケーション画面をはじめとした複数の画面毎にそれぞれ実行単位領域別に識別音声データが割当てられてマッピングされて生成されるが、ライブラリ１で表示されたホーム画面上の実行単位領域「Ｆ４」には、「アプリ」という識別音声データがマッピングされ、ライブラリ２で表示されたアプリケーション画面上の実行単位領域「Ｃ１」には「ａｂｃ」という識別音声データがマッピングされていると仮定するとき、上記ディスプレイ部にホーム画面が表示され、上記音声認識部を介して「アプリ」という使用者の音声が入力された場合、上記情報処理部は、ホーム画面に係るデータベースを検索して「アプリ」という使用者の音声と対応する識別音声データが存在するか判断する。上記情報処理部が「アプリ」という使用者の音声と対応する識別音声データである「アプリ」を検索した場合、上記制御部は、該当識別音声データが割当てられた実行単位領域である「Ｆ４」に入力信号を発生させる。その結果、アプリケーション画面が実行されるようになる。また上記ディスプレイ部にアプリケーション画面が実行されている状態で、上記音声認識部を介して「ａｂｃ」という使用者の音声が入力された場合、上記情報処理部は、アプリケーション画面に係るデータベースを検索して「ａｂｃ」という使用者の音声と対応する識別音声データが存在するか判断する。上記情報処理部が「ａｂｃ」という使用者の音声と対応する識別音声データである「ａｂｃ」を検索した場合、上記制御部は、該当識別音声データが割当てられた実行単位領域である「Ｃ１」に入力信号を発生させる。その結果ａｂｃというアプリケーションが実行されるようになる。
【００２２】
上の実施例を介して確認することができるように、上記データベースは、上記ディスプレイ部を介して表示される互いに異なる２以上の画面に対して、各画面上の実行単位領域別に識別音声データが割当てられてマッピングされたことを特徴とすることができる。このような方式でデータベースを構成することは、各画面上の実行単位領域に表示されるアイコンの名称が明確で、そのアイコンの名称を識別音声データとして活用しようとするとき望ましい方式である。一方、実行単位領域の分布が同一な画面の場合、同一なデータベースを有することもできる。例えば、図２ないし図５の実施例でのように、上記ディスプレイ部を介して表示される各画面が６×４の行列からなった実行単位領域を有する場合、図６でのように、画面上端右側に存在する実行単位領域からアルファベット順でアルファベット文字を各実行単位領域の固有な識別音声データとして割り当てることを考えることができる。このような方式のデータベース構成は、各画面上の実行単位領域に表示されるアイコンの名称が明確ではない等の理由により、画面の変化に関係なく一貫した識別音声データを有するようにすることが効率的なとき望ましい。特にこのような方式でデータベースが構成される場合、上記ディスプレイ部は、画面を表示する際、画面上の実行単位領域別に割当てられた識別音声データも共に顕示するように構成されるのが望ましい。具体的には、各実行単位領域の固有識別音声データを画面上に背景として薄く表示する方法等が考慮されることができる。
【００２３】
上記データベースには、識別音声データと結合して使用される場合、識別音声データが割当てられた実行単位領域を基準として特定の画面制御を行うようにする制御命令に対応する制御音声データが追加的に保存されており、上記情報処理部は、上記音声認識部が使用者の音声を受信した場合、上記データベースを検索して上記使用者の音声と対応する識別音声データ及び制御音声データが存在するか判断し、上記制御部は、上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データ及び制御音声データが存在する場合、該当識別音声データが割当てられた実行単位領域入力信号を発生させ、入力信号を発生させた実行単位領域を基準として該当制御音声データに対応する制御命令を実行するように構成されたことを特徴とすることができる。
【００２４】
図７に識別音声データと制御音声データが結合して使用される具体的な実施例が図示されている。図７の実施例は、上記ディスプレイ部を介して表示される画面が６×４の行列からなった実行単位領域に分けられ、各実行単位領域には、画面右側上端の実行単位領域からアルファベット順の識別音声データが割当てられており、上記データベースが、画面拡大のための制御命令として「Ｚｏｏｍ−Ｉｎ」という制御音声データが追加的に保存されていることを仮定したものである。このような状況で、使用者が「Ｆ」と「Ｚｏｏｍ−Ｉｎ」を使用者の音声で続けて入力する場合、上記制御部は、画面上の写真中で実行単位領域Ｆ（２行２列に該当する部分）を拡大して表示するようになる。もちろん識別音声データと制御音声データの入力順序は関係ないように設定することもできる。
【００２５】
一方、本発明に係る音声制御映像表示装置が第１機器となり、音声制御が不可能か不便な他の装置が第２機器となってミラーリング（ｍｉｒｒｏｒｉｎｇ）が行われることもできる。このようなミラーリングを介して、上記音声制御映像表示装置で具現される音声制御方式を他の機器の制御のために使用することができるようになる。第２機器としては、自動車に設置されるコネックティドカーインフォテインメントシステム、スマートＴＶ等を仮定することができる。
この際、第２機器の制御インターフェースが第１機器である上記音声制御映像表示装置を介して表示されるにおいて、第２機器の情報を識別するのが難しい場合、第２機器の映像信号と制御情報のうち制御情報のテキストのみを第１機器に表示される画面上の実行単位領域別に表示し、上記情報処理部は、テキスト基盤の音声合成を介して各テキストを識別音声データに生成し、実行単位領域別に識別音声データをマッピングしてデータベースを生成した後、上記ディスプレイ部を介して表示される画面に上記制御情報のテキストのみを顕示することにより、使用者が上記ディスプレイ部に顕示される制御情報のテキストを音声命令語として利用するようにすることができる。
【００２６】
また、無線ミラーリングのとき使用される無線通信方式の帯域幅が充分に広くないか、第２機器で伝送される情報が過多に多い場合、第２機器の情報を第１機器である上記音声制御映像表示装置に送る際にスケーリングされるようにして、適正な水準の情報だけが伝送されるようにすることができる。
２．映像表示装置の音声制御方法
本発明は、上記音声制御映像表示装置で行われる映像表示装置の音声制御方法であって、（ａ）上記メモリー部が、上記ディスプレイ部を介して表示される画面上の実行単位領域別に識別音声データが割当てられてマッピング（ｍａｐｐｉｎｇ）されたデータベースを保存する段階、（ｂ）上記音声認識部が、使用者の音声の入力を受ける段階、（ｃ）上記情報処理部が、上記データベースを検索して上記使用者の音声と対応する識別音声データが存在するか判断する段階、及び、（ｄ）上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データが存在する場合、上記制御部が該当識別音声データが割当てられた実行単位領域に入力信号を発生させる段階、を含んで構成されたことを特徴とする映像表示装置の音声制御方法を共に提供する。上記映像表示装置の音声制御方法は、上で説明した本発明に係る音声制御映像表示装置で行われることを前提としている。図８には本発明に係る映像表示装置の音声制御方法の順序図が示されている。
【００２７】
上記（ａ）段階は、上記メモリー部がデータベースを構築する段階であるが、上記データベースは、上記ディスプレイ部を介して表示される画面上の実行単位領域別に識別音声データが割当てられてマッピング（ｍａｐｐｉｎｇ）されるようになる。具体的には、画面上で同一な実行単位領域と認められる領域別に付与される固有の座標情報を含むようになり、上記識別音声データは、使用者の口腔構造及び発声特性を考慮して、音声認識率向上のために、使用者が直接録音したデータを活用することもできる。また上記メモリー部は、上記ディスプレイ部を介して表示される基本的な画面の実行単位領域の分布パターン別フォーマットを予め保存していて、使用者によって特定フォーマットが選択されることができるようにすることもできる。
【００２８】
上記（ｂ）段階は、上記音声認識部が使用者の音声の入力を受ける段階である。本段階は、上記音声制御映像表示装置が音声認識モードに転換された状態でなされるようになる。本段階は、使用者が識別音声データを効率的に認知するようにするために、上記ディスプレイ部に表示される画面上の実行単位領域別に割当てられた識別音声データが顕示される状態で行われることが望ましい。
【００２９】
上記（ｃ）段階は、上記情報処理部が、上記データベースを検索して上記使用者の音声と対応する識別音声データが存在するか判断する段階である。具体的には、上記情報処理部は、上記使用者の音声と対応する識別音声データが存在する場合、該当識別音声データが割当てられた実行単位領域の固有座標情報を検出するようになる。
【００３０】
上記（ｄ）段階は、上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データが存在する場合、上記制御部が該当識別音声データが割当てられた実行単位領域に入力信号を発生させる段階である。本段階で、上記制御部は、上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データが存在する場合、該当識別音声データが割当てられた実行単位領域に入力信号を発生させる役割を行うが、上記情報処理部によって検出された座標情報を有する画面上の領域に入力信号を発生させる。入力信号の発生結果は、該当実行単位領域に存在する内容によって変わる。該当実行単位領域に特定アプリケーションの短縮アイコンが存在する場合、そのアプリケーションが実行されるのであり、該当実行単位領域に仮想キーボードの特定文字が存在する場合、該当特定文字が入力されるのであり、該当実行単位領域に画面転換のような命令が指定されている場合、該当命令が行われるのであり、場合によっては何の遂行もないこともあり得る。
【００３１】
一方、本発明に係る映像表示装置の音声制御方法で、上記（ａ）段階は、上記メモリー部が、識別音声データと結合して使用される場合、識別音声データが割当てられた実行単位領域を基準として特定の画面制御を行うようにする制御命令に対応する制御音声データを追加的に含むデータベースを保存する方式で行われ、上記（ｃ）段階は、上記情報処理部が上記データベースを検索して上記使用者の音声と対応する識別音声データ及び制御音声データが存在するか判断する方式で行われ、上記（ｄ）段階は、上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データ及び制御音声データが存在する場合、上記制御部が該当識別音声データが割当てられた実行単位領域入力信号を発生させ、入力信号を発生させた実行単位領域を基準として上記制御音声データに対応する制御命令を実行する方式で行われるように構成されたことを特徴とすることができる。これと関した具体的な実施例は、図７と係わって詳察したとおりである。
【００３２】
以上で本発明に係る音声制御映像表示装置及び映像表示装置の音声制御方法に関して具体的な実施例と共に詳細に説明した。しかし、上の具体的な実施例によって本発明が限定されるものではなく、本発明の要旨を逸脱することがない範囲で多少の修正及び変形が可能である。したがって、本発明の請求の範囲は、本発明の真正な範囲内に属する修正及び変形を含む。
【産業上の利用可能性】
【００３３】
本発明に係る音声制御映像表示装置及び映像表示装置の音声制御方法は、ディスプレイ部を介して表示される画面上の実行単位領域別に割当てられた音声データと、入力された使用者の音声を比較する方式で入力制御が行われるようにして、既存のタッチスクリーン方式の入力制御方式をそのまま音声制御方式に適用させることにより、簡便かつ正確な音声制御を具現することができるようにする技術という点で産業上の利用可能性を有している。
【図１】
2017521692.tif 000003
【図２】
2017521692.tif 000004
【図３】
2017521692.tif 000005
【図４】
2017521692.tif 000006
【図５】
2017521692.tif 000007
【図６】
2017521692.tif 000008
【図７】
2017521692.tif 000009
【図８】
2017521692.tif 000010
【手続補正書】
【提出日】平成28年11月17日(2016.11.17)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声制御映像表示装置及び映像表示装置の音声制御方法に関する。より詳細には、ディスプレイ部を介して表示される画面上の実行単位領域別に割当てられた識別音声データと、入力される使用者の音声を比較して、使用者の音声と対応する識別音声データが存在する場合、該当識別音声データが割当てられた実行単位領域に入力信号を発生させるように構成された音声制御映像表示装置及びこのような映像表示装置の音声制御方法に関する。
【背景技術】
【０００２】
最近、多様なスマート機器が発売されるに伴い、映像表示装置も多機能化、高度化し、映像表示装置を制御するための多様な入力方法も開発されているが、マウス、キーボード、タッチパッド、ボタン式リモコン等のような既存の方法の他に、モーションセンシングリモコン、タッチスクリーン等の入力方式が開発されて発表されている。このように多様な入力方法の中でも、使用者がさらに手軽に映像表示装置を制御するために、使用者の音声を認識して映像表示装置を制御する音声制御方式が近来脚光を浴びている。
しかし、使用者が発話した音声を認識して映像表示装置を制御する音声制御方式は、使用者個々人の口腔構造及び発音の差異によって認識率が下がるという点と、使用者がデータベースに保存された音声命令語を学習しなければならない不便さ等が問題点として指摘されてきた。すなわち、使用者の便宜性の側面で、満足できるだけの水準の音声制御方式は、いまだ発表されていない実情である。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明は、ディスプレイ部を介して表示される画面上の実行単位領域別に割当てられた識別音声データと、入力される使用者の音声を比較して、使用者の音声と対応する識別音声データが存在する場合、該当識別音声データが割当てられた実行単位領域に入力信号を発生させるように構成されて、既存のタッチスクリーン制御方式の使用者経験（ＵＸ）が有する便宜性及び直観性を音声制御に適用することができるようにする音声制御映像表示装置及びこのような映像表示装置の音声制御方法を提供することにその目的がある。
【課題を解決するための手段】
【０００４】
上述した課題の解決のために、本発明は、ディスプレイ部を備え音声制御が可能な映像表示装置であって、上記ディスプレイ部を介して表示される画面上の実行単位領域別に識別音声データが割当てられてマッピング（ｍａｐｐｉｎｇ）されたデータベースが保存されたメモリー部、使用者の音声の入力を受ける音声認識部、上記音声認識部が使用者の音声を受信した場合、上記データベースを検索して上記使用者の音声と対応する識別音声データが存在するか判断する情報処理部、及び、上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データが存在する場合、該当識別音声データが割当てられた実行単位領域に入力信号を発生させる制御部、を含んで構成されたことを特徴とする音声制御映像表示装置を提供する。
【０００５】
この際、上記ディスプレイ部は、画面を表示する際、画面上の実行単位領域別に割当てられた識別音声データも共に顕示するように構成されたことを特徴とすることができる。
【０００６】
また上記データベースは、上記ディスプレイ部を介して表示される互いに異なる２以上の画面に対して、各画面上の実行単位領域別に識別音声データが割当てられてマッピングされたことを特徴とすることができる。
【０００７】
また上記データベースには、識別音声データと結合して使用される場合、識別音声データが割当てられた実行単位領域を基準として特定の画面制御を行うようにする制御命令に対応する制御音声データが追加的に保存されており、上記情報処理部は、上記音声認識部が使用者の音声を受信した場合、上記データベースを検索して上記使用者の音声と対応する識別音声データ及び制御音声データが存在するか判断し、上記制御部は、上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データ及び制御音声データが存在する場合、該当識別音声データが割当てられた実行単位領域に入力信号を発生させ、入力信号を発生させた実行単位領域を基準として該当制御音声データに対応する制御命令を実行するように構成されたことを特徴とすることができる。
【０００８】
また本発明は、上記音声制御映像表示装置で行われる映像表示装置の音声制御方法であって、（ａ）上記メモリー部が、上記ディスプレイ部を介して表示される画面上の実行単位領域別に識別音声データが割当てられてマッピング（ｍａｐｐｉｎｇ）されたデータベースを保存する段階、（ｂ）上記音声認識部が、使用者の音声の入力を受ける段階、（ｃ）上記情報処理部が、上記データベースを検索して上記使用者の音声と対応する識別音声データが存在するか判断する段階、及び、（ｄ）上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データが存在する場合、上記制御部が該当識別音声データが割当てられた実行単位領域に入力信号を発生させる段階、を含んで構成されたことを特徴とする映像表示装置の音声制御方法を共に提供する。
【０００９】
この際、上記（ｂ）段階は、上記ディスプレイ部に表示される画面上の実行単位領域別に割当てられた音声データが顕示される状態で行われることを特徴とすることができる。
【００１０】
また上記（ａ）段階は、上記メモリー部が、識別音声データと結合して使用される場合、識別音声データが割当てられた実行単位領域を基準として特定の画面制御を行うようにする制御命令に対応する制御音声データを追加的に含むデータベースを保存する方式で行われ、上記（ｃ）段階は、上記情報処理部が上記データベースを検索して上記使用者の音声と対応する識別音声データ及び制御音声データが存在するか判断する方式で行われ、上記（ｄ）段階は、上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データ及び制御音声データが存在する場合、上記制御部が該当識別音声データが割当てられた実行単位領域に入力信号を発生させ、入力信号を発生させた実行単位領域を基準として上記制御音声データに対応する制御命令を実行する方式で行われるように構成されたことを特徴とすることができる。
【発明の効果】
【００１１】
本発明に係る音声制御映像表示装置及び映像表示装置の音声制御方法によれば、次のような効果がある。
１．ディスプレイ部を介して表示される画面上の実行単位領域別に割当てられた音声データと、入力された使用者の音声を比較する方式で入力制御が行われるようにして、既存のタッチスクリーン方式の入力制御方式をそのまま音声制御方式に適用させることにより、簡便かつ直観的な音声制御を具現することができるようにする。
２．数十ないし数百種類の音声命令語を使用する既存の音声制御方式と異なり、限定された音声データをもって多様な入力制御が行われることができるようにする。
３．使用者が音声命令語を多く学習しなくても手軽に音声制御を行うことができるようにする。
４．タッチスクリーンの具現及び操作が難しいウェアラブル機器、仮想現実ヘッドセット（ＶＲ機器）、モバイル運営体制が搭載され音声制御が可能なビームプロジェクタ等に有用な使用者インターフェースを提供することができるようにする。
【図面の簡単な説明】
【００１２】
【図１】タッチスクリーンの模式図である。
【図２】本発明に係る音声制御映像表示装置のディスプレイ部を介して表示されるアンドロイドスマートフォンの一般的なホーム画面である。
【図３】図２のホーム画面で「アプリ」（２）がタッチされた時に示されるアプリケーション画面である。
【図４】本発明に係る音声制御映像表示装置のディスプレイ部を介して表示される画面上の実行単位領域の構成例である。
【図５】本発明に係る音声制御映像表示装置のメモリー部に保存されたデータベースの実施例である。
【図６】本発明に係る音声制御映像表示装置のディスプレイ部を介して表示される画面が６×４の行列からなった実行単位領域を有する場合に、画面の上端左側に存在する実行単位領域からアルファベット順でアルファベット文字が各実行単位領域の固有な識別音声データとして割当てられた実施例である。
【図７】本発明に係る音声制御映像表示装置で識別音声データと制御音声データが結合して使用される実施例である。
【図８】本発明に係る映像表示装置の音声制御方法の順序図である。
【発明の実施のための最善の形態】
【００１３】
本発明の実施のための最善の形態は次のとおりである。
１．音声制御映像表示装置
ディスプレイ部を備え音声制御が可能な映像表示装置であって、上記ディスプレイ部を介して表示される画面上の実行単位領域別に識別音声データが割当てられてマッピング（ｍａｐｐｉｎｇ）されたデータベースが保存されたメモリー部、使用者の音声の入力を受ける音声認識部、上記音声認識部が使用者の音声を受信した場合、上記データベースを検索して上記使用者の音声と対応する識別音声データが存在するか判断する情報処理部、及び、上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データが存在する場合、該当識別音声データが割当てられた実行単位領域に入力信号を発生させる制御部、を含んで構成されたことを特徴とする音声制御映像表示装置であって、
上記データベースには、識別音声データと結合して使用される場合、識別音声データが割当てられた実行単位領域を基準として特定の画面制御を行うようにする制御命令に対応する制御音声データが追加的に保存されており、上記情報処理部は、上記音声認識部が使用者の音声を受信した場合、上記データベースを検索して上記使用者の音声と対応する識別音声データ及び制御音声データが存在するか判断し、上記制御部は、上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データ及び制御音声データが存在する場合、該当識別音声データが割当てられた実行単位領域に入力信号を発生させ、入力信号を発生させた実行単位領域を基準として該当制御音声データに対応する制御命令を実行するように構成されたことを特徴とする音声制御映像表示装置である。
２．映像表示装置の音声制御方法
上記音声制御映像表示装置で行われる映像表示装置の音声制御方法であって、（ａ）上記メモリー部が、上記ディスプレイ部を介して表示される画面上の実行単位領域別に識別音声データが割当てられてマッピング（ｍａｐｐｉｎｇ）されたデータベースを保存する段階、（ｂ）上記音声認識部が、使用者の音声の入力を受ける段階、（ｃ）上記情報処理部が、上記データベースを検索して上記使用者の音声と対応する識別音声データが存在するか判断する段階、及び、（ｄ）上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データが存在する場合、上記制御部が該当識別音声データが割当てられた実行単位領域に入力信号を発生させる段階、を含んで構成され、
上記（ａ）段階は、上記メモリー部が識別音声データと結合して使用される場合、識別音声データが割当てられた実行単位領域を基準として特定の画面制御を行うようにする制御命令に対応する制御音声データを追加的に含むデータベースを保存する方式で行われ、上記（ｃ）段階は、上記情報処理部が上記データベースを検索して上記使用者の音声と対応する識別音声データ及び制御音声データが存在するか判断する方式で行われ、上記（ｄ）段階は、上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データ及び制御音声データが存在する場合、上記制御部が該当識別音声データが割当てられた実行単位領域に入力信号を発生させ、入力信号を発生させた実行単位領域を基準として上記制御音声データに対応する制御命令を実行する方式で行われるように構成されたことを特徴とする映像表示装置の音声制御方法である。
【発明を実施するための形態】
【００１４】
以下では本発明に係る音声制御映像表示装置及び映像表示装置の音声制御方法に関して、具体的な実施例と共に詳細に説明することにする。
１．音声制御映像表示装置
本発明に係る音声制御映像表示装置は、ディスプレイ部、上記ディスプレイ部を介して表示される画面上の実行単位領域別に識別音声データが割当てられてマッピング（ｍａｐｐｉｎｇ）されたデータベースが保存されたメモリー部、使用者の音声の入力を受ける音声認識部、上記音声認識部が使用者の音声を受信した場合、上記データベースを検索して上記使用者の音声と対応する識別音声データが存在するか判断する情報処理部、及び、上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データが存在する場合、該当識別音声データが割当てられた実行単位領域に入力信号を発生させる制御部を含んで構成される。このような構成を有する本発明に係る音声制御映像表示装置は、従来広く使用されているスマートフォン、タブレットＰＣ、スマートＴＶ、カーナビゲーション装置をはじめとして、最近発表されたスマートグラス、スマートウォッチ及び仮想現実ヘッドセット（ＶＲ機器）のようなウェアラブル機器、モバイル運営体制が搭載され音声制御が可能なビームプロジェクタ等、音声制御の具現が可能な全ての映像表示装置に具現されることができる。
【００１５】
図１に示されたように、近来スマートフォン、タブレットＰＣ等に適用されて広く使用されるタッチスクリーンの入力制御方式は、感圧式と静電式があるが、感圧式はタッチスクリーンの圧力が加えられた部分の座標値を測定して該当部分に入力信号を発生させる方式であり、静電式はタッチスクリーンの四隅に取付けられたセンサがタッチがなされた部分の電子変化を感知して座標値を測定し該当部分に入力信号を発生させる方式である。タッチスクリーン方式は、ＧＵＩ（Ｇｒａｐｈｉｃ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）環境で直観的な入力方式として使用者の便宜性が非常に高い。本発明は、音声命令語と特定実行内容を１：１で対応させる方式で行われる既存の音声制御方式と全く異なった接近により、タッチスクリーン方式の長所を音声制御に適用することができるようにするということに特徴がある。
【００１６】
本発明において、上記実行単位領域とは、タッチスクリーン入力方式においてタッチスクリーンとタッチ手段（例えば、指、静電ペン等）が接触する接触面に該当する概念であって、上記ディスプレイ部を介して表示される画面上に入力信号と実行信号が発生する範囲を意味する。すなわち、基本的に多数のピクセル（Ｐｉｘｅｌ）で構成された一定領域を意味し、該当領域上のどのピクセルに入力信号または実行信号が発生しても、同一な結果をもたらす領域とみることができる一つのアイコン配置領域、ハイパーリンク部等を含むように区画することができる概念である。後に詳察する実施例と図２ないし図６でのように、スマートフォンのディスプレイ部に表示される画面上に各種アプリケーションの短縮アイコンらが配列されるそれぞれの行列型格子領域をその例としてあげることができ、画面毎にその大きさと数、模様及び配列が変わることができる可変的な概念である。
【００１７】
上記メモリー部は、スマートフォン、タブレットＰＣ等に具現された音声制御映像表示装置に内蔵されたメモリチップで具現される。上記データベースは、上記ディスプレイ部を介して表示される画面上の実行単位領域別に識別音声データが割当てられてマッピング（ｍａｐｐｉｎｇ）されたものであるが、具体的には、画面上で同一な実行単位領域と認められる領域別に付与される固有の座標情報を含むようになる。また上記識別音声データは、使用者の口腔構造及び発声特性を考慮して、音声認識率向上のために、使用者が直接録音したデータを活用することもできる。また上記メモリー部は、上記ディスプレイ部を介して表示される基本的な画面の実行単位領域の分布パターン別フォーマットを予め保存していて、使用者によって特定フォーマットが選択されるようにすることもできる。
【００１８】
上記音声認識部は、使用者の音声の入力を受ける部分であって、スマートフォン、タブレットＰＣ等に具現された音声制御映像表示装置に内蔵されたマイク装置及び音声認識回路で具現される。
【００１９】
上記情報処理部及び上記制御部は、スマートフォン、タブレットＰＣ等に具現された音声制御映像表示装置に内蔵されるＣＰＵ及びＲＡＭを含んだ制御回路部で具現される。上記情報処理部は、上記音声認識部が使用者の音声を受信した場合、上記データベースを検索して上記使用者の音声と対応する識別音声データが存在するか判断する役割を行うが、具体的には、上記使用者の音声と対応する識別音声データが存在する場合、該当識別音声データが割当てられた実行単位領域の固有座標情報を検出するようになる。また上記制御部は、上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データが存在する場合、該当識別音声データが割当てられた実行単位領域に入力信号を発生させる役割を行うが、上記情報処理部によって検出された座標情報を有する画面上の領域に入力信号を発生させる。入力信号の発生結果は、該当実行単位領域に存在する内容によって変わる。該当実行単位領域に特定アプリケーションの短縮アイコンが存在する場合、そのアプリケーションが実行されるのであり、該当実行単位領域に仮想キーボードの特定文字が存在する場合、該当特定文字が入力されるのであり、該当実行単位領域に画面転換のような命令が指定されている場合、該当命令が行われるのであり、場合によっては何の遂行もないこともあり得る。
【００２０】
図２は、アンドロイドスマートフォンの一般的なホーム画面である。図３は、上記ホーム画面で「アプリ」（２）がタッチされた時に示されるアプリケーション画面である。タッチスクリーン操作を介して「ａｂｃ」（１）アプリケーションをホーム画面ではないアプリケーション画面で実行しようとする場合、ホーム画面の右側下端の「アプリ」（２）をタッチし、その結果アプリケーション画面が示されれば、アプリケーション画面上の「ａｂｃ」（３）をタッチすればよい。
【００２１】
本発明では、このような過程が音声制御方式で具現されることができるようにする。具体的には、図４に示されたように、上記ディスプレイ部を介して表示される画面上の実行単位領域が分けられており、上記データベースは、図５でのようにホーム画面とアプリケーション画面をはじめとした複数の画面毎にそれぞれ実行単位領域別に識別音声データが割当てられてマッピングされて生成されるが、ライブラリ１で表示されたホーム画面上の実行単位領域「Ｆ４」には、「アプリ」という識別音声データがマッピングされ、ライブラリ２で表示されたアプリケーション画面上の実行単位領域「Ｃ１」には「ａｂｃ」という識別音声データがマッピングされていると仮定するとき、上記ディスプレイ部にホーム画面が表示され、上記音声認識部を介して「アプリ」という使用者の音声が入力された場合、上記情報処理部は、ホーム画面に係るデータベースを検索して「アプリ」という使用者の音声と対応する識別音声データが存在するか判断する。上記情報処理部が「アプリ」という使用者の音声と対応する識別音声データである「アプリ」を検索した場合、上記制御部は、該当識別音声データが割当てられた実行単位領域である「Ｆ４」に入力信号を発生させる。その結果、アプリケーション画面が実行されるようになる。また上記ディスプレイ部にアプリケーション画面が実行されている状態で、上記音声認識部を介して「ａｂｃ」という使用者の音声が入力された場合、上記情報処理部は、アプリケーション画面に係るデータベースを検索して「ａｂｃ」という使用者の音声と対応する識別音声データが存在するか判断する。上記情報処理部が「ａｂｃ」という使用者の音声と対応する識別音声データである「ａｂｃ」を検索した場合、上記制御部は、該当識別音声データが割当てられた実行単位領域である「Ｃ１」に入力信号を発生させる。その結果ａｂｃというアプリケーションが実行されるようになる。
【００２２】
上の実施例を介して確認することができるように、上記データベースは、上記ディスプレイ部を介して表示される互いに異なる２以上の画面に対して、各画面上の実行単位領域別に識別音声データが割当てられてマッピングされたことを特徴とすることができる。このような方式でデータベースを構成することは、各画面上の実行単位領域に表示されるアイコンの名称が明確で、そのアイコンの名称を識別音声データとして活用しようとするとき望ましい方式である。一方、実行単位領域の分布が同一な画面の場合、同一なデータベースを有することもできる。例えば、図２ないし図５の実施例でのように、上記ディスプレイ部を介して表示される各画面が６×４の行列からなった実行単位領域を有する場合、図６でのように、画面上端左側に存在する実行単位領域からアルファベット順でアルファベット文字を各実行単位領域の固有な識別音声データとして割り当てることを考えることができる。このような方式のデータベース構成は、各画面上の実行単位領域に表示されるアイコンの名称が明確ではない等の理由により、画面の変化に関係なく一貫した識別音声データを有するようにすることが効率的なとき望ましい。特にこのような方式でデータベースが構成される場合、上記ディスプレイ部は、画面を表示する際、画面上の実行単位領域別に割当てられた識別音声データも共に顕示するように構成されるのが望ましい。具体的には、各実行単位領域の固有識別音声データを画面上に背景として薄く表示する方法等が考慮されることができる。
【００２３】
上記データベースには、識別音声データと結合して使用される場合、識別音声データが割当てられた実行単位領域を基準として特定の画面制御を行うようにする制御命令に対応する制御音声データが追加的に保存されており、上記情報処理部は、上記音声認識部が使用者の音声を受信した場合、上記データベースを検索して上記使用者の音声と対応する識別音声データ及び制御音声データが存在するか判断し、上記制御部は、上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データ及び制御音声データが存在する場合、該当識別音声データが割当てられた実行単位領域に入力信号を発生させ、入力信号を発生させた実行単位領域を基準として該当制御音声データに対応する制御命令を実行するように構成されたことを特徴とすることができる。
【００２４】
図７に識別音声データと制御音声データが結合して使用される具体的な実施例が図示されている。図７の実施例は、上記ディスプレイ部を介して表示される画面が６×４の行列からなった実行単位領域に分けられ、各実行単位領域には、画面左側上端の実行単位領域からアルファベット順の識別音声データが割当てられており、上記データベースが、画面拡大のための制御命令として「Ｚｏｏｍ−Ｉｎ」という制御音声データが追加的に保存されていることを仮定したものである。このような状況で、使用者が「Ｆ」と「Ｚｏｏｍ−Ｉｎ」を使用者の音声で続けて入力する場合、上記制御部は、画面上の写真中で実行単位領域Ｆ（２行２列に該当する部分）を拡大して表示するようになる。もちろん識別音声データと制御音声データの入力順序は関係ないように設定することもできる。
【００２５】
一方、本発明に係る音声制御映像表示装置が第１機器となり、音声制御が不可能か不便な他の装置が第２機器となってミラーリング（ｍｉｒｒｏｒｉｎｇ）が行われることもできる。このようなミラーリングを介して、上記音声制御映像表示装置で具現される音声制御方式を他の機器の制御のために使用することができるようになる。第２機器としては、自動車に設置されるコネックティドカーインフォテインメントシステム、スマートＴＶ等を仮定することができる。
この際、第２機器の制御インターフェースが第１機器である上記音声制御映像表示装置を介して表示されるにおいて、第２機器の情報を識別するのが難しい場合、第２機器の映像信号と制御情報のうち制御情報のテキストのみを第１機器に表示される画面上の実行単位領域別に表示し、上記情報処理部は、テキスト基盤の音声合成を介して各テキストを識別音声データに生成し、実行単位領域別に識別音声データをマッピングしてデータベースを生成した後、上記ディスプレイ部を介して表示される画面に上記制御情報のテキストのみを顕示することにより、使用者が上記ディスプレイ部に顕示される制御情報のテキストを音声命令語として利用するようにすることができる。
【００２６】
また、無線ミラーリングのとき使用される無線通信方式の帯域幅が充分に広くないか、第２機器で伝送される情報が過多に多い場合、第２機器の情報を第１機器である上記音声制御映像表示装置に送る際にスケーリングされるようにして、適正な水準の情報だけが伝送されるようにすることができる。
２．映像表示装置の音声制御方法
本発明は、上記音声制御映像表示装置で行われる映像表示装置の音声制御方法であって、（ａ）上記メモリー部が、上記ディスプレイ部を介して表示される画面上の実行単位領域別に識別音声データが割当てられてマッピング（ｍａｐｐｉｎｇ）されたデータベースを保存する段階、（ｂ）上記音声認識部が、使用者の音声の入力を受ける段階、（ｃ）上記情報処理部が、上記データベースを検索して上記使用者の音声と対応する識別音声データが存在するか判断する段階、及び、（ｄ）上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データが存在する場合、上記制御部が該当識別音声データが割当てられた実行単位領域に入力信号を発生させる段階、を含んで構成されたことを特徴とする映像表示装置の音声制御方法を共に提供する。上記映像表示装置の音声制御方法は、上で説明した本発明に係る音声制御映像表示装置で行われることを前提としている。図８には本発明に係る映像表示装置の音声制御方法の順序図が示されている。
【００２７】
上記（ａ）段階は、上記メモリー部がデータベースを構築する段階であるが、上記データベースは、上記ディスプレイ部を介して表示される画面上の実行単位領域別に識別音声データが割当てられてマッピング（ｍａｐｐｉｎｇ）されるようになる。具体的には、画面上で同一な実行単位領域と認められる領域別に付与される固有の座標情報を含むようになり、上記識別音声データは、使用者の口腔構造及び発声特性を考慮して、音声認識率向上のために、使用者が直接録音したデータを活用することもできる。また上記メモリー部は、上記ディスプレイ部を介して表示される基本的な画面の実行単位領域の分布パターン別フォーマットを予め保存していて、使用者によって特定フォーマットが選択されることができるようにすることもできる。
【００２８】
上記（ｂ）段階は、上記音声認識部が使用者の音声の入力を受ける段階である。本段階は、上記音声制御映像表示装置が音声認識モードに転換された状態でなされるようになる。本段階は、使用者が識別音声データを効率的に認知するようにするために、上記ディスプレイ部に表示される画面上の実行単位領域別に割当てられた識別音声データが顕示される状態で行われることが望ましい。
【００２９】
上記（ｃ）段階は、上記情報処理部が、上記データベースを検索して上記使用者の音声と対応する識別音声データが存在するか判断する段階である。具体的には、上記情報処理部は、上記使用者の音声と対応する識別音声データが存在する場合、該当識別音声データが割当てられた実行単位領域の固有座標情報を検出するようになる。
【００３０】
上記（ｄ）段階は、上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データが存在する場合、上記制御部が該当識別音声データが割当てられた実行単位領域に入力信号を発生させる段階である。本段階で、上記制御部は、上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データが存在する場合、該当識別音声データが割当てられた実行単位領域に入力信号を発生させる役割を行うが、上記情報処理部によって検出された座標情報を有する画面上の領域に入力信号を発生させる。入力信号の発生結果は、該当実行単位領域に存在する内容によって変わる。該当実行単位領域に特定アプリケーションの短縮アイコンが存在する場合、そのアプリケーションが実行されるのであり、該当実行単位領域に仮想キーボードの特定文字が存在する場合、該当特定文字が入力されるのであり、該当実行単位領域に画面転換のような命令が指定されている場合、該当命令が行われるのであり、場合によっては何の遂行もないこともあり得る。
【００３１】
一方、本発明に係る映像表示装置の音声制御方法で、上記（ａ）段階は、上記メモリー部が、識別音声データと結合して使用される場合、識別音声データが割当てられた実行単位領域を基準として特定の画面制御を行うようにする制御命令に対応する制御音声データを追加的に含むデータベースを保存する方式で行われ、上記（ｃ）段階は、上記情報処理部が上記データベースを検索して上記使用者の音声と対応する識別音声データ及び制御音声データが存在するか判断する方式で行われ、上記（ｄ）段階は、上記情報処理部の判断結果、上記使用者の音声と対応する識別音声データ及び制御音声データが存在する場合、上記制御部が該当識別音声データが割当てられた実行単位領域に入力信号を発生させ、入力信号を発生させた実行単位領域を基準として上記制御音声データに対応する制御命令を実行する方式で行われるように構成されたことを特徴とすることができる。これと関した具体的な実施例は、図７と係わって詳察したとおりである。
【００３２】
以上で本発明に係る音声制御映像表示装置及び映像表示装置の音声制御方法に関して具体的な実施例と共に詳細に説明した。しかし、上の具体的な実施例によって本発明が限定されるものではなく、本発明の要旨を逸脱することがない範囲で多少の修正及び変形が可能である。したがって、本発明の請求の範囲は、本発明の真正な範囲内に属する修正及び変形を含む。
【産業上の利用可能性】
【００３３】
本発明に係る音声制御映像表示装置及び映像表示装置の音声制御方法は、ディスプレイ部を介して表示される画面上の実行単位領域別に割当てられた音声データと、入力された使用者の音声を比較する方式で入力制御が行われるようにして、既存のタッチスクリーン方式の入力制御方式をそのまま音声制御方式に適用させることにより、簡便かつ正確な音声制御を具現することができるようにする技術という点で産業上の利用可能性を有している。
【国際調査報告】
2017521692.tif 000011
2017521692.tif 000012
2017521692.tif 000013
2017521692.tif 000014