(57)【要約】【課題】音声認識を適用したメイン動作の実行時に、発生の可能性がある音声認識誤りによる不便さを減少させるための音声認識を用いて予め設定された動作モードを遂行する方法及びその装置を提供する。【解決手段】音声認識を用いて予め設定された動作モードを遂行する方法であって、予め設定された動作モードで、キー入力又はタッチ入力に従って前記予め設定された動作モードの予め設定された動作を遂行するステップと、前記予め設定された動作モードの前記予め設定された動作の遂行中に、入力された音声を認識し、前記認識した音声に従って前記予め設定された動作の遂行をアシストするステップとを有する。【選択図】      図２
2014078007.tif 000002
【特許請求の範囲】
【請求項１】
音声認識を用いて予め設定された動作モードを遂行する方法であって、
予め設定された動作モードで、キー入力又はタッチ入力に従って前記予め設定された動作モードの予め設定された動作を遂行するステップと、
前記予め設定された動作モードの前記予め設定された動作の遂行中に、入力された音声を認識し、前記認識した音声に従って前記予め設定された動作の遂行をアシストするステップとを有することを特徴とする音声認識を用いて予め設定された動作モードを遂行する方法。
【請求項２】
前記予め設定された動作モードは、テキスト作成モードであり、
前記予め設定された動作を遂行するステップは、前記テキスト作成モードで、前記キー入力又はタッチ入力によって入力されたテキストを予め設定されたテキスト表示ウィンドウに表示するステップを含み、
前記予め設定された動作の遂行をアシストするステップは、前記キー入力又はタッチ入力によって入力されたテキストが前記テキスト表示ウィンドウに表示されている間に前記入力された音声を認識するステップと、
前記表示したテキストと前記認識した音声とを比較するステップと、
前記表示したテキストと前記認識した音声が同一でない場合、前記表示したテキストに誤りがあると判断するステップと、
前記表示したテキストと前記認識した音声が同一である場合、前記表示したテキストに誤りがないと判断するステップと、
前記表示したテキストに誤りがあると判断した場合、前記認識した音声をテキストに変換して前記表示したテキストを修正するステップとを含み、
前記表示したテキストに誤りがないと判断した場合、前記認識した音声が予め設定された動作命令であるか否かを判断するステップと、
前記認識した音声が前記予め設定された動作命令である場合、前記認識した音声を適用して前記予め設定された動作命令を遂行するステップとを含むことを特徴とする請求項１に記載の音声認識を用いて予め設定された動作モードを遂行する方法。
【請求項３】
前記予め設定された動作モードは、テキスト作成モードであり、
前記予め設定された動作を遂行するステップは、前記テキスト作成モードで、前記キー入力又はタッチ入力によって入力されたテキストを予め設定されたテキスト表示ウィンドウに表示するステップを含み、
前記予め設定された動作の遂行をアシストするステップは、前記キー入力又はタッチ入力によって入力されたテキストが前記テキスト表示ウィンドウに表示されている間に前記入力された音声を認識するステップと、
前記認識した音声が予め設定された動作命令であるか否かを判断するステップと、
前記認識した音声が前記予め設定された動作命令である場合、前記認識した音声を適用して前記予め設定された動作を遂行するステップと、
前記認識した音声が前記予め設定された動作命令でない場合、前記表示したテキストと前記認識した音声を比較するステップと、
前記表示したテキストと前記認識した音声が同一でない場合、前記表示したテキストに誤りがあると判断するステップと、
前記表示したテキストと前記認識した音声が同一である場合、前記表示したテキストに誤りがないと判断するステップと、
前記表示したテキストに誤りがあると判断した場合、前記認識した音声をテキストに変換して前記表示したテキストを修正するステップとを含むことを特徴とする請求項１に記載の音声認識を用いて予め設定された動作モードを遂行する方法。
【請求項４】
前記表示したテキストを修正するステップは、前記認識した音声をテキストに変換し、前記変換したテキストを予め設定されたボイスアシストウィンドウに表示するステップと、
前記テキスト表示ウィンドウの内容を前記ボイスアシストウィンドウに表示した内容に変更するように予め設定された機能が適用された場合、前記テキスト表示ウィンドウの前記表示したテキストを前記音声から変換したテキストに変更するステップを含むことを特徴とする請求項２又は３に記載の音声認識を用いて予め設定された動作モードを遂行する方法。
【請求項５】
前記予め設定された動作を遂行するステップは、前記認識した音声が前記予め設定された動作命令である場合、前記予め設定された動作を遂行するステップと、
前記予め設定された動作の遂行が完了すると、前記遂行結果を出力するステップとを含み、
前記予め設定された動作を遂行しているステップの間は、前記キー入力又はタッチ入力によって入力されたテキストを前記テキスト表示ウィンドウに表示するステップは中断されないことを特徴とする請求項２又は３に記載の音声認識を用いて予め設定された動作モードを遂行する方法。
【請求項６】
前記予め設定された動作モードは、予め設定されたリストメニューのリストが表示された状態であり、
前記予め設定された動作を遂行するステップは、前記表示されたリストで前記タッチ入力によって前記表示されたリストのスクロール動作を遂行するステップを含み、
前記予め設定された動作の遂行をアシストするステップは、前記表示されたリストのスクロール動作を遂行するステップ中に前記入力された音声を認識するステップと、
前記認識した音声が予め設定された動作命令である場合、前記認識した音声を適用して前記予め設定された動作を遂行するステップとを含むことを特徴とする請求項１に記載の音声認識を用いて予め設定された動作モードを遂行する方法。
【請求項７】
前記タッチ入力は、スクロールするタッチ入力であり、
前記予め設定された動作命令は、前記表示されたリストで所望の位置まで自動的にスクロールするように設定された命令であり、
前記表示されたリストで所望の位置まで自動的にスクロールするように設定された命令は、一つ以上の単語又は文字列又は句の位置、リスト全体での対応部分の位置、及び国別言語の位置まで自動的にスクロールするように設定された命令を含むことを特徴とする請求項６に記載の音声認識を用いて予め設定された動作モードを遂行する方法。
【請求項８】
前記予め設定された動作モードは、予め設定されたアイテムを含む予め設定されたホーム画面のページの内のいずれか一つのホーム画面ページが表示された状態であり、
前記予め設定された動作を遂行するステップは、前記いずれか一つのホーム画面ページが表示された状態で、前記タッチ入力によって前記いずれか一つのホーム画面ページの一つ以上のアイテムの選択を遂行するステップと、
前記選択したアイテムを他のホーム画面ページに移動させる動作を遂行するステップを含み、
前記予め設定された動作の遂行をアシストするステップは、前記選択したアイテムを前記他のホーム画面ページに移動させる動作を遂行するステップ中に前記入力された音声を認識するステップと、
前記認識した音声が予め設定された動作命令である場合、前記認識した音声を適用して前記予め設定された動作命令に従って前記予め設定された動作を遂行するステップとを含むことを特徴とする請求項１に記載の音声認識を用いて予め設定された動作モードを遂行する方法。
【請求項９】
前記タッチ入力は、ドラッグするタッチ入力であり、
前記ドラッグでの動作は、前記タッチが終了する時の位置に前記移動させたアイテムを置く空間があれば、前記アイテムをそこに配置する動作と、置く空間がないと、前記アイテムを元の位置に戻す動作とを含み、
前記予め設定された動作命令は、前記いずれか一つのホーム画面ページの前記一つ以上のアイテムを前記他のホーム画面ページに自動的に移動するように設定された命令を含み、
前記認識した音声が予め設定された動作命令であるか否かを判断するステップは、前記いずれか一つのホーム画面ページの前記一つ以上のアイテムに前記タッチを適用して前記他のホーム画面ページまでドラッグする時、前記他のホーム画面ページに前記ドラッグしたアイテムを置くことができる空間があるか否かを判断するステップと、
前記ドラッグした前記アイテムを置くことができる空間がない場合、前記ドラッグしたアイテムにタッチを適用してドラッグした状態で、前記認識した音声が予め設定された動作命令であるか否かを判断するステップを含み、
前記認識した音声の前記予め設定された動作命令に従う前記予め設定された動作を遂行するステップは、前記認識した音声が前記予め設定された動作命令である場合、前記認識した音声の前記予め設定された動作命令を遂行するステップと、
前記ドラッグしたアイテムを置くことができる空間がある場合、前記ドラッグしたアイテムに適用した前記タッチを終了して前記ドラッグしたアイテムを前記タッチが終了したホーム画面ページの位置に配置するステップとを含み、
前記予め設定された動作命令は、前記ホーム画面の新たなページを生成するように設定された命令を含むことを特徴とする請求項８に記載の音声認識を用いて予め設定された動作モードを遂行する方法。
【請求項１０】
音声認識を用いて予め設定された動作モードを遂行する装置であって、
ユーザの操作入力を受信する少なくとも一つのボタン及び物理的又は仮想のキーパッドと、ユーザから入力された音声を受信するマイクとを含む入／出力モジュールと、
ユーザの操作入力を受信し、アプリケーションプログラムの実行画像、動作状態、及びメニュー状態を表示するタッチスクリーンと、
前記入／出力モジュールとタッチスクリーンを制御し、前記入／出力モジュールから入力された音声を認識する音声認識モジュールを含み、前記入／出力モジュール又は前記タッチスクリーンからのキー入力又はタッチ入力に従って予め設定された動作を遂行し、前記音声認識モジュールから前記ユーザにより入力され認識された音声を受信し、前記認識した音声を適用して前記予め設定された動作の遂行をアシストする制御部とを有することを特徴とする音声認識を用いて予め設定された動作モードを遂行する装置。
【請求項１１】
前記認識した音声を適用して前記予め設定された動作の遂行をアシストするために、前記制御部は、
前記入／出力モジュールから受信したテキストを前記タッチスクリーンの予め設定されたテキスト表示ウィンドウに表示し、前記入／出力モジュールから受信した音声を前記音声認識モジュールに適用して認識し、前記表示したテキストと前記認識した音声とを比較して、前記表示したテキストと前記認識した音声が同一でない場合、前記表示したテキストに誤りがあると判断し、前記表示したテキストに誤りがあれば、前記認識した音声をテキストに変換して前記表示したテキストの誤りを修正することを特徴とする請求項１０に記載の音声認識を用いて予め設定された動作モードを遂行する装置。
【請求項１２】
前記認識した音声を適用して前記予め設定された動作の遂行をアシストするために、前記制御部は、
前記入／出力モジュールから受信したテキストを前記タッチスクリーンの予め設定されたテキスト表示ウィンドウに表示し、前記入／出力モジュールから受信した音声を前記音声認識モジュールに適用して認識し、前記認識した音声が予め設定された動作命令であるか否か判断し、前記認識した音声が前記予め設定された動作命令である場合、前記予め設定された動作を遂行し、前記認識した音声が前記予め設定された動作命令でない場合、前記表示したテキストと前記認識した音声を比較して、前記表示したテキストと前記認識した音声が同一でない場合、前記表示したテキストに誤りがあると判断し、前記表示したテキストに誤りがあれば、前記認識した音声をテキストに変換して前記表示したテキストの誤りを修正することを特徴とする請求項１０に記載の音声認識を用いて予め設定された動作モードを遂行する装置。
【請求項１３】
前記テキストの誤りを修正するために、前記制御部は、
前記認識した音声をテキストに変換し、前記音声から変換したテキストを前記タッチスクリーンの予め設定されたボイスアシストウィンドウに表示し、前記テキスト表示ウィンドウの内容を前記ボイスアシストウィンドウの内容に変更するために選択し、
前記ユーザにより前記テキスト表示ウィンドウの内容を前記ボイスアシストウィンドウの内容に変更する選択がなされた場合、前記テキスト表示ウィンドウに前記表示したテキストを前記表示された音声から変換したテキストに変更することを特徴とする請求項１１又は１２に記載の装置。
【請求項１４】
前記予め設定された動作は、リストメニューモードでスクロールする動作であり、
前記認識した音声を適用して予め設定された動作命令により前記予め設定された動作の遂行をアシストするために、前記制御部は、
前記リストメニューモードの予め設定されたリスト画面で、前記タッチスクリーンからのスクロールするタッチ入力によって前記スクロールの動作の実行中に音声が入力される場合、前記音声認識モジュールを適用して音声を認識し、前記認識した音声が予め設定された動作命令である場合、前記スクロールの動作の実行の中に前記予め設定された動作命令に従い前記予め設定された動作を遂行することを特徴とする請求項１０に記載の音声認識を用いて予め設定された動作モードを遂行する装置。
【請求項１５】
前記予め設定された動作は、ホーム画面を編集する動作であり、
前記認識した音声を適用して予め設定された動作命令により前記予め設定された動作の遂行をアシストするために、前記制御部は、
前記タッチスクリーンの予め設定されたホーム画面のページの内のいずれか一つのホーム画面ページから他のホーム画面ページへ一つ以上のアイテムをタッチの適用によりドラッグするとき、前記アイテムをドラッグしたホーム画面ページに前記アイテムを置くことができる空間があるか否かを判断し、前記アイテムを置くことができる空間がない場合、前記アイテムがタッチによってドラッグされた状態で前記入力された音声を前記音声認識モジュールに適用して音声を認識し、前記認識した音声が予め設定された動作命令である場合、前記予め設定された動作命令に従って予め設定された動作を遂行し、前記アイテムに適用した前記タッチが終了する時に、前記アイテムを元の位置に戻し、前記アイテムを置くことができる空間がある場合、前記アイテムに適用した前記タッチが終了する時に、前記アイテムを前記タッチが終了したホーム画面ページの位置に配置させる動作を遂行することを特徴とする請求項１０に記載の音声認識を用いて予め設定された動作モードを遂行する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末機に使われる音声認識に関し、特に、入力された音声命令を認識して端末機の予め設定された動作モードを遂行する音声認識を用いた予め設定された動作モードを遂行する方法及びその装置に関する。
【背景技術】
【０００２】
近年、端末機は、機能が多様化され、例えば写真や動画像の撮影、音楽や動画像ファイルの再生、ゲーム、放送受信、アプリケーション実行などの複合的な機能を揃えたマルチメディア機器形態で具現されている。
またスマートフォン及びタブレットＰＣのような端末機は、タッチスクリーンを設けてユーザからのタッチ入力を介してテキストの入力とスクロール及びドラッグなどで端末機の多様な機能を実行させることができる。
【０００３】
端末機の多様な機能の実行において、ユーザは、簡便な操作を好み、ユーザの選好度を考慮して、端末機の具現において、最近では、ハードウェアまたはソフトウェアの面で多様な試みがなされている。
多様な試みのうち一つが、端末機に音声認識技術を適用して端末機の機能の実行をアシストすることで、音声認識を適用する技術の研究及び開発が活発になされている。
音声認識技術を適用した従来技術には、特許文献１と特許文献２がある。
【０００４】
特許文献１は、音声認識を介したメッセージの入力及び移動、削除、修正及び検索などのような音声信号を適用したメッセージ修正機能を開示している。また特許文献２は、音声認識を介してユーザの音声をテキストに変換して表示すること、ユーザが修正する部分のタッチを介して表示された命令リストのうちの一つをユーザの音声、タッチ又はキー入力の選択を介してテキスト修正動作を実行することを開示している。
【０００５】
従来技術においては、メイン動作が音声認識として、メイン動作である音声認識を介して動作を遂行することを前提とする技術である。音声認識技術の場合、一貫した研究開発を介して発展して適用されてはいるが、現在までのところ、明確に音声を認識できる、完壁な音声認識技術は、開発されなかった。
これによって、音声認識を適用して予め設定されたメイン動作を実行するとき、時々誤って認識された音声で動作が実行されなかったり、誤動作の発生のような誤りによって、ユーザに不便さをもたらすことがあった。
【０００６】
すなわち、メイン動作である音声認識で誤りが発生した場合、追加的な操作の必要により、多くの操作を遂行しなければならない場合があり、時によっては、多くの時間を必要とするなどの不便さが発生するという問題があった。
これによって、音声認識を適用したメイン動作を実行するときに、利便的に、広範囲に音声認識を適用するには、多少無理があった。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】韓国公開特許第２００９−００２０２６５号公報
【特許文献２】韓国公開特許第２０１０−００６４８７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は上記従来の端末機における問題点に鑑みてなされたものであって、本発明の目的は、音声認識を適用したメイン動作の実行時に、発生の可能性がある音声認識誤りによる不便さを減少させるための音声認識を用いて予め設定された動作モードを遂行する方法及びその装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するためになされた本発明による音声認識を用いて予め設定された動作モードを遂行する方法は、音声認識を用いて予め設定された動作モードを遂行する方法であって、予め設定された動作モードで、キー入力又はタッチ入力に従って前記予め設定された動作モードの予め設定された動作を遂行するステップと、前記予め設定された動作モードの前記予め設定された動作の遂行中に、入力された音声を認識し、前記認識した音声に従って前記予め設定された動作の遂行をアシストするステップとを有することを特徴とする。
【００１０】
上記目的を達成するためになされた本発明による音声認識を用いて予め設定された動作モードを遂行する装置は、音声認識を用いて予め設定された動作モードを遂行する装置であって、ユーザの操作入力を受信する少なくとも一つのボタン及び物理的又は仮想のキーパッドと、ユーザから入力された音声を受信するマイクとを含む入／出力モジュールと、ユーザの操作入力を受信し、アプリケーションプログラムの実行画像、動作状態、及びメニュー状態を表示するタッチスクリーンと、前記入／出力モジュールとタッチスクリーンを制御し、前記入／出力モジュールから入力された音声を認識する音声認識モジュールを含み、前記入／出力モジュール又は前記タッチスクリーンからのキー入力又はタッチ入力に従って予め設定された動作を遂行し、前記音声認識モジュールから前記ユーザにより入力され認識された音声を受信し、前記認識した音声を適用して前記予め設定された動作の遂行をアシストする制御部とを有することを特徴とする。
【発明の効果】
【００１１】
本発明に係る音声認識を用いた予め設定された動作モードを遂行する方法及びその装置によれば、音声認識を適用したメイン動作の実行時に、発生の可能性がある音声認識誤りによる不便さを減少させ、予め設定された動作の遂行をアシストすることができるという効果がある。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態によるモバイル装置の構成を示すブロック図である。
【図２】本発明の特徴に従う音声認識を用いて予め設定された動作モードでの予め設定された動作の遂行工程を説明するためのフローチャートである。
【図３】本発明の第１の実施形態による音声認識を用いてテキスト修正及び予め設定された動作をアシストする工程を説明するためのフローチャートである。
【図４】本発明の第１の実施形態による音声認識を用いてテキスト修正をアシストすることを説明するための例示図である。
【図５】本発明の第２の実施形態による音声認識を用いて予め設定された動作をアシストする例示図である。
【図６】本発明の第３の実施形態による音声認識を用いて予め設定された動作をアシストする例示図である。
【図７】本発明の第２の実施形態による音声認識を用いて予め設定された動作及びテキスト修正をアシストすることを説明するためのフローチャートである。
【図８】本発明の第３の実施形態による音声認識を用いてテキスト修正をアシストするフローチャートである。
【図９】本発明の第４の実施形態による音声認識を用いてリストメニューでの入力された動作をアシストすることを説明するためのフローチャートである。
【図１０】本発明の第４の実施形態による音声認識を用いてリストメニューでの入力動作をアシストする例示図である。
【図１１】本発明の第５の実施形態による音声認識を用いてリストメニューでの入力動作をアシストする例示図である。
【図１２】本発明の第６の実施形態による音声認識を用いてリストメニューでの入力動作をアシストする例示図である。
【図１３】本発明の第５の実施形態による音声認識を用いてホーム画面編集をアシストすることを説明するためのフローチャートである。
【図１４】本発明の第７の実施形態による音声認識を用いてホーム画面編集をアシストする例示図である。
【発明を実施するための形態】
【００１３】
次に、本発明に係る音声認識を用いた予め設定された動作モードを遂行する方法及びその装置を実施するための形態の具体例を図面を参照しながら説明する。
【００１４】
以下の説明において、具体的な構成及び構成要素のような特定の詳細は、ただ本発明の実施形態の全般的な理解を助けるために提供されるだけである。したがって、本発明の範囲及び趣旨を逸脱することなく、以下に説明される本発明の様々な変形及び変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。なお、公知の機能または構成に関する具体的な説明は、明瞭性と簡潔性のために省略する。
【００１５】
図１は、本発明の一実施形態によるモバイル装置の構成を示すブロック図である。
図１を参照すると、（モバイル）装置１００は、表示部（タッチスクリーン）１９０及び表示コントローラ（タッチスクリーンコントローラ）１９５を含む。
また、（モバイル）装置１００は、制御部１１０、移動通信モジュール１２０、サブ通信モジュール１３０、マルチメディアモジュール１４０、カメラモジュール１５０、ＧＰＳモジュール１５５、入／出力モジュール１６０、センサーモジュール１７０、記憶部（ｓｔｏｒａｇｅ  ｕｎｉｔ  ）１７５、及び電源供給部１８０を含む。
【００１６】
サブ通信モジュール１３０は、無線ＬＡＮモジュール１３１及び近距離通信モジュール１３２のうち少なくとも一つを含み、マルチメディアモジュール１４０は、放送通信モジュール１４１、オーディオ再生モジュール１４２及び動画像再生モジュール１４３のうち少なくとも一つを含む。
カメラモジュール１５０は、第１のカメラ１５１及び第２のカメラ１５２のうち少なくとも一つを含む。
以下では、表示部１９０及び表示コントローラ１９５が各々タッチスクリーン及びタッチスクリーンコントローラである場合を例として説明する。
【００１７】
制御部１１０は、移動通信モジュール１２０、サブ通信モジュール１３０、マルチメディアモジュール１４０、カメラモジュール１５０、ＧＰＳモジュール１５５、入／出力モジュール１６０、センサーモジュール１７０、記憶部１７５、電源供給部１８０、タッチスクリーン１９０、及びタッチスクリーンコントローラ１９５を制御する。
【００１８】
さらに制御部１１０は、入／出力モジュール１６０のマイク１６２から入力された音声を認識する音声認識モジュール１１１を含む。
また制御部１１０は、入／出力モジュール１６０又はタッチスクリーン１９０からユーザの操作を受信して予め設定された動作を遂行し、音声認識モジュール１１１からユーザの音声を受信して認識した音声を適用して予め設定された動作の遂行をアシストする。
【００１９】
移動通信モジュール１２０は、制御部１１０の制御によって少なくとも一つ又は複数のアンテナ（図示せず）を利用して移動通信装置１００が外部装置と接続する。
移動通信モジュール１２０は、（モバイル）装置１００に入力される電話番号を有する携帯電話（図示せず）、スマートフォン（図示せず）、タブレットＰＣ又は他の装置（図示せず）と音声通話、画像通話、文字メッセージ（ＳＭＳ）又はマルチメディアメッセージ（ＭＭＳ）のための無線信号を送受信する。
【００２０】
サブ通信モジュール１３０は、無線ＬＡＮモジュール１３１と近距離通信モジュール１３２のうち少なくとも一つを含み得る。
無線ＬＡＮモジュール１３１は、制御部１１０の制御によって無線アクセスポイント（Ａｃｃｅｓｓ  Ｐｏｉｎｔ；ＡＰ）（図示せず）が設置された場所でインターネットに接続することができる。無線ＬＡＮモジュール１３１は、米国電気電子学会（ＩＥＥＥ）の無線ＬＡＮ規格（ＩＥＥＥ８０２．１１ｘ）をサポートする。
近距離通信モジュール１３２は、制御部１１０の制御によって装置１００と画像形成装置（図示せず）との間に無線で近距離通信を遂行することができる。
【００２１】
（モバイル）装置１００は、移動通信モジュール１２０、無線ＬＡＮモジュール１３１、及び近距離通信モジュール１３２のうち少なくとも一つを含む。
例えば、（モバイル）装置１００は、性能によって移動通信モジュール１２０、無線ＬＡＮモジュール１３１、及び近距離通信モジュール１３２の組み合わせを含む。
【００２２】
マルチメディアモジュール１４０は、放送通信モジュール１４１を除いて、オーディオ再生モジュール１４２と動画像再生モジュール１４３を含む。
またマルチメディアモジュール１４０のオーディオ再生モジュール１４２又は動画像再生モジュール１４３は、制御部１１０に含めることができる。
【００２３】
カメラモジュール１５０は、制御部１１０の制御によって静止画像又は動画像を撮影する第１のカメラ１５１及び第２のカメラ１５２のうち少なくとも一つを含む。
ＧＰＳモジュール１５５は、地球軌道上にある複数のＧＰＳ衛星（図示せず）から電波を受信し、ＧＰＳ衛星（図示せず）から（モバイル）装置１００までの電波到達時間（Ｔｉｍｅ  ｏｆ  Ａｒｒｉｖａｌ）を利用して（モバイル）装置１００の位置を算出することができる。
【００２４】
入／出力モジュール１６０は、複数のボタン１６１、マイク１６２、スピーカー１６３、振動モーター１６４、コネクタ１６５、キーパッド１６６及びイヤホン接続ジャック１６７のうち少なくとも一つを含む。
ボタン１６１は、（モバイル）装置１００のハウジングの前面、側面又は後面に形成することができ、電源／ロックボタン（図示せず）、ボリュームボタン（図示せず）、メニューボタン、ホームボタン、戻りボタン（ｂａｃｋ  ｂｕｔｔｏｎ）及び検索ボタンのうち少なくとも一つを含むことができる。
【００２５】
マイク１６２は、制御部１１０の制御によって音声（ｖｏｉｃｅ）又はサウンドを受けて電気的な信号を生成する。
スピーカー１６３は、制御部１１０の制御によって移動通信モジュール１２０、サブ通信モジュール１３０、マルチメディアモジュール１４０又はカメラモジュール１５０の多様な信号に対応するサウンドを（モバイル）装置１００外部に出力する。
スピーカー１６３は、（モバイル）装置１００が遂行する機能に対応するサウンドを出力することができる。スピーカー１６３は、（モバイル）装置１００のハウジングの適切な位置に一つ又は複数に形成することができる。
【００２６】
振動モーター１６４は、制御部１１０の制御によって電気的信号を機械的振動に変換する。例えば、振動モードにある（モバイル）装置１００は、他の装置（図示せず）から音声通話が受信される場合、振動モーター１６４が動作する。（モバイル）装置１００のハウジング内に一つ又は複数で形成され得る。振動モーター１６４は、タッチスクリーン１９０上でタッチ入力するユーザのタッチ動作及びタッチスクリーン１９０上でタッチ入力の連続的な動きに応答して動作することができる。
【００２７】
コネクタ１６５は、（モバイル）装置１００と外部装置（図示せず）又は電源ソース（図示せず）を接続するためのインターフェースとして利用される。
（モバイル）装置１００は、制御部１１０の制御によってコネクタ１６５に接続された有線ケーブルを介して（モバイル）装置１００の記憶部１７５に保存されたデータを外部装置（図示せず）に伝送するか、又は外部装置（図示せず）からデータを受信することができる。また（モバイル）装置１００は、コネクタ１６５に接続された有線ケーブルを介して電源ソース（図示せず）から電源を受信するか、電源ソースを利用してバッテリー（図示せず）を充電することができる。
【００２８】
キーパッド１６６は、（モバイル）装置１００の制御のためにユーザからキー入力を受信する。
キーパッド１６６は、（モバイル）装置１００に形成される物理的なキーパッド（図示せず）又はタッチスクリーン１９０に表示される仮想のキーパッド（図示せず）を含む。
（モバイル）装置１００に形成される物理的なキーパッドは、（モバイル）装置１００の性能又は構造によって除外され得る。
【００２９】
イヤホン接続ジャック（Ｅａｒｐｈｏｎｅ  Ｃｏｎｎｅｃｔｉｎｇ  Ｊａｃｋ）１６７には、イヤホン（図示せず）が挿入されて（モバイル）装置１００に接続される。
センサーモジュール１７０は、（モバイル）装置１００の状態を検出する少なくとも一つのセンサーを含み、検出に対応する信号を生成して制御部１１０に伝送する。
【００３０】
記憶部１７５は、制御部１１０の制御によって移動通信モジュール１２０、サブ通信モジュール１３０、マルチメディアモジュール１４０、カメラモジュール１５０、ＧＰＳモジュール１５５、入／出力モジュール１６０、センサーモジュール１７０、タッチスクリーン１９０の動作に対応するように入／出力される信号又はデータを保存する。
記憶部１７５は、（モバイル）装置１００又は制御部１１０の制御のための制御プログラム及びアプリケーションプログラムを保存することができる。
“記憶部”という用語は、記憶部１７５、ロム（ＲＯＭ）、ラム（ＲＡＭ）又は（モバイル）装置１００に装着されるメモリカード（例、ＳＤカード（登録商標）、メモリスティック（登録商標））を含む。また、記憶部は、非揮発性メモリ、揮発性メモリ、ハードディスクドライブ（ＨＤＤ）又はソリッドステートドライブ（ＳＳＤ）を含む。
【００３１】
電源供給部１８０は、制御部１１０の制御によって（モバイル）装置１００のハウジングに配置される一つ又は複数のバッテリー（図示せず）に電源を供給する。
一つ又は複数のバッテリー（図示せず）は、（モバイル）装置１００に電源を供給する。また電源供給部１８０は、コネクタ１６５と接続された有線ケーブルを介して外部の電源ソース（図示せず）から入力される電源を（モバイル）装置１００に供給する。また電源供給部１８０は、無線充電技術を介して外部の電源ソースから無線で入力される電源を（モバイル）装置１００に供給することができる。
【００３２】
タッチスクリーン（表示部）１９０は、ユーザの操作を受信して、アプリケーションプログラムの実行画像と動作状態及びメニュー状態などを表示する。
タッチスクリーン１９０は、ユーザに多様なサービス（例えば、通話、データ伝送、放送、写真撮影）に対応するユーザインターフェースを提供する。
【００３３】
タッチスクリーン１９０は、ユーザインターフェースに入力される少なくとも一つのタッチに対応するアナログ信号をタッチスクリーンコントローラ１９５に伝送する。
タッチスクリーン１９０は、ユーザの身体（例、親指を含む指）又はタッチ可能な入力手段（例、スタイラスペン）を介して少なくとも一つのタッチを受信する。またタッチスクリーン１９０は、少なくとも一つのタッチ入力のうちで、一つのタッチ入力の連続的な動きを受信する。タッチスクリーン１９０は、入力されるタッチの連続的な動きに対応するアナログ信号をタッチスクリーンコントローラ１９５に伝送する。
【００３４】
タッチスクリーン１９０は、例えば、抵抗膜（ｒｅｓｉｓｔｉｖｅ）方式、静電容量（ｃａｐａｃｉｔｉｖｅ）方式、赤外線（ｉｎｆｒａｒｅｄ）方式または超音波（ａｃｏｕｓｔｉｃ  ｗａｖｅ）方式で具現することができる。
一方、タッチスクリーンコントローラ１９５は、タッチスクリーン１９０から受信したアナログ信号をデジタル信号（例、ＸとＹ座標）に変換して制御部１１０に伝送する。
制御部１１０は、タッチスクリーンコントローラ１９５から受信したデジタル信号を利用してタッチスクリーンを制御する。また、タッチスクリーンコントローラ１９５は、制御部１１０に含ませることもできる。
【００３５】
また、タッチスクリーン１９０は、ユーザの身体及びタッチ可能な入力手段による入力を同時に受信することができるように、ユーザの身体及びタッチ可能な入力手段のタッチや近接を各々感知することができる少なくとも二つのタッチスクリーンパネルを含むことができる。
上記少なくとも二つのタッチスクリーンパネルは、相異なる出力値をタッチスクリーンコントローラ１９５に提供し、タッチスクリーンコントローラ１９５は、上記少なくとも二つのタッチスクリーンパネルから入力される値を相異なるように認識して、タッチスクリーンからの入力がユーザの身体による入力であるか、タッチ可能な入力手段による入力であるかを区分することができる。
【００３６】
本発明の音声認識を用いて予め設定された動作モードの遂行方法は、後述のように二つの工程に区分することができる。
一番目は、メイン動作を遂行する工程として、予め設定された動作モードで、キー入力又はタッチ入力によって動作モードの予め設定された動作を遂行する工程である。
二番目は、メイン動作をアシストする工程として、一番目の工程の動作モードの予め設定された動作の遂行中に、入力された音声を認識して、認識した音声によって最初のプロセスの動作の遂行をアシストする工程である。
【００３７】
図２は、本発明の特徴に従う音声認識を用いて予め設定された動作モードでの予め設定された動作の遂行工程を説明するためのフローチャートである。
図２を参照すると、まず、ステップＳ２００では、入／出力モジュール１６０のボタン１６１又はキーパッド１６６、マイク１６２又はタッチスクリーン１９０などからのユーザの操作を介して、（モバイル）装置１００の予め設定された各種動作モードのうち、本発明の音声認識を用いた予め設定された動作モードの遂行を実行する動作モードを選択して実行する。
【００３８】
（モバイル）装置１００の予め設定された動作モードの実行後、ステップＳ２０２で、予め設定された動作モードの予め設定された動作を実行するためのユーザのキー入力又はタッチ入力を遂行する。
ステップＳ２０４では、ステップＳ２０２のタッチ入力に従うメイン動作を遂行する。
ステップＳ２０６では、メイン動作のキー入力又はタッチ入力によって予め設定された動作モードの予め設定された動作の遂行中に、マイク１６２を利用してユーザから音声を受信する。
【００３９】
次に、ステップＳ２０８で、音声認識モジュール１１１の音声認識を適用して受信した音声を認識し、認識した音声を適用してメイン動作の遂行をアシストする動作を遂行する。
この時、予め設定された動作モードは、テキスト作成モード、リストメニューの実行モード、ホーム画面の実行モードなどのようにユーザ操作で実行することができる多様な動作モードが含まれ得る。
またメイン動作は、テキスト入力と、タッチ入力と、タッチ入力を適用したスクロール及びドラッグなどを含むことができる。
【００４０】
“タッチ”という用語は、タッチスクリーン１９０が含まれた端末機でユーザがタッチスクリーンの特定の領域をユーザの身体やタッチ可能な入力手段で接触した後、特定の領域から接触したユーザの身体やタッチ可能な入力手段を離れる動作と、またユーザがタッチスクリーンの特定の領域をユーザの身体やタッチ可能な入力手段で接触し、接触された特定の領域からユーザの身体やタッチ可能な入力手段を移動方向に接触しながら離れるフリック（ｆｌｉｃｋ）動作を含むことを意味する。
【００４１】
本発明の音声認識を用いた予め設定された動作モードの遂行方法を、実施形態を用いて以下で詳細に説明する。
最初の実施形態は、動作モードのうち一つであるテキスト作成モードでの本発明の音声認識を用いた予め設定された動作の遂行方法である。
【００４２】
図３は、本発明の第１の実施形態による音声認識を用いたテキスト修正及び予め設定された動作をアシストする工程を説明するためのフローチャートであり、テキスト作成モードでテキストの入力と同時に音声を入力し、入力された音声を利用して入力されたテキストの修正をアシストする動作と、入力された音声を利用して予め設定された動作の遂行を説明する。
【００４３】
図３を参照すると、ステップＳ３００からステップＳ３０６までは、図２の最初の工程の予め設定された動作モードで、キー入力又はタッチ入力によって動作モードの予め設定された動作を遂行するステップとして、テキスト作成モードを実行して入力されたテキストを予め設定されたテキスト表示ウィンドウに表示するメイン動作を説明する。
【００４４】
まず、ステップＳ３００では、ユーザの操作を介してテキスト作成モードを実行し、ステップＳ３０２で、音声認識モジュール１１１の音声認識機能を活性化する。
この時、テキスト作成モードの実行と同時に音声認識モジュール１１１の音声認識機能を自動で活性化させることができ、またユーザの選択により音声認識機能を活性化させるように設定することもできる。
次に、ステップＳ３０４では、キー入力又はタッチ入力によって物理的又は仮想のキーパッド１６６を介してテキストが入力されたか否かを判断し、テキストが入力された場合、ステップＳ３０６で予め設定されたテキスト表示ウィンドウ（ｉ）に入力されたテキストを表示する。
【００４５】
以後、残りステップは、図２の二番目の工程に相当し、図２の最初の工程の動作モードの予め設定された動作の遂行中に、入力された音声を認識し、認識した音声によって最初の工程の動作の遂行をアシストするステップとして、テキストの修正をアシストする動作と予め設定された動作命令を遂行する動作を説明する。
【００４６】
ステップＳ３０８で、マイク１６２から音声が入力されたか否かを判断する。
この時の音声の入力は、テキスト作成モードでテキストが入力されていない時、テキストを入力している状態、テキストが入力されて表示されている状態、の全部可能である。
以下では、テキスト作成モードでテキストが入力されていない時、テキストを入力している状態、テキストが入力されて表示されている状態の全部をテキストの入力中と記載して説明する。
テキスト作成モードでテキストの入力中、ユーザから音声が入力された場合、ステップＳ３１０では、アクティブされた音声認識モジュール１１１が入力された音声を認識する。
【００４７】
ステップＳ３１１からステップＳ３１８までは、テキスト修正をアシストする動作を説明する。
すなわち、表示したテキストと認識した音声を比較して、表示したテキストと認識した音声が同一でない場合、表示したテキストに誤りがあると判断し、表示したテキストに誤りがあれば、認識した音声をテキストに変換して表示したテキストの修正をアシストする。
【００４８】
ステップＳ３１１は、表示したテキストと認識した音声を比較して、入力されたテキストの誤り可能性を分析し、ステップＳ３１２では、入力されたテキストに誤りがあるか否かを判断する。すなわち、表示したテキストと認識した音声を比較して表示したテキストと認識した音声が同一でない場合、表示したテキストに誤りがあると判断し、表示したテキストと認識した音声が同一である場合、表示したテキストに誤りがないと判断する。
【００４９】
ステップＳ３１２で入力されたテキストの誤り有無判断の結果、表示したテキストに誤りがあれば、ステップＳ３１４では、認識した音声をテキストに変換し、ステップＳ３１５で、予め設定されたボイスアシストウィンドウ（ｊ）に音声変換したテキストを表示する。
この時、ボイスアシストウィンドウ（ｊ）は、テキスト表示ウィンドウ（ｉ）とは、区分することができるように設定することで、テキスト表示ウィンドウ（ｉ）の上、下、左、右の周辺に配置され表示することができる。
【００５０】
次に、ステップＳ３１７で、ユーザがテキスト表示ウィンドウ（ｉ）の内容とボイスアシストウィンドウ（ｊ）の内容を確認して、テキスト表示ウィンドウ（ｉ）の内容をボイスアシストウィンドウ（ｊ）の内容に変更するか否かを判断する。
ユーザがテキスト表示ウィンドウ（ｉ）の内容をボイスアシストウィンドウ（ｊ）の内容に変更することを所望する場合、ステップＳ３１８で、ユーザ操作を介してテキスト表示ウィンドウ（ｉ）の内容をボイスアシストウィンドウ（ｊ）の内容に変更するように予め設定された機能を適用してテキスト表示ウィンドウ（ｉ）の表示したテキストをボイスアシストウィンドウ（ｊ）の表示した音声変換したテキストに変更する。
【００５１】
この時、テキスト表示ウィンドウ（ｉ）の内容をボイスアシストウィンドウ（ｊ）の内容に変更する予め設定された機能は、テキスト作成モードからアイテムへ設定することができ、ポップアップウィンドウでタッチスクリーン１９０にポップアップされ設定できて、予め設定された音声命令の入力で設定することができる。
【００５２】
ステップＳ３１９で、テキスト作成モードを終了するか否かを選択し、ユーザがテキスト作成モードの終了を所望しない場合には、テキスト作成モードを終了せず、上述したステップＳ３０４からの動作を再度遂行することができ、ユーザがテキスト作成モードの終了を選択すれば、テキスト作成モードを終了する。
【００５３】
ステップＳ３２０からステップＳ３２４までは、予め設定された動作命令の遂行を説明する。
すなわち、ステップＳ３１２での入力されたテキストの誤り有無判断結果、表示したテキストに誤りがない場合、ステップＳ３２０からステップＳ３２４までは、認識した音声が予め設定された動作命令である場合、認識した音声を適用して予め設定された動作命令を遂行することを説明したものである。
【００５４】
ステップＳ３２０の遂行以前にステップＳ３１１で、表示したテキストと認識した音声を比較して、入力されたテキストの誤り可能性を分析し、ステップＳ３１２で、入力されたテキストに誤りがあるかを判断し、表示したテキストに誤りがない場合、認識した音声を適用して予め設定された動作を遂行する。
【００５５】
表示したテキストに誤りがないと、ステップＳ３２０では、認識した音声が予め設定された動作命令であるかを判断する。
認識した音声が予め設定された動作命令である場合、ステップＳ３２２で、認識した音声を適用して予め設定された動作命令を遂行し、予め設定された動作命令の遂行が完了すると、ステップＳ３２４では、動作の遂行の結果を出力する。
【００５６】
この時、動作命令の遂行がテキスト入力及び入力されたテキストの表示を妨害しないようにする。すなわち、テキストを入力しながら同時に音声入力及び入力された音声を認識する動作を遂行することができ、入力されて認識された音声の予め設定された動作命令が遂行される間にもテキストが入力されると、表示することができる。
また音声認識の適用において、認識した音声のうち、表示されるテキストと予め設定された動作命令と類似性が全くない意味ない音声は、適用しない。
【００５７】
ステップＳ３２４の後、ステップＳ３１９では、テキスト作成モードを終了するか否かを選択し、ユーザがテキスト作成モードの終了を所望しない場合には、テキスト作成モードを終了せずに、上述したステップＳ３０４からの動作をさらに遂行し、ユーザがテキスト作成モードの終了を選択すると、テキスト作成モードを終了する。
【００５８】
図４は、本発明の第１の実施形態による音声認識を用いてテキスト修正をアシストすることを説明するための例示図である。
図４を参照して音声認識を用いてテキスト修正をアシストする動作を詳細に説明する。
【００５９】
ユーザが“Ｄａｍｉａｎ’ｓ  ｇｏｔ  ａ  ｎｅｗ  ｐａｉｒ  ｏｆ  Ｎｉｋｅ’ｓ”というテキストの入力を所望するという仮定下で、まずユーザの操作でテキスト作成モードを実行する。
図４の（ａ）は、テキスト表示ウィンドウ（ｉ）とボイスアシストウィンドウ（ｊ）を含む端末機のイメージである。
この時、テキスト表示ウィンドウ（ｉ）は、入力されるテキストを表示し、動作の遂行の結果を表示する。
またボイスアシストウィンドウ（ｊ）は、入力された音声をテキストに変換して表示し、動作の遂行の状態を表示する。
【００６０】
テキスト作成モードの実行後、端末機に物理的又は仮想のキーパッド１６６を介してテキストを入力する。これと同時に、又はテキスト入力以後に、マイク１６２を介してテキスト入力と同一の内容の音声を入力する。
図４の（ｂ）は、入力されたテキストをテキスト表示ウィンドウ（ｉ）に表示したものであり、音声認識を適用して入力された音声を認識してテキストに変換した後にテキストをボイスアシストウィンドウ（ｊ）に表示したイメージである。
ユーザから音声が入力される間に、入力されるテキストがハイライトされるように予め設定することができ、またユーザの音声と異なるように入力されたテキスト部分をアンダーライン又はハイライトにより区分されるように予め設定することができる。
【００６１】
次に、ユーザがテキスト表示ウィンドウ（ｉ）の内容をボイスアシストウィンドウ（ｊ）の内容に変更することを所望する場合、ユーザの選択で予め設定された機能を適用し、テキスト表示ウィンドウ（ｉ）に表示したテキストをボイスアシストウィンドウ（ｊ）に表示した音声変換したテキストに変更できる。
この時の予め設定された機能は、テキスト表示ウィンドウ（ｉ）の内容をボイスアシストウィンドウ（ｊ）の内容に変更適用するように選択できる予め設定されたアイテムであり、ポップアップウィンドウとしてタッチスクリーン１９０にポップアップされ表示されるように設定することができ、また予め設定された音声命令であり得る。
図４の（ｃ）は、テキスト表示ウィンドウ（ｉ）の内容をボイスアシストウィンドウ（ｊ）の内容に変更した結果イメージである。
【００６２】
図５は、本発明の第２の実施形態による音声認識を用いて予め設定された動作をアシストする例示図である。
図５を参照して音声認識を用いてテキスト入力中に、予め設定された動作の遂行をアシストする動作を詳細に説明する。
【００６３】
ユーザがテキスト入力をしながら、ユーザ自身の現在位置を確認することを所望するという仮定下で、まずユーザ操作でテキスト作成モードを選択して実行する。
図５の（ａ）は、テキスト表示ウィンドウ（ｉ）とボイスアシストウィンドウ（ｊ）を含む端末機のイメージである。
テキスト作成モードの実行後、端末機に物理的又は仮想のキーパッド１６６を介してテキストを入力する。
これと同時に、マイク１６２を介して予め設定された動作命令である“Ａｔｔａｃｈ  ｍｙ  ｃｕｒｒｅｎｔ  ｌｏｃａｔｉｏｎ”という音声を入力する。
【００６４】
図５の（ｂ）は、入力された“Ｄａｍｉａｎ’ｓ  ｇｏｔ  ａ  ｎｅｗ  ｐａｉｒ  ｏｆ  Ｎｉｋｅ’ｓ”というテキストをテキスト表示ウィンドウ（ｉ）に表示したものであり、入力された音声を音声認識を適用して認識して動作命令を遂行する時の動作の遂行状態をテキストで表示した“Ａｔｔａｃｈｉｎｇ  ｙｏｕｒ  ｃｕｒｒｅｎｔ  ｌｏｃａｔｉｏｎ．”をボイスアシストウィンドウ（ｊ）に表示したイメージである。
【００６５】
この時、ユーザは、継続してテキスト入力をすることができ、音声入力を介した予め設定された動作命令の実行準備が完了した時、システムの動作の結果として端末機に保存された位置関連アプリケーションやナビゲーションアプリケーションなどの実行によるユーザの現在位置表示を経て、ユーザの現在位置を出力する。
【００６６】
図５の（ｃ）は、テキスト表示ウィンドウ（ｉ）の入力された表示されたテキストと予め設定された動作命令の実行が完了して出力された結果であるユーザの現在位置を表した地図を実行して表示した結果イメージである。
【００６７】
図６は、本発明の第３の実施形態による音声認識を用いて予め設定された動作をアシストする例示図である。
図６を参照して、音声認識を用いてテキスト入力中に予め設定された動作の遂行をアシストする動作を詳細に説明する。
【００６８】
図６の（ａ）は、端末機が図５のステップを既に遂行したという仮定下で、図５の（ｃ）のテキスト表示ウィンドウ（ｉ）に入力され表示されたテキストと予め設定された動作命令の実行が完了して出力されたユーザの現在位置を表した地図を実行して表示した結果のイメージである。
まず、図６の（ａ）の状態で予め設定された動作命令である“Ｍｏｖｅ  ａ  ｃｕｒｓｏｒ  ｂｅｈｉｎｄ  ‘ｓｔｏｒｅ’”という音声を入力する。
【００６９】
次に、音声認識を利用して入力された音声を認識して、“Ｍｏｖｅ  ａ  ｃｕｒｓｏｒ  ｂｅｈｉｎｄ  ‘ｓｔｏｒｅ’”という認識された音声に従う動作命令を遂行する。
図６の（ｂ）は、“Ｍｏｖｅ  ａ  ｃｕｒｓｏｒ  ｂｅｈｉｎｄ  ‘ｓｔｏｒｅ’”という認識された動作命令によってカーソルの位置を移動したイメージである。
【００７０】
次に、予め設定された動作命令である“ｒｉｇｈｔ  ｎｏｗ”という音声を入力し、音声認識を利用して入力された音声を認識し、認識された音声によって動作命令を遂行する。
図６の（ｃ）は、カーソルが位置した部分に“ｒｉｇｈｔ  ｎｏｗ”という認識された動作命令によってテキストが入力された結果のイメージである。
【００７１】
上記以外にも、テキスト作成モードでの予め設定された動作命令は、音楽又は動画像の再生、インターネット検索、特定のアプリケーション実行などのように、端末機に予め設定された機能が入力された音声により動作されるように設定することができる。
また動作の遂行結果は、テキストウィンドウに直接表示することができ、又はポップアップウィンドウとしてポップアップされるように設定することもできる。
【００７２】
図７は、本発明の第２の実施形態による音声認識を用いて予め設定された動作及びテキスト修正をアシストすることを説明するためのフローチャートである。
テキスト作成モードでテキストの入力と同時に音声を入力し、入力された音声を利用して予め設定された動作を遂行すること、及び入力された音声を利用して入力されたテキストの修正をアシストする動作を説明する。
【００７３】
図７を参照すると、ステップＳ４００からステップＳ４０６までは、図２の最初の工程の予め設定された動作モードで、キー入力又はタッチ入力によって動作モードの予め設定された動作を遂行するステップとして、テキスト作成モードを実行して入力されたテキストを予め設定されたテキスト表示ウィンドウに表示する動作を説明する。
【００７４】
まず、ステップＳ４００で、ユーザ操作入力を介してテキスト作成モードを実行し、ステップＳ４０２は、音声認識モジュール１１１の音声認識機能を活性化する。
この時、テキスト作成モードの実行と同時に音声認識モジュール１１１の音声認識機能を自動で活性化させることができ、またユーザの選択により音声認識機能を活性化させるように設定することもできる。
次に、ステップＳ４０４で、キー入力又はタッチ入力によって物理的又は仮想のキーパッド１６６を介してテキストが入力されたか否かを判断し、テキストが入力された場合、ステップＳ４０６で予め設定されたテキスト表示ウィンドウ（ｉ）に入力されたテキストを表示する。
【００７５】
以後の、残りのステップは、図２の二番目の工程に相当し、図２の最初の工程の動作モードの予め設定された動作の遂行中に、入力された音声を認識し、認識した音声によって最初の工程の動作の遂行をアシストする動作を説明する。
【００７６】
ステップＳ４０８で、マイク１６２から音声が入力されたか否かを判断する。
この時の音声の入力は、テキスト作成モードでテキストが入力されていない時、テキストが入力している状態、テキストが入力されて表示されている状態、の全部が可能である。
以下では、テキスト作成モードでテキストが入力されていない時、テキストが入力している状態、テキストが入力されて表示されている状態のモードをテキストの入力中と記載して説明する。
テキスト作成モードでテキストの入力中、ユーザから音声が入力された場合、ステップＳ４１０では、活性化された音声認識モジュール１１１が入力された音声を認識する。
【００７７】
ステップＳ４１２からステップＳ４１６までは、予め設定された動作命令の遂行を説明したもので、認識した音声が予め設定された動作命令である場合、認識した音声を適用して予め設定された動作命令を遂行することを説明する。
【００７８】
ステップＳ４１２で、認識した音声が予め設定された動作命令であるか否かを判断する。
認識した音声が予め設定された動作命令である場合、ステップＳ４１４で、認識した音声を適用して予め設定された動作命令を遂行し、予め設定された動作命令の遂行が完了すると、ステップＳ４１６では、動作の遂行の結果を出力する。
この時、動作命令の遂行がテキスト入力及び入力されたテキストの表示を妨害しないようにする。すなわち、テキストを入力しながら同時に音声入力及び入力された音声を認識する動作を遂行することができ、入力されて認識された音声の予め設定された動作命令が遂行される間にも、テキストが入力されると、表示することができる。
【００７９】
ステップＳ４１８では、テキスト作成モードを終了するか否かを選択し、ユーザがテキスト作成モードの終了を所望しない場合には、テキスト作成モードを終了せずに、上述したステップＳ４０４からの動作を再度遂行し、ユーザがテキスト作成モードの終了を選択すると、テキスト作成モードを終了する。
【００８０】
ステップＳ４２０からステップＳ４２９までは、テキスト修正をアシストする動作を説明する。
すなわち、ステップＳ４１２で認識した音声が予め設定された動作命令であるか否かを判断し、認識した音声が予め設定された動作命令でない場合、表示したテキストと認識した音声を比較し、表示したテキストと認識した音声が同一でない場合、表示したテキストに誤りがあると判断し、認識した音声をテキストに変換して表示したテキストの修正をアシストする。
【００８１】
ステップＳ４２０の遂行以前に、ステップＳ４１２で認識した音声が予め設定された動作命令であるか否かを判断し、認識した音声が予め設定された動作命令でない場合、ステップＳ４２０では、表示したテキストと認識した音声を比較して、入力されたテキストの誤り可能性を分析する。
【００８２】
次に、ステップＳ４２２で、入力されたテキストに誤りがあるか否かを判断する。
すなわち、表示したテキストと認識した音声を比較して表示したテキストと認識した音声が同一でない場合、表示したテキストに誤りがあると判断する。
表示したテキストに誤りがあれば、ステップＳ４２４で、認識した音声をテキストに変換し、ステップＳ４２６で、予め設定されたボイスアシストウィンドウ（ｊ）に音声変換したテキストを表示する。
この時、ボイスアシストウィンドウ（ｊ）は、テキスト表示ウィンドウ（ｉ）とは区分することができるように設定することで、テキスト表示ウィンドウ（ｉ）の上、下、左、右の周辺に位置して表示することができる。
【００８３】
次に、ステップＳ４２８では、ユーザがテキスト表示ウィンドウ（ｉ）の内容とボイスアシストウィンドウ（ｊ）の内容を確認して、テキスト表示ウィンドウ（ｉ）の内容をボイスアシストウィンドウ（ｊ）の内容に変更するか否かを判断する。
テキスト表示ウィンドウ（ｉ）の内容をボイスアシストウィンドウ（ｊ）の内容に変更することを所望する場合、ステップＳ４２９で、ユーザ操作を介してテキスト表示ウィンドウ（ｉ）の内容をボイスアシストウィンドウ（ｊ）の内容に変更する予め設定された機能を適用してテキスト表示ウィンドウ（ｉ）の表示したテキストをボイスアシストウィンドウ（ｊ）の表示した音声変換したテキストに変更する。
【００８４】
この時、テキスト表示ウィンドウ（ｉ）の内容をボイスアシストウィンドウ（ｊ）の内容に変更する予め設定された機能は、テキスト作成モードでアイテムとして設定することができ、ポップアップウィンドウとしてタッチスクリーン１９０にポップアップされるよう設定することができ、予め設定された音声命令の入力で設定することができる。
また音声認識の適用において、認識した音声のうち、予め設定された動作命令と表示されるテキストと類似性が全くない意味ない音声は、適用しない。
【００８５】
ステップＳ４２９の後、ステップＳ４１８では、テキスト作成モードを終了するか否かを選択し、ユーザがテキスト作成モードの終了を所望しない場合には、上述したステップＳ４０４からの動作を再遂行し、テキスト作成モードの終了を選択する場合、テキスト作成モードを終了する。
【００８６】
図８は、本発明の第３の実施形態による音声認識を用いてテキスト修正をアシストすることを説明するためのフローチャートである。
テキスト作成モードでテキストの入力と同時に音声を入力し、入力された音声を利用して入力されたテキストの誤り修正をアシストする動作を遂行することを説明する。
図８は、図３でのテキスト作成モードで入力された音声を利用して入力されたテキストの修正をアシストする動作と同一である。これによって音声認識を用いたテキスト修正をアシストする動作の説明は、簡略にする。
【００８７】
まず、ステップＳ５００で、ユーザ操作入力を介してテキスト作成モードを実行し、ステップＳ５０２で、音声認識モジュール１１１の音声認識機能を活性化する。
以後、ステップ５０４では、キー入力またはタッチ入力によって物理的または仮想のキーパッド１６６を介してテキストが入力されたかを判断し、テキストが入力された場合、ステップ５０６で予め設定されたテキスト表示ウィンドウ（ｉ）に入力されたテキストを表示する。
次に、ステップ５０８で、マイク１６２から音声が入力されたか否かを判断する。
【００８８】
テキスト作成モードでテキストの入力中、音声が入力された場合、ステップＳ５１０で、活性化された音声認識モジュール１１１が入力された音声を認識する。
次に、ステップＳ５１１では、表示したテキストと認識した音声を比較して、入力されたテキストの誤りの可能性を分析し、ステップＳ５１２で、入力されたテキストに誤りがあるか否かを判断する。すなわち、表示したテキストと認識した音声を比較して表示したテキストと認識した音声が同一でない場合、表示したテキストに誤りがあると判断し、表示したテキストと認識した音声が同一である場合、表示したテキストに誤りがないと判断する。
【００８９】
ステップＳ５１２での入力されたテキストの誤り有無の判断結果、表示したテキストに誤りがあれば、ステップＳ５１４で、認識した音声をテキストに変換し、ステップＳ５１５で、予め設定されたボイスアシストウィンドウ（ｊ）に音声変換したテキストを表示する。
ステップＳ５１７で、ユーザがテキスト表示ウィンドウ（ｉ）の内容とボイスアシストウィンドウ（ｊ）の内容を確認し、テキスト表示ウィンドウ（ｉ）の内容をボイスアシストウィンドウ（ｊ）の内容に変更するか否かを判断する。
【００９０】
ユーザがテキスト表示ウィンドウ（ｉ）の内容をボイスアシストウィンドウ（ｊ）の内容に変更することを所望する場合、ステップＳ５１９で、ユーザ操作を介してテキスト表示ウィンドウ（ｉ）の内容をボイスアシストウィンドウ（ｊ）の内容に変更する予め設定された機能を適用してテキスト表示ウィンドウ（ｉ）の表示したテキストをボイスアシストウィンドウ（ｊ）の表示した音声変換したテキストに変更する。
次に、ステップＳ５２０で、テキスト作成モードの終了有無を選択し、ユーザがテキスト作成モードの終了を所望しない場合には、テキスト作成モードを終了せずに、上述したステップＳ５０４からの動作を再遂行し、ユーザがテキスト作成モードの終了を選択すれば、テキスト作成モードを終了する。
【００９１】
以下の実施形態は、ユーザ動作モードのうち、他の一つであるリストメニューの実行での本発明の音声認識を用いて動作の遂行をアシストする方法である。
図９は、本発明の第４の実施形態による音声認識を用いてリストメニューでの入力された動作をアシストすることを説明するためのフローチャートである。
リストを表示した画面で予め設定された動作命令と同時に音声を入力し、入力された音声を利用して予め設定された動作命令の実行をアシストすることを説明する。
【００９２】
図９を参照すると、ステップＳ６００からステップＳ６０３までは、図２の最初の工程で予め設定された動作モードで、キー入力又はタッチ入力によって動作モードの予め設定された動作を遂行するステップであり、リストメニューを実行して入力されたタッチの予め設定された動作の遂行を説明する。
【００９３】
まず、ステップＳ６００で、ユーザ操作入力を介してリストメニューを実行し、ステップＳ６０１で、実行されたリストメニューのリストを表示する。
この時、音声認識モジュール１１１の音声認識機能は、自動で活性化させることができ、またユーザの選択により音声認識機能を活性化させるように設定することもできる。
【００９４】
次に、ステップＳ６０２で、タッチスクリーン１９０上にタッチ入力があるか否かを判断する。
タッチスクリーン１９０上にタッチ入力がある場合、ステップＳ６０３で、タッチ入力された動作を実行する。
この時のタッチ入力は、スクロールするタッチ入力として、ユーザが表示されたリストの特定の領域をユーザの身体又はタッチ可能な入力手段で接触し、接触された特定の領域からユーザの身体やタッチ可能な入力手段を移動方向に接触しながら離れるフリック（ｆｌｉｃｋ）動作の入力である。この時、表示されたリストは、スクロールする方向によって上、下、左、右などにスクロールすることができる。
【００９５】
次に、残りステップは、図２の二番目の工程に相当し、図２の最初の工程の動作モードの予め設定された動作の遂行中に、入力された音声を認識し、認識した音声によって最初の工程の動作の遂行をアシストするステップとして、リストメニューで入力されたタッチ動作をアシストすることを説明する。
【００９６】
ステップＳ６０４では、マイク１６２から音声が入力されたか否かを判断する。
この時の音声入力は、リストメニューのリストが表示された状態でタッチ入力がなされていない時、タッチ入力中である時、タッチ入力中で予め設定された動作命令が動作中である時、の全部が可能である。
以下では、リストメニューのリストが表示された状態でタッチ入力がなされていない時、タッチ入力中である時、タッチ入力の中に予め設定された動作命令が動作中である時の全部をタッチ動作の遂行中と記載して説明する。
リストが表示された状態でタッチ動作のスクロール動作の遂行中に、ユーザから音声が入力される場合、ステップＳ６０５で、活性化された音声認識モジュール１１１が入力された音声を認識する。
【００９７】
ステップＳ６０６で、認識した音声が予め設定された動作命令であるか否かを判断する。
この時、認識した音声のうち、予め設定された動作命令と類似性が全くない意味ない音声は、適用しない。
認識した音声が予め設定された動作命令である場合、ステップＳ６０７で、タッチ動作の遂行中に、上記認識した音声の予め設定された動作命令を遂行し、ステップＳ６０８で、動作命令の実行結果を出力する。
【００９８】
この時の予め設定された動作命令は、表示したリストで予め設定された上、下、左、右で所望の位置まで自動的にスクロールするように設定する命令であり得る。
またリストで所望の位置まで自動的にスクロールするように設定する命令は、一つ以上の単語又は文字列又は句の位置、リスト全体での対応部分の位置、及び国別言語の位置まで自動的にスクロールするように設定された命令を含んで設定されたものである。
【００９９】
次に、ステップＳ６０９で、ユーザの選択によりリストメニューの終了有無が決定され、ユーザが上述したような動作が継続遂行されることを所望する場合、リストメニューを終了せずに、ステップＳ６０２からの動作を再遂行し、ユーザの選択でリストメニューが終了する場合、表示したリストメニューの表示された画面を終了する。
【０１００】
図１０〜図１２は、各々本発明の第４、第５、第６の実施形態による音声認識を用いてリストメニューでの入力動作をアシストする例示図である。
図１０〜図１２を参照して音声認識を用いてリストメニューでの入力動作の遂行を以下で詳細に説明する。
【０１０１】
まず、ユーザの選択でリストメニューを実行し、実行されたリストメニューのリストを表示する。
図１０〜図１２の（ａ）は、リストメニューが実行されてリストが表示された画面のイメージである。
リストが表示されると、ユーザのフリック入力を介して図１０〜図１２の（ａ）のイメージの矢印方向でスクロールする。
【０１０２】
図１０〜図１２の（ｂ）は、表示されたリストがスクロールされる時の特定のイメージを表示した画面のイメージである。
スクロール動作状態で予め設定された命令の音声を入力して入力された予め設定された命令を遂行する。
【０１０３】
図１０の（ｃ）は、“Ｕｎｔｉｌ  Ｊ”という予め設定された命令の音声が入力された時、リストでＪが開始する部分までをスクロールしたイメージを表示した画面のイメージである。
図１１の（ｃ）は、“Ｕｎｔｉｌ  ｈａｌｆ  ｔｈｅ  ｌｉｓｔ”という予め設定された命令の音声が入力された時、リスト全体の中間点が開始される部分までをスクロールしたイメージを表示した画面のイメージである。
図１２の（ｃ）は、“Ｕｎｔｉｌ  Ｋｏｒｅａｎ  ｓｔａｒｔｓ”という予め設定された命令の音声が入力された時、リスト全体で韓国語が始まる部分までをスクロールしたイメージを表示した画面のイメージである。
【０１０４】
以下の実施形態は、ユーザ動作モードの中のさらに他の一つであるホーム画面の編集での本発明の音声認識を用いた動作の遂行をアシストする方法である。
図１３は、本発明の第５の実施形態による音声認識を用いてホーム画面編集をアシストすることを説明するためのフローチャートである。
実行したホーム画面で予め設定された動作命令と同時に音声を入力し、入力された音声を利用して予め設定された動作命令の実行をアシストする動作を説明する。
【０１０５】
図１３を参照すると、ステップＳ７００からステップＳ７０３までは、図２の最初の工程の予め設定された動作モードで、キー入力又はタッチ入力によって動作モードの予め設定された動作を遂行するステップであり、ホーム画面を実行して入力されたタッチの予め設定された動作の遂行を説明する。
【０１０６】
まずステップＳ７００で、ユーザ操作入力を介してホーム画面を実行し、ステップＳ７０１で、実行されたホーム画面ページを表示する。
この時、ホーム画面は、予め設定されたアイテムを含む予め設定されたホーム画面のページとして予め設定されているもので、少なくとも一つ又はそれ以上のホーム画面のページを予め設定することができる。この時、音声認識モジュール１１１の音声認識機能は、自動で活性化させることができ、ユーザの選択により音声認識機能を活性化させるように設定することもできる。
【０１０７】
次に、ステップＳ７０２で、タッチスクリーン１９０上にタッチ入力があるか否かを判断する。タ
ッチスクリーン１９０上にタッチ入力がある場合、ステップＳ７０３で、タッチ入力された動作を遂行する。
この時のタッチ入力は、ドラッグするタッチ入力として、ユーザが表示されたホーム画面のページで一つ又は一つ以上の特定のアイテムをユーザの身体又はタッチ可能な入力手段で接触し、接触された特定のアイテムからユーザの身体やタッチ可能な入力手段を移動方向に接触させながら離れるフリック（ｆｌｉｃｋ）動作の入力である。
この時、アイテムをドラッグする方向によって上、下、左、右などにドラッグされ、一つのホーム画面のページから他の一つのホーム画面のページにドラッグされ移動することができる。
【０１０８】
以後の、残りのステップは、図２の二番目の工程に相当し、図２の最初の工程の動作モードの予め設定された動作の遂行中に、入力された音声を認識し、認識した音声によって最初の工程の動作の遂行をアシストするステップとして、表示されたホーム画面のページで入力されたタッチ動作をアシストすることを説明する。
【０１０９】
ステップＳ７０４で、マイク１６２を介して音声が入力されたか否かを判断する。
この時のマイク１６２を介した音声の入力は、ホーム画面が表示された状態でタッチ入力がなされていない時、タッチ入力中である時、タッチ入力中に予め設定された動作命令が動作中である時の全部可能である。
【０１１０】
以下では、ホーム画面が表示された状態でタッチ入力がなされていない時、タッチ入力中である時、タッチ入力中に予め設定された動作命令が動作中である時の全部をタッチ動作の遂行中と記載して説明する。ホーム画面が表示された状態でタッチ動作の遂行中に、ユーザから音声が入力される場合、ステップＳ７０５で活性化された音声認識モジュール１１１が入力された音声を認識する。
【０１１１】
次に、ステップＳ７０６で、認識した音声が予め設定された動作命令であるか否かを判断する。
この時、認識した音声のうち予め設定された動作命令と類似性が全くない意味ない音声は、適用しない。
ステップＳ７０６での、認識した音声が予め設定された動作命令であるか否かを判断する工程を詳細に説明すると、まずホーム画面の予め設定されたアイテムにタッチを適用して予め設定された他のホーム画面のページまでドラッグする時、アイテムをドラッグしたホーム画面のページにドラッグしたアイテムの置くことができる（配置する）空間があるか否かを判断する。
【０１１２】
この時、アイテムをドラッグするということは、タッチ入力を介してアイテムを移動させてタッチが終了する時の位置にアイテムを置くことができる空間がある場合、アイテムをそこに配置することを意味し、アイテムを置くことができる空間がない場合、アイテムを元の位置に戻すことを意味する。
ホーム画面のページにドラッグしたアイテムを置くことができる空間がない場合、アイテムにタッチを適用してドラッグした状態で認識した音声が予め設定された動作命令であるか否かを判断する。
【０１１３】
認識した音声が予め設定された動作命令である場合、ステップＳ７０７で、タッチ動作の遂行中に、認識した音声の予め設定された動作命令を遂行し、ステップＳ７０８で、動作命令の実行結果を出力する。
この時、予め設定された動作命令は、予め設定されたホーム画面ページの予め設定されたアイテムを他のページに移動するように予め設定された動作命令であり得る。
また予め設定された動作命令は、ホーム画面の新たなページを生成するように設定された命令であり得る。
【０１１４】
認識した音声の予め設定された動作命令の遂行結果によって、アイテムを置くことができる空間がある場合、アイテムからユーザの身体やタッチ可能な入力手段を離す動作を介して適用したタッチを終了し、アイテムがタッチを終了したホーム画面のページの位置に配置する。
次に、ステップＳ７０９で、ユーザのタッチ入力が実行されたか否かによって、ユーザが上述したような動作を継続遂行することを所望する場合、ステップＳ７０２からの動作を再度遂行し、ユーザがタッチ入力を遂行しない場合、ホーム画面の編集を終了する。
【０１１５】
図１４は、本発明の第７の実施形態による音声認識を用いてホーム画面編集をアシストする例示図である。
図１４を参照して音声認識を用いてホーム画面の編集動作をアシストする動作を以下で詳細に説明する。
【０１１６】
まず、ユーザの操作でホーム画面が実行されると、実行されたホーム画面が表示される。
図１４の（ａ）は、ホーム画面が実行されて表示された画面のイメージであり、図１４の（ｂ）は、表示されたホーム画面にタッチが入力されてタッチ状態が維持される時、ホーム画面の編集モード画面のイメージである。
この時、図１４の（ａ）と（ｂ）のホーム画面をページ１であると仮定する。
ホーム画面が表示されると、ユーザのタッチ入力を介してホーム画面上のアイテムを他のホーム画面のページにドラッグする。
【０１１７】
図１４の（ｃ）は、ユーザのタッチ入力を介してホーム画面上のアイテムを他のホーム画面のページにドラッグした状態のイメージである。
この時、図１４の（ｃ）のホーム画面をページ３であると仮定し、ページ３の画面は、これ以上新たなアイテムが位置する空間がないと仮定する。
図１４の（ｃ）のようにアイテムをドラッグしたホーム画面のページに新たなアイテムを置くことができる空間がないと、空間がないというメッセージを画面上に表示するか、音声を介して通知することによって、ユーザが確認することができるように予め設定することができる。
【０１１８】
この時、ドラッグ動作状態で、ユーザは、予め設定された動作命令を音声を介して入力し、端末機は、入力された音声を認識して予め設定された動作命令を遂行することができる。
例えば“Ｍｏｖｅ  ａｌｌ  ｏｔｈｅｒ  ｉｔｅｍｓ  ｔｏ  ｔｈｅ  ｎｅｘｔ  ｐａｇｅ”という動作命令を介して、ページ３の全てのアイテムをホーム画面の他のページに移動させることができる。
【０１１９】
図１４の（ｄ）は、予め設定された動作命令が遂行されページ３の全てのアイテムがホーム画面の他のページに移動してタッチしてドラッグしている状態のアイテムのみが残っている状態のイメージである。
図１４の（ｅ）は、タッチしてドラッグしている状態でタッチを終了し、タッチを終了した地点にアイコンが配置され、ホーム画面の編集モードが終了した状態のイメージである。
上記以外にも、ホーム画面での予め設定された動作命令は、アイテムの削除及び複写のような機能を遂行するように設定することができ、アイテムの移動時、ユーザにより選択されるいくつかのアイテムのみを移動するように設定することもできる。
【０１２０】
上記した本発明による実施形態は、ハードウェア、ソフトウェア、又はこれらの組み合わせで実現することができる。
このような任意のソフトウェアは、例えば、削除可能、又は再記録可能の可否に関係なく、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ−Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）のような揮発性又は不揮発性記録装置、あるいはＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）、磁気ディスク、又は磁気テープのような光学あるいは磁気的に記録可能であると同時に機械読み取り可能な記録媒体に格納され得る。
【０１２１】
例えばマルチメディアコンテンツプレーヤを搭載したモバイル端末内に含まれるメモリは、本発明の実施形態を実現する指示を含むプログラム又はプログラムを記録するのに適合した機械で読み取り可能な記録媒体の一例であることがわかる。
したがって、本発明は、本明細書の任意の請求項に記載された装置又は方法を実現するためのコードを含むプログラム及びこのようなプログラムを記録する装置（コンピュータなど）で読み取る記録媒体を含む。また、このようなプログラムは、有線又は無線接続を通じて伝達される通信信号のような任意の媒体を通じて電子的に移送でき、本発明は、これと均等なものを適切に含む。
【０１２２】
尚、本発明は、上述の実施例に限られるものではない。本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
【符号の説明】
【０１２３】
１００    （モバイル）装置
１１０    制御部
１１１    音声認識モジュール
１２０    移動通信モジュール
１３０    サブ通信モジュール
１３１    無線ＬＡＮモジュール
１３２    近距離通信モジュール
１４０    マルチメディアモジュール
１４１    放送通信モジュール
１４２    オーディオ再生モジュール
１４３    動画像再生モジュール
１５０    カメラモジュール
１５１    第１のカメラ
１５２    第２のカメラ
１５５    ＧＰＳモジュール
１６０    入／出力モジュール
１６１    ボタン
１６２    マイク
１６３    スピーカー
１６４    振動モーター
１６５    コネクタ
１６６    （物理的又は仮想の）キーパッド
１６７    イヤホン接続ジャック
１７０    センサーモジュール
１７５    記憶部
１８０    電源供給部
１９０    表示部（タッチスクリーン）
１９５    表示コントローラ（タッチスクリーンコントローラ）
【図１】
2014078007.tif 000003
【図２】
2014078007.tif 000004
【図３】
2014078007.tif 000005
【図４】
2014078007.tif 000006
【図５】
2014078007.tif 000007
【図６】
2014078007.tif 000008
【図７】
2014078007.tif 000009
【図８】
2014078007.tif 000010
【図９】
2014078007.tif 000011
【図１０】
2014078007.tif 000012
【図１１】
2014078007.tif 000013
【図１２】
2014078007.tif 000014
【図１３】
2014078007.tif 000015
【図１４】
2014078007.tif 000016