(57)【要約】方法が、コンピューティング装置（１０４）においてオーディオを受領し、前記コンピューティング装置によって前記オーディオが、発話と前記コンピューティング装置上で実行中のソフトウェア・アプリケーションのソフトウェア呼び出しとの間のあらかじめ決定されたマッピングに対応するかどうかを判定し、前記オーディオが前記ソフトウェア呼び出しに対応することに応答してのみ前記ソフトウェア呼び出しを実施することを含む。ここで、実施されたソフトウェア呼び出しは、実行中のソフトウェア・アプリケーションのモードまたはツールの少なくとも一方の、アクティブ化または非アクティブ化の少なくとも一方を行なう。
2015528594.tif 000002
【特許請求の範囲】
【請求項１】
コンピューティング装置においてオーディオを受領する段階と；
前記コンピューティング装置によって前記オーディオが、発話と前記コンピューティング装置上で実行中のソフトウェア・アプリケーションのソフトウェア呼び出しとの間のあらかじめ決定されたマッピングに対応するかどうかを判定する段階と；
前記オーディオが前記ソフトウェア呼び出しに対応することに応答してのみ前記ソフトウェア呼び出しを実施する段階とを含む方法であって、
実施されるソフトウェア呼び出しは、実行中のソフトウェア・アプリケーションのモードまたはツールの少なくとも一方の、アクティブ化または非アクティブ化の少なくとも一方を行なう、
方法。
【請求項２】
前記コンピューティング装置のオペレーティング・システムではなく前記実行中のソフトウェア・アプリケーションが、前記オーディオが、発話とソフトウェア呼び出しとの間のあらかじめ決定されたマッピングに対応するかどうかを判定する、請求項１記載の方法。
【請求項３】
前記実行中のソフトウェア・アプリケーションが、撮像データの閲覧、操作および／または解析アプリケーションである、請求項１または２記載の方法。
【請求項４】
前記実行中のソフトウェア・アプリケーションが、一つまたは複数の撮像データ・ビューポートおよび撮像データの閲覧、操作および／または解析に対応するモードおよびツールをもつモード／ツール・ペインのレンダリングを引き起こす、請求項１ないし３のうちいずれか一項記載の方法。
【請求項５】
前記ソフトウェア呼び出しを実施する段階が、撮像データを視覚的に呈示している現在のアクティブなビューポートを変化させない、請求項１ないし４のうちいずれか一項記載の方法。
【請求項６】
前記ソフトウェア呼び出しを実施する段階が、入力装置の動きを必要としない、請求項１ないし５のうちいずれか一項記載の方法。
【請求項７】
受領されたオーディオをコマンド信号に変換する段階と；
前記あらかじめ決定されたマッピングにおいて前記コマンド信号を位置特定する段階と；
前記コマンド信号に対応するソフトウェア呼び出しを同定する段階と；
同定されたソフトウェア呼び出しを実施する段階とをさらに含む、
請求項１ないし６のうちいずれか一項記載の方法。
【請求項８】
前記あらかじめ決定されたマッピングのうちの少なくとも一つのマッピングは、複数のユーザーに汎用個別ユーザーに固有である、請求項１ないし７のうちいずれか一項記載の方法。
【請求項９】
入力装置または記憶装置の少なくとも一つから電子データを受領する段階をさらに含む、請求項１ないし８のうちいずれか一項記載の方法であって、
前記電子データは、少なくとも一つの発話からソフトウェア呼び出しへのマッピングを含み、前記少なくとも一つの発話からソフトウェア呼び出しへのマッピングは前記あらかじめ決定されたマッピングの一部をなす、
方法。
【請求項１０】
少なくとも一つの発話からソフトウェア呼び出しへのマッピングを示すオーディオを受領する段階をさらに含む、請求項１ないし９のうちいずれか一項記載の方法であって、
前記少なくとも一つの発話からソフトウェア呼び出しへのマッピングは前記あらかじめ決定されたマッピングの一部をなす、
方法。
【請求項１１】
前記発話の源を同定する段階と；
前記源が前記ソフトウェア呼び出しを実施することを許諾されているかどうかを判定する段階と；
前記源が前記ソフトウェア呼び出しを実施することを許諾されていることに応答してのみ、前記ソフトウェア呼び出しを実施する段階とをさらに含む、
請求項１ないし１０のうちいずれか一項記載の方法。
【請求項１２】
ソフトウェア呼び出し実施オーディオ・コマンドを通じてソフトウェア呼び出しの実施をオンおよびオフにトグルする段階をさらに含む、請求項１ないし１１のうちいずれか一項記載の方法であって、
実施をオフにトグルすることは、前記ソフトウェア呼び出しによってアクティブ化されるモードまたはツールを中断させない、
方法。
【請求項１３】
対応するオーディオ反対ソフトウェア呼び出しコマンドに応答してモードまたはツールのアクティブ化を取り消す段階をさらに含む、
請求項１ないし１２のうちいずれか一項記載の方法。
【請求項１４】
前記あらかじめ決定されたマッピングの、発話からソフトウェア呼び出しへの対マッピングのリストを視覚的に表示する段階をさらに含む、
請求項１ないし１３のうちいずれか一項記載の方法。
【請求項１５】
オーディオを検出するオーディオ検出器と；
少なくともアプリケーション・ソフトウェアを記憶するメモリと；
前記アプリケーション・ソフトウェアを実行するメイン・プロセッサとを有するコンピューティング装置であって、
実行されるアプリケーション・ソフトウェアは、検出されたオーディオが、発話と当該コンピューティング装置上で実行中のソフトウェア・アプリケーションのソフトウェア呼び出しとの間のあらかじめ決定されたマッピングに対応するかどうかを判定し、前記オーディオが前記ソフトウェア呼び出しに対応することに応答してのみ前記ソフトウェア呼び出しを実施する、
装置。
【請求項１６】
実施されるソフトウェア呼び出しは、実行中のソフトウェア・アプリケーションのモードまたはツールの少なくとも一方の、アクティブ化または非アクティブ化の少なくとも一方を行なう、請求項１５記載の装置。
【請求項１７】
前記実行中のソフトウェア・アプリケーションが、撮像データの閲覧、操作および／または解析アプリケーションである、請求項１５または１６記載の装置。
【請求項１８】
前記実行中のソフトウェア・アプリケーションが、一つまたは複数の撮像データ・ビューポートおよび撮像データの閲覧、操作および／または解析に対応するモードおよびツールをもつモード／ツール・ペインのレンダリングを引き起こす、請求項１５ないし１７のうちいずれか一項記載の装置。
【請求項１９】
前記オーディオにおいて同定されたモードまたはツールに対応するソフトウェア呼び出しを同定するモード／ツール同定器をさらに有する、請求項１５ないし１８のうちいずれか一項記載の装置。
【請求項２０】
発話をソフトウェア呼び出しにマッピングするコマンドからモード／ツールへのマッピング（１４６）をさらに有しており、する、請求項１９記載の装置であって、
前記モード／ツール同定器は、前記オーディオおよび前記マッピングに基づいて前記ソフトウェア呼び出しを同定する、
請求項１９記載の装置。
【請求項２１】
前記あらかじめ決定されたマッピングのうちの少なくとも一つのマッピングは、当該装置のユーザーに固有である、請求項１５ないし２０のうちいずれか一項記載の装置。
【請求項２２】
前記あらかじめ決定されたマッピングのうちの少なくとも一つのマッピングは、当該装置の複数のユーザーに対して汎用である、請求項１５ないし２１のうちいずれか一項記載の装置。
【請求項２３】
前記メイン・プロセッサが、前記発話の源を同定し、前記源が前記ソフトウェア呼び出しを実施することを許諾されているかどうかを判定し、前記源が前記ソフトウェア呼び出しを実施することを許諾されていることに応答してのみ、前記ソフトウェア呼び出しを実施する、請求項１５ないし２２のうちいずれか一項記載の装置。
【請求項２４】
前記メイン・プロセッサが、ソフトウェア呼び出し実施オーディオ・コマンドを受領することに応答してソフトウェア呼び出しの実施をオンおよびオフにトグルし、実施をオフにトグルすることは、前記ソフトウェア呼び出しによってアクティブ化されるモードまたはツールを中断させない、請求項１５ないし２２のうちいずれか一項記載の装置。
【請求項２５】
前記メイン・プロセッサが、オーディオ反対ソフトウェア呼び出しコマンドを受領することに応答してモードまたはツールのアクティブ化を取り消す、請求項１５ないし２４のうちいずれか一項記載の装置。
【請求項２６】
前記メイン・プロセッサが、前記あらかじめ決定されたマッピングの、発話からソフトウェア呼び出しへの対マッピングのリストを視覚的に表示する、請求項１５ないし２５のうちいずれか一項記載の装置。
【請求項２７】
実施されるソフトウェア呼び出しが、モードまたはツールの少なくとも一つの機能のアクティブ化または非アクティブ化のうちの少なくとも一方を行なう、請求項１５ないし２６のうちいずれか一項記載の装置。
【請求項２８】
一つまたは複数のコンピュータ実行可能命令をエンコードされたコンピュータ可読記憶媒体であって、該命令は、コンピューティング・システムのプロセッサによって実行されたときに、前記プロセッサに：
オーディオを受領し；
前記オーディオが、発話と前記コンピューティング装置上で実行中のソフトウェア・アプリケーションのソフトウェア呼び出しとの間のあらかじめ決定されたマッピングに対応するかどうかを判定し；
前記オーディオが前記ソフトウェア呼び出しに対応することに応答してのみ前記ソフトウェア呼び出しを実施することを実行させるものであり、
ここで、実施されたソフトウェア呼び出しは、実行中のソフトウェア・アプリケーションのモードまたはツールの少なくとも一方の、アクティブ化または非アクティブ化の少なくとも一方を行なう、
コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
下記は概括的には、ユーザー対話式グラフィカル・ユーザー・インターフェース（GUI）において視覚的に呈示される実行中のソフトウェア・アプリケーションのモードおよび／またはツールに関し、より詳細には、オーディオ・コマンドを通じてモードおよび／またはツールをアクティブ化（または非アクティブ化）することに関する。
【背景技術】
【０００２】
電子フォーマットでの撮像データは、モニタを通じて表示される実行中のアプリケーション・ソフトウェアのユーザー対話式GUIにおいて視覚的に呈示されていた。撮像データをセグメンテーションするなどの撮像データの操作を許容するアプリケーション・ソフトウェアは、メニュー、パレットなどに表示され、ドロップダウン／プルダウン・メニュー、タブなどを通じてアクセス可能なモード選択およびツール・アクティブ化コントロールを含んでいた。残念ながら、これらのコントロールは、メニューにおいて深くネストされ、一般には隠されていることがあり、そのためユーザーは所望されるモードおよび／またはツールを見出し、アクティブ化するために、数回のマウス・クリックを使ってメニュー構造を通じてナビーゲートしていく必要がある。すなわち、モードまたはツールをアクティブ化するためのソフト・コントロールは、所望されるモードまたはツールがマウスを使って簡単に見つけられ、アクティブ化できるような直観的な仕方で視覚的に呈示されないことがある。
【０００３】
次に、そのようなコントロールを直観的な仕方で呈示しようとする試みが論じられる。一例では、既存のツール・パレット上では、コンテキスト依存フィルタが使用されてきた。それにより、より有意であると見なされるツールのみがユーザーのためにツールバー上に表示される。いくつかのツール・パレットは、ユーザーがパレットのツールを追加および／または除去し、一方、パレットがちらからないよう他のそれほど使われないツールを隠されたままにすることを許容する。他のツール・パレットは、ツールが使用されるにつれて学習し、自動的にツールを追加および／または除去する。他のツール・パレットは、ユーザーがそのツール・パレットをクリックし、ドラッグし、ビューポート内の所望される位置に置くことができるという意味でフロート可能である。しかしながら、こうした試みのすべては、現在の動作モードおよび／またはツールから出て、はいる／アクティブ化するべき関心のあるモード／ツールをマウスおよび／またはキーボードを介して探すことをユーザーに要求する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
残念ながら、現在の動作モードおよび／またはツールから出て、モード／ツールをマウスおよび／またはキーボードを使って探す、上記のおよび／または他のアクションは、現在の思考モードからユーザーの気をそらすことがあり、関心のあるモード／ツールを見出すために不相応な長さの時間がかかることがある。よって、実行中のソフトウェア・アプリケーションの対話式のGUIにおいて関心のあるモード／ツールを見出すおよび／またはアクティブ化／非アクティブ化することに向けた他のアプローチに対する、未解決の必要性がある。
【０００５】
本稿に記載される諸側面は、上述した問題その他に対処する。
【課題を解決するための手段】
【０００６】
ある側面では、方法が、コンピューティング装置においてオーディオを受領し、前記コンピューティング装置によって前記オーディオが、発話と前記コンピューティング装置上で実行中のソフトウェア・アプリケーションのソフトウェア呼び出しとの間のあらかじめ決定されたマッピングに対応するかどうかを判定し、前記オーディオが前記ソフトウェア呼び出しに対応することに応答してのみ前記ソフトウェア呼び出しを起こすことを含む。ここで、起こされたソフトウェア呼び出しは、実行中のソフトウェア・アプリケーションのモードまたはツールの少なくとも一方の、アクティブ化または非アクティブ化の少なくとも一方を行なう。
【０００７】
もう一つの側面では、コンピューティング装置が、オーディオを検出するオーディオ検出器と、少なくともアプリケーション・ソフトウェアを記憶するメモリと、前記アプリケーション・ソフトウェアを実行するメイン・プロセッサとを含む。前記実行中のアプリケーション・ソフトウェアは、検出されたオーディオが、発話と前記コンピューティング装置上で実行中のソフトウェア・アプリケーションのソフトウェア呼び出しとの間のあらかじめ決定されたマッピングに対応するかどうかを判定し、前記オーディオが前記ソフトウェア呼び出しに対応することに応答してのみ前記ソフトウェア呼び出しを起こす。
【０００８】
もう一つの側面では、コンピュータ可読記憶媒体が一つまたは複数のコンピュータ実行可能命令をエンコードされており、該命令は、コンピューティング・システムのプロセッサによって実行されたときに、前記プロセッサに：オーディオを受領し、前記オーディオが、発話と前記コンピューティング装置上で実行中のソフトウェア・アプリケーションのソフトウェア呼び出しとの間のあらかじめ決定されたマッピングに対応するかどうかを判定し、前記オーディオが前記ソフトウェア呼び出しに対応することに応答してのみ前記ソフトウェア呼び出しを起こすことを実行させるものであり、ここで、起こされたソフトウェア呼び出しは、実行中のソフトウェア・アプリケーションのモードまたはツールの少なくとも一方の、アクティブ化または非アクティブ化の少なくとも一方を行なう。
【０００９】
本発明は、さまざまなコンポーネントおよびコンポーネントの配置ならびにさまざまなステップおよびステップの配置の形を取りうる。図面は単に好ましい実施形態を例解するためであって、本発明を限定すると解釈されるものではない。
【図面の簡単な説明】
【００１０】
【図１】ユーザーが、マウスおよび／またはキーボード・コマンドの代わりにオーディオ・コマンドを使ってモードおよび／またはツールを選択することを許容するオーディオ認識機能を含むアプリケーション・ソフトウェアをもつコンピューティング・システムを概略的に示す図である。
【図２】ユーザーが、マウスおよび／またはキーボード・コマンドの代わりにオーディオ・コマンドを介してモードおよび／またはツールを選択することを許容する例示的な方法を示す図である。
【図３】ツールをアクティブ化するためにマウスが使用される、従来技術のグラフィカル・ユーザー・インターフェースを描いた図である。
【図４】フローティング・メニューにおいて呈示されるサブツールをアクティブ化するためにマウスが使われる、図３の従来技術のユーザー・インターフェースを描いた図である。
【図５】モードの間で切り換えるためにマウスが使われる、図３の従来技術のユーザー・インターフェースを描いた図である。
【発明を実施するための形態】
【００１１】
下記は、対話式GUIにおいて実行中のアプリケーション・ソフトウェアのモード／ツールのあらかじめ決定された部分集合が、オーディオ（および／またはマウス／キーボード）・コマンドを通じてアクティブ化および／または非アクティブ化のために選択可能であるシステムおよび／または方法を記述する。オーディオ（声など）・コマンドは、ユーザーが、現在のモードまたはツールを出て関心のあるモードおよび／またはツールを探し、マウスまたはキーボードを介してそれを手動で選択し、視覚的に呈示される撮像データなどの自分の集中および／または観察を中断する必要なしに、関心のあるモードおよび／またはツールを選択し、アクティブ化することを許容する。次いで、マウスおよび／またはキーボードが、そのモードおよび／またはツールを使うために用いられる。各モードおよび／またはツールは、それをアクティブ化および／または非アクティブ化する単語（単数および／または複数）が割り当てられており（ここで、単数および／または複数の単語は多くのユーザーに対して一般的であってもよいし、および／または個々のユーザーに固有であってもよい）、アプリケーション・ソフトウェアが割り当てられた単語（単数または複数）を同定すると、該アプリケーション・ソフトウェアはそのモードおよび／またはツールをアクティブ化および／または非アクティブ化する。この機能は、ユーザーおよび／またはその他によってオンデマンドでアクティブ化および／または非アクティブ化されることができる。
【００１２】
図１は、コンピューティング・システム１０２を概略的に示している。コンピューティング・システム１０２は、汎用コンピュータ、ワークステーション、ラップトップ、タブレット・コンピュータ、撮像システム・コントロールおよび／または他のコンピューティング装置１０４のようなコンピューティング装置１０４を含んでいる。コンピューティング装置１０４は、入出力（I/O）１０６を含み、該入出力（I/O）１０６は一つまたは複数の入力装置１０８（たとえば、マイクロホン１１０、マウス１１２、キーボード１１４、……および／または他の入力装置１１６）および一つまたは複数の出力装置１１８（たとえば、ディスプレイ１２０、フィルマー（filmer）および／または他の出力装置）と電気的に通信するよう構成されている。
【００１３】
ネットワーク・インターフェース１２２は、一つまたは複数の撮像、データ記憶、コンピューティングおよび／または他の装置と電子的に通信するよう構成されている。図示した実施形態では、コンピューティング装置１０４は、少なくとも撮像データを、ネットワーク・インターフェース１２２を介して取得する。撮像および／または他のデータは、ハードドライブおよび／または装置１０４の他の記憶に記憶されることもできる。撮像データは、計算機断層撮影（CT）、磁気共鳴（MR）、陽電子放出断層撮影（PET）、単一光子放出断層撮影（SPECT）、超音波（US）、X線、その組み合わせおよび／または他の撮像装置の一つまたは複数によって生成されることができ、データ記憶は、前記コンピュータ装置のメモリ内および／または他の記憶内の画像アーカイブおよび通信システム（PACS:  picture  archiving  and  communication  system）、放射線医学情報システム（RIS:  radiology  information  system）、病院情報システム（HIS:  hospital  information  system）であることができる。
【００１４】
オーディオ検出器１２４は、オーディオ入力を感知するよう構成されており、それを示す電気信号を生成する。たとえば、オーディオ入力がユーザーの声である場合、オーディオ検出器１２４はその声を感知し、その声入力を示す電気信号を生成する。画像を視覚的に呈示するために、グラフィック・プロセッサ（単数または複数）１２６がビデオ信号をI/O  １０６を介してディスプレイ１２０に伝達するよう構成されている。図示した実施形態では、一例では、ビデオ信号は、画像データ、一つまたは複数のモードを呼び起こすためのソフト・コントロールをもつ一つまたは複数の領域および／またはレンダリングされる画像を操作、解析、フィルミング（filming）、記憶などするための一つまたは複数のツールといった画像をレンダリングするための一つまたは複数の表示領域またはビューポートをもつ、対話式のグラフィカル・ユーザー・インターフェース（GUI）をレンダリングする。
【００１５】
メイン・プロセッサ１２８（たとえば、マイクロプロセッサ、コントローラなど）は、I/O  １０６、ネットワーク・インターフェース１２２、オーディオ検出器１２４、グラフィック・プロセッサ１２６および／または前記コンピューティング装置１０４の一つまたは複数の他のコンポーネントを制御する。メイン・プロセッサ１２８は、物理的メモリ１３０および／または他の非一時的メモリのようなコンピュータ可読記憶媒体上にエンコード、埋め込み、記憶などされた一つまたは複数のコンピュータ可読命令を実行する一つまたは複数のプロセッサを含むことができる。図示した実施形態では、メモリ１３０は、少なくとも、アプリケーション・ソフトウェア１３２およびオペレーティング・システム１３４を含む。メイン・プロセッサ１２８はまた、信号、搬送波および／または他の一時的媒体によって担持されるコンピュータ可読命令をも実行できる。
【００１６】
もう一つの実施形態では、上記のコンポーネントの一つまたは複数は、外部装置の一部であることができ、外部装置の一部、たとえばクライアント・サーバー・モードでは前記グラフィック・プロセッサの一部および／または前記サーバー上にある前記コンピューティング・コンポーネントの一部であって、前記コンポーネントの残りがクライアント上であることもできる。
【００１７】
図示した実施形態では、アプリケーション・ソフトウェア１３２は、さまざまなモード（たとえば系列を閲覧、セグメンテーション、フィルミングなど）およびツール（たとえばズーム、パン、描画など）を含むアプリケーション・コード１３６、たとえば撮像データ閲覧、操作および／または解析アプリケーションを含む。アプリケーション・ソフトウェア１３２はさらに、音声認識ソフトウェア１３８を含んでいる。音声認識ソフトウェア１３８は、既知のおよび／またはその他の音声認識アルゴリズムを使って、オーディオ検出器１２４からの検出信号を、一または複数のあらかじめ決定された許諾されたユーザーについての信号１４０と比較し、そのオーディオがそのアプリケーション・ソフトウェア１３２を使うことを許諾されているユーザーからのものであるかどうかおよび、もしそうであれば任意的に、該許諾されたユーザーの識別情報を示す認識信号を生成する。
【００１８】
ある変形では、コンポーネント１３８および１４０は省略される。そのような事例では、ログイン情報が、そのユーザーについてのコマンドからモード／ツールへのマッピングを同定するために使われてもよい。コンポーネント１３８および１４０が含まれる場合、コンピューティング装置１０４は、アプリケーション・コード１３６のトレーニング・アプリケーション・コードまたは当該システムの種々のユーザーが自分の声を学習および／または認識し自分の声を対応するコマンドからモード／ツールへのマッピングと関連付けるようアプリケーション・ソフトウェア１３２をトレーニングする他のアプリケーション・コードを実行させられることができる。この例において、アプリケーション・ソフトウェア１３２はまず、ユーザーがオーディオ・コマンド機能を使うことを許諾されているかどうかを判定してもよい。もし許諾されていなければ、当該機能はアクティブ化されないが、もし許諾されていれば、アプリケーション・ソフトウェア１３２は当該機能をアクティブ化し、どのコマンドからモード／ツールへのマッピングを使うべきかを知る。
【００１９】
図示したアプリケーション・ソフトウェア１３２は、オーディオからコマンドへの変換器１４２をも含んでいる。該変換器は上記検出信号に基づいてコマンド信号を生成する。たとえば、オーディオからコマンドへの変換器１４２が検出信号が話された単語「セグメンテーション」に対応すると判別する場合、オーディオからコマンドへの変換器１４２は、用語「セグメンテーション」のためのコマンド信号を生成してもよい。アプリケーション・ソフトウェア１３２はその用語を復唱するおよび／またはその用語を視覚的に呈示し、ユーザーの確認を待ってもよい。ナンセンスまたは人造語（ユーザーのネイティブな言語の一部でない単語（単数または複数））、話された音および／または音パターン、話されたのでない音および／または音パターン（たとえば楽器をたたくなど）および／または他の音が代替的に使用されることができる。
【００２０】
モード／ツール同定器１４４は、あらかじめ決定されたコマンドからモード／ツールへのマッピング１４６に基づいて、コマンド信号を、モードおよび／またはツールをアクティブ化および／または非アクティブ化するソフトウェア呼び出し〔ソフトウェア・コール〕にマッピングする。前記あらかじめ決定されたコマンドからモード／ツールへのマッピング１４６は、すべてのユーザーについての、用語からソフトウェア呼び出しへの一般的なマッピングおよび／または特定のユーザーによって生成される、用語からソフトウェア呼び出しへのユーザー定義されたマッピングを含んでいてもよい。
【００２１】
特定のユーザーについてのマッピング１４６のコマンドからモード／ツールへのマッピングは、USBポート（たとえばポータブル・メモリから）、CDドライブ、DVDドライブおよび／または他のI/O入力装置などを介してネットワーク・インターフェース１２２および／またはI/O  １０６を通じてファイルとしてコンピューティング装置１０４に与えられることができる。追加的または代替的に、アプリケーション・ソフトウェア１３２は、ユーザーが、キーボード１１４および／またはマイクロホン１１０およびオーディオ検出器１２４を使って、手動で単語（単数または複数）／ソフトウェア呼び出し対を入力することを許容する。後者の場合、ユーザーは、その単語およびソフトウェア呼び出しを話すことができる。すると、アプリケーション・コード１３６は発話を繰り返して、確認を求めてもよい。マッピングを変更および／または削除するためにも手動および／または可聴入力が使用されることができる。
【００２２】
マッピング生成／編集の間および／またはアプリケーション・ソフトウェア１３２を撮像データを閲覧、操作および／または解析するために用いる間、ユーザーについてのマッピング１４６は、ユーザーが該マッピングを見ることができるよう、視覚的に表示されることができる。マッピングの呈示は、オーディオおよび／または手動コマンドに基づいてトグルされてもよい。このようにして、ユーザーがオーディオ・コマンドを思い出せない、オーディオ・コマンドを発話する前にオーディオ・コマンドを確認したい、オーディオ・コマンドを変更したい、オーディオ・コマンドを削除したいおよび／またはそれ以外で表示されるマッピングを所望する場合、ユーザーは、たとえばマッピングの視覚的な表示をオンデマンドで視覚的に引き出すことができる。
【００２３】
図示したアプリケーション・ソフトウェア１３２はさらに、ソフトウェア呼び出しに基づいて（モードまたはツールをアクティブ化または非アクティブ化するよう）モードおよび／またはツールを実施するモード／ツール実施器（invoker）１４８を含む。たとえば、ソフトウェア呼び出しがモード「セグメンテーション」に対応し、現在、ディスプレイ１２０に異なるモードが呈示されている場合、モード／ツール実施器１４８はアプリケーション・コード１３６に、セグメンテーション・モードに切り換えさせる。ソフトウェア呼び出しがモード「セグメンテーション」に対応し、現在、ディスプレイ１２０にセグメンテーション・モードが表示されている場合には、何のアクションも行なわれないか、モード／ツール実施器１４８はアプリケーション・コード１３６に、セグメンテーション・モードから出て、たとえば前のモードおよび／またはデフォルト・モードに移る切り換えをさせる。このようにして、オーディオ入力は、当該モードと一つまたは複数の他のモードとの間でトグルするために使われる。ツールについてのソフトウェア呼び出しは同様に扱われることができる。
【００２４】
上記から、アプリケーション・ソフトウェア１３２は、装置１０４のユーザーが、モードおよび／またはツールをアクティブ化および／または非アクティブ化することを許容する。ディスプレイGUIの一連のドロップダウン、プルダウンなどのメニューを通じてマウスおよび／またはキーボードを介してモードおよび／またはツールを手動で探すおよび／または手動で選択する必要はない。むしろ、ユーザーは、特定の思考状態にあり特定の画像データを閲覧している間、特定のツールに切り換えるおよび／または特定のツールを引き出すために、関心のあるソフトウェア呼び出しにマッピングされている「発話」を口にする必要があるだけである。これは、関心のあるモードおよび／またはツールをアクティブ化するのをより簡単にし、より時間がかからなくすることによって、作業フローを改善する助けとなる。
【００２５】
システム１０２の好適な応用は、撮像センター、初期診療医、放射線医読影室、手術室などとの関連で撮像データを閲覧することを含むが、それに限定されるものではない。システム１０２は、臨床担当者とコンピューティング・システム・ハードウェアの間の物理的な接触の代わりに声を通じて機能がアクティブ化および／または非アクティブ化できるので、手術室、介入スイートおよび／または他の無菌環境のために好適である。
【００２６】
オーディオを通じて呼び出すことのできる好適なモードおよび／またはツールの例は、マウス・モード、ズーム・モード、パン・モード、グラフィック生成、セグメンテーション・ツール、保存ツール、スクリーン・レイアウト−比較＋レイアウト、ボリューム選択、ダイアログを開くこと、ステージ・スイッチ、アプリケーション・アクティブ化、ビューポート・コントロール変化、フィルム、フローティング・メニューを開くこと、画像ナビゲーション、画像生成ツールおよび／または表示プロトコルを含むがそれに限定されるものではない。オーディオ・コマンドは、たとえばあらかじめ決定されたまたはユーザー指定された増分だけ特定の方向にマウスを動かすことなどもできる。特定のモードおよび／またはツールは、デフォルトであってもよく、ユーザーによって定義される、施設によって定義されるおよび／または他の仕方で定義されることができる。
【００２７】
図２は、ユーザーが、マウスおよび／またはキーボード・コマンドの代わりにオーディオ・コマンドを介してモードおよび／またはツールを選択することを許容する例示的な方法を示している。
【００２８】
工程の順序は限定するものではないことは理解しておくものとする。よって、本願では他の順序も考えられている。さらに、一つまたは複数の工程が省略されてもよく、および／または一つまたは複数の追加的な工程が含まれてもよい。
【００２９】
２０２では、撮像データを閲覧、操作および／または解析するためのアプリケーション・ソフトウェアが、コンピューティング・システムを介して実行される。
【００３０】
２０４では、撮像データ表示領域（またはビューポート）およびモードおよび／またはツール選択領域を含むGUIが、コンピューティング・システムのディスプレイに視覚的に呈示される。
【００３１】
２０６では、コンピューティング・システムは、実行中のアプリケーションのオーディオ・コマンド機能をアクティブ化する。
【００３２】
一例では、オーディオ・コマンド機能は、ユーザーによって、アプリケーション・ソフトウェアのインスタンス化と関連して表示されるオーディオ・コマンド機能コントロールとの関連でマウスまたはキーボードのような入力装置を介してアクティブ化／非アクティブ化される。この例では、オーディオ・コマンド機能は、オペレーティング・システム１３４ではなく、アプリケーション・ソフトウェア１３２の一部である。別の例では、オーディオ・コマンド機能は単に、アプリケーション・ソフトウェアを実行することに応答してアクティブ化される。この例でもまた、オーディオまたは声コマンド機能は、オペレーティング・システム１３４ではなく、アプリケーション・ソフトウェア１３２の一部である。
【００３３】
ある変形では、オーディオ・コマンド機能は、アプリケーション・ソフトウェアを実行する前、実行と同時並行しておよび／または実行後に、オペレーティング・システム１３４を通じたオーディオ・コマンド機能の手動またはオーディオでのアクティブ化に応答してアクティブ化される。この例では、完全なオーディオ・コマンド機能がアクティブ化されることができ、あるいはアプリケーション・ソフトウェア１３２内のオーディオ・コマンド機能は、他の機能をアクティブ化／非アクティブ化するコマンドを検出してそれに応答して該他の機能をアクティブ化または非アクティブ化するだけのモードで実行されることができる。
【００３４】
２０８では、アクティブ化されたオーディオ・コマンド機能が発話があるかどうか傾聴する。
【００３５】
２０１では、任意的に、発話が検出される場合、該発話が、ユーザーがシステムを使うことを許諾されているかどうかおよび／またはユーザーの素性を判定するために利用される。
【００３６】
ユーザーが許諾されていないと判定される場合には、工程２０８が繰り返される。
【００３７】
そうでない場合には、２１２において、発話が、あるモードおよび／またはツールについてのソフトウェア呼び出しにマッピングされているかどうかが判定される。
【００３８】
発話がソフトウェア呼び出しにマッピングされていないと判定される場合には、工程２０８が繰り返される。
【００３９】
それ以外の場合には、２１４において、発話がモードおよび／またはツールについてのソフトウェア呼び出しにマッピングされる。
【００４０】
２１６では、ソフトウェア呼び出しが、実行中のアプリケーションの現在状態に依存してモードおよび／またはツールのアクティブ化および／または非アクティブ化を引き起こし、工程２０８が繰り返される。
【００４１】
オーディオ・コマンド機能は、たとえば別の音声認識プログラムに干渉しないよう一時的に無効にされることができる。あるいはまた、オーディオ認識プログラムを同時並行して実行するための優先度があらかじめ決定されることができる。もう一つの例では、専用の物理的および／またはソフトウェアのトグル・スイッチが、オーディオ・コマンド機能をオンおよびオフにトグルするために使用できる。
【００４２】
任意的に、発話は、特定のモードおよび／またはツール内のコマンドを惹起してもよい。たとえば、発話は、ビュー（たとえばアキシャル、サジタル、コロナル、斜めなど）のビュー間の選択または切り換えをするため、レンダリング（たとえばMIP、mIP、曲面MPRなど）の選択または切り換えをするため、2Dと3Dの間の選択または切り換えをするためなどのために使用できる。発話は、視点、データ型、画像型などを変更するためにも使用できる。
【００４３】
本稿で論じるように、上記は、ユーザーが、ディスプレイGUIの一連のドロップダウン、プルダウンなどのメニューを通じてマウスおよび／またはキーボードを介してモードおよび／またはツールを手動で探すおよび／または手動で選択する必要なしに、モードおよび／またはツールをアクティブ化および／または非アクティブ化することを許容する。これは、関心のあるモードおよび／またはツールをアクティブ化するのをより簡単にし、より時間がかからなくすることによって、作業フローを改善する助けとなりうる。
【００４４】
上記の諸方法は、コンピュータ可読記憶媒体上にエンコードされたまたは埋め込まれたコンピュータ可読命令によって実装されてもよい。該命令は、コンピュータ・プロセッサ（単数または複数）によって実行されたときに、前記プロセッサに、記載されている工程を実行させる。追加的または代替的に、前記コンピュータ可読命令の少なくとも一つが、信号、搬送波または他の一時的媒体によって担持される。
【００４５】
図３および図４ならびに図５はそれぞれ、ツールの使用およびモード間の切り換えのための従来技術のアプローチを示している。両方の図において、GUI  ３０２は、M×N（MおよびNは整数）のビューポート窓３０６、３０８、３１０および３１２を含む撮像データ呈示領域３０４と、モード選択タブ３１６およびツール・パレット３１８をもつモード／ツール・ペイン３１４とを含む。この例では、偶数個のビューポートがあり、それらのビューポートは同じ幾何構成をもつ。しかしながら、奇数個および／または異なるサイズのビューポートも本願で考えられている。さらに、次に論じる特定のシーケンスは、可能なアクションの部分集合を表わすものであり、異なるGUIはモードおよび／またはツールを異なる位置に配置してもよく、それらを惹起するために異なるアクションを要求しうる。
【００４６】
図３では、モード３２０がすでに選択されており、J×K（JおよびKは整数）個の対応するツール３２２、３２４、３２６および３２８がパレット３１８にはいっている。一般に、ユーザーがたとえばビューポート３０８において撮像データを閲覧しながらツール３２２をアクティブ化するためには、ユーザーはマウスなどを介してグラフィカル・ポインタをツール３２２まで動かし、グラフィカル・ポインタをツール３２２の上でホバーさせ、ツール３２２を一回または複数回クリックする。そうする際、ユーザーは、視線および集中もビューポート３０８内の撮像データから離す。ユーザーは次いで、マウスなどを介して、グラフィカル・ポインタをビューポート３０８に移し戻し、グラフィカル・ポインタをビューポート３０８上にホバーさせ、ビューポート３０８を一回または複数回クリックする。次いで、ユーザーは、撮像データがビューポート３０８にある状態で、ツール３２２によって提供される機能を用いることができる。
【００４７】
図４では、ツール・パレット３１８から選択されたツールが、L（Lは整数）個のサブツール４０４、４０６をもつフローティング・メニュー４０２のインスタンス化をビューポート３０８内において引き起こす。このアプローチでは、ユーザーには、マウスなどを介して、グラフィカル・ポインタをフローティング・ツール４０２まで動かし、グラフィカル・ポインタをフローティング・ツール４０２および関心のあるサブツールの上でホバーさせ、フローティング・ツール４０２を一回または複数回クリックし、関心のあるサブツールを一回または複数回クリックし、ビューポート３０８に戻って一回または複数回クリックするという、追加的なアクションがある。次いで、ユーザーは、撮像データがビューポート３０８にある状態で、選択されたサブツールによって提供される機能を用いることができる。
【００４８】
図５に目を転じると、モードを変えるために、ユーザーは、マウスなどを介して、グラフィカル・ポインタをモード選択タブ３１６に動かし、グラフィカル・ポインタをモード選択タブ３１６上にホバーさせ、モード選択タブ３１６を一回または複数回クリックする。これは、普通なら隠れているモード選択ボックス５０２のインスタンス化を引き起こす。該モード選択ボックス５０２はX（Xは整数）個のモード５０４、５０６を含む。モードを選択するために、ユーザーは、マウスなどを介して、グラフィカル・ポインタをあるモードまで動かし、グラフィカル・ポインタをそのモードの上にホバーさせ、そのモードを一回または複数回クリックする。次いで、ユーザーはマウスなどを介して、グラフィカル・ポインタをビューイング窓に戻し、グラフィカル・ポインタをビューイング窓の上にホバーさせ、ビューイング窓を一回または複数回クリックする。いったんモードが選択されたときは、対応するツールがツール・パレット３１８に表示される。
【００４９】
図３に関し、システム１０２（図１）との関連では、ある限定しない例において、ビューポート３０８において撮像データを閲覧しているユーザーは、単にツール３２２に割り当てられたオーディオ・コマンドを発話すればよい。ユーザーは視線を動かしたり、ビューポート３０８内の撮像データに関する集中を中断したりする必要はない。別のツールを選択するまたはモードを変更するためには、やはり適切なコマンド用語の単なる発話だけでよい。たとえば、ユーザーが気が変わったまたは間違ったツールもしくはモードを呼び出した場合にツールまたはモードを取り消すためには、ユーザーは、任意のツールまたはモードを取り消す一般的な「取り消し」コマンド用語、ユーザーによって定義された用語、当該ツールまたはモードを呼び出すのと同じ用語の単なる繰り返しのような「取り消し」コマンド用語を使ってもよい。図４では、フローティング・メニューからのサブツールも同様の仕方で選択／選択解除されることができ、図５では、モードが同様の仕方で選択／選択解除されることができる。もちろん、ユーザーはそれでもマウスを使って選択をしてもよい。
【００５０】
本発明について、好ましい実施形態を参照して記述してきた。上記の詳細な説明を読み、理解すれば、他の者にも修正および代替が思いつくことがありうる。本発明は、付属の請求項またはその等価物の範囲内にはいる限り、そのようなすべての修正および代替を含むと解釈されることが意図されている。
【図１】
2015528594.tif 000003
【図２】
2015528594.tif 000004
【図３】
2015528594.tif 000005
【図４】
2015528594.tif 000006
【図５】
2015528594.tif 000007
【手続補正書】
【提出日】平成27年2月9日(2015.2.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
発話からソフトウェア呼び出しへの対マッピングのリストを視覚的に表示する段階と；
コンピューティング装置においてオーディオを受領する段階と；
前記コンピューティング装置によって前記オーディオが、発話からソフトウェア呼び出しへの対マッピングの前記リスト中の、発話と前記コンピューティング装置上で実行中のソフトウェア・アプリケーションのソフトウェア呼び出しとの間のあらかじめ決定されたマッピングに対応するかどうかを判定する段階と；
前記オーディオが前記ソフトウェア呼び出しに対応することに応答してのみ前記ソフトウェア呼び出しを実施する段階とを含む方法であって、
実施されるソフトウェア呼び出しは、実行中のソフトウェア・アプリケーションのモードまたはツールの少なくとも一方の、アクティブ化または非アクティブ化の少なくとも一方を行なう、
方法。
【請求項２】
前記コンピューティング装置のオペレーティング・システムではなく前記実行中のソフトウェア・アプリケーションが、前記オーディオが、発話とソフトウェア呼び出しとの間のあらかじめ決定されたマッピングに対応するかどうかを判定する、請求項１記載の方法。
【請求項３】
前記実行中のソフトウェア・アプリケーションが、撮像データの閲覧、操作および／または解析アプリケーションである、請求項１または２記載の方法。
【請求項４】
前記実行中のソフトウェア・アプリケーションが、一つまたは複数の撮像データ・ビューポートおよび撮像データの閲覧、操作および／または解析に対応するモードおよびツールをもつモード／ツール・ペインのレンダリングを引き起こす、請求項１ないし３のうちいずれか一項記載の方法。
【請求項５】
前記ソフトウェア呼び出しを実施する段階が、撮像データを視覚的に呈示している現在のアクティブなビューポートを変化させない、請求項１ないし４のうちいずれか一項記載の方法。
【請求項６】
前記ソフトウェア呼び出しを実施する段階が、入力装置の動きを必要としない、請求項１ないし５のうちいずれか一項記載の方法。
【請求項７】
受領されたオーディオをコマンド信号に変換する段階と；
前記あらかじめ決定されたマッピングにおいて前記コマンド信号を位置特定する段階と；
前記コマンド信号に対応するソフトウェア呼び出しを同定する段階と；
同定されたソフトウェア呼び出しを実施する段階とをさらに含む、
請求項１ないし６のうちいずれか一項記載の方法。
【請求項８】
前記あらかじめ決定されたマッピングのうちの少なくとも一つのマッピングは、複数のユーザーに汎用個別ユーザーに固有である、請求項１ないし７のうちいずれか一項記載の方法。
【請求項９】
入力装置または記憶装置の少なくとも一つから電子データを受領する段階をさらに含む、請求項１ないし８のうちいずれか一項記載の方法であって、
前記電子データは、少なくとも一つの発話からソフトウェア呼び出しへのマッピングを含み、前記少なくとも一つの発話からソフトウェア呼び出しへのマッピングは前記あらかじめ決定されたマッピングの一部をなす、
方法。
【請求項１０】
少なくとも一つの発話からソフトウェア呼び出しへのマッピングを示すオーディオを受領する段階をさらに含む、請求項１ないし９のうちいずれか一項記載の方法であって、
前記少なくとも一つの発話からソフトウェア呼び出しへのマッピングは前記あらかじめ決定されたマッピングの一部をなす、
方法。
【請求項１１】
前記発話の源を同定する段階と；
前記源が前記ソフトウェア呼び出しを実施することを許諾されているかどうかを判定する段階と；
前記源が前記ソフトウェア呼び出しを実施することを許諾されていることに応答してのみ、前記ソフトウェア呼び出しを実施する段階とをさらに含む、
請求項１ないし１０のうちいずれか一項記載の方法。
【請求項１２】
ソフトウェア呼び出し実施オーディオ・コマンドを通じてソフトウェア呼び出しの実施をオンおよびオフにトグルする段階をさらに含む、請求項１ないし１１のうちいずれか一項記載の方法であって、
実施をオフにトグルすることは、前記ソフトウェア呼び出しによってアクティブ化されるモードまたはツールを中断させない、
方法。
【請求項１３】
対応するオーディオ反対ソフトウェア呼び出しコマンドに応答してモードまたはツールのアクティブ化を取り消す段階をさらに含む、
請求項１ないし１２のうちいずれか一項記載の方法。
【請求項１４】
オーディオを検出するよう構成されたオーディオ検出器と；
少なくともアプリケーション・ソフトウェアを記憶するよう構成されたメモリと；
発話からソフトウェア呼び出しへの対マッピングのリストのために構成されたディスプレイと；
前記アプリケーション・ソフトウェアを実行するよう構成されたメイン・プロセッサとを有するコンピューティング装置であって、
実行されるアプリケーション・ソフトウェアは、検出されたオーディオが、発話からソフトウェア呼び出しへの対マッピングの前記リスト中の、発話と当該コンピューティング装置上で実行中のソフトウェア・アプリケーションのソフトウェア呼び出しとの間のあらかじめ決定されたマッピングに対応するかどうかを判定し、前記オーディオが前記ソフトウェア呼び出しに対応することに応答してのみ前記ソフトウェア呼び出しを実施するよう構成されている、
装置。
【国際調査報告】
2015528594.tif 000008
2015528594.tif 000009