【手続補正書】
【提出日】平成26年7月3日(2014.7.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
１つの対象物について異なる複数の解像度でそれぞれ生成された全体画像のうち、任意の１つの解像度の前記全体画像内の、一部の画像である部分画像を表示するために、前記部分画像を出力する出力部と、
前記出力された前記部分画像の、前記全体画像内の位置情報及び前記解像度の情報に、マーク情報を関連付けて記録する記録部と
を具備するマーク情報記録装置。
【請求項２】
請求項１に記載のマーク情報記録装置であって、
前記記録部は、前記マーク情報として、アノテーション情報、及び、前記部分画像内に合成されるマーク画像を記録する
マーク情報記録装置。
【請求項３】
請求項２に記載のマーク情報記録装置であって、
前記アノテーション情報の生成を開始するためのユーザーによる入力操作の情報を取得した場合、前記アノテーション情報の生成を開始するアノテーション情報生成部をさらに具備するマーク情報記録装置。
【請求項４】
請求項２に記載のマーク情報記録装置であって、
ユーザーの発話による音声の情報を取得した場合、前記アノテーション情報の生成を開始するアノテーション情報生成部をさらに具備する
マーク情報記録装置。
【請求項５】
請求項１から４のうちいずれか１項に記載のマーク情報記録装置であって、
前記部分画像を前記出力部に出力させるためのユーザーによる操作情報を取得する取得部をさらに具備し、
前記記録部は、前記取得部により取得された前記操作情報に応じて前記出力部により出力された前記部分画像の、前記位置情報及び前記解像度情報に、前記マーク情報を関連付ける
マーク情報記録装置。
【請求項６】
請求項５に記載のマーク情報記録装置であって、
前記記録部は、前記取得部により取得された前記ユーザーの連続的または断続的な一連の前記操作情報に応じて前記出力部により出力される、前記位置情報及び前記解像度情報のうち少なくとも一方が互いに異なる前記部分画像ごとの位置情報及び解像度情報を関連付け、この関連付けによる情報を、前記各部分画像の出力の履歴情報として記録し、また、前記履歴情報に、前記マーク情報を関連付ける
マーク情報記録装置。
【請求項７】
請求項５または６に記載のマーク情報記録装置であって、
前記記録部は、前記取得部により取得された前記操作情報のうち所定の操作情報が取得された場合、前記所定の操作情報に応じて出力された前記部分画像について、前記マーク情報の前記関連付け処理を実行する
マーク情報記録装置。
【請求項８】
請求項１から７のうちいずれか１項に記載のマーク情報記録装置であって、
前記記録部は、複数のマーク情報のそれぞれの提示時の優先度を示す優先度情報を、前記複数のマーク情報に関連付けて記録する
マーク情報記録装置。
【請求項９】
請求項１から８のうちいずれか１項に記載のマーク情報記録装置であって、
前記記録部は、前記出力部により出力された前記部分画像の解像度を含む少なくとも２以上の解像度範囲ごとに、前記マーク情報を前記関連付ける
マーク情報記録装置。
【請求項１０】
請求項１から９のうちいずれか１項に記載のマーク情報記録装置であって、
前記記録部は、ユーザーの操作に応じて前記解像度の閾値を設定し、前記設定された解像度の閾値を、前記位置情報及び前記マーク情報に関連付けて記録する
マーク情報記録装置。
【請求項１１】
１つの対象物について異なる複数の解像度でそれぞれ生成された全体画像のうち、任意の１つの解像度の前記全体画像内の、一部の画像である部分画像を表示するために、前記部分画像を出力する出力部と、
前記出力された前記部分画像の、前記全体画像内の位置情報及び前記解像度の情報に、マーク情報を関連付け、前記マーク情報に関連付けられた前記位置情報及び前記解像度の情報を、記録位置情報及び記録解像度情報として記録する記録部と、
前記出力される部分画像を構成する出力位置情報群内に前記記録位置情報がある場合、少なくとも前記記録位置情報に関連付けられた前記マーク情報を提示するための処理を実行する処理部と
を具備するマーク情報提示装置。
【請求項１２】
請求項１１に記載のマーク情報提示装置であって、
前記処理部は、前記出力位置情報群内に前記記録位置情報がある場合であって、かつ、前記出力部により出力される前記部分画像の出力解像度情報と、前記記録位置情報に対応する前記記録解像度情報とが一致するか、または、それを超える場合、前記記録位置情報及び前記記録解像度情報に関連付けられた前記マーク情報を提示するための処理を実行する
マーク情報提示装置。
【請求項１３】
請求項１２に記載のマーク情報提示装置であって、
前記記録部は、前記マーク情報として、アノテーション情報、及び、前記部分画像内に合成されるマーク画像を記録し、
前記処理部は、前記アノテーション情報を提示するための処理を実行する
マーク情報提示装置。
【請求項１４】
請求項１３に記載のマーク情報提示装置であって、
前記処理部は、前記出力される部分画像を構成する前記出力位置情報群内に複数の記録位置情報がある場合、前記複数の記録位置情報にそれぞれ関連付けられた複数のマーク画像を、前記出力される部分画像内に合成する
マーク情報提示装置。
【請求項１５】
請求項１４に記載のマーク情報提示装置であって、
前記処理部は、前記複数の記録位置情報にそれぞれ関連付けられた複数の記録解像度情報のうち、前記出力部により出力される前記部分画像の前記出力解像度情報に一致するまたは記録された解像度範囲内の解像度情報に対応する画像を、前記出力される部分画像内に合成する
マーク情報提示装置。
【請求項１６】
請求項１４に記載のマーク情報提示装置であって、
前記記録部は、前記複数の画像にそれぞれ対応する複数のアノテーション情報のそれぞれの提示時の優先度を示す優先度情報を、複数のマーク情報に関連付け、
前記処理部は、前記記録された優先度情報に応じて、前記複数のアノテーション情報を提示するかしないか、または、それらの提示の時間順序を設定する
マーク情報提示装置。
【請求項１７】
請求項１４に記載のマーク情報提示装置であって、
前記記録部は、前記出力部により出力された前記部分画像の出力解像度を含む少なくとも２以上の解像度範囲ごとに前記アノテーション情報をそれぞれ関連付け、異なる前記優先度情報ごとにそれぞれ異なる記録解像度範囲を設定し、
前記処理部は、前記出力位置情報群内にある前記複数の記録位置情報にそれぞれ関連付けられた複数のアノテーション情報のうち少なくとも１つのアノテーション情報を、前記設定された記録解像度範囲に応じて提示するための処理を実行する
マーク情報提示装置。
【請求項１８】
請求項１１から１７のうちいずれか１項に記載のマーク情報提示装置であって、
前記部分画像を前記出力部に出力させるためのユーザーによる操作情報を取得する取得部をさらに具備し、
前記記録部は、前記取得部により取得された前記操作情報のうち所定の操作情報が取得された場合、前記所定の操作情報に応じて出力された前記部分画像について、前記マーク情報の前記関連付け処理を実行し、
前記処理部は、前記所定の操作情報に応じて出力された前記部分画像を構成する出力位置情報群内に前記記録位置情報がある場合、少なくとも前記記録位置情報に関連付けられた前記マーク情報を提示するための処理を実行する
マーク情報提示装置。
【請求項１９】
１つの対象物について異なる複数の解像度でそれぞれ生成された全体画像のうち、任意の１つの解像度の前記全体画像内の、一部の画像である部分画像を表示するために、前記部分画像を出力し、
前記出力された前記部分画像の、前記全体画像内の位置情報及び前記解像度の情報に、マーク情報を関連付けて記録する
マーク情報記録方法。
【請求項２０】
１つの対象物について異なる複数の解像度でそれぞれ生成された全体画像のうち、任意の１つの解像度の前記全体画像内の、一部の画像である部分画像を表示するために、前記部分画像を出力し、
前記出力された前記部分画像の、前記全体画像内の位置情報及び前記解像度の情報に、マーク情報を関連付け、前記マーク情報に関連付けられた前記位置情報及び前記解像度の情報を、記録位置情報及び記録解像度情報として記録し、
前記出力される部分画像を構成する出力位置情報群内に前記記録位置情報がある場合、少なくとも前記記録位置情報に関連付けられた前記マーク情報を提示するための処理を実行する
マーク情報提示方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
表示部１０６は、任意の解像度を持つ部分画像２１０を表示可能であり、この部分画像２１０の解像度は、切り出される元の画像である全体画像の解像度による。もちろん、表示部１０６は、切り出された部分画像を、その表示部１０６が持つ画面全体のうちの一部に表示することも可能である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
なお、以下に説明するＰＣ１００の処理は、記憶部１０８またはＲＯＭ１０２等に記憶されたソフトウェアと、ＰＣ１００のハードウェア資源との協働により実現される。具体的には、ＣＰＵ１０１が記憶部１０８またはＲＯＭ１０２等に記憶された、ソフトウェアを構成するプログラムをＲＡＭ１０３にロードして実行することにより、以下の処理が実現される。説明の便宜上、処理の主体をＣＰＵ１０１としてその処理を説明する。このことは、「マーク情報の提示処理」の説明でも同様である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】変更
【補正の内容】
【００６１】
ユーザーの、例えばコントローラー１の十字キー２を用いた入力操作に応じて、ＣＰＵ１０１は、全体画像２００内をパン、ズームイン及びズームアウトし、ユーザーは自身の観察した部分画像２１０を探す。ここで、パンとは、水平及び垂直の両方向のうち少なくとも一方の成分を含む、表示部１０６での指定領域（表示領域）の移動である。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】変更
【補正の内容】
【００７１】
記録された音声情報をユーザーに提示（例えば再生）する方法の１つとして、次のような処理がある。例えば、このように合成されたマーク画像Ｍの位置において、ユーザーによりクリック（あるいはタッチ）等の入力操作が実行された場合、ＣＰＵ１０１は、後述するように記録された音声情報を再生する。この場合、マーク画像ＭはＧＵＩ（Graphical User Interface）として機能する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００８５
【補正方法】変更
【補正の内容】
【００８５】
そして、図１０のような音声入力状態の監視ループが実行されている中で、図１１に示すようにユーザーの入力操作状態の監視ループが実行される。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１０４
【補正方法】変更
【補正の内容】
【０１０４】
（記録処理の実施形態６）
図１５は、実施形態６に係る記録処理により作成されたテーブルである。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１１５
【補正方法】変更
【補正の内容】
【０１１５】
（記録処理のその他の実施形態）
以上の各実施形態では、音声情報の記録開始時または終了時等、少なくとも記録処理が実行されたタイムスタンプ（年月日の概念も含んでもよい）も、IDに関連付けられて記録されてもよい。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１０６
【補正方法】変更
【補正の内容】
【０１０６】
（記録処理の実施形態７）
上記の各実施形態では、テーブルにおいて音声情報に関連付けられた、表示部１０６に表示するために出力された部分画像２１０の倍率値は１つの値であった。しかし、音声情報の記録時において、表示部により表示するために出力され部分画像２１０の倍率値を含む少なくとも２以上の倍率値（すなわち倍率範囲）ごとに、音声情報が関連付けられてもよい。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１２６
【補正方法】変更
【補正の内容】
【０１２６】
ユーザーが、巨大な観察対象物の画像内から特定の部位を選び出し、その部位に対して診断する、という操作は、病理診断では通常行われることである。このような状況下において、特に専門家が行った診断内容を部分画像に応じて記録しておき、教育用途等でそれを再生し、生徒がその診断方法及び内容を勉強することは重要である。したがって、本技術に係るマーク情報としての音声メモは非常に有効である。上記したように、本技術では、記録されたユーザーの入力操作状況と一致する（または後述するようにそれに近い入力操作）が行われた時には、その音声メモが再生されるので、非常に便利で、病理分野においてメリットが大きい。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１３２
【補正方法】変更
【補正の内容】
【０１３２】
この場合、ＣＰＵ１０１は、その表示のために出力される部分画像２１４を構成する出力座標群内に複数の記録座標があり、かつ、その部分画像２１４の出力倍率よりも高い記録倍率を持つ１または複数のIDに対応するマーク画像Ｍを、当該部分画像２１４に合成してもよい。これにより、部分画像の出力倍率が１つの記録倍率より高くなった時に、その記録倍率以上の記録倍率を持つIDに関連付けられたマーク画像Ｍを表示することができ、または、それに関連付けられた音声情報を再生することができる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１３４
【補正方法】変更
【補正の内容】
【０１３４】
あるいは、ＣＰＵ１０１は、次のように処理してもよい。すなわち、ＣＰＵ１０１は、その出力倍率と、複数の記録座標にそれぞれ対応する記録倍率との一致を判定する。この場合、ＣＰＵ１０１は、このように部分画像２１４内に複数の記録座標がある場合でも、出力倍率に一致した記録倍率を持つIDに対応する１つの音声情報を再生することができる。この場合、例えばユーザーがその部分画像２１４の倍率を上げるための入力操作を行った場合に、図２０に示すように、部分画像２１５の倍率と一致する記録倍率に対応するマーク画像Ｍ２のみをその部分画像２１５に合成して表示するようにしてもよい。すなわち、他の記録倍率に対応するマーク画像Ｍ１、Ｍ３及びＭ４は表示されない。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１３７
【補正方法】変更
【補正の内容】
【０１３７】
具体的には、図２２に示すステップ８０３において、ＣＰＵ１０１は、出力座標群内の任意の複数の座標にそれぞれ一致する複数の記録座標があり、かつ、それら複数の記録座標にそれぞれ関連付けられた記録倍率同士（または記録倍率範囲同士）が一致するか、そうでないかを判定する。ステップ８０３でYesの場合、ＣＰＵ１０１は、図１５のテーブルに記録された優先度情報にしたがってそれら複数の記録座標にそれぞれ関連付けられた複数の音声情報のうち少なくとも１つの音声情報を提示するための処理を行う、すなわちその音声情報を再生する（ステップ８０４）。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１３９
【補正方法】変更
【補正の内容】
【０１３９】
「優先度」の意味については、ユーザーの主観的な見地から様々な解釈をとり得る。例えばそれは、複数のユーザー間で、どのユーザー（により記録された音声情報の再生）を優先するかという意味でもよい。あるいは、それは、記録された音声情報または記録された部分画像２１０の重要度（例えば医学的見地から見ての重要度）に応じた優先度でもよい。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０１４８
【補正方法】変更
【補正の内容】
【０１４８】
本実施形態では、ＣＰＵ１０１は、例えば図２３Ａに示すように、比較的低い出力倍率の部分画像２１６に、緑色及び青色のマーク画像ＭＧ及びＭＢを両方とも部分画像２１０を合成する。そして、ユーザーの入力操作により出力倍率を上げていき、その出力倍率がこれらのマーク画像Ｍに対応する記録倍率に一致した時、図２３Ｂに示すように、ＣＰＵ１０１は、両方のマーク画像Ｍのうち優先度の高い方の青色のマーク画像ＭＢのみ部分画像２１７に合成して出力する。この時、ＣＰＵ１０１は青色のマーク画像ＭＢに関連付けられた音声情報を再生する。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０１５４
【補正方法】変更
【補正の内容】
【０１５４】
例えば、教育用途では、記録者（教師等）が行った操作と同等の操作をユーザー（生徒）が行い、部分画像中の重要な地点を探し出すことが求められる。このような用途では、ユーザーが部分画像を表示するための操作を行った場合、画面内で単に記録地点を通りすぎただけでは音声は再生されず、ズームインまで行って初めて音声が再生されるということになり、ユーザーは正しい操作を行ったと判断される。これは医療・病理分野に限られることではない。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０１５６
【補正方法】変更
【補正の内容】
【０１５６】
なお、この図２５のID=2に示す例では「ズームイン」ではなく、例えばユーザーカスタマイズにより、「パン」が所定の入力操作情報として設定されている。「パン」の場合、例えば記録時には、パン操作が終了した直後の部分画像２１０（パン操作の最後に表示された部分画像２１０）の座標及び倍率がテーブルに記録されていればよい。「ズームイン」や「ズームアウト」以外の入力操作を所定の入力操作とする場合、音声情報を再生する条件として、記録座標の一致及び所定の入力操作の一致、という２つの条件に限られない。その条件としては、上述したように３つの条件があってもよい。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０１６２
【補正方法】変更
【補正の内容】
【０１６２】
あるいは、図１３に示すテーブルにおいて、ＣＰＵ１０１は音声の記録時に、座標１、２、・・・ごとに対応するように、連続した音声データを分割するようにして記録してもよい。こうすることにより、例えばユーザーの入力操作により表示される部分画像２１０が、その音声の記録途中に対応している場合に、その記録途中からその音声を再生することができる。