(57)【要約】  録音中または録画中に、現場においてユーザが望む任意のタイミングにおいて、簡単な操作により記録データに再生時の頭出し用インデックスを付与する。録音装置は、音声を録音する録音部と、録音された音声を索引するインデックスとなる画像を撮像するためのインデックス生成用撮像部と、録音中に、録音された音声に、撮像された画像をインデックスとして付与するインデックス付与部と、を備える。
2019065345.tif 000002
【特許請求の範囲】
【請求項１】
音声を録音する録音手段と、
録音された前記音声を索引するインデックスとなる画像を撮像するためのインデックス生成用撮像手段と、
録音中に、録音された前記音声に、撮像された前記画像をインデックスとして付与するインデックス付与手段と、
を備える録音装置。
【請求項２】
前記画像は、筆記具で記載された点画像である請求項１に記載の録音装置。
【請求項３】
さらに、点を記載する点記載手段を備える請求項１または２に記載の録音装置。
【請求項４】
さらに、前記点記載手段による前記点の記載処理と前記インデックス生成用撮像手段による前記点の撮像とを連動する連動手段を備える請求項２または３に記載の録音装置。
【請求項５】
さらに、前記点画像から点特徴量を抽出して点識別子とする点識別子抽出手段を備え、
前記インデックス付与手段は、録音中の前記音声に対して、撮像された前記点画像の点識別子をインデックスとして付与する請求項２乃至４のいずれか１項に記載の録音装置。
【請求項６】
前記インデックス付与手段は、録音中の前記音声に対して、前記画像が撮影された時刻と対応する位置に前記インデックスを付与する請求項１乃至５のいずれか１項に記載の録音装置。
【請求項７】
前記録音手段に録音された音声を再生する再生手段と、
再生時に、前記インデックス生成用撮像手段で撮像された画像を再生開始のインデックスとして取得する取得手段と、
前記取得手段により取得された画像と前記インデックス付与手段により付与された画像とを照合する照合手段と、
前記照合手段の照合結果から、前記取得手段により取得された画像と前記インデックス付与手段により付与された画像とが一致する場合、前記インデックス付与手段により付与された画像をインデックスとして、前記録音手段に録音された音声から再生するよう、前記再生手段を制御する再生制御手段と、
をさらに備える請求項１乃至６のいずれか１項に記載の録音装置。
【請求項８】
前記録音装置は、ペン型の文房具の形状を有する請求項１乃至７のいずれか１項に記載の録音装置。
【請求項９】
音声を録音し、
録音された前記音声を索引するインデックスとなる、筆記具で記載された点画像をインデックス生成用撮像手段で撮像し、
前記点画像から点特徴量を抽出して点識別子とし
録音中に、録音された前記音声に、前記点識別子をインデックスとして付与する
ことをコンピュータに実行させる録音制御プログラムを格納した記録媒体。
【請求項１０】
動画を録画する録画手段と、
録画された前記動画を索引するインデックスとなる画像を撮像するためのインデックス生成用撮像手段と、
録画中に、録音された前記動画に、撮像された前記画像をインデックスとして付与するインデックス付与手段と、
を備える録画装置。
【請求項１１】
録音された音声または録画された動画を記録する記録手段と、
録音された前記音声または録画された前記動画を索引するインデックスとなる第１画像を撮像するインデックス生成用撮像手段と、
録音中に録音された前記音声に、または、録画中に録画された前記動画に、撮像された前記第１画像をインデックスとして付与するインデックス付与手段と、
前記記録手段に記録された音声または動画を再生する再生手段と、
再生時に、前記インデックス生成用撮像手段で撮像された第２画像を再生開始のインデックスとして取得する取得手段と、
前記第２画像と前記第１画像とを照合する照合手段と、
前記照合手段の照合結果から、前記第２画像と前記第１画像とが一致する場合、前記第１画像をインデックスとして、前記記録手段に記録された音声または動画から再生するよう、前記再生手段を制御する再生制御手段と、
を備える記録再生システム。
【請求項１２】
録音された音声または録画された動画を記録手段に記録し、
録音された前記音声または録画された前記動画を索引するインデックスとなる第１画像を、インデックス生成用撮像手段で撮像し、
録音中に録音された前記音声に、または録画中に録画された前記動画に、撮像された前記第１画像をインデックスとして付与し、
再生時に、前記インデックス生成用撮像手段で撮像された第２画像を再生開始のインデックスとして取得し、
前記第２画像と前記第１画像とを照合し、
照合結果から、前記第２画像と前記第１画像とが一致する場合、前記第１画像をインデックスとして、前記記録手段に記録された音声または動画から再生する、
記録再生方法。
【請求項１３】
前記インデックス付与手段は、録音中の前記音声の録音位置を前記画像からポイントするように、前記インデックスを付与する請求項１乃至５のいずれか１項に記載の録音装置。
【請求項１４】
通信端末と接続可能なインタフェース手段と、
前記録音手段に録音された音声と前記インデックス付与手段により付与された画像とを、前記インタフェース手段を介して前記通信端末に出力する出力手段と、
をさらに備える請求項１乃至６、および、請求項１３のいずれか１項に記載の録音装置。
【請求項１５】
前記録音手段に録音された音声と前記インデックス付与手段により付与された画像とを対応付けて、前記画像により前記音声にインデックス付与する情報処理装置に送信する送信手段をさらに備える請求項１乃至６、および、請求項１３のいずれか１項に記載の録音装置。
【請求項１６】
前記再生制御手段は、前記取得手段により取得された画像と一致する前記インデックス付与手段により付与された画像が複数ある場合、複数の前記画像をインデックスとして、前記録音手段に録音された複数の音声を選択して再生するよう、前記再生手段を制御する請求項７に記載の録音装置。
【請求項１７】
記録時に、録音中の音声または録画中の動画と、録音中の前記音声または録画中の前記動画を索引するインデックスとなる第１画像とを受信する第１受信手段と、
受信された前記音声または動画を記録する記録手段と、
受信された前記音声または動画に、受信された前記第１画像をインデックスとして付与するインデックス付与手段と、
前記記録手段に記録された音声または動画を再生する再生手段と、
再生時に、再生開始のインデックスとして第２画像を受信する第２受信手段と、
前記第２画像と前記第１画像とを照合する照合手段と、
前記照合手段の照合結果から、前記第２画像と前記第１画像とが一致する場合、前記第１画像をインデックスとして、前記記録手段に記録された音声または動画から再生するよう、前記再生手段を制御する再生制御手段と、
を備える情報処理装置。
【請求項１８】
記録時に、録音中の音声または録画中の動画と、録音中の前記音声または録画中の前記動画を索引するインデックスとなる第１画像とを受信する第１受信ステップと、
受信された前記音声または動画を記録手段に記録する記録ステップと、
受信された前記音声または動画に、受信された前記第１画像をインデックスとして付与するインデックス付与ステップと、
再生時に、再生開始のインデックスとして第２画像を受信する第２受信ステップと、
前記第２画像と前記第１画像とを照合する照合ステップと、
前記照合ステップにおける照合結果から、前記第２画像と前記第１画像とが一致する場合、前記第１画像をインデックスとして、前記記録手段に記録された音声または動画から再生する再生ステップと、
をコンピュータに実行させる情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、録音再生システム、録音再生方法等に関する。
【背景技術】
【０００２】
上記技術分野において、録音する音声を認識し、音声中に話題を変える接続詞があるとそこで分割し、接続詞間を１つの再生単位として録音する技術が、特許文献１に開示されている。また、録音データを検索語で検索して、候補区間の音声の発生位置にマークを付加する技術が、特許文献２に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−００８９３８号公報
【特許文献２】特開２０１６−１５７２２５号公報
【特許文献３】国際公開第２０１７／０３８４３２号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記文献に記載の技術では、あらかじめ決められた音声の条件を満たせばインデックスとしてのマークの付与が可能であり、また、再生時の頭出しを実現するためには音声認識処理によるキーワードの入力や検索が必要であった。そのため、録音中に、ユーザが望む任意のタイミングにおいて、簡単な操作により記録データに再生時の頭出し用インデックスを付与することができなかった。【０００５】
本開示の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本開示に係る録音装置は、音声を録音する録音手段と、録音された前記音声を索引するインデックスとなる画像を撮像するためのインデックス生成用撮像手段と、録音中に、録音された前記音声に、撮像された前記画像をインデックスとして付与するインデックス付与手段と、を備える。【０００７】
上記目的を達成するため、本開示に係る記録媒体に格納された録音制御プログラムは、音声を録音する録音処理と、録音された前記音声を索引するインデックスとなる、筆記具で記載された点画像をインデックス生成用撮像手段で撮像するインデックス生成用撮像処理と、前記点画像から点特徴量を抽出して点識別子とする点識別子抽出処理と、録音中に、録音された前記音声に、前記点識別子をインデックスとして付与するインデックス付与処理と、をコンピュータに実行させる。【０００８】
上記目的を達成するため、本開示に係る録画装置は、動画を録画する録画手段と、録画された前記動画を索引するインデックスとなる画像を撮像するためのインデックス生成用撮像手段と、録画中に、録音された前記動画に、撮像された前記画像をインデックスとして付与するインデックス付与手段と、を備える。【０００９】
上記目的を達成するため、本開示に係る記録再生システムは、録音された音声または録画された動画を記録する記録手段と、録音された前記音声または録画された前記動画を索引するインデックスとなる第１画像を撮像するインデックス生成用撮像手段と、録音中に録音された前記音声に、または、録画中に録画された前記動画に、撮像された前記第１画像をインデックスとして付与するインデックス付与手段と、前記記録手段に記録された音声または動画を再生する再生手段と、再生時に、前記インデックス生成用撮像手段で撮像された第２画像を再生開始のインデックスとして取得する取得手段と、前記第２画像と前記第１画像とを照合する照合手段と、前記照合手段の照合結果から、前記第２画像と前記第１画像とが一致する場合、前記第１画像をインデックスとして、前記記録手段に記録された音声または動画から再生するよう、前記再生手段を制御する再生制御手段と、を備える。【００１０】
上記目的を達成するため、本開示に係る記録再生方法は、録音された音声または録画された動画を記録手段に記録し、録音された前記音声または録画された前記動画を索引するインデックスとなる第１画像を、インデックス生成用撮像手段で撮像し、録音中に録音された前記音声に、または録画中に録画された前記動画に、撮像された前記第１画像をインデックスとして付与し、再生時に、前記インデックス生成用撮像手段で撮像された第２画像を再生開始のインデックスとして取得し、前記第２画像と前記第１画像とを照合し、照合結果から、前記第２画像と前記第１画像とが一致する場合、前記第１画像をインデックスとして、前記記録手段に記録された音声または動画から再生する。
【発明の効果】
【００１１】
本開示によれば、録音中に、現場においてユーザが望む任意のタイミングにおいて、簡単な操作により記録データに再生時の頭出し用インデックスを付与することができる。
【図面の簡単な説明】
【００１２】
【図１】第１実施形態に係る録音装置の構成を示すブロック図である。
【図２Ａ】第２実施形態に係る録音装置を含む記録再生システムの概要を示す図である。
【図２Ｂ】第２実施形態に係る録音装置を含む記録再生システムの機能構成を示す図である。
【図２Ｃ】第２実施形態に係る点識別子となる点特徴量を抽出可能な点の生成方法を示す図である。
【図２Ｄ】第２実施形態に係る他の録音装置の点記載構造を示す図である。
【図３Ａ】第２実施形態に係る録音装置を含む記録再生システムの適用例を示す図である。
【図３Ｂ】第２実施形態に係る録音装置を含む記録再生システムの他の適用例を示す図である。
【図３Ｃ】第２実施形態に係る録音装置を含む記録再生システムのさらに他の適用例を示す図である。
【図４】第２実施形態に係る録音装置の機能構成を示すブロック図である。
【図５】第２実施形態に係る記録部の構成を示す図である。
【図６】第２実施形態に係る録音装置の他の機能構成を示すブロック図である。
【図７】第２実施形態に係る他の記録部を示すブロック図である。
【図８Ａ】第２実施形態に係る点識別子抽出部の機能構成の一例を示すブロック図である。
【図８Ｂ】第２実施形態に係る点識別子抽出処理の一例の手順を示すフローチャートである。
【図９Ａ】第２実施形態に係る座標系決定部の機能構成の一例を示すブロック図である。
【図９Ｂ】第２実施形態に係る座標系決定部の動作を説明するための模式図である。
【図９Ｃ】第２実施形態に係る座標系決定部の機能構成の他例を示すブロック図である。
【図９Ｄ】第２実施形態に係る座標系決定部の動作を説明するための模式図である。
【図１０Ａ】第２実施形態に係る正規化画像生成部の動作を説明するための模式図である。
【図１０Ｂ】第２実施形態に係る固定領域決定部の動作を説明するための模式図である。図である。
【図１１Ａ】第２実施形態に係る点識別子抽出部の機能構成の他例を示すブロック図である。
【図１１Ｂ】第２実施形態に係る点識別子抽出処理の他例の手順を示すフローチャートである。
【図１２Ａ】第２実施形態に係る点識別子抽出部の機能構成のさらに他例を示すブロック図である。
【図１２Ｂ】第２実施形態に係る点識別子抽出処理のさらに他例の手順を示すフローチャートである。
【図１３】第２実施形態に係る録音装置のハードウェア構成を示すブロック図である。
【図１４】第２実施形態に係る録音装置の処理手順を示すフローチャートである。
【図１５】第３実施形態に係る録音装置を含む記録再生システムの概要を示す図である。
【図１６】第３実施形態に係る録音装置の機能構成を示すブロック図である。
【図１７】第３実施形態に係る録音装置を含む他の記録再生システムの概要を示す図である。
【図１８】第３実施形態に係る他の録音装置の機能構成を示すブロック図である。
【図１９】第４実施形態に係る録音装置の概要を示す図である。
【図２０】第４実施形態に係る録音装置の機能構成を示すブロック図である。
【図２１】第５実施形態に係る録音装置による記録再生システムの概要を示す図である。
【図２２】第５実施形態に係る録音装置による記録再生システムの動作手順を示すシーケンス図である。
【図２３】第５実施形態に係る録音装置の機能構成を示すブロック図である。
【図２４】第５実施形態に係る録音装置のハードウェア構成を示すブロック図である。
【図２５Ａ】第５実施形態に係る録音装置の処理手順を示すフローチャートである。
【図２５Ｂ】第５実施形態に係る再生処理の手順を示すフローチャートである。
【図２６】第６実施形態に係る録音装置を含む記録再生システムの概要を示す図である。
【図２７Ａ】第６実施形態に係る録音装置を含む記録再生システムの動作手順を示すシーケンス図である。
【図２７Ｂ】第６実施形態に係る録音装置を含む記録再生システムの他の動作手順を示すシーケンス図である。
【図２８】第６実施形態に係る端末やコンピュータとしての情報処理装置の機能構成を示すブロック図である。
【図２９】第６実施形態に係る端末やコンピュータとしての情報処理装置のハードウェア構成を示すブロック図である。
【図３０】第６実施形態に係る端末やコンピュータとしての情報処理装置の処理手順を示すフローチャートである。
【図３１】第７実施形態に係る録画装置を含む記録再生システムの概要を示す図である。
【図３２】第７実施形態に係る録画装置の機能構成を示すブロック図である。
【図３３】第７実施形態に係るサーバとしての情報処理装置の機能構成を示すブロック図である。
【図３４】他の実施形態に係る点に基づく統計処理用の録音データ分析テーブルの構成を示す図である。
【図３５】他の実施形態に係るインデックス用識別情報の例を示す図である。
【発明を実施するための形態】
【００１３】
以下に、図面を参照して、本開示における実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本開示の技術範囲をそれらに限定する趣旨のものではない。
【００１４】
［第１実施形態］
第１実施形態としての録音装置１００について、図１を用いて説明する。録音装置１００は、録音データに再生時の頭出し用インデックスを付与できる録音装置である。
【００１５】
図１に示すように、録音装置１００は、録音部１０１と、インデックス生成用撮像部１０２と、インデックス付与部１０３と、を含む。録音部１０１は、音声を録音する。インデックス生成用撮像部１０２は、録音部１０１により録音された音声を索引するインデックスとなる画像を撮像する。インデックス付与部１０３は、録音中に、録音された音声データに、撮像された画像をインデックスとして付与する。
【００１６】
本実施形態によれば、録音中の音声に対して、撮像された画像をインデックスとして付与するので、録音中に、現場においてユーザが望む任意のタイミングで、簡単な操作により録音データに再生時の頭出し用インデックスを付与することができる。
【００１７】
［第２実施形態］
次に、第２実施形態に係る録音装置について説明する。本実施形態に係る録音装置は、マイクに入力された音声を録音中に、話題や議題の対象としている印刷物内の文章や図面、物体の部分などに点を記載する。録音装置は、記載した点を撮像し、点画像または点画像から抽出した点識別子を頭出し用インデックスとして付与する。録音装置は、録音データを頭出し再生する場合は、同じ印刷物や図面や物体上の点を撮像して、点画像から点識別子を抽出する。そして、録音装置は、抽出した点識別子と、録音時に付与した頭出し用インデックスとしての点識別子とを照合し、一致する点識別子によりインデックスされている位置から録音データを再生する。
【００１８】
これによって、印刷物内の文章、図面内の部分、又は、物体の部分などに対応付けられた音声を再生することができる。特に、出先における面談や会議の録音を再生する場合に、再生者が望む録音位置からの頭出しが可能になる。なお、本実施形態の録音装置は、ペン型等の文房具の形状を有するのが、ユーザの使い易さとしては望ましい。また、点識別子の一致の判定は、その差が所定閾値以内であれば一致と判定してもよい。
【００１９】
《記録再生システム》
以下、図２Ａ〜図２Ｃおよび図３Ａ〜図３Ｃを参照して、本実施形態の録音装置を含む記録再生システムの構成および動作を説明する。
【００２０】
（システム概要）
図２Ａは、本実施形態に係る録音装置２１０を含む記録再生システム２００の概要を示す図である。
【００２１】
図２Ａの左側に示す録音装置２１０は、録音中の音声が対象とする印刷物２５２上の位置にインクで点２５３を記載して、点画像または点画像から抽出された点識別子をインデックスとして付与する。録音装置２１０は、ペン先２１２を有する点記載部（ペン）２１１と、記載した点を拡大して撮像する点撮像部（例えば、顕微鏡カメラ）２１３と、録音データおよびインデックスを記録する記録部（例えば、メモリカード）２１４と、音声入力部（例えば、マイク）２１５と、を備える。なお、図２Ａには図示されていないが、録音装置２１０は、操作部（スイッチなど）や表示部（ランプなど）も備える。また、点撮像部２１３は、記載した点から点識別子を抽出できる点画像を撮像できるカメラであれば、他の高解像度カメラであってもよい。また、録音装置２１０における再生機能の構成は後述する。
【００２２】
ユーザは、録音中の音声にインデックスを付与する場合、録音装置２１０のペン先２１２で印刷物２５２上の話題の対象位置に点２５３を記載する。記載された点２５３が点撮像部２１３で撮像され、録音データ２４１の所望位置（時刻）に点画像または点識別子２３１〜２３３がインデックスとして付与されて、記録部２１４に記録される。なお、録音データ２４１と、インデックスの点画像または点識別子２３１〜２３３は、録音データと、点画像又は点識別子を対応付けてそれぞれ記録されてもよく、対応付けて一体に記録されてもよい。
【００２３】
図２Ａの右側に示す録音装置２２０は、録音された音声が対象とする印刷物２５２上の位置にインクで記載された点２５３に対応付けられた録音データ２４１を再生する例である。録音装置２２０の点撮像部２１３は、ユーザが再生を望む録音に対応付いた印刷物２５２上の点２５３を点撮像部２１３で撮像すると、点画像照合部２４７は、撮像した点画像または点識別子２３４と、記録部２１４にインデックスとして記録された点画像または点識別子２３１〜２３３とを照合する。そして、点画像や点識別子が一致すれば、再生部（図示せず）が点２５３の記載位置に対応付けられた録音データ２４１を再生する。なお、点画像や点識別子の一致は、その差が所定閾値以内であれば一致としてもよい。
【００２４】
（システム機能構成）
図２Ｂは、本実施形態に係る録音装置２１０を含む記録再生システム２００の機能構成を示す図である。なお、図２Ｂにおいて、図２Ａと同様の構成要素には同じ参照番号を付す。
【００２５】
図２Ｂにおいて、録音時２３０には、音声入力部（マイク）２１５と、点記載部（ペン）２１１と、点撮像部（顕微鏡カメラ）２１３と、インデックス付与部２３６と、記録部（メモリカード）２１４と、が使用される。音声入力部（マイク）２１５から入力される発話者の音声に対して、インデックス用媒体２５４上に点記載部（ペン）２１１で記載された点を点撮像部（顕微鏡カメラ）２１３で撮像して、点画像または点識別子をインデックスとして付与し、記録部（メモリカード）２１４に記録する。
【００２６】
図２Ｂにおいて、再生時２４０には、点撮像部（顕微鏡カメラ）２１３と、点画像照合部２４７と、再生部２４８と、が使用される。インデックス用媒体２５４上に記載された点を点撮像部（顕微鏡カメラ）２１３で撮像すると、点画像照合部２４７により、撮像された点画像と記録部２１４にインデックスとして記憶された点画像とが照合される。そして、点画像が一致すると、その点画像をインデックスとして再生部２４８は記録部２１４の録音データを再生して出力する。なお、点画像照合部２４７の照合は、点画像から抽出された点識別子により行われるのが望ましい。
【００２７】
（点識別子）
図２Ｃは、本実施形態に係る点識別子となる点特徴量を抽出可能な点の生成方法を示す図である。
【００２８】
図２Ｃの上図は、本実施形態において印刷物（印刷資料）２５２上にペン型の録音装置２１０で点を記載する状態の模式図である。なお、各要素の寸法関係は正確でない。印刷物（印刷資料）２５２の録音音声に対応付いた表面位置に、録音装置２１０により微小の粒２５６を含む点２５３を記載する。録音装置２１０の点記載部（ペン）２１１には、微小の粒２５６を含むインク２６１が充填されている。なお、点の記載媒体はインクに限定されない。固体の鉛筆芯や墨などであってもよい。
【００２９】
印刷物（印刷資料）２５２の録音音声に対応付いた表面位置に記載した点２５３は、微小な粒２５６をランダムな位置に含有している。微小な粒２５６としては、金属粉やガラス粉などの微粒子や、タガン卜などが使用できる。微小な粒２５６は、点２５３を構成する材料(微小な粒２５６を除く)と反射特性が異なる粒であることが望ましい。また、微小な粒２５６は、点２５３に不均一に含有していることが望ましい。即ち、点２５３における微小な粒２５６の分布は、不均一であることが望ましい。また、点２５３の平面形状は不定形状である。点２５３の平面形状とは、点２５３の真上から見た形状のことである。このような点２５３は、例えば、微小な粒２５６を混入した印刷インク、塗料などを、ペンなどの筆記具２６０を使用して物体の表面に１滴だけ滴下させて、固化させることにより形成することができる。ただし、点２５３の形成方法は、そのような方法に限定されず、微小な粒２５６を混入した印刷インク、塗料などを刷毛などにより塗布する等、他の任意の方法を使用してよい。
【００３０】
図２Ｃの下図は、本実施形態において印刷物（印刷資料）２５２上にペン型の録音装置２１０で、点識別子を抽出可能な点の記載方法と、点識別子の抽出方法の例を示す図である。なお、点識別子を抽出可能な点の記載方法は図２Ｃに限定されない。
【００３１】
点の記載材料２７１としては、微小粒を含む材料、表面反射や色模様に特徴がある材料、媒体（紙）の模様が透過する材料、媒体（紙）上のにじみが出る材料、などがある。それぞれの、点の記載媒体２７２の制限や点の撮像方法２７３の相違、点識別子としての点画像の特徴量抽出方法２７４は図示のようになる。以下、本実施形態では、広範囲の媒体に点識別子を抽出可能な点を記載でき、撮像部が携帯可能で撮像画像が安定し、かつ、識別可能な点識別子が容易に抽出可能な材料として、微小粒を含む材料を使用する。しかしながら、点の材料や点の記載方法、点の撮像方法、点識別子の抽出方法はこれに限定されず、図２Ｃに記載のものであっても、その他のものであってもよい。
【００３２】
（他の点記載構造）
図２Ｄは、本実施形態に係る他の録音装置２８０の点記載構造を示す図である。録音装置２８０は、録音装置２１０のように点記載部（ペン）２１１と点撮像部（顕微鏡カメラ）２１３とが別個に備えられているのではなく、連動した動作で点記載および点撮像を実現するスタンプ形式のペン２８１を有している。なお、図２Ｄにおいて、図２Ａの録音装置２１０と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。また、図２Ｄにおいては、スタンプ形式のペン２８１の特徴である先端部２８２の構成および動作を説明する。
【００３３】
先端部２８２は、蓋部２８３と、蓋２８３内でペン２８１の軸方向に移動可能な容器２８４を有する。容器２８４内には、点記載部（ペン）２１１、点撮像部（顕微鏡カメラ）２１３、可動ミラー２８５が設けられている。なお、可動ミラー２８５は、引っ張りバネによって反時計回りに付勢されている。点撮像部（顕微鏡カメラ）２１３と可動ミラー２８５は、容器２８４に固定され、点記載部（ペン）２１１は、蓋２８３と連結して固定される。
【００３４】
先端部２８２は、容器２８４の端部まで蓋部２８３に収納された状態と、容器２８４の半分まで蓋部２８３に収納された状態とに変化する。このため、容器２８４の収納に伴って、点記載部（ペン）２１１が印刷物２５２と接する位置に移動する。
【００３５】
図２Ｄに示すように、容器２８４の端部まで蓋部２８３に収納された状態では、点記載部（ペン）２１１は可動ミラー２８５を時計回りに動かすことはない。このため、容器２８４下面に接触する印刷物２５２の像が可動ミラー２８５に反射して点撮像部（顕微鏡カメラ）２１３に入力される。
【００３６】
一方、先端部２８２を印刷物２５２に押し付けると容器２８４の半分まで蓋部２８３に収納された状態となる。容器２８４下面に接触する印刷物２５２に対して点記載部（ペン）２１１が点を記載する。この時、点記載部（ペン）２１１は可動ミラー２８５を時計回りに動かし、印刷物２５２の像は点撮像部（顕微鏡カメラ）２１３に入力されなくなる。
【００３７】
再び、容器２８４の端部まで蓋部２８３に収納された状態になる、点記載部（ペン）２１１が可動ミラー２８５を押し出さなくなり、可動ミラー２８５は引っ張りバネによって反時計回りに付勢される。この時、容器２８４下面に接触する印刷物２５２に記載された点２５３の画像が、可動ミラー２８５に反射されて点撮像部（顕微鏡カメラ）２１３に入力される。
【００３８】
このように、１回の操作で点記載および点撮像が実現できる。なお、かかるスタンプ形式は図２Ｄの構造に限定されない。その詳細については、特許文献３を参照されたい。
【００３９】
（システムの適用例）
図３Ａは、本実施形態に係る録音装置２１０を含む記録再生システム２００の適用例を示す図である。図３Ａは、印刷物２５２として見積書を見ながらの値段交渉に本実施形態を適用した場合を示す。
【００４０】
図３Ａの録音時３１０において、見積もり作成者３１１が顧客３１２に対して、録音装置２１０により見積もり内容付近に第１点を記載して顕微鏡カメラで撮像しながら、“本見積もりのここについてはいかがですか？”と問う。すると、作成者３１１の音声“本見積もりのここについてはいかがですか？”に対応付けて第１点の点画像または点識別子が頭出しのインデックスとして付与される。この問いに応答して、顧客３１２が“この値段はいいけど”と応えた後、他の見積もり内容付近に第２点を記載して顕微鏡カメラで撮像しながら、“ここはもっと安くできない？”と要求する。すると、顧客３１２の音声“この値段はいいけど”は前の作成者３１１の問いに続いて録音された後、顧客３１２の音声“ここはもっと安くできない？”に対応付けて新たな第２点の点画像または点識別子がインデックスとして付与される。続く、作成者３１１の“再考してみます！”は、顧客３１２による第２点のインデックスに続けて録音される。各インデックスとして、点画像２３ｘが録音データに対応付けて記録される。
【００４１】
図３Ａの再生時３２０において、見積もり作成者３１１や顧客３１２、あるいは第三者３２１が、後日、録音データを再生する。その時に、印刷物２５２としての見積書の第１点を顕微鏡カメラで撮像すると、第１点の点画像をインデックスとして“本見積もりのここについてはいかがですか？…この値段はいいけど、…”と再生出力される。また、第２点を顕微鏡カメラで撮像すると、第２点の点画像をインデックスとして“ここはもっと安くできない？…再考してみます！…”と再生出力される。
【００４２】
図３Ａにおいて、代名詞の“ここ”や連体詞の“この”などの音声では特定できない対象物に対応付けられた録音データを頭出しすることが可能になるので、録音データの再生位置の特定と、再生内容の理解とが簡単な操作で容易に実現される。また、見積もりを議論する現場において、簡単な操作で頭出しインデックス付与が可能となり、頭出し操作も簡単にできる。
【００４３】
図３Ｂは、本実施形態に係る録音装置２１０を含む記録再生システム２００の他の適用例を示す図である。図３Ｂは、印刷物２５２として設計図を見ながらの製品開発に本実施形態を適用した場合を示す。
【００４４】
図３Ｂの録音時３３０において、設計図の作成者３３１が他の開発者３３２，３３３に対して、録音装置２１０により対象部位付近に第３点を記載して顕微鏡カメラで撮像しながら、“本資料のここについてはいかがですか？”と問う。すると、作成者３３１の音声“本資料のここについてはいかがですか？”に対応付けて第３点の点画像または点識別子が頭出しのインデックスとして付与される。この問いに応答して、開発者３３２が対象部位内の注目位置に第４点を記載して顕微鏡カメラで撮像しながら、“ここの説明がわかりにくいから改善すべき”と応える。開発者３３２の音声“ここの説明がわかりにくいから改善すべき”に対応付けて新たな第４点の点画像または点識別子がインデックスとして付与される。開発者３３２の応えに対して、開発者３３３が“そうだね”と相槌を打ち、録音される。
【００４５】
図３Ｂの再生時３４０において、作成者３３１が、後日、設計変更などで録音データを再生する。その時に、印刷物２５２としての設計図の第４点を顕微鏡カメラで撮像すると、第４点の点画像をインデックスとして“ここの説明がわかりにくいから改善すべき…そうだね”と再生出力される。
【００４６】
図３Ｂにおいても、代名詞の“ここ”などの音声では特定できない対象物に対応付けられた録音データを頭出しすることが可能になるので、録音データの再生位置の特定と、再生内容の理解とが簡単な操作で容易に実現される。また、設計図を検討する現場において、簡単な操作で頭出しインデックス付与が可能となり、頭出し操作も簡単にできる。
【００４７】
図３Ｃは、本実施形態に係る録音装置２１０を含む記録再生システム２００のさらに他の適用例を示す図である。図３Ｃは、試作品２５１を見ながらの製品開発に本実施形態を適用した場合を示す。
【００４８】
図３Ｃの録音時３５０において、試作品２５１について、営業マン３５１が、録音装置２１０により対象部位付近に第５点を記載して顕微鏡カメラで撮像しながら、“この辺がかっこ悪いよね”と感想を述べる。すると、営業マン３５１の音声“この辺がかっこ悪いよね”に対応付けて第５点の点画像または点識別子が頭出しのインデックスとして付与される。この感想に応答して、営業マン３５２が、対象部位内の特定位置に第６点を記載して顕微鏡カメラで撮像しながら、“ここのでっぱりは丸くした方がよい”と改善案を指摘する。営業マン３５２の音声“ここのでっぱりは丸くした方がよい”に対応付けて新たな第６点の点画像または点識別子がインデックスとして付与される。
【００４９】
図３Ｃの再生時３６０において、試作品２５１の設計者３６１が、後日、設計変更などで録音データを再生する。その時に、試作品２５１の第５点を顕微鏡カメラで撮像すると、第５点の点画像をインデックスとして“この辺がかっこ悪いよね”と再生出力される。また、試作品２５１の第６点を顕微鏡カメラで撮像すると、第６点の点画像をインデックスとして“ここのでっぱりは丸くした方がよい”と再生出力される。
【００５０】
図３Ｃにおいても、代名詞の“ここ”などの音声では特定できない対象物に対応付けられた録音データを頭出しすることが可能になるので、録音データの再生位置の特定と、再生内容の理解とが簡単な操作で容易に実現される。また、試作品を評価する現場において、簡単な操作で頭出しインデックス付与が可能となり、頭出し操作も簡単にできる。
【００５１】
《録音装置の機能構成》
図４は、本実施形態に係る録音装置２１０の機能構成を示すブロック図である。図４の録音装置２１０は、点画像から点識別子を抽出する機能を有しない。すなわち、負荷のかかる点識別子の抽出を外部に委ねる構成例である。なお、図４において、図２Ａおよび図２Ｂと同様の構成要素には同じ参照番号を付す。
【００５２】
録音装置２１０は、点記載部（ペン）２１１と、音声入力部（マイク）２１５と、点撮像部（顕微鏡カメラ）２１３と、インデックス付与部２３６と、記録部（メモリカード）２１４と、表示部（ランプなど）４０５と、操作部（スイッチなど）４０６と、を備える。
【００５３】
点記載部（ペン）２１１は、図２Ｃに示したように、印刷物や試作品などの録音音声に対応付いた注目位置に点を記載する。音声入力部（マイク）２１５は、印刷物や試作品などを参照した会話の音声を入力する。点撮像部（顕微鏡カメラ）２１３は、点記載部（ペン）２１１が記載した点の拡大画像を撮像する。インデックス付与部２３６は、音声入力部（マイク）２１５が入力する会話の音声に、話者が注目する位置に記載した点画像をインデックスとして対応付けて付与する。記録部（メモリカード）２１４は、会話の録音データを格納する録音部４４１と、インデックスとしての点画像を対応付けて格納する点画像格納部４４２とを有する。なお、録音データおよびインデックスを出力あるいは送信する場合、あるいは、録音装置２１０が再生機能を有する場合、記録部２１４はメモリカードのように抜き差しできない固定メモリであってもよい。
【００５４】
表示部（ランプなど）４０５は、例えば、パワーランプや記録ランプ、インデックス付与動作ランプなどの、録音装置２１０の状態をユーザに通知する。操作部（スイッチなど）４０６は、例えば、パワーＯＮ／ＯＦＦスイッチ、録音開始／終了スイッチ、インデックス付与スイッチなど、録音装置２１０を操作する。
【００５５】
（記録部）
図５は、本実施形態に係る記録部２１４に格納される構成データを示す図である。図５の記録部２１４は、インデックスとして点画像を格納する。図５に示す記録部２１４には、３つの構成データ５１０、５２０、５３０が格納される。なお、記録部２１４の構成は、図５の構成データに限定されるものではない。点画像により録音データをインデックスすることができれば、どのような記録構成であってもよい。
【００５６】
構成データ５１０では、タイムスタンプ（録音時刻又は点の撮像時刻）と、録音データ又は点画像とが対応付けされている。例えば、構成データ５１０の録音部４４１には、録音時刻を表すタイムスタンプ５１１に対応付けされて録音データの音声フレーム５１２が記憶される。また、構成データ５１０の点画像格納部４４２には、点画像データ５１３に対応付けされて撮像時刻を表すタイムスタンプ５１４と頭出し調整時間５１５が記憶される。なお、頭出し調整時間５１５はオプションである。点の記載時間および撮像時間の分、撮像時刻が録音データよりも遅れるため、遅れを調整するために頭出し調整時間５１５が設定される。なお、頭出し調整は、録音時、再生時のいずれで行ってもよい。
【００５７】
構成データ５２０では、録音位置と録音データとが対応付けされ、点の格納位置と点画像とが対応付けされている。例えば、構成データ５２０の録音部４４１には、録音位置を表す録音アドレス５２１に対応付けされて録音データの音声フレーム５２２が記憶される。また、構成データ５２０の点画像格納部４４２には、点画像データ５２３に対応付けされて点の撮像時の録音アドレスをポイントするアドレスポインタ５２４と頭出し調整アドレス５２５とが記憶される。なお、頭出し調整アドレス５２５はオプションである。点の記載時間および撮像時間の分、撮像時のアドレスが録音データのアドレスと異なるので、調整のために頭出し調整アドレス５２５が設定される。なお、頭出し調整は、録音時、再生時のいずれで行ってもよい。
【００５８】
構成データ５３０では、録音データと対応付けされてインデックスとしての点画像が記録される。例えば、構成データ５３０の録音部４４１には、録音時に、録音時刻を表すタイムスタンプ５１１に対応付けされて録音データの音声フレーム５１２とインデックスとしての点画像５３３が記憶される。
【００５９】
《録音装置の他の機能構成》
図６は、本実施形態に係る録音装置２１０の他の機能構成を示すブロック図である。図６の録音装置２１０は、点画像から点識別子を抽出する機能を有する。すなわち、点識別子を外部に提供するので、記録容量や通信容量を削減することができる。なお、図６において、図２Ａ、図２Ｂおよび図４と同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
【００６０】
点識別子抽出部６０２は、点撮像部２１３が撮像した点画像から点識別子を抽出する。そして、記録部（メモリカード）２１４は、会話の録音データを格納する録音部４４１と、インデックスとしての点識別子を対応付けて格納する点識別子格納部６４２とを有する。なお、録音データおよびインデックスを出力あるいは送信する場合、あるいは、録音装置２１０が再生機能を有する場合、記録部２１４はメモリカードのように抜き差しできない固定メモリであってもよい。
【００６１】
（記録部）
図７は、本実施形態に係る他の記録部２１４に格納される構成データを示す図である。図７の記録部２１４は、インデックスとして点識別子を格納する。図７の記録部２１４は、３つの構成データ７１０、７２０、７３０を格納する。なお、記録部２１４の構成データは、図７の構成データに限定されるものではない。点識別子により録音データをインデックスすることができれば、どのような記録構成であってもよい。また、図７において、図５と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
【００６２】
構成データ７１０では、タイムスタンプ（録音時刻又は点の撮像時刻）と、録音データ又は点識別子とが対応付けされている。構成データ７１０の点識別子格納部６４２には、点識別子７１３に対応付けされて撮像時刻を表すタイムスタンプ５１４と頭出し調整時間５１５とを記憶する。
【００６３】
構成データ７２０では、録音位置と録音データとが対応付けされ、点の格納位置と点識別子が対応付けされている。例えば、構成データ７２０の点識別子格納部６４２には、点識別子７２３に対応付けされて点の撮像時の録音アドレスをポイントするアドレスポインタ５２４と頭出し調整アドレス５２５とが記憶されている。
【００６４】
構成データ７３０では、録音データとインデックスとしての点識別子が対応付けされている。例えば、構成データ７３０の録音部４４１には、録音時に、録音時刻を表すタイムスタンプ５１１に対応付けされて録音データの音声フレーム５１２とインデックスとしての点識別子７３３が記憶される。
【００６５】
《点識別子抽出部の一例》
図８Ａは、本実施形態に係る点識別子抽出部６０２の機能構成の一例を示すブロック図である。図８Ａは、点識別子抽出部６０２を含む録音装置２１０の一部を示している。図８Ａを参照すると、本実施形態に係る点識別子抽出部６０２は、印刷物や試作品２５１上の点画像から点識別子を抽出する機能を有する。なお、本明細書の点識別子抽出部のいずれもが、点識別子抽出部６０２と同じあるいは類似の処理により点識別子を抽出するものとする。
【００６６】
図８Ａにおいて、印刷物や試作品２５１、その面上に形成されている筆記具で記載された点２５３、この点２５３に含まれる微小な粒２５６は、図２Ｃを参照して説明した印刷物や試作品２５１、点２５３、微小な粒２５６と同じである。
【００６７】
点撮像部（顕微鏡カメラ）２１３は、印刷物や試作品２５１上の点２５３の画像を光学的に取得する機能、即ち撮像機能を有する。点撮像部（顕微鏡カメラ）２１３は、例えば、ＣＣＤ(Charge Coupled Device)イメージセンサやＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサを使用したカメラを使用することができる。
【００６８】
点識別子抽出部６０２は、点画像から点識別子を抽出する機能を有する。点識別子抽出部６０２は、主な機能部として、画像記憶部８３２、座標系決定部８３３、正規化画像生成部８３４、正規化画像記憶部８３５、固定領域決定部８３６、および特徴量抽出部８３７を有する。
【００６９】
なお、点識別子抽出部６０２は、例えば、１以上のマイクロプロセッサ等の演算処理部と、画像記憶部８３２および正規化画像記憶部８３５等として用いるメモリやハードディスク等の記憶部とを有する情報処理部と、プログラムとで実現されてよい。プログラムは、情報処理部の立ち上げ時等に外部のコンピュータ読み取り可能な記録媒体からメモリに読み込まれ、演算処理部の動作を制御することにより、演算処理部上に、座標系決定部８３３、正規化画像生成部８３４、固定領域決定部８３６、および特徴量抽出部８３７といった機能構成部を実現する。
【００７０】
座標系決定部８３３は、画像記憶部８３２に記憶されている点２５３の画像の全体から、点２５３の画像に固有の座標系を決定する機能を有する。点２５３の画像に固有の座標系は、原点の位置、軸の方向、スケールの３つのパラメータによって定義される。点２５３の画像に固有の座標系は、点２５３の画像の全体から決定されるため、点２５３の平面形状に依存するものとなる。
【００７１】
正規化画像生成部８３４は、画像記憶部８３２に記憶されている点２５３の画像を、正規化座標系に正規化し、正規化した画像を正規化画像記憶部８３５に保存する機能を有する。正規化座標系は、原点の位置、軸の方向、スケールの３つのパラメータによって定義されている。
【００７２】
固定領域決定部８３６は、正規化画像記憶部８３５に記憶された点２５３の正規化画像におけるあらかじめ定められた領域を、特徴量抽出領域に定める機能を有する。あらかじめ定められた領域は、固定領域であれば、その形状、サイズ、領域の個数は任意である。上述したように、点２５３の画像に固有の座標系は、点２５３の平面形状に依存するため、正規化画像およびその中の固定領域である特徴量抽出領域は、点２５３の平面形状に依存する領域となる。
【００７３】
ここで、座標系決定部８３３、正規化画像生成部８３４、および固定領域決定部８３６は、点２５３の画像から、層の平面形状に依存する領域を決定する領域決定部８３８を構成している。
【００７４】
特徴量抽出部８３７は、正規化画像記憶部８３５に記憶された点２５３の正規化画像中の上記特徴量抽出領域における粒２５６の分布に依存する特徴量を点識別子として抽出し、出力する機能を有する。
【００７５】
（点識別子抽出処理）
図８Ｂは、本実施形態に係る点識別子抽出処理の一例の手順を示すフローチャートである。以下、図８Ａおよび図８Ｂを参照して点識別子抽出部６０２の動作を説明する。
【００７６】
点撮像部（顕微鏡カメラ）２１３を用いて印刷物や試作品２５１上の点２５３の画像を取得し、点識別子抽出部６０２は点画像を画像記憶部８３２に保存する(ステップＳ８０１)。
【００７７】
次に、点識別子抽出部６０２の座標系決定部８３３は、画像記憶部８３２から点２５３の画像を入力して解析し、点２５３の画像に固有の座標系を決定し、固有の座標系の原点の位置、軸の方向、スケールを正規化画像生成部８３４に伝達する(ステップＳ８０２)。
【００７８】
次に、点識別子抽出部６０２の正規化画像生成部８３４は、座標系決定部８３３で決定された点２５３の画像に固有の座標系と正規化座標系とに基づいて、画像記憶部８３２に記憶されている点２５３の画像を正規化し、正規化した画像を正規化画像記憶部８３５に保存する(ステップＳ８０３)。
【００７９】
次に、点識別子抽出部６０２の固定領域決定部８３６は、正規化画像記憶部８３５に記憶された正規化画像中のあらかじめ定められた固定領域を特徴量抽出領域に決定し、特徴量抽出部８３７に伝達する(ステップＳ８０４)。
【００８０】
次に、点識別子抽出部６０２の特徴量抽出部８３７は、正規化画像記憶部８３５に記憶された点２５３の正規化画像中の上記特徴量抽出領域における粒２５６の分布に依存する特徴量を点識別子として抽出し、出力する(ステップＳ８０５)。
【００８１】
（座標系決定部の一例）
図９Ａは、本実施形態に係る座標系決定部８３３の機能構成の一例を示すブロック図である。
【００８２】
本例の座標系決定部８３３は、低解像度化部９５１、低解像度画像記憶部９５２、キーポイン卜・スケール検出部９５３、方向検出部９５４、および統計処理部９５５を有する。
【００８３】
低解像度化部９５１は、画像記憶部８３２に記憶された点２５３の画像をあらかじめ定められた基準で低解像度化し、低解像度画像記憶部９５２に保存する機能を有する。点２５３に粒２５６が不均一に含有されており、粒２５６の反射特性が点２５３の他の材料と相違する場合、点２５３の画像を低解像度化すると、粒２５６の密度に応じた濃淡パターンが出現する。低解像度化部９５１は、点２５３の画像から、粒２５６の密度に応じた濃淡パターンを生成するための機能構成部である。
【００８４】
キーポイン卜・スケール検出部９５３は、低解像度画像記憶部９５２に記憶された濃淡パターンを有する画像から、キーポイン卜とスケールとを検出する機能を有する。ここで、キーポイン卜は、スケールが変わっても画像上に特徴的に現れる点や領域を意味し、検出するスケールはスケール変化に最も強い最適なスケールを意味する。キーポイン卜・スケール検出部９５３によるキーポイン卜とスケールとの検出は、ＳＩＦＴ(Scale-Invariant Feature Transform)記述子を生成する過程で行われるキーポイン卜とスケールとの検出に相当する。一般にＳＩＦＴは、微小な粒２５６が点在する画像には不向きであるが、上述のように低解像度化して生成した濃淡パターンからはキーポイン卜とスケールとを安定して抽出することが可能である。
【００８５】
方向検出部９５４は、キーポイン卜・スケール検出部９５３によって検出されたキーポイン卜ごとに、そのキーポイン卜を特徴付ける“方向"を決定する機能を有する。方向検出部９５４による方向の検出は、ＳＩＦＴ記述子を生成する過程で行われるオリエンテーションの検出に相当する。
【００８６】
統計処理部９５５は、キーポイン卜・スケール検出部９５３で検出されたキーポイン卜とスケール、および方向検出部９５４で検出されたキーポイン卜毎の方向に基づいて、固有の座標系の原点、軸、およびスケールを決定する機能を有する。例えば、統計処理部９５５は、複数のキーポイン卜の分布に基づいて固有の座標系の原点を決定する。具体的には、統計処理部９５５は、検出された複数のキーポイン卜の重心を固有の座標系の原点とする。また、統計処理部９５５は、複数のキーポイン卜のスケール、方向の分布に基づいて固有の座標系のスケール、軸を決定する。具体的には、統計処理部９５５は、複数のキーポイン卜のスケール、方向の分布の中心を、固有の座標系のスケール、軸とする。即ち、複数のキーポイン卜のスケールの分布の中心を固有の座標系のスケールとし、複数のキーポイン卜の方向の分布の中心を固有の座標系の軸とする。分布の中心としては、例えば最頻値を使用してよい。ただし、最頻値に限定されず、平均値や中央値を使用してもよい。
【００８７】
図９Ｂは、本実施形態に係る座標系決定部８３３の動作を説明するための模式図である。
【００８８】
図９Ｂにおいて、画像Ｇ９１１は、画像記憶部８３２に記憶されている点２５３の画像を示している。低解像度化部９５１は、画像Ｇ９１１から、画像Ｇ９１２に示すような、点２５３における粒２５６の密度に依存する濃淡パターンを有する画像を生成する。図９Ｂでは、便宜上、濃淡の相違をハッチングの種別の相違で表現している。次に、キーポイン卜・スケール検出部９５３は、画像Ｇ９１２から、キーポイン卜とスケールとを検出する。画像Ｇ９１２上に描かれている円はスケール、円の中心がキーポイン卜である。次に、方向検出部９５４は、キーポイン卜ごとに方向を検出する。画像Ｇ９１２上に描かれた円内の線分が方向を示している。
【００８９】
次に、統計処理部９５５は、検出されたキーポイン卜のスケール、方向の分布に基づいて固有の座標系のスケール、軸を決定するために、ヒストグラムＧ９１３に示すような、横軸がスケール、縦軸が頻度であるヒストグラムと、ヒストグラムＧ９１４に示すような、横軸が方向、縦軸が頻度であるヒストグラムを作成する。次に、統計処理部９５５は、ヒストグラムＧ９１３から最頻値のスケールを求め、これを固有の座標系のスケールとする。また、統計処理部９５５は、ヒストグラムＧ９１４から最頻値の方向を求め、この方向を固有の座標系の軸の方向とする。さらに、統計処理部９５５は、検出されたキーポイン卜の重心を求め、これを固有の座標系の原点とする。図９Ｂにおいて、画像Ｇ９１５に描かれている円は固有の座標系のスケール、円の中心が固有の座標系の原点、円内の矢印が固有の座標系の軸の方向をそれぞれ示している。
【００９０】
図９Ｂには、画像Ｇ９１１と比較して点の平面形状、点内の粒の分布が相違する他の画像Ｇ９２１と、その画像Ｇ９２１から生成された低解像度な画像Ｇ９２２、検出されたキーポイン卜とスケール、生成されたヒストグラムＧ９２３、Ｇ９２４、決定された固有の座標系を描いた画像Ｇ９２５が記載されている。このように、固有の座標系は、層の平面形状、層内の粒の分布が相違すると、多くの場合、異なるものとなる。
【００９１】
（座標系決定部の他例）
図９Ｃは、本実施形態に係る座標系決定部８３３の機能構成の他例を示すブロック図である。
【００９２】
本例の座標系決定部８３３は、２値化部９６１、２値化画像記憶部９６２、塗りつぶし画像生成部９６３、塗りつぶし画像記憶部９６４、および形状処理部９６５を有する。
【００９３】
２値化部９６１は、画像記憶部８３２に記憶された点２５３の画像を２値化し、２値化画像記憶部９６２に保存する機能を有する。これにより、背景領域のほとんどの画素が白画素(値０)、点２５３の領域は粒２５６の分布に応じて白画素(値０)と黒画素(値１)とが混在する２値化画像が得られる。
【００９４】
塗りつぶし画像生成部９６３は、２値化画像記憶部９６２に記憶された２値化画像から、点２５３の平面形状と同一の形状を有し、内部が全て黒画素で埋め尽くされた画像(塗りつぶし画像)を生成し、塗りつぶし画像記憶部９６４に保存する機能を有する。２値化画像から塗りつぶし画像を生成する方法は任意である。例えば、塗りつぶし画像生成部９６３は、２値化画像記憶部９６２に記憶された２値化画像に対して、モルフォロジー演算を行うことにより、塗りつぶし画像を生成してよい。また、塗りつぶし画像生成部９６３は、あらかじめ定められた画素長をｎとし、ｎ画素の膨張処理とn画素の収縮処理を実行することにより、２値化画像から塗りつぶし画像を生成してよい。ここで、ｎ画素の膨張処理とは、注目中の画素の値が“１”である場合、注目画素からｎ画素長以内に存在する全ての画素の値を“１”にする操作を、２値化画像の全面素に注目して行う処理を意味する。また、ｎ画素の収縮処理とはｎ画素の膨張処理を施した後の２値画像に対して、注目中の画素の値が“０”である場合、注目画素からｎ画素長以内に存在する全ての画素の値を“０”にする操作を、２値化画像の全面素に注目して行う処理を意味する。
【００９５】
形状処理部９６５は、塗りつぶし画像記憶部９６４に記憶された塗りつぶし画像の特徴から、固有の座標系を決定する機能を有する。例えば、形状処理部９６５は、塗りつぶし画像の重心を固有の座標系の原点に決定する。また、形状処理部９６５は、例えば、上記重心を通り画像面に平行な軸であって、軸の周りの２次モーメン卜が最小または最大となる軸を固有の座標系の軸に決定する。さらに、形状処理部９６５は、例えば、上記塗りつぶし画像の面積を固有の座標系のスケールに決定する。
【００９６】
図９Ｄは、本実施形態に係る座標系決定部の動作を説明するための模式図である。
【００９７】
図９Ｄにおいて、画像Ｇ９３１は、画像記憶部８３２に記憶されている点２５３の画像を示している。２値化部９６１は、画像Ｇ９３１から、２値化画像Ｇ９３２を生成する。図９Ｄでは、便宜上、黒画素はハッチングで示し、白画素は白丸で示している。次に、塗りつぶし画像生成部９６３は、２値化画像Ｇ９３２から、黒画素で塗りつぶした塗りつぶし画像Ｇ９３３を生成する。次に、形状処理部９６５は、塗りつぶし画像Ｇ９３３の重心、モーメン卜、面積を抽出し、それらを固有の座標系の原点、軸、スケールとする。
【００９８】
（正規化画像生成部）
正規化画像生成部８３４は、座標系決定部８３３により決定された点２５３の画像に固有の座標系の原点を、正規化座標系の原点とみなす。また、正規化画像生成部８３４は、固有の座標系の軸が正規化座標系の軸と一致するように、点２５３の画像を、原点を中心に回転させる。さらに、正規化画像生成部８３４は、固有の座標系のスケールが正規化座標系のスケールと一致するように、点２５３の画像を拡大あるいは縮小する。換言すれば、正規化画像生成部８３４は、固有の座標系を変換前の座標系、正規化座標系を変換後の座標系とする座標変換を点２５３の画像に施して、正規化された画像を生成する。
【００９９】
図１０Ａは、本実施形態に係る正規化画像生成部８３４の動作を説明するための模式図である。図１０Ａにおいて、画像Ｇ１０１６、Ｇ１０２６は、図９Ｂに示した画像Ｇ９１１、画像Ｇ９２１に固有の座標系を描いた画像である。即ち、画像Ｇ１０１６、Ｇ１０２６に実線で描かれている円は固有の座標系のスケール、その円の中心が固有の座標系の原点、円内の矢印が固有の座標系の軸をそれぞれ示している。
【０１００】
正規化画像生成部８３４は、固有の座標系の軸が正規化座標系の軸に一致し、かつ、固有の座標系のスケールが正規化座標系のスケールと一致するように、画像Ｇ１０１６、Ｇ１０２６を、原点を中心に回転させ、また拡大あるいは縮小することにより正規化画像を生成する。図１０Ａにおいて、画像Ｇ１０１７、Ｇ１０２７は、そのようにして生成された画像Ｇ１０１６、Ｇ１０２６の正規化画像を示している。画像Ｇ１０１７、Ｇ１０２７に描かれた円は正規化座標系のスケール、円内の矢印が正規化座標系の軸をそれぞれ示している。
【０１０１】
（固定領域決定部）
固定領域決定部８３６は、正規化座標系を使用して、正規化画像中に固定領域を定義する。例えば、固定領域決定部８３６は、正規化座標系の原点を重心とし、正規化座標系のスケールを辺のサイズとし、正規化座標系の軸に平行な２辺を有する正方形を、固定領域とする。勿論、固定領域の形状は正方形に限定されず、長方形などの他の形状であってもよい。また辺のサイズは正規化座標系のスケールに一致させる必要はなく、固定値であれば任意でよい。
【０１０２】
図１０Ｂは、本実施形態に係る固定領域決定部８３６の動作を説明するための模式図である。図１０Ｂにおいて、画像Ｇ１０１８、Ｇ１０２８は、図１０Ａに示した画像Ｇ１０１７、Ｇ１０２７に特徴量抽出領域を付記した画像の例である。即ち、画像Ｇ１０１８、Ｇ１０２８に描かれている円は正規化座標系のスケール、その円の中心が正規化座標系の原点、円内の矢印が正規化座標系の軸をそれぞれ示している。そして、画像Ｇ１０１８、Ｇ１０２８に実線で描かれている正方形が、特徴量を抽出する領域となる固定領域である。
【０１０３】
（特徴量抽出部）
特徴量抽出部８３７は、正規化画像記憶部８３５に記憶された点２５３の正規化画像中の上記特徴量抽出領域における粒２５６の分布に依存する特徴量を点識別子として抽出し、出力する機能を有する。
【０１０４】
特徴量抽出部８３７が抽出する特徴量としては、例えば以下のような固定次元数のベクトルが考えられる。
【０１０５】
特徴量の例１：特徴量抽出部８３７は、点２５３の正規化画像中の特徴量抽出領域を正規化座標系の軸に平行な方向にｎ等分し、その軸に垂直な方向にｍ等分することにより、特徴量抽出領域を（ｎ×ｍ）個のブロックに分割する。次に、特徴量抽出部８３７は、各ブロックの輝度を抽出する。次に、特徴量抽出部８３７は、各ブロックの輝度を閾値と比較し、輝度が閾値以上であれば例えば値１、そうでなければ値０とすることにより、各ブロックの輝度を２値に量子化する。そして、特徴量抽出部８３７は、各ブロックの量子化値を所定の順序に並べたビット列を、点識別子を構成する（ｎ×ｍ）次元の特徴量として出力する。
【０１０６】
特徴量の例２：特徴量抽出部８３７は、点２５３の正規化画像中の特徴量抽出領域から固定ビット長のＢＲＩＥＦ(Binary Robust Independent Elementary Feature)を抽出し、個体識別子を構成する固定次元数の特徴量として出力する。
【０１０７】
ただし、特徴量抽出部８３７が抽出する特徴量は上記の例に限定されない。例えば、特徴量抽出部８３７は、点２５３の正規化画像中の特徴量抽出領域からＳＩＦＴ特徴量を点識別子として抽出してもよい。この場合、特徴量抽出領域の画像から直接にＳＩＦＴ特徴量を抽出すると、粒２５６の１つが最小スケールになって方向が出ず、ディスクリプタが不安定になる。そのため、特徴量抽出領域の画像を所定の基準で低解像度化して濃淡パターンを有する画像を生成し、上記濃淡パターンを有する画像からＳＩＦＴ特徴量を抽出することが望ましい。しかし、識別力および識別照合の高速化の観点からは、ＳＩＦＴ特徴量よりも上述した固定次元数の特徴量を抽出する方が好ましい。
【０１０８】
《点識別子抽出部の他例》
図１１Ａは、本実施形態に係る点識別子抽出部６０２の機能構成の他例を示すブロック図である。図１１Ａには、点識別子抽出部６０２を含む録音装置２１０の一部を示している。図１１Ａを参照すると、本実施形態に係る点識別子抽出部６０２は、印刷物や試作品２５１の点識別子を抽出する機能を有する。なお、図１１Ａにおいて、図８Ａと同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
【０１０９】
点識別子抽出部６０２は、点画像から点識別子を抽出する機能を有する。本例の点識別子抽出部６０２は、主な機能部として、点領域決定部１１３３、および特徴量抽出部１１３４を有する。点識別子抽出部６０２のプログラムは、情報処理部の立ち上げ時等に外部のコンピュータ読み取り可能な記録媒体からメモリに読み込まれ、演算処理部の動作を制御することにより、演算処理部上に、点領域決定部１１３３、および特徴量抽出部１１３４といった機能構成部を実現する。
【０１１０】
点領域決定部１１３３は、画像記憶部８３２に記憶されている点２５３の平面形状の全体を、特徴量抽出領域として決定する機能を有する。
【０１１１】
特徴量抽出部１１３４は、画像記憶部８３２に記憶されている点２５３の画像中の上記特徴量抽出領域から、粒２５６の分布に依存する特徴量を抽出し、点識別子として出力する機能を有する。
【０１１２】
図１１Ｂは、本実施形態に係る点識別子抽出処理の他例の手順を示すフローチャートである。以下、図１１Ａおよび図１１Ｂを参照して点識別子抽出部６０２の動作を説明する。なお、図１１Ｂにおいて、図８Ｂと同様のステップには同じステップ番号を付して、重複する説明は省略する。
【０１１３】
点識別子抽出部６０２の点領域決定部１１３３は、点２５３の平面形状の全体を、特徴量抽出領域として決定する(ステップＳ１１０２)。点領域決定部１１３３は、点２５３の平面形状の全体は、例えば、点２５３の画像を２値化し、この２値化画像に対してモルフォロジー演算を行うことにより抽出することができる。
【０１１４】
次に、点識別子抽出部６０２の特徴量抽出部１１３４は、画像記憶部８３２に記憶されている点２５３の画像中の上記特徴量抽出領域から、粒２５６の分布に依存する特徴量を抽出し、点識別子として出力する(ステップＳ１１０３)。
【０１１５】
本実施形態では、座標系の正規化を行わないため、特徴量抽出部１１３４は画像の回転等に頑健な特徴量、例えばＳＩＦＴ特徴量を抽出する。ただし、特徴量抽出部１１３４が抽出する特徴量はＳＩＦＴ特徴量に限定されない。また、画像から直接にＳＩＦＴ特徴量を抽出すると、粒２５６の１つが最小スケールになって方向が出ず、ディスクリプタが不安定になり、インライア比率が小さくなって、マッチングが困難になる。そこで、本例では、以下のようにしてＳＩＦＴ特徴量を抽出する。
【０１１６】
特徴量抽出部１１３４は、まず、点２５３の特徴量抽出領域の画像を所定の基準で低解像度化する。これにより、点２５３における粒２５６の密度に依存する濃淡パターンを有する画像が生成される。次に、特徴量抽出部１１３４は、上記濃淡パターンを有する画像からＳＩＦＴ特徴量を抽出する。
【０１１７】
《点識別子抽出部のさらに他例》
図１２Ａは、本実施形態に係る点識別子抽出部６０２の機能構成のさらに他例を示すブロック図である。図１２Ａには、点識別子抽出部６０２を含む録音装置２１０の一部を示している。図１２Ａを参照すると、本実施形態に係る点識別子抽出部６０２は、印刷物や試作品２５１の点識別子を抽出する機能を有する。なお、図１２Ａにおいて、図８Ａまたは図１１Ａと同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
【０１１８】
点識別子抽出部６０２は、点画像から点識別子を抽出する機能を有する。本例の点識別子抽出部６０２は、主な機能部として、画像記憶部８３２、第１の特徴量抽出部１２３３、第２の特徴量抽出部１２３４、および特徴量統合部１２３５を有する。点識別子抽出部６０２のプログラムは、情報処理部の立ち上げ時等に外部のコンピュータ読み取り可能な記録媒体からメモリに読み込まれ、演算処理部の動作を制御することにより、演算処理部上に、第１の特徴量抽出部１２３３、第２の特徴量抽出部１２３４、および特徴量統合部１２３５といった機能構成部を実現する。
【０１１９】
第１の特徴量抽出部１２３３は、点２５３の画像から、点２５３の平面形状および粒２５６の分布に依存する特徴量を第１の特徴量として抽出する機能を有する。第１の特徴量抽出部１２３３は、例えば、図８Ａを参照して説明した座標系決定部８３３、正規化画像生成部８３４、正規化画像記憶部８３５、固定領域決定部８３６、および特徴量抽出部８３７によって実現することができる。あるいは第１の特徴量抽出部１２３３は、例えば、図１１Ａを参照して説明した点領域決定部１１３３、および特徴量抽出部１１３４によって実現することができる。
【０１２０】
第２の特徴量抽出部１２３４は、点２５３の画像から、点２５３の平面形状に依存する特徴量を第２の特徴量として抽出する機能を有する。例えば、第２の特徴量抽出部１２３４は、点２５３の画像から、点２５３の平面形状に依存するが、粒２５６の分布に依存しない特徴量を第２の特徴量として抽出する機能を有する。第２の特徴量抽出部１２３４が抽出する特徴量としては、例えば、図９Ｃを参照して説明した座標系決定部８３３が固有の座標系の軸を決定する過程で算出した最小または最大の２次モーメン卜を使用することができる。ただし、第２の特徴量抽出部１２３４が抽出する特徴量は、上記に限定されず、点２５３の平面形状の面積、周囲長など、他の特徴量を使用してもよい。
【０１２１】
特徴量統合部１２３５は、第１の特徴量抽出部１２３３によって抽出された第１の特徴量と第２の特徴量抽出部１２３４によって抽出された第２の特徴量とから点識別子を生成する機能を有する。例えば、特徴量統合部１２３５は、第１の特徴量と第２の特徴量とを連結した特徴量を点識別子とする。
【０１２２】
図１２Ｂは、本実施形態に係る点識別子抽出処理のさらに他例の手順を示すフローチャートである。以下、図１２Ａおよび図１２Ｂを参照して点識別子抽出部６０２の動作を説明する。なお、図１２Ｂにおいて、図８Ｂ、図１１Ｂと同様のステップには同じステップ番号を付して、重複する説明は省略する。
【０１２３】
点識別子抽出部６０２の第１の特徴量抽出部１２３３は、点２５３の画像から、点２５３の平面形状および粒２５６の分布に依存する第１の特徴量を抽出する(ステップＳ１２０２)。
【０１２４】
次に、点識別子抽出部６０２の第２の特徴量抽出部１２３４は、点２５３の画像から、点２５３の平面形状に依存する第２の特徴量を抽出する(ステップＳ１２０３)。
【０１２５】
次に、点識別子抽出部６０２の特徴量統合部１２３５は、第１の特徴量と第２の特徴量とを統合することにより点識別子を生成し、出力する(ステップＳ１２０４)。
【０１２６】
このように本例では、点識別子は、第１の特徴量と第２の特徴量とを有する。このため、本例で抽出された点識別子を使用する照合識別では、点識別子どうしの比較は、第１の特徴量どうしの比較、第２の特徴量どうしの比較、第１の特徴量と第２の特徴量とをあわせた全体どうしの比較という３パターンのいずれか１つあるいは２つあるいは３つ全ての組み合わせで実施することができる。そのため、例えば、最初に第２の特徴量どうしを比較して、同一または類似しない候補を除外し、残りの候補について第１の特徴量どうしを比較して最終的に識別照合するといった形態が可能になる。
【０１２７】
《録音装置のハードウェア構成》
図１３は、本実施形態に係る録音装置２１０のハードウェア構成を示すブロック図である。なお、図１３においては、タイムスタンプにより録音データと点画像または点識別子を対応付ける場合を説明するが、これに限定されない。また、図１３において、図２Ａ、図２Ｂおよび図４と同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
【０１２８】
図１３で、ＣＰＵ(Central Processing Unit)１３１０は演算制御用のプロセッサであり、プログラムを実行することで図４または図６の機能構成部を実現する。ＣＰＵ１３１０は１つであっても複数であってもよい。ＲＯＭ(Read Only Memory)１３２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。
【０１２９】
ＲＡＭ(Random Access Memory)１３４０は、ＣＰＵ１３１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１３４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。音声入力データ１３４１は、音声入力部（マイク）２１５から入力されたデータであり、録音時刻を表すタイムスタンプと音声フレームとを含む。撮像データ１３４２は、点撮像部（顕微鏡カメラ）２１３により撮像された画像データであり、点画像データと撮像時刻を表すタイムスタンプとを含む。操作入力データ１３４３は、操作部（スイッチなど）４０６からの入力データである。表示出力データ１３４４は、表示部（ランプなど）４０５への出力データである。
【０１３０】
ストレージ１３５０は、ＣＰＵ１３１０が使用する、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。点識別子抽出アルゴリズム１３５１は、録音装置２１０が点識別子でインデックスを付与する場合に使用される点識別子抽出のアルゴリズムである。ストレージ１３５０には、以下のプログラムが格納される。録音装置制御プログラム１３５２は、本録音装置２１０の全体を制御するプログラムである。録音制御モジュール１３５３は、音声入力部（マイク）２１５からの音声入力を録音部４４１に録音するためのモジュールである。インデックス生成モジュール１３５４は、点撮像部（顕微鏡カメラ）２１３により撮像された点画像をインデックスとするためのモジュールであり、撮像モジュールと、点識別子でインデックスを付与する場合に使用される点識別子抽出モジュールと、を含む。インデックス付与モジュール１３５５は、インデックス生成モジュール１３５４で生成された点画像や点識別子を録音データに対応付けてインデックスとして付与するモジュールである。
【０１３１】
入出力インタフェース１３６０は、入出力デバイスとのデータ入出力を制御するためのインタフェースである。本実施形態において、入出力インタフェース１３６０には、音声入力部（マイク）２１５、点撮像部（顕微鏡カメラ）２１３、表示部（ランプなど）４０５、操作部（スイッチなど）４０６、などが接続される。
【０１３２】
なお、図１３のＲＡＭ１３４０やストレージ１３５０には、録音装置２１０が有する汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。
【０１３３】
《録音装置の処理手順》
図１４は、本実施形態に係る録音装置２１０の処理手順を示すフローチャートである。このフローチャートは、図１３のＣＰＵ１３１０がＲＡＭ１３４０を使用して実行し、図４または図６の機能構成部を実現する。
【０１３４】
録音装置２１０は、ステップＳ１４０１において、パワーＯＮのスイッチ操作か否かを判定する。パワーＯＮのスイッチ操作があれば、録音装置２１０は、ステップＳ１４０３において、初期化などのパワーＯＮ処理を実行する。
【０１３５】
録音装置２１０は、ステップＳ１４１１において、録音開始のスイッチ操作か否かを判定する。録音開始のスイッチ操作であれば、録音装置２１０は、ステップＳ１４１３において、音声入力部（マイク）からの音声入力の開始処理を行う。そして、録音装置２１０は、ステップＳ１４１５において、タイムスタンプに紐付けた音声フレームの記録開始処理を行う。
【０１３６】
録音開始のスイッチ操作でなければ、録音装置２１０は、ステップＳ１４２１において、録音終了のスイッチ操作か否かを判定する。録音終了のスイッチ操作であれば、録音装置２１０は、ステップＳ１４２３において、音声フレームの記録部への記録終了処理を行う。そして、録音装置２１０は、ステップＳ１４２５において、音声入力部（マイク）からの音声入力の終了処理を行う。
【０１３７】
録音開始のスイッチ操作でなく、録音終了のスイッチ操作でなければ、録音装置２１０は、ステップＳ１４３１において、インデックス用点画像の撮像か否かを判定する。インデックス用点画像の撮像であれば、録音装置２１０は、ステップＳ１４３３において、インデックス用点画像を撮像する。点識別子でインデックスを付与する場合、録音装置２１０は、ステップＳ１４３５において、撮像した点画像から点識別子を抽出する。そして、録音装置２１０は、ステップＳ１４３７において、点画像（または点識別子）をタイムスタンプに紐付けて格納部への格納処理を行う。
【０１３８】
録音開始、録音終了またはインデックス付与のいずれかの処理が終了すると、録音装置２１０は、ステップＳ１４４１において、パワーＯＦＦのスイッチ操作か否かを判定する。パワーＯＦＦのスイッチ操作がなければ、録音装置２１０は、ステップＳ１４１１からの処理を繰り返す。一方、パワーＯＦＦのスイッチ操作があれば、録音装置２１０は、ステップＳ１４４３において、パワーＯＦＦ処理を行い終了する。
【０１３９】
なお、本実施形態においては、点記載処理と点撮像処理との関連については示していないが、例えば、点記載処理を検出して点記載時刻をタイムスタンプにしたり、点記載処理を検出して点撮像処理の準備を開始したりするなどの対応付けをすれば、より正確で効率的なインデックス付与ができる。
【０１４０】
本実施形態によれば、録音中の音声に対応付けて、撮像された点画像や点画像から抽出された点識別子をインデックスとして付与するので、録音中に、現場においてユーザが望む任意のタイミングにおいて、簡単な操作により録音データに再生時の頭出し用インデックスを付与することができる。
【０１４１】
特に、会話中の代名詞の“ここ”や連体詞の“この”などの音声では特定できない対象物に対応付けられた録音データを頭出しすることが可能になるので、録音データの再生位置の特定と、再生内容の理解とが簡単な操作で容易に実現される。
【０１４２】
［第３実施形態］
次に、第３実施形態に係る録音装置について説明する。本実施形態に係る録音装置は、上記第２実施形態と比べると、録音データおよび録音データにインデックスとして対応付けられた点画像または点識別子を記録する記録部を外部に有する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【０１４３】
《記録再生システムの概要》
図１５は、本実施形態に係る録音装置１５１０を含む記録再生システム１５００の概要を示す図である。なお、図１５において、図２Ａと同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
【０１４４】
図１５の記録再生システム１５００は、録音装置１５１０と、スマートフォンなどの携帯端末１５２０と、サーバやパーソナルコンピュータとしての情報処理装置１５３０と、携帯端末１５２０と情報処理装置１５３０とを無線接続するネットワーク１５４０と、を備える。
【０１４５】
録音装置１５１０は、携帯端末１５２０に接続可能なインタフェースケーブル１５１１、例えばＵＳＢケーブルを備えている。録音装置１５１０の音声入力部（マイク）２１５から入力された音声には、点記載部および点撮像部を含むスタンプ形式のペン２８１により取得された点画像または点識別子がインデックスとして付与されて、インタフェースケーブル１５１１を介して携帯端末１５２０に出力される。携帯端末１５２０から情報処理装置１５３０へはネットワーク１５４０を介して、録音データとインデックスデータとが対応付けて送信される。情報処理装置１５３０の音声記録部１５３１には、録音データとインデックスデータとが対応付けて記録される。
【０１４６】
なお、点画像の取得は、スタンプ形式のペン２８１でなく、点撮像部２１３により行われてもよい。
【０１４７】
《録音装置の機能構成》
図１６は、本実施形態に係る録音装置１５１０の機能構成を示すブロック図である。なお、図１６において、図４や図６と同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
【０１４８】
音声記憶部１５４１と点画像／点識別子記憶部１５４２とは、一時記憶部であってよく、録音データとインデックスデータとしての点画像／点識別子は、音声／インデックス出力部１５０８からＵＳＢなどの出力インタフェース１５０９を介して、携帯端末１５２０に出力される。
【０１４９】
《他の記録再生システムの概要》
図１７は、本実施形態に係る録音装置１７１０を含む他の記録再生システム１７００の概要を示す図である。なお、図１７において、図２Ａや図１５と同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
【０１５０】
図１７の記録再生システム１７００は、録音装置１７１０と、サーバやパーソナルコンピュータとしての情報処理装置１５３０と、録音装置１７１０と情報処理装置１５３０とを無線接続するネットワーク１５４０と、を備える。
【０１５１】
録音装置１７１０は、ネットワーク１５４０に接続可能な通信制御部１７０９を備えている。録音装置１７１０の音声入力部（マイク）２１５から入力された音声には、点撮像部２１３により取得された点画像または点識別子がインデックスとして付与されて、通信制御部１７０９を介して情報処理装置１５３０に送信されて、音声記録部１５３１に記録される。
【０１５２】
《他の録音装置の機能構成》
図１８は、本実施形態に係る他の録音装置１７１０の機能構成を示すブロック図である。なお、図１８において、図４や図６、図１６と同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
【０１５３】
音声記憶部１５４１と点画像／点識別子記憶部１５４２とは、一時記憶部であってよく、録音データとインデックスデータとしての点画像／点識別子は、音声／インデックス送信部１７０８から通信制御部１７０９を介して情報処理装置１５３０に送信される。
【０１５４】
本実施形態によれば、上記実施形態の効果に加えて、より簡単な構成の録音装置が提供され、電力消費を抑制することができる。
【０１５５】
［第４実施形態］
次に、第４実施形態に係る録音装置について説明する。本実施形態に係る録音装置は、上記第２実施形態および第３実施形態と比べると、音声入力部としてのマイクを外部に有する点で異なる。その他の構成および動作は、第２実施形態や第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【０１５６】
《記録再生システムの概要》
図１９は、本実施形態に係る録音装置１９１０の概要を示す図である。なお、図１９において、図２Ａや図４、図６と同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
【０１５７】
図１９の録音装置１９１０は、ペン型のインデックス取得部１９１１と、音声入力部（マイク）１９１５と、インデックス取得部１９１１と音声入力部（マイク）１９１５とが接続されて、インデックスが付与された音声データを記録する音声記録部１９１２と、を備える。
【０１５８】
《録音装置の機能構成》
図２０は、本実施形態に係る録音装置１９１０の機能構成を示すブロック図である。なお、図１９において、図２Ａや図４、図６、図１５、図１７と同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
【０１５９】
録音装置１９１０は、インデックス取得部１９１１と、音声入力部（マイク）１９１５と、音声記録部１９１２と、を備える。音声記録部１９１２は、音声入力部（マイク）１９１５から入力音声を取得する音声取得部２０２１と、インデックス取得部１９１１から点画像を取得する点画像取得部２０２２と、を有する。
【０１６０】
本実施形態によれば、上記実施形態の効果に加えて、さらに簡単な構成の録音装置が提供され、電力消費をさらに抑制することができる。
【０１６１】
［第５実施形態］
次に、第５実施形態に係る録音装置について説明する。本実施形態に係る録音装置は、上記第２実施形態乃至第４実施形態と比べると、録音装置が再生機能を有する点で異なる。その他の構成および動作は、第２実施形態から第４実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【０１６２】
《記録再生システムの概要》
図２１は、本実施形態に係る録音装置２１１０による記録再生システム２１００の概要を示す図である。図２１の録音装置２１１０は、録音機能および再生機能を備え、本実施形態の記録再生システム２１００の両機能を実現する。なお、図２１において、図２Ａと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
【０１６３】
図２１における記録時２１３０には、録音装置２１１０の録音機能を動作させ、音声入力部２１５から音声を入力する。そして、点記載部２１１により印刷物２５２上に点２５３を記載して、点撮像部２１３で点２５３を撮像して、点画像または点識別子を録音データにインデックスとして付与して、内部メモリやメモリカードに記録する。
【０１６４】
図２１における再生時２１４０には、左方のように、点撮像部２１３で点２５３を撮像して、内部メモリに記録されたインデックスとしての点画像または点識別子と照合して、一致したインデックスに対応付けられた内部メモリの録音データを再生する。また、右方のように、点撮像部２１３で点２５３を撮像して、メモリカードに記録されたインデックスとしての点画像または点識別子と照合して、一致したインデックスに対応付けられたメモリカードの録音データを再生する。
【０１６５】
なお、右方のメモリカードからの再生は、録音装置２１１０自身で録音した録音データに限定されず、他の録音装置により録音された録音データもそのメモリカードを差し込むことで、頭出し再生が可能である。
【０１６６】
（動作シーケンス）
図２２は、本実施形態に係る録音装置２１１０による記録再生システム２１００の動作手順を示すシーケンス図である。図２２においては、録音時刻と撮像時刻とを対応付けてインデックス付与する例を示すが、他のインデックス方法でもよい。
【０１６７】
録音装置２１１０の制御部は、ステップＳ２２１１において、モードスイッチなどにより録音モードに設定する。そして、制御部は、ステップＳ２２１３において、録音開始スイッチなどにより録音開始を指示する。音声入力部（マイク）は、ステップＳ２２１５において、音声入力処理を開始する。入力された音声は録音装置２１１０の制御部に送られ、制御部は、ステップＳ２２１７において、タイムスタンプに紐付けて音声フレームを音声記録部６０４の録音部４４１に記録する。
【０１６８】
ユーザが録音装置２１１０によるインデックス付与を望む場合、点記載部（ペン）によりステップＳ２２２１において、印刷物や試作品の対象位置に点を記載する。そして、制御部は、ステップＳ２２２３において、点画像の撮像を点撮像部に指示する。点撮像部（顕微鏡カメラ）は、ステップＳ２２２５において、記載された点画像を撮像する。なお、点記載部および点撮像部が一体のスタンプ型のペン２８１の場合は、ステップＳ２２２３無しに、ステップＳ２２２１からステップＳ２２２５に進む。制御部は、ステップＳ２２２７において、点画像から点識別子を抽出する。制御部は、ステップＳ２２２９において、タイムスタンプに紐付けて点識別子を音声記録部６０４の点識別子格納部６４２に格納する。
【０１６９】
録音装置２１１０の制御部は、ステップＳ２２３１において、モードスイッチなどにより再生モードに設定する。ユーザが、付与したインデックスによる録音装置２１１０からの再生の頭出しを望む場合、制御部は、ステップＳ２２３３において、印刷物や試作品に所望位置に記載されている点の撮像を点撮像部に指示する。点撮像部（顕微鏡カメラ）は、ステップＳ２２３５において、記載されている点画像を撮像する。制御部は、ステップＳ２２３７において、点画像から点識別子を抽出する。制御部は、ステップＳ２２３９において、音声記録部６０４の点識別子格納部６４２から記録された点識別子を読出して、抽出した点識別子と照合する。そして、点識別子が一致した場合、制御部は、ステップＳ２２４１において、一致した点識別子をインデックスとして録音再生を頭出しする。なお、ステップＳ２２４１において、インデックス付与時刻（位置）と録音時刻（位置）とのズレを調整する再生タイミング調整を行ってもよい。調整時間は固定であっても、実際のズレに合わせて可変であってもよい。
【０１７０】
音声再生部（スピーカ）は、ステップＳ２２４３において、録音部４４１のインデックス時刻（位置）から頭出し再生開始をする。
【０１７１】
なお、図２２においては、記録容量を削減するため点識別子をインデックスとして記録したが、点画像を記録して照合時に点識別子を抽出してもよい。
【０１７２】
《録音装置の機能構成》
図２３は、本実施形態に係る録音装置２１１０の機能構成を示すブロック図である。なお、図２３において、図２Ａ、図４、図６と同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
【０１７３】
点識別子照合部２３０８は、録音モード時に、点識別子格納部６４２に格納された点識別子と、再生モード時に、撮像した点画像から抽出された点識別子とを照合する。点識別子の差が所定の閾値以下であれば、点識別子の一致と見なす。再生音声取得部２３０９は、一致と判定された点識別子をインデックスとして、録音部４４１から音声データを取得して、音声出力部（スピーカ）２３１０に送る。音声出力部（スピーカ）２３１０は、点の記載された印刷物や試作品などの対象位置に対応付けられた音声から頭出し出力する。
【０１７４】
《録音装置のハードウェア構成》
図２４は、本実施形態に係る録音装置２１１０のハードウェア構成を示すブロック図である。なお、図２４において、図１３と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
【０１７５】
ＲＡＭ２４４０は、ＣＰＵ１３１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ２４４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。動作モード２４４１は、録音装置２１１０の動作モードが録音モードか再生モードかのフラグである。撮像データ２４４２は、点撮像部（顕微鏡カメラ）２１３により撮像されたデータであり、点識別子と撮像時刻を表すタイムスタンプとを含む。格納データ２４４５は、記録部２１４の点識別子格納部６４２にインデックスとして格納されたデータであり、点識別子と撮像時刻を表すタイムスタンプとを含む。点識別子照合結果２４４６は、照合結果が一致である場合の点識別子である。音声出力データ２４４７は、音声出力部（スピーカ）２３１０から音声出力するためのデータであり、タイミスタンプと音声フレームとを含む。
【０１７６】
ストレージ２４５０は、ＣＰＵ１３１０が使用する、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ２４５０には、以下のプログラムが格納される。モード設定モジュール２４５２は、録音装置２１１０の動作モードを録音モードか再生モードかのいずれかに設定するモジュールである。再生制御モジュール２４５６は、音声出力データ２４４７を記録部２１４の録音部４４１から取得して、音声出力部（スピーカ）２３１０からの音声出力するためのモジュールである。点識別子照合モジュール２４５７は、再生モード時に、撮像した点から抽出した点識別子と、点識別子格納部６４２にインデックスとして格納された点識別子との照合を行うモジュールである。再生頭出しモジュール２４５８は、点識別子照合モジュール２４５７が点識別子の一致を判定した場合に、その点識別子をインデックスとして録音部４４１から対応付けられた録音データを読出して、音声出力部（スピーカ）２３１０から出力するモジュールである。
【０１７７】
入出力インタフェース２４６０は、入出力デバイスとのデータ入出力を制御するためのインタフェースを行なう。本実施形態においては、入出力インタフェース２４６０には、音声出力部（スピーカ）２３１０が接続される。
【０１７８】
なお、図２４のＲＡＭ２４４０やストレージ２４５０には、録音装置２１１０が有する汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。
【０１７９】
《録音装置の処理手順》
図２５Ａは、本実施形態に係る録音装置２１１０の処理手順を示すフローチャートである。このフローチャートは、図２４のＣＰＵ１３１０がＲＡＭ２４４０を使用して実行し、図２３の機能構成部を実現する。なお、図２５Ａにおいて、図１４と同様のステップには同じステップ番号を付して、重複する説明を省略する。
【０１８０】
録音装置２１１０は、ステップＳ２５１１において、録音モードであるか否かを判定する。録音モードである場合、録音装置２１１０は、ステップＳ２５１３において、点画像や点識別子によるインデックス付与が可能な録音処理を実行する。なお、ステップＳ２５１３の録音処理は、図１４のステップＳ１４１１〜Ｓ１４３７と同様であるので、重複する説明は省略する。
【０１８１】
録音モードでない場合、録音装置２１１０は、ステップＳ２５２１において、再生モードであるか否かを判定する。再生モードである場合、録音装置２１１０は、ステップＳ２５２３において、点画像や点識別子によるインデックス付与を利用した頭出し再生を含む再生処理を実行する。
【０１８２】
（再生処理）
図２５Ｂは、本実施形態に係る再生処理（Ｓ２５２３）の手順を示すフローチャートである。
【０１８３】
録音装置２１１０は、ステップＳ２５３１において、点画像を撮像するインデックスデータの取得であるか否かを判定する。インデックスデータの取得でなければ、録音装置２１１０は、ステップＳ２５５１において、頭出しの無い通常の再生処理を行う。
【０１８４】
インデックスデータの取得であれば、録音装置２１１０は、ステップＳ２５３３において、撮像した点画像から点識別子を抽出する。録音装置２１１０は、ステップＳ２５３５において、点画像から抽出した点識別子と、録音時にインデックスとして記録された点識別子とを照合する。録音装置２１１０は、ステップＳ２５３７において、点識別子が一致したか否かを判定する。なお、一致の判定は、点識別子の差が所定閾値以内であれば一致と判定する。点識別子が一致した場合、録音装置２１１０は、ステップＳ２５３９において、一致数を１つカウントアップする。なお、最初の一致数は“０”である。一致数を１つカウントアップした後、あるいは、点識別子が一致しなかった場合、録音装置２１１０は、ステップＳ２５４１において、録音データに対応付けられた全点識別子との照合が完了したか否かを判定する。全点識別子との照合が完了してなければ、録音装置２１１０は、ステップＳ２５３５から、全点識別子との照合が完了するまで残りの点識別子との照合を繰り返す。
【０１８５】
全点識別子との照合が完了すると、録音装置２１１０は、ステップＳ２５４３において、一致数に従って３つに分岐する。一致数が“１”の場合、録音装置２１１０は、ステップＳ２５４５において、必要であれば頭出しタイミングの調整を行って、録音データの再生を開始する。また、一致数が“２以上”の場合、録音装置２１１０は、ステップＳ２５４７において、複数の頭出し候補を表示画面に表示する。そして、録音装置２１１０は、ステップＳ２５４９において、ユーザの頭出し選択指示を待って、指示があれば、録音装置２１１０は、ステップＳ２５４５において、録音データの再生を開始する。なお、複数の頭出し候補の表示ができない場合は、スキップスイッチで順に先送りする構成であってもよい。一致数が“０”の場合、録音データの再生はしない（あるいは、エラー通知をしてもよい）。
【０１８６】
なお、インデックスとしての点識別子が録音中に１回である場合、すなわち、同じ点の撮像は１回と制限している場合には、ステップＳ２５３７で一致と判定された場合、直ぐに、ステップＳ２５４５の頭出し再生を行うことができる。
【０１８７】
本実施形態によれば、上記実施形態の効果に加えて、携帯可能な録音装置により録音と頭出し再生を独立に実現することができる。例えば、メモリカードからの再生は、録音装置自身で録音した録音データに限定されず、他の録音装置により録音された録音データもそのメモリカードを差し込むことで、頭出し再生が可能である。
【０１８８】
［第６実施形態］
次に、第６実施形態に係る録音装置について説明する。本実施形態に係る録音装置は、上記第５実施形態と比べると、再生を高機能の端末やコンピュータに委ねる点で異なる。その他の構成および動作は、第５実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【０１８９】
《記録再生システムの概要》
図２６は、本実施形態に係る録音装置２１０を含む記録再生システム２６００の概要を示す図である。記録再生システム２６００においては、ペン型の録音装置２１０は録音と再生時の頭出し指示のみを行い、負荷のかかる再生処理は、サーバやコンピュータとしての情報処理装置や、スマートフォンなどの携帯端末で実行する。なお、図２６において、図２Ａと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
【０１９０】
記録再生システム２６００は、録音と再生時の頭出し指示のみを行う録音装置２１０と、情報処理装置２６２０と、携帯端末２６３０と、を備える。情報処理装置２６２０は、メモリカードや通信により、録音装置２１０から録音データとインデックスとしての点画像や点識別子を取得して、再生時の録音装置２１０からの点画像や点識別子を用いて頭出し再生を含む再生処理を行う。情報処理装置２６２０は、記録部と点識別子格納部とを含む音声記録部２６２１と、点識別子照合部２６２２と、音声再生部２６２３と、を有する。点識別子照合部２６２２は、点識別子格納部にインデックスとして格納された点識別子と、再生時に録音装置２１０から取得した点画像の点識別子とを照合する。音声再生部２６２３は、音声出力部（スピーカ）２６２４から点識別子でインデックスされた音声を頭出し再生する。
【０１９１】
携帯端末２６３０は、音声出力部（スピーカ）２６３４を有し、情報処理装置２６２０からの再生指示に従って、頭出し再生音声の出力を行う。
【０１９２】
（動作シーケンス）
図２７Ａは、本実施形態に係る録音装置２１０を含む記録再生システム２６００の動作手順を示すシーケンス図である。図２７Ａは、録音装置２１０が点画像から点識別子を抽出する点識別子抽出機能を有しない場合のシーケンス図である。なお、図２７Ａにおいて、図２２と同様のステップには同じステップ番号を付して、重複する説明を省略する。
【０１９３】
録音装置２１０の音声記録部（メモリカード）２１４の内容は、情報処理装置２６２０の音声記録部２６２１にコピーされる。なお、本例では、インデックスとして、点画像格納部に点画像が格納されている。
【０１９４】
再生モードにおいて、録音装置２１０の制御部は、ステップＳ２７３５において撮像した点画像を情報処理装置２６２０の制御部に出力（送信）する。
【０１９５】
情報処理装置２６２０の制御部は、ステップＳ２７３７において、撮像した点画像から点識別子を抽出する。制御部は、ステップＳ２７３９において、音声記録部２６２１の点画像格納部から点画像を取得する。制御部は、ステップＳ２７４１において、取得した点画像から点識別子を抽出する。制御部は、ステップＳ２７４３において、撮像した点画像の点識別子と、点画像格納部から取得した点画像の点識別子とを照合する。情報処理装置２６２０の制御部は、ステップＳ２７４５において、照合結果が一致した点識別子の対応付けられた録音データを録音部から取得する。
【０１９６】
制御部は、ステップＳ２７４７において、録音部から取得した録音データの再生を音声出力部（スピーカ）に指示する。音声出力部（スピーカ）は、ステップＳ２７４７において、点画像をインデックスとした頭出し録音再生開始をする。
【０１９７】
図２７Ｂは、本実施形態に係る録音装置２１０を含む記録再生システム２６００の他の動作手順を示すシーケンス図である。なお、図２７Ｂにおいて、図２２および図２７Ａと同様のステップには同じステップ番号を付して、重複する説明を省略する。
【０１９８】
図２７Ｂにおいては、図２７Ａに、点識別子抽出の処理（Ｓ２２２７およびＳ２２３７）が追加され、情報処理装置２６２０の制御部における、点識別子抽出の処理（Ｓ２７３７およびＳ２７４１）が削除されている。他のステップは同様であるので、重複する説明は省略する。
【０１９９】
《情報処理装置の機能構成》
図２８は、本実施形態に係る端末やコンピュータとしての情報処理装置２６２０の機能構成を示すブロック図である。なお、図２８において、図２６と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
【０２００】
情報処理装置２６２０は、通信制御部２８０１と、入出力インタフェース２８０２と、音声記録部２６２１と、インデックス取得部２８０４と、点識別子抽出部２８０５と、点識別子照合部２８０６と、再生頭出し部２８０７と、再生音声データ出力部２８０８と、を備える。また、情報処理装置２６２０は、入出力インタフェース２８０２に接続する、音声記憶部（メモリカード）２１４と、インデックス用点画像入力部２８２１と、音声出力部（スピーカ）２６２４と、表示部２８２２と、操作部２８２３と、を備える。なお、音声記憶部（メモリカード）２１４とインデックス用点画像入力部２８２１とは、通信により録音データやインデックス用の点識別子を録音装置２１０から受信する場合には必要としない。
【０２０１】
通信制御部２８０１は、通信により録音データやインデックス用の点識別子を録音装置２１０から受信する場合に、通信の制御を行う。インデックス取得部２８０４は、点画像取得部２８４１と、点識別子抽出部２８４２と、点識別子取得部２８４３と、を有する。すなわち、インデックス取得部２８０４の構成により、インデックスが点画像で記録されている場合は、点画像を取得して点識別子抽出部で点識別子を抽出して、点識別子照合部２８０６で照合する。一方、インデックスが点識別子で記録されている場合は、点識別子を取得してそのまま点識別子照合部２８０６で照合する。
【０２０２】
点識別子照合部２８０６は、録音時に記録部に記録された点画像のインデックスと、再生時に撮像された点画像のインデックスとを、点識別子で照合する。再生頭出し部２８０７は、点識別子照合部２８０６の照合で点識別子が一致した場合に、その点識別子に対応付けられた録音データを録音部から取得する。再生音声データ出力部２８０８は、再生頭出し部２８０７が取り出した録音データに基づいて、音声出力部（スピーカ）２６２４から音声出力させる。
【０２０３】
《情報処理装置のハードウェア構成》
図２９は、本実施形態に係る端末やコンピュータとしての情報処理装置２６２０のハードウェア構成を示すブロック図である。なお、図２９において、図２６および図２８と同様の構成要素には同じ参照番号を付して、重複する説明は省略する。
【０２０４】
図２９で、ＣＰＵ２９１０は演算制御用のプロセッサであり、プログラムを実行することで図２８の機能構成部を実現する。ＣＰＵ２９１０は１つであっても複数であってもよい。ＲＯＭ２９２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。ネットワークインタフェース２９３０は、ネットワークを介して外部装置と通信する。
【０２０５】
ＲＡＭ２９４０は、ＣＰＵ２９１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ２９４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。撮像データ２９４１は、録音装置２１０から取得した点の撮像データである。インデックス照合データ２９４２は、頭出しのためにインデックス照合するためのデータであり、撮像された点画像と点画像から抽出された点識別子とを含む。読出した点識別子２９４３は、音声記録部２６２１から読出したインデックスとしての点識別子のデータである。点識別子照合結果２９４４は、撮像された点画像から抽出された点識別子と、音声記録部２６２１から読出した点識別子との照合結果のデータであり、一致した点識別子である。再生音声データ２９４５は、一致した点識別子をインデックスとして音声記録部２６２１の録音部から再生された音声データである。送受信データ２９４６は、ネットワークインタフェース２９３０を介して送受信されるデータである。入出力データ２９４７は、入出力インタフェース２８０２に接続された入出力機器によって入出力されるデータである。
【０２０６】
ストレージ２９５０は、ＣＰＵ２９１０が使用する、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。音声記録部２６２１は、録音データとインデックスとしての点画像または点識別子とを記憶する。点識別子抽出アルゴリズム２９５１は、点画像から点識別子を抽出するアルゴリズムである。ストレージ２９５０には、以下のプログラムが格納される。情報処理装置制御プログラム２９５２は、本情報処理装置２６２０の全体を制御するプログラムである。録音データ取得モジュール２９５３は、録音装置２１０から録音データを取得するモジュールである。点識別子抽出モジュール２９５５は、点画像から点識別子を抽出するモジュールである。点識別子照合モジュール２９５６は、撮像された点画像から抽出された点識別子と、音声記録部２６２１から読出した点識別子とを照合するモジュールである。録音再生モジュール２９５７は、一致した点識別子をインデックスとして録音データの頭出し再入出力インタフェース２８０２は、入出力デバイスとのデータ入出力を制御するためのインタフェースを行なう。本実施形態においては、入出力インタフェース２８０２には、図２８に示したように、音声記憶部（メモリカード）２１４と、インデックス用点画像入力部２８２１と、音声出力部（スピーカ）２６２４と、表示部２８２２と、操作部２８２３と、が接続される。
【０２０７】
なお、図２９のＲＡＭ２９４０やストレージ２９５０には、情報処理装置２６２０が有する汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。
【０２０８】
《情報処理装置の処理手順》
図３０は、本実施形態に係る端末やコンピュータとしての情報処理装置２６２０の処理手順を示すフローチャートである。このフローチャートは、図２９のＣＰＵ２９１０がＲＡＭ２９４０を使用して実行し、図２８の機能構成部を実現する。
【０２０９】
情報処理装置２６２０は、ステップＳ３０１１において、録音データの取得であるか否かを判定する。録音データの取得でれば、情報処理装置２６２０は、ステップＳ３０１３において、録音データの取得処理を実行する。なお、録音データの取得は、インデックスとしての点画像や点識別子の取得も含む。
【０２１０】
録音データの取得でない場合、情報処理装置２６２０は、ステップＳ３０２１において、録音データの再生であるか否かを判定する。録音データの再生であれば、情報処理装置２６２０は、ステップＳ３０２３において、撮像された点画像や点識別子によりインデックスされた頭出し再生を含む、録音データの再生処理を実行する。
【０２１１】
（再生処理）
図３０におけるステップＳ３０２３の再生処理は、録音装置２１１０による図２５Ｂにおける再生処理（Ｓ２５２３）と主体が情報処理装置２６２０に代わるのみで同様であるので、図示および説明は省略する。なお、インデックスデータの取得時に点識別子が取得できる場合は、ステップＳ２５３３は削除される。
【０２１２】
本実施形態によれば、上記実施形態の効果に加えて、より容易な操作により高速に録音データの頭出し処理ができる。
【０２１３】
［第７実施形態］
次に、第７実施形態に係る録画装置について説明する。本実施形態に係る録画装置は、上記第２実施形態乃至第６実施形態と比べると、録画において頭出し用インデックスを付与する点で異なる。その他の構成および動作は、第２実施形態から第６実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【０２１４】
《記録再生システムの概要》
図３１は、本実施形態に係る録画装置３１１０を含む記録再生システム３１００の概要を示す図である。図３１において、図１９と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
【０２１５】
記録再生システム３１００は、ペン型のインデックス取得部１９１１と、点画像または点識別子のみを記録する記録部（メモリカード）３１１４と、録画用のビデオカメラ３１１２と、情報処理装置３１２０と、携帯端末３１３０と、を備える。
【０２１６】
ビデオカメラ３１１２は、動画および音声を取得する。情報処理装置３１２０は、ビデオカメラ３１１２から受信した動画および音声と、メモリカードや通信により、インデックス取得部１９１１から取得したインデックスとしての点画像や点識別子とを記録して、再生時のインデックス取得部１９１１からの点画像や点識別子を用いて頭出し再生を含む録画再生処理を行う。情報処理装置３１２０は、録画部と点識別子格納部とを含む動画記録部３１２１と、点識別子照合部３１２２と、動画再生部３１２３と、表示部３１２４と、を有する。点識別子照合部３１２２は、点識別子格納部にインデックスとして格納された点識別子と、再生時にインデックス取得部１９１１から取得した点画像の点識別子とを照合する。動画再生部３１２３は、表示部３１２４から点識別子でインデックスされた動画を頭出し再生する。
【０２１７】
携帯端末３１３０は、表示画面３１３４を有し、情報処理装置３１２０からの再生指示に従って、頭出し再生動画の出力を行う。
【０２１８】
図３１において、インデックス取得部１９１１と、ビデオカメラ３１１２と、動画記録部３１２１とを、録画装置３１１０と見なすことができる。
【０２１９】
なお、ペン型のインデックス取得部１９１１は、録音装置２１０などによって代替してもよい。あるいは、ビデオカメラ３１１２では動画のみを取得し、録音装置２１０などによって音声を録音する構成であってもよい。
【０２２０】
《録画装置の機能構成》
図３２は、本実施形態に係る録画装置３１１０の機能構成を示すブロック図である。なお、図３２において、図２Ａ、図１９および図３１と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
【０２２１】
録画装置３１１０は、インデックス取得部１９１１と、動画入力部（ビデオカメラ）３１１２と、動画記録部３１２１と、を備える。動画記録部３１２１は、動画入力部（ビデオカメラ）３１１２から入力動画を取得する動画取得部３２２１と、インデックス取得部１９１１から点画像を取得する点画像取得部２０２２と、を有する。さらに、動画記録部３１２１は、動画と点画像または点識別子とを対応付けるインデックス付与部３２３６と、動画データを記録する録画部３２４１と、を有する。
【０２２２】
《情報処理装置の機能構成》
図３３は、本実施形態に係る端末またはコンピュータとしての情報処理装置３１２０の機能構成を示すブロック図である。なお、図３３において、図２６および図２８と同様の構成要素には同じ参照番号を付して、重複する説明を省略する。
【０２２３】
情報処理装置３１２０は、動画記録部３１２１と、録画の再生頭出し部３３０７と、再生動画データ出力部３３０８と、を備える。再生頭出し部３３０７は、点識別子照合部２８０６の照合で点識別子が一致した場合に、その点識別子に対応付けられた録画データを動画録画部から取得する。再生動画データ出力部３３０８は、再生頭出し部３３０７が取り出した録画データに基づいて、表示部２８２２から動画出力させ、音声出力部（スピーカ）２６２４から音声出力させる。
【０２２４】
本実施形態によれば、録画中の動画に対応付けて、撮像された画像をインデックスとして付与するので、録画中に、ユーザが望む任意のタイミングにおいて、簡単な操作により録画データに再生時の頭出し用インデックスを付与することができる。
【０２２５】
［他の実施形態］
上記実施形態においては、点画像または点識別子をインデックスとする録音や録画などの記録と、点画像または点識別子に基づく録音や録画の頭出し再生について説明した。しかし、点画像または点識別子をインデックスとする現場での録音や録画に基づく、統計的な情報処理も容易に可能となる。
【０２２６】
図３４は、他の実施形態に係る点に基づく統計処理用の録音データ分析テーブル３４００の構成を示す図である。録音データ分析テーブル３４００は、同じ点であると一致判定された点識別子グループ３４０１と付与した点の参照回数３４０２とを記憶する。また、点識別子グループ３４０１に対応つけて、複数の点参照における、時刻順にソートされたタイムスタンプ３４０３と、点識別子３４０４と、音声フレーム３４０５と、を記憶する。そして、参照回数３４０２や音声フレーム３４０５の内容から分析した、対象評価分析３４０６を記憶する。なお、この場合には、点画像や点識別子に関連する音声フレームの終了を設定できれば、さらに望ましい。このように、現場で点を記載してインデックス付与された録音データを点識別子により分類して、タイムスタンプ順にソーティングする。これにより、現場でどこが注目されたか、どんな注目であったか、問題提起と解決提案の関係、などを評価分析することが可能である。
【０２２７】
また、上記実施形態においては、点画像または点識別子によるインデックス付与について説明したが、これに限定されるものではない。例えば、図３５のテーブル３５００に図示したように、他のインデックス用識別情報も使用可能であり、同様の効果を奏する。
【０２２８】
図３５において、参照媒体３５０１と、インデックス用識別情報３５０２と、識別子３５０３と、識別子生成方法３５０４と、が対応付けられて格納されている。例えば、行３５０５には、本実施形態において示したように、紙／樹脂／金属に対して、点をインデックスとし、識別子としては点識別子を使用する。行３５０６には、紙／樹脂／金属に対して、記号や文字をインデックスとし、識別子としてはパターン識別子を使用する。行３５０７には、紙／樹脂／金属に対して、媒体表面をインデックスとし、識別子としては模様識別子を使用する。行３５０８には、樹脂／金属に対して、形状をインデックスとし、識別子としては形状識別子を使用する。なお、本開示で使用可能なインデックス用識別情報はこれらに限定されない。ユーザが、現場において簡単な操作で識別性のよい頭出しインデックスを生成できるものであればよい。なお、識別性がよいとは、同じ識別子あるいは類似の識別子が出にくい、各識別子の距離が離れている場合を言う。
【０２２９】
また、実施形態を参照して本開示を説明したが、本開示は上記実施形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本開示の範疇に含まれる。
【０２３０】
また、本実施形態は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本開示は、実施形態の機能を実現する情報処理プログラムあるいは録音制御プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本開示の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本開示の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本開示の範疇に含まれる。
【０２３１】
［実施形態の他の表現］
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
音声を録音する録音手段と、
録音された前記音声を索引するインデックスとなる画像を撮像するための撮像手段と、録音中に、録音された音声データに、撮像された前記画像をインデックスとして付与するインデックス付与手段と、
を備える録音装置。
（付記２）
前記画像は、筆記具で記載された点画像である付記１に記載の録音装置。
（付記３）
さらに、点を記載する点記載手段を備える付記１または２に記載の録音装置。
（付記４）
さらに、前記点記載手段による前記点の記載処理と前記インデックス生成用撮像手段による前記点の撮像とを連動する連動手段を備える付記２または３に記載の録音装置。
（付記５）
さらに、前記点画像から点特徴量を抽出して点識別子とする点識別子抽出手段を備え、前記インデックス付与手段は、録音中の前記音声に対して、撮像された前記点画像の点識別子をインデックスとして付与する付記２乃至４のいずれか１項に記載の録音装置。
（付記６）
前記インデックス付与手段は、録音中の前記音声に対して、前記画像が撮影された時刻と対応する位置に前記インデックスを付与する付記１乃至５のいずれか１項に記載の録音装置。
（付記７）
前記インデックス付与手段は、録音中の前記音声の録音位置を前記画像からポイントするように、前記インデックスを付与する付記１乃至５のいずれか１項に記載の録音装置。
（付記８）
通信端末と接続可能なインタフェース手段と、
前記録音手段に録音された音声と前記インデックス付与手段により付与された画像とを、前記インタフェース手段を介して前記通信端末に出力する出力手段と、
をさらに備える付記１乃至７に記載の録音装置。
（付記９）
前記録音手段に録音された音声と前記インデックス付与手段により付与された画像とを対応付けて、前記画像により前記音声にインデックス付与する情報処理装置に送信する送信手段をさらに備える付記１乃至７に記載の録音装置。
（付記１０）
前記録音手段に録音された音声を再生する再生手段と、
再生時に、前記インデックス生成用撮像手段で撮像された画像を再生開始のインデックスとして取得する取得手段と、
前記取得手段により取得された画像と前記インデックス付与手段により付与された画像とを照合する照合手段と、
前記照合手段の照合結果から、前記取得手段により取得された画像と前記インデックス付与手段により付与された画像とが一致する場合、前記インデックス付与手段により付与された画像をインデックスとして、前記録音手段に録音された音声から再生するよう、前記再生手段を制御する再生制御手段と、
をさらに備える付記１乃至９のいずれか１項に記載の録音装置。
（付記１１）
前記再生制御手段は、前記取得手段により取得された画像と一致する前記インデックス付与手段により付与された画像が複数ある場合、複数の前記画像をインデックスとして、前記録音手段に録音された複数の音声を選択して再生するよう、前記再生手段を制御する付記１０に記載の録音装置。
（付記１２）
前記録音装置は、ペン型の文房具の形状を有する付記１乃至１１のいずれか１項に記載の録音装置。
（付記１３）
音声を録音し、
録音された前記音声を索引するインデックスを生成するための、筆記具で記載された点画像をインデックス生成用撮像手段で撮像し、
前記点画像から点特徴量を抽出して点識別子とし
録音中に、録音された前記音声に、前記点識別子をインデックスとして付与する、
ことをコンピュータに実行させる録音制御プログラム。
（付記１４）
動画を録画する録画手段と、
録画された前記動画を索引するインデックスとなる画像を撮像するためのインデックス生成用撮像手段と、
録画中に、録画された前記動画に、撮像された前記画像をインデックスとして付与するインデックス付与手段と、
を備える録画装置。
（付記１５）
録音された音声または録画された動画を記録する記録手段と、
録音された前記音声または録画された前記動画を索引するインデックスとなる第１画像を撮像するインデックス生成用撮像手段と、
録音中に録音された前記音声に、または、録画中に録画された前記動画に、撮像された前記第１画像をインデックスとして付与するインデックス付与手段と、
前記記録手段に記録された音声または動画を再生する再生手段と、
再生時に、前記インデックス生成用撮像手段で撮像された第２画像を再生開始のインデックスとして取得する取得手段と、
前記第２画像と前記第１画像とを照合する照合手段と、
前記照合手段の照合結果から、前記第２画像と前記第１画像とが一致する場合、前記第１画像をインデックスとして、前記記録手段に記録された音声または動画から再生するよう、前記再生手段を制御する再生制御手段と、
を備える記録再生システム。
（付記１６）
録音された音声または録画された動画を記録手段に記録し、
録音された前記音声または録画された前記動画を索引するインデックスとなる第１画像を、インデックス生成用撮像手段で撮像し、
録音中に録音された前記音声に、または録画中に録画された動画に、撮像された前記第１画像をインデックスとして付与し、
再生時に、前記インデックス生成用撮像手段で撮像された第２画像を再生開始のインデックスとして取得し、
前記第２画像と前記第１画像とを照合し、
照合結果から、前記第２画像と前記第１画像とが一致する場合、前記第１画像をインデックスとして、前記記録手段に記録された音声または動画から再生する、
記録再生方法。
（付記１７）
記録時に、録音中の音声または録画中の動画と、録音中の前記音声または録画中の前記動画を索引するインデックスとなる第１画像とを受信する第１受信手段と、
受信された前記音声または動画を記録する記録手段と、
受信された前記音声または動画に、受信された前記第１画像をインデックスとして付与するインデックス付与手段と、
前記記録手段に記録された音声または動画を再生する再生手段と、
再生時に、再生開始のインデックスとして第２画像を受信する第２受信手段と、
前記第２画像と前記第１画像とを照合する照合手段と、
前記照合手段の照合結果から、前記第２画像と前記第１画像とが一致する場合、前記第１画像をインデックスとして、前記記録手段に記録された音声または動画から再生するよう、前記再生手段を制御する再生制御手段と、
を備える情報処理装置。
（付記１８）
記録時に、録音中の音声または録画中の動画と、録音中の前記音声または録画中の前記動画を索引するインデックスとなる第１画像とを受信し、
受信された前記音声または動画を記録手段に記録し、
受信された前記音声または動画に、受信された前記第１画像をインデックスとして付与し、
再生時に、再生開始のインデックスとして第２画像を受信し、
前記第２画像と前記第１画像とを照合し、
照合結果から、前記第２画像と前記第１画像とが一致する場合、前記第１画像をインデックスとして、前記記録手段に記録された音声または動画から再生する、
ことをコンピュータに実行させる情報処理方法。
【０２３２】
この出願は、２０１７年９月２８日に出願された日本出願特願２０１７−１８７４９２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図１】
2019065345.tif 000003
【図２Ａ】
2019065345.tif 000004
【図２Ｂ】
2019065345.tif 000005
【図２Ｃ】
2019065345.tif 000006
【図２Ｄ】
2019065345.tif 000007
【図３Ａ】
2019065345.tif 000008
【図３Ｂ】
2019065345.tif 000009
【図３Ｃ】
2019065345.tif 000010
【図４】
2019065345.tif 000011
【図５】
2019065345.tif 000012
【図６】
2019065345.tif 000013
【図７】
2019065345.tif 000014
【図８Ａ】
2019065345.tif 000015
【図８Ｂ】
2019065345.tif 000016
【図９Ａ】
2019065345.tif 000017
【図９Ｂ】
2019065345.tif 000018
【図９Ｃ】
2019065345.tif 000019
【図９Ｄ】
2019065345.tif 000020
【図１０Ａ】
2019065345.tif 000021
【図１０Ｂ】
2019065345.tif 000022
【図１１Ａ】
2019065345.tif 000023
【図１１Ｂ】
2019065345.tif 000024
【図１２Ａ】
2019065345.tif 000025
【図１２Ｂ】
2019065345.tif 000026
【図１３】
2019065345.tif 000027
【図１４】
2019065345.tif 000028
【図１５】
2019065345.tif 000029
【図１６】
2019065345.tif 000030
【図１７】
2019065345.tif 000031
【図１８】
2019065345.tif 000032
【図１９】
2019065345.tif 000033
【図２０】
2019065345.tif 000034
【図２１】
2019065345.tif 000035
【図２２】
2019065345.tif 000036
【図２３】
2019065345.tif 000037
【図２４】
2019065345.tif 000038
【図２５Ａ】
2019065345.tif 000039
【図２５Ｂ】
2019065345.tif 000040
【図２６】
2019065345.tif 000041
【図２７Ａ】
2019065345.tif 000042
【図２７Ｂ】
2019065345.tif 000043
【図２８】
2019065345.tif 000044
【図２９】
2019065345.tif 000045
【図３０】
2019065345.tif 000046
【図３１】
2019065345.tif 000047
【図３２】
2019065345.tif 000048
【図３３】
2019065345.tif 000049
【図３４】
2019065345.tif 000050
【図３５】
2019065345.tif 000051
【手続補正書】
【提出日】令和2年3月18日(2020.3.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声を録音する録音手段と、
録音された前記音声を索引するインデックスとなる画像を撮像するためのインデックス生成用撮像手段と、
録音中に、録音された前記音声に、撮像された前記画像をインデックスとして付与するインデックス付与手段と、
を備える録音装置。
【請求項２】
前記画像は、筆記具で記載された点画像である請求項１に記載の録音装置。
【請求項３】
さらに、点を記載する点記載手段を備える請求項１または２に記載の録音装置。
【請求項４】
さらに、前記点記載手段による前記点の記載処理と前記インデックス生成用撮像手段による前記点の撮像とを連動する連動手段を備える請求項２または３に記載の録音装置。
【請求項５】
さらに、前記点画像から点特徴量を抽出して点識別子とする点識別子抽出手段を備え、
前記インデックス付与手段は、録音中の前記音声に対して、撮像された前記点画像の点識別子をインデックスとして付与する請求項２乃至４のいずれか１項に記載の録音装置。
【請求項６】
前記インデックス付与手段は、録音中の前記音声に対して、前記画像が撮影された時刻と対応する位置に前記インデックスを付与する請求項１乃至５のいずれか１項に記載の録音装置。
【請求項７】
前記録音手段に録音された音声を再生する再生手段と、
再生時に、前記インデックス生成用撮像手段で撮像された画像を再生開始のインデックスとして取得する取得手段と、
前記取得手段により取得された画像と前記インデックス付与手段により付与された画像とを照合する照合手段と、
前記照合手段の照合結果から、前記取得手段により取得された画像と前記インデックス付与手段により付与された画像とが一致する場合、前記インデックス付与手段により付与された画像をインデックスとして、前記録音手段に録音された音声から再生するよう、前記再生手段を制御する再生制御手段と、
をさらに備える請求項１乃至６のいずれか１項に記載の録音装置。
【請求項８】
前記録音装置は、ペン型の文房具の形状を有する請求項１乃至７のいずれか１項に記載の録音装置。
【請求項９】
音声を録音し、
録音された前記音声を索引するインデックスとなる、筆記具で記載された点画像をインデックス生成用撮像手段で撮像し、
前記点画像から点特徴量を抽出して点識別子とし
録音中に、録音された前記音声に、前記点識別子をインデックスとして付与する
ことをコンピュータに実行させる録音制御プログラム。
【請求項１０】
動画を録画する録画手段と、
録画された前記動画を索引するインデックスとなる画像を撮像するためのインデックス生成用撮像手段と、
録画中に、録画された前記動画に、撮像された前記画像をインデックスとして付与するインデックス付与手段と、
を備える録画装置。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本開示は、録音装置等に関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
上記目的を達成するため、本開示に係る録音制御プログラムは、音声を録音する録音処理と、録音された前記音声を索引するインデックスとなる、筆記具で記載された点画像をインデックス生成用撮像手段で撮像するインデックス生成用撮像処理と、前記点画像から点特徴量を抽出して点識別子とする点識別子抽出処理と、録音中に、録音された前記音声に、前記点識別子をインデックスとして付与するインデックス付与処理と、をコンピュータに実行させる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上記目的を達成するため、本開示に係る録画装置は、動画を録画する録画手段と、録画された前記動画を索引するインデックスとなる画像を撮像するためのインデックス生成用撮像手段と、録画中に、録画された前記動画に、撮像された前記画像をインデックスとして付与するインデックス付与手段と、を備える。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
【図１】第１実施形態に係る録音装置の構成を示すブロック図である。
【図２Ａ】第２実施形態に係る録音装置を含む記録再生システムの概要を示す図である。
【図２Ｂ】第２実施形態に係る録音装置を含む記録再生システムの機能構成を示す図である。
【図２Ｃ】第２実施形態に係る点識別子となる点特徴量を抽出可能な点の生成方法を示す図である。
【図２Ｄ】第２実施形態に係る他の録音装置の点記載構造を示す図である。
【図３Ａ】第２実施形態に係る録音装置を含む記録再生システムの適用例を示す図である。
【図３Ｂ】第２実施形態に係る録音装置を含む記録再生システムの他の適用例を示す図である。
【図３Ｃ】第２実施形態に係る録音装置を含む記録再生システムのさらに他の適用例を示す図である。
【図４】第２実施形態に係る録音装置の機能構成を示すブロック図である。
【図５】第２実施形態に係る記録部の構成を示す図である。
【図６】第２実施形態に係る録音装置の他の機能構成を示すブロック図である。
【図７】第２実施形態に係る他の記録部を示すブロック図である。
【図８Ａ】第２実施形態に係る点識別子抽出部の機能構成の一例を示すブロック図である。
【図８Ｂ】第２実施形態に係る点識別子抽出処理の一例の手順を示すフローチャートである。
【図９Ａ】第２実施形態に係る座標系決定部の機能構成の一例を示すブロック図である。
【図９Ｂ】第２実施形態に係る座標系決定部の動作を説明するための模式図である。
【図９Ｃ】第２実施形態に係る座標系決定部の機能構成の他例を示すブロック図である。
【図９Ｄ】第２実施形態に係る座標系決定部の動作を説明するための模式図である。
【図１０Ａ】第２実施形態に係る正規化画像生成部の動作を説明するための模式図である。
【図１０Ｂ】第２実施形態に係る固定領域決定部の動作を説明するための模式図である。
【図１１Ａ】第２実施形態に係る点識別子抽出部の機能構成の他例を示すブロック図である。
【図１１Ｂ】第２実施形態に係る点識別子抽出処理の他例の手順を示すフローチャートである。
【図１２Ａ】第２実施形態に係る点識別子抽出部の機能構成のさらに他例を示すブロック図である。
【図１２Ｂ】第２実施形態に係る点識別子抽出処理のさらに他例の手順を示すフローチャートである。
【図１３】第２実施形態に係る録音装置のハードウェア構成を示すブロック図である。
【図１４】第２実施形態に係る録音装置の処理手順を示すフローチャートである。
【図１５】第３実施形態に係る録音装置を含む記録再生システムの概要を示す図である。
【図１６】第３実施形態に係る録音装置の機能構成を示すブロック図である。
【図１７】第３実施形態に係る録音装置を含む他の記録再生システムの概要を示す図である。
【図１８】第３実施形態に係る他の録音装置の機能構成を示すブロック図である。
【図１９】第４実施形態に係る録音装置の概要を示す図である。
【図２０】第４実施形態に係る録音装置の機能構成を示すブロック図である。
【図２１】第５実施形態に係る録音装置による記録再生システムの概要を示す図である。
【図２２】第５実施形態に係る録音装置による記録再生システムの動作手順を示すシーケンス図である。
【図２３】第５実施形態に係る録音装置の機能構成を示すブロック図である。
【図２４】第５実施形態に係る録音装置のハードウェア構成を示すブロック図である。
【図２５Ａ】第５実施形態に係る録音装置の処理手順を示すフローチャートである。
【図２５Ｂ】第５実施形態に係る再生処理の手順を示すフローチャートである。
【図２６】第６実施形態に係る録音装置を含む記録再生システムの概要を示す図である。
【図２７Ａ】第６実施形態に係る録音装置を含む記録再生システムの動作手順を示すシーケンス図である。
【図２７Ｂ】第６実施形態に係る録音装置を含む記録再生システムの他の動作手順を示すシーケンス図である。
【図２８】第６実施形態に係る端末やコンピュータとしての情報処理装置の機能構成を示すブロック図である。
【図２９】第６実施形態に係る端末やコンピュータとしての情報処理装置のハードウェア構成を示すブロック図である。
【図３０】第６実施形態に係る端末やコンピュータとしての情報処理装置の処理手順を示すフローチャートである。
【図３１】第７実施形態に係る録画装置を含む記録再生システムの概要を示す図である。
【図３２】第７実施形態に係る録画装置の機能構成を示すブロック図である。
【図３３】第７実施形態に係るサーバとしての情報処理装置の機能構成を示すブロック図である。
【図３４】他の実施形態に係る点に基づく統計処理用の録音データ分析テーブルの構成を示す図である。
【図３５】他の実施形態に係るインデックス用識別情報の例を示す図である。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
図２Ａの右側に示す録音装置２２０は、録音された音声が対象とする印刷物２５２上の位置にインクで記載された点２５３に対応付けられた録音データ２４１を再生する例である。録音装置２２０の点撮像部２１３は、ユーザが再生を望む録音に対応付いた印刷物２５２上の点２５３を撮像すると、点画像照合部２４７は、撮像した点画像または点識別子２３４と、記録部２１４にインデックスとして記録された点画像または点識別子２３１〜２３３とを照合する。そして、点画像や点識別子が一致すれば、再生部（図示せず）が点２５３の記載位置に対応付けられた録音データ２４１を再生する。なお、点画像や点識別子の一致は、その差が所定閾値以内であれば一致としてもよい。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
再び、容器２８４の端部まで蓋部２８３に収納された状態になると、点記載部（ペン）２１１が可動ミラー２８５を押し出さなくなり、可動ミラー２８５は引っ張りバネによって反時計回りに付勢される。この時、容器２８４下面に接触する印刷物２５２に記載された点２５３の画像が、可動ミラー２８５に反射されて点撮像部（顕微鏡カメラ）２１３に入力される。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
表示部（ランプなど）４０５は、例えば、パワーランプや記録ランプ、インデックス付与動作ランプなどであり、録音装置２１０の状態をユーザに通知する。操作部（スイッチなど）４０６は、例えば、パワーＯＮ／ＯＦＦスイッチ、録音開始／終了スイッチ、インデックス付与スイッチなどであり、録音装置２１０を操作する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】変更
【補正の内容】
【００９４】
塗りつぶし画像生成部９６３は、２値化画像記憶部９６２に記憶された２値化画像から、点２５３の平面形状と同一の形状を有し、内部が全て黒画素で埋め尽くされた画像(塗りつぶし画像)を生成し、塗りつぶし画像記憶部９６４に保存する機能を有する。２値化画像から塗りつぶし画像を生成する方法は任意である。例えば、塗りつぶし画像生成部９６３は、２値化画像記憶部９６２に記憶された２値化画像に対して、モルフォロジー演算を行うことにより、塗りつぶし画像を生成してよい。また、塗りつぶし画像生成部９６３は、あらかじめ定められた画素長をｎとし、ｎ画素の膨張処理とn画素の収縮処理を実行することにより、２値化画像から塗りつぶし画像を生成してよい。ここで、ｎ画素の膨張処理とは、注目中の画素の値が“１”である場合、注目画素からｎ画素長以内に存在する全ての画素の値を“１”にする操作を、２値化画像の全画素に注目して行う処理を意味する。また、ｎ画素の収縮処理とはｎ画素の膨張処理を施した後の２値化画像に対して、注目中の画素の値が“０”である場合、注目画素からｎ画素長以内に存在する全ての画素の値を“０”にする操作を、２値化画像の全画素に注目して行う処理を意味する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１７５
【補正方法】変更
【補正の内容】
【０１７５】
ＲＡＭ２４４０は、ＣＰＵ１３１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ２４４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。動作モード２４４１は、録音装置２１１０の動作モードが録音モードか再生モードかのフラグである。撮像データ２４４２は、点撮像部（顕微鏡カメラ）２１３により撮像されたデータであり、点識別子と撮像時刻を表すタイムスタンプとを含む。格納データ２４４５は、記録部２１４の点識別子格納部６４２にインデックスとして格納されたデータであり、点識別子と撮像時刻を表すタイムスタンプとを含む。点識別子照合結果２４４６は、照合結果が一致である場合の点識別子である。音声出力データ２４４７は、音声出力部（スピーカ）２３１０から音声出力するためのデータであり、タイムスタンプと音声フレームとを含む。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０２０６
【補正方法】変更
【補正の内容】
【０２０６】
ストレージ２９５０は、ＣＰＵ２９１０が使用する、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。音声記録部２６２１は、録音データとインデックスとしての点画像または点識別子とを記憶する。点識別子抽出アルゴリズム２９５１は、点画像から点識別子を抽出するアルゴリズムである。ストレージ２９５０には、以下のプログラムが格納される。情報処理装置制御プログラム２９５２は、本情報処理装置２６２０の全体を制御するプログラムである。録音データ取得モジュール２９５３は、録音装置２１０から録音データを取得するモジュールである。点識別子抽出モジュール２９５５は、点画像から点識別子を抽出するモジュールである。点識別子照合モジュール２９５６は、撮像された点画像から抽出された点識別子と、音声記録部２６２１から読出した点識別子とを照合するモジュールである。録音再生モジュール２９５７は、一致した点識別子をインデックスとして録音データの頭出し再生を行う。入出力インタフェース２８０２は、入出力デバイスとのデータ入出力を制御するためのインタフェースを行なう。本実施形態においては、入出力インタフェース２８０２には、図２８に示したように、音声記憶部（メモリカード）２１４と、インデックス用点画像入力部２８２１と、音声出力部（スピーカ）２６２４と、表示部２８２２と、操作部２８２３と、が接続される。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０２０９
【補正方法】変更
【補正の内容】
【０２０９】
情報処理装置２６２０は、ステップＳ３０１１において、録音データの取得であるか否かを判定する。録音データの取得であれば、情報処理装置２６２０は、ステップＳ３０１３において、録音データの取得処理を実行する。なお、録音データの取得は、インデックスとしての点画像や点識別子の取得も含む。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０２２３
【補正方法】変更
【補正の内容】
【０２２３】
情報処理装置３１２０は、動画記録部３１２１と、録画の再生頭出し部３３０７と、再生動画データ出力部３３０８と、を備える。再生頭出し部３３０７は、点識別子照合部２８０６の照合で点識別子が一致した場合に、その点識別子に対応付けられた録画データを動画録画部から取得する。再生動画データ出力部３３０８は、再生頭出し部３３０７が取り出した録画データに基づいて、表示部２８２２から動画出力させ、音声出力部（スピーカ）２６２４から音声出力させる。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０２２８
【補正方法】変更
【補正の内容】
【０２２８】
図３５において、参照媒体３５０１と、インデックス用識別情報３５０２と、識別子３５０３と、識別子生成方法３５０４と、が対応付けられて格納されている。例えば、行３５０５には、紙／樹脂／金属に対して、点をインデックスとし、識別子としては点識別子を使用する。行３５０６には、紙／樹脂／金属に対して、記号や文字をインデックスとし、識別子としてはパターン識別子を使用する。行３５０７には、紙／樹脂／金属に対して、媒体表面をインデックスとし、識別子としては模様識別子を使用する。行３５０８には、樹脂／金属に対して、形状をインデックスとし、識別子としては形状識別子を使用する。なお、本開示で使用可能なインデックス用識別情報はこれらに限定されない。ユーザが、現場において簡単な操作で識別性のよい頭出しインデックスを生成できるものであればよい。なお、識別性がよいとは、同じ識別子あるいは類似の識別子が出にくい、各識別子の距離が離れている場合を言う。
【手続補正１６】
【補正対象書類名】図面
【補正対象項目名】図２０
【補正方法】変更
【補正の内容】
【図２０】
2019065345.tif 000052
【手続補正１７】
【補正対象書類名】図面
【補正対象項目名】図２３
【補正方法】変更
【補正の内容】
【図２３】
2019065345.tif 000053
【手続補正１８】
【補正対象書類名】図面
【補正対象項目名】図２４
【補正方法】変更
【補正の内容】
【図２４】
2019065345.tif 000054
【手続補正１９】
【補正対象書類名】図面
【補正対象項目名】図２７Ａ
【補正方法】変更
【補正の内容】
【図２７Ａ】
2019065345.tif 000055
【手続補正２０】
【補正対象書類名】図面
【補正対象項目名】図２７Ｂ
【補正方法】変更
【補正の内容】
【図２７Ｂ】
2019065345.tif 000056
【手続補正２１】
【補正対象書類名】図面
【補正対象項目名】図２８
【補正方法】変更
【補正の内容】
【図２８】
2019065345.tif 000057
【手続補正２２】
【補正対象書類名】図面
【補正対象項目名】図２９
【補正方法】変更
【補正の内容】
【図２９】
2019065345.tif 000058
【手続補正２３】
【補正対象書類名】図面
【補正対象項目名】図３３
【補正方法】変更
【補正の内容】
【図３３】
2019065345.tif 000059
【国際調査報告】
2019065345.tif 000060
2019065345.tif 000061
2019065345.tif 000062
2019065345.tif 000063