(57)【要約】      （修正有）【課題】資料を説明する音声に伴って説明対象の図等を触覚提示することができる再生装置を提供する。【解決手段】再生装置１０は、資料に付加されたマークを読み取ると、資料を読み上げる音声データ、資料内の図等のイメージオブジェクトを触覚提示するための触覚データ等を含む支援データが登録されたデータベースにアクセスし、資料に対応する支援データを取得する。そして音声データを再生すると共に、音声による資料の説明が、図等のイメージオブジェクトの説明に入ると、そのイメージオブジェクトに係る触覚データを再生（触覚提示）する。【選択図】図２
2020204885.tif 000002
【特許請求の範囲】
【請求項１】
所定の資料に含まれる図などのイメージオブジェクトを触覚提示するための触覚データと、音声による前記資料の説明の中で前記触覚データに対応するイメージオブジェクトの説明が行われている箇所を特定するための特定情報とを所定のデータベースから取得する取得部と、
音声による前記資料の説明において、前記取得部が取得した前記触覚データに対応するイメージオブジェクトの説明が行われていることを前記特定情報に基づいて認識する認識部と、
前記認識部が前記認識したとき、前記触覚データを再生して触覚提示する触覚データ再生部と、
を有する
ことを特徴とする再生装置。
【請求項２】
前記取得部は、前記資料を説明する音声が記録された音声データをさらに取得し、
前記音声データに基づいて音声を再生する音声データ再生部をさらに有し、
前記認識部は、前記音声データ再生部による前記音声データの再生において、前記認識する
ことを特徴とする請求項１に記載の再生装置。
【請求項３】
前記触覚データ再生部は、再生すべき触覚データが同時にもしくは一定期間内に複数発生した場合は、再生領域を複数の部分領域に分け、前記複数の触覚データを複数の前記部分領域で同時に再生する
ことを特徴とする請求項１または２に記載の再生装置。
【請求項４】
ユーザからの指示を受け付ける指示受付部を備え、
前記触覚データ再生部は、再生すべき触覚データが同時にもしくは一定期間内に複数発生した場合は、前記指示受付部で受け付けたユーザからの切り替え指示に応じて、再生する触覚データを切り替える
ことを特徴とする請求項１または２に記載の再生装置。
【請求項５】
前記指示受付部は、前記指示を前記触覚データ再生部の再生領域への接触操作によって受け付け、
前記触覚データ再生部の再生領域にユーザが体のどの部位で触れたかを検出する接触部位検出部をさらに有し、
前記触覚データ再生部は、前記接触操作において前記接触部位検出部が検出した部位に応じて、再生する触覚データを切り替える
ことを特徴とする請求項４に記載の再生装置。
【請求項６】
ユーザから指示を受け付ける指示受付部を備え、
前記触覚データ再生部は、前記指示受付部でユーザから所定の戻り操作を受け付けた場合は、１または２以上前の触覚データを再生する
ことを特徴とする請求項１乃至５のいずれか１つに記載の再生装置。
【請求項７】
前記戻り操作は、釦操作、または、スワイプ操作である
ことを特徴とする請求項６に記載の再生装置。
【請求項８】
前記戻り操作を複数種類設定し、
前記触覚データ再生部は、ユーザから受けた戻り操作の種類に応じて、いくつ前の触覚データを再生するかを切り替える
ことを特徴とする請求項６に記載の再生装置。
【請求項９】
前記音声データ再生部は、前記触覚データ再生部が前記戻り操作に基づいて触覚データを再生中に、ユーザから所定の操作を受けた場合は、再生中の触覚データに対応するイメージオブジェクトの説明箇所に戻って前記音声データを再生する
ことを特徴とする請求項２を引用する請求項６乃至８のいずれか１つに記載の再生装置。
【請求項１０】
前記触覚データを再生中にユーザから複数種類用意された中のいずれかの登録操作を受けた場合に、再生中の触覚データに紐付けてその登録操作を登録する一時登録部を有し、
前記触覚データ再生部は、前記一時登録部に登録されている登録操作に対応する操作をユーザから受けた場合に、その登録操作に紐付けされている触覚データを再生する
ことを特徴とする請求項１乃至９のいずれか１つに記載の再生装置。
【請求項１１】
前記触覚データ再生部は、再生領域を前記資料の一のページに対応させ、ユーザの触れた再生領域内の位置に対応する前記ページ内の位置にあるイメージオブジェクトの触覚データを再生する
ことを特徴とする請求項１乃至１０のいずれか１つに記載の再生装置。
【請求項１２】
前記音声データ再生部は、触覚提示されているイメージオブジェクトを説明する箇所の音声データを再生するときは、通常より再生速度を遅くする、
ことを特徴とする請求項２または、請求項２を引用する請求項３乃至１１のいずれか１つに記載の再生装置。
【請求項１３】
前記認識部は、説明者が前記資料の説明を話しているときの音声を解析して、前記触覚データに対応するイメージオブジェクトの説明が開始されたことを認識する
ことを特徴とする請求項１に記載の再生装置。
【請求項１４】
前記取得部は、視覚、聴覚、触覚以外の所定の感覚で前記イメージオブジェクトに係る情報を提示する第３感覚データをさらに取得し、
前記イメージオブジェクトの説明が行われているときに、前記第３感覚データを再生する第３感覚データ再生部をさらに有する、
ことを特徴とする請求項１乃至１３のいずれか１つに記載の再生装置。
【請求項１５】
所定の資料を光学的に読み取る読取部と、
前記資料の読み取りデータを解析して、前記資料を説明する音声データを作成する音声データ作成部と、
前記資料の読み取りデータを解析して、前記資料に含まれる図などのイメージオブジェクトを触覚提示するための触覚データを作成する触覚データ作成部と、
前記音声データと、前記触覚データと、前記音声データの中で前記触覚データに対応するイメージオブジェクトの説明が成されている箇所を特定するための特定情報とをデータベースに登録する登録部と、
を有する
ことを特徴とする画像処理装置。
【請求項１６】
前記音声データ作成部は、前記資料に記載された文章そのものに対応する音声データもしくは前記資料に記載された文章を要約して生成した要約文に対応する音声データを作成する
ことを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
記録媒体に画像を印刷して出力する画像形成部と、
前記読み取りデータが示す前記資料の画像に、前記データベースへのアクセス情報を付加した合成画像を作成して前記画像形成部に印刷させる制御部と、
をさらに有する
ことを特徴とする請求項１５または１６に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、資料の説明時に、資料内の図などを触覚提示する再生装置、および再生装置で使用される触覚提示用のデータを作成する画像処理装置に関する。
【背景技術】
【０００２】
視覚障害者を支援する装置として、所定のコードを読み取ると、そのコードに対応付けて登録されている音声データを再生する装置がある。この装置を利用すれば、たとえば、会議の資料に上記のコードを付加しておけば、配布された資料に付されたコードを再生装置に読み取らせて資料を読み上げさせることができる。
【０００３】
また、映像や音声に同期して触覚提示を行うシステムがある。たとえば、下記特許文献１には、映像・音声の再生中にその音声信号から自動的に触覚データを生成して触覚提示することで、演出効果を高める装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−５３０５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
会議の資料等に対応する音声データを提供したとしても、会議で使用される資料（冊子やスクリーンに投影される映像）には図や写真などが含まれていることが多くあるので、視覚が不自由な参加者は、その内容を音声のみで的確に認識することは難しい。
【０００６】
特許文献１は、触覚提示を行うものの、音声信号から触覚データを所定のルールで自動生成するので、触覚提示は演出効果を高めるに過ぎず、資料内の図の内容を視覚障害者が的確に認識できるように提示するといったことはできない。
【０００７】
本発明は、上記の問題を解決しようとするものであり、資料を説明する音声に伴って説明対象の図等を触覚提示することのできる再生装置を提供すること、および該再生装置で使用する触覚データを資料から自動生成して登録することのできる画像処理装置を提供すること、を目的としている。
【課題を解決するための手段】
【０００８】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
【０００９】
［１］所定の資料に含まれる図などのイメージオブジェクトを触覚提示するための触覚データと、音声による前記資料の説明の中で前記触覚データに対応するイメージオブジェクトの説明が行われている箇所を特定するための特定情報とを所定のデータベースから取得する取得部と、
音声による前記資料の説明において、前記取得部が取得した前記触覚データに対応するイメージオブジェクトの説明が行われていることを前記特定情報に基づいて認識する認識部と、
前記認識部が前記認識したとき、前記触覚データを再生して触覚提示する触覚データ再生部と、
を有する
ことを特徴とする再生装置。
【００１０】
上記発明では、音声による資料の説明が、図などのイメージオブジェクトの説明に入ったとき、そのイメージオブジェクトが触覚提示される。
【００１１】
［２］前記取得部は、前記資料を説明する音声が記録された音声データをさらに取得し、
前記音声データに基づいて音声を再生する音声データ再生部をさらに有し、
前記認識部は、前記音声データ再生部による前記音声データの再生において、前記認識する
ことを特徴とする［１］に記載の再生装置。
【００１２】
上記発明では、音声データの再生による資料の説明が、図などのイメージオブジェクトの説明に入ったとき、そのイメージオブジェクトが触覚提示される。
【００１３】
［３］前記触覚データ再生部は、再生すべき触覚データが同時にもしくは一定期間内に複数発生した場合は、再生領域を複数の部分領域に分け、前記複数の触覚データを複数の前記部分領域で同時に再生する
ことを特徴とする［１］または［２］に記載の再生装置。
【００１４】
上記発明では、図１と図２の両方を使った説明が行われているような場合に、再生領域を分割して図１と図２の双方を同時に触覚提示する。
【００１５】
［４］ユーザからの指示を受け付ける指示受付部を備え、
前記触覚データ再生部は、再生すべき触覚データが同時にもしくは一定期間内に複数発生した場合は、前記指示受付部で受け付けたユーザからの切り替え指示に応じて、再生する触覚データを切り替える
ことを特徴とする［１］または［２］に記載の再生装置。
【００１６】
上記発明では、図１と図２の両方を使った説明が行われているような場合に、ユーザからの切り替え指示に従って図１と図２を切り替えて触覚提示する。
【００１７】
［５］前記指示受付部は、前記指示を前記触覚データ再生部の再生領域への接触操作によって受け付け、
前記触覚データ再生部の再生領域にユーザが体のどの部位で触れたかを検出する接触部位検出部をさらに有し、
前記触覚データ再生部は、前記接触操作において前記接触部位検出部が検出した部位に応じて、再生する触覚データを切り替える
ことを特徴とする［４］に記載の再生装置。
【００１８】
上記発明では、たとえば、図１と図２の両方を使った説明が行われている場合に、ユーザが人差し指で再生領域に触れたら図１を触覚提示し、中指で再生領域に触れたら図２を触覚提示する。
【００１９】
［６］ユーザから指示を受け付ける指示受付部を備え、
前記触覚データ再生部は、前記指示受付部でユーザから所定の戻り操作を受け付けた場合は、１または２以上前の触覚データを再生する
ことを特徴とする［１］乃至［５］のいずれか１つに記載の再生装置。
【００２０】
上記発明では、ユーザからの戻り操作に応じて、以前に触覚提示したイメージオブジェクトに戻って触覚提示する。
【００２１】
［７］前記戻り操作は、釦操作、または、スワイプ操作である
ことを特徴とする［６］に記載の再生装置。
【００２２】
［８］前記戻り操作を複数種類設定し、
前記触覚データ再生部は、ユーザから受けた戻り操作の種類に応じて、いくつ前の触覚データを再生するかを切り替える
ことを特徴とする［６］に記載の再生装置。
【００２３】
上記発明では、たとえば、人差し指で戻り操作を受けた場合は、1つ前の触覚データに戻って触覚提示し、中指で戻り操作を受けた場合は、2つ前の触覚データに戻って触覚提示する。
【００２４】
［９］前記音声データ再生部は、前記触覚データ再生部が前記戻り操作に基づいて触覚データを再生中に、ユーザから所定の操作を受けた場合は、再生中の触覚データに対応するイメージオブジェクトの説明箇所に戻って前記音声データを再生する
ことを特徴とする［２］を引用する［６］乃至［８］のいずれか１つに記載の再生装置。
【００２５】
上記発明では、戻り操作に基づいて触覚提示しているイメージオブジェクトの説明箇所に、音声データに基づく音声の再生位置を、戻すことができる。
【００２６】
［１０］前記触覚データを再生中にユーザから複数種類用意された中のいずれかの登録操作を受けた場合に、再生中の触覚データに紐付けてその登録操作を登録する一時登録部を有し、
前記触覚データ再生部は、前記一時登録部に登録されている登録操作に対応する操作をユーザから受けた場合に、その登録操作に紐付けされている触覚データを再生する
ことを特徴とする［１］乃至［９］のいずれか１つに記載の再生装置。
【００２７】
上記発明では、ユーザは、複数種類用意された登録操作の中から選択したいずれかの登録操作を行うことで、再生中の触覚データをその登録操作に紐付けて登録することができ、登録済みの登録操作に対応する操作を後に行うことで、その登録操作に紐付けて登録されている触覚データを、任意のタイミングで再生することができる。
【００２８】
［１１］前記触覚データ再生部は、再生領域を前記資料の一のページに対応させ、ユーザの触れた再生領域内の位置に対応する前記ページ内の位置にあるイメージオブジェクトの触覚データを再生する
ことを特徴とする［１］乃至［１０］のいずれか１つに記載の再生装置。
【００２９】
上記発明では、再生領域において、資料内の配置と同じ配置で、各イメージオブジェクが触覚提示される。
【００３０】
［１２］前記音声データ再生部は、触覚提示されているイメージオブジェクトを説明する箇所の音声データを再生するときは、通常より再生速度を遅くする、
ことを特徴とする［２］または［２］を引用する［３］乃至［１１］のいずれか１つに記載の再生装置。
【００３１】
上記発明では、利用者に、触覚提示された図等を確認する時間的余裕を与える。
【００３２】
［１３］前記認識部は、説明者が前記資料の説明を話しているときの音声を解析して、前記触覚データに対応するイメージオブジェクトの説明が開始されたことを認識する
ことを特徴とする［１］に記載の再生装置。
【００３３】
上記発明では、説明者の説明に合わせて、触覚提示が行われる。
【００３４】
［１４］前記取得部は、視覚、聴覚、触覚以外の所定の感覚で前記イメージオブジェクトに係る情報を提示する第３感覚データをさらに取得し、
前記イメージオブジェクトの説明が行われているときに、前記第３感覚データを再生する第３感覚データ再生部をさらに有する、
ことを特徴とする［１］乃至［１３］のいずれか１つに記載の再生装置。
【００３５】
上記発明では、たとえば、森の写真が触覚提示されている場合に、森の臭いを発生させる。
【００３６】
［１５］所定の資料を光学的に読み取る読取部と、
前記資料の読み取りデータを解析して、前記資料を説明する音声データを作成する音声データ作成部と、
前記資料の読み取りデータを解析して、前記資料に含まれる図などのイメージオブジェクトを触覚提示するための触覚データを作成する触覚データ作成部と、
前記音声データと、前記触覚データと、前記音声データの中で前記触覚データに対応するイメージオブジェクトの説明が成されている箇所を特定するための特定情報とをデータベースに登録する登録部と、
を有する
ことを特徴とする画像処理装置。
【００３７】
上記発明では、画像処理装置は、資料（原稿）を光学的に読み取って解析することで、該資料に対応する音声データ、触覚データ等を作成する。
【００３８】
［１６］前記音声データ作成部は、前記資料に記載された文章そのものに対応する音声データもしくは前記資料に記載された文章を要約して生成した要約文に対応する音声データを作成する
ことを特徴とする［１５］に記載の画像処理装置。
【００３９】
［１７］記録媒体に画像を印刷して出力する画像形成部と、
前記読み取りデータが示す前記資料の画像に、前記データベースへのアクセス情報を付加した合成画像を作成して前記画像形成部に印刷させる制御部と、
をさらに有する
ことを特徴とする［１５］または［１６］に記載の画像処理装置。
【００４０】
上記発明では、資料の複写物には、データベースへのアクセス情報が自動的に付加されるので、ユーザは該資料に対応する触覚データを容易に取得することができる。
【発明の効果】
【００４１】
本発明に係る再生装置によれば、資料を説明する音声に伴って説明対象の図等を触覚提示することができる。また、本発明に係る画像処理装置によれば、再生装置で使用される触覚データ等を資料から自動生成して登録することができる。
【図面の簡単な説明】
【００４２】
【図１】本発明の実施の形態に係る再生装置を含むシステムの構成例を示す図である。
【図２】本発明の実施の形態に係る再生装置の電気的な概略構成を示すブロック図である。
【図３】本発明の実施の形態に係る再生装置の基本的な動作を示す説明図である。
【図４】再生装置の基本的な動作を示す流れ図である。
【図５】同時に説明対象となった２つの図を、再生領域を分割して同時に触覚提示した例を示す図である。
【図６】再生領域を分割して複数の図を同時に触覚提示する際に再生装置が行う動作を示す流れ図である。
【図７】同時に説明対象となった２つの図をユーザからの操作に応じて切り替えて触覚提示する例を示す図である。
【図８】人差し指に図１を、中指に図２を割り当てた様子を示す図である。
【図９】２つの図が同時に説明対象となったときに、再生領域に触れる指によって触覚提示する図を切り替える処理を示す流れ図である。
【図１０】戻り操作の種類によって戻り先の図を切り替える処理の一例を示す図である。
【図１１】資料のページを再生領域に対応つけておき、ユーザが再生領域に触れた位置に対応する位置にある図を触覚提示する例を示す図である。
【図１２】マイクで拾った発表者の声による資料の説明が図の説明に入ったことを検出して対応する図を触覚提示する例を示す図である。
【図１３】本発明の実施の形態に係る画像処理装置の電気的な概略構成を示すブロック図である。
【図１４】資料を読み取り、支援データを作成してデータベースに登録する際に画像処理装置が行う処理を示す流れ図である。
【図１５】資料にデータベースへのアクセス情報を付加した印刷物を作成する際に画像処理装置が行う動作を示す流れ図である。
【図１６】元の資料と、これにアクセス情報のマーク（ＱＲコード（登録商標））が付加された複写物の一例を示す図である。
【発明を実施するための形態】
【００４３】
以下、図面に基づき本発明の実施の形態を説明する。
【００４４】
図１は、本発明の実施の形態に係る再生装置１０を含むシステムの構成例を示す図である。再生装置１０は、近距離無線通信を介してネットワーク３に接続される。このネットワーク３には、データベース５と、データベース５にデータを登録する機能を備えた画像処理装置７がさらに接続されている。再生装置１０はデータベース５から必要なデータを取得して各種の再生処理を行う。
【００４５】
再生装置１０は、会議で配布された資料等に含まれる図、表、写真などのイメージオブジェクトの内容を正しく視覚障害者が理解できるように、資料内のイメージオブジェクト（図、グラフ、写真など）が表す形、輪郭、触感などを手で触って確認できるようにユーザに伝える（触覚提示する）機能を有する。再生装置１０は、矩形平面形状の再生領域１１を備え、該再生領域１１において図やグラフなどを触覚提示する。
【００４６】
再生装置１０は、再生領域１１に触覚提示している図やグラフの輪郭箇所にユーザの指が触れると振動や微弱電流を発生させることで、その箇所に図やグラフの輪郭があることをユーザに伝えるようになっている。触覚データに基づいて触覚提示することを触覚データの再生と呼ぶものとする。また、以後は、資料に存在するイメージオブジェクトが「図」である場合を例に説明する。
【００４７】
再生装置１０は、音声による資料の説明が行われているとき、資料内の図の説明が始まると、その図に対応する触覚データを再生して触覚提示する。
【００４８】
データベース５には、資料の内容を音声で説明するための音声データ、資料に含まれる図を触覚提示するための触覚データ、各図の資料内での位置を示す位置データ、音声による資料の説明の中で触覚データに対応する図の説明が行われている箇所を特定するための特定情報などを紐付けた支援データが登録される。
【００４９】
特定情報は、たとえば、資料の中で図に割り当てられている名称（図１、図２、図Ａ、図Ｂなど）や、音声データの中で該当の図の説明が行われている位置（たとえば、音声データの先頭からの経過時間）などの情報である。図の説明が行われている位置とは、該当する図の説明が開始する位置でもよいし、その図の説明が開始してから終了するまでの期間としてもよい。図の触覚提示は、その図の説明が開始した時点で開始することが望ましい。
【００５０】
画像処理装置７は、会議で配布される資料などの原稿をスキャナで光学的に読み取り、その読み取り画像を解析して、前述のデータを作成し、データベース５に登録する機能を備えている。ここでは、画像処理装置７は、原稿を光学的に読み取って得た画像を記録紙に印刷して複写物を作成するコピー機能、読み取った原稿の画像データをファイルにして保存したり外部端末へネットワークを通じて送信したりするスキャン機能、ＰＣ（Personal Computer）などからネットワークを通じて受信した印刷データに係る画像を記録紙に印刷して出力するプリンタ機能、ファクシミリ手順に従って画像データを送受信するファクシミリ機能などを備えた、所謂、複合機（ＭＦＰ）である。
【００５１】
図２は、再生装置１０の電気的構成を示すブロック図である。再生装置１０は、当該装置１０の動作を統括的に制御する制御部としてのＣＰＵ(Central Processing Unit)１２を有している。ＣＰＵ１２にはバスを通じてＲＯＭ(Read Only Memory)１３、ＲＡＭ(Random Access Memory)１４、音声出力部１５、触覚提示部１６、ネットワーク通信部１７、操作部１８、接触部位検出部１９、マーク読取部２０などが接続されている。
【００５２】
ＣＰＵ１２は、ＲＯＭ１３に格納されているプログラムに従って各種処理を実行する。ＲＡＭ１４は、ＣＰＵ１２がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリとして使用される。ＲＡＭ１４には、データベース５から取得した支援データが記憶される。
【００５３】
音声出力部１５は、スピーカとこれを駆動するアンプ、Ａ／Ｄ変換部等で構成され、ＣＰＵ１２から入力される音声データを音に変換して出力する。
【００５４】
触覚提示部１６は、矩形平面状の再生領域１１を有し、振動等により触覚提示する。ここでは、触覚提示部１６は、表示データに基づいて画像を表示するディスプレイとしての機能も備えている。なお、触覚提示部１６は、平面の再生領域１１に触覚提示するものに限定されず、たとえば、ユーザの手に装着するタイプ等であってもよい。
【００５５】
ネットワーク通信部１７は、ネットワーク３を通じてデータベース５やサーバなどの各種外部装置と通信する機能を果たす。
【００５６】
操作部１８は、ユーザから各種の操作を受け付ける機能を果たす、操作部１８は、触覚提示部１６の再生領域１１の表面に設けられたタッチスクリーンと、少数のハード釦で構成される。タッチスクリーンは指などが触れた位置を検出する。
【００５７】
接触部位検出部１９は、ユーザが再生領域１１に体（特に手）のどの部位で触れたかを検出する機能を果たす。たとえば、接触部位検出部１９は、再生領域１１を撮影するカメラを有し、その画像を解析することで、ユーザが体のどの部位で再生領域１１に触れたかを検出する。
【００５８】
マーク読取部２０は、資料の複写物に付加されたアクセス情報（ＱＲコード（登録商標）等）を読み取る機能を果たす。
【００５９】
ＣＰＵ１２は、プログラムを実行することで、データ取得部２１、認識部２２、触覚データ再生制御部２３、音声データ再生制御部２４、指示受付部２５、一時登録部２６などの機能を果たす。
【００６０】
データ取得部２１は、ネットワーク通信部１７を使用してデータベース５にアクセスし、支援データを取得する機能を果たす。
【００６１】
認識部２２は、音声による資料の説明中に、触覚データに対応するイメージオブジェクトの説明が行われていることを、特定情報に基づいて認識する機能を果たす。たとえば、図１の触覚データに紐付けされた特定情報が「図１」というワードであれば、音声による資料の説明中で図１というワードが発音されたとき、図１の説明が行われている（開始された）と認識する。また、図１の触覚データに紐付けされた特定情報が先頭からの時間を示す情報であれば、音声による資料の説明が開始してから特定情報の示す時間が経過したとき、図１の説明が行われている（開始された）と認識する。
【００６２】
触覚データ再生制御部２３は、触覚提示部１６による触覚データの再生を制御する。
【００６３】
音声データ再生制御部２４は、音声出力部１５による音声データの再生を制御する。
【００６４】
指示受付部２５は、操作部１８を使用してユーザから受けた各種の操作を解析して指示の内容を認識し、各部へその指示に対応する制御の実行を命令する。たとえば、ユーザが再生領域１１に指で触れたとき、どの指でどのように触れたかや再生領域１１内のどの位置に触れたかなどを解析して指示内容を認識する。
【００６５】
一時登録部２６は、触覚データの再生中にユーザから複数種類用意された中のいずれかの登録操作を受けた場合に、再生中の触覚データに紐付けて、その登録操作（登録操作の種類）を登録する。ここでは、図等を触覚提示しているときにその箇所に３秒以上続けて触れる操作を登録操作とし、どの指で触れたかを登録操作の種類とする。薬指で３秒続けて触れる登録操作が行われた場合、薬指による登録操作とその図の触覚データとを紐付けて一時的に登録する。
【００６６】
なお、触覚データ再生制御部２３は、一時登録部２６に登録されている登録操作に対応する操作を後に受けたとき、その登録操作に紐付けられている触覚データを再生する。たとえば、ユーザが薬指で再生領域１１に触れたとき、薬指の登録操作に紐付けされている図を触覚提示する。
【００６７】
図３は、再生装置１０を含むシステムの動きを示す説明図である。画像処理装置７において所定のモードで資料をコピーすると、画像処理装置７は、その資料から前述の支援データを作成してデータベース５に登録する（Ｐ１）と共に、その資料の読み取り画像に該データベース５へのアクセス情報（URLなど）を示すマーク（ＱＲコード（登録商標）など）を付加した複写物を印刷出力する。アクセス情報を示すマークは、ＱＲコード（登録商標）に限定されない。複写物にアクセス情報を文字で記載してもよい。
【００６８】
ユーザが、資料の複写物に付加されているアクセス情報のマーク（ＱＲコード（登録商標）等）を再生装置１０で読み取ると（Ｐ２）、再生装置１０は、データベース５にアクセスして（Ｐ３）、その資料に係る支援データをデータベース５から取得する（Ｐ４）。その後、再生装置１０は、データベース５から取得した支援データに含まれる音声データを再生して、資料の音声による説明を開始する。
【００６９】
再生装置１０は、資料の音声による説明の中で、資料内の図に関する説明が始まると、その図に対応する触覚データを再生して触覚提示する。たとえば、音声による資料の説明で「図１のように…」といった言葉が発音されると、図１を触覚提示する。再生装置１０は、触覚提示と共にその図（イメージオブジェクト）の画像を表示する。なお、画像の表示は必須ではなく、表示しなくても良い。
【００７０】
図４は、再生装置１０の動作を示す流れ図である。再生装置１０は、資料に付加されているＱＲコード（登録商標）等のマークを読み取って、その資料に係る支援データが登録されているデータベース５にアクセスして、該当する支援データの取得要求を送信する（ステップＳ１０１）。
【００７１】
データベース５からの応答が、「該当の支援データなし」であれば（ステップＳ１０２;Ｎｏ）、本処理を終了する。該当の支援データがデータベース５に登録されているならば（ステップＳ１０２;Ｙｅｓ）、その支援データをデータベース５から取得する（ステップＳ１０３）。
【００７２】
次に、取得した支援データに含まれる音声データの再生を開始し（ステップＳ１０４）、音声による説明が、触覚データに対応する図の説明に入ったら（ステップＳ１０５;Ｙｅｓ）、その説明中の図に対応する触覚データを再生（触覚提示）して（ステップＳ１０６）、ステップ１０７へ移行する。触覚データの再生は所定時間、あるいは、該当する図の説明が終わるまで行う。
【００７３】
なお、音声データ再生制御部２４は、触覚提示されている図の説明に係る音声データを再生するときは、通常より再生速度を遅くする。再生速度を遅くする１つの態様として、音声再生を一時停止してもよい。たとえば、ユーザが再生領域１１に触れて図１を触覚提示している間に、音声による説明が次の図に入る場合には、次の図の説明に入る手前で音声再生を一時停止させ、ユーザが触覚提示された図１の確認を終えたら、音声再生を再開させる。
【００７４】
音声による説明が図の説明に入らなければ（ステップＳ１０５;Ｎｏ）、触覚データを再生することなく、ステップ１０７へ移行する。
【００７５】
ステップ１０７では、当該資料の音声による説明がすべて終了したか否かを判断し、未終了ならば（ステップＳ１０７;Ｎｏ）、ステップ１０３に戻って処理を継続する。当該資料の音声による説明がすべて終了したならば（ステップＳ１０７;Ｙｅｓ）、本処理を終了する。
【００７６】
次に、再生すべき触覚データが同時にもしくは一定期間内に複数発生した場合の動作について説明する。
【００７７】
音声による説明において、同時に（あるいは所定時間内に連続して）説明対象となった図が２つ以上ある場合は、触覚提示部１６の再生領域１１を複数の部分領域に分割し、各部分領域に異なる図を同時に触覚提示する。
【００７８】
図５は、図１と図２を同時に触覚提示した例を示している。この例では、「図１および図２に示すように…」といった説明が音声で行われたとき、再生装置１０は、触覚提示すべき図が、図１と図２の２つあると判断し、再生領域１１を２つの部分領域に分割する。図５の例では、再生領域１１を上下に分割し、１つ目の部分領域（上の部分領域）に図１を触覚提示し、２つ目の部分領域（下の部分領域）に図２を触覚提示している。
【００７９】
再生装置１０は、たとえば、音声の説明において、同時もしくは一定時間内に複数の図が登場した（複数の図の特定情報が発音された）とき、これらの図が同時に音声による説明の対象となったと判断する。また、特定情報が説明開始からの時間を示す場合、２つの特定情報が示す時間の差が一定以内のとき、その２つの特定情報に対応する図の説明が同時に行われたと判断する。
【００８０】
図６は、再生領域を分割して複数の図を同時に触覚提示する際に再生装置が行う動作を示す流れ図である。音声による説明で複数（ここではＮ個）の図が同時に説明対象になった場合、すなわち、触覚提示すべき図が同時にもしくは一定期間内に複数発生した場合は（ステップＳ２０１;Ｙｅｓ）、各図のサイズを、再生領域１１をＮ等分した部分領域に収まるサイズに縮小する（ステップＳ２０２）。
【００８１】
説明対象の複数の図には、音声の説明に登場した順に番号付けする、あるいは図の名称が番号やアルファベットならば番号順やアルファベット順に複数の図を番号付けする。そして、再生領域１１をＮ個の分割領域に分割し、番号の若い図から順に、再生領域１１の左上から右下に向かう順序で部分領域を１つずつ割り当て、各図の画像をそれぞれに割り当てた部分領域に表示する（ステップＳ２０３）。
【００８２】
ユーザがいずれかの部分領域に触れたとき、その部分領域に割り当てられている図の触覚データをその部分領域で再生して触覚提示する（ステップＳ２０４）。
【００８３】
なお、複数の図が同時に説明対象となったとき、再生領域１１を、図のサイズ比に応じたサイズの部分領域に分割してもよい。
【００８４】
複数の図が同時に説明対象となったとき、図７に示すように、その中の１つを再生領域１１の全体を使って触覚提示すると共に、ユーザのボタン操作（切り替え指示）に従って、いずれの図を触覚提示するかを切り替えるようにしてもよい。
【００８５】
また、上記の切り替え指示を、触覚提示部１６の再生領域１１への接触操作によって受け付けもよい。この場合、ユーザがどの指で再生領域１１に触れたかを接触部位検出部１９（カメラ等）で検出し、ユーザが再生領域１１へ触れた部位に応じて、触覚提示する図を切り替える。
【００８６】
図８は、図１と図２が同時に説明対象となったときに、人差し指に図１を、中指に図２を割り当てた様子を示している。図９は、２つの図が同時に説明対象となったときに、再生領域１１に触れる指によって触覚提示する図を切り替える処理を示す流れ図である。
【００８７】
たとえば、図１と図２の２つが同時に説明対象（触覚提示すべき対象）になったとき（ステップＳ３０１;Ｙｅｓ）、ユーザが人差し指で再生領域１１に触れると（ステップＳ３０２;Ｙｅｓ）、図１を触覚提示し（ステップＳ３０３）、ユーザが中指で再生領域１１に触れると（ステップＳ３０２;Ｎｏ）、図２を触覚提示する（ステップＳ３０４）。ユーザが再生領域１１に触れる動作は触覚提示対象の図の切り替え操作であると共に、その指を通じて伝わる振動や刺激によりユーザは触覚提示された図の形を認識する。
【００８８】
３つの図が同時に説明対象となった場合には、３つ目の図を薬指に割り当てればよい。５本の指を用いれば、最大５個の図を再生領域１１に触れる指によって切り替えることができる。なお、切り替え操作として再生領域１１に触れる箇所は指に限定されず、たとえば、手のひら、手の甲などでもよい。この場合は、切り替え操作と、触覚提示を感じる取るための接触動作を別とし、後者は指で行うようにすることが望ましい。
【００８９】
次に、音声による説明が既に終わっている以前の図に戻って触覚提示を行う場合について説明する。
【００９０】
たとえば、ユーザから所定の戻り操作を受け付けた場合に、１または２以上前に触覚提示した図に戻って、その図を再び触覚提示する。戻り操作は、たとえば、戻る釦の押下操作や再生領域１１で受け付けるスワイプ操作などである。
【００９１】
また、戻り操作を複数種類用意しておき、ユーザから受けた戻り操作の種類に応じて、いくつ前に触覚提示した図に戻って触覚提示するかを切り替えるようにしてもよい。
【００９２】
図１０は、戻り操作の種類によって戻り先の図を切り替える処理の一例を示す流れ図である。戻り操作を受けたとき（ステップＳ４０１;Ｙｅｓ）、その戻り操作の種類を判別する。たとえば、戻り操作（戻る釦を押下する操作やスワイプ操作）を１本の指で受けていれば（ステップＳ４０２;Ｙｅｓ）、１つ前の図に戻って触覚提示する（ステップＳ４０３）。戻り操作を２本の指で受けた場合は（ステップＳ４０２;Ｎｏ）、２つ前の図に戻って触覚提示する（ステップＳ４０４）。
【００９３】
さらに、戻り操作に従って戻った図を触覚提示したとき、３本の指でトントンするなど所定の操作をユーザから受けると（ステップＳ４０５;Ｙｅｓ）、再生中の触覚データに対応する図の説明が行われる位置に音声の再生位置を戻して音声データを再生する（ステップＳ４０６）。
【００９４】
次に、触覚提示中の図の登録機能について説明する。
【００９５】
複数種類の登録操作を予め設定しておく。再生装置１０の一時登録部２６は、触覚データを再生中にユーザから登録操作を受けた場合に、再生中の触覚データに紐付けてその登録操作を登録する。触覚データ再生制御部２３は、一時登録部２６によって登録されているいずれかの登録操作をユーザから受けた場合に、その登録操作に紐付けされている触覚データを再生する。
【００９６】
たとえば、触覚提示中の図を指で長押しする操作を登録操作とし、この長押し操作をどの指で行うかによって登録操作を種類分けする。触覚提示中の図に対して薬指で登録操作を受けた場合、薬指に紐付けてその図を登録する。その後に、薬指で再生領域１１をなぞる操作を受けると、薬指に紐付けて登録されている図を触覚提示する。
【００９７】
このように、再生装置１０では、以前に触覚提示された図について、音声による資料の説明の進行状況とは独立して、ユーザからの指示に従って触覚提示することを可能としている。
【００９８】
また、再生領域１１を資料の一のページに対応させ、ユーザの触れた再生領域１１内の位置に対応するページ内の位置にある図を触覚提示するようにしてもよい。図１１はその一例を示している。これにより、再生領域１１において、資料内の配置と同じ位置関係で、各図（イメージオブジェク）が触覚提示される。再生装置１０は、支援データに含まれる位置データに基づいて資料内での各図の位置を認識する。
【００９９】
資料を説明する音声は、音声データに基づいて再生される音声に限定されるものではない。たとえば、図１２に示すように、発表者や説明者が自分の声で資料を説明する場合、再生装置１０は、その声をマイクで拾い、マイクで拾った音声を解析することにより、発表者の説明が図の説明に入ったか否かを判断する。これにより、説明者が発する声による説明とタイミングを合わせて図を触覚提示することができる。
【０１００】
なお、触覚提示のみでイメージオブジェクトの内容を十分にユーザに伝えることが難しい場合には、視覚、聴覚、触覚以外の所定の感覚（たとえば、嗅覚）に係る情報を提示するようにしてもよい。たとえば、データベース５に支援データの１つとして、第３感覚（たとえば嗅覚）データを登録しておく。再生装置１０はデータベース５から取得した支援データに基づいて、資料内のイメージオブジェクトの音声による説明と共に、第３感覚データを再生して、第３感覚に係る情報を提示する。第３感覚データの再生は、触覚データの再生と並行してもよいし、独立に行っても良い。
【０１０１】
次に、資料から支援データを作成してデータベース５に登録する機能を備えた画像処理装置７について説明する。
【０１０２】
図１３は、画像処理装置７の電気的な概略構成を示すブロック図である。画像処理装置７は、当該画像処理装置７の動作を統括的に制御する制御部としてのＣＰＵ５１を有する。ＣＰＵ５１にはバスを通じてＲＯＭ５２、ＲＡＭ５３、不揮発メモリ５４、ハードディスク装置５５、スキャナ部５６、画像処理部５７、プリンタ部５８、ネットワーク通信部５９、操作パネル６１などが接続されている。
【０１０３】
ＣＰＵ５１は、ＯＳ（Operating System）プログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどを実行する。ＲＯＭ５２には、各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ５１が各種処理を実行することで画像処理装置７の各機能が実現される。
【０１０４】
ＲＡＭ５３は、ＣＰＵ５１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリや画像データを格納する画像メモリなどとして使用される。
【０１０５】
不揮発メモリ５４は、電源をオフにしても記憶内容が破壊されないメモリ（フラッシュメモリ）であり、デフォルト設定値や管理者設定などの保存などに使用される。
【０１０６】
ハードディスク装置５５は大容量不揮発の記憶装置であり、印刷データ、操作画面、設定画面の画面データのほか各種のプログラム、データが記憶される。
【０１０７】
スキャナ部５６は、原稿を光学的に読み取って画像データを取得する機能を果たす。スキャナ部５６は、原稿台にセットされた複数枚の原稿を順次繰り出して読み取るための自動原稿搬送装置（ＡＤＦ）を有する。また、この自動原稿搬送装置で原稿の表裏を反転させることで原稿の表裏を読み取ることができる。
【０１０８】
画像処理部５７は、画像の拡大縮小、回転などの処理のほか、印刷データをイメージデータに変換するラスタライズ処理、画像データの圧縮、伸張処理などを行う。
【０１０９】
プリンタ部５８は、画像データに応じた画像を記録紙上に画像形成する機能を果たす。ここでは、記録紙の搬送装置と、感光体ドラムと、帯電装置と、レーザーユニットと、現像装置と、転写分離装置と、クリーニング装置と、定着装置とを有し、電子写真プロセスによって画像形成を行う、所謂、レーザープリンタのエンジン部として構成されている。画像形成は他の方式でもかまわない。
【０１１０】
ネットワーク通信部５９は、ネットワーク３を通じてデータベース５や各種の外部装置と通信する機能を果たす。
【０１１１】
操作パネル６１は、表示部６２、操作部６３を備える。表示部６２には各種の操作画面や設定画面が表示される。表示部６２は液晶ディスプレイとそのドライバなどで構成される。操作部６３はユーザから各種の操作（タッチ操作や押下操作）を受ける。操作部６３はスタートボタンやテンキーなどの各種ハードスイッチと、表示部２６２表示面上に設けられたタッチパネルなどで構成される。
【０１１２】
ＣＰＵ５１は、画像処理装置７全体の動作を制御するほか、音声データ作成部７１、触覚データ作成部７２、登録部７３、マーク合成部７４などの機能を果たす。
【０１１３】
音声データ作成部７１は、スキャナ部５６で資料を光学的に読み取って得た読み取りデータを解析してその資料を説明する音声データを作成する。音声データ作成部７１は、資料に記載された文章そのものに対応する音声データを作成する、もしくは、資料に記載された文章をユーザやＡＩ技術を用いて要約して作成された要約文に対応する音声データを作成する。
【０１１４】
触覚データ作成部７２は、資料の読み取りデータを解析して、その資料に含まれる図などのイメージオブジェクトを触覚提示するための触覚データを作成する。
【０１１５】
登録部７３は、音声データの中で触覚データに対応するイメージオブジェクトの説明が成されている箇所を特定するための特定情報を作成し、音声データと、触覚データと、該特定情報とを紐付けたものを支援データとしてデータベース５に登録する。
【０１１６】
マーク合成部７４は、スキャナ部５６で資料を光学的に読み取って得た読み取りデータにを基に作成してデータベース５に登録した支援データへのアクセス情報（たとえば、ＵＲＬなど）を示すＱＲコード（登録商標）などのマークを作成し、これを読み取りデータが示す資料の画像に付加した合成画像を生成し、この合成画像をプリンタ部５８に印刷させる制御を行う。
【０１１７】
図１４は、資料から支援データを作成してデータベース５に登録する際に画像処理装置７が行う処理を示す流れ図である。スキャナ部５６で資料を読み取り（ステップＳ５０１）、読み取った資料の各ページを文章、図、表、写真などに領域分割し、それぞれの領域の位置を記憶する（ステップＳ５０２）。
【０１１８】
次に、文書があると判断された領域に存在する文書（もしくは該文書から作成された要約文）に対応する音声データを作成する（ステップＳ５０３）。
【０１１９】
次に、図等のイメージオブジェクトがあると判断された領域の画像を解析して、そのイメージオブジェクトを触覚提示するための触覚データを作成する（ステップＳ５０４）。
【０１２０】
次に、音声データ内で、触覚データに対応するイメージオブジェクトを説明している箇所を特定する特定情報を作成する（ステップＳ５０５）。そして、資料の識別名と、ステップ５０３で作成した音声データと、ステップ５０４で作成した触覚データと、ステップ５０５で作成した特定情報とを紐付けてデータベース５へ登録する（ステップＳ５０６）。
【０１２１】
図１５は、資料にデータベース５へのアクセス情報を付加した複写物を作成する際の画像処理装置７の動作を示す流れ図である。画像処理装置７は、所定のモードで資料をコピーする操作を受けた場合に、図１５に示す動作を行う。画像処理装置７は、資料をスキャナ部５６で光学的に読み取り（ステップＳ６０１）、その読み取りデータに基づいて、音声データと、触覚データと、特定情報を作成し、これらを紐付けてデータベース５へ登録する（ステップＳ６０２）。ステップ６０２は、図１４のステップＳ５０２〜Ｓ５０６に相当する。
【０１２２】
次に、画像処理装置７は、ステップ６０２でデータベース５へ登録した支援データにアクセスするための情報を示すＱＲコード（登録商標）等のマークを作成する（ステップＳ６０３）。そして、資料の読み取り画像の余白に、ステップ６０３で作成したマークの画像を合成し（ステップＳ６０４）、該合成画像（アクセス情報が付加された資料の画像）を印刷出力する（ステップＳ６０５）。
【０１２３】
画像処理装置７で資料をコピーして得た複写物には、データベース５へのアクセス情報が自動的に付加されるので、ユーザは該資料に対応する支援データを容易に取得することができる。
【０１２４】
図１６は、元の資料と、この資料にデータベース５へのアクセス情報を示すマーク（ＱＲコード（登録商標））を付加した複写物（印刷物）の一例を示している。なお、マークは、資料の１ページ目のみに印刷してもよいし、全ページに印刷してもよい。
【０１２５】
画像処理装置７を使用すれば、ユーザは、資料を所定のモードでコピーするだけで、その資料に対応する支援データを作成してデータベース５に登録することができると共に、その支援データにアクセスするためのアクセス情報を示すマークが付加された資料の複写物を得ることができる。
【０１２６】
以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。
【０１２７】
本発明に係る画像処理装置は、実施の形態に示す複合機に限定されず、必要な機能を備える装置であればよい。
【符号の説明】
【０１２８】
３…ネットワーク
５…データベース
７…画像処理装置
１０…再生装置
１１…再生領域
１２…ＣＰＵ
１３…ＲＯＭ
１４…ＲＡＭ
１５…音声出力部
１６…触覚提示部
１７…ネットワーク通信部
１８…操作部
１９…接触部位検出部
２０…マーク読取部
２１…データ取得部
２２…認識部
２３…触覚データ再生制御部
２４…音声データ再生制御部
２５…指示受付部
２６…一時登録部
５１…ＣＰＵ
５２…ＲＯＭ
５３…ＲＡＭ
５４…不揮発メモリ
５５…ハードディスク装置
５６…スキャナ部
５７…画像処理部
５８…プリンタ部
５９…ネットワーク通信部
６１…操作パネル
６２…表示部
６３…操作部
７１…音声データ作成部
７２…触覚データ作成部
７３…登録部
７４…マーク合成部
【図１】
2020204885.tif 000003
【図２】
2020204885.tif 000004
【図３】
2020204885.tif 000005
【図４】
2020204885.tif 000006
【図５】
2020204885.tif 000007
【図６】
2020204885.tif 000008
【図７】
2020204885.tif 000009
【図８】
2020204885.tif 000010
【図９】
2020204885.tif 000011
【図１０】
2020204885.tif 000012
【図１１】
2020204885.tif 000013
【図１２】
2020204885.tif 000014
【図１３】
2020204885.tif 000015
【図１４】
2020204885.tif 000016
【図１５】
2020204885.tif 000017
【図１６】
2020204885.tif 000018