(57)【要約】  デジタル画像（１≦ｍ≦Ｍ）を含む第１のファイルと、前記デジタル画像にリンクづけられた情報に関係する音を含む第２のファイルとを含む少なくとも１つのシーケンスをメモリ記憶する、音及び画像のメモリ記憶のための方法であって、前記第１のファイルに含まれる画像はスクリーン上に表示され、表示画像内で場所ｊ＝１（１≦ｊ≦Ｊ）が指し示されていたかどうか、音の記録がどの瞬間でトリガーされるかどうかが確認され、音の記録がトリガーされる瞬間にクロックが開始され、その場合、前記場所ｊが表示画像内で指し示されていたかが分かったとき、指し示された場所ｊの座標（ｘi,ｙj）が前記シーケンスの部分を形成する第３のファイル（ｆ３j）に記憶され、前記場所ｊに関連づけされた音が生成される瞬間にクロックが示す第１の時刻（ｔ１j）がサンプリングされ、前記場所ｊにリンクづけされた音の生成が実行されたり又は実行され得るには所定の時間（Δｔj）がかかり、前記第１の時刻（ｔ１j）及び前記所定の時間（Δｔj）が前記シーケンスの部分を形成する第４のファイル（ｆ４j）に記憶され、前記第２のファイル（ｆ２j）に音を記憶することは、前記所定の時間（Δｔj）中に生成された前記音を記憶することによって実行される方法である。【選択図】図３
2013529442.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像（１≦ｍ≦Ｍ）を含む第１のファイルと、前記デジタル画像にリンクづけられた情報に関係する音を含む第２のファイルとを含む少なくとも１つのシーケンスをメモリ記憶する、音及び画像のメモリ記憶のための方法であって、
前記第１のファイルに含まれる画像はスクリーン上に表示され、
前記画像の表示の後、表示画像内で場所ｊ＝１（１≦ｊ≦Ｊ）が指し示されていたかを特定するための照合が続き、前記照合のために、場所ｊが前記表示画像内で指し示されていたことが分かったとき、指し示された場所ｊの座標（ｘi,ｙj）は、前記シーケンスの部分を形成する第３のファイル（ｆ３j）に記憶され、
前記画像内で指し示された他の任意の場所ｊ≠１のために前記照合及び記憶が繰り返され、
前記場所ｊが表示画像内で指し示されるときのどの瞬間で、及び前記場所ｊに関連づけられる音の記録がどの瞬間でトリガーされるかが確認され、
音の記録がトリガーされる瞬間にクロックが開始され、その場合、前記場所ｊに関連づけられた音が生成される瞬間に、クロックにより示される第１の時刻（ｔ１j）がサンプリングされ、そして、前記場所ｊにリンクづけされた音の生成が実行されたり又は実行され得るには所定の時間（Δｔj）がかかり、
前記第１の時刻（ｔ１j）及び前記所定の時間（Δｔj）は、前記シーケンスの部分を形成する第４のファイル（ｆ４j）に記憶され、
前記第２のファイル（ｆ２j）に音を記憶することは、前記画像内で指し示された複数の場所ｊのそれぞれが処理されているときに、前記所定の時間（Δｔj）中に生成された前記音を記憶することによって実行され、
ｊ＝Ｎの前記場所に関連する音のセグメントの記録の後に、前記クロックはストップする、
ことを特徴とする方法。
【請求項２】
前記所定の時間（Δｔj）は、あらかじめ決めた時間間隔である、請求項１に記載の方法。
【請求項３】
前記所定の時間（Δｔj）は、前記場所ｊにリンクづけられた音の生成がストップする瞬間で決定される、請求項１に記載の方法。
【請求項４】
前記所定の時間（Δｔj）は、次の場所ｊ＋１が前記画像内で指し示される瞬間で決定される、請求項１に記載の方法。
【請求項５】
複数の前記場所ｊのいずれか１つに関連する音の記録中に、当該音の生成の一時停止が生じたかが確認され、
前記一時停止があった場合、前記一時停止が生じた瞬間にクロックが示す第２の時刻ｔ２j、及び、前記一時停止がストップした瞬間にクロックが示す第３の時刻ｔ３jが、前記第４のファイル（ｆ４j）に記憶される、請求項１〜４の何れか１項に記載の方法。
【請求項６】
複数の前記場所ｊのいずれか１つに関連する音の記録中に、アクションが前記一時停止の最中になされたかが確認され、
アクションがあった場合、当該アクションが識別されて前記第４のファイル（ｆ４j）に記憶される、請求項５に記載の方法。
【請求項７】
表示された前記画像内で場所ｊが指し示されたとき、識別子が当該画像に関連づけられ、指し示された前記場所ｊに表示される、請求項１〜６の何れか１項に記載の方法。
【請求項８】
請求項１〜７の何れか１項に記載の方法を適用することによって、記憶画像を表示し且つ記憶音を再生するための方法であって、
記憶された前記Ｍ個の画像の少なくとも１つが前記スクリーン上で再生されて、ユーザが当該Ｍ個の画像の中から画像ｍを選ぶことができるようにし、
前記画像ｍの選択の後に、選ばれた当該画像ｍに関連するシーケンスが前記メモリから読出され、且つ、当該画像ｍに関連するＮ個の場所が表示され、
或る一つの場所ｊの選択の後に、当該場所ｊに関連する前記第２、第３、及び第４のファイルが読出され、前記場所ｊに関連する音が、読出された前記第２のファイルから生成され、
前記第１の時刻で前記音を開始し、そして前記所定の時間（Δｔj）が経過したときに前記音をストップさせる、
ことを特徴とする方法。
【請求項９】
前記選ばれた場所ｊに関連する前記第４のファイルが一時停止及び／又はアクションであることを示すとき、
生成された前記音の中に前記停止が含まれており、
前記アクションは、前記選ばれた画像ｍの中に含まれ、及び前記スクリーン上に表示される、
ことを特徴とする請求項５又は６を引用する請求項８に記載の方法。
【請求項１０】
請求項１〜９の何れか１項に従う方法を実行する装置であって、
前記Ｍ個の画像の少なくとも１つを前記第１のファイルに、前記少なくとも１つの画像に関連する音を前記第２、第３、及び第４のファイルに記憶するよう構成されたメモリを備え、前記メモリは、記憶された画像の中から一つの画像ｍを選択するための選択手段に結合され、さらに、
クロックと、
前記クロック及び前記所定の時間（Δｔj）によって示唆される第１の時刻をサンプリングする手段と、
前記Ｍ個の画像から一つの画像を選択し、当該選択された画像において場所（ｘi,ｙj）を選択するための選択手段と、
を備えた装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音及び画像をメモリに記憶する方法に関し、その方法は、デジタル画像ｍ（１≦ｍ≦Ｍ）を含む第１のファイルと、関心のあるデジタル画像ｍにリンクづけされた情報に関する音を含む第２のファイルとの少なくとも１つのシーケンスメモリに記憶することを含む。また、第１のファイルに含まれる画像はスクリーン上に表示され、当該表示に続き、場所ｊ＝１（１≦ｊ≦Ｊ）がその表示された画像内で指し示されているか否かを判断するための照合が行われる。また、その場合、場所ｊが表示された画像内で指し示されていたことが分かったとき、指し示された場所ｊの座標（ｘi,ｙj）は、上記シーケンスの部分を形成する第３のファイル（ｆ３j）に記憶される。そして、この方法は画像内で指し示された他の任意の場所ｊ≠１のために反復される。また、本発明は、記録された音及び画像を再生する方法、及び当該方法を適用した装置に関する。
【背景技術】
【０００２】
このような方法は米国特許番号7，536，706号に記載されている。この特許に記載されている方法の場合、デジタル装置の手段によって、例えば写真又はフィルムが撮られる。その結果、写真又はフィルムは、ＵＳＢキー、ＤＶＤディスク、又はインターネットサイトによって構成されるメモリに格納されることになる。ユーザは、音を追加したいと望む画像内の場所を示唆する。この音は、記録された後でメモリに記憶される。人がこれらの写真又はフィルムをみたいと望むとき、写真又はフィルムと同時に音が生成される。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
フィルムの場合、音と画像との間の同期は、動画像であり且つカメラのマイクロフォンが用いられるので合理的な同期が実行され得るのだが、ユーザが音を追加しようと望むのが写真の場合は同様とはならない。確実に、ユーザは、写真に音を関連づけることができるが、音の手段によって写真内の或る要素をハイライト化させる可能性をもっていない。さらに、ユーザにとって、特に、音が画像とは離れて記録される場合にあっては、音と画像を同期させることは自明とはいえない。
【０００４】
本発明の目的は、仮に音と画像が分離して記録されたとしても、表示された画像の部分を形成する要素にユーザが追加したい音を容易に同期させることを可能にする、音及び画像をメモリに記憶する方法を提供することである。
【課題を解決するための手段】
【０００５】
この目的を達成するために、本発明による方法は、場所ｊが表示された画像内で指し示されるときのどの瞬間で、及び場所ｊに関連づけられる音の記録がどの瞬間でトリガーされるかを確認する点で特徴づけられる。クロックは、音の記録がトリガーされる瞬間に開始される。また、その場合、場所ｊに関連づけられた音が生成される瞬間に、クロックにより示される第１の時刻（ｔ１j）がサンプリングされ、そして場所ｊにリンクづけされた音の生成が実行されたり又は実行され得る間、所定の時間（Δｔj）がかかり、第１の時刻（ｔ１j）及び前記所定の時間（Δｔj）は、前記シーケンスの部分を形成する第４のファイル（ｆ４j）に記憶され、前記第２のファイル（ｆ２j）に音を記憶することは、前記画像内で指し示された複数の場所ｊのそれぞれが処理されているときに、前記所定の時間（Δｔj）中に生成された前記音を記憶することによって実行される。
ｊ＝Ｎの前記場所に関連する音のセグメントの記録の後に、前記クロックはストップする。
【０００６】
音の記録がトリガーされる瞬間でクロックを開始することは、時間ベースを音に関連づけることを可能にし、さらに今度は、音が再生されるときに、音及び画像の同期を可能にさせる。加えて、教示された場所ｊに関連する時刻ｔ１j及び所定の時間（Δｔj）をサンプリングして記憶することによって、再生時に、写真上の場所ｊと当該場所に関連する音との間のリンクを容易に見つけることのみならず、音を教示された場所に関連づけることを可能にする。その結果、ユーザは、教示された場所ｊ上に含まれる写真の或る要素を音に関連づけ、そして当該場所ｊを指し示すことによって自動的に記録された音を再生することができる手段を有する。したがって、ユーザは、画像を撮った後に音を記録する場合であっても、その音と画像を容易に同期させることができる。
【０００７】
本発明に従う方法の第１の実施例によれば、所定の時間（Δｔj）はあらかじめ決めた時間間隔である。これは、本時間間隔の決定を容易にし、その結果、音を記録するのに利用できるメモリ量を容易に管理できることにつながる。
【０００８】
本発明に従う方法の第２の実施例によれば、所定の時間（Δｔj）は、前記場所ｊにリンクづけられた音の生成がストップする瞬間で決定される。これにより、所定の時間に関する可変時間を選択できるようになる。
【０００９】
本発明に従う方法の第３の実施例によれば、所定の時間（Δｔj）は、次の場所ｊ＋１が前記画像内で指し示される瞬間で決定される。これにより、所定の時間（Δｔj）の決定を自動的に行いながら、所定の時間に関する可変時間を選択できるようになる。
【００１０】
本発明に従う方法の第４の実施例によれば、複数の前記場所ｊのいずれか１つに関連する音の記録中に、当該音の生成の一時停止が生じたかが確認され、前記一時停止があった場合、前記一時停止が生じた瞬間にクロックが示す第２の時刻ｔ２j、及び、前記一時停止がストップした瞬間にクロックが示す第３の時刻ｔ３jが、第４のファイル（ｆ４j）に記憶される。その結果、記録しながら音の生成をしたままにしている誰かによる一時停止を、メモリ空間を消費させてしまうあらゆることを回避しながら、再生動作を可能にさせる。
【００１１】
本発明に従う方法の第５の実施例によれば、複数の場所ｊのいずれか１つに関連する音の記録中に、アクションが前記一時停止の最中になされたかが確認され、アクションがあった場合、当該アクションが識別されて第４のファイル（ｆ４j）に記憶される。そのようなアクションは、例えば、問い合せ中の場所でズーム（拡大表示）をすることであったりする。アクションを記録することによって、引き続き、そのアクションを再生することができる。
【００１２】
本発明に従う方法の第６の実施例によれば、表示された前記画像内で場所ｊが指し示されたとき、識別子が当該画像に関連づけられ、指し示された前記場所ｊに表示される。指し示された場所ｊと識別子との関連は、画像がその後に再生されたときに当該画像をより容易に認識できるようにし、その結果、ユーザによる場所の選択を容易に行えるようにする。
【００１３】
また、本発明によれば、記憶画像を表示し且つ記憶音を再生する方法は、記憶されたＭ個の画像の少なくとも１つがスクリーン上で再生されて、ユーザが当該Ｍ個の画像の中から画像ｍを選ぶことができるようにし、そして、画像ｍの選択の後に、選ばれた当該画像ｍに関連するシーケンスがメモリから読出され、且つ、当該画像ｍに関連するＮ個の場所が表示され、或る一つの場所ｊの選択の後に、当該場所ｊに関連する前記第２、第３、及び第４のファイルが読出され、前記場所ｊに関連する音が、読出された第２のファイルから生成され、第１の時刻で前記音を開始し、そして前記所定の時間（Δｔj）が経過したときに前記音をストップさせることにより特徴づけられる。記録されるシーケンスの使用は、指し示された場所ｊに関連する音を容易に再構築すること、及びそれを画像に同期させることを可能にする。
【００１４】
本発明は、図面を参照することでより詳細に以下記載される。図面は、本発明に従う方法及び装置の好ましい一実施例を示す。
【図面の簡単な説明】
【００１５】
図中、同じ符号が、同じ要素又は類似の要素に割当てられている。
【図１】本発明に従う装置例の全体図である。
【図２】本発明に従う装置のスクリーン上に表示される幾つかの画像をあらわした図１と同じ装置を示す。
【図３】音を記憶する方法のアプリケーション中のスクリーンを示す。
【図４】音を記憶する方法のステップをあらわすフローチャートである。
【図５】音を記憶する方法のステップをあらわすフローチャートである。
【図６】音を記憶する方法のアプリケーションの間に形成されるシーケンスの例を示した図である。
【発明を実施するための形態】
【００１６】
図１は、本発明に従う装置例の全体図を示す。本装置は、スクリーン３の周囲にフレーム２を備える。スクリーン３は、タッチスクリーンであり、装置の操作ボタンをスクリーン上に表示できるという優位性を有している。しかしながら、スクリーンは必ずしもタッチスクリーンである必要はなく、他のタイプのスクリーンが用いられ得ることは明らかであろう。スクリーンがタッチタイプではない場合、コントロールボタン（不図示）が本フレーム上にマウントされ、これらの手段によって装置を制御することが可能になっている。また、装置の様々な機能を制御する音（声）コマンドを用いることも可能である。本発明による装置は、画像を表示し音を再生する唯一の機能を有するエンティティによって必ずしも構成されるわけではないことに留意されたい。また、本発明による装置は、メモリ及びデータプロセッサを備えたコンピュータ若しくは電話に統合されることもできる。
【００１７】
本発明による装置は、メモリ及びデータプロセッサ（好ましくは、マイクロプロセッサによって構成されるデータプロセッサ）を備える。メモリは、例えば、ＵＳＢメモリ、光ディスク、又は他のタイプの電子的にアクセス可能なメモリなどの半導体メモリによって構成される。メモリは、そこにデータを書込むことが可能なタイプのものでなくてはならず、好ましくはデータを削除できると良い。
【００１８】
画像はメモリに記憶され、好ましくは、ユーザによってデジタル写真装置で撮られるものである。しかしながら、言うまでもなく、メモリ内にダウンロードされた画像を記憶することも可能である。メモリに画像を記憶することは、既知の方法で行われ、ここでは詳細に記載はしない。本発明によれば、各画像の記憶は、格納される各画像について、図６に示すようなデジタル画像を含む第１のファイルｆ1を含むシーケンスを記憶することによって行われる。
【００１９】
ユーザが１以上の画像を、個々の画像の形式又はビデオ形式の何れか一方でメモリ内に記憶するとき、ユーザは装置１のスクリーン上３に１以上の画像を表示することができる。図２は、スクリーン２に表示されたＭ（１≦ｍ≦Ｍ）個の各画像（ｍ＝１,ｍ＝２,ｍ＝３）のシリーズの一例を示す。この表示方法は、ユーザが、記憶された前記画像のアイデアを持ち、その結果、当該記憶された画像の一つを容易に選択できるようにする。しかしながら、繰り返しになるが、記憶された画像を表示する他の方法の中での一つの方法でしかなく、画像をスクローリングするといった他の方法が用いられることが可能であることは明らかであろう。一方で、装置が選択手段を備え、ユーザはメモリに記憶された中から１以上の画像を選ぶことができることは必須である。なぜなら、音に追加する必要がある画像ｍを選ぶことが必要となるからである。
【００２０】
ユーザが記憶された画像の一つを選んだとき（例えば、図３に示す一つ）、彼又は彼女は本発明に従う方法を開始することができる。これは、例えば、スクリーン上に表示されたボタンを作動（アクチュエート）させること、若しくは装置のボタンを作動させることの何れかによって実行される。このボタンを作動させた後、別のシリーズのボタンが、例えば図３に示すようなタッチスクリーンが用いられるのであれば、そのスクリーン上に表示することによって、作動されるだろう。他のシリーズのボタンとしては、例えば、音の記録をトリガーさせたり停止させたりするボタン５、音の記録において一時停止（ポーズ）をマークするためのボタン６、及びズーム（拡大表示）を可能にするボタン７を含む。好ましくは、音の記録を開始してからの経過時間を示すために表示され、そしてフレーム８は記録された音の音量を示すように構成されている。当然ながら、カーソル操作ボタンなどの他のボタンもスクリーン上に表示されうる。
【００２１】
図４は、本発明に従い音を記憶する方法をフローチャートであらわした図である。ユーザが選んだ画像ｍに関連づけられる音の記録を望むことをあらわすボタン５の作動がユーザにより行われると（ステップ１０の「ＲＥＣ？」）、ステップ１１（ｘi,ｙj？）、即ち、ユーザが画像ｍにおいて座標ｘi,ｙj（１≦ｊ≦Ｎ）を指し示しているかどうかが確認される。これは、ユーザが、画像ｍにおいてどの被写体（サブジェクト）に注釈を付与したいかに関して表示された場所ｊを選択できるようにするものである。本方法は、画像内で指し示されるべきＮ個の場所をユーザが選択できるようにする。この数については、メモリ容量及びスクリーンの大きさに応じて変化し得る値である。
【００２２】
ユーザが画像内の場所ｊを指し示した後、その場所ｊの座標（ｘi,ｙj）は、画像ｍにリンクづけされたシーケンスの部分を形成する第３のファイルｆ３j（図６参照）に格納される（ステップ１２、「ＳＴ  ｘi,ｙj」）。好ましくは、表示された画像ｍ内で場所ｊが指し示されるとき、識別子９がこの画像に関連づけられ、指し示された場所ｊで表示されるとよい（図３参照）。これは、音が記録されるときに、場所ｊが指し示されることをユーザが認識できるようにすることのみならず、その後の表示の間に、画像中の場所に音が関連づけられたことを認識できるようにしている。また、識別子は、例えば、星、三角形の形状であったり、小さな赤いボールなどの特定の色づけがされるなどの、画像内で指し示される場所ｊを区別することを可能にする任意の識別子であってよい。
【００２３】
次に、どの瞬間で音の記録がトリガーされるかを確認する（ステップ１３  「ＳＴＲＣ？」）。それは、例えばクロックを開始するための（ステップ１４  「ＳＣＬＫ」）ボタン６をタッチすることによって実行される。次に、どの瞬間で場所ｊに関連させる音が生成されるかを確認する（ステップ１５  「ＳＴ  ＳＰ」）。この音が開始したことがわかったとき、場所ｊに関連させられる音の生成が開始される瞬間のクロックが示す第１の時刻ｔ１jが当該クロックから読み取られ、一時メモリに記憶される（ステップ１６  「ＳＴｔ１j」）。
【００２４】
次に、音のサンプリング中に、イベントが発生したかが確認される（ステップ１７  「ＥＶ？」）。そのようなイベントは音の生成が停止するという事実でもありうる。なぜなら、例えば、ユーザが拡大表示のためにボタン７を押下したり、ボタン６を作動することで一時停止をマークしたり、あるいは色変更などの他のアクションを行うことになるからである。そのようなイベントが発生したらいつでも、当該イベントが起きた瞬間でのクロックが示す時刻ｔｋjがサンプリングされる（ステップ１８  「ｔｋj」）。したがって、一時停止をマークするために音の生成が停止されたとき、第２の時刻ｔ２jがサンプリングされる。一時停止が終わったとき、第３の時刻ｔ３jがサンプリングされる。第２及び第３の時刻は一時的に記憶される（ステップ１８  「ＳＴＴ」）。一つのアクションが行われるとき、好ましくは、第４の時刻ｔ４jがサンプリングされ、そして当該アクションが識別される。時刻ｔ４j及び識別されたアクションは、次に、一時的に記憶される（ステップ１９  「ＳＴＡ」）。
【００２５】
場所ｊにリンクづけされた音の生成が効果的におこなわれ得る時間間隔として、Δｔjが含まれる（ステップ２０  「Δｔj」）。これは、指し示される場所あたり、例えば、３秒といった時間をあらかじめ決めておくことによって実現される。別の実施例によれば、この時間間隔Δｔjは、場所ｊにリンクづけされた音の生成が停止される瞬間に決定される。といのは、例えば、ユーザはボタン５を作動させたり、本方法自体が音の停止を検出するからである。最終的に、時間間隔Δｔjは、画像ｍ内で次の場所ｊ＋１が指し示される瞬間によって決定されることもありうる。これら最後２つの実施例の場合、クロックが示す時刻ｔfがサンプリングされ、そして時間間隔Δｔjがｔfとｔ1の時差によって決定される。シーケンスの部分を形成する第４のファイルに、時間間隔Δｔj及び時刻ｔ１jが記憶される。
【００２６】
時間間隔Δｔjの間に生成された音は、第２のファイルに記憶される（ステップ２１  「ＳＴｆ２j」）。したがって、シーケンスは、第２、第３、及び第４のファイルを追加することによって完了する。したがって、完了したシーケンスはメモリ内に記憶される。次に、他の場所が示唆されていないかが確認され（ステップ２２  「ｊ＝Ｎ？」）、示唆されていた場合には、本方法は、指し示されたＮ個の場所のそれぞれが処理されるまで、指し示された他の場所のために繰り返される。一つのアクションが識別された場合、このアクションの識別子は第４のファイルに記憶される。Ｎ個のポイントすべてが処理されたとき、クロックは停止する（ステップ２３  「ＳＴＣＬＫ」）。好ましくは、Ｎ個の画像のために記録される音の総時間は、音と共にメモリを充填させるために制限される。図５は、記憶された画像を表示し、選択された画像と共に記憶された音を生成することができる本発明に従う方法を示している。ユーザが本発明に従う装置を使用して記録された画像を見るとき、ユーザはビジョン・プログラムを開始するだろう。これは、例えば、スクリーンに表示されたボタン又は装置自体にある固定ボタンをタッチすることによって行われる（ステップ３０  図５）。上記ボタンを作動した後、メモリに記憶された１以上の画像が表示され（ステップ３１  「ＤＩＳＰＡ」）、ユーザは表示された画像の中で一つを選択することが可能になる。
【００２７】
ユーザがメモリに記憶された中から一つを選ぶまで、装置は待つ（ステップ３２  「ＳＬＭ？」）。ユーザが画像の選択を行った後、記憶されたＭ個の中から画像ｍとすると、この画像ｍがスクリーン上に表示される（ステップ３３  「ＤＩＳＰｍ」。また、本画像ｍにリンクづけされたシーケンスがサンプリングされる（ステップ３５  「ＲＳＱｍ」）。アプリケーションがインジケータ９を有しているならば、上記サンプリングは表示された画像内のＮ個の場所のそれぞれで位置づけられる（ステップ３５  「ＤＩＳＰ  ＩＤ」）。このために、座標（ｘi,ｙj）が、サンプリングされたシーケンスの第３のファイル（ｆ３j）に記憶される。
【００２８】
場所（ｘi,ｙj）が表示画像で選ばれる間、アプリケーションは待つ（ステップ３６  「Ｗｘi,ｙj？」）。場所（ｘi,ｙj）の選択がされると、第１のファイルに存在する場所（ｘi,ｙj）にリンクづけられた第２のファイル及び第４のファイルが読み出され（ステップ３７  「Ｒ  ｆ２i,ｆ４j」）、そして第２のファイルに記憶された音が生成されてユーザに提示される（ステップ３８  「Ｐｓｆ２j」）。この目的を達成するために、音の生成は第４のファイルに記憶された時刻ｔ１j及びｔ２jによって制御され、当該生成は画像と音の間の同期を可能にする。一時停止又はアクションを許可する他の時刻によってもこれを応用できる。
【００２９】
音の生成の後に、アプリケーションは他の場所が選択されているかどうかを確認する（ステップ３９  「Ｎ？」）。選択されている場合、本方法はステップ３３から再開される。他の任意の場所が選択されていなければ、本方法は終了する。
【符号の説明】
【００３０】
１  装置
２  フレーム
３  スクリーン
５  ボタン
６  ボタン
７  ボタン
【図１】
2013529442.tif 000003
【図２】
2013529442.tif 000004
【図３】
2013529442.tif 000005
【図４】
2013529442.tif 000006
【図５】
2013529442.tif 000007
【図６】
2013529442.tif 000008
【国際調査報告】
2013529442.tif 000009
2013529442.tif 000010
2013529442.tif 000011
2013529442.tif 000012
2013529442.tif 000013
2013529442.tif 000014