(57)【要約】【課題】簡単な操作で、画像データを音声データの適当な時間位置にリンクさせることができる情報処理装置及び情報処理プログラムを提供すること。【解決手段】複数の任意の再生時間位置それぞれに、所望の画像データをリンクさせた音声データを処理することが可能な情報処理装置は、情報処理プログラムによって、ユーザが選択した音声データにリンクされた画像データの再生時間位置情報を表すリンク情報表示を画面上に表示させ、音声データにリンクされていない画像データを画面上に表示させ、上記音声データにリンクされていない画像データの中から所望の画像データをユーザに選択させ、上記選択された画像データをリンク情報表示中の所望の位置に挿入させる挿入動作をユーザに行わさせ、上記挿入が行われたリンク情報表示中の位置に対応した上記選択された音声データの再生時間位置を算出させて、上記選択された画像データを音声データにリンクさせる。【選択図】　図１
2004134983.tif 000002
【特許請求の範囲】
【請求項１】
複数の任意の再生時間位置それぞれに、所望の画像データをリンクさせた音声データを処理することが可能な情報処理装置において、
選択された音声データにリンクされた画像データの再生時間位置情報を表示する表示領域を有する位置情報表示手段と、
音声データにリンクされていない画像データを表示する画像データ表示手段と、
上記音声データにリンクされていない画像データの中から所望の画像データを選択し、上記表示領域中に挿入する挿入手段と、
上記挿入が行われた上記表示領域中の位置に対応した上記選択された音声データの再生時間位置に、上記選択された画像データをリンクさせるリンク手段と、
を具備することを特徴とする情報処理装置。
【請求項２】
上記リンク手段は上記リンクを行うときに上記選択された音声データのファイルヘッダ領域を書き換えることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
上記リンク手段は上記リンクを行うときに上記選択された画像データのファイルヘッダ領域を書き換えることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
上記リンク手段は上記リンクを行うときに上記選択された画像データを上記選択された音声データが格納されているフォルダに移動させることを特徴とする請求項１に記載の情報処理装置。
【請求項５】
複数の任意の再生時間位置それぞれに、所望の画像データをリンクさせた音声データを、コンピュータで処理することが可能な情報処理プログラムにおいて、
上記情報処理プログラムはコンピュータに、
ユーザが選択した音声データにリンクされた画像データの再生時間位置情報を表すリンク情報表示を画面上に表示させ、
音声データにリンクされていない画像データを画面上に表示させ、
上記音声データにリンクされていない画像データの中から所望の画像データをユーザに選択させ、上記選択された画像データを上記リンク情報表示中の所望の位置に挿入させる挿入動作をユーザに行わさせ、
上記挿入が行われた上記リンク情報表示中の位置に対応した上記選択された音声データの再生時間位置を算出させて、上記選択された画像データをリンクさせることを特徴とする情報処理プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、情報処理装置及び情報処理プログラム、詳しくは、音声データ及び画像データをリンクさせて処理できる情報処理装置及び情報処理プログラムに関する。
【０００２】
【従来の技術】
従来、音声をデジタル化して記録するのに、フラッシュメモリのような書き換え可能な半導体メモリに記憶し、再生時には音声データをアナログ化して再生する携帯型の音声記録再生装置が実用化されている。
【０００３】
一方、画像を撮像する機能を備えたカメラ付き音声記録再生装置も開発されている。
従来、音声データや画像データなどの情報を記録再生する情報処理装置では、録音中に静止画を撮影した場合には、その撮影したタイミングを記録しておき、音声再生時には撮影したタイミングで撮影された静止画を表示することが行われている（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開２００１−６９４５３号公報（第１−３頁、図１参照）
【０００５】
【発明が解決しようとする課題】
しかしながら、上記従来技術では、録音中にその録音されている状況を示す画像を記録したい場合には良いが、例えば既にある画像データや、後で画像データを作成してから音声データにリンクさせたい場合には上述の方法で音声データに画像データをリンクさせられない。
【０００６】
本発明は、上記の問題に鑑みてなされたもので、簡単な操作で、画像データを音声データの適当な時間位置にリンクさせることができる情報処理装置及び情報処理プログラムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は、複数の任意の再生時間位置それぞれに、所望の画像データをリンクさせた音声データを処理することが可能な情報処理装置において、選択された音声データにリンクされた画像データの再生時間位置情報を表示する表示領域を有する位置情報表示手段と、音声データにリンクされていない画像データを表示する画像データ表示手段と、上記音声データにリンクされていない画像データの中から所望の画像データを選択し、上記表示領域中に挿入する挿入手段と、上記挿入が行われた上記表示領域中の位置に対応した上記選択された音声データの再生時間位置に、上記選択された画像データをリンクさせるリンク手段と、を具備したものである。
【０００８】
この構成により、リンクされていない画像データを、選択されている音声データにリンクさせる際には、選択された音声データにリンクされた画像データの再生時間位置情報を表示する表示領域に、上記リンクされていない画像データを挿入すると、挿入位置に対応した再生時間位置に、上記選択された画像データをリンクさせることができる。簡単な操作で、画像データを音声データの適当な時間位置にリンクさせることが可能となる。
【０００９】
本発明は、複数の任意の再生時間位置それぞれに、所望の画像データをリンクさせた音声データを、コンピュータで処理することが可能な情報処理プログラムにおいて、上記情報処理プログラムはコンピュータに、ユーザが選択した音声データにリンクされた画像データの再生時間位置情報を表すリンク情報表示を画面上に表示させ、音声データにリンクされていない画像データを画面上に表示させ、上記音声データにリンクされていない画像データの中から所望の画像データをユーザに選択させ、上記選択された画像データを上記リンク情報表示中の所望の位置に挿入させる挿入動作をユーザに行わさせ、上記挿入が行われた上記リンク情報表示中の位置に対応した上記選択された音声データの再生時間位置を算出させて、上記選択された画像データをリンクさせることを特徴とするものである。
【００１０】
この情報処理プログラムにより、選択された音声データにリンクされた画像データの再生時間位置情報を表示することが可能な表示領域に、リンクされていない画像データを挿入すると、その挿入位置に対応した再生時間位置を算出して、上記リンクされていない画像データを、選択されている音声データにリンクさせることができる。
【００１１】
【発明の実施の形態】
発明の実施の形態について図面を参照して説明する。
図１及び図２は本発明の一実施の形態の情報処理装置におけるパソコン側アプリケーションの要部の動作フローを示している。また、図３及び図４はその動作フローに対応するアプリケーション画面を示している。図５は本発明の他の実施の形態の情報処理装置におけるパソコン側アプリケーションの要部の動作フローを示している。
【００１２】
図１〜図５で本発明の要部を説明する前に、図６〜図９を参照して情報処理プログラムを格納した情報処理装置としてのコンピュータ（以下、パソコン又はＰＣと略記する）と、撮像機能を備えた音声記録再生装置（以下、レコーダと記す）との接続関係、レコーダの概略構成、画像ファイルがリンク付けされている音声ファイルの構成、並びにアプリケーション画面の代表的な表示例について説明する。
【００１３】
図６は本発明の一実施の形態である情報処理装置に使用するコンピュータと、レコーダとの接続状態を外観的に示している。
図６に示すように、撮像機能を備えたカメラ付きレコーダ１００は、ＵＳＢケーブル２００を介してパソコン３００に接続されている。
【００１４】
レコーダ１００は、マイクロフォンなどの音声入力装置と、スピーカなどの音声出力装置と、ＣＣＤなどの撮影素子と、書換え可能な半導体メモリ（例えばフラッシュメモリ）などの記憶装置と、液晶パネルなどの表示装置と、入出力端子としてのＵＳＢポートと、各種の操作ボタンを有する操作部とを少なくとも具備し、電池を電源として駆動可能となっている。ＵＳＢケーブル２００を外すことにより、携帯できるようになっている。そして、レコーダ１００は、内蔵のマイクロフォン及び撮像素子を用いて音声信号及び画像信号、或いは音声信号，画像信号のどちらか一方を取得して、内部の書換え可能な前記記憶装置に記憶できるようになっている。
【００１５】
一方、パソコン３００は、パソコン本体３０１と、キーボードやマウス（図示せず）などの入力装置３０２と、液晶ディスプレイやＣＲＴディスプレイなどの表示装置とスピーカ（図示せず）などの音声出力装置等で構成される出力装置３０３と、を具備して構成されている。
【００１６】
前記パソコン本体３０１は、主メモリと、基本プログラム及びアプリケーションプログラムや各種データが格納されるハードディスク装置などの補助メモリと、主メモリから読み込んだ各種プログラム及びデータを用いて基本処理及びアプリケーション処理などの各種の処理を行う中央処理装置であるＣＰＵと、各種の入出力インターフェース及び入出力端子（ＵＳＢポートを含む）と、を少なくとも有している。また、機能的には、パソコン本体３０１は、画像データをディスプレイに表示可能なビデオ信号として再生させる再生手段（ＣＰＵ等の映像処理を含む）を有する一方、音声データをスピーカで再生可能な音声周波の信号として再生させる再生手段（ＣＰＵ等の音声再生処理を含む）を有している。
【００１７】
パソコン３００には、レコーダ１００から音声データ及び画像データをダウンロードして編集できるアプリケーションプログラムがインストールされている。すなわち、パソコン３００は、レコーダ１００からの音声データ及び画像データを取り込んで編集可能な情報処理装置として機能するようになっている。
【００１８】
パソコン３００内に、レコーダ１００からの音声データ及び画像データを取り込むには、レコーダ１００とパソコン３００とを、ＵＳＢケーブル２００を介して相互に接続し、パソコン３００の上記アプリケーションプログラムを起動することで、該アプリケーション上のダウンロード用操作ボタンをマウス（図示せず）にてクリックするだけで、簡単に、レコーダ１００に記憶された音声データ及び／又は画像データをパソコン３００に転送することができるようになっている。
【００１９】
図７は、上記一実施形態におけるレコーダの具体的な構成を示したブロック図である。
この図７に示すように、音声を電気信号に変換するマイクロフォン（ＭＩＣと略記）５の出力端は音声入力部６の入力端に接続されており、また前記音声入力部６の出力端はデジタル信号処理部（ＤＳＰと略記）１３の入力端に接続されている。
【００２０】
さらに、上記デジタル信号処理部１３の出力端は音声再生部７の入力端に接続されており、この音声再生部７の出力端はスピーカ（ＳＰと略記）８の入力端に接続されている。
【００２１】
同様に、画像を電気信号に変換する撮像素子（ＣＣＤと略記）１の出力端は、画像入力部２の入力端に接続されており、前記画像入力部２の出力端は、上記デジタル信号処理部１３の入力端に接続されている。
【００２２】
さらに、上記デジタル信号処理部１３の出力端は、画像再生部３の入力端に接続されており、また前記画像再生部３の出力端は、例えばＴＦＴタイプのＬＣＤ等で構成されている画像表示部４の入力端に接続されている。
【００２３】
上記画像再生部３は、ビデオ制御回路、及びＤ／Ａ変換器（いずれも図示せず）で構成されており、この画像再生部３で入力されるデジタル信号をアナログ信号に変換する。また、前記画像表示部４は、図示しない選択手段により選択された画像データを再生表示したり、図示しないデータ選択手段により選択された音声データ或いは画像データの属性情報を表示する表示機能を有している。
【００２４】
なお、画像再生部３及び画像表示部４を省略（削除）した構成としてもよい。すなわち、画像再生部３及び画像表示部４が無くても、パソコン３００に音声データ，画像データをファイル転送し、パソコン３００のディスプレイ３０３に表示されたアプリケーション上にて画像データを再生表示したり、音声データ或いは画像データの属性情報を表示させることができる。
【００２５】
上記音声入力部６は、前記マイクロフォン５からの電気信号を増幅するマイクアンプ、不要な周波数帯域をカットするローパスフィルタ、及び入力される音声信号（アナログ信号）をデジタル信号に変換するＡ／Ｄ変換器（いずれも図示せず）で構成されている。
【００２６】
上記音声再生部７は、上記デジタル信号処理部１３より入力されるデジタル信号をアナログ信号に変換するＤ／Ａ変換器、不要な周波数帯域をカットするローパスフィルタ、及び音声信号を増幅するパワーアンプ（いずれも図示せず）で構成されており、図示しない選択手段により選択或いは指示された音声データを再生する音声再生機能を有している。
【００２７】
上記画像入力部２は、アイリス、ゲイン、ホワイトバランス等の各制御回路、及びＡ／Ｄ変換器（いずれも図示せず）で構成されており、前記撮像素子１が出力する各画素信号を、上記画像入力部２によりデジタル信号に変換する。
【００２８】
上記デジタル信号処理部１３は、後述するシステム制御部１０によって制御され、録音時には上記音声及び画像の各デジタル信号をフレーム単位で所定の符号化フォーマットの音声データ及び画像データに符号化（圧縮）する。そして、符号化された各データは、一時的にシステム制御部１０の図示しないバッファメモリに記憶される。また、再生時には前記バッファメモリから音声データ、及び画像データをフレーム単位で復号化（伸長）する処理を行う。
【００２９】
前記デジタル信号処理部１３には、システム制御部１０が接続されており、このシステム制御部１０には、上記デジタル信号処理部１３以外に、記憶部（メモリ）１２、操作部１１、及び表示部９がそれぞれ接続されている。
上記システム制御部１０は、ＣＰＵ等で構成され、本装置全体の制御を行うものである。
【００３０】
また、上記記憶部（メモリ）１２は、不揮発性の半導体メモリ、例えばフラッシュメモリ等で構成されており、音声データを記録する音声記憶領域と画像データを記録する画像記憶領域とを有し、複数の音声データを格納する音声フォルダと複数の画像データを格納する画像フォルダとを有する記憶機能を有している。前記記憶部１２は、録音時は、上記デジタル信号処理部１３で符号化された音声データ及び／又は画像データを上記システム制御部１０の図示しないバッファメモリを介して記憶する。このとき、音声データと画像データとの関連付けを示すリンク情報（すなわちインデクス情報）も記憶する。このインデクス情報は、音声データを一定期間、時間的に連続的に記録していく過程において、その一定期間内の音声記録中において、撮像素子１の撮影動作を行うシャッタボタンを適宜に（すなわち、撮影が必要な時に）押すことによってそのシャッタ時点で静止画データを記憶部１２に取り込んで記憶するとき、記録中の音声データとリンク付けして画像データを記憶するために、画像データを音声データに挿入する際の時間的位置（タイミング）を示す情報である。これについては、後で図８を参照して説明する。
【００３１】
上記操作部１１は、各種機能を制御するための操作ボタンであり、録音ボタン（ＲＥＣ）、メニュー／フォルダ（ＭＥＮＵ／ＦＯＬＤＥＲ）ボタン、シャッタボタン、ホールドボタン（ＨＯＬＤ）、消去ボタン（ＥＲＡＳＥ）、集中型のボタン群〔　再生ボタン／決定ボタン（ＰＬＡＹ／決定）、停止ボタン（ＳＴＯＰ）、早送り／＋選択ボタン（ＦＦ／選択）、早戻し／−選択ボタン（ＲＥＷ／選択）　〕等からなる。なお、集中型のボタン群を構成する各ボタンはそれぞれ独立して存在していもよい。
【００３２】
メニュー／フォルダ（ＭＥＮＵ／ＦＯＬＤＥＲ）ボタンを複数回押すことにより上記表示部９に音声フォルダまたは画像フォルダを表示させた後、録音ボタン（ＲＥＣ）を押すことにより、録音動作を開始でき、またその録音状態でシャッタボタンを押すことにより、音声に関連付けたインデクスとなる画像の撮影を行うことができる。或いは、メニュー／フォルダ（ＭＥＮＵ／ＦＯＬＤＥＲ）ボタンで上記表示部９に画像フォルダを表示させた後、録音ボタン（ＲＥＣ）を押すことなく、シャッタボタンを押すことにより、音声に関連付けされない独立したデジタルカメラとしての画像撮影（すなわち、デジカメ撮影）を行うことができる。さらに、メニュー／フォルダ（ＭＥＮＵ／ＦＯＬＤＥＲ）ボタンを所定時間以上押すことにより上記表示部９にメニュー画面を表示させた後、±選択ボタンを操作することにより、各種の設定（例えば時刻設定）を行うことができる。
【００３３】
上記表示部９は、上記操作部１１のいずれかのボタン操作により、所定のシーケンス動作が開始されたときの動作モード、またはその後の動作状況を表示するものである。例えば、録音ボタン（ＲＥＣ）を押した場合は、ファイル番号、録音の経過時間、及び録音可能な残り時間等を表示し、また、メニュー／フォルダ（ＭＥＮＵ／ＦＯＬＤＥＲ）ボタンを押した場合は、マイク感度（高／低）、録音モード（標準／ロング）、及びアラーム（オン／オフ）等の機能選択に関連した表示を行う。さらに、上記システム制御部１０が時計機能を有している場合は、現在日時の表示も行う。また、これら表示内容は、上記画像表示部４に表示してもよい。
【００３４】
音声データにインデクスとして画像データをリンクさせる場合に、音声データの何分何秒経過したところにどういう画像データがインデクスとしてリンクされているかということを情報として持つ場合には、その方法として、第１に、テーブルデータの様に音声データとは別ファイルとして持つ方法と、第２に、音声ファイルのヘッダ部分に、音声データのどの位置にどの画像がリンクされているのかをヘッダ情報として持たせる方法とがある。なおこうした場合、パソコン側では、このヘッダ情報を読み出してそのリンクを解析しその結果を用いてアプリケーションでそのリンク関係を再生する方法と、がある。
【００３５】
図８は、本発明の実施の形態に係るもので、レコーダ側で作成される音声ファイルの例を示している。
図８では、ヘッダと音声データからなる１つの音声ファイルの構成を示している。ヘッダは、その中に、レコーダ１００内の時計手段（図示せず）にて計測される時刻データに基づいて作成される音声データの録音開始日時、ＳＰ（標準）モード，ＬＰ（長時間）モードなどを示す録音レート、音声データに関連付けされる画像インデクスのリンク数（すなわち画像インデクス数）、音声データに画像インデクスとして関連付けられる画像データの画像ファイル名、その画像ファイルが音声データのどこの時間位置（音声データの開始から何分何秒の位置）にリンクされているかを示すリンク時間、そしてこの画像ファイル名及びそのリンク時間を１つのセットとして全部で例えば５０セット分の画像ファイル名及びそのリンク時間の組、が設定可能となっている。これらの５０セット分のデータの後に、本体である音声データが設けられて、１つの音声ファイルを構成している。１つの音声ファイル内に設けられる上記の録音開始日時，録音レート，リンク数，画像ファイル名，及びリンク時間などの各細目（ｄｅｔａｉｌ）データは、それぞれ、属性情報として、アドレス（ａｄｒｅｓｓ）、サイズ（ｓｉｚｅ）、フォーマット（ｆｏｒｍａｔ）が図８の様になっている。アドレス（ａｄｒｅｓｓ）はそのデータが記憶される記憶部１２内における音声ファイルの先頭からの番地であり、サイズ（ｓｉｚｅ）は記憶されるデータ量をバイトで表しており、フォーマット（ｆｏｒｍａｔ）はＡＳＣＩＩ形式か、バイナリ（ｂｉｎａｒｙ）形式かを示すものである。
【００３６】
図８には、１かたまりの音声データである１音声ファイルの構成を示しているが、これにリンクする少なくとも１つの画像データ（上記画像ファイル名として与えられている画像データ）は音声ファイルとは別の画像ファイルとして別の画像記憶領域に記憶される。また、図８は１音声ファイルの構成を示しているが、この音声ファイルとは別のファイルとして（すなわち別の時間に）新たに録音を行う毎に、上記のようなヘッダ情報を持った別の音声ファイルが次々に作成されていくことになるが、同じ音声記憶領域に別々のファイルとして記憶される。
【００３７】
なお、録音中に撮影された画像データにはそのファイルヘッダにリンク有無情報としてフラグが立つ。そして、さらに、そのファイルヘッダに、リンク先フォルダ、リンク先の音声ファイルＮｏ．、リンク時間位置情報が書き込まれる。録音中以外に撮影された画像データにはリンク有無情報は書き込まれない。
【００３８】
音声ファイルが参照されたときは、そのファイルヘッダのリンク情報（リンクされている画像ファイル名，リンク時間位置）によって音声ファイルが格納されているフォルダに音声ファイルと共にあるリンク画像にアクセスしてサムネイル表示等が可能である。画像フォルダが参照されたときは、リンク有無情報によって音声にリンクした画像なのか否かが判別可能である。
【００３９】
図９は、本発明の情報処理装置に係り、パソコン側のアプリケーション画面の代表的な表示例を示すものである。
【００４０】
図９に示す画面は、レコーダから音声データ及び画像データをダウンロードして編集するためのアプリケーションプログラムを起動した状態を示している。操作画面２１は、ファイル，編集，標準，ツール，転送，ヘルプなどからなるメニューバーのほかに、再生，停止，早送り，早戻しなどの各ボタンと音声データスライダ部２３からなる音声データ操作部２２と、フォルダ表示部２４と、音声データ表示部２５と、画像フォルダ表示部２６と、サムネイル表示部２７など、を有して構成されている。
【００４１】
音声データスライダ部２３は、再生時間位置（摘み形状で表示されている、以下単に再生位置という）を示す表示マーク２９と、該再生位置の表示マーク２９を時間軸３０に沿って移動するためのスライダ部２８と、該スライダ部の長手方向に沿って設けられた時間軸３０と、該時間軸３０の上に音声データと関連付けられた画像データが存在することを示す（すなわち画像インデクス位置を示す）１つ以上のインデクスマーク（例えば３１−１，３１−２，３１−３）とを有している。この音声データスライダ部２３は、機能的には、画像データがリンクされている音声データ中の再生位置である画像インデクス位置を表示する表示手段として機能するものである。換言すれば、音声データスライダ部２３は、選択された音声データにリンクされた画像データの再生位置情報を表示する表示領域を有する位置情報表示手段を構成している。なお、インデクスマーク（例えば３１−１，３１−２，３１−３）は、時間軸３０上に適宜に移動して設定することが可能である。
【００４２】
フォルダ表示部２４には、パソコン３００に転送された音声データ及び画像データを格納する転送ファイルトレイが用意されており、転送ファイルトレイ内には、音声データを格納するＡ，Ｂフォルダと、画像データを格納する画像フォルダとが設けられている。
【００４３】
音声データ表示部２５は、画面左のフォルダ表示部２４で選択されているフォルダ（例えば、Ａフォルダ３２）の中にある音声データ（再生可能な形式のみ）をリスト表示するものである。現在、上から２つ目の音声データ３３が選択されており、この選択状態では音声データ３３に含まれる該音声データとリンクされている複数（図では３つ）の画像データ（インデクス）がファイル名と共に画面右のサムネイル表示部２７にサムネイル表示されている。
【００４４】
サムネイル表示部２７には、３つのサムネイル画像が上から時間軸順（再生順）に並んで表示されている。従って、サムネイル表示部２７は、選択された音声データにリンクされた画像データの再生位置情報を表示する表示領域を有する位置情報表示手段を構成している。
【００４５】
画像フォルダ表示部２６には、フォルダ表示部２４の画像フォルダに格納されているデジカメ撮影などによって作成された画像データがサムネイル表示（又は詳細表示）される。従って、画像フォルダ表示部２６は、音声データにリンクされていない画像データを表示する画像データ表示手段を構成している。
【００４６】
図９は、フォルダ表示部２４の中から例えばＡフォルダ３２を選んで、音声データ表示部２５に音声ファイルのリスト表示（図では４つの音声ファイルが表示されている）を行い、リスト表示されている４つの音声ファイルの中から上から２つ目の音声ファイル３３（ファイルはＤＷ＿Ａ０００５．ｗａｖである）を選択している状態を示している。この状態では、音声ファイル３３が選択されると同時に、サムネイル表示部２７には選択された音声ファイル３３（ＤＷ＿Ａ０００５．ｗａｖ）と関連付けられた複数の画像データ（図ではファイル名ＤＷ＿Ｃ０００６．ｊｐｇ，ＤＷ＿Ｃ０００７．ｊｐｇ，ＤＷ＿Ｃ０００８．ｊｐｇの３つ）が表示されている。更に、このとき、声データ表示部２５の下に画像フォルダ表示部２６が表示されており、画像フォルダ表示部２６には、画像フォルダ内に格納されていた、音声データとは関連付けされていないデジカメ撮影による複数の画像ファイル（図ではファイル名ＤＷ＿Ｃ０００１．ｊｐｇ，ＤＷ＿Ｃ０００２．ｊｐｇ，ＤＷ＿Ｃ０００３．ｊｐｇ，ＤＷ＿Ｃ０００４．ｊｐｇの４つ）が表示されている。
【００４７】
なお、画像フォルダ表示部２６には、４つの画像ファイルＤＷ＿Ｃ０００１．ｊｐｇ，ＤＷ＿Ｃ０００２．ｊｐｇ，ＤＷ＿Ｃ０００３．ｊｐｇ，ＤＷ＿Ｃ０００４．ｊｐｇがサムネイル（縮小画像）表示形式で一覧表示されているが、メニューバーの「表示」→「詳細表示」とクリックすれば、音声データ表示部２５のようにファイルリスト表示することができる。その際の表示は、ファイル名ＤＷ＿Ｃ０００１．ｊｐｇ，ＤＷ＿Ｃ０００２．ｊｐｇ，ＤＷ＿Ｃ０００３．ｊｐｇ，ＤＷ＿Ｃ０００４．ｊｐｇがファイルごとに一行ずつ表示され、各ファイル名に続いて各ファイルのサイズ，撮影日時がアイコンとテキスト表示形式で一覧表示される。
【００４８】
時間軸３０上には３つのインデクスマーク３１−１，３１−２，３１−３が表示されている。これらのマークは通常時（非選択状態）は例えば赤色で表示されている。この３つのインデクスマーク３１−１，３１−２，３１−３はそれぞれ、サムネイル表示部２７に表示されている３つのサムネイル画像（Ｗ＿Ｃ０００６．ｊｐｇ，ＤＷ＿Ｃ０００７．ｊｐｇ，ＤＷ＿Ｃ０００８．ｊｐｇ）に対応するものであり、音声ファイル３３の録音時間に対応した時間軸３０上の、インデクスマーク３１−１，３１−２，３１−３の各時間位置にサムネイル表示部２７で示される画像データＷ＿Ｃ０００６．ｊｐｇ，ＤＷ＿Ｃ０００７．ｊｐｇ，ＤＷ＿Ｃ０００８．ｊｐｇが存在することを意味している。
【００４９】
図１及び図２は本発明の一実施の形態の情報処理装置におけるパソコン側アプリケーションの要部の動作フローを示している。また、図３及び図４はその動作フローに対応するアプリケーション画面を示している。
【００５０】
まず、図３及び図４にてアプリケーション画面について説明する。
図３に示す画面は図９の画面とほぼ同様である。図３では、図９の操作前の画面に対して、本発明の特徴となる、画像インデクスの追加操作を行っている状態を示している。
【００５１】
画像フォルダ表示部２６にある複数（図では４つ）の画像ファイルのうちの１つの画像ファイル（例えばＤＷ＿Ｃ０００３．ｊｐｇ）を、マウスポインタ３４で選択した後、この選択した画像ファイルＤＷ＿Ｃ０００３．ｊｐｇにポインタ３４を合わせてマウス左ボタンを押しその状態で移動して（すなわちドラッグして）、サムネイル表示部２７の例えば画像データＤＷ＿Ｃ０００７．ｊｐｇの上で押していたマウス左ボタンを離す（すなわちドロップする）と、画像データＷ＿Ｃ０００６．ｊｐｇとＤＷ＿Ｃ０００７．ｊｐｇの真ん中（すなわち音声データスライダ部２３の時間軸３０上のインデクスマーク３１−１と３１−２の中間位置に当たる矢印３６の位置）へ上記画像ファイルＤＷ＿Ｃ０００３．ｊｐｇをリンクすることができる。
【００５２】
画像ファイルＤＷ＿Ｃ０００３．ｊｐｇがリンクされると、時間軸３０上の矢印３６は新たなインデクスマークの△印に変わり、サムネイル表示部２７には画像データＷ＿Ｃ０００６．ｊｐｇとＤＷ＿Ｃ０００７．ｊｐｇとの間にリンク画像ＤＷ＿Ｃ０００３．ｊｐｇが追加される。
【００５３】
なお、図３に実際に描画されている状態は、画像ファイルＤＷ＿Ｃ０００３．ｊｐｇをドラッグしてポインタ３４をサムネイル画像ＤＷ＿Ｃ０００７．ｊｐｇの上に移動した状態（すなわちドロップ前の状態）を示しており、この状態ではサムネイル画像ＤＷ＿Ｃ０００７．ｊｐｇの外周辺を囲むように枠状の太線３５が表示されると共に、音声データスライダ部２３の時間軸３０上のインデクスマーク３１−１と３１−２の中間位置に挿入予定位置を示す矢印３６が表示され、かつ選択されているサムネイル画像ＤＷ＿Ｃ０００７．ｊｐｇに対応したインデクスマーク３１−２の表示色が通常（図９における赤色）から緑色に変わっている。この後ドロップすることで、上記のリンク画像の追加が行われる。
【００５４】
図３では、画像フォルダ表示部２６に表示している画像の中からリンクさせる画像をポインタ３４でドラッグして、サムネイル表示部２７の領域にドロップすると、その画像が追加されるものであったが、他の実施形態として、リンクさせる画像をポインタ３４でドラッグして、音声データスライダ部２３の領域にドロップすることで、その画像を追加させることができる。
【００５５】
図４は図３とは異なる別の操作例を示している。図４における操作前の画面２１は図９に示したものと同様である。図４は図９における音声データスライダ部２３の操作対象となる部分のみを示している。
【００５６】
画像フォルダ表示部２６にある複数（図では４つ）の画像ファイルのうちの１つの画像ファイル（例えばＤＷ＿Ｃ０００３．ｊｐｇ）を、マウスポインタ３４で選択した後、この選択した画像ファイルＤＷ＿Ｃ０００３．ｊｐｇにポインタ３４を合わせてマウス左ボタンを押しその状態で移動して（すなわちドラッグして）、音声データスライダ部２３の時間軸３０上のインデクスマーク３１−１の前の時間位置にドロップすると、選択されている音声ファイルにおける録音開始点とインデクスマーク３１−１との間の矢印３６で示される時間位置へ上記画像ファイルＤＷ＿Ｃ０００３．ｊｐｇをリンクすることができる。
【００５７】
画像ファイルＤＷ＿Ｃ０００３．ｊｐｇがリンクされると、時間軸３０上の矢印３６は新たなインデクスマークの△印に変わり、サムネイル表示部２７には画像データＷ＿Ｃ０００６．ｊｐｇの上部（前）にリンク画像ＤＷ＿Ｃ０００３．ｊｐｇが追加される。
【００５８】
なお、図４に実際に描画されている状態は、画像ファイルＤＷ＿Ｃ０００３．ｊｐｇをドラッグしてポインタ３４を音声データスライダ部２３の時間軸３０上に移動した状態（すなわちドロップ前の状態）を示しており、この状態では、時間軸３０上の音声開始点とインデクスマーク３１−１との略中間位置に挿入予定位置を示す矢印３６が表示されている。この後ドロップすることで、上記のリンク画像の追加が行われる。
【００５９】
次に、図１及び図２を参照して本発明の特徴である画像インデクスの追加の動作フローについて説明する。
【００６０】
まず、図３に示されているように、図示しないマウスの操作により、画像フォルダ表示部２６の１つ画像ファイル（例えばＤＷ＿Ｃ０００３．ｊｐｇ）を選択し、該画像ファイルをポインタ３０でドラッグした状態になったら、図１のフローチャート（画像ファイルのドラッグ＆ドロップの動作）に入る。
【００６１】
ステップＳ１では、ドラッグ状態のポインタ３４の画面上における位置を取得する。
次のステップＳ２では、ドラッグ状態のポインタ３４の置かれている画面上の領域がサムネイル表示領域か音声データスライダ領域かを判定する。
【００６２】
ステップＳ２でポインタ３４の位置がサムネイル表示領域でも音声データスライダ領域でもなければ、ドロップ不可を示す禁止マークを画面上に表示し（ステップＳ７）、ドロップの有無を判定する（ステップＳ８）。ドロップしなければ、ステップＳ１に戻り、ドロップすれば、呼び出し元のルーチンに戻る。
【００６３】
ステップＳ２でポインタ３４の位置がサムネイル表示領域又は音声データスライダ領域であれば、ステップＳ３に示すように選択されている音声ファイル３３（例えばファイルＤＷ＿Ａ０００５．ｗａｖ）の録音時間軸上におけるリンク予定画像の挿入位置をポインタ３４の位置から算出し（ステップＳ３）、かつその挿入位置を矢印３６にて表示する（ステップＳ４）。
【００６４】
次に、ステップＳ５で、現在の挿入予定位置でドロップされた否かを判定し、ドロップされなければステップＳ１に戻り、マウス左ボタンが離されるまでステップＳ１〜Ｓ５を回り続ける（繰り返す）。ステップＳ１〜Ｓ５は、音声データにリンクされていない画像データの中から所望の画像データを選択し、再生位置情報を表示する表示領域中に挿入する挿入手段を構成している。ステップＳ５でドロップされれば、次ステップＳ６の挿入処理に移行する。
【００６５】
ステップＳ６の挿入処理では、対象の音声ファイルのヘッダを書き換える（すなわち、リンク情報を追加することで画像データを音声データにリンクさせる）と共に、リンク予定の画像ファイルを画像フォルダから音声データ用のフォルダ（例えばＡフォルダ、リンク元の音声ファイルが入っているフォルダ）に移動する。そして、サムネイル表示部２７及び音声データスライダ部２３の表示を更新する。ステップＳ６は、挿入が行われた上記再生位置情報表示領域（サムネイル表示領域又は音声データスライダ領域）中の位置に対応した上記選択された音声データの再生位置に、上記選択された画像データをリンクさせるリンク手段を構成している。
【００６６】
図２に、上記挿入位置算出のステップＳ３の動作フローを示している。
図２のステップＳ１１では、サムネイル表示領域か否かが判定される。
ステップＳ１１で、ポインタ３４がサムネイル表示領域であれば、すなわち、サムネイル表示部２７に表示されているサムネイル画像のうちの上から（つまり時間軸順に）ｎ番目にポインタ３４があったとすると、（ｎ−１）番目とｎ番目との中間にリンク位置を設定して（ステップＳ１２）、図１のルーチンに戻る。
【００６７】
なお、ポインタ３４が一番目の画像にあった場合は、音声データの開始位置と一番目の画像のリンク位置との中間位置にリンク位置が設定される。
【００６８】
ステップＳ１１で、ポインタ３４がサムネイル表示領域でなければ、音声データスライダ部２３上のポインタ３４の位置に応じてリンク位置を設定して（ステップＳ１３）、図１のルーチンに戻る。
【００６９】
図５は本発明の他の実施の形態の情報処理装置におけるパソコン側アプリケーションの要部の動作フローを示している。
【００７０】
図５の実施の形態は、図１の実施の形態における、ドロップを行ったか否かの判定ステップと、サムネイル表示領域又は音声データスライダ領域であるか否かの判定ステップと、の順番を変えた動作フローとしたものである。ステップＳ２１〜Ｓ２８の各ステップの記載内容と、図１のステップＳ１〜Ｓ８の記載内容とが同じものは同じ動作を行うため、詳細な説明は省略する。すなわち、ステップＳ２１とステップＳ１、ステップＳ２２とステップＳ５，８、ステップＳ２３，Ｓ２５とステップＳ２、ステップＳ２４とステップＳ６、ステップＳ２６とステップＳ３、ステップＳ２７とステップＳ４、ステップＳ２８とステップＳ７、は同じ動作内容のステップである。
【００７１】
以上述べた実施の形態では、再生順（時間軸順）に画像データが並んで配置されているサムネイル表示領域に、挿入したい画像データを画像フォルダ表示部からドラック＆ドロップすると、そのドロップしたサムネイル表示領域内の位置に応じて、音声データの適当な位置に画像データがリンク付けされる。或いは、音声データスライダ領域上の時間軸に、挿入したい画像データを画像フォルダ表示部からドラック＆ドロップすると、そのドロップしたスライダ領域上の時間軸上の位置に応じて、音声データの適当な位置に画像データがリンク付けされる。
【００７２】
以上述べた実施の形態によれば、録音済みの音声データに対して、既にある画像データや後に撮影（若しくは作成）した画像データをリンクさせたい場合には、ポインタのドラッグ＆ドロップの操作だけで簡単に画像データを音声データの適宜の位置にインデクスをも兼ねてリンクさせることができる。
【００７３】
【発明の効果】
以上述べたように本発明によれば、簡単な操作で、画像データを音声データの適当な時間位置にリンクさせることができる情報処理装置及び情報処理プログラムを実現することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の情報処理装置におけるパソコン側アプリケーションの要部の動作を示すフローチャート。
【図２】図１におけるサブルーチンを示すフローチャート。
【図３】図１及び図２の動作フローに対応するアプリケーション画面の操作例を示す図。
【図４】図１及び図２の動作フローに対応するアプリケーション画面を他の操作例を示す図。
【図５】本発明の他の実施の形態の情報処理装置におけるパソコン側アプリケーションの要部の動作を示すフローチャート。
【図６】本発明の一実施の形態である情報処理装置に使用するコンピュータと、レコーダとの接続状態を外観的に示す図。
【図７】本発明の一実施形態におけるレコーダの具体的な構成を示したブロック図。
【図８】本発明の実施の形態に係るもので、レコーダ側で作成される音声ファイルの例を示す図。
【図９】本発明の情報処理装置に係り、パソコン側のアプリケーション画面の代表的な表示例を示す図。
【符号の説明】
２１…操作画面
２２…音声データ操作部
２３…音声データスライダ部
２４…フォルダ表示部
２５…音声データ表示部
２６…画像フォルダ表示部
２７…サムネイル表示部
２８…スライダ部
２９…再生時間位置（摘み表示）マーク
３０…時間軸
３１−１，３１−２，３１−３…インデックスマーク
３４…マウスカーソル（ポインタ）
３５…選択表示（太い枠線）
３６…選択表示（矢印表示）
１００…音声記録再生装置（レコーダ）
３００…コンピュータ（パソコン）
【図１】
2004134983.tif 000003
【図２】
2004134983.tif 000004
【図３】
2004134983.tif 000005
【図４】
2004134983.tif 000006
【図５】
2004134983.tif 000007
【図６】
2004134983.tif 000008
【図７】
2004134983.tif 000009
【図８】
2004134983.tif 000010
【図９】
2004134983.tif 000011