(57)【特許請求の範囲】
【請求項１】
音声に関するデータである音声関連データと、被写体を撮像して得られた画像データとが記憶され、該画像データのうち所定の画像データが前記音声関連データとが関連付けられている記憶装置または着脱式記憶媒体から、前記音声関連データと前記画像データを取得する取得手段と、
前記画像データが前記音声関連データと関連付けられているか否かを判定する判定手段と、
前記判定手段による判定結果に応じて、前記画像データと前記音声関連データとの表示形態を制御する表示形態制御手段と、
前記表示形態制御手段の制御に基づいて、前記音声関連データ及び前記画像データが表示される表示手段と、
所定の操作が行われることにより前記表示形態制御手段に該操作に基づく指示を与える操作手段と、を備え、
前記音声関連データは、音声データを文字化した文字データであり、
前記操作手段は、前記文字データのうちの先頭部分及び最後尾部分のうち少なくとも一方を指定することができ、
前記表示形態制御手段は、前記文字データと、該文字データに関連付けられた画像データと、を順次表示させる
ことを特徴とする画像表示装置。
【請求項２】
前記表示形態制御手段は、前記文字データと、該文字データの所定の範囲内の文字データに関連付けられた前記画像データの複数を１組としたものと、を表示させ、かつ、該所定の範囲内の文字データの表示に基づいて、該画像データを順次拡大して表示させる
ことを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記表示形態制御手段は、前記文字データと、該文字データの所定の範囲内の文字データに関連付けられた前記画像データの複数を１組としたものとが関連付けされている場合、該文字データと、該各画像データとを前記表示手段の表示領域の全面に順次表示させる
ことを特徴とする請求項１に記載の画像表示装置。
【請求項４】
前記表示形態制御手段は、前記画像データと、該画像データに関連付けられた前記文字データとを画像処理により合成して前記表示手段に表示させる
ことを特徴とする請求項１に記載の画像表示装置。
【請求項５】
前記表示形態制御手段は、前記画像データ及び前記文字データのうち少なくとも一方のデータが表示される前記表示手段の表示領域内を時系列で更新する
ことを特徴とする請求項１に記載の画像表示装置。
【請求項６】
前記表示形態制御手段は、前記表示手段に表示された前記文字データと前記画像データのうち一方のデータが更新された場合、前記関連付けに基づいて、他方のデータを更新させる
ことを特徴とする請求項１に記載の画像表示装置。
【請求項７】
前記画像表示装置は、さらに、
前記音声関連データと前記所定の画像データとを関連付ける関連付け手段を備え、
前記関連付け手段は、前記音声関連データと前記所定の画像データとが関連付けられた情報が記録される画像音声管理データを生成する
ことを特徴とする請求項１に記載の画像表示装置。
【請求項８】
前記表示形態制御手段は、前記画像音声管理データに基づいて、前記文字データと、該文字データに関連付けられた画像とを、順次表示させる
ことを特徴とする請求項７に記載の画像表示装置。
【請求項９】
前記画像音声管理データは、前記複数の画像データと前記文字データの所定部分とを関連付けた情報を含んでいる
ことを特徴とする請求項７に記載の画像表示装置。
【請求項１０】
前記画像音声管理データに含まれる前記音声関連データは、無声音部分に相当するデータにより複数区切られている
ことを特徴とする請求項９に記載の画像表示装置。
【請求項１１】
前記表示形態制御手段は、前記画像音声管理データに基づいて、前記画像データのそれぞれを所定時間表示させる
ことを特徴とする請求項１０に記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声関連データと画像データを出力可能な画像表示装置に関する。
【背景技術】
【０００２】
近時、デジタルカメラが普及しており、かかるデジタルカメラでは、高機能化・高性能化が進んでいる。例えば、音声を連続的に記録可能なデジタルカメラも知られている（例えば、特許文献１、特許文献２。）。
【０００３】
特許文献１では、音声記録モードを実行している際に、所定操作部材が押下されている場合に、静止画データを記録するデジタルカメラが開示されている。
特許文献２では、静止画像の撮影時点より前の時点からそれ以降の音声を録画する電子スチルカメラが開示されている。
【特許文献１】特開２００１−３５８９８０号公報
【特許文献２】特公平４−１５５４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、連続した音声に基づく情報とそれに関連付けられた複数の静止画像を表示することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像表示装置は、音声に関するデータである音声関連データと、被写体を撮像して得られた画像データとが記憶され、該画像データのうち所定の画像データが前記音声関連データとが関連付けられている記憶装置または着脱式記憶媒体から、前記音声関連データと前記画像データを取得する取得手段と、前記画像データが前記音声関連データと関連付けられているか否かを判定する判定手段と、前記判定手段による判定結果に応じて、前記画像データと前記音声関連データとの表示形態を制御する表示形態制御手段と、前記表示形態制御手段の制御に基づいて、前記音声関連データ及び前記画像データが表示される表示手段と、所定の操作が行われることにより前記表示形態制御手段に該操作に基づく指示を与える操作手段と、を備え、前記音声関連データは、音声データを文字化した文字データであり、前記操作手段は、前記文字データのうちの先頭部分及び最後尾部分のうち少なくとも一方を指定することができ、前記表示形態制御手段は、前記文字データと、該文字データに関連付けられた画像データと、を順次表示させることを特徴とする。
【０００９】
また、前記画像表示装置において、前記表示形態制御手段は、前記文字データと、該文字データの所定の範囲内の文字データに関連付けられた前記画像データの複数を１組としたものとが関連付けされている場合、該文字データと、該各画像データとを前記表示手段の表示領域の全面に順次表示させることを特徴とする。
【００１０】
また、前記画像表示装置において、前記表示形態制御手段は、前記画像データと、該画像データに関連付けられた前記文字データとを画像処理により合成して前記表示手段に表示させることを特徴とする。
【００１１】
また、前記画像表示装置において、前記表示形態制御手段は、前記画像データ及び前記文字データのうち少なくとも一方のデータが表示される前記表示手段の表示領域内を時系列で更新することを特徴とする。
【００１２】
また、前記画像表示装置において、前記表示形態制御手段は、前記表示手段に表示された前記文字データと前記画像データのうち一方のデータが更新された場合、前記関連付けに基づいて、他方のデータを更新させることを特徴とする。
【００１７】
また、前記画像表示装置は、さらに、前記音声関連データと前記所定の画像データとを関連付ける関連付け手段を備え、前記関連付け手段は、前記音声関連データと前記所定の画像データとが関連付けられた情報が記録される画像音声管理データを生成することを特徴とする。
【００１８】
また、前記画像表示装置において、前記表示形態制御手段は、前記画像音声管理データに基づいて、前記文字データと、該文字データに関連付けられた画像とを、順次表示させることを特徴とする。
【００１９】
また、前記画像表示装置において、前記画像音声管理データは、前記複数の画像データと前記文字データの所定部分とを関連付けた情報を含んでいることを特徴とする。
また、前記画像表示装置において、前記画像音声管理データに含まれる前記音声関連データは、無声音部分に相当するデータにより複数区切られていることを特徴とする。
【００２０】
また、前記画像表示装置において、前記表示形態制御手段は、前記画像音声管理データに基づいて、前記画像データのそれぞれを所定時間表示させることを特徴とする。
【発明の効果】
【００２１】
本発明を用いることにより、静止画像を見ながら、その静止画像を撮影したときの音声情報を文字情報として同時に見ることができる
【発明を実施するための最良の形態】
【００２２】
本発明にかかる実施形態の撮像装置は、音声に応じた撮像画像を表示させることができる。すなわち、本実施形態の撮像装置は、画像表示装置となり得る。さらに、この撮像装置は、音声をテキスト化して、そのテキスト及びそのテキストに応じた撮像画像を表示させることができる。
【００２３】
さらに、操作部材を用いてそのテキスト及びその撮像画像を操作することができる。そしてその操作に基づいて、様々な表示形態でそのテキスト及びそのテキストに応じた撮像画像を表示させることができる。
【００２４】
それでは、以下に本発明の実施形態の詳細について説明する。
図１は、本実施形態における撮像装置の構成を示す。本発明にかかる撮像装置１は、静止画撮影機能（静止画モード）と動画撮影機能（動画モード）を備えている。そのため、この撮像装置１を用いて、静止画又は動画を選択的に撮影できる。
【００２５】
撮像装置１は、さらに、集音機能を備えている。そのため、この撮像装置１を用いて、撮影前、撮影中、及び撮影後での音声の録音が可能である。このような撮像装置１の一例には、例えば、デジタルカメラがある。
【００２６】
撮像装置１は、レンズ２、撮像素子３、撮像回路４、ＡＥ（自動露出）制御回路５、ＡＦ（オートフォーカス）制御回路６、画像処理回路７、着脱メモリ８、内蔵メモリ９、パワーＳＷ（スイッチ）１０、電池１１、電源回路１２、ＣＰＵ１３、計時手段１４、モードＳＷ（スイッチ）１５、操作部材１６、音声検出手段１７、音声出力手段１８、音声→文字変換手段１９、表示駆動回路２０、表示部材２１、及びバス２２から構成される。
【００２７】
レンズ２は、被写体像を撮像素子３へ結像する。撮像素子３は、撮影レンズ２の作用により撮像素子３上に結像されている被写体像を光電変換して画像を表現している電気信号を出力する。撮像素子３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）である。
【００２８】
撮像回路４は、ノイズ成分を低減させるＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  ＤｏｕｂｌｅＳａｍｐｌｉｎｇ）、信号レベルを安定化させるＡＧＣ（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）、及びアナログ電気信号をデジタル電気信号に変換するＡ／Ｄ等を有する。そうして、この撮像回路４は、撮像素子３から出力されたアナログ電気信号のノイズ成分を低減させると共に、信号レベルを安定化させ、それをデジタル電気信号に変換して出力する。
【００２９】
ＡＥ（自動露出）制御回路５は、露出の制御を行う機構である。ＡＦ（オートフォーカス）制御回路６は、画像データを用いてコントラストＡＦ処理又は不図示の測距センサによるＡＦ処理を行う回路である。
【００３０】
画像処理回路７は、画像データの記録の際に行うガンマ補正やホワイトバランス補正等の補正処理や、画像を構成する画素数を増減させる画像の拡大・縮小処理（リサイズ処理）、等といった各種の画像処理を行う。
【００３１】
着脱メモリ８は、このデジタルカメラに着脱可能な記録媒体であって、このデジタルカメラで撮影された静止画若しくは動画を表現している画像データ等が記録される保存用の記録媒体である。例えば、この着脱メモリ８は、ｘＤカード、スマートメディア（登録商標）やコンパクトフラッシュ（登録商標）等のメモリカード等である。この着脱メモリ８は、撮像装置１に設けられた不図示のインターフェースに挿入されることにより、撮像装置１と着脱メモリ８との間でのデータの授受を行う。
【００３２】
内蔵メモリ９は、本実施形態において、例えば、撮像回路４から出力されるデジタル電気信号である画像データ（静止画若しくは動画を表現している画像データ、以下同じ）や画像処理回路７による各種画像処理における処理中の画像データ等の一時保存用として使用されたり、ＣＰＵ１３による制御処理の実行のためのワークエリアとして使用されたり、または一定量のデータを格納する保存用等として使用されたりするメモリの総称である。
【００３３】
ＣＰＵ１３は、中央演算処理部であり、内蔵メモリ９に格納されている所定のカメラプログラムを実行することで、このデジタルカメラ全体の動作を制御する。尚、この内蔵メモリ９は、電気的に書き換え動作を行わせることも可能な不揮発性メモリであり、ＣＰＵ１３により実行されるカメラプログラムの他、そのカメラプログラムの実行中に使用される各種データ等が格納される。
【００３４】
パワーＳＷ（スイッチ）１０は、電源回路１２を介して電池からの電力を撮像装置１の構成要素となる各回路に供給させるためのスイッチである。電源回路１２は、昇圧回路や保護回路などを備えた回路である。
【００３５】
計時手段１４は、所定時間の経過をカウントするためのタイマー機能を有するものである。この計時手段１４は、回路またはプログラムにより当該機能を実現することができる。モードＳＷ（スイッチ）１５は、撮像時の各種モードまたは再生時の各種モードを切り替えるためのスイッチである。
【００３６】
操作部材１６は、撮影者からの各種指示を受け付け、それをＣＰＵ１３へ通知するための各種ボタン等である。操作部材１６は、例えば、メニューボタン、十字ボタン、ＯＫボタン、レリーズボタン、録音開始ボタン、録音終了ボタン等である。
【００３７】
メニューボタンは、表示部材２１へのメニュー表示指示を可能にさせるためのものである。十字ボタンは、表示部材２１に表示されている各種項目や画像等の選択を可能にさせるためのものである。ＯＫボタンは、選択されている項目や画像等の決定指示を可能にさせるためのものである。レリーズボタンは、静止画撮影指示及び動画撮影開始／終了指示を可能にさせるためのものである。録音開始ボタンは、録音開始指示を可能にさせるためのものである。録音終了ボタンは、録音終了指示を可能にさせるためのものである。
【００３８】
尚、このデジタルカメラでは、動画撮影開始指示と動画撮影終了指示を１つのレリーズボタンにより可能なように構成されているがこれに限定されず、それぞれの指示毎にボタンを設けるように構成しても良い。
【００３９】
音声検出手段１７は、マイクと、そのマイクより入力された音声を検出して電気信号に変換する回路とを含む機構である。音声出力手段１８は、この電気信号を音声に変換して出力するための機構である。
【００４０】
音声→文字変換手段１９は、音声検出手段１７から出力された音声信号を認識して文字に変換する回路である。なお、音声→文字変換手段１９は、当該機能を実行するためのプログラムであってもよく、この場合、ＣＰＵ１３により読み込まれて実行される。
【００４１】
表示部材２１は、例えば、ＬＣＤディスプレイ、液晶ディスプレイ、または有機ＥＬディスプレイ等である。表示駆動回路２０は、表示部材２１を駆動させて、表示部材２１に画像が表示できる状態にするための回路である。
【００４２】
バス２２は、ＣＰＵ１３が各種回路や機構等を制御するためにそのような回路（機構）と接続するためのバスである。バス２２は、さらに、不図示の映像信号生成回路、圧縮伸長回路とも接続されている。
【００４３】
映像信号生成回路（不図示）は、画像処理回路７により画像処理された画像データから、表示部材２１が表示可能な映像信号を生成してこの表示部材２１へ出力する、等といった処理を行う。これにより、表示部材２１には、その映像信号に基づく映像（静止画や動画等）が表示される。
【００４４】
圧縮伸長回路（不図示）は、画像データの記録・再生のための、例えば、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）方式等による画像データの圧縮・伸張処理を行う。
【００４５】
図２は、本実施形態における撮像装置１の再生条件を示す。枠３０には、音声信号３１（３１ａ，３１ｂ）と画像ファイルとの関連を時系列で示す。音声信号３１は、Ｈｉｇｈの場合には「音声あり」を示し、Ｌｏｗの場合には「音声無し」を示す。
【００４６】
画像ファイルの種類には、音声無し静止画ファイル（Ｓ）と、音声付き静止画ファイル（ＳＳａ−１，ＳＳａ−２，・・・、ＳＳｂ−１，ＳＳｂ−２，・・・、これらを総称してＳＳ＊−＊と表す）と、動画ファイル（Ｍ）とがある。
【００４７】
音声付き静止画ファイルＳＳ＊−＊と音声信号３１とを結んでいる線は、音声信号と画像の関連付けの位置を示す。音声信号と画像とが関連付けられている場合、その画像が再生されると、その画像に関連付けられた音声も再生される。その画像に対応する音声の再生は、その画像と関連付けられた位置から、次に関連付けが行われている位置の直前またはその音声信号が終了するまでの音声信号が対象となる。例えば、図２では、ＳＳａ−１が再生された場合に再生される音声信号は、ＳＳａ−１と関連付けられた位置３２−１から次の画像ＳＳａ−２と関連付けられた位置３２−２の直前までに対応する音声信号である。また、例えば、図２では、ＳＳａ−５が再生された場合に再生される音声信号は、ＳＳａ−５と関連付けられた位置３２−３から当該音声信号３１ａが終了する位置３２−４までに対応する音声信号である。
【００４８】
なお、音声無し静止画ファイルＳには、音声信号３１と関連付けられていないのは言うまでもない。また、本実施形態において、音声信号３１と動画ファイルＭとも関連付けられていない。
【００４９】
次に、枠３０で示されたような音声信号３１（３１ａ，３１ｂ）と画像ファイルとの関係における、再生条件の一例を説明する。
全ての画像ファイルを再生する再生条件の場合（図２（ａ）の場合）、「Ｓ→Ｓ→ＳＳａ−１→ＳＳａ−２→ＳＳａ−３→ＳＳａ−４→ＳＳａ−５→Ｍ→Ｓ→ＳＳｂ−１→ＳＳｂ−２→ＳＳｂ−３→Ｓ」が再生される。
【００５０】
音声の出力部分（音声信号がＨｉｇｈである部分）に関連付けされている音声のみ再生する再生条件の場合（図２（ｂ）の場合）、「ＳＳａ−１→ＳＳａ−２→ＳＳａ−４→ＳＳｂ−２→ＳＳｂ−３」が再生される。
【００５１】
音声に関連付けされている画像のみ再生する再生条件の場合（図２（ｃ）の場合）、「ＳＳａ−１→ＳＳａ−２→ＳＳａ−３→ＳＳａ−４→ＳＳａ−５→ＳＳｂ−１→ＳＳｂ−２→ＳＳｂ−３」が再生される。
【００５２】
図３は、本実施形態における画像ファイル、音声ファイル、及び画像／音声管理ファイルの一例を示す。なお、これらのファイルは、通常、着脱メモリ８に格納されているが、これに限定されず、内蔵メモリ９に記憶されていてもよい。
【００５３】
本実施形態では一例として、画像ファイルとしてＪＰＥＧ形式（ファイル名：＊＊＊．ｊｐｇ）を用いるが、これに限定されず、例えば、ＴＩＦＦ形式やＧＩＦ形式等であってもよい。
【００５４】
また、本実施形態では一例として、音声ファイルとしてｗａｖ形式（ファイル名：＊＊＊．ｗａｖ）を用いるが、これに限定されず、例えば、ＭＰ３形式やＷＭＡ形式等であってもよい。
【００５５】
画像／音声管理ファイルは、画像ファイル及び音声ファイルを管理するファイル（本実施形態では、ファイル名：＊＊＊．ｓｅｔで表す）である。この画像／音声管理ファイルは、図２の枠３０で示した音声データと画像データとの関連付け情報が格納されている。具体的には、例えば、音声データにおいて、画像データと関連付けられている位置情報（例えば、図２の３２−１，３２−２，３２−３等に相当する情報）や、音声ファイルのうち音声なしの部分の位置を示す情報（図２の音声信号３１のＬｏｗ部分に相当する情報）等が格納されているものである。
【００５６】
図３において、符号４０は、画像／音声管理ファイル名が「０００１．ｓｅｔ」であることを示す。符号４１は、音声ファイル名が「０００１．ｗａｖ」であることを示す。符号４２は、画像ファイル名「０００１．ｊｐｇ，０００２．ｊｐｇ，・・・，００２１．ｊｐｇ」を示している。符号４３は、画像ファイル名４２を音声ファイル名４１に対して数文字分字下げすることで、音声ファイル４１と画像ファイル４２との組が定義されていることを示している。
【００５７】
符号４４は、音声データのどの部分と画像とが関連付けされているかを定義している部分である。同図の符号４４では、「音声データ内のアドレス：画像ファイル番号」（０００Ａ：０００１．ｊｐｇ，００１Ｃ：０００２．ｊｐｇ，・・・，０３ＤＦ：００２１．ｊｐｇ）でその関連付けられた位置を示している。
【００５８】
このような画像／音声管理ファイルを用いることにより、１つの連続した音声に対して複数の画像を関連付けることができる。なお、上記の画像／音声管理ファイルでは、ｗａｖ形式の音声ファイルと画像ファイルとを関連付けたが、これに限定されない。例えば、音声→文字変換手段１９によりテキスト化された音声のテキストファイルと、画像ファイルとを関連付けてもよい。なお、この場合、このテキストファイルは、着脱メモリ８に格納されている。以下では、説明の便宜上、画像／音声管理ファイルの管理対象ファイルは、音声→文字変換手段１９によりテキスト化された音声のテキストファイルと、画像ファイルとする。
【００５９】
さて、ここで、図２と図３とを参照する。図３の符号４１は、図２の音声信号３１ａ（または３１ｂ）に相当する。図３の符号４２は、図２の音声付き静止画ＳＳａ−１，ＳＳａ−２，ＳＳａ−３，ＳＳａ−４，ＳＳａ−５に相当する。図３の符号４４は、音声信号３１ａについて、「３２−１：ＳＳａ−１」、「３２−２：ＳＳａ−２」、・・・と表すことができる。
【００６０】
次に、音声付画像の撮影方法について説明する。撮影方法には、例えば、第１の撮影方法と第２の撮影方法がある。
まず、第１の撮影方法について説明する。操作部材１６の１つであるメニューボタンを押下すると、表示部材２１にメニュー画面が表示される。そのメニューから「録音スタート」を選択する。録音をしながら、レリーズボタンを押下することにより被写体を撮影する。このとき、撮像装置１において、撮影した画像は録音した音声と関連付けられる（この間、撮影は複数回可能である）。その後、メニュー画面で録音終了を選択し、一連のセット撮影を終了する。
【００６１】
次に、第２の撮影方法について説明する。操作部材１６の１つである録音ボタンを押下することにより録音をスタートさせた後、レリーズボタンを押下することによりそのタイミングで撮影した画像と録音した音声とを関連付け、再度録音ボタンを押下することにより、一連のセット撮影を終了する。
【００６２】
なお、上記の第１及び第２の撮影方法において、カメラからは極力音は出さないようにする。
次に、撮像装置１側における撮像及び録音プロセスについて説明する。
【００６３】
図４は、本実施形態における撮影フローチャートを示す。まず、ユーザはパワーＳＷ１０をＯＮにして撮像装置１を起動させる（プロセス１、以下、プロセスを「Ｐ」と称する）。
【００６４】
次に、ＣＰＵ１３は、撮像装置１を撮影可能状態へ遷移させる（Ｐ２）。ここでは、ＣＰＵ１３は、撮像装置１の各構成要素の初期化等、撮像装置１が撮影動作を行なうために必要な各種の初期設定の処理を行なう。具体的には、例えば、ＣＰＵ１３は、ＡＥ制御回路５を駆動させて、ＡＥ制御回路５にＡＥ制御をさせたり、またはＡＦ制御回路６を駆動させて、ＡＦ制御回路６にＡＦ制御をさせたりする。さらに、内蔵メモリ９に格納されている本実施形態にかかるプログラムがＣＰＵ１３より読み出され、以下のフローが実行される。
【００６５】
次に、ＣＰＵ１３は、録音中フラグに基づいて当該撮像装置１が録音中か否かを判断する（Ｐ３）。録音中フラグは、内蔵メモリ９の所定の領域に格納されている、録音状態を判別するためのフラグ情報である。ＣＰＵ１３は、録音中フラグ＝１の場合、録音中であると判断し、録音中フラグ＝０の場合、録音中でないと判断する。電源投入直後は、当該撮像装置１は初期化されているので、録音中フラグ＝０である。
【００６６】
録音中フラグ＝０の場合（Ｐ３で「ＮＯ」へ進む）、ＣＰＵ１３は、Ｐ４の処理を行う。また、録音中フラグ＝１の場合（Ｐ３で「ＮＯ」へ進む）、ＣＰＵ１３は、Ｐ８の処理を行う。
【００６７】
Ｐ４で、録音開始指示信号を検知した場合（Ｐ４で「ＹＥＳ」へ進む）、ＣＰＵ１３はＰ８の処理を行う。録音開始指示信号は、録音開始ボタンが押下されることにより発信される信号である。ＣＰＵ１３は、Ｐ４で録音開始指示信号を検知しなかった場合（Ｐ４で「ＮＯ」へ進む）、Ｐ５の処理を行う。
【００６８】
ＣＰＵ１３は、静止画撮影指示信号を検知しなかった場合（Ｐ５で「ＮＯ」へ進む）、Ｐ１５の処理を行う。静止画撮影指示信号は、レリーズボタンが押下されることにより発信される信号である。
【００６９】
Ｐ５で、静止画撮影指示信号を検知した場合（Ｐ５で「ＹＥＳ」へ進む）、ＣＰＵ１３は撮影処理を行う（Ｐ６）。具体的には、ＣＰＵ１３の制御により、撮像素子３に結像されている被写体像の取り込みが開始される。
【００７０】
次に、撮影された静止画像が着脱メモリ８に記録される（Ｐ７）。具体的には、ＣＰＵ１３の制御により、撮像素子３や撮像部４等を介して得られた静止画像を表現している画像データ（以下、単に静止画データという）が着脱メモリ８へ格納される。その後、ＣＰＵ１３は、Ｐ１５の処理を行う。
【００７１】
上述したように、Ｐ３及びＰ４のそれぞれで「ＹＥＳ」へ進んだ場合、ＣＰＵ１３は、録音中フラグに１をセットする（Ｐ８）。それから、ＣＰＵ１３は、音声データの記録を開始する（Ｐ９）。具体的には、ＣＰＵ１３は、音声検出手段１７を駆動させて、音声検出手段１７に入力された音声を電気信号に変換して音声データとする。ＣＰＵ１３は、その音声データを着脱メモリ８に格納する。また、ＣＰＵ１３は、その音声データを音声→文字変換手段１９を介してテキストデータに変換し、そのテキストデータを着脱メモリ８に格納する。
【００７２】
Ｐ１０で、音声データの記録中に静止画撮影指示信号を検知しなかった場合（Ｐ１０で「ＮＯ」へ進む）、ＣＰＵ１３は、Ｐ１３の処理を行う。また、Ｐ１０で、音声データの記録中に静止画撮影指示信号を検知した場合（Ｐ１０で「ＹＥＳ」へ進む）、ＣＰＵ１３は、撮影処理を行う（Ｐ１１）。Ｐ１１の撮影処理は、Ｐ６と同様である。
【００７３】
次に、ＣＰＵ１３は、Ｐ１１で撮影された静止画データを、その音声データ（またはテキスト化されたデータ）と関連づけて記録する（Ｐ１２）。具体的には、図３で説明した画像／音声管理ファイルが作成される。それから、ＣＰＵ１３は、この画像／音声管理ファイルに、静止画データと音声データ（またはテキスト化されたデータ）とを関連付けを示すデータを書き込み、この画像／音声管理ファイルを着脱メモリ８に格納する。その後、ＣＰＵ１３は、Ｐ１３の処理を行う。
【００７４】
次に、ＣＰＵ１３は、録音終了指示信号を検知した場合（Ｐ１３で「ＹＥＳ」へ進む）、録音中フラグをクリアにして録音中フラグ＝０とする（Ｐ１４）。ここで、録音終了指示信号は、録音終了ボタンが押下されることにより発信される信号である。ＣＰＵ１３は、録音終了指示を検知しなかった場合（Ｐ１３で「ＮＯ」へ進む）、またはＰ１４の処理が終了した場合、Ｐ１５の処理を行う。
【００７５】
ＣＰＵ１３は、パワーＳＷ１０により電源がＯＦＦになるまで、上述のＰ３〜Ｐ１４の処理を繰り返す（Ｐ１５）。パワーＳＷ１０により電源がＯＦＦにされた場合、ＣＰＵ１３は撮像装置１をパワーオフ状態へ遷移させる（Ｐ１６）。
【００７６】
次に、撮影した画像の再生において、操作部材１６を用いることにより表示部材２１の表示領域に表示される画像及び文字（テキスト）を操作する場合について説明する。
図５は、本実施形態における撮像装置１の背面を示す図である。撮像装置１の背面に設けられている操作部材１６には、一例として、フラッシュボタン１６ａ、セルフタイマーボタン１６ｂ、マクロボタン１６ｃ、メニューボタン１６ｄ、決定ボタン１６ｅ、及び十字キー１６ｆがある。
【００７７】
十字キー１６ｆは、表示部材２１に表示されるカーソル等を上下左右に移動させたり、表示部材２１に表示される画像及ぶ文字を選択したり、フレーム画像を送ったり（次の画像を表示させること）もしくは戻したり（１つ前の画像を表示させること）、または文字（テキスト）を送ったり（次の文字（文字列）を表示させること）もしくは戻したり（１つ前の文字（テキスト）を表示させること）等するためのものである。十字キー１６ｆには、上キー、下キー、左キー、右キーが設けられている。
【００７８】
表示部材２１には、１つまたは複数の画像を表示させる画像表示領域２１ａと、テキストを表示させる文字表示領域２１ｂとがある。同図では、画像表示領域２１ａには、９つの画像がサムネイル形式で表示されている。
【００７９】
なお、文字表示領域２１ｂの大きさ等より、１度に表示させる文字数は制限されているので、その制限を越えた文字列は十字キーを操作して文字表示領域２１ｂをスクロールさせることにより表示させることができる。以下では、１度に文字表示領域２１ｂに表示させるテキストの単位を「ページ」という。例えば、あるテキストファイルに含まれる文字数が６５文字あり、文字表示領域２１ｂの文字の表示制限が２０文字である場合、２０文字×３ページ＋５文字×１ページの４ページで表示させることができる。また、１回のスクロール操作で次ページまたは１つ前のページを表示させることができる。
【００８０】
図６は、十字キー１６ｆの動作と、表示部材２１に表示される画像と文字との関係を示す。同図では、文字表示領域２１ｂ、画像表示領域２１ａへの操作が自動であるか否かを示し、さらに画像表示領域２１ａと文字表示領域２１ｂとの動作が同期（同期：○、非同期：×）しているか否かを示している。
【００８１】
同図では、一例として、パターン１からパターン７について説明する。
パターン１の場合、十字キー１６ｆの上キーを押下することで画像表示領域２１ａ、下キーを押下することで文字表示領域２１ｂを選択することができる。画像表示領域２１ａを選択した場合、左右キーにより、次の画像を送ったり、前の画像を戻したりできる。文字表示領域２１ｂを選択した場合、左右キーにより、次の文字を送ったり、前の文字を戻したりできる。この場合、画像表示領域２１ａの動作と文字表示領域２１ｂの動作は非同期である。
【００８２】
パターン２の場合、文字表示領域２１ｂの文字は一定時間で表示が切り替わり、画像表示領域２１ａの画像は十字キーで上下左右に選択できる。この場合、画像表示領域２１ａの動作と文字表示領域２１ｂの動作は非同期である。
【００８３】
パターン３の場合、画像表示領域２１ａの画像は一定時間で表示が切り替わり、文字表示領域２１ｂの文字は十字キーで送ったり戻したりできる。この場合、画像表示領域２１ａの動作と文字表示領域２１ｂの動作は非同期である。
【００８４】
パターン４の場合、画像表示領域２１ａの画像がある時間毎（所定の時間または等分割時間）に自動的に切り替わり、文字表示領域２１ｂの文字がある時間毎（所定の時間または等分割時間）に自動的に切り替わる。この場合、画像表示領域２１ａの動作と文字表示領域２１ｂの動作は非同期である。したがって、画像表示領域２１ａと文字表示領域２１ｂの切り替え時間は異なっている場合もあり得る。
【００８５】
パターン５の場合、パターン４において画像表示領域２１ａの動作と文字表示領域２１ｂの動作とを同期させたものである。したがって、両方の関連付けを基に自動的に表示が切り替わる。
【００８６】
パターン６の場合、テキストと画像とが関連付けられているため、文字表示領域２１ｂの文字を十字キーで送ったり戻したりすると、テキストの切り替えに伴って画像が自動的に切り替わる。
【００８７】
パターン７の場合、テキストと画像とが関連付けられているため、画像表示領域２１ａの画像を十字キーで送ったり戻したりすると、画像の切り替えに伴って文字が自動的に切り替わる。
【００８８】
次に、撮像装置１により撮影した画像の再生に関して説明する。
図７は、本実施形態における撮像装置１の再生フローを示す。まず、ユーザはパワーＳＷ１０をＯＮにして撮像装置１を起動させる（Ｐ２１）。
【００８９】
次に、ユーザは、モードＳＷ１５により、「全画像再生モード」、「音声付画像再生モード」、「音声無し画像再生モード」のいずれかの再生モードを選択する。なお、「音声付画像再生モード」には、さらに、「音声付画像のうち音声が所定値以上の部分に関連付けされた画像だけ再生する再生モード」、「音声付画像のうち画像だけを再生する再生モード」、「音声付画像を全て再生する再生モード」があり、いずれかを選択することができる。
【００９０】
モードＳＷ１５による指示信号を検知して、ＣＰＵ１３は、撮像装置１を再生状態へ遷移させる（Ｐ２２）。ＣＰＵ１３は、撮像装置１の表示部材２１に画像を再生させるために必要な各種の初期設定の処理が行なわれる。例えば、内蔵メモリ９に格納されている本実施形態にかかるプログラムがＣＰＵ１３より読み出され、以下のフローが実行される。
【００９１】
ＣＰＵ１３は、検知した指示信号に基づいて、選択されている再生モードが「全画像再生モード」か否かを判定する（Ｐ２３）。「全画像再生モード」が選択されている場合（Ｐ２３で「ＹＥＳ」へ進む）、ＣＰＵ１３は、「全画像再生モード」処理を実行する（Ｐ２４）。
【００９２】
Ｐ２３で「全画像再生モード」が選択されていない場合（Ｐ２３で「ＮＯ」へ進む）、ＣＰＵ１３は、選択されている再生モードが「音声付画像再生モード」か否かを判定する（Ｐ２５）。「音声付画像再生モード」が選択されている場合（Ｐ２５で「ＹＥＳ」へ進む）、ＣＰＵ１３は、さらに、音声付画像のうち画像だけ再生するモード（すなわち、「音声付画像のうち画像だけを再生するモード」のこと）か否かを判定する（Ｐ２６）。
【００９３】
「音声付画像のうち画像だけ再生するモード」が選択されている場合（Ｐ２６で「ＹＥＳ」へ進む）、ＣＰＵ１３は、「音声付画像のうち画像だけを再生するモード」処理を実行する（Ｐ２７）。
【００９４】
「音声付画像のうち画像だけ再生するモード」が選択されていない場合（Ｐ２６で「ＮＯ」へ進む）、ＣＰＵ１３は、「音声付画像のうち音声が所定値以上の部分に関連付けされた画像だけ再生する再生モード」が選択されているかを判定する（Ｐ２８）。
【００９５】
「音声付画像のうち音声が所定値以上の部分に関連付けされた画像だけ再生する再生モード」が選択されている場合（Ｐ２８で「ＹＥＳ」へ進む）、ＣＰＵ１３は、「音声付画像のうち音声が所定値以上の部分に関連付けされた画像だけ再生する再生モード」処理を実行する（Ｐ２９）。
【００９６】
Ｐ２８で「音声付画像のうち音声が所定値以上の部分に関連付けされた画像だけ再生する再生モード」が選択されていない場合、すなわち、「音声付画像を全て再生する再生モード」が選択されている場合（Ｐ２８で「ＮＯ」へ進む）、ＣＰＵ１３は、「音声付画像のうち画像だけを再生する再生モード」処理を実行する（Ｐ３０）。
【００９７】
Ｐ２５で、「音声付画像再生モード」が選択されていない場合、すなわち、「音声無し画像再生モード」が選択されている場合（Ｐ２５で「ＮＯ」へ進む）、ＣＰＵ１３は、「音声無し画像再生モード」処理を実行する（Ｐ３１）。
【００９８】
上記のそれぞれの再生モードは、図２で説明したように、それぞれの再生条件に適合する画像が抽出されて、再生される。なお、再生される画像群の再生順は、通常、撮影順（すなわち時系列）であるが、これに限定されず、例えば、編集等により任意に再生順を設定していてもよい。
【００９９】
次に、図７のそれぞれの再生モードにおいて、図６の操作を行う場合の詳細な処理フローを説明する。
図８は、図６のパターン１に対応する処理フローを示す。同図のフローは、画像表示領域２１ａ及び文字表示領域２１ｂのうち選択した方の画像又はテキストについて、手動で画像送りやテキスト送り等をするフローである。
【０１００】
まず、ある画像（例えば、画像１）が画像表示領域２１ａに再生される（Ｐ４１）。ＣＰＵ１３は、画像／音声管理ファイルに基づいて、その再生中の画像が音声付画像か否かを判定する（Ｐ４２）。Ｐ４２で、その再生中の画像が音声付画像でないと判定した場合（Ｐ４２で「ＮＯ」へ進む）、ＣＰＵ１３は、文字表示領域２１ｂ内を非表示、すなわちクリアにする（Ｐ４３）。これは、ループ処理がなされた場合、文字表示領域２１ｂに表示されている前回のテキストをクリアにするためである。
【０１０１】
Ｐ４２で、その再生中の画像が音声付画像であると判定した場合（Ｐ４２で「ＹＥＳ」へ進む）、ＣＰＵ１３は、画像／音声管理ファイルに基づいて、その音声付画像に対応するテキストデータを文字表示領域２１ｂに表示させる（Ｐ４４）。
【０１０２】
次に、ＣＰＵ１３は、上キーまたは下キーが操作されたかを判定する（Ｐ４５）。Ｐ４５で、上キー及び下キーのいずれもが操作されていないと判定した場合（Ｐ４５で「なし」へ進む）、ＣＰＵ１３は、Ｐ４９の処理を実行する。なお、音声無し画像の場合は、当該判断は行わず、Ｐ４９へ進む。
【０１０３】
Ｐ４５で、上キーまたは下キーが操作されたと判定した場合（Ｐ４５で「あり」へ進む）、ＣＰＵ１３は、この操作された上下キーのうちいずれか操作されたかを判定する（Ｐ４６）。
【０１０４】
Ｐ４６で、下キーが操作されたと判定した場合（Ｐ４６で「下」へ進む）、ＣＰＵ１３は、文字表示領域２１ｂに表示されたテキストにカーソルを移動させる（Ｐ４７）。また、Ｐ４６で、上キーが操作されたと判定した場合（Ｐ４６で「上」へ進む）、ＣＰＵ１３は、画像表示領域２１ａに表示された画像にカーソルを移動させる（Ｐ４８）。
【０１０５】
次に、ＣＰＵ１３は、左キーまたは右キーが操作されたかを判定する（Ｐ４９）。Ｐ４９で、左キー及び右キーのいずれもが操作されていないと判定した場合（Ｐ４９で「なし」へ進む）、ＣＰＵ１３は、Ｐ５４の処理を実行する。なお、音声無し画像の場合は、後述するＰ５２の処理を行って、Ｐ５４へ進む。
【０１０６】
Ｐ４９で、左キーまたは右キーが操作されたと判定した場合（Ｐ４９で「あり」へ進む）、ＣＰＵ１３は、カーソルが画像表示領域２１ａ及び文字表示領域２１ｂのうちのいずれかにあるかを判定する（Ｐ５０）。
【０１０７】
Ｐ５０で、カーソルが文字表示領域２１ｂにあると判定した場合（Ｐ５０で「テキスト」へ進む）、ＣＰＵ１３は、左キーが操作されたならテキストのページを１つ戻した内容を文字表示領域２１ｂに表示させ、右キーが操作されたならテキストのページを１つ送った内容を文字表示領域２１ｂに表示させる（Ｐ５１）。
【０１０８】
Ｐ５０で、カーソルが画像表示領域２１ａにあると判定した場合（Ｐ５０で「画像」へ進む）、ＣＰＵ１３は、左キーが操作されたなら１つ戻した画像を画像表示領域２１ａに表示させ、右キーが操作されたなら１つ送った画像を画像表示領域２１ａに表示させる（Ｐ５２）。さらに、ＣＰＵ１３は、画像／音声管理ファイルに基づいて、その音声付画像に対応するテキストデータを文字表示領域２１ｂに表示させる（Ｐ５３）。
【０１０９】
再生が終了するまで、ＣＰＵ１３は、Ｐ４２〜Ｐ５３の処理を繰り返し実行する（Ｐ５４）。ここでいう、再生が終了するとは、例えば、再生モードから他のモード（撮影モード等）に切り替わったり、その他の割り込み処理が入ったりした場合等である。以降で説明するフローについても同様である。このようにして再生が終了したら、ＣＰＵ１３は、本フローを終了し、遷移元の図７のフローへ処理が戻る。
【０１１０】
図９は、図６のパターン１の変形例（パターン１ａで表す）に対応する処理フローを示す。同図は、左右キーを操作することで画像を選択し、上下キーを操作することでその選択された画像に関するテキストをスクロールさせるフローである。
【０１１１】
まず、ある画像（例えば、画像１）が画像表示領域２１ａに再生される（Ｐ６１）。ＣＰＵ１３は、上キーまたは下キーが操作されたかを判定する（Ｐ６２）。上キー及び下キーのいずれもが操作されていないと判定した場合（Ｐ６２で「なし」へ進む）、ＣＰＵ１３は、Ｐ６８の処理を実行する。
【０１１２】
Ｐ６２で、上キーまたは下キーが操作されたと判定した場合（Ｐ６２で「あり」へ進む）、ＣＰＵ１３は、画像／音声管理ファイルに基づいて、その再生中の画像が音声付画像か否かを判定する（Ｐ６３）。Ｐ６３で、その再生中の画像が音声付画像でないと判定した場合（Ｐ６３で「ＮＯ」へ進む）、ＣＰＵ１３は、文字表示領域２１ｂ内を非表示、すなわちクリアにする（Ｐ６４）。その後、ＣＰＵ１３は、Ｐ６８の処理を実行する。
【０１１３】
Ｐ６３で、その再生中の画像が音声付画像であると判定した場合（Ｐ６３で「ＹＥＳ」へ進む）、ＣＰＵ１３は、画像／音声管理ファイルに基づいて、その音声付画像に対応するテキストデータを文字表示領域２１ｂに表示させる。さらに、ＣＰＵ１３は、上記で操作された上下キーのうちいずれが操作されたかを判定する（Ｐ６５）。
【０１１４】
Ｐ６５で、下キーが操作されたと判定した場合（Ｐ６５で「下」へ進む）、ＣＰＵ１３は、文字表示領域２１ｂに表示されたテキストのページをスクロールさせて、次のページを表示させる（Ｐ６６）。また、Ｐ６５で、上キーが操作されたと判定した場合（Ｐ６５で「上」へ進む）、ＣＰＵ１３は、文字表示領域２１ｂに表示されたテキストのページの１つ前のページにスクロールさせる（Ｐ６７）。その後、Ｐ６２の処理へ戻る。
【０１１５】
次に、ＣＰＵ１３は、左キーまたは右キーが操作されたかを判定する（Ｐ６８）。左キー及び右キーのいずれもが操作されていないと判定した場合（Ｐ６８で「なし」へ進む）、ＣＰＵ１３は、Ｐ７１の処理を実行する。
【０１１６】
左キーまたは右キーが操作した場合（Ｐ６８で「あり」へ進む）、ＣＰＵ１３は、次の画像を再生する（Ｐ６９）。さらに、ＣＰＵ１３は、画像／音声管理ファイルに基づいて、その新たに再生された画像に対応するテキストデータを文字表示領域２１ｂに表示させる（Ｐ７０）。
【０１１７】
再生が終了するまで、ＣＰＵ１３は、Ｐ６２〜Ｐ７０の処理を繰り返し実行する（Ｐ７１）。再生が終了したら、ＣＰＵ１３は、本フローを終了し、遷移元の図７のフローへ処理が戻る。
【０１１８】
図１０は、図６のパターン２に対応する処理フローを示す。同図は、十字キーでの操作の対象は画像であり、文字は画像とは連動せずに自動で次のテキストファイルの内容に切り替えるフローを示している。
【０１１９】
まず、ある画像（例えば、画像１）が画像表示領域２１ａに再生される（Ｐ８１）。ＣＰＵ１３は、画像／音声管理ファイルに基づいて、その再生中の画像が音声付画像か否かを判定する（Ｐ８２）。Ｐ８２で、その再生中の画像が音声付画像でないと判定した場合（Ｐ８２で「ＮＯ」へ進む）、ＣＰＵ１３は、文字表示領域２１ｂの表示内容を非表示にする（Ｐ８３）。
【０１２０】
Ｐ８２で、その再生中の画像が音声付画像であると判定した場合（Ｐ８２で「ＹＥＳ」へ進む）、ＣＰＵ１３は、画像／音声管理ファイルに基づいて、その音声付画像に対応するテキストデータを文字表示領域２１ｂに表示させる（Ｐ８４）。
【０１２１】
Ｐ８４でテキストデータを文字表示領域２１ｂに表示させた後、ＣＰＵ１３は、計時手段１４により所定時間が経過したか否かを判定する（Ｐ８５）。Ｐ８５で、所定時間が経過していないと判定した場合（Ｐ８５で「ＮＯ」へ進む）、ＣＰＵ１３は、Ｐ８８の処理を行う。
【０１２２】
Ｐ８５で、計時手段１４による計時の結果より所定時間経過したと判定した場合（Ｐ８５で「ＹＥＳ」へ進む）、ＣＰＵ１３は、次のテキストデータを文字表示領域２１ｂに表示させる（Ｐ８６）。そして、ＣＰＵ１３は、計時手段１４の計時を初期化して再スタートさせる（Ｐ８７）。
【０１２３】
次に、ＣＰＵ１３は、上キーまたは下キーが操作されたかを判定する（Ｐ８８）。Ｐ６５で、上キー及び下キーのいずれもが操作されていないと判定した場合（Ｐ８８で「なし」へ進む）、ＣＰＵ１３は、Ｐ９２の処理を実行する。
【０１２４】
Ｐ８８で、上キーまたは下キーが操作されたと判定した場合（Ｐ８８で「あり」へ進む）、ＣＰＵ１３は、この操作された上下キーのうちいずれが操作されたかを判定する（Ｐ８９）。
【０１２５】
Ｐ８９で、下キーが操作されたと判定した場合（Ｐ８９で「下」へ進む）、ＣＰＵ１３は、最終画像を再生する（Ｐ９０）。また、Ｐ８９で、上キーが操作されたと判定した場合（Ｐ８９で「上」へ進む）、ＣＰＵ１３は、先頭画像を再生させる（Ｐ９１）。
【０１２６】
次に、ＣＰＵ１３は、左キーまたは右キーが操作されたかを判定する（Ｐ９２）。Ｐ９２で、左キー及び右キーのいずれもが操作されていないと判定した場合（Ｐ９２で「なし」へ進む）、ＣＰＵ１３は、Ｐ９６の処理を実行する。
【０１２７】
Ｐ９２で、左キーまたは右キーが操作されたと判定した場合（Ｐ９２で「あり」へ進む）、ＣＰＵ１３は、この操作された上下キーのうちいずれか操作されたかを判定する（Ｐ９３）。
【０１２８】
Ｐ９３で、右キーが操作されたと判定した場合（Ｐ９３で「右」へ進む）、ＣＰＵ１３は、次の画像を再生する（Ｐ９４）。また、Ｐ９３で、左キーが操作されたと判定した場合（Ｐ９３で「左」へ進む）、ＣＰＵ１３は、１つ前の画像を再生させる（Ｐ９５）。
【０１２９】
再生が終了するまで、ＣＰＵ１３は、Ｐ８２〜Ｐ９５の処理を繰り返し実行する（Ｐ９６）。再生が終了したら、ＣＰＵ１３は、本フローを終了し、遷移元の図７のフローへ処理が戻る。
【０１３０】
図１１は、図６のパターン３に対応する処理フローを示す。同図は、画像が所定時間経過後自動で切り替わり、その切り替えられて表示された画像に関連するテキストについて十字キーで操作することができる処理フローを示す。
【０１３１】
まず、ある画像（例えば、画像１）が画像表示領域２１ａに再生される（Ｐ１０１）。ＣＰＵ１３は、計時手段１４による計時の結果より所定時間が経過したか否かを判定する（Ｐ１０２）。Ｐ１０２で、所定時間が経過していないと判定した場合（Ｐ１０２で「ＮＯ」へ進む）、ＣＰＵ１３は、画像／音声管理ファイルに基づいて、その再生中の画像が音声付画像か否かを判定する（Ｐ１０５）。
【０１３２】
Ｐ１０５で、その再生中の画像が音声付画像でないと判定した場合（Ｐ１０５で「ＮＯ」へ進む）、文字表示領域２１ｂの表示内容を非表示にする（Ｐ１０６）。Ｐ１０５で、その再生中の画像が音声付画像であると判定した場合（Ｐ１０５で「ＹＥＳ」へ進む）、ＣＰＵ１３は、画像／音声管理ファイルに基づいて、その音声付画像に対応するテキストデータを文字表示領域２１ｂに表示させる（Ｐ１０７）。
【０１３３】
Ｐ１０２で、計時手段１４による計時の結果より所定時間経過したと判定した場合（Ｐ１０２で「ＹＥＳ」へ進む）、ＣＰＵ１３は、次の画像を再生（表示）させる。そして、ＣＰＵ１３は、計時手段１４の計時を初期化して再スタートさせる（Ｐ１０４）。
【０１３４】
次に、ＣＰＵ１３は、上キーまたは下キーが操作されたかを判定する（Ｐ１０８）。Ｐ１０８で、上キー及び下キーのいずれもが操作されていないと判定した場合（Ｐ１０８で「なし」へ進む）、ＣＰＵ１３は、Ｐ１１２の処理を実行する。
【０１３５】
Ｐ１０８で、上キーまたは下キーが操作されたと判定した場合（Ｐ１０８で「あり」へ進む）、ＣＰＵ１３は、この操作された上下キーのうちいずれか操作されたかを判定する（Ｐ１０９）。
【０１３６】
Ｐ１０９で、下キーが操作されたと判定した場合（Ｐ１０９で「下」へ進む）、ＣＰＵ１３は、文字表示領域２１ｂにそのテキストデータの最終ページを表示させる（Ｐ１１０）。また、Ｐ１０９で、上キーが操作されたと判定した場合（Ｐ１０９で「上」へ進む）、ＣＰＵ１３は、文字表示領域２１ｂにそのテキストデータの先頭ページを表示させる（Ｐ１１１）。
【０１３７】
次に、ＣＰＵ１３は、左キーまたは右キーが操作されたかを判定する（Ｐ１１２）。Ｐ１１２で、左キー及び右キーのいずれもが操作されていないと判定した場合（Ｐ１１２で「なし」へ進む）、ＣＰＵ１３は、Ｐ１１６の処理を実行する。
【０１３８】
Ｐ１１２で、左キーまたは右キーが操作されたと判定した場合（Ｐ１１２で「あり」へ進む）、ＣＰＵ１３は、この操作された左右キーのうちいずれか操作されたかを判定する（Ｐ１１３）。
【０１３９】
Ｐ１１３で、右キーが操作されたと判定した場合（Ｐ１１３で「右」へ進む）、ＣＰＵ１３は、文字表示領域２１ｂに次のページを表示（ページ送り）させる（Ｐ１１４）。また、Ｐ１１３で、左キーが操作されたと判定した場合（Ｐ１１３で「左」へ進む）、ＣＰＵ１３は、１つ前のページを表示（ページ戻し）させる（Ｐ１１５）。
【０１４０】
再生が終了するまで、ＣＰＵ１３は、Ｐ１０２〜Ｐ１１５の処理を繰り返し実行する（Ｐ１１６）。再生が終了したら、ＣＰＵ１３は、本フローを終了し、遷移元の図７のフローへ処理が戻る。
【０１４１】
図１２は、図６のパターン４に対応する処理フローを示す。同図は、画像及び文字が所定時間経過後自動で切り替わる処理フローを示す。
まず、ある画像（例えば、画像１）が画像表示領域２１ａに再生される（Ｐ１２１）。ＣＰＵ１３は、計時手段１４による計時の結果より所定時間Ｔ1（Ｔ1：画像切り替え用時間）が経過したか否かを判定する（Ｐ１２２）。Ｐ１２２で、所定時間Ｔ1が経過していないと判定した場合（Ｐ１２２で「ＮＯ」へ進む）、ＣＰＵ１３は、画像／音声管理ファイルに基づいて、その再生中の画像が音声付画像か否かを判定する（Ｐ１２３）。
【０１４２】
Ｐ１２３で、その再生中の画像が音声付画像でないと判定した場合（Ｐ１２３で「ＮＯ」へ進む）、文字表示領域２１ｂの表示内容を非表示にする（Ｐ１２４）。Ｐ１２３で、その再生中の画像が音声付画像であると判定した場合（Ｐ１２３で「ＹＥＳ」へ進む）、ＣＰＵ１３は、画像／音声管理ファイルに基づいて、その音声付画像に対応するテキストデータを文字表示領域２１ｂに表示させる（Ｐ１２５）。
【０１４３】
Ｐ１２５の処理後、ＣＰＵ１３は、計時手段１４による計時の結果より所定時間Ｔ2（Ｔ2：テキスト切り替え用時間）が経過したか否かを判定する（Ｐ１２６）。Ｐ１２６で、所定時間Ｔ2が経過していないと判定した場合（Ｐ１２６で「ＮＯ」へ進む）、ＣＰＵ１３は、Ｐ１２９の処理を実行する。
【０１４４】
Ｐ１２６で、所定時間Ｔ2が経過したと判定した場合（Ｐ１２６で「ＹＥＳ」へ進む）、ＣＰＵ１３は、次のテキストデータを文字表示領域２１ｂに表示させる（Ｐ１２７）。そして、ＣＰＵ１３は、計時手段１４の計時Ｃ2（Ｃ2：テキスト切り替え用時間Ｔ2をカウントするためのカウンタ）を初期化して再スタートさせる（Ｐ１２８）。
【０１４５】
次に、ＣＰＵ１３は、一連のテキスト、すなわち、テキストデータの全ページを表示したか否かを判定する（Ｐ１２９）。ＣＰＵ１３は、例えば、ファイルの終了部分を示す「ＥＯＦ」を検知したか否かで当該判定を行うことができる。
【０１４６】
Ｐ１２９で、全ページを表示していないと判定した場合（Ｐ１２９で「ＮＯ」へ進む）、ＣＰＵ１３はＰ１３２の処理を行う。Ｐ１２９で、全ページを表示したと判定した場合（Ｐ１２９で「ＹＥＳ」へ進む）、ＣＰＵ１３は、次の画像を再生（表示）させる（Ｐ１３０）。そして、ＣＰＵ１３は、計時手段１４の計時Ｃ1（Ｃ1：画像切り替え用時間Ｔ1をカウントするためのカウンタ）を初期化して再スタートさせる（Ｐ１３１）。
【０１４７】
次に、ＣＰＵ１３は、十字キーが操作されたかを判定する（Ｐ１３２）。Ｐ１３２で、十字キーが操作されていないと判定した場合（Ｐ１３２で「なし」へ進む）、ＣＰＵ１３は、Ｐ１３４の処理を実行する。
【０１４８】
Ｐ１３２で、十字キーが操作されたと判定した場合（Ｐ１３２で「あり」へ進む）、ＣＰＵ１３は、十字キー操作関連処理を行う（Ｐ１３３）。このＰ１３３の処理は、図１３で詳述する。
【０１４９】
再生が終了するまで、ＣＰＵ１３は、Ｐ１２２〜Ｐ１３３の処理を繰り返し実行する（Ｐ１３４）。再生が終了したら、ＣＰＵ１３は、本フローを終了し、遷移元の図７のフローへ処理が戻る。なお、本フローにおいて、Ｓ１３２及びＳ１３３の処理はなくてもよい。
【０１５０】
図１３は、十字キー操作関連処理の詳細なフローである。ＣＰＵ１３は、上キーまたは下キーが操作されたかを判定する（Ｐ１４１）。Ｐ１４１で、上キー及び下キーのいずれもが操作されていないと判定した場合（Ｐ１４１で「なし」へ進む）、ＣＰＵ１３は、Ｐ１４５の処理を実行する。
【０１５１】
Ｐ１４１で、上キーまたは下キーが操作されたと判定した場合（Ｐ１４１で「あり」へ進む）、ＣＰＵ１３は、この操作された上下キーのうちいずれか操作されたかを判定する（Ｐ１４２）。
【０１５２】
Ｐ１４２で、下キーが操作されたと判定した場合（Ｐ１４２で「下」へ進む）、ＣＰＵ１３は最終画像を表示させる（Ｐ１４３）。また、Ｐ１４２で、上キーが操作されたと判定した場合（Ｐ１４２で「上」へ進む）、ＣＰＵ１３は、先頭画像を表示させる（Ｐ１４４）。
【０１５３】
次に、ＣＰＵ１３は、左キーまたは右キーが操作されたかを判定する（Ｐ１４５）。Ｐ１４５で、左キーまたは右キーが操作されたと判定した場合（Ｐ１４６で「あり」へ進む）、ＣＰＵ１３は、この操作された上下キーのうちいずれか操作されたかを判定する（Ｐ１４６）。
【０１５４】
Ｐ１１３で、右キーが操作されたと判定した場合（Ｐ１４６で「右」へ進む）、ＣＰＵ１３は、次の画像を表示させる（Ｐ１４７）。また、Ｐ１４６で、左キーが操作されたと判定した場合（Ｐ１４６で「左」へ進む）、ＣＰＵ１３は、１つ前の画像を表示させる（Ｐ１４８）。
【０１５５】
Ｐ１４５で、左キー及び右キーのいずれもが操作されていないと判定した場合（Ｐ１４５で「なし」へ進む）、またはＰ１４７もしくはＰ１４８の処理が終了した場合、ＣＰＵ１３は、本フローを終了し、遷移元のフローへ処理が戻る。
【０１５６】
図１４は、図６のパターン５に対応する処理フローを示す。同図は、画像及びテキスト相互の関連付けを基に、所定時間経過後、画像及びテキストが自動で切り替わる処理フローを示す。図１４を説明するに際して、図１５〜図１７を用いるため、これらの図面について説明する。
【０１５７】
図１５は、一連のテキストとそのテキストに関係付けられた関連画像を示す。一連のテキストＡのデータの内容は、「砂漠にそびえたつピラミッドの傍を」（１ページ目）、「２頭のラクダが歩いています。」（２ページ目）、「神殿には、古王国時代の壁画があります。」（３ページ目）である。このテキストＡのデータと関連付けられている画像（関連画像）は、画像１〜画像９である。
【０１５８】
また、一連のテキストＢのデータの内容は、「エジプトには、ギザの３大ピラミッド」（１ページ目）、「と呼ばれるものがあります。」（２ページ目）である。このテキストＢのデータと関連付けられている画像（関連画像）は、画像１０〜画像１３である。
【０１５９】
図１６は、図１５の条件におけるパターン５の表示例を示す。同図では、画面表示は、表示１→表示２→表示３→表示４→表示５→表示６→表示７の順で遷移する。
表示１は、パターン５の再生開始時の表示例である。表示１では、画像表示領域２１ａに画像１〜画像９がサムネイルで表示され、文字表示領域２１ｂは非表示状態である。
【０１６０】
表示２へ遷移すると、文字表示領域２１ｂに一連のテキストＡの１ページ目が表示される。所定時間経過後、表示３へ遷移し、文字表示領域２１ｂに一連のテキストＡの２ページ目が表示される。さらに、所定時間経過後、表示４３へ遷移し、文字表示領域２１ｂに一連のテキストＡの３ページ目が表示される。
【０１６１】
所定時間経過後、表示５へ遷移し、画像表示領域２１ａに画像１０〜画像１３が表示される。なお、文字表示領域２１ｂの表示内容は遷移前の表示４のテキストのままである。その後、すぐに、表示６に遷移し、文字表示領域２１ｂに一連のテキストＢの１ページ目が表示される。所定時間経過後、表示７へ遷移し、文字表示領域２１ｂに一連のテキストＢの２ページ目が表示される。
【０１６２】
図１７は、図１６での画面表示の表示時間と図１４での対応する処理のタイミングを示している。以下では、この図１５〜図１７を参照しながら、図１４のフローを説明する。
図１４において、まず、ある画像（図１６の場合、表示１で示した画像１〜図９）が画像表示領域２１ａに再生される（Ｐ１５１）。ＣＰＵ１３は、計時手段１４による計時の結果より所定時間Ｔが経過したか否かを判定する（Ｐ１５２）。Ｐ１５２で、所定時間Ｔが経過していないと判定した場合（Ｐ１５２で「ＮＯ」へ進む）、ＣＰＵ１３は、画像／音声管理ファイルに基づいて、その再生中の画像が音声付画像か否かを判定する（Ｐ１５８）。
【０１６３】
Ｐ１５８で、その再生中の画像が音声付画像でないと判定した場合（Ｐ１５８で「ＮＯ」へ進む）、文字表示領域２１ｂの表示内容を非表示にする（Ｐ１５９）。Ｐ１５８で、その再生中の画像が音声付画像であると判定した場合（Ｐ１５８で「ＹＥＳ」へ進む）、ＣＰＵ１３は、画像／音声管理ファイルに基づいて、その音声付画像に対応するテキストデータを文字表示領域２１ｂに表示させる（Ｐ１６０）。
【０１６４】
Ｐ１５２で、所定時間が経過していると判定した場合（Ｐ１５２で「ＹＥＳ」へ進む）、ＣＰＵ１３は、Ｐ１１５３の処理を実行する。
次に、ＣＰＵ１３は、一連のテキスト、すなわち、テキストデータの全ページを表示したか否かを判定する（Ｐ１５３）。ＣＰＵ１３は、例えば、ファイルの終了部分を示す「ＥＯＦ」を検知したか否かで当該判定を行うことができる。
【０１６５】
Ｐ１５３で、全ページを表示していないと判定した場合（Ｐ１５３で「ＮＯ」へ進む）、ＣＰＵ１３は、次のテキストデータを文字表示領域２１ｂに表示させる（Ｐ１５６）。そして、ＣＰＵ１３は、計時手段１４の計時を初期化して再スタートさせる（Ｐ１５７）。
【０１６６】
Ｐ１５３で、全ページを表示したと判定した場合（Ｐ１５３で「ＹＥＳ」へ進む）、ＣＰＵ１３は、次の画像を再生（表示）させる（Ｐ１５４）。そして、ＣＰＵ１３は、計時手段１４の計時を初期化して再スタートさせる（Ｐ１５５）。
【０１６７】
次に、ＣＰＵ１３は、十字キーが操作されたかを判定する（Ｐ１６１）。Ｐ１６１で、十字キーが操作されていないと判定した場合（Ｐ１６１で「なし」へ進む）、ＣＰＵ１３は、Ｐ１６３の処理を実行する。
【０１６８】
Ｐ１６１で、十字キーが操作されたと判定した場合（Ｐ１６１で「あり」へ進む）、ＣＰＵ１３は、十字キー操作関連処理を行う（Ｐ１６２）。このＰ１６２の処理は、図１３で説明した処理内容である。
【０１６９】
再生が終了するまで、ＣＰＵ１３は、Ｐ１５２〜Ｐ１６２の処理を繰り返し実行する（Ｐ１３４）。再生が終了したら、ＣＰＵ１３は、本フローを終了し、遷移元の図７のフローへ処理が戻る。なお、本フローにおいて、Ｓ１６１及びＳ１６２の処理はなくてもよい。
【０１７０】
図１７を見てみると、図１６において、表示１から表示２への遷移は、Ｐ１５１〜Ｐ１６０の処理により行われる。所定時間、表示２が表示された後、Ｐ１５６の処理がなされることにより表示３へ遷移する。さらに、所定時間、表示３が表示された後、Ｐ１５６の処理がなされることにより表示４へ遷移する。さらに、所定時間、表示４が表示された後、Ｐ１５４の処理がなされることにより表示５へ遷移する。
【０１７１】
表示５から表示６への遷移は、Ｐ１５４からＰ１６０の処理がなされることにより、間もなく遷移する。所定時間、表示６が表示された後、Ｐ１５６の処理がなされることにより表示７へ遷移する。
【０１７２】
図１８は、図６のパターン６に対応する処理フローを示す。同図は、文字を十字キーで送ったり戻したりすると、その文字と画像との関連付けを基に、画像が自動的に切り替わる処理フローを示す。
【０１７３】
まず、ある画像（例えば、画像１）が画像表示領域２１ａに再生される（Ｐ１７１）。ＣＰＵ１３は、画像／音声管理ファイルに基づいて、その再生中の画像が音声付画像か否かを判定する（Ｐ１７２）。
【０１７４】
Ｐ１７３で、その再生中の画像が音声付画像でないと判定した場合（Ｐ１７２で「ＮＯ」へ進む）、文字表示領域２１ｂの表示内容を非表示にする（Ｐ１７３）。その後、ＣＰＵ１３は、Ｐ１８５の処理を行う。
【０１７５】
Ｐ１７２で、その再生中の画像が音声付画像であると判定した場合（Ｐ１７２で「ＹＥＳ」へ進む）、ＣＰＵ１３は、画像／音声管理ファイルに基づいて、その音声付画像に対応するテキストデータを文字表示領域２１ｂに表示させる（Ｐ１７４）。
【０１７６】
Ｐ１７４の処理後、ＣＰＵ１３は、上キーまたは下キーが操作されたかを判定する（Ｐ１７５）。Ｐ１７５で、上キー及び下キーのいずれもが操作されていないと判定した場合（Ｐ１７５で「なし」へ進む）、ＣＰＵ１３は、Ｐ１７９の処理を実行する。
【０１７７】
Ｐ１７５で、上キーまたは下キーが操作されたと判定した場合（Ｐ１７５で「あり」へ進む）、ＣＰＵ１３は、この操作された上下キーのうちいずれが操作されたかを判定する（Ｐ１７６）。
【０１７８】
Ｐ１７６で、下キーが操作されたと判定した場合（Ｐ１７７で「下」へ進む）、ＣＰＵ１３は、文字表示領域２１ｂにそのテキストデータの最終ページを表示させる（Ｐ１７７）。また、Ｐ１７６で、上キーが操作されたと判定した場合（Ｐ１７６で「上」へ進む）、ＣＰＵ１３は、文字表示領域２１ｂにそのテキストデータの先頭ページを表示させる（Ｐ１７８）。
【０１７９】
次に、ＣＰＵ１３は、左キーまたは右キーが操作されたかを判定する（Ｐ１７９）。Ｐ１８０で、左キー及び右キーのいずれもが操作されていないと判定した場合（Ｐ１７９で「なし」へ進む）、ＣＰＵ１３は、Ｐ１８５の処理を実行する。
【０１８０】
Ｐ１７９で、左キーまたは右キーが操作されたと判定した場合（Ｐ１７９で「あり」へ進む）、ＣＰＵ１３は、この操作された左右キーのうちいずれが操作されたかを判定する（Ｐ１８０）。
【０１８１】
Ｐ１８０で、右キーが操作されたと判定した場合（Ｐ１８０で「右」へ進む）、ＣＰＵ１３は、一連のテキストデータの最後部（すなわち、最終ページ）であるか否かを判断する（Ｐ１８２）。
【０１８２】
Ｐ１８２で、最終のページが表示されたと判定した場合（Ｐ１８２で「ＹＥＳ」へ進む）、ＣＰＵ１３は、画像表示領域２１ａの画像を次画像に更新する（Ｐ１８３）。Ｐ１８２で、最終のページがまだ表示されていないと判定した場合（Ｐ１８２で「ＮＯ」へ進む）、ＣＰＵ１３は、文字表示領域２１ｂに次のページを表示（ページ送り）させる（Ｐ１８４）。
【０１８３】
また、Ｐ１８０で、左キーが操作されたと判定した場合（Ｐ１８０で「左」へ進む）、ＣＰＵ１３は、１つ前のページを表示（ページ戻し）させる（Ｐ１８１）。
再生が終了するまで、ＣＰＵ１３は、Ｐ１７２〜Ｐ１８４の処理を繰り返し実行する（Ｐ１８５）。再生が終了したら、ＣＰＵ１３は、本フローを終了し、遷移元の図７のフローへ処理が戻る。
【０１８４】
図１９は、図６のパターン７に対応する処理フローを示す。同図は、画像を十字キーで送ったり戻したりすると、その画像と文字との関連付けを基に、文字が自動的に切り替わる処理フローを示す。
【０１８５】
まず、ある画像（例えば、画像１）が画像表示領域２１ａに再生される（Ｐ１９１）。ＣＰＵ１３は、上キーまたは下キーが操作されたかを判定する（Ｐ１９２）。Ｐ１９２で、上キー及び下キーのいずれもが操作されていないと判定した場合（Ｐ１９２で「なし」へ進む）、ＣＰＵ１３は、Ｐ１９８の処理を実行する。
【０１８６】
Ｐ１９２で、上キーまたは下キーが操作されたと判定した場合（Ｐ１９２で「あり」へ進む）、ＣＰＵ１３は、この操作された上下キーのうちいずれが操作されたかを判定する（Ｐ１９３）。
【０１８７】
Ｐ１９３で、下キーが操作されたと判定した場合（Ｐ１９４で「下」へ進む）、ＣＰＵ１３は最終画像を表示させる（Ｐ１９４）。さらに、ＣＰＵ１３は、画像／音声管理ファイルに基づいて、その画像に応じたテキストデータを表示させる（Ｐ１９５）。
【０１８８】
また、Ｐ１９３で、上キーが操作されたと判定した場合（Ｐ１９３で「上」へ進む）、ＣＰＵ１３は、先頭画像を表示させる（Ｐ１９６）。さらに、ＣＰＵ１３は、画像／音声管理ファイルに基づいて、その画像に応じたテキストデータを表示させる（Ｐ１９７）。
【０１８９】
次に、ＣＰＵ１３は、左キーまたは右キーが操作されたかを判定する（Ｐ１９８）。Ｐ１９８で、左キーまたは右キーが操作されたと判定した場合（Ｐ１９８で「あり」へ進む）、ＣＰＵ１３は、この操作された上下キーのうちいずれか操作されたかを判定する（Ｐ１９９）。
【０１９０】
Ｐ１９９で、右キーが操作されたと判定した場合（Ｐ１９９で「右」へ進む）、ＣＰＵ１３は、次の画像を表示させる（Ｐ２００）。さらに、ＣＰＵ１３は、画像／音声管理ファイルに基づいて、その画像に応じたテキストデータを表示させる（Ｐ２０１）。
【０１９１】
また、Ｐ１９９で、左キーが操作されたと判定した場合（Ｐ１９９で「左」へ進む）、ＣＰＵ１３は、１つ前の画像を表示させる（Ｐ２０２）。さらに、ＣＰＵ１３は、画像／音声管理ファイルに基づいて、その画像に応じたテキストデータを表示させる（Ｐ２０３）。
【０１９２】
再生が終了するまで、ＣＰＵ１３は、Ｐ１９２〜Ｐ２０３の処理を繰り返し実行する（Ｐ２０４）。再生が終了したら、ＣＰＵ１３は、本フローを終了し、遷移元の図７のフローへ処理が戻る。
【０１９３】
なお、Ｐ１９５，Ｐ１９７，Ｐ２０１，Ｐ２０３において、その画像が音声と関連付けがない場合は、テキストの表示は行わない。
図２０は、パターン１からパターン６において、音声付静止画が表示された場合の一例を示す。同図は、パターン１からパターン６に対応する上記の各フローで、表示部材２１の文字表示領域に表示されたテキストデータの表示例である。
【０１９４】
図２１は、パターン１からパターン６において、音声無し静止画が表示された場合の一例を示す。同図は、パターン１からパターン６に対応する上記各フローで、音声無し静止画が表示された場合、テキストが非表示となることを示した例である。
【０１９５】
図２２は、パターン１からパターン６において、音声無し静止画が表示された場合、撮影日時及び撮影時刻が文字表示領域２１ｂに表示された状態を示す（以下、パターン８という）。同図は、パターン１からパターン６に対応する上記各フローで、音声無し静止画が表示された、テキストを非表示とする処理の代わりに、撮影日時及び撮影時刻を文字表示領域２１ｂに表示させるようにしたものである。
【０１９６】
次に、以下では、その他の表示パターンについて説明する。
図２３は、あるテキストデータを表示させた後に、そのテキストデータを関連付けられた画像を順次表示させる様子を示す（以下、パターン９という）。まず、あるテキストデータ２１１が表示部材２１に表示される。このとき、画像は表示されない（図２３（ａ））。
【０１９７】
次に、音声の区切りで、そのテキストデータ２１１が非表示になり、それまで音声に関連付けされていた画像２２２，２２３が表示される（図２３（ｂ）、図２３（ｃ））。ここでは、そのテキストデータ２１１に関連付けられた画像２２２，２２３がそれぞれ所定時間表示される。
【０１９８】
次に、その音声に関連付けられていた画像を表示し終わったら、続きの音声内容（テキストデータ２２４）を表示させる（図２３（ｄ））。これらを繰り返して、テキストと画像を表示させていく。
【０１９９】
図２４は、図２３のパターン９に対応するフローチャートを示す。まず、ＣＰＵ１３は、画像／音声管理ファイルに基づいて、読み込んだ画像が音声付画像か否かを判定する（Ｐ２３１）。
【０２００】
Ｐ２３１で、その画像が音声付画像であると判定した場合（Ｐ２３１で「ＹＥＳ」へ進む）、ＣＰＵ１３は、画像／音声管理ファイルに基づいて、その音声付画像に対応するテキストデータ（１ページ分）を表示部材２１に表示させる（Ｐ２３４）。そして、ＣＰＵ１３は、計時手段１４の計時Ｃ3（Ｃ3：テキストのページ切り替え用時間Ｔ3をカウントするためのカウンタ）をスタートさせる（Ｐ２３５）。
【０２０１】
次に、ＣＰＵ１３は、音声区切りがあるか否かを判定する（Ｐ２３６）。音声区切りとは、音声データに含まれる無声音部分または所定の閾値の音声レベル以下の音声に相当する部分である。そのような音声区切りに関する情報は、テキストデータのどの部分に相当するかを識別できるように、画像／音声管理ファイルに所定の情報が書き込まれている。
【０２０２】
音声区切りがないと判定した場合（Ｐ２３６で「なし」へ進む）、ＣＰＵ１３は、所定時間Ｔ3（Ｃ3≧Ｔ3となったとき）が経過した後（Ｐ２４３）、表示部材２１に表示されたテキストデータを１ページ分更新する（Ｐ２４４）。そして、ＣＰＵ１３は、計時手段１４の計時Ｃ3を初期化して再スタートさせる（Ｐ２４５）。その後、Ｐ２３６の処理へ戻る。
【０２０３】
音声区切りがあると判定した場合（Ｐ２３６で「あり」へ進む）、ＣＰＵ１３は、関連画像を表示させる（Ｐ２３７）。ここで、関連画像とは音声区切りで区切られた音声（音声データ及び音声テキストデータを含む）部分に関連付けられた画像群のことをいう。例えば、図２の枠３０の音声信号３１ａの場合、Ｌｏｗ部分（音声なし）が音声区切りに相当する。音声信号がＬｏｗからＨｉｇｈになってＬｏｗになるまでの音声（１区切りの音声）に関連付けられた音声付画像群は、１組の関連画像である。枠３０では、例えば、ＳＳａ−１，ＳＳａ−２が１組の関連画像であり、ＳＳｂ−２，ＳＳｂ−３が１組の関連画像である。ＣＰＵ１３は、画像／音声管理ファイルより関連画像を検出し、関連画像があればその画像を表示させる。
【０２０４】
次に、ＣＰＵ１３は、計時手段１４による計時Ｃ4（Ｃ4：関連画像更新用時間Ｔ4をカウントするためのカウンタ）をスタートさせる（Ｐ２３８）。次に、ＣＰＵ１３は、画像／音声管理ファイルに基づいて、関連画像が終了したか否か、すなわち、次に表示させる関連画像があるか否かを判定する（Ｐ２３９）。
【０２０５】
Ｐ２３９で、次に表示させる関連画像があると判定した場合（Ｐ２３９で「ＮＯ」へ進む）、ＣＰＵ１３は、所定時間Ｔ4が経過した後（Ｃ4≧Ｔ4となったとき）（Ｐ２４１）、その関連画像を表示させる（Ｐ２４２）。その後、Ｐ２３８の処理へ戻る。Ｐ２４１で所定時間Ｔ4が経過していない場合、Ｐ２３８の処理へ戻る。
【０２０６】
Ｐ２３９で、次に表示させる関連画像がないと判定した場合（Ｐ２３９で「ＹＥＳ」へ進む）、ＣＰＵ１３は、次のテキスト部分へ移行させ、そのテキスト部分を表示させる（Ｐ２４０）。ここでいう「次のテキスト部分」とは、音声区切りにより区切られた音声部分に相当するテキスト部分をいう。その後、Ｐ２３４の処理へ戻る。
【０２０７】
Ｐ２３１で、その画像が音声付画像でないと判定した場合（Ｐ２３１で「ＮＯ」へ進む）、ＣＰＵ１３は、その画像を表示部材２１に表示させる（Ｐ２３２）。次に、操作部材１６が操作されることにより、表示部材２１に表示された画像のコマ送りまたはコマ戻しが行われた場合（Ｐ２３２で「あり」へ進む）、Ｐ２３１の処理へ戻る。表示部材２１に表示された画像のコマ送りまたはコマ戻しが行われない場合（Ｐ２３２で「なし」へ進む）、ＣＰＵ２３４は、Ｐ２３４の処理を行う。
【０２０８】
再生が終了するまで、ＣＰＵ１３は、Ｐ２３１〜Ｐ２４５の処理を繰り返し実行する（Ｐ２４６）。再生が終了したら、ＣＰＵ１３は、本フローを終了し、遷移元の図７のフローへ処理が戻る。
【０２０９】
図２５は、あるテキストデータを表示させる場合、そのテキストデータを関連付けられた関連画像群をサムネイル形式でそのテキストデータと共に表示させる様子を示す（以下、パターン１０という）。
【０２１０】
まず、あるテキストデータ２３１が表示部材２１に表示される。このとき、このテキストデータ２３１の関連画像２３２，２３３，２３４もサムネイル形式で表示される（図２５（ａ））。関連画像２３２，２３３，２３４は、上述の通り、１区切りの音声部分（音声データ及び音声テキストデータを含む）に関連付けられた１組の関連画像である。
【０２１１】
次に、音声の区切りで、そのテキストデータ２１１が非表示になり、それまで音声に関連付けされていた画像２３２，２３３，２３４が順次それぞれ拡大されて所定時間表示される（図２５（ｂ）→図２５（ｃ）→画像２３４に対応する拡大画像（不図示））。
【０２１２】
その音声に関連付けられていた関連画像を表示し終わったら、次の音声区切りまでに対応する音声内容（テキストデータ２３５）を表示させる（図２５（ｄ））。これらを繰り返して、テキストと関連画像を表示させていく。
【０２１３】
図２６は、図２５のパターン１０に対応するフローチャートを示す。まず、ＣＰＵ１３は、画像／音声管理ファイルに基づいて、読み込んだ画像が音声付画像か否かを判定する（Ｐ２５１）。
【０２１４】
Ｐ２５１で、その画像が音声付画像であると判定した場合（Ｐ２５１で「ＹＥＳ」へ進む）、ＣＰＵ１３は、画像／音声管理ファイルに基づいて、一区切りの音声に対応した１組の関連画像群をサムネイルで表示部材２１に表示させる（Ｐ２５４）。そして、ＣＰＵ１３は、画像／音声管理ファイルに基づいて、一区切りの音声単位でテキストを表示させる（Ｐ２５５）。
【０２１５】
ＣＰＵ１３は、その表示した音声の実時間が経過するまで、そのテキストを表示させた後（Ｐ２５６）、表示部材２１からそのテキストを消去して、サムネイルで表示された関連画像群の１つを表示部材２１に拡大して再生させる（Ｐ２５７）。そして、ＣＰＵ１３は、計時手段１４による計時をスタートさせる（Ｐ２５８）。
【０２１６】
次に、ＣＰＵ１３は、計時手段１４による計時結果より所定時間が経過したか否かを判定する（Ｐ２５９）。所定時間経過したと判定した場合（Ｐ２５９で「ＹＥＳ」へ進む）、ＣＰＵ１３は、一区切りの関連画像の表示が終了、すなわち１組の関連画像の全てを表示したか否かを判定する（Ｐ２６０）。
【０２１７】
１組の関連画像の全てを表示していないと判定した場合（Ｐ２６０で「ＮＯ」へ進む）、ＣＰＵ１３は、１組の関連画像のうち未表示の関連画像を表示部材２１に拡大して表示させる（Ｐ２６１）。その後、ＣＰＵ１３は、計時手段１４の計時を初期化して再スタートさせる（Ｐ２６２）。その後、Ｐ２５９の処理へ戻る。
【０２１８】
Ｐ２６０で、１組の関連画像の全てを表示したと判定した場合（Ｐ２６０で「ＹＥＳ」へ進む）、ＣＰＵ１３は、一連の再生が終了したか否かを判定する（Ｐ２６３）。一連の再生が終了していないと判定した場合（Ｐ２６３で「ＮＯ」へ進む）、ＣＰＵ１３は、画像／音声管理ファイルに基づいて、次の一区切りの音声に対応した１組の関連画像群をサムネイルで表示部材２１に表示させる（Ｐ２６４）。その後、Ｐ２５５の処理に戻る。
【０２１９】
一連の再生が終了したと判定した場合（Ｐ２６３で「ＹＥＳ」へ進む）であって、操作部材１６が操作されることにより表示部材２１に表示された画像（１組の関連画像単位）のコマ送りまたはコマ戻しが行われた場合（Ｐ２６５で「あり」へ進む）、Ｐ２５１の処理へ戻る。Ｐ２６５でコマ送りまたはコマ戻しが行わない場合（Ｐ２６５で「なし」へ進む）、Ｐ２６３の処理を行う。
【０２２０】
Ｐ２５１で、その表示部材２１に表示させるための画像が音声付画像でないと判定した場合（Ｐ２５１で「ＮＯ」へ進む）、ＣＰＵ１３は、その画像を表示部材２１に表示させる（Ｐ２５２）。次に、操作部材１６が操作されることにより、表示部材２１に表示された画像のコマ送りまたはコマ戻しが行われた場合（Ｐ２５３で「あり」へ進む）、Ｐ２５１の処理へ戻る。Ｐ２５３で、表示部材２１に表示された画像のコマ送りまたはコマ戻しが行われない場合（Ｐ２５３で「なし」へ進む）、ＣＰＵ２３４は、Ｐ２６６の処理を行う。
【０２２１】
再生が終了するまで、ＣＰＵ１３は、Ｐ２５１〜Ｐ２６５の処理を繰り返し実行する（Ｐ２６６）。再生が終了したら、ＣＰＵ１３は、本フローを終了し、遷移元の図７のフローへ処理が戻る。
【０２２２】
なお、図２６において、音声の実時間が経過するまで、その音声のテキストを表示させているが（Ｐ２５６）、このとき、音声に合わせて、音声が読み終わった箇所を強調表示や反転表示等するようにしてもよい。
【０２２３】
図２７は、表示部材２１に表示される画像に、その画像と関連付けられたテキストデータを合成して表示させた様子を示す（以下、パターン１１という）。図２０で示したように、パターン１からパターン６に対応する上記各フローで、音声あり静止画像を表示させる場合に、画像表示領域２１ａに静止画像を表示させ、文字表示領域２１ｂにテキストデータを表示させていた。しかしながら、図２７では、その静止画像２４０とその静止画像と関連付けられたテキストデータ２４１を合成して表示させている。
【０２２４】
図２８は、サムネイル表示された静止画像のうち音声に関連づけられた静止画像が拡大して表示される様子を示す（パターン１２）。同図を説明するに当たり、図２９と図３０を用いる。
【０２２５】
図２９は、図２８における音声信号と画像ファイルとの関連を示す。同図の詳細な説明は、図２と同様である。同図では、音声に関連付けられた静止画像は一連の静止画像ＳＳａ（ＳＳａ−１〜ＳＳａ−５），ＳＳｂ（ＳＳｂ−１〜ＳＳｂ−３）である。そして、一連の静止画像ＳＳａとＳＳｂとの間に、動画像Ｍと、音声と関連付けられていない静止画像Ｓがある。
【０２２６】
図３０は、図２８におけるサムネイル表示された静止画像の配列例を示す。図２８は、図２９で説明した画像群ＳＳａ−１〜ＳＳａ−５，Ｍ，Ｓ，ＳＳｂ−１，ＳＳｂ−２をサムネイルで３行×３列に配列している。
【０２２７】
図２８〜図３０で示したパターン１２は、パターン１〜６の変形であり、例えば、図２０で１画面ごと表示していたものを、図２８ではサムネイル表示したうち文字表示領域に表示されたテキストデータと関連付けられた画像を拡大して表示させたものである。
【０２２８】
このように、本実施形態における撮像装置１によれば、静止画像を見ながら、その静止画像を撮影したときの音声情報を文字情報として同時に見ることができる。また、十字キーなどの所定の操作部材を操作することにより、静止画像及び文字情報のいずれかを選択することができる。このとき、静止画像が選択された場合には、操作部材によりコマ送り等を行うことができ、文字情報が選択された場合には、文字送り等を行うことができる。
【０２２９】
また、マイク等から入力された音声をテキストデータとして保存することができる。また、音声情報がテキストとして表示されるので、自分の速度でその内容を読むことができ、そのため、音声の場合で起こる聞き逃しが生じない。
【０２３０】
また、音声情報に基づくテキストを自動的に流すことができる（テロップ表示）。また、テキストと画像を時系列的にリンクさせることができる。また、テキストとこのテキストに関連付けた画像とをスライドショーのような形式で表示することもできる。
【０２３１】
以上から、本実施形態にかかる画像表示装置は、画像領域と文字ガイド領域を有しており、選択画像に対する音声データを文字変換して文字ガイド領域に表示することができる。画像表示装置は、さらに、画像フォーカス手段と文字フォーカス手段を有しており、画像をフォーカスした際には画像選択を行い、文字をフォーカスした際には文字送りをそれぞれ行なう。また、選択画像が変更された場合には、選択されている画像に応じた文字ガイドを表示させることができる。
【０２３２】
また、本実施形態にかかる表示装置は、画像領域と文字ガイド領域を有し、画像を水平垂直方向に選択する手段を有する。この表示装置によれば、選択している画像に応じた音声データを文字変換して文字ガイド領域に表示し、文字ガイドは一定時間に表示を切り替える。さらに、選択画像を変えた場合には、選択している画像に応じた文字ガイドを表示する。
【０２３３】
また、本実施形態にかかる表示装置は、画像領域と文字ガイド領域を有し、画像は一定時間ごとに切り替えて表示を行う。この表示装置は、さらに、水平／垂直の直交する操作部材を有し、水平方向若しくは垂直方向のどちらか一方で文字ガイドをスクロールさせ、もう一方で文字ガイドの一発頭だし又は文字ガイド終了を行なう。また、一定時間経過により、画像が切り替わった際は、切り替わった画像に応じた文字ガイド表示に切り替わる。画像切り替わり時間は、各コマそれぞれの音声データに応じた時間とする。また、文字ガイド先頭で一発頭だし操作をしたら前コマ、文字ガイド終了後に文字ガイド終了操作をしたら次コマ表示に移行することができる。
【０２３４】
また、本実施形態にかかる画像表示装置は、画像領域と文字ガイド領域を有し、選択画像に対する音声データを文字変換して文字ガイド領域に表示する。この場合、画像及び文字ガイドの両方とも、所定時間で切り替わる。この所定時間は、画像と文字ガイドそれぞれ別の時間とする。なお、画像切り替わりに関する所定時間は、短くとも文字ガイドを全て表示し終わる時間とする。また、文字ガイドが1ページのみの場合は、画像、文字ガイドの両方とも同じ時間とする。
【０２３５】
また、本実施形態にかかる画像表示装置は、画像領域と文字ガイド領域を有し、選択画像に対する音声データを文字変換して文字ガイド領域に表示する。この場合、画像及び文字ガイドの両方とも、所定時間で切り替わる。この所定時間は、画像と文字ガイドに関連した時間とする。なお、文字ガイドは所定時間でスクロールし、当該画像のガイド表示が終了すると、画像を変更する。
【０２３６】
また、本実施形態にかかる画像表示装置は、画像領域と文字ガイド領域を有し、選択画像に対する音声データを文字変換して文字ガイド領域に表示する。文字ガイドはマニュアル操作で表示切り替えを行い、文字ガイドの切り替えに応じて画像表示を切り替える。また、当該画像のガイドの最後のページを表示している状態で、文字ガイド送り操作を行なうと画像送りを行なう。
【０２３７】
上記の装置において、音声データの無い画像を表示する場合には、文字ガイド表示を行わない。また、上記の装置において、音声データの無い画像を表示する場合には、文字ガイド表示の代わりに画像固有の情報表示をする。ここで、画像固有の情報とは、撮影日時情報であってもよく、撮影パラメータであってもよい。
【０２３８】
また、本発明にかかる音声変換装置は、画像と音声を関連付けて記録可能であり、音声データを文字変換して文字ガイドを表示する。このとき、音声を文字ガイドとして表示し、音声の区切りを検出したら、画像表示に切り替わりその音声と関連付けされた画像を順次再生する。順次再生する際のインターバルは１、画像毎に予め決められた所定時間とする。順次再生する際の画像切り替わり時間は、音声に関連付けられた画像に対して予め決められた時間を画像数で等分した時間とする。音声区切り単位で関連付けされた１組に画像再生が終了したら、自動的に音声を文字ガイドとする表示に戻り、続きを行なう。１組の画像再生が終了したら、ユーザの操作に応じて、文字ガイド表示に戻り続きを行なう。
【０２３９】
また、本実施形態にかかる音声変換装置は、画像と音声を関連付けて記録可能であり、音声データを文字変換して文字ガイドを表示する。この音声変換装置は、音声を文字ガイドとして表示するとともに、１区切りの文字ガイドに関連付けされた１組に画像をサムネイル表示する。１組とされる画像数が予め決められた所定数以上の場合、サムネイル表示を所定時間で更新する。音声の区切りを検出して、文字ガイド表示から、画像表示に移行する。順次再生する際のインターバルは1画像毎にあらかじめ決められた所定時間とする。順次再生する際の画像切り替わり時間は、音声に関連付けられた画像に対して予め決められた時間を画像数で等分した時間とする。音声区切り単位で関連付けされた１組に画像再生が終了したら、自動的に音声を文字ガイドとする表示に戻り、続きを行なう。１組の画像再生が終了したら、ユーザの操作に応じて、文字ガイド表示に戻り続きを行なう。音声の区切りを検出して、関連画像をサムネイル画の上に拡大表示する。
【０２４０】
また、本実施形態にかかる音声変換装置は、画像と音声を関連付けて記録可能であり、音声データを文字変換して文字ガイドを表示する。この音声変換装置は、音声に関連付けされた画像を表示し、その画像に重ね合わせて文字ガイドを表示する。また、文字ガイドの表示切り替わりに応じ画像を切り替える。また、関連付けされた画像を、関連の文字表示期間を等分した間隔で表示する。１組の文字ガイド表示が終了した後、組画像を１画面ずつ所定時間再生する。
【０２４１】
また、本実施形態にかかる画像表示装置は、画像と音声を関連付けて記録可能であり、音声データを文字変換して文字ガイドを表示する。この画像表示装置は、音声を文字ガイドとして表示するとともに、一連の文字ガイドに関連付けされた画像をサムネイル表示する。文字ガイド表示に応じ、関連付けされた画像をサムネイル表示の上に大きく表示する。当該文字ガイド表示に関連付けされた画像が複数の場合は、その状態で所定時間で画像を入れ替える。また、文字ガイドの表示更新に応じて、関連付けされた画像を拡大する。
【０２４２】
上記の実施形態で説明した撮像装置は、音声を文字変換して表示を行うとともに、音声を出力させてもよい。このとき、音声出力のＯＮ／ＯＦＦ設定が可能である。
【図面の簡単な説明】
【０２４３】
【図１】本実施形態における撮像装置の構成を示す。
【図２】本実施形態における撮像装置の再生条件を示す。
【図３】本実施形態における画像ファイル、音声ファイル、及び画像／音声管理ファイルの一例を示す。
【図４】本実施形態における撮影フローチャートを示す。
【図５】撮像装置１の背面を示す図である。
【図６】十字キー１６ｆの動作と、表示部材２１に表示される画像と文字との関係を示す。
【図７】本実施形態における撮像装置の再生フローを示す。
【図８】図６のパターン１に対応する処理フローを示す。
【図９】図６のパターン１の変形例に対応する処理フローを示す。
【図１０】図６のパターン２に対応する処理フローを示す。
【図１１】図６のパターン３に対応する処理フローを示す。
【図１２】図６のパターン４に対応する処理フローを示す。
【図１３】十字キー操作関連処理の詳細なフローである。
【図１４】図６のパターン５に対応する処理フローを示す。
【図１５】一連のテキストとそのテキストに関係付けられた関連画像を示す。
【図１６】図１５の条件におけるパターン５の表示例を示す。
【図１７】図１６での画面表示の表示時間と図１４での対応する処理のタイミングを示す。
【図１８】図６のパターン６に対応する処理フローを示す。
【図１９】図６のパターン７に対応する処理フローを示す。
【図２０】パターン１からパターン６において、音声付静止画が表示された場合の一例を示す。
【図２１】パターン１からパターン６において、音声無し静止画が表示された場合の一例を示す。
【図２２】パターン１からパターン６において、音声無し静止画が表示された場合、撮影日時及び撮影時刻が文字表示領域２１ｂに表示された状態（パターン８）を示す。
【図２３】あるテキストデータを表示させた後に、そのテキストデータを関連付けられた画像を順次表示させる様子（パターン９）を示す。
【図２４】図２３のパターン９に対応するフローチャートを示す。
【図２５】あるテキストデータを表示させる場合、そのテキストデータを関連付けられた関連画像群をサムネイル形式でそのテキストデータと共に表示させる様子（パターン１０）を示す。
【図２６】図２５のパターン１０に対応するフローチャートを示す。
【図２７】表示部材２１に表示される画像に、その画像と関連付けられたテキストデータを合成して表示させた様子（パターン１１）を示す。
【図２８】サムネイル表示された静止画像のうち音声に関連づけられた静止画像が拡大して表示される様子（パターン１２）を示す。
【図２９】図２８における音声信号と画像ファイルとの関連を示す。
【図３０】図２８におけるサムネイル表示された静止画像の配列例を示す。
【符号の説明】
【０２４４】
１      撮像装置
２      レンズ
３      撮像素子
４      撮像回路
５      ＡＥ制御回路
６      ＡＦ制御回路
７      画像処理回路
８      着脱メモリ
９      内蔵メモリ
１０    パワーＳＷ
１１    電池
１２    電源回路
１３    ＣＰＵ
１４    計時手段
１５    モードＳＷ
１６    操作部材
１７    音声検出手段
１８    音声出力手段
１９    音声→文字変換手段
２０    表示駆動回路
２１    表示部材
２２    バス
【図１】
0004648824.tif 000002
【図２】
0004648824.tif 000003
【図３】
0004648824.tif 000004
【図４】
0004648824.tif 000005
【図６】
0004648824.tif 000006
【図７】
0004648824.tif 000007
【図８】
0004648824.tif 000008
【図９】
0004648824.tif 000009
【図１０】
0004648824.tif 000010
【図１１】
0004648824.tif 000011
【図１２】
0004648824.tif 000012
【図１３】
0004648824.tif 000013
【図１４】
0004648824.tif 000014
【図１５】
0004648824.tif 000015
【図１６】
0004648824.tif 000016
【図１７】
0004648824.tif 000017
【図１８】
0004648824.tif 000018
【図１９】
0004648824.tif 000019
【図２４】
0004648824.tif 000020
【図２６】
0004648824.tif 000021
【図２９】
0004648824.tif 000022
【図３０】
0004648824.tif 000023
【図５】
0004648824.tif 000024
【図２０】
0004648824.tif 000025
【図２１】
0004648824.tif 000026
【図２２】
0004648824.tif 000027
【図２３】
0004648824.tif 000028
【図２５】
0004648824.tif 000029
【図２７】
0004648824.tif 000030
【図２８】
0004648824.tif 000031