(57)【要約】【構成】システムコントローラ４８は、連続的に取り込まれた音声データを含む音声ファイルと、任意のタイミングで取り込まれた画像データを含む画像ファイルとを記録媒体５８に記録する。音声ファイルには、画像ファイルの記録時刻およびファイル番号を含む画像管理情報が付加される。再生時、システムコントローラ４８は、音声データを連続的に再生し、画像データを画像管理情報に含まれる記録時刻に基づくタイミングで再生する。【効果】記録データサイズの抑制と現場の雰囲気の正確な再現とが実現される。【選択図】  図１
2004289409.tif 000002
【特許請求の範囲】
【請求項１】
連続的に取り込まれた音声信号を記録媒体に記録する第１記録手段、
任意のタイミングで取り込まれた画像信号を前記記録媒体に記録する第２記録手段、
前記画像信号の取り込み時刻を検出する第１検出手段、
前記第１検出手段によって検出された取り込み時刻を前記音声信号に割り当てる第１割り当て手段、
前記音声信号を前記記録媒体から連続して再生する第１再生手段、
前記音声信号に割り当てられた取り込み時刻に基づいて前記画像信号の再生タイミングを特定する第１特定手段、および
前記第１特定手段によって特定されたタイミングで前記画像信号を再生する第２再生手段を備える、信号処理装置。
【請求項２】
前記画像信号の識別子を前記音声信号に割り当てる第２割り当て手段、
前記音声信号に割り当てられた識別子に基づいて再生すべき画像信号を特定する第２特定手段をさらに備え、
前記第２再生手段は前記第２特定手段によって特定された画像信号を再生する、請求項１記載の信号処理装置。
【請求項３】
前記第１記録手段の記録開始時刻を検出する第２検出手段、および
前記第２検出手段によって検出された記録開始時刻を前記音声信号に割り当てる第３割り当て手段をさらに備え、
前記第１特定手段は前記取り込み時刻と前記記録開始時刻との差分値を前記再生タイミングとして特定する、請求項２記載の信号処理装置。
【請求項４】
任意の画像記録モードの選択を受け付ける受付手段をさらに備え、
前記第２記録手段は前記受付手段によって選択を受け付けた画像記録モードに関連して規定されるタイミングで記録を行う、請求項１ないし３のいずれかに記載の信号処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、信号処理装置に関し、特にたとえば音声信号および画像信号を記録媒体に記録する、信号処理装置に関する。
【０００２】
【従来技術】
従来のこの種の信号処理装置として、イメージセンサを通して取り込まれた動画像信号とマイクロフォンを通して取り込まれた音声信号とを記録媒体に記録するビデオカメラがある。かかるビデオカメラを利用することで、大学の講義内容や会社の会議内容だけでなく現場の雰囲気をも正確に記録／再生することができる。
【０００３】
【発明が解決しようとする課題】
しかし、講義や会議では、その性質上、発話者の音声の方が発話者の画像よりも格段に重要である。にも関わらず、従来技術では、音声信号だけでなく画像信号も連続して記録するようにしていたため、サイズが巨大となり、取り扱いに不便であった。
【０００４】
それゆえに、この発明の主たる目的は、信号サイズを抑えることができ、かつ現場の雰囲気を正確に再現できる、信号処理装置を提供することである。
【０００５】
【課題を解決するための手段】
この発明に従う信号処理装置は、連続的に取り込まれた音声信号を記録媒体に記録する第１記録手段、任意のタイミングで取り込まれた画像信号を記録媒体に記録する第２記録手段、画像信号の取り込み時刻を検出する第１検出手段、第１検出手段によって検出された取り込み時刻を音声信号に割り当てる第１割り当て手段、音声信号を記録媒体から連続して再生する第１再生手段、音声信号に割り当てられた取り込み時刻に基づいて画像信号の再生タイミングを特定する第１特定手段、および第１特定手段によって特定されたタイミングで画像信号を再生する第２再生手段を備える。
【０００６】
【作用】
第１記録手段は連続的に取り込まれた音声信号を記録媒体に記録し、第２記録手段は任意のタイミングで取り込まれた画像信号を記録媒体に記録する。ここで、画像信号の取り込み時刻は第１検出手段によって検出され、検出された取り込み時刻は第１割り当て手段によって音声信号に割り当てられる。
【０００７】
記録媒体に記録された音声信号は、第１再生手段によって連続して再生される。第１特定手段は、この音声信号に割り当てられた取り込み時刻に基づいて画像信号の再生タイミングを特定する。画像信号は、特定されたタイミングで第２再生手段によって再生される。
【０００８】
このように、音声信号は連続的に取り込まれるのに対して、画像信号は任意のタイミングでのみ取り込まれる。このため、記録媒体に記録される信号サイズが抑えられる。また、画像信号は音声信号に割り当てられた取り込み時刻に基づくタイミングで再生されるため、現場の雰囲気が正確に再現される。
【０００９】
好ましくは、画像信号の識別子が第２割り当て手段によって音声信号に割り当てられる。第２特定手段は音声信号に割り当てられた識別子に基づいて再生すべき画像信号を特定し、第２再生手段は特定された画像信号を再生する。これによって、複数の画像信号が記録されたときでも、画像信号を適切に裁定することができる。
【００１０】
さらに好ましくは、第１記録手段の記録開始時刻が第２検出手段によって検出され、この記録開始時刻が第３割り当て手段によって音声信号に割り当てられる。この場合、第１特定手段は、取り込み時刻と記録開始時刻との差分値を再生タイミングとして特定する。
【００１１】
好ましくは、任意の画像記録モードの選択が受付手段によって受け付けられる。このとき、第２記録手段は、選択を受け付けた画像記録モードに関連して規定されるタイミングで記録を行う。
【００１２】
【発明の効果】
この発明によれば、音声信号は連続的に取り込まれるのに対して、画像信号は任意のタイミングでのみ取り込まれるため、記録媒体に記録される信号サイズを抑えることができる。また、画像信号は音声信号に割り当てられた取り込み時刻に基づくタイミングで再生されるため、現場の雰囲気を正確に再現することができる。
【００１３】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【００１４】
【実施例】
図１を参照して、この実施例のデータ処理装置１０は、被写界の光学像を光学レンズ１２を通して取り込むイメージセンサ１４と、周囲の音声を取り込むマイクロフォン３２とを含む。このうち、マイクロフォン３２は継続的に取り込み動作を行うが、イメージセンサ１４は必要に応じて間欠的に取り込み動作を行う。
【００１５】
操作パネル５０に所望の記録モードが選択されかつ記録開始操作が行われると、システムコントローラ４８は、音声記録を開始するべくマイクロフォン３２，Ａ／Ｄ変換器３４，音声圧縮回路３６などの音声記録系をオンする。マイクロフォン３２から出力された音声信号はＡ／Ｄ変換器３４によってディジタル信号である音声データに変換され、変換された音声データは音声圧縮回路３６によって圧縮処理を施される。圧縮音声データは、メモリコントローラ２２によってＳＤＲＡＭ２４に一時的に書き込まれる。
【００１６】
システムコントローラ４８は、ＳＤＲＡＭ２４に格納された圧縮音声データをメモリコントローラ２２を通して読み出し、読み出された圧縮音声データをファイル形式で記録媒体５８に記録する。操作パネル５０によって記録終了操作が行われると、システムコントローラ４８は、音声記録系をオフし、圧縮音声データの書き込みを終了する。
【００１７】
音声記録の途中でイベントが発生すると、システムコントローラ４８は、１フレームの静止画撮影を行うべく、ＴＧ１８，イメージセンサ１４，ＣＤＳ／ＡＧＣ／ＡＤ回路１６，画像圧縮回路２０などの画像記録系を１フレームに相当する期間オンする。
【００１８】
イメージセンサ１４はＴＧ１８によって露光および電荷読み出しを施され、これによって１フレームの静止画像信号がイメージセンサ１４から出力される。ＣＤＳ／ＡＧＣ／ＡＤ回路１６は、イメージセンサ１４から出力された静止画像信号にノイズ除去，ゲイン調整およびＡ／Ｄ変換の一連の処理を施し、これによってディジタル信号である静止画像データが生成される。生成された静止画像データは画像圧縮回路２０によって圧縮処理を施され、圧縮静止画像データはメモリコントローラ２２によってＳＤＲＡＭ２４に一時的に格納される。
【００１９】
システムコントローラ４８は、ＳＤＲＡＭ２４に格納された圧縮静止画像データをメモリコントローラ２４を通して読み出し、読み出された圧縮静止画像データをファイル形式で記録媒体５８に記録する。
【００２０】
記録モードとしては、タイマモード，音声検出モード，マニュアルモードおよび動き検出モードの４つがある。タイマモードでは、タイマ５２によって時間がカウントされ、周期的にイベントが発生する。音声検出モードでは、マイクロフォン３２から出力された音声信号のレベルが比較器４４によって閾値と比較され、音声レベルが閾値を上回ったときにイベントが発生する。
【００２１】
マニュアルモードでは、リモートコントローラ６０の撮影操作に応答して発生された赤外線信号が受光素子５６で検知されたときに、イベントが発生する。動き検出モードでは、動き検出回路４６によって被写界（画像データ）の大きな動きが検出されたときにイベントが発生する。上述の静止画撮影は、このようなイベントに応答して実行される。
【００２２】
記録媒体５８に作成される音声ファイルは、図２に示すような構造を有する。音声データは、各々が１秒分のデータ量を有する複数のブロックに分割される。音声データの末尾には、管理データが付加される。この管理データには、音声ファイル名および音声記録開始時刻の他に、必要に応じて画像管理情報が含められる。画像管理情報は、画像ファイル番号および画像記録時刻によって形成される。これによって、音声ファイルおよび画像ファイルの間に、図３に示すようなリンクが形成される。
【００２３】
操作パネル５０によって、再生モードが選択され、かつ所望の音声ファイルが選択されると、選択された音声ファイルに格納された音声記録開始時刻情報と画像管理情報とに基づいて、関連する画像ファイルの再生タイミングが算出される。具体的には、画像管理情報に含まれる画像記録時刻から音声記録開始時刻情報が示す時刻が引き算される。算出された再生タイミングは、画像ファイル番号とともにテーブル４８ｔに登録される。したがって、図３に示す音声ファイル３が選択されたときは、たとえば図４に示す要領でテーブル４８ｔが作成される。
【００２４】
再生開始操作が行われると、システムコントローラ４８は、音声再生を開始する。具体的には、システムコントローラ４８は、音声伸長回路３８，Ｄ／Ａ変換器４０，スピーカ４２などの音声再生系をオンし、所望の音声ファイルに格納された圧縮音声データを記録媒体５８からＳＤＲＡＭ２４に所定量ずつ転送する。
【００２５】
音声伸長回路３８は、ＳＤＲＡＭ２４に格納された圧縮音声データをメモリコントローラ２２を通して読み出し、読み出された圧縮音声データに伸長処理を施す。音声伸長回路３８から出力された伸長音声データは、Ｄ／Ａ変換器４０を経てスピーカ４２から出力される。
【００２６】
音声再生の途中で画像ファイルの再生タイミングが到来すると、システムコントローラ４８は、静止画再生を行うべく、画像伸長回路２６，ＮＴＳＣエンコーダ２８，ＬＣＤモニタ３０などの画像再生系をオンし、再生すべき画像ファイルに格納された圧縮静止画像データを記録媒体５８からＳＤＲＡＭ２４に転送する。
【００２７】
ＳＤＲＡＭ２４に格納された圧縮静止画像データは、メモリコントローラ２２によって繰り返し読み出され、画像伸長回路２６によって伸長処理を施される。伸長処理によって生成された伸長静止画像データはＮＴＳＣエンコーダ２８によってコンポジットビデオ信号に変換され、変換されたコンポジットビデオ信号はＬＣＤモニタ３０に与えられる。この結果、静止画像がモニタ画面に継続して表示される。
【００２８】
別の画像ファイルの再生タイミングが到来すると、当該画像ファイルに格納された圧縮画像データに上述と同様の処理が施される。これによって、モニタ画面に表示された静止画像が別の静止画像に更新される。
【００２９】
操作パネル５０によって再生終了操作が行われると、システムコントローラ４８は、音声再生系および画像再生系をオフし、圧縮音声データおよび圧縮静止画像データの読み出しを終了する。
【００３０】
システムコントローラ４８は、記録モードとしてタイマモードが選択されたとき図５に示すフロー図に従う処理を実行し、記録モードとして音声検出モードが選択されたとき図６に示すフロー図に従う処理を実行し、記録モードとしてマニュアルモードが選択されたとき図７に示すフロー図に従う処理を実行し、そして記録モードとして動き検出モードが選択されたとき図８に示すフロー図に従う処理を実行する。システムコントローラ４８はまた、再生モードが選択されたとき、図９に示すフロー図に従う処理を実行する。
【００３１】
図５を参照して、タイマモードでは、まずステップＳ１で記録開始操作の有無を判別する。ここで、ＹＥＳと判断されると、ステップＳ３で音声ファイル名を決定し、ステップＳ５で時計回路５４を参照して音声記録開始時刻情報を作成する。音声記録開始時刻情報としては、時計回路５４から検出した現在時刻が記述される。ステップＳ５の処理が完了すると、ステップＳ７で音声記録系および音声記録ルーチン（図示せず）を起動する。これによって、圧縮音声データがＳＤＲＡＭ２４に書き込まれ、この圧縮音声データがＳＤＲＡＭ２４から記録媒体５８に転送される。なお、記録媒体５８への音声データの書き込みは、音声記録ルーチンによって並列的に実行される。
【００３２】
ステップＳ９では、タイマ５２をリセットしかつスタートさせる。ステップＳ１１ではタイマ５２にタイムアウトが発生したかどうか判断し、ステップＳ１３では記録終了操作が行われたかどうかを判断する。
【００３３】
タイムアウトが発生したときは、ステップＳ１５で１フレームの静止画撮影を行い、ステップＳ１７で画像管理情報を作成する。ステップＳ１５の処理によって画像ファイルが記録媒体５８に作成される。ステップＳ１７で作成される画像管理情報には、ステップＳ１５の処理によって作成された画像ファイルの番号と時計回路５４から検出した現在時刻（画像記録時刻）を示す時刻情報とが含まれる。ステップＳ１７の処理が完了すると、ステップＳ９に戻る。
【００３４】
記録終了操作が行われたときは、ステップＳ１９で音声記録系をオフし、かつ音声記録ルーチンを終了する。これによって、音声記録が終了される。ステップＳ２１では、ステップＳ３で決定された音声ファイル名，ステップＳ５で作成された音声記録開始時刻情報およびステップＳ１７で作成された画像管理情報を含む管理データを、音声ファイルの末尾に記録する。これによって、図２に示す音声ファイルが完成する。ステップＳ２１の処理が完了すると、上階層のルーチンに復帰する。
【００３５】
このように、タイマモードではタイムアウトが発生する毎に画像ファイルが作成され、作成された画像ファイルは画像管理情報によって音声ファイルと関連付けられる。
【００３６】
図６を参照して、音声検出モードでは、まずステップＳ３１〜Ｓ３７で上述のステップＳ１〜Ｓ７と同様の処理を実行する。これによって音声記録が開始されると、ステップＳ３９で比較器４４の出力レベルを判別し、ステップＳ４１で記録終了操作の有無を判別する。比較器４４の出力レベルがＨレベルであれば、音声レベルが閾値を上回ったとみなし、ステップＳ４３およびＳ４５で上述のステップＳ１５およびＳ１７と同様の処理を実行する。ステップＳ４５の処理が完了すると、ステップＳ３９に戻る。記録終了操作が行われたときは、ステップＳ４１でＹＥＳと判断し、ステップＳ４７およびＳ４９で上述のステップＳ１９〜Ｓ２１と同様の処理を実行する。処理が完了すると、上階層のルーチンに復帰する。このように、音声検出モードでは、閾値を上回る音声が発生する毎に画像ファイルが作成される。
【００３７】
図７を参照して、マニュアルモードでは、ステップＳ５１〜Ｓ５７で上述のステップＳ３１〜３７と同様の処理を実行し、ステップＳ６１〜Ｓ６９で上述のステップＳ４１〜Ｓ４９と同様の処理を実行する。ステップＳ５９では、リモートコントローラ６０によって撮影操作が行われたかどうかを受光素子５６の出力に基づいて判別する。そして、ＹＥＳであればステップＳ６３に進み、ＮＯであればステップＳ６１に進む。したがって、マニュアルモードでは、撮影操作が行われる毎に画像ファイルが作成される。
【００３８】
図８を参照して、動き検出モードでは、ステップＳ７１〜Ｓ７７で上述のステップＳ３１〜３７と同様の処理を実行し、ステップＳ８１〜Ｓ８９で上述のステップＳ４１〜Ｓ４９と同様の処理を実行する。ステップＳ７９では、動き検出回路４６によって検出された動き量が閾値ＴＨｍを上回ったかどうかを判別する。そして、ＹＥＳであればステップＳ８３に、ＮＯであればステップＳ８１にそれぞれ進む。したがって、動き検出モードでは、被写界に閾値ＴＨｍを上回る動きが生じる毎に画像ファイルが作成される。
【００３９】
図９を参照して、再生モードでは、まずステップＳ９１で音声ファイルの選択処理を行う。ステップＳ９３では、選択された音声ファイルに格納された音声記録開始時刻情報と画像管理情報とに基づいて、関連する画像ファイルの再生タイミングを算出する。算出が完了するとステップＳ９５に進み、算出された再生タイミングと画像ファイル番号とを図４に示す要領でテーブル４８ｔに設定する。
【００４０】
操作パネル５０によって再生開始操作が行われると、ステップＳ９７でＹＥＳと判断し、ステップＳ９９で音声再生を開始する。具体的には、音声再生系および音声再生ルーチン（図示せず）を起動する。これによって、所望の音声ファイルに含まれる圧縮音声データが記録媒体５８からＳＤＲＡＭ２４に転送され、再生音声がスピーカ４２から出力される。
【００４１】
ステップＳ１０１では変数Ｎを“１”に設定する。この変数Ｎは、テーブル４８ｔに設定された複数の再生タイミングのうち注目すべき再生タイミングを特定するための変数である。ステップＳ１０１の処理によって、まずテーブル４８ｔの先頭に設定された再生タイミングが注目される。
【００４２】
ステップＳ１０３では再生停止操作の有無を判別し、ステップＳ１０９では注目する再生タイミングが到来したかどうかを判別する。注目する再生タイミングが到来したときは、ステップＳ１１１で画像再生を行う。具体的には、画像再生系がオフ状態であればこれをオンし、テーブル４８ｔ上で変数Ｎに割り当てられた画像ファイル番号によって特定される画像ファイルの圧縮静止画像データを記録媒体５８からＳＤＲＡＭ２４に転送する。この結果、転送された圧縮静止画像データに基づく静止画像がＬＣＤモニタ３０に表示される。静止画像の表示が完了すると、ステップＳ１１３で変数をインクリメントしてからステップＳ１０３に戻る。なお、画像再生系はオン状態を維持し、静止画像はＬＣＤモニタ３０から継続して出力される。
【００４３】
再生停止操作が行われると、ステップＳ１０５で音声再生を停止する。具体的には、音声再生系をオフし、音声再生ルーチンを終了する。ステップＳ１０７では、画像再生を停止するべく画像再生系をオフする。ステップＳ１０７の処理が完了すると、上階層のルーチンに復帰する。
【００４４】
以上の説明から分かるように、システムコントローラ４８は、連続的に取り込まれた音声データを含む音声ファイルと、任意のタイミングで取り込まれた画像データを含む画像ファイルとを記録媒体５８に記録する。音声ファイルには、画像ファイルの記録時刻およびファイル番号を含む画像管理情報が付加される。再生時、システムコントローラ４８は、音声データを連続的に再生し、画像データを画像管理情報に含まれる記録時刻に基づくタイミングで再生する。これによって、記録データサイズの抑制と現場の雰囲気の正確な再現とが実現される。
【００４５】
なお、この実施例では、記録モードとしてタイマモード，音声検出モード，マニュアルモードおよび動き検出モードを設けているが、このうち任意の２つ以上のモードを組み合わせた別の記録モードを追加してもよい。たとえば、動き検出モードと音声検出モードとを組み合わせた記録モードを設け、この記録モードを選択した場合は、被写界に大きな動きが生じたと、きおよび大きな音が発生したときに静止画撮影が行なわれる。
【図面の簡単な説明】
【図１】この発明の一実施例を示すブロック図である。
【図２】音声ファイルの構造の一例を示す図解図である。
【図３】音声ファイルと画像ファイルとのリンク状態の一例を示す図解図である。
【図４】テーブルの一例を示す図解図である。
【図５】図１実施例の動作の一部を示すフロー図である。
【図６】図１実施例の動作の他の一部を示すフロー図である。
【図７】図１実施例の動作のその他の一部を示すフロー図である。
【図８】図１実施例の動作のさらにその他の一部を示すフロー図である。
【図９】図１実施例の動作の他の一部を示すフロー図である。
【符号の説明】
１０…データ処理装置
１４…イメージセンサ
２４…ＳＤＲＡＭ
３０…ＬＣＤモニタ
３２…マイクロフォン
４２…スピーカ
４４…比較器
４６…動き検出回路
４８…システムコントローラ
５２…タイマ
５６…受光素子
【図１】
2004289409.tif 000003
【図２】
2004289409.tif 000004
【図３】
2004289409.tif 000005
【図４】
2004289409.tif 000006
【図５】
2004289409.tif 000007
【図６】
2004289409.tif 000008
【図７】
2004289409.tif 000009
【図８】
2004289409.tif 000010
【図９】
2004289409.tif 000011