(57)【要約】【課題】加工データの再生期間に情報が途絶えるのを防ぎ、例えば動画像のクリップを複数接続したシーンを再生鑑賞する場合に、一部の音声ストリームが欠落しているときでも、鑑賞者に不安と不快感を与えないようにする。【解決手段】画像ストリーム及び音声ストリームを含むストリームデータと、前記ストリームデータを用いて生成されたレンダリングクリップとを再生記述データに従って再生する場合に、例えばレンダリングクリップに音声ストリームが存在しない場合、そのレンダリングクリップの再生期間に、該レンダリングクリップの再生と共に、ストリームデータの音声ストリームを継続して再生する。【選択図】      図１
2004363828.tif 000002
【特許請求の範囲】
【請求項１】
複数種のデータからなる第１のデータ列と、前記第１のデータ列を用いて生成された第２のデータ列とを再生記述データに従って再生するデータ再生装置であって、
前記第２のデータ列に前記複数種のうち所定種類のデータが存在しない場合、前記第２のデータの再生期間に前記所定種類のデータに応じたデータを再生することを特徴とするデータ再生装置。
【請求項２】
情報データと前記情報データの一部のデータを用いて生成された加工データとを、前記情報データの一部のデータの代わりに前記加工データを再生するよう前記情報データと前記加工データの再生手順を指定する再生記述データに従い記録媒体から再生する再生手段と、
前記加工データの情報不足を判定する判定手段と、
前記判定手段において情報不足であると判定した場合、前記加工データの再生期間に前記加工データを再生すると共に、前記加工データ再生直前の情報データを継続的に再生するよう前記再生手段を制御する制御手段とを備えたことを特徴とするデータ再生装置。
【請求項３】
情報データと、前記情報データの一部のデータを用いて生成された加工データとを、前記情報データの一部のデータの代わりに前記加工データを再生するよう前記情報データと前記加工データの再生手順を指定する再生記述データに従い記録媒体から再生する再生手段と、
前記加工データの情報不足を判定する判定手段と、
前記判定手段において情報不足であると判定した場合、前記加工データの再生期間に前記加工データと共に代替情報データを再生するよう制御手段とを備えたことを特徴とするデータ再生装置。
【請求項４】
前記情報データは少なくとも画像データ及び音声データを含むことを特徴とする請求項２又は３に記載のデータ再生装置。
【請求項５】
前記判定手段は、前記加工データに音声データ又は画像データが不足しているか否かを判定することを特徴とする請求項４に記載のデータ再生装置。
【請求項６】
前記判定手段において情報不足であると判定した場合、情報不足の表示を行うことを特徴とする請求項２〜５のいずれか１項に記載のデータ再生装置。
【請求項７】
前記情報データと、前記加工データと、前記再生記述データとは外部記録媒体に記録されていることを特徴とする請求項２〜６のいずれか１項のデータ再生装置。
【請求項８】
音声を入力する手段及び画像を入力する撮像手段を備えた撮像装置に含まれることを特徴とする請求項２〜７のいずれか１項に記載のデータ再生装置。
【請求項９】
再生手段により、情報データと前記情報データの一部のデータを用いて生成された加工データとを、前記情報データの一部のデータの代わりに前記加工データを再生するよう前記情報データと前記加工データの再生手順を指定する再生記述データに従い記録媒体から再生する手順と、
判定手段により、前記加工データの情報不足を判定する手順と、
制御手段により、前記判定手段において情報不足であると判定した場合、前記加工データの再生期間に前記加工データを再生すると共に、前記加工データ再生直前の情報データを継続的に再生するよう前記再生手段を制御する手順とを有することを特徴とするデータ再生方法。
【請求項１０】
再生手段により、情報データと、前記情報データの一部のデータを用いて生成された加工データとを、前記情報データの一部のデータの代わりに前記加工データを再生するよう前記情報データと前記加工データの再生手順を指定する再生記述データに従い記録媒体から再生する手順と、
判定手段により、前記加工データの情報不足を判定する手順と、
制御手段により、前記判定手段において情報不足であると判定した場合、前記加工データの再生期間に前記加工データと共に代替情報データを再生するよう手順とを有することを特徴とするデータ再生方法。
【請求項１１】
情報データと前記情報データの一部のデータを用いて生成された加工データとを、前記情報データの一部のデータの代わりに前記加工データを再生するよう前記情報データと前記加工データの再生手順を指定する再生記述データに従い記録媒体から再生する処理と、
前記加工データの情報不足を判定する処理と、
前記判定処理において情報不足であると判定した場合、前記加工データの再生期間に前記加工データを再生すると共に、前記加工データ再生直前の情報データを継続的に再生するよう前記再生手段を制御する処理とをコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項１２】
情報データと、前記情報データの一部のデータを用いて生成された加工データとを、前記情報データの一部のデータの代わりに前記加工データを再生するよう前記情報データと前記加工データの再生手順を指定する再生記述データに従い記録媒体から再生する処理と、
前記加工データの情報不足を判定する処理と、
前記判定処理において情報不足であると判定した場合、前記加工データの再生期間に前記加工データと共に代替情報データを再生するよう処理とをコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項１３】
請求項１１又は１２に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、再生記述データに従って画像データや音声データを再生するのに好適なデータ再生装置、方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体に関するものである。
【０００２】
【従来の技術】
近年、デジタルＶＴＲやＤＶＤプレーヤ等のデジタル画像データを扱う機器が普及し、また、ＡＶ機器やコンピュータの進歩により動画像の編集がスタジオだけでなく家庭においても行われるようになってきた。
【０００３】
例えば、ノンリニア編集と呼ばれるビデオ編集システムにおいては、図１２に示すような素材となる動画Ａ（１３０１）、動画Ｂ（１３０２）の動画像データを編集し、動画Ｃ（１３０３）を生成する。このように従来のノンリニア編集では、素材となる動画像データを、カットイン、カットアウトによる時間方向の切り出しや、並べ替え、更にはカット間のワイプ効果等のエフェクトを加えて画像をレンダリングし、新たな動画像データを生成するシステムが一般的である。
【０００４】
また、動画像データは一般にその情報量が多いので、圧縮符号化されていることが多く、素材データがこのように圧縮符号化されている場合には編集を行う際に一度デコードしてから編集を行い、その後再び符号化する。
【０００５】
しかし、前記のノンリニア編集システムでは、ワイプやディゾルブのような追加効果の処理を直接画像データに対して施してしまうため、後で追加効果のみを削除することや、別の効果に差し替えることができず、また、素材となった部分と追加効果処理が施されている部分とを識別することができない。
【０００６】
また、近年では、動画像データや音声データ等の再生処理を制御するための記述言語が提案されている。例えば、ＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｇｒａｔｉｏｎ  Ｌａｎｇｕａｇｅ）等がその一例である。ＳＭＩＬでは、動画像や静止画像等の画像データの同期再生、逐次再生、或いは、テキストや音声等、他のメディアデータの再生処理を指示することができる。また、画像データの表示切り替え時に適用される特殊効果等も指定することができる。さらに、再生記述言語を用いてビデオエフェクトを付加することが可能であり、この再生記述言語を書き替えることで効果の内容を差し替えることもできる。
【０００７】
しかし、ＳＭＩＬのような再生記述言語を用いて自由な再生手順や特殊効果が記述可能となっても、実際に再生処理を行う再生環境によっては指示されたとおりの再生が不可能である場合がある。例えば、再生環境によっては記述されている特殊効果をリアルタイムに実行することができず、特殊効果に関する記述が無視されてしまうこともある。そのため、高度で複雑なビデオエフェクトを記述することは、記述方式の仕様として不可能であった。
【０００８】
前記問題の解決方法として、例えば特許文献１には、情報データ及び前記情報データの再生手順を示す再生記述データを処理する情報処理装置であって、前記情報データの一部のデータを用いて新たに加工データを生成する加工データ処理手段と、前記情報データのうち、前記一部のデータの代わりに前記加工データを再生するよう前記再生記述データを変更する記述データ処理手段とを備えるものについて提案がなされている。
【０００９】
図１１を参照して、前記特許文献１で提案されているデータ処理について説明する。同図（ａ）に示す動画Ａ（４０１）と動画Ｂ（４０２）の接続点で効果ＡＢ（４０３）（例えばワイプ）を実現する場合の再生手順は、同図（ｂ）に示すように、動画Ａの再生終了点と動画Ｂの再生開始点を所定位置に移動して、その間に効果ＡＢ（４０３）（加工済みデータ）を挿入する再生記述をする。
【００１０】
【特許文献１】
特開平２００３−２１８３８５号公報
【００１１】
【発明が解決しようとする課題】
しかしながら、前記特許文献１での提案は、情報データの一部のデータを用いて新たに加工データを生成するに際して、動画像データを加工することが主体であり、音声データに関しての対応が述べられていない。一般に動画像編集は、動画像中心にデータ編集及びデータ加工を行う。その場合、音声データをアフレコで編集、追加する場合以外は、音声データの加工処理が確実に行われる補償は少ない。特に、簡易的な動画編集ソフトでは、音声データ（音声ストリーム）の編集、加工をサポートするものは非常に少ない。しかし、動画像のクリップを複数接続したシーンを再生鑑賞する場合に、一部の音声ストリームが欠落していると、鑑賞者に不安と不快感を与えるコンテンツとなってしまう可能性がある。
【００１２】
本発明は前述の如き問題点を解決べくなされたものであり、本発明の目的は、加工データの再生期間に情報が途絶えるのを防ぐようにすることを提案するものである。本発明の他の目的は、素材となる情報データの再生手順を容易に変更する手段を適応した場合の編集、再生過程においての制御動作を適切に行うことを提案するものである。
【００１３】
【課題を解決するための手段】
本発明のデータ再生装置は、複数種のデータからなる第１のデータ列と、前記第１のデータ列を用いて生成された第２のデータ列とを再生記述データに従って再生するデータ再生装置であって、前記第２のデータ列に前記複数種のうち所定種類のデータが存在しない場合、前記第２のデータの再生期間に前記所定種類のデータに応じたデータを再生する点に特徴を有する。
【００１４】
本発明の他のデータ再生装置は、情報データと前記情報データの一部のデータを用いて生成された加工データとを、前記情報データの一部のデータの代わりに前記加工データを再生するよう前記情報データと前記加工データの再生手順を指定する再生記述データに従い記録媒体から再生する再生手段と、前記加工データの情報不足を判定する判定手段と、前記判定手段において情報不足であると判定した場合、前記加工データの再生期間に前記加工データを再生すると共に、前記加工データ再生直前の情報データを継続的に再生するよう前記再生手段を制御する制御手段とを備えた点に特徴を有する。
【００１５】
本発明の他のデータ再生装置は、情報データと、前記情報データの一部のデータを用いて生成された加工データとを、前記情報データの一部のデータの代わりに前記加工データを再生するよう前記情報データと前記加工データの再生手順を指定する再生記述データに従い記録媒体から再生する再生手段と、前記加工データの情報不足を判定する判定手段と、前記判定手段において情報不足であると判定した場合、前記加工データの再生期間に前記加工データと共に代替情報データを再生するよう制御手段とを備えた点に特徴を有する。
【００１６】
本発明のデータ再生方法は、再生手段により、情報データと前記情報データの一部のデータを用いて生成された加工データとを、前記情報データの一部のデータの代わりに前記加工データを再生するよう前記情報データと前記加工データの再生手順を指定する再生記述データに従い記録媒体から再生する手順と、判定手段により、前記加工データの情報不足を判定する手順と、制御手段により、前記判定手段において情報不足であると判定した場合、前記加工データの再生期間に前記加工データを再生すると共に、前記加工データ再生直前の情報データを継続的に再生するよう前記再生手段を制御する手順とを有する点に特徴を有する。
【００１７】
本発明の他のデータ再生方法は、再生手段により、情報データと、前記情報データの一部のデータを用いて生成された加工データとを、前記情報データの一部のデータの代わりに前記加工データを再生するよう前記情報データと前記加工データの再生手順を指定する再生記述データに従い記録媒体から再生する手順と、判定手段により、前記加工データの情報不足を判定する手順と、制御手段により、前記判定手段において情報不足であると判定した場合、前記加工データの再生期間に前記加工データと共に代替情報データを再生するよう手順とを有する点に特徴を有する。
【００１８】
本発明のコンピュータプログラムは、情報データと前記情報データの一部のデータを用いて生成された加工データとを、前記情報データの一部のデータの代わりに前記加工データを再生するよう前記情報データと前記加工データの再生手順を指定する再生記述データに従い記録媒体から再生する処理と、前記加工データの情報不足を判定する処理と、前記判定処理において情報不足であると判定した場合、前記加工データの再生期間に前記加工データを再生すると共に、前記加工データ再生直前の情報データを継続的に再生するよう前記再生手段を制御する処理とをコンピュータに実行させる点に特徴を有する。
【００１９】
本発明の他のコンピュータプログラムは、情報データと、前記情報データの一部のデータを用いて生成された加工データとを、前記情報データの一部のデータの代わりに前記加工データを再生するよう前記情報データと前記加工データの再生手順を指定する再生記述データに従い記録媒体から再生する処理と、前記加工データの情報不足を判定する処理と、前記判定処理において情報不足であると判定した場合、前記加工データの再生期間に前記加工データと共に代替情報データを再生するよう処理とをコンピュータに実行させる点に特徴を有する。
【００２０】
本発明のコンピュータ読み取り可能な記憶媒体は、前記本発明のコンピュータプログラムを格納した点に特徴を有する。
【００２１】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態を説明する。図１は本発明を適用した実施形態の撮像装置２００の構成を示す図であり、同図おいて、２０１は画像を取り込むレンズ、２０２は画像を電気信号に変換する固体センサ、２０３は固体センサ２０２から出力される電気信号をデジタルデータに変換するＡ／Ｄコンバータ、２０５はアイリス、２０４はレンズ２０１とアイリス２０５を駆動するモータである。
【００２２】
２０９は音声を取り込むマイク、２１０は音声を増幅するマイクアンプ、２１１は音声をデジタルデータに変換するＡ／Ｄコンバータである。
【００２３】
２１２は撮像装置２００を操作する操作キーである。２１３は映像を表示形式にする表示ドライバ、２１４は映像を表示するためのＬＣＤ、ＥＶＦ等の表示器である。２１５は音声を出力するためのスピーカドライバ、２１６はスピーカである。
【００２４】
２１７は諸情報を入出力する入出力端子である。２２４は各種のセンサである。１０１は記憶媒体、２２３は記録媒体１０１を収納するソケットであり、記録媒体１０１はソケット２２３に脱着可能となっている。記録媒体１０１としては、ＭＭＣ、ＳＳＦＤＣ、コンパクトフラッシュ（Ｒ）、ＳＤ、ＰＣカード等のメモリカードや、ハードディスクを使用する。或いは、ＣＤ−ＲＷ、ＦＤ、ＭＤ、ＤＶＤ−ＲＡＭ等の磁気（又は光磁気）記録メディア等を使用する。ソケット２２３の形状を複数の種類の記録媒体に対応させることで、複数の種類の記録媒体を使用することが可能である。
【００２５】
２３０はシステムを制御するＣＰＵ、２５０はＣＰＵ２３０内に構成されるデコーダブロック、２２２はＣＰＵ２３０とシステムのためのメモリである。デコーダブロック２５０は、ＣＰＵ２３０のファームウエア或いはＣＰＵ２３０内のハードウエアのいずれでも、又は、双方で構成することが可能である。
【００２６】
２２１は撮像装置２００のための電源であり、電力が各回路ブロックに供給される。
【００２７】
２２５は記録再生制御回路である。
【００２８】
次に、図１に示した撮像装置２００での記録動作を説明する。映像記録動作では、レンズ２０１を通って入射した被写体からの光が固体センサ２０２で電気信号に変換され、Ａ／Ｄコンバータ２０３によりサンプリングされてデジタルデータに変換される。デジタルデータは、輝度Ｙ、色差Ｃｒ、Ｃｂ又はＲＧＢ等のデジタル映像信号としてＣＰＵ２３０に入力される。レンズ２０１は、オートフォーカス機能とズーム機能により、ＣＰＵ２３０の制御命令でモータ２０４を駆動させることで移動させることができる。固体センサ２０２からデータを引き出すためのタイミング信号は、ＣＰＵ２３０により生成される。アイリス２０５は、ＣＰＵ２３０よりモータ２０４の駆動で制御がなされる。レンズ２０１が防振機能（加速度センサ、防振アクチュエータ等）を備えている場合、加速度センサと防振アクチュエータの位置センサからの信号がＣＰＵ２３０に入力され、防振制御出力信号として、防振アクチュエータをモータ２０４で駆動制御する。
【００２９】
また、マイク２０９より取り込まれた音声がマイクアンプ２１０で増幅され、Ａ／Ｄコンバータ２１１によりサンプリングされてデジタルデータに変換されて、デジタル音声信号としてＣＰＵ２３０に入力される。
【００３０】
デジタル映像信号に対して、ＣＰＵ２３０では、色分離、白バランス、ガンマ補正、アパーチャ補正等の基本処理と、操作キー２１２で設定された画像サイズ、画質調整、位置調整等の付加処理とを行う。そして、処理された信号は、設定された圧縮方法と圧縮パラメータ等によって圧縮符号化される。
【００３１】
また、デジタル音声信号に対して、操作キー２１２で設定された音質調整等の付加処理を行う。そして、処理された信号は、設定された圧縮方法と圧縮パラメータ等によって圧縮される。
【００３２】
前記映像圧縮データ及び音声圧縮データは、制御データとともにストリームデータとして形成される。ストリームデータ形式は、ＩＳＯ／ＩＥＣ１３８１８−１で規定されるプログラムストリーム、或いは、トランスポートストリームを生成する。ストリームデータは、記録データとして記録再生制御回路２２５へと送られる。前記制御データとは、ストリームデータ形成のためのヘッダ、管理データ、また、撮像装置自体の情報、画像や音声等の記録設定情報、撮影履歴や撮影環境情報等の撮影付加情報、使用記録媒体等の媒体情報、記録時間や符号時間や再生復号時間や再生表示時間等の時間情報を意味する。
【００３３】
さらに、前記各ファイルを、ＵＤＦ（ｕｎｉｖｅｒｓａｌ  ｄｉｓｋ  ｆｏｒｍａｔ）、ＦＡＴ（ｆｉｌｅ  ａｌｌｏｃａｔｉｏｎ  ｔａｂｌｅ）、ＥＸＴ（ｅｎｖｉｒｏｎｍｅｎｔａｌ  ａｕｄｉｏ  ｅｘｔｅｎｓｉｏｎｓ）２等のファイルシステム管理のもとに、例えばｍｏｖ３．ｍｐｇというファイル名でファイルとして記録媒体１０１に書き込みを行う。ファイルシステムとは、ファイルの管理を行うための管理情報とファイルデータからなる構造体系を意味する。このファイルシステムを共通化することによって、異なった記録媒体或いは記録再生機器でもデータの認識、記録再生を行うことができるわけである。
【００３４】
図２に、記録されるディレクトリ例を示す。ルートディレクトリ（Ｒｏｏｔ）以下、記録媒体の情報等を記載するファイル（ｍｅｄｉａ．ｔｘｔ）、後述するプレイリストファイル（ｐｌａｙｌｉｓｔ．ｓｍｌ）、記録されるコンテンツ群を格納するコンテンツディレクトリ（ｃｏｎｔｅｎｔ）を格納する。コンテンツディレクトリ以下、コンテンツ情報等を記載する情報ファイル（ｃｏｎｔｅｎｔ．ｉｎｆｏ）、動画コンテンツ（ｍｏｖ１．ｍｐｇ、ｍｏｖ２．ｍｐｇ）、音声コンテンツ（ａｕｄ１．ｍｐｇ）、静止画コンテンツ（ｉｍｇ．ｊｐｇ）、テキストコンテンツ（ｔｅｘｔ．ｔｘｔ）等々を格納する。
【００３５】
前記記録されたファイルｍｏｖ３．ｍｐｇは、コンテンツ情報ファイル（ｃｏｎｔｅｎｔ．ｉｎｆｏ）に登録する。登録される項目としては、ファイル名、ファイル属性、記録設定情報、撮影付加情報、記録時間、再生復号時間、再生表示時間、著作権情報等を記載する。
【００３６】
また、プレイリストファイル（ｐｌａｙｌｉｓｔ．ｓｍｌ）にも登録する。プレイリストは、コンテンツを再生するためのスクリプトであり、再生順序、再生手順、再生効果等を記載する。本実施の形態では、再生記述言語としてＳＭＩＬで記述する。図３は、プレイリストの記述例であり、ここでは単にｍｏｖ１．ｍｐｇ、ｍｏｖ２．ｍｐｇ、ｍｏｖ３．ｍｐｇの各動画ファイルを順次再生する例を示している。
【００３７】
前記のようにして記録されたデータは、必要に応じて外部入出力端子２１７に送られる。また、符号化前の画像データを、記録画像の確認用として表示ドライバ２１３を通して表示器２１４に表示する。
【００３８】
ここで、レンダリングクリップは、映像効果をレンダリングして作成したクリップのことである。従来例でも説明したが、ＳＭＩＬのような再生記述言語を用いて自由な再生手順や特殊効果が記述可能となっても、実際に再生処理を行う再生環境、特にビデオカメラのような組み込み機器では、フェード効果やリゾルブ効果はともかく、ワイプ効果やミックス効果等の複雑な処理を要する特殊効果では、指示されたとおりの再生がリアルタイムでは処理不可能である場合がある。そこで、前記特殊効果をクリップとして前もって用意しておき、これを通常再生することにより、機器の処理負担を軽くすることができる。
【００３９】
レンダリングクリップの作成は、ＰＣ等の外部装置で作成するか、本実施の形態の撮像装置２００本体で操作者が作成する。図９を参照して、レンダリングクリップの作成方法の一例を説明する。クリップ１（ストリーム１）の時間Ｔ１とストリーム２（クリップ２）の時間Ｔ２との間に、期間Ｔ３のワイプ（クロスフェード）効果のレンダリングクリップを作成する場合、クリップ１の時間Ｔ１から時間Ｔ２までの期間のデータと、クリップ２の時間Ｔ１から時間Ｔ２までの期間のデータをそれぞれデコードして、画像信号及び音声信号を抜き出す。そして、クリップ１信号を１００％、クリップ２信号を０％から、順次クリップ１信号を０％、クリップ２信号を１００％にミックスし、そのミックスした信号を符号化してレンダリングクリップして生成する。この操作は、専用回路で処理することも、ソフトウェアで処理することも可能である。
【００４０】
図６に、レンダリングクリップを使用したプレイリストの例を示す。１行目は、Ｖ１のストリームファイルの先頭から５秒から２１秒のクリップの再生指定をしている。ｔａｉｌＳｈｉｆｔ＝“２ｓ”は、レンダリングクリップを挿入する期間２秒分を前方にシフトさせることを意味する。
【００４１】
２行目は、ＲＣのレンダリングクリップを２秒挿入することを指定しており、ｓｙｓｔｅｍＩｎｓｅｒｔ＝“ｔｒｕｅ”は、このクリップがレンダリングクリップであることを意味している。３行目のｅｆｘＴｙｐｅエレメントは、レンダリングされた映像効果の種類と、映像効果の適用範囲を保持するもので、ｔｒａｎｓｉｔｉｏｎＦｉｌｔｅｒ＝“ｔｒｕｅ”として遷移効果のレンダリングであることを示す。
【００４２】
４行目は、Ｖ２のストリームファイルの先頭から５秒から５２秒のクリップの再生指定をしている。ｈｅａｄＳｈｉｆｔ＝“２ｓ”は、レンダリングクリップを挿入する期間２秒分を後方にシフトさせることを意味する。
【００４３】
かかるスクリプトにより、ＶＩ、ＲＣ、Ｖ２の各クリップを所定期間順次再生する指定ができる。図６では、詳細遷移効果は記述していないが、パラメータエレメントを使用して、遷移効果種類、手法、期間等を記載することも可能である。
【００４４】
次に、撮像装置２００での再生動作について説明する。図４は、図１のブロック図におけるデコーダブロック２５０の詳細な構成を示す図であり、３０１はストリーム分離器デマックス１、３０２はストリーム分離器デマックス２、３０３はビデオストリーム切り替え器、３０４はオーディオストリーム切り替え器、３０５はビデオデコーダ、３０６はオーディオデコーダ、３０７は切り替え器、３１０は符号化ストリームの入力端子、３１１は後述するレンダリングクリップストリームの入力端子、３１２はビデオ復号信号の出力端子、３１３はオーディオ復号信号の出力端子、３１４はオーディオ信号の入力端子である。
【００４５】
図１、４において、撮像装置２００が再生モードの場合、記録媒体１０１に記録されているコンテンツ情報とプレイリストを読み出し、記録媒体１０１に記録されているコンテンツのリストとプレイリストを得る。そして、コンテンツリスト、プレイリスト、各コンテンツの整合性チェックを行う。記録媒体１０１に対して外部装置で直接ファイル操作（削除、編集等）された場合等、コンテンツリスト、プレイリストに登録されてあるコンテンツファイルが消失、又は、コンテンツファイルが編集されている状態で、コンテンツリストやプレイリストに基づいて再生動作を行った場合、再生ファイルがなかったり、再生時間に不整合が生じたりしてスムーズな再生動作ができなくなるため、これらを可能な限り防止するために整合性チェックを行う。整合チェックの例としては、コンテンツリスト、プレイリストに記載してあるコンテンツファイルとコンテンツファイルの情報が、各コンテンツファイルの実体と相違するか否かを比較する。比較項目は、ファイルの実体、ファイルのサイズや更新日時や種類等のファイル属性、ファイルの再生時間等である。比較項目を任意に設定する手段を備えることも考えられる。整合チェックでエラーが発生した場合は、可能な限りコンテンツリストやプレイリストを修正する。
【００４６】
そして、コンテンツリストやプレイリストを表示器２１４に表示し、操作者が所望のコンテンツ或いはプレイリストを選択する。例えば図６に示したプレイリストを選択し再生実行を行った場合、そのプレイリストを読み込み、内容を解析する。このプレイリストは、ｔｒａｎｓｉｔｉｏｎＦｉｌｔｅｒ＝“ｔｒｕｅ”の記述によりレンダリングクリップを含んでいる。この場合、まず、ファイルＲＣを先読みする。そして、ＲＣファイルに音声ストリームが存在しているかチェックする。音声ストリームの有無チェックは、ＲＣファイルがプログラムストリームの場合、プログラムストリームの先頭に記録されているシステムヘッダ内に記載してあるストリーム種別（ＭＰＥＧビデオ、ＭＰＥＧオーディオ等）を確認することにより判定することができる。
【００４７】
まず、レンダリングクリップに音声ストリームが存在する場合、Ｖ１ファイルの先頭から５秒後のストリームをＣＰＵ２３０に読み込んで、ストリームを端子３１０に入力し、ストリーム分離器デマックス１（３０１）でシステムデータ、画像データ、音声データに分離する。切り替え器３０３は位置１Ｖ、切り替え器３０４は位置１Ａに接続される。画像データを、切り替え器３０３を経由してビデオデコーダ３０５で復号し、出力端子３１２に出力する。音声データを、切り替え器３０４を経由してオーディオデコーダ３０６で復号し、出力端子３１３に出力する。ビデオ、オーディオの同期制御は、前記システムデータからのタイムスタンプを使用する。Ｖ１ファイルは先頭から２１秒後の２秒前の１９秒までが再生される。
【００４８】
前記Ｖ１ファイルの再生終了前に、前記先読みしたＲＣファイルを端子３１１に入力し、ストリーム分離器デマックス２（３０２）でシステムデータ、画像データ、音声データに分離する。また、再生画像出力端子３１２、再生音声出力端子３１３時点で総合再生時間が１９秒になるタイミングで、切り替え器３０３の位置２Ｖへの切り替えと、切り替え器３０４の位置２Ａへの切り替えを行う。画像データを、切り替え器３０３を経由してビデオデコーダ３０５で復号し、出力端子３１２に出力する。音声データを、切り替え器３０４を経由してオーディオデコーダ３０６で復号し、出力端子３１３に出力する。ビデオ、オーディオの同期制御は、前記システムデータからのタイムスタンプを使用する。ＲＣファイルは２秒再生される。
【００４９】
さらに、前記ＲＣファイルの再生終了前に、Ｖ２ファイルの先頭５秒から２秒後の７秒から読み込んで、ストリームデータを端子３１０に入力し、ストリーム分離器デマックス１（３０１）でシステムデータ、画像データ、音声データに分離する。また、再生画像出力端子３１２、再生音声出力端子３１３時点で総合再生時間が２１秒になるタイミングで、切り替え器３０３の位置１Ｖへの切り替えと、切り替え器３０４の位置１Ａへの切り替えを行う。画像データを、切り替え器３０３を経由してビデオデコーダ３０５で復号し、出力端子３１２に出力する。音声データを、切り替え器３０４を経由してオーディオデコーダ３０６で復号し、出力端子３１３に出力する。ビデオ、オーディオの同期制御は、前記システムデータからのタイムスタンプを使用する。Ｖ２ファイルは先頭から５２秒までが再生される。
【００５０】
なお、再生画像出力端子３１２と再生音声出力端子３１３時点で総合再生時間のタイミング調整のため、ビデオデコーダ３０５とオーディオデコーダ３０６内のバッファメモリを使用する。また、切り替え器３０７は位置３Ａに接続されており、音声入力端子３１４の入力は無効になっている。
【００５１】
次に、レンダリングクリップに音声ストリームが存在しない場合は、Ｖ１ファイルの先頭から５秒後のストリームをＣＰＵ２３０に読み込んで、ストリームを端子３１０に入力し、ストリーム分離器デマックス１（３０１）でシステムデータ、画像データ、音声データに分離する。切り替え器３０３は位置１Ｖ、切り替え器３０４は位置１Ａに接続される。画像データを、切り替え器３０３を経由してビデオデコーダ３０５で復号し、出力端子３１２に出力する。音声データを、切り替え器３０４を経由してオーディオデコーダ３０６で復号し、出力端子３１３に出力する。ビデオ、オーディオの同期制御は、前記システムデータからのタイムスタンプを使用する。Ｖ１ファイルは先頭から２１秒後までが再生される。
【００５２】
前記Ｖ１ファイルの再生終了前に、前記先読みしたＲＣファイルを端子３１１に入力し、ストリーム分離器デマックス２（３０２）でシステムデータ、画像データに分離する。また、再生画像出力端子３１２時点で総合再生時間が１９秒になるタイミングで、切り替え器３０３の位置２Ｖへの切り替えを行う。画像データを、切り替え器３０３を経由してビデオデコーダ３０５で復号し、出力端子３１２に出力する。この場合、レンダリングクリップに音声データが存在しないので、切り替え器３０４は位置１Ａのまま切り替えを行わない。音声データを、ストリーム分離器デマックス３０１の出力より、切り替え器３０４を経由してオーディオデコーダ３０６で復号し、出力端子３１３に出力する。ビデオ、オーディオの同期制御は、前記双方のシステムデータからのタイムスタンプを使用する。この場合、ビデオ、オーディオは別ストリームのため、実時間のタイムスタンプに相違があるので、ビデオのタイムスタンプを基準にオーディオのタイムスタンプは相対的に同期をとるように制御する。ＲＣファイルは２秒再生される。
【００５３】
さらに、前記ＲＣファイルの再生終了前に、Ｖ２ファイルの先頭５秒から２秒後の７秒から読み込んで、ストリームデータを端子３１０に入力し、ストリーム分離器デマックス１（３０１）でシステムデータ、画像データ、音声データに分離する。また、再生画像出力端子３１２時点で総合再生時間が２１秒になるタイミングで、切り替え器３０３の位置１Ｖへの切り替えを行う。画像データを、切り替え器３０３を経由してビデオデコーダ３０５で復し、出力端子３１２に出力する。音声データを、切り替え器３０４を経由してオーディオデコーダ３０６で復号し、出力端子３１３に出力する。ビデオ、オーディオの同期制御は、前記システムデータからのタイムスタンプを使用する。Ｖ２ファイルは先頭から５２秒までが再生される。
【００５４】
なお、再生画像出力端子３１２と再生音声出力端子３１３時点で総合再生時間のタイミング調整のため、ビデオデコーダ３０５とオーディオデコーダ３０６内のバッファメモリを使用する。また、切り替え器３０７は３Ａに接続されており、音声入力端子３１４の入力は無効になっている。
【００５５】
図５は、図６のプレイリストを再生した場合の切り替え器の動作を説明するものであり、Ｖ１ファイル、Ｖ２ファイル、レンダリングクリップＲＣのファイル（クリップ）再生順序を示している。（１）、（２）、（３）、（４）は図４における切り替え器３０３、３０４、３０７の切り替え動作を説明したもので、（１）、（４）はレンダリングクリップの音声データの存在有無にかかわらない切り替え器３０３と３０７の動作、（２）はレンダリングクリップに音声データが存在する場合の切り替え器３０４の動作、（３）はレンダリングクリップに音声データが存在しない場合の切り替え器３０４の動作である。レンダリングクリップ再生期間Ｔ３で、音声が存在する場合、切り替え器３０４は位置２Ａに接続され、存在しない場合は、切り替え器３０４は位置１Ａに接続するように動作する。
【００５６】
次に、レンダリングクリップに音声ストリームが存在しない場合に、前ストリームの音声を継続することとは別の手法について説明する。図８は、図６のプレイリストを再生した場合の切り替え器の動作を説明するものであり、Ｖ１ファイル、Ｖ２ファイル、レンダリングクリップＲＣのファイル（クリップ）再生順序を示している。（１）、（２）、（３）は、図４における切り替え器３０３、３０４と３０７の切り替え動作を説明したもので、（１）、（３）はレンダリングクリップの音声データの存在有無にかかわらない切り替え器３０３と３０４の動作、（２）はレンダリングクリップに音声データが存在しない場合の切り替え器３０７の動作である。図６のプレイリストの再生時、レンダリングクリップに音声データが存在する場合は前述と同様に動作し、音声データが存在しない場合は、代替音声となる音声信号を端子３１４に入力して、切り替え器３０７を位置３Ａから位置４Ａに切り替える。つまり、代替音声を使用する。代替音声は、特殊効果毎に機器内にデフォルトで備え持った音声ファイル、前もって用意した音声ファイルを操作者が予め設定したもの、機器が特殊効果に合わせて記録媒体或いは外部から取得した音声ファイル等を使用する。  音声ファイルが符号化されている場合は、復号化してから端子３１４に入力する。
【００５７】
前記代替ファイルは音声ファイルであるが、代替ファイルとして、テキストファイル、画像ファイル等を使用して、テキストファイルの場合は、テキストをフォントデータとして、画像ファイルは画像表示に可能な形式に処理して、画像出力端子３１２にミキシングして表示することも可能である。さらに、音声ストリームがない場合、前ストリームの音声を継続することに加え、パラメータエレメントで記載された、遷移効果種類、手法、期間等が存在していた場合、それに対応した処理をできる限り行うことも可能である。例えばフェードアウト等の処理が記載されていれば、継続音声ストリームをフェードアウト動作させる。
【００５８】
図１０は、本実施形態を適応した場合の表示例であり、２１４は図１中の表示器である。この表示例は、前述したレンダリングクリップを含むプレイリストの再生時、使用するレンダリングクリップに音声ストリームが存在しない場合の表示例である。表示５０１中、”レンダリングクリップ．ＲＣ  再生中”という表示は、レンダリングクリップを再生していることを示している。”＊＊＊代表音声フェード．ｍｐ３”という表示は、代替音声としてフェード．ｍｐ３というストリームファイルを使用していることを示している。
【００５９】
この表示は、現在どのファイルストリームが再生されているか告知する。特にレンダリングクリップの音声ストリームが存在しない場合、操作者に告知し注意を促す。その場合、装置が自動選択したファイルストリームを報告することに有意義な情報となる。また、この表示期間中、操作者が自動選択をキャンセルし再生停止させるための情報としても効果がある。
【００６０】
図７は、本実施形態でのプレイリスト再生を説明するフローチャート図である。ステップＳ４０１でプレイリストの動画再生開始指示が発生した場合、ステップＳ４０２でＳＭＩＬ等で記載されたプレイリストを解析し、コンテンツ内容、再生手順等をスケジューリングする。また、ステップＳ４０３で再生（デコード）のための各回路（或いはファームウエア）の初期化を行う。ステップＳ４０４ではプレイリストでレンダリングクリップが使用されているか判定する。
【００６１】
レンダリングクリップが使用されない場合、ステップＳ４１１に移行する。使用する場合、ステップＳ４０５に移行して前記レンダリングクリップをプリロードする。そして、ステップＳ４０６で読み込んだレンダリングクリップのストリーム解析を行い、音声データが存在するかの否かの解析を行う（もし、レンダリングクリップの音声情報の有無が前記コンテンツ情報ファイルに記載されていれば、その情報を判定することにより、ステップＳ４０４とステップＳ４０５の処理を代行してもよい）。音声データが存在する場合（ステップＳ４０７）、ステップＳ４１０でＦｌａｇに“１”をセットし、存在しない場合（ステップＳ４０７）、ステップＳ４０９でＦｌａｇに“０”をセットする。
【００６２】
ステップＳ４１１で再生（デコート）を開始する。ステップＳ４１２でデコードされる再生ストリームがレンダリングクリップか否かを判定する。レンダリングクリップでなければ、ステップＳ４１３に移行し、通常再生（デコード処理）を行いステップＳ４１４に移行する。レンダリングクリップであれば、ステップＳ４２０に移行し、前記Ｆｌａｇを判定する。
【００６３】
Ｆｌａｇが“０”の場合、ステップＳ４２１に移行し、レンダリングクリップに音声データが存在していない情報、また、その代替処理を実行していることを表示器に表示する。そして、ステップＳ４２３で処理０を実行して、その後ステップＳ４１４に移行する。処理０は前述説明したレンダリングクリップに音声が存在しない場合の処理である。
【００６４】
Ｆｌａｇが“１”の場合、ステップＳ４２１に移行し、処理１を実行して、その後ステップＳ４１４に移行する。処理１は前述説明したレンダリングクリップに音声が存在している場合の処理である。
【００６５】
ステップＳ４１４では再生終了でなければステップＳ４１２に移行し、再生終了であればステップＳ４５０に移行して終了する。
【００６６】
前記処理０の再生使用ファイルと、再生動作履歴をスクリプト言語（プレイリストとして）と、記録媒体等に自動登録することもできる。前記履歴登録されたプレイリストは、他装置で再生互換が補償されるプレイリストとなるため有効な機能となる。
【００６７】
また、本実施形態では、レンダリングクリップにおける不足情報が音声データである場合を説明したが、不足データが画像データ、管理データ、付加情報データの場合においても、レンダリングクリップ前のデータもしくはファイルを継続再生、または、代替データもしくはファイルの置き換えをすることは可能である。前記の場合の継続再生または代替データもしくはファイルとしては、不足データが画像データの場合は、レンダリングクリップ前の画像ファイル。不足データがファイル日時等の管理データや付加情報データの場合は、レンダリングクリップ前の管理データや付加情報データを使用する。
【００６８】
以上の動作を行うことによって、本実施形態では、民生用ビデオカメラ等の撮像装置において、レンダリングクリップを用いるプレイリスト再生を実行した場合、音声ストリームが存在していないレンダリングクリップの場合、無音期間となってしまうことを防止することができる。
【００６９】
（その他の実施の形態）
なお、本発明の目的は、前記実施の形態のいずれかの装置又はシステムの機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、装置又はシステムに供給し、その装置又はシステムのコンピュータ（ＣＰＵ又はＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても、達成されることは言うまでもない。
【００７０】
この場合、記憶媒体から読み出されたプログラムコード自体が前記実施の形態で説明した機能を実現することとなり、そのプログラムコードを記憶した記憶媒体及び当該プログラムコードは本発明を構成することとなる。
【００７１】
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フロッピー（Ｒ）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
【００７２】
また、コンピュータが読み出したプログラムコードを実行することにより、前記実施の形態で説明した機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等を利用して実際の処理の一部又は全部が行われ、その処理によって前記実施の形態で説明した機能が実現される場合も本発明の実施の態様に含まれることは言うまでもない。
【００７３】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前記実施の形態で説明した機能が実現される場合も本発明の実施の態様に含まれることは言うまでもない。
【００７４】
なお、前記実施の形態において示した各部の形状及び構造は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００７５】
【発明の効果】
以上述べたように本発明によれば、加工データの再生期間に、その加工データに情報不足があった場合でも、情報が途絶えるのを防ぐことができる。
【００７６】
特に、情報データが画像データ及び音声データを含む鑑賞用画像音声データである場合には、快適な画像音声鑑賞を妨げないようにすることができる。
【００７７】
また、情報不足の場合に、そのことを表示するようにすれば、操作者は容易に再生状態を把握することができる。
【図面の簡単な説明】
【図１】撮像装置２００の構成を示す図である。
【図２】ディレクトリ例を示す図である。
【図３】プレイリストの記述例を示す図である。
【図４】デコーダブロック２５０の詳細な構成を示す図である。
【図５】図６のプレイリストを再生した場合の切り替え器の動作を説明するための図である。
【図６】レンダリングクリップを使用したプレイリストの例を示す図である。
【図７】プレイリスト再生を説明するフローチャートである。
【図８】図６のプレイリストを再生した場合の切り替え器の動作を説明するための図である。
【図９】レンダリングクリップの作成方法の一例を説明するための図である。
【図１０】表示器２１４での表示例を示す図である。
【図１１】従来のデータ処理を説明するための図である。
【図１２】ノンリニア編集の一例を説明するための図である。
【符号の説明】
２００          撮像装置
２０１          レンズ
２０２          固体センサ
２０３          Ａ／Ｄコンバータ
２０４          モータ
２０５          アイリス
２０９          マイク
２１０          マイクアンプ
２１１          Ａ／Ｄコンバータ
２１２          操作キー
２１３          表示ドライバ
２１４          表示器
２１５          スピーカドライバ
２１６          スピーカ
２１７          外部入出力端子
２２１          電源
２２３          ソケット
２３０          ＣＰＵ
３０１          ストリーム分離機デマックス
３０２          ストリーム分離機デマックス
３０３          ビデオストリーム切り替え器
３０４          オーディオストリーム切り替え器
３０５          ビデオデコーダ
３０６          オーディオデコーダ
３０７          切り替え器
３１０〜３１４  端子
【図１】
2004363828.tif 000003
【図２】
2004363828.tif 000004
【図３】
2004363828.tif 000005
【図４】
2004363828.tif 000006
【図５】
2004363828.tif 000007
【図６】
2004363828.tif 000008
【図７】
2004363828.tif 000009
【図８】
2004363828.tif 000010
【図９】
2004363828.tif 000011
【図１０】
2004363828.tif 000012
【図１１】
2004363828.tif 000013
【図１２】
2004363828.tif 000014