(57)【要約】  中断を伴わない視覚的プレゼンテーションのための連続的オーディオドキュメントのための方法及び装置。オーディオ入力（１２６）は、表示装置（１０６）に表示される電子ドキュメント又は画像を視覚的に表すために用いられる。スライドショーのビデオ部分は記録され、その後にプレースホルダはオーディオデータのために用いられ、オーディオデータが後にプレースホルダの位置においてディスクに記録されることが可能なようにしている。
2008500762.tif 000002
【特許請求の範囲】
【請求項１】
再生のためのマルチメディアプレゼンテーションを発生する方法であって、
（ａ）メモリ装置にビデオパケットのストリームを記録するステップと、
（ｂ）リアルオーディオパケットが記憶される予定の位置にオーディオプレースホルダを記録するステップと、
（ｃ）後の再生のため前記リアルオーディオパケットを得て前記オーディオプレースホルダの適切な位置に付加するステップと、
を有する、方法。
【請求項２】
請求項１に記載の方法であって、スライドショーとして再生可能なように、前記記録されたビデオ及びオーディオパケットを同期化した形で呈示するステップをさらに有する、方法。
【請求項３】
請求項１に記載の方法であって、前記メモリ装置は、光ディスクである、方法。
【請求項４】
請求項１に記載の方法であって、前記ステップ（ａ）は、記録すべき予め規定された持続期間を有する画像データを選択するステップと、前記画像データを所定のディジタルフォーマットに変換するステップと、前記画像データを符号化するステップと、をさらに含む、方法。
【請求項５】
請求項４に記載の方法であって、オーディオプレースホルダの数は、ユーザにより指定された符号化品質に依存する、方法。
【請求項６】
請求項１に記載の方法であって、前記ステップ（ｂ）は、前記オーディオプレースホルダの位置を記憶するステップと、リアルオーディオパケットに代えて前記オーディオプレースホルダを多重化するステップと、前記オーディオプレースホルダを伴うことなく前記メモリ装置に当該多重化されたデータを書き込むステップと、をさらに含む、方法。
【請求項７】
再生のためのマルチメディアプレゼンテーションを発生する装置であって、
メモリ装置にビデオパケットのストリームを記憶する手段と、
リアルオーディオパケットが記憶される予定の位置にオーディオプレースホルダを記録する手段と、
後の再生のため前記リアルオーディオパケットを得て前記オーディオプレースホルダの位置に付加する手段と、
を有する装置。
【請求項８】
請求項７に記載の装置であって、スライドショーとして再生可能なように、前記記録されたビデオ及びオーディオパケットを同期化した形で呈示する手段をさらに有する、装置。
【請求項９】
請求項７に記載の装置であって、前記メモリ装置は、光ディスクである、装置。
【請求項１０】
請求項７に記載の装置であって、前記記憶手段は、記録すべき予め規定された持続期間を有する画像データを選択する手段と、前記画像データを所定のディジタルフォーマットに変換する手段と、前記画像データを符号化する手段と、をさらに含む、装置。
【請求項１１】
請求項７に記載の装置であって、前記記録手段は、前記オーディオプレースホルダの位置を記憶する手段と、リアルオーディオパケットに代えて前記オーディオプレースホルダを多重化する手段と、前記オーディオプレースホルダを伴うことなく前記メモリ装置に当該多重化されたデータを書き込む手段と、をさらに含む、装置。
【請求項１２】
再生のためのマルチメディアプレゼンテーションを発生する方法であって、
（ａ）記録すべき予め指定された持続期間を有するビデオパケットを有する画像データを選択するステップと、
（ｂ）前記画像データを符号化し記録するステップと、
（ｃ）リアルオーディオパケットが記憶される予定の位置にオーディオプレースホルダを記録するステップと、
（ｄ）リアルオーディオパケットに代えて前記オーディオプレースホルダを多重化して記憶するステップと、
（ｅ）前記リアルオーディオパケットを得て前記オーディオプレースホルダの適切な位置に付加してスライドショーとして再生を可能にするステップと、
を有する方法。
【請求項１３】
請求項１２に記載の方法であって、前記ステップ（ｂ）は、前記画像データを所定のディジタルフォーマットに変換するステップをさらに含む、方法。
【請求項１４】
スライドショーのプレゼンテーションにおいて連続的音声再生をなすディジタル記録装置であって、
前記スライドショーに関連したビデオを符号化し復号するビデオ装置と、
前記連続的音声を記録するオーディオ装置と、
後の再生のためにビデオパケット及びオーディオパケットを記憶する記憶装置と、
前記記憶装置、前記ビデオ装置及び前記オーディオ装置に結合され、当該ディジタル記録装置の動作を制御するプロセッサであって、第１のフェーズにおいてユーザ入力に応答して前記オーディオパケットが第２のフェーズで記憶される予定のビデオパケット及びオーディオプレースホルダを記録するとともに、当該第２のフェーズにおいて前記オーディオプレースホルダの位置を得て前記スライドショーの呈示を可能とするように適切な位置に前記オーディオデータを付加するように動作するプロセッサと、
を有する装置。
【請求項１５】
請求項１４に記載のディジタル記録装置であって、前記スライドショーを呈示するための表示装置をさらに有する装置。
【請求項１６】
請求項１４に記載のディジタル記録装置であって、入力装置をさらに有する装置。
【請求項１７】
請求項１４に記載のディジタル記録装置であって、前記記憶装置は、光ディスクである、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広くディジタル画像形成装置に関し、特に、記録装置においてスライドショーに連続的な音声を付加するための方法及び装置に関する。
【背景技術】
【０００２】
聴覚的、視覚的でかつ書き込みの媒体を含め人と人との間の通信を可能とするために様々なメカニズムが利用可能である。例えば、ＤＶＤレコーダ又はその他の同様のディジタル機器は、ビデオタイトルとしてＤＶＤディスクにディジタル画像のスライドショーを記憶することができる。ディジタル写真カメラにより撮られたこれらの画像は、色々な手段（メモリカード、ケーブル接続部（例えばＵＳＢ）、又は無線接続部）により当該機器に入力される。ビデオスライドショーを発声するプロセスは、ユーザが適切な画像を選択しその画像を当該機器に転送する時間が必要なので、リアルタイムではない高度の対話型となっている。しかし、スライドショーに対し音声を作成するためのツールは、リアルタイム処理を扱うように構成されておらず、これにより、ＤＶＤレコーダのような民生装置を用いて当該スライドショーに連続的音声信号を記録することが不可能である。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
したがって、必要なのは、従来技術に見られる制限を克服し、付加的な利点を奏する簡単かつ効果的なマルチメディアツールを作る方法及び装置である。
【課題を解決するための手段】
【０００４】
本発明は、音声の中断を伴うことなくディジタル画像形成装置に記憶されるマルチメディアプレゼンテーション情報を生成する方法及び装置を提供するものである。本発明の一態様においては、当該ディジタル画像形成装置におけるビデオデータの表示情報及びオーディオパケットのプレースホルダの位置が記憶される。ビデオデータは、プレースホルダの位置には記憶されないので、ユーザは、後に当該プレースホルダの位置にオーディオデータを対話式に記録可能である。これらのステップは、後の再生のための連続的な音声プレゼンテーションとともにスライドショーを提供するために繰り返される。
【０００５】
本発明の他の態様において、オーディオデータは、ビデオデータがスライドショーに組み込まれた後に編集可能であり、ここでオーディオデータは、無声のオーディオデータが入れられているプレースホルダに記録される。
【０００６】
したがって、本発明は、一時的な中断又は割り込みを伴わず、また複雑なプレゼンテーションソフトウェアに画像及びビデオを組み入れることなく、連続的な音声付きのマルチメディアプレゼンテーション情報を作成、編集及び呈示することをユーザに提供する。
【０００７】
本発明の上述の特徴及びその他の特徴並びに上述の利点及びその他の利点は、添付図面に示されるような好適な実施例の以下の詳細な説明から明らかとなる。図において、参照符号は、色々な観点から同じ部分を指すものである。
【発明を実施するための最良の形態】
【０００８】
なお、通常の当業者であれば、以下の説明は、例示を目的とするものであり限定を目的とするものではないことが理解される。熟練者であれば、本発明の主旨及び添付請求項の範囲内にある多数の変形形態があることを理解するものである。既知の機能及び動作の不要な詳細は、本発明を不明瞭にしないように本文からは省略される場合がある。
【０００９】
ここで図１を参照すると、本発明による使用のために、記録装置１００の１つの好適な実施例のブロック図が示される。記録装置１００は、ディジタルビデオ及び高解像度静止画像を含む色々なタイプの画像データを取り込み表示することが可能である。記録装置１００は、次のものを含んでいる。すなわち、制御プロセッサ１０２、音声を再生し記録するオーディオ装置１０４、ディジタルビデオ及び静止画像を表示するディスプレイ１０６、ビデオ装置１０８、記録装置１００の主要な構成部を接続するためのシステムバス１２０、データ記憶装置１２２、オーディオパケット及びパディングパケットのプレースホルダの位置を一時的に記憶するＰＬＤＢ（プレースホルダ位置データベース；placeholder location database）１２４、ユーザとの対話のためのリモートコントロール装置１２６、及び電源１２８である。代替えの実施例では、オーディオ装置１０４及びビデオ装置１０８は、両方の装置の等価な機能を担う単一装置として一体化されるようにしてもよい。なお、システムバス１２０は、複数の処理システムを含みうるネットワークにリンク可能である。処理システムのネットワークは、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）（例えばインターネット）、及び／又は複数の装置が通信可能な経路としての他の相互接続データパスを有するようにしてもよい。
【００１０】
プロセッサ１０２は、記録装置１００の全体の動作を制御するための慣例的なマイクロプロセッサ装置を含むようにしてもよい。プロセッサ１０２は、マルチスレッドの環境において記録装置の色々な処理を制御するために複数のソフトウェアルーチンを同時に実行することが可能である。また、プロセッサ１０２は、データ信号を処理するものであり、複数命令セットコンピュータ（ＣＩＳＣ；complex instruction set computer）アーキテクチャ、縮小命令セットコンピュータ（ＲＩＳＣ；reduced instruction set computer）アーキテクチャ又は命令セットの組み合わせを実行するアーキテクチャを含む様々なコンピューティングアーキテクチャを有するものとすることができる。プロセッサ１０２は、マイクロプロセッサであるのが好ましいが、１つ以上のＤＳＰ（ディジタル信号処理器）又はＡＳＩＣ（Application Specific Integrated Circuit；特定用途向け集積回路）を用いることもできる。
【００１１】
オーディオ装置１０４は、オーディオ入力を受信しオーディオ出力を伝送するために備えられる。オーディオ装置１０４は、１つ以上のアナログ／ディジタル又はディジタル／アナログ変換器、及び／又はオーディオ処理を容易にするための１つ以上のディジタル信号処理器を含むことができる。
【００１２】
ディスプレイ１０６は、ここで説明するような電子画像及びデータを表示するために用意された装置に相当する。表示装置１０６は、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）又は他の同様に備えられる表示装置、スクリーン又はモニタとすることができる。
【００１３】
ビデオ装置１０８は、バイエルフォーマット（Bayer format）で画像データのフレームを取り込むための電荷結合素子（ＣＣＤ）又はＣＭＯＳセンサなどの画像形成装置を含むことができる。当該画像フレームは、処理、記憶及び表示のためにビデオシステム１０８からプロセッサ１０２に転送される。
【００１４】
バス１２０は、情報及びデータを通信するための共用バスに相当し、業界標準アーキテクチャ（ＩＳＡ；industry standard architecture）バス、ＰＣＩ（peripheral component interconnect）バス、ユニバーサルシリアルバス（ＵＳＢ；universal serial bus）又は同様の機能をなす当該分野で知られた他の何らかのバスとすることができる。
【００１５】
データ記憶装置１２２及びＰＬＤＢ１２４は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）装置、スタティックランダムアクセスメモリ（ＳＲＡＭ）装置、ハードディスクドライブを含む１つ以上の装置、フロッピーディスク装置、記録可能若しくは再書込可能なＣＤを含むＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＡＭ装置、ＤＶＤ＋Ｒ装置、ＤＶＤ−Ｒ装置、ＤＶＤ＋ＲＷ装置、ＤＶＤ−ＲＷ装置、フラッシュメモリ装置又は当該分野において知られている他の何らかの大容量記憶装置とすることができる。このようなものによるデータ記憶装置１２２における記憶されたビデオ及びオーディオデータ並びにエラー訂正コード（ＥＣＣ）は、プロセッサ１０２の制御の下でビデオ装置１０８により復号可能である。
【００１６】
リモートコントロール装置などの入力装置１２６は、プロセッサ１０２に対する情報及び命令選択を通信するために用いることが可能である。また、入力装置１２６は、プロセッサ１０２に対して位置データ及び命令選択を通信するために具備されたユーザ入力装置に相当し、マウスやトラックボール、スタイラス、ペン、カーソル方向キーその他のカーソルの移動を生じさせるメカニズムを含むことができる。
【００１７】
電源１２８は、記録装置１００の色々な構成部に動作電力を供給し、記録装置１００の電源管理動作を調整するようにプロセッサ１０２と通信する。なお、電源１２８は、外部電源と結合可能である。
【００１８】
当業者にとっては、本発明の主旨及び範囲から逸脱することなく記録装置１００が図１に示されるものよりも多いか又は少ない数の構成要素を含むものとすることができることは明らかである。例えば、記録装置１００には、画像走査装置、ディジタルスチル若しくはビデオカメラ、又は電子データを取り込んだりダウンロードしたりするために配備され又は配備されない他の何らかの装置を含む付加的な構成要素を結合することができる。
【００１９】
図２及び図３を参照すると、本発明による中断の無い連続的音声の発生は、２つのフェーズで行われる。図２は、音声を伴わないスライドショーを作成する第１のフェーズを示し、図３は、当該スライドショーにオーディオデータを付加する第２のフェーズを示している。
【００２０】
図２に示されるように、このスライドショーを提供するプロセスは、記録装置１１０のビデオ構成部により達成される。特に、画像挿入回路（ＰＩＮＳ）２００は、多様な入力ソース（例えばＪＰＥＧ，ティフ（tiff）、ｂｍｐなど）から入力画像を得て、その入力画像を他の処理に適切な均一なディジタルフォーマットに変換する。ビデオエンコーダ２２０は、その変換された入力画像をＭＰＥＧ静止画に符号化するように動作する。ここで、その結果は、２ＫＢ（＝２０４８バイト）単位（パック又はパケットと呼ばれる）により出力される。そしてマルチプレクサ（ＭＵＸ）２４０は、ＤＶＤ Ｅ−ＳＴＤモデル又はＭＰＥＧ Ｐ−ＳＴＤモデルに準じてエンコーダ２２０の出力を構成する。各ＶＯＢＵにつき、ＭＵＸ２４０は、Ｎａｖｐａｃｋ、ビデオパケット及び（オプションとしての）副画像パケットを構成する。ＭＵＸ２４０は、リアルオーディオパケットに代えてオーディオプレースホルダを多重化するように構成可能であり、この場合、ＭＵＸ２４０は、ＰＬＤＢ１２４にプレースホルダの位置を入れる。すなわち、ＭＵＸ２４０は、リアルオーディオが位置する予定の場所においてリアルオーディオパケットに代えてオーディオプレースホルダを多重化する。ＷＲＩＴＥＲ１（第１書込手段）の２６０は、この多重化されたパケットをデータ記憶媒体１２２に書き込む。ここでは、全てのデータ（ビデオ、Ｎａｖｐａｃｋ、副画像など）をデータ記憶媒体１２２に書き込み、プレースホルダの位置においてデータ記憶装置１２２へはデータを書き込まないように構成される。ＷＲＩＴＥＲ１の２６０は、ＰＬＤＢ１２４からプレースホルダの位置を認識する。
【００２１】
動作において、スライドショーは、次のように上述の構成要素を用いて記録される。
【００２２】
Ａ）ユーザは、記録すべき画像データを選択し、当該画像データの持続期間を指定する。
【００２３】
Ｂ）ＰＩＮＳ２００は、画像データを適切な均一ディジタルフォーマットに変換する。
【００２４】
Ｃ）ＶＥＮＣ２２０は、このデータをＭＰＥＧ静止画に符号化する。
【００２５】
Ｄ）ＭＵＸ２４０は、ＰＬＤＢ１２４にプレースホルダの位置を記憶する。また、ＭＵＸは、画像データの持続期間に基づいてＶＯＢＵの数を判定する。ここで、オーバーヘッドを減らすために、各ＶＯＢＵは、１秒の持続期間を有するものとすることができ、最後の１つのＶＯＢＵ又は最後の２つのＶＯＢＵだけを比較的短くすることができる。各ＶＯＢＵにつき、ＭＵＸは、ＮａｖＰａｃｋ及び残りの期間を表すための副画像パケット（オプション）を構成する。ＭＵＸは、リアルオーディオが第２フェーズに位置づけられるものと予定される位置においてリアルオーディオパケットに代えてオーディオプレースホルダを多重化する。これについては図３を参照して後述する。プレースホルダの量は、ユーザが選択した符号化品質に依存する。ＭＵＸはまた、必要に応じて、ＥＣＣ規則を満たすように整列するためのパディングパケットのプレースホルダを挿入する。
【００２６】
Ｅ）ＷＲＩＴＥＲ１の２６０は、その後、プレースホルダデータを除いてデータ記憶装置１２２に多重化されたデータを書き込む。プレースホルダの位置は、ＷＲＩＴＥＲ１の２６０によりＰＬＤＢ１２４から得られる。
【００２７】
Ｆ）ステップＡ〜Ｅを繰り返す。
【００２８】
なお、２ＫＢの１６セクタのサイズを持つＥＣＣブロック単位で光ディスクにデータを頻繁に書き込む。したがって、ＥＣＣブロック内に単一のセクタ（ＭＰＥＧパケットのデータを備える）を書き込むこと又はＥＣＣブロックにセクタを書き込むことをスキップすることが不可能となる。故に、ＥＣＣブロック全体が書き込まれるか又はスキップされなければならない。ＥＣＣブロックを完全に満たすのに十分なデータがない場合、ＥＣＣブロックに２ＫＢのパディングパケットを入れることができる。さらに、オーディオデータが占めるディスクセクタの数は、ユーザが選んだ符号化品質に依存する。圧縮オーディオのための代表的値は、毎秒８個，１６個，２４個のディスクセクタにそれぞれ対応する１２８ｋｂｐｓ（キロビット／秒）、２５６ｋｂｐｓ、又は３８４ｋｂｐｓである。
【００２９】
上に示したようにオーディオ内容の伴わないスライドショーを作成する第１フェーズを遂行すると、図３を参照して以下に示されるよように、スライドショーにオーディオデータを付加する第２のフェーズが行われる。
【００３０】
オーディオ装置１０４のオーディオ入力装置（ＡＩＮＰ）３００により受信される音声入力を含むオーディオ入力がディジタル化される。そしてオーディオエンコーダ（ＡＥＮＣ）３２０は、オーディオデータを圧縮オーディオ（ＭＰＥＧ，ＡＣ３など）のフォーマット又は非圧縮オーディオ（ＬＰＣＭなど）のフォーマットに符号化する。或いは、オーディオ入力装置（ＡＩＮＰ）３００は、オーディオエンコーダ（ＡＥＮＣ）３２０によりこれ以上符号化される必要のないディジタルオーディオを受信することもできる。フィルタとしての機能を担うマージャ（ＭＥＲＧＥＲ）３４０は、ＭＰＥＧプログラムストリームのオーディオ部分に応じて符号化されたオーディオデータをフォーマット化する。なお、マージャ３４０は、マルチプレクサと同様の機能を果たす。ここで、マージャ３４０は、パックヘッダ、パケットヘッダ、ＳＣＲ、ＰＴＳなどに充填する。但し、多重化は、オーディオデータの当該ディスク上の位置が第１のフェーズにおいて既に決定されＰＬＤＢ１２４に記憶されているので、必須ではない。最後に、ＷＲＩＴＥＲ２（第２書込手段）の３６０は、ＰＬＤＢ１２４から得たプレースホルダの位置において記憶媒体１２２にオーディオデータを書き込む。
【００３１】
一方、リーダ（ＲＥＡＤＥＲ）４００は、記憶媒体１２２から第１のフェーズで作られたスライドショーデータのビデオ部分を読み取る。ここで、リーダ４００は、ＰＬＤＢ１２４に記憶されたプレースホルダ位置情報を用いてプレースホルダデータを読み出すことをスキップする。そしてデコーダ４２０は、読み出したデータを多重分離し、ビデオデータ（及び必要に応じて副画像）を復号する。出力装置４４０は、復号されたビデオデータ及び副画像データを表すビデオ信号を出力する。
【００３２】
リーダ４００及びライタ２の３６０の双方は、読出動作及び書込動作のために交互に記憶媒体１２２にアクセスする。このようにして、ユーザがビデオ画像及び副画像の再生を開始するときには、ユーザはオーディオ信号及び音声入力を同時に提供する。記録装置１００は、呈示されたビデオをオーディオ入力と同期化し、図３に示されるように、後続の再生のためにディスクにオーディオデータを書き込む。
【００３３】
再書き込み可能型の装置を用いた代替実施例では、第１フェーズにおけるプレースホルダデータが入れられ、スキップするのではなく無声のオーディオデータが書き込まれるようにしてもよい。このような状況において、第２のフェーズがスキップされ、ユーザが同一又は他の記録機器を用いて当該無声のオーディオデータを簡単に上書きすることにより後のポイントにおいて音声を付加することができるようにする。こうして、オーディオデータしか上書きされる必要がなく、ビデオ再符号化又は再多重化は必要ない。
【００３４】
以上、本発明の好適実施例を示し説明してきたが、当業者であれば、様々な変更や変形をなすことができ、本発明の真の範囲から逸脱することなくその要素を等価なものに置き換えることができることは明らかである。また、特定の状況に対して適合するような多くの変形例とすることも可能であり、本発明の内容は、その中心の範囲から逸脱することのない等価な態様で適合可能である。したがって、本発明は、本発明を行うために意図された最良の形態として開示された特定の実施例に限定されないものであるが、本発明は、添付の請求項の範囲内にある全ての実施例を含むものである。
【図面の簡単な説明】
【００３５】
【図１】本発明を行うために用いることができる記録装置のハードウェア構成要素の例を示すブロック図。
【図２】本発明により連続的音声を発生するプロセスを描いたフローチャートの一例である。
【図３】本発明により連続的音声を発生するプロセスを描いたフローチャートの他の例である。
【図１】
2008500762.tif 000003
【図２】
2008500762.tif 000004
【図３】
2008500762.tif 000005
【国際調査報告】
2008500762.tif 000006
2008500762.tif 000007
2008500762.tif 000008