(57)【要約】【課題】  マルチメディアスライドショーを制作するための方法を提供する。【解決手段】  複数のデジタル画像を選択する段階と、複数のデジタル画像の各々を符号化して標準解像度画像部分および高解像度画像部分を生成する段階と、標準および高解像度画像部分を多重化して単一の高解像度静止画像を生成する段階と、高解像度静止画像について時間パラメータを決定する段階と、少なくとも１つのデジタル画像についてオーディオ部分を選択する段階と、複数の高解像度静止画像を連結してビデオビットストリームを生成する段階と、オーディオ部分を符号化してオーディオビットストリームを生成する段階と、ビデオビットストリームおよびオーディオビットストリームを多重化してマルチメディアスライドショーを生成する段階と、を有する。【選択図】      図２
2004194338.tif 000002
【特許請求の範囲】
【請求項１】
複数のデジタル画像をアクセスする段階と、
標準解像度の画像部分と高解像度の画像部分とを生成するため複数の前記デジタル画像の各々を符号化する段階と、
単一の高解像度静止画像を生成するためそれぞれ対応する標準および高解像度の画像部分を多重化する段階と、
各前記高解像度静止画像について時間パラメータを決定する段階と、
その決定された時間パラメータに従って無声スライドショーを生成するため前記複数の高解像度静止画像を連結する段階と、
を有するスライドショーの制作方法。
【請求項２】
複数のデジタル画像を選択する段階と、
標準解像度画像部分および高解像度画像部分を生成するため複数の前記デジタル画像の各々を符号化する段階と、
単一の高解像度静止画像を生成するためそれぞれ対応する標準および高解像度画像部分を多重化する段階と、
各前記高解像度静止画像について時間パラメータを決定する段階と、
複数の前記デジタル画像のうちの少なくとも１つについてオーディオ部分を選択する段階と、
ビデオビットストリームを生成するため複数の前記高解像度静止画像を連結する段階と、
前記オーディオ部分を符号化することによりオーディオビットストリームを生成する段階と、
マルチメディアスライドショーを生成するため前記ビデオビットストリームとオーディオビットストリームとを多重化する段階と、
を有するマルチメディアスライドショーの制作方法。
【請求項３】
複数のデジタル画像を選択する手段と、
標準解像度画像部分および高解像度画像部分を生成するため複数の前記デジタル画像の各々を符号化する手段と、
単一の高解像度静止画像を生成するためそれぞれ対応する標準および高解像度画像部分を多重化する手段と、
各前記高解像度静止画像について時間パラメータを決定する手段と、
複数の前記デジタル画像のうちの少なくとも１つについてオーディオ部分を選択する手段と、
ビデオビットストリームを生成するため複数の前記高解像度静止画像を連結する手段と、
前記オーディオ部分を符号化することによりオーディオビットストリームを生成する手段と、
マルチメディアスライドショーを生成するため前記ビデオビットストリームと前記オーディオビットストリームとを多重化する手段と、
を含んでなるマルチメディアスライドショーを制作するためのシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、マルチメディアの符号化および表現の分野に関する。
【背景技術】
【０００２】
デジタルカメラの使用は、近年になって増大してきた。したがって、商業用および消費者が保持するデジタル画像ファイルの量もまた増大してきた。無作為に保存された写真プリントが入った靴箱で一杯のクローゼットの問題と非常に良く似て、デジタル環境内では、無作為に保存されたデジタル画像で一杯のコンピュータ「靴箱」が存在する。さらに、ＶＣＤおよびＤＶＤプレイヤの利用は増えつづけ、利用可能なデジタル画像およびビデオクリップの数も増大し続けている。このため、コストおよび時間的に効率が良いものであって、容易でかつおもしろいデジタル画像の配置、分類および共用システムおよび／または方法に対するニーズが発生している。
【０００３】
１つのアプローチは、ビデオＣＤプレイヤまたはＤＶＤプレイヤを用いてテレビでマルチメディアアルバム／プログラムとして再生できるコンパクトディスク（ＣＤ）またはデジタルビデオディスク（ＤＶＤ）上の画像、テキスト、音声コメント、およびミュージッククリップを制作するというものである。
【０００４】
かかるテレビ中心のシステムは、一般的なコンピュータ中心のシステムとは異なっている。例えば、Kodak PictureＣＤ製品（Eastman Kodak社から入手可能）は、コンピュータを利用したデジタル画像共用および観察機能を提供する。しかしながら、Kodak Picture CDのＣＤフォーマットは、現在の構成のままではテレビで再生できない。
【０００５】
ＶＣＤコンパチブルプログラムとしてオーディオおよびビデオ情報を符号化しそのプログラムをＩＳＯ９６６０フォーマットでＣＤに転送することが知られている。かかるＣＤは、ＶＣＤ／ＤＶＤプレイヤおよびコンピュータシステムで再生することができる。ＶＣＤ符号化は、１秒当たり１．５Ｍbits以下のビットレートを有する対象アプリケーションを伴う特定のＭＰＥＧ−１規格を利用する。かかるビットレート制約条件では、画像の解像度は、（米国および日本で一般的である）ＮＴＳＣシステムで３５２×２４０に、また（欧州および中国で一般的である）ＰＡＬシステムで３５２×２８８に制限される。ＮＴＳＣで３５２×２４０およびＰＡＬで３５２×２８８という解像度は標準解像度とも呼ばれ、ＮＴＳＣで７０４×４８０およびＰＡＬで７０４×５７５という空間解像度に相当するものは、高解像度とも呼ばれる。
【０００６】
特定のＭＰＥＧ−１規格は、エンタテイメント品質を有するＣＤ−ＲＯＭビットレートで動画シーケンスを符号化するように意図されている。したがって、これはテレビにマルチメディアアルバムまたはスライドショーといった静止画像を表示するために適した規格ではない。ビデオシーケンスが、例えばＮＴＳＣについては２９．９７フレーム／秒、またＰＡＬについては２５フレーム／秒の高いフレームレートで表現される場合、高速移動フレームの時間的フィルタにより、大部分の空間ひずみを隠す。しかしながら、静止画像が標準解像度にサブサンプルされ、ＭＰＥＧ−１符号器（イントラフレーム用のブロックベースのＪＰＥＧ様の圧縮）により符号化され、テレビで表示されると、ブロッキングアーチファクトといったひずみが強調される可能性がある。
【０００７】
ＤＶＤはＣＤよりはるかに高い容量をもち、したがって、より高い空間解像度（すなわちＮＴＳＣシステムで７２０×４８０、ＰＡＬシステムで７２０×５７６）を記憶できることから、ＭＰＥＧ−２規格を用いてＤＶＤに、オーディオおよびビデオプログラムを符号化することができる。しかしながら、ＤＶＤ技術は、ＣＤ技術に比べてより高価で、より複雑である。かくして、ＤＶＤ媒体および書込みデバイスは、大部分の消費者にとっては高価すぎるものと考えられている。
【０００８】
「スライドショーに随伴させるべき音声ナレーションを録音するための方法および装置」という名称の米国特許第６，０８４，５８２号（Qureshi）は、対応するスライドと共に記憶され関連付けられるオーディオセグメントとしてオーディオ入力を記録しデジタル化するための方法および装置を開示している。スライドショーは、パーソナルコンピュータで再生するように意図されたデジタルタイル（例えば、Power Point）である。「マルチメディア制作の視覚的表現を用いてマルチメディア制作を立案するためのコンピュータシステム」という名称の米国特許第５，８９２，５０７号（Moorby）は、グラフィカルなユーザインタフェースを通して１またはそれ以上のマルチメディア事象を有するマルチメディアプレゼンテーションを制作および表示するためのコンピュータシステムを開示している。「マルチメディアプレゼンテーションを生成するための方法および装置」という名称の米国特許第６，０８１，２６１号（Gill）は、マルチメディアプレゼンテーション内に含まれた複数のオブジェクト間の空間関係を調節するための文書レイアウトパターンを開示している。本発明とは対照的に、これらの参考文献は、画質およびオーディオ操作が強調された状態で、消費者電子デバイス（例えばＤＶＤまたはＶＣＤプレイヤ）および適切な符号器をもつコンピュータで表示可能な高解像度のスライドショーとして、オーディオおよび静止画を制作し表現することに向けられていない。
【０００９】
「マルチオーディオストリームを符号化するための方法」という名称の国際公開ＷＯ／００３５１９４号は、媒体（例えばコンパクトディスク）に多数のオーディオ情報を符号化できるようにする、多数のサウンドストリームを伴うビデオストリームまたは静止画を符号化するための方法およびシステムを開示している。該方法は、コンパクトディスクへのビデオ情報を伴う数多くの歌の記憶および再生を可能にする。これとは対照的に、本発明は、（画像の強調および制作および高解像度のスライドショー表現による）画像表現品質の強調ならびに視聴覚享受体験（音声コメントおよびミュージック／ソングクリップのオーディオ制作および視聴覚娯楽の組合せによる）に向けられている。
【００１０】
本発明中の「高解像度」という語は、ビデオコンパクトディスク仕様書により規定されている通り、ＮＴＳＣでは３５２×２４０、ＰＡＬシステムでは３５２×２８８の標準解像度に関係づけた、ＮＴＳＣシステムで７０４×４８０，ＰＡＬシステムで７０４×５７６の空間解像度をもつ画像を意味する。これとは対照的に、いくつかの先行する開示は、一群の静止画像の組合せにより単一画像の解像度／画質を強調することを意図していた。例えば、「標準的記憶媒体上に記憶するための高解像度の静止画像およびビデオ画像の符号化および復号化用装置」という名称の米国特許第４，８２５，３０１号は、各グループが画像の複数の異なる画素に対応する複数の信号グループへと信号を分割することによって、従来の記録媒体（例えばＶＣＲテープ）上で静止画を符号化するための装置を開示している。「高解像度静止画を作り出すための方法および処理」という名称の米国特許第６，３４９，１５４号は、動き補償された予測符号化の後、低解像度ピクチャシーケンスから高解像度静止画を作り出すための方法を開示している。「低解像度動画像シーケンスから高解像度画像を作り出すためのシステム」という名称の欧州特許第０７３１６００号は、凸面方式上への投射に基づくビデオシーケンスから高解像度静止画を作り出すための方法を開示している。
【００１１】
本発明は、上述の欠点を克服するために意図されている。より具体的に言うと、より高い画像およびスライドショー表現品質を提供できる、容易で楽しく費用および時間効果の高いマルチメディア制作システムに対するニーズが存在している。本発明は、ＶＣＤ／ＤＶＤプレイヤで再生できる標準解像度のものよりも高い空間解像度と画質をもつコンパクトディスク上のマルチメディアスライドショー／アルバムとしてオーディオおよびビデオ情報を制作するためのシステムおよび方法に向けられている。かくして、本発明は、このような容易で楽しく、かつコストおよび時間効果の高いマルチメディア制作システムおよび方法を提供する。
【００１２】
【特許文献１】米国特許第６，０８４，５８２号明細書
【特許文献２】米国特許第５，８９２，５０７号明細書
【特許文献３】米国特許第６，０８１，２６１号明細書
【特許文献４】国際公開第ＷＯ／００３５１９４号パンフレット
【特許文献５】米国特許第４，８２５，３０１号明細書
【特許文献６】米国特許第６，３４９，１５４号明細書
【特許文献７】欧州特許第０７３１６００号明細書
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明の１つの目的は、ＶＣＤ／ＤＶＤプレイヤで再生できる標準解像度のものよりも高い空間解像度と画質をもつ、コンパクトディスクのマルチメディアスライドショー／アルバムとして、オーディオおよびビデオ情報を制作するためのシステムおよび方法を提供することにある。本発明のもう１つの目的は、このような容易で楽しく、かつコストおよび時間効果の高いマルチメディア制作システムおよび方法を提供することにある。
【００１４】
これらの目的は、例として示されているにすぎず、かかる目的は、本発明の１つまたは複数の実施形態の典型でありうる。開示された発明によって本質的に達成されるその他の望ましい目的および利点は、当業者であれば思いつくことができ、明白になると思われる。
【課題を解決するための手段】
【００１５】
本発明の１つの態様によると、スライドショーを制作する方法が提供される。この方法は、
複数のデジタル画像をアクセスする段階と、複数のデジタル画像の各々を符号化して、標準解像度の画像部分と高解像度の画像部分を生成する段階と、それぞれ対応する標準および高解像度の画像部分を多重化して単一の高解像度静止画像を生成する段階と、各高解像度静止画像について時間パラメータを決定する段階と、および該複数の高解像度静止画像を連結して、決定された時間パラメータに従って無声スライドショーを生成する段階と、を有してなる。
【００１６】
発明のもう１つの態様によると、マルチメディアスライドショーを制作する方法が提供されている。この方法は、複数のデジタル画像を選択する段階と、複数のデジタル画像の各々を符号化して標準解像度画像部分および高解像度画像部分を生成する段階と、それぞれ対応する標準および高解像度画像部分を多重化して単一の高解像度静止画像を生成する段階と、各高解像度静止画像について時間パラメータを決定する段階と、該複数の高解像度静止画像を連結してビデオビットストリームを生成する段階と、オーディオ部分を符号化することによりオーディオビットストリームを生成する段階と、ビデオビットストリームおよびオーディオビットストリームを多重化してマルチメディアスライドショーを生成する段階と、を有してなる。
【００１７】
本発明のさらなる態様によると、スライドショーを制作するシステムが提供される。このシステムは、複数のデジタル画像をアクセスする手段と、複数のデジタル画像の各々を符号化して、標準解像度の画像部分と高解像度の画像部分を生成する手段と、それぞれ対応する標準および高解像度の画像部分を多重化して単一の高解像度静止画像を生成する手段と、各高解像度静止画像について時間パラメータを決定する手段と、該複数の高解像度静止画像を連結して、決定された時間パラメータに従って無声スライドショーを生成する手段と、を含んでなる。
【００１８】
本発明のさらなる一態様によると、マルチメディアスライドショーを制作するシステムが提供される。該システムは、複数のデジタル画像を選択する手段と、複数のデジタル画像の各々を符号化して標準解像度画像部分および高解像度画像部分を生成するための手段と、それぞれ対応する標準および高解像度画像部分を多重化して単一の高解像度静止画像を生成する手段と、各高解像度静止画像について時間パラメータを決定する手段と、複数のデジタル画像のうちの少なくとも１つについてオーディオ部分を選択する手段と、該複数の高解像度静止画像を連結してビデオビットストリームを生成する手段と、オーディオ部分を符号化することによりオーディオビットストリームを生成する手段と、ビデオビットストリームおよびオーディオビットストリームを多重化してマルチメディアスライドショーを生成する手段と、を含んでなる。
【発明を実施するための最良の形態】
【００１９】
発明の上述のおよびその他の目的、特徴および利点は、添付図面に例示されている通り、本発明の好ましい実施形態についての以下のさらに具体的な説明から明らかになることだろう。
【００２０】
以下に記すのは、図面を参照した本発明の好ましい実施形態の詳細な説明である。なお図面中、同じ参照番号は、複数の図において同じ構成要素を示している。
【００２１】
一般に、本発明は、画像の強調および制作と、オーディオ制作と、単一の高解像度静止画像の制作と、いくつかの画像を順次表示する無声スライドショーの制作と、オーディオを伴うマルチメディアスライドショーの制作、という特徴を含む、ソフトウェア／ハードウェアプレイヤを備えるコンピュータシステムまたはＶＣＤ／ＤＶＤプレイヤで再生することのできる高解像度マルチメディアプログラムとして、デジタルオーディオクリップおよび画像を制作するシステムおよび方法を提供する。
【００２２】
本発明は、以下のような利点を有する。すなわち、本発明のマルチメディア表現およびエンタテインメントの質は、画像の強調および制作、オーディオ制作、高解像度静止画の制作、および組合せ型オーディオおよびビデオ符号化によって強調される。本発明のビット割当て方式を用いることにより、本発明は、より低コストの媒体（すなわちコンパクトディスク対ＤＶＤ）、デバイス（ＣＤライタ対ＤＶＤライタ）および技術（ＭＰＥＧ−１対ＭＰＥＧ−２）を使用して、ＤＶＤと類似の空間解像度を提供する。本発明の場合、符号化されたビットストリームをＶＣＤ／ＤＶＤプレイヤで再生することができる。さらに、高解像度プログラムは、標準解像度のものよりも約４倍高い解像度を有し、これらは、画像表現品質を大幅に向上させる。
【００２３】
本発明による好ましい実施形態は、標準的にソフトウェアプログラムとして実現されることになるということで説明するという点を指摘しておく。当業者であれば、かかるソフトウェアと均等物をハードウェアの形でも構築できるということを認識するだろう。画像操作アルゴリズムおよびシステムは周知であることから、本発明の説明は、特に、本発明によるシステムおよび方法の一部をなすかまたはそれとより直接的に共働するアルゴリズムおよびシステムに向けられることになる。本明細書で具体的に示されず又説明されていないこのようなアルゴリズムおよびシステムのその他の面およびそれに関与する画像信号を生成しその他の形で処理するためのハードウェアおよび／またはソフトウェアは、当該技術分野で既知のかかるシステム、アルゴリズム、コンポーネントおよび素子の中から選択可能である。後述の構成要素の中で本発明に従って記述されている通りのシステムを仮定した場合、発明の実現にとって有用であるが本明細書に具体的に示されたり示唆または記述されたりしていないソフトウェアは、従来通りのものであり、かかる技術分野の現状の範囲内に入るものである。
【００２４】
本明細書で使用されているように、コンピュータプログラムは、例えば、（ハードドライブまたはフロッピーディスクといった）磁気ディスクまたは磁気テープといった磁気記憶媒体と、光ディスク、光学テープまたは機械読取り可能なバーコードといった光学記憶媒体と、ランダムアクセスメモリ（ＲＡＭ）または読取り専用メモリ（ＲＯＭ）といった固体電子記憶デバイスと、またはコンピュータプログラムを記憶するために利用されるその他のあらゆる物理的デバイスまたは媒体を含むことのできるコンピュータ読取り可能な記憶媒体の中に記憶できるという点にも留意すべきである。
【００２５】
さらに、本発明は好ましくは、パーソナルコンピュータといった周知のあらゆるコンピュータシステムで利用されるという点も指摘しておく。したがって、かかるコンピュータシステムについて、ここでさらに詳しく論述することはしない。又、（例えばデジタルカメラにより）コンピュータシステムに画像を直接入力するかまたは（例えばハロゲン化銀プリントまたはネガの走査などといった原稿の走査により）コンピュータシステムに入力する前にデジタル化することができるということを指摘しておくことも有益である。
【００２６】
スライドショー（Slide show またはslideshow）が、画像のコレクションであることを指摘しておく。このスライドショーは又、電子フォトアルバム、デジタルフォトアルバムまたはマルチメディアアルバムと称することもできる。かかるスライドショー／アルバムは、アルバムのコンテキストやプレゼンテーションを強調するため、ビデオクリップ、オーディオクリップ、音声コメント、テキスト、ミュージッククリップ等を含むことができる。かくして、スライドショー／アルバムは、マルチメディアスライドショーまたはマルチメディアアルバムと呼ぶことができる。スライドショーの各「スライド」は、スライドショーが順次一連の静止画像および／またはビデオクリップを表示する、画像および／またはビデオクリップのコレクションの１つを示す、１つのスクリーンまたはディスプレイに対応する。
【００２７】
図１を参照すると、本発明を実施するためのシステム１１０が示されている。システム１１０は好ましい実施形態を例示する目的で示されているが、本発明は、このシステム１１０に制限されるわけではなく、家庭用コンピュータ、キオスク、小売りまたは卸売りの現像設備またはデジタル画像処理用のその他のあらゆるシステムといった任意の電子処理システムでよい。システム１１０は、ソフトウェアプログラムを受信し処理するためおよびその他の処理機能を実施するためのマイクロプロッセッサベースのユニット１１２を含む。グラフィカルユーザインタフェース等を用いて、ソフトウェアと結びつけられたユーザ関連情報を表現するために、マイクロプロセッサベースのユニット１１２に対し、ディスプレイ１１４が電気的に接続される。ユーザがソフトウェアに対し情報を入力できるようにするため、マイクロプロセッサベースのユニット１１２に対しキーボード１１６を接続することができる。入力にキーボード１１６を用いる代わりに、当業者にとって周知のように、ディスプレイ１１４上でセレクタ１２０を移動させるためおよびセレクタ１２０が上にオーバーレイする項目を選択するために、マウス１１８またはその他の入力デバイスを使用することができる。
【００２８】
ソフトウェアプログラムを標準的に含むコンパクトディスク読取り専用メモリ（ＣＤ−ＲＯＭ）が、マイクロプロセッサベースのユニット１１２に対しソフトウェアプログラムおよびその他の情報を入力する手段を提供する目的で、マイクロプロセッサベースのユニットに挿入される。さらに、フロッピーディスク１２６も又ソフトウェアプログラムを含むことができ、ソフトウェアプログラムの入力のためにマイクロプロセッサベースのユニット１１２に挿入される。あるいは、コンパクトディスク読取り専用メモリ（ＣＤ−ＲＯＭ）１２４またはフロッピーディスク１２６を、マイクロプロセッサベースのユニット１１２と電気的に接続する外部のディスクドライブユニット１２２に挿入することもできる。さらには、ソフトウェアプログラムを内部に記憶するため、当該技術分野において周知であるように、マイクロプロセッサベースのユニット１１２をプログラミングすることができる。マイクロプロセッサベースのユニット１１２は、又、１つまたは複数のコンピュータまたはその他のシステム１２５の外部ネットワークに対するインターネット接続、ローカルエリアネットワークまたは電話回線といったネットワーク接続１２７を備えることもできる。システム１１０からの出力のハードコピーを印刷するため、マイクロプロセッサベースのユニット１１２に対しプリンタ１２８を接続することもできる。
【００２９】
画像は、従来知られていたように、カード１３０内に電子的に具現されたデジタル画像を含むＰＣＭＣＩＡカード（パーソナルコンピュータメモリーカード国際協会の仕様に基づく）といったパーソナルコンピュータカード（ＰＣカード）１３０を用いて、ディスプレイ１１４に表示することができる。ＰＣカード１３０は、究極、ディスプレイ１１４上での画像の視覚的表示を可能にするため、マイクロプロセッサベースのユニット１１２に挿入される。あるいは、ＰＣカード１３０を、マイクロプロセッサベースのユニット１１２と接続される外部のＰＣカード読取り装置１３２に挿入することができる。コンパクトディスク１２４、フロッピーディスク１２６またはネットワーク接続１２７を用いて、システム１０に対し画像を入力することもできる。ＰＣカード１３０、フロッピーディスク１２６またはコンパクトディスク１２４に記憶されたまたはネットワーク接続１２７を通して入力されたあらゆる画像が、デジタルカメラ（図示せず）またはスキャナ（図示せず）といった、当業者にとって既知の種々の供給源から得たものとすることができる。画像は又、マイクロプロセッサベースのユニット１１２と接続されるカメラドッキングポート１３６を用いて、デジタルカメラ１３４から直接入力されてもよいし、又、マイクロプロセッサベースのユニット１１２へのケーブル接続１３８を用いてまたはマイクロプロセッサベースのユニット１１２に対し無線接続１４０を用いて、デジタルカメラ１３４から直接入力されてもよい。
【００３０】
ＭＰＥＧ−１は、周知の規格である。ＭＰＥＧ−１を用いて、静止画（すなわちデジタル静止画）を符号化するためには、Ｉ−フレーム（イントラフレーム）しか符号化する必要がなく、Ｐ−フレーム（予測フレーム）もＢ−フレーム（双方向予測フレーム）も存在しない。復号バッファのアンダーフローおよびオーバーフローを確実に無くすためには、定ビットレートを維持すべく、パディング（padding）パケットを挿入する必要がある。パディングパケットは、復号器により無視されるスタッフィング（stuffing）バイドである全ての０ｘＦＦ（全ての１６進値の前には０ｘがつく）を含む。この結果、望ましくない状況が発生する。一方において、Ｉ−フレームの空間解像度は標準解像度に制限され、場合によってブロッキングアーチファクトを伴う。他方において、所要のビットレートを維持するために、追加のスタッフィングバイトを挿入しなければならない。本発明は、高解像度スチールのビデオＣＤ２．０仕様によって達成されるＩ−フレームの解像度向上のために、スタッフィングバイトを採用する。Ｉ−フレームまでの動きに割当てられたビットをトレードすることにより、静止画およびマルチメディアスライドショーの空間解像度を４倍高い解像度で、符号化することができ、かくしてさらに高い表現品質が得られる。
【００３１】
ここで図２を参考にしながら、本発明の方法について説明する。図２は、単一の混合解像度静止画、いくつかの静止画を順次表示する無声高解像度スライドショー、およびオーディオを伴うマルチメディア高解像度スライドショーとしての、デジタルオーディオクリップおよびデジタル画像の制作を図示する。より具体的には、図２に示すように、高解像度スライドショーを制作する方法は、一般に １）画像の強調と制作、２）オーディオ制作、３）単一の混合解像度静止画の制作、４）いくつかの静止画像を順次表示する無声スライドショーの制作、および５）オーディオを伴うマルチメディアスライドショーの制作、と称する５つの段階を含む。制作されたスライドショーは、ソフトウェア／ハードウェアプレイヤを備えるコンピュータまたはＶＣＤ／ＤＶＤプレイヤで表現し／見直すことができる。
【００３２】
単一の混合解像度静止画（すなわちデジタル静止画像）の符号化について、ここで、図２を参考にしながら説明する。参照番号２１０は、制作すべき複数（Ｎ）のデジタル画像を表す。画像強調および制作モジュール２２０（これについては以下でより具体的に記述する）を用いて、各画像２１０はまず最初にＹＵＶカラー空間に変換され、４：２：０のフォーマットにサブサンプリングされ、８×８のブロックに分割され、ＤＣＴ変換の後にハフマン符号化される。より具体的には、各チャンネルは、８×８ブロックに分割され、空間相関を除去すべく２Ｄ離散コサイン変換（ＤＣＴ）により符号化される。さらに、量子化およびハフマン符号化により、シンボル冗長性が除去される。こうして、標準解像度のＤＣＴ符号化ピクチャ（画）２３０および高解像度のＤＣＴ符号化ピクチャ２４０が生成される。標準解像度２３０および高解像度２４０のＤＣＴ符号化ピクチャは、次にＶＣＤ仕様２．０に従って混合解像度静止画２５０として多重化／インタリーブされる。この混合解像度静止画２５０は、標準解像度２３０でのＤＣＴ符号化ピクチャ（画）よりも高い解像度を有し、したがって高解像度静止画２５０と称する。高解像度静止画２５０は、ＮＴＳＣで７０４×４８０またはＰＡＬで７０４×５７６の空間解像度を有するＶＣＤ／ＤＶＤプレイヤを用いて、テレビにて見／表現することが可能である。
【００３３】
タイミングパラメータ２７０が利用可能な場合、図２に示すように、Ｎ個の入力画像を、さらに単一の無声高解像度スライドショー２８０として制作することができる。（５秒といったタイミングパラメータ２７０のためのデフォルト値または予め定められた値を利用することができることを指摘しておく）。タイミングパラメータ２７０は、１つの画像がディスプレイ１１４上にとどまりかつオーディオビットストリームとビデオビットストリームとの間の同期を維持すべき、時間長を規定する。タイミングパラメータ２７０は、入力デバイス１１８、セレクタ１２０、キーボード１１６、ユーザ対話、パラメータファイルまたはオーディオ制作モジュール２９０を通して、規定することができる。定ビットレートを維持するためには、パディングパック２６０を、２つの高解像度静止画２５０の間に挿入し、これにより、次のピクチャ（画）に切換えられその次のピクチャがディスプレイ１１４に表示されるまでの規定の秒数だけ、ディスプレイ１１４に先行ピクチャが表示されるようにすることができる。パディングパック２６０は、スタッフィングバイト０ｘＦＦで埋められたパックである。スタッフィングバイトは、特定の意味をもたず、定ビットレートを維持するためのものである。パディングパックの数ＮＰは、ディスプレイの秒数Ｔと、ＤＣＴ符号化標準解像度ピクチャを保持するパックの数ＮＮと、ＤＣＴ符号化高解像度ピクチャ２４０を保持するパックの数ＮＨと、により、以下のアルゴリズムに従って決定できる。
ＮＰ＝Ｔ*７５−（ＮＮ＋ＮＨ）
なお上式中、秒は、７５パックに相当する。
【００３４】
タイミングパラメータ２７０は、各画像２１０について同じ値である必要はないことを指摘しておく。すなわち、各画像２１０がディスプレイ１１４に表示される時間は可変である。例えば、表示時間を無作為（ランダム）に決めることが望ましい場合がある。あるいは、画像のコンテンツに基づいて各画像用の表示時間を決めることが望ましい場合もあり、この場合、人間の画像は時間Ｔime１の間表示され、景色の画像はＴime１とは異なる時間Ｔime２で表示される。
【００３５】
さらに図２を参照すると、オーディオ２０６を含めて無声スライドショー２８０を強調し、これによりマルチメディアスライドショー３２０を生成することができる。このために、オーディオ２０６は、異なる範囲をもつ画像について選択された１つまたは複数のバックグラウンドミュージッククリップ２０６を含むことができる。例えば、１つのミュージッククリップを画像２１０（Ｎ＝１〜１０）に、画像２１０（Ｎ＝１１〜１５）については無声、そしてもう１つのミュージッククリップを画像２１０（Ｎ＝１６〜３０）にそれぞれ適用することができる。さらに、オーディオ２０６は、任意の画像２１０に適用する音声コメント２０６を含むことができる。例えば、ユーザは、特定の画像についての情報を記録するためマイクロホンに話を入力することができる。オーディオ２０６は、オーディオ制作モジュール２９０に転送される。オーディオ制作モジュール２９０からのタイミングパラメータ２７０は、無声スライドショー２８０を生成するために使用され、その２９０からの正規化されたオーディオは、オーディオビットストリーム３１０を生成するためにデジタルオーディオ符号化／圧縮モジュール３００に送られる。無声スライドショー２８０からのビデオビットストリームおよびオーディオビットストリーム３１０は、オーディオを伴う単一のマルチメディアスライドショー３２０として多重化される。マルチメディアスライドショー３２０はソフトウェアから提供でき、あるいはそうでなければ、ＶＣＤ／ＤＶＤプレイヤを用いたディスプレイ用のＶＣＤまたはＤＶＤにマルチメディアスライドショー３２０をバーンインすることもできる。Loui et alの名で２００１年６月２０日付けで提出され本出願の譲受人に対し譲渡された「マルチメディア使用可能ディスクを立案するためのシステムおよび方法」という名称の共通譲渡された米国特許出願第０９／８８５，５７７号を参照されたい。
【００３６】
図３は、より具体的に、画像強調制作モジュール２００について示す。１つの目標は、正しい解像度をもつ画像データを作ることにあり、もう１つの目標は、画像表現の質を強調することにある。この目的のため、各画像２１０は、画像入力インタフェース２１１を介してコンピュータメモリに読み込まれる。画像入力インタフェース２１１は、一般に利用される画像ファイルフォーマット（例えばＪＰＥＧ、ＧＩＦ、ＴＩＦＦ、ＢＭＰ等）や種々のデバイス（例えばハードディスク、メモリーカード、メモリースティック、フラッシュカード、コンパクトディスク、フロッピーディスク等）に記憶された画像データを受入れるように、構成されるべきである。各画像２１０はまず最初に適切な向き２１２に再方向付けされる（例えば肖像画または景色）。これは、ユーザ対話または画像解析を通して画像からの自動方式によって達成可能である。
【００３７】
画質を強調するためには、画像に対し種々の画像強調アルゴリズム２１３が適用される。かかる画像強調の例としては、カラーバランス、雑音軽減、エッジ鮮鋭化、赤目検出および補正、トーンスケール調整、およびその他の標準的画像強調アルゴリズム等が含まれる。
【００３８】
画像強調２１３が適用された後、その他のテクスチュアを複合画像２１４として画像上にオーバーレイすることができる。テクスチュアの例としては、バックグラウンドテクスチュア、画像用のフレーム修飾、会社ロゴなどが含まれる。画像コンテンツに対し、テキストコメント２１５（例えば題名、主題、人物、時、場所等）も付加することができる。そしてこの画像は、同じ画像コンテンツをもつ標準解像度画像と高解像度画像とに２回リサイジングされる（２１６）。各バージョンは、ＭＰＥＧ−１  Ｉ−フレーム符号化構文に従って別々に符号化される。上述のようにして、標準解像度２３０でのＤＣＴ符号化ピクチャ２３０と、高解像度でのＤＣＴ符号化ピクチャ２４０とが生み出される。
【００３９】
図４は、画像強調操作２１３についてより具体的に示す。特に、画像強調２１３は好ましくは当初、非鮮鋭マスキングによる画像鮮鋭化４１０、すなわち、原画から画像のぼけたバージョンを削除することが含まれる。その後、好ましくは、強調された黒色プリントアルゴリズムを用いて、すなわち、高周波チャンネルの変化により示される雑音指数に基づき画像を適応的にフィルタすることによって、ノイズ軽減２４０が達成される。画像理解アルゴリズムを画像に適用して、赤目を検出し補正することができる（４３０）。さらに、画像を強調するために、トーンスケール調整４４０およびカラーバランス４５０を適用することもできる。
【００４０】
ここで、図５を参照しながら、オーディオ組合せモジュール２９０について具体的に説明する。一般に、オーディオ組合せモジュール２９０は、多数のオーディオストリームを単一の正規化されたオーディオストリームに組合せ、オーディオ／ビデオ同期のためにタイミングパラメータを自動的に計算する。
【００４１】
上述のように、オーディオ２０６は、１つまたは複数のバックグラウンドミュージッククリップおよび／または音声コメントを含むことができる。オーディオ抽出２９２は、外部デバイス（例えばハードディスク、コンパクトディスク、メモリカード、フロッピーディスク等）から、コンピュータメモリにデジタルオーディオサンプルを読み込む。デジタルオーディオ信号は、マイクロソフトウェーブファイル、ＭＰＥＧオーディオファイル（階層Ｉ、ＩＩおよびＩＩＩ）、Apple／ＳＧＩAiffファイル、NeXT（Sun au/sndファイル、SoundBlaster vocファイル、Turtle beach Sample Vision smpファイルまたはストリーミングオーディオインローフォーマットといった種々のファイルフォーマットで記憶可能である。オーディオは、音声コメント、ミュージッククリップ、歌またはバックグラウンドサウンド等である。
【００４２】
入力されたオーディオストリームは、例えばステレオ、１６ビット／サンプル、４４．１ｋＨｚといった正規化仕様に合わせ、オーディオ正規化２９４において正規化される。この正規化は、サンプリング速度の変更（例えば８ｋＨｚから４４．１ｋＨｚへ）、サンプル精度の変更（例えば８ビット／サンプルから１６ビット／サンプルへ）、チャンネル数の変更（例えばモノからステレオへ）、および／またはファイルフォーマットの変更を含むことができる。
【００４３】
画像正規化２９４の後に続くのは、オーディオアラインメント２９６のステップである。より具体的には、オーディオアラインメントは、同じ時間的次元に沿って多数のオーディオストリームを登録し、タイミングパラメータ２７０を計算する。各画像２１０は、その対応するオーディオ／音声コメントが開始した時点で現れなければならず、各画像２１０は、オーディオ／音声コメントが終わるまで表示されなければならない。さらに、特定のバックグラウンドミュージッククリップ全体にわたり、可能なかぎり均等に画像を分布させるべきである。
【００４４】
ここで、一例を参照しながら、オーディオアラインメントについてより具体的に説明する。なおこの例において、
ｉは、Ｎ個の入力画像２１０のための画像指標であり、
ｔｉは、ディスプレイ上のｉ番目の画像についての秒単位の継続時間であり、
ｔｄは、ディスプレイ上の１つの画像についての秒単位のデフォルト継続時間（例えば５秒）であり、
ｔｍは、秒単位の最小継続時間であり（例えば０．５秒）、
ｔｓは、ミュージッククリップのための継続時間であり、そして
ａｉは、ｉ番目の画像上の音声コメントについての秒単位の継続時間である。
【００４５】
複数（Ｎ）の画像についていかなるサウンドも（音楽も音声も）選択されない場合には、ｔｉ＝ｔｄ、ｉ＝１，…Ｎである。かくして、各画像２１０は、ｔｄ秒間表示され、無声スライドショー２８０の持続時間はｔｄ*Ｎ秒である。
【００４６】
音声コメントが存在し、バックグラウンドミュージックは全く規定されていない場合、ある特定の画像についての継続時間は、その画像上の音声コメントの継続時間によって決定され、具体的には０＜＝ａｉ＜ｔｄの場合ｔｉ＝ｔｄであり、そうでなければｔｉ＝ａｉである。換言すると、１つの画像上に音声コメントが全く無いかまたはそのコメントの長さがデフォルト継続時間ｔｄよりも短かい場合には、ｔｉはデフォルト値ｔｄをとる。そうでなければ、ｔｉは実際の音声コメント継続時間をとる。すなわち音声コメントが存在するときにディスプレイ１１４に画像が表示される。
【００４７】
単一の音楽または歌が存在し、いかなる音声コメントも存在しない場合、各画像は等しい時間長だけ表示され、具体的にはｔｉ＝ｔｓ／Ｎである。多数のミュージッククリップが存在する場合、該ミュージッククリップは好ましくは、単一のミュージッククリップとしてまず連結（concatenate）される。残りは、単一のバックグラウンドミュージッククリップの場合にならう。
【００４８】
複数の画像について、ミュージッククリップおよび音声コメントの両方が特定されている場合、考えられる処理が３つある。（１）全ての音声コメントについての合計継続時間がミュージッククリップの時間よりも長い場合、オーディオストリームは同じミュージッククリップ（またはゼロオーディオサンプル）でパディングされる。残りは、コメントのみを伴う状況にならう。（２）長いミュージッククリップが選択された場合（すなわち、平均継続時間内で全ての音声コメントに合わせるのに十分なほど継続時間が長い場合）には、ｔｉ＝ｔｓ／Ｎである。これは、ミュージッククリップのみの状況と類似している。（３）第３の処理は、具体的には一部の音声コメントが平均継続時間に比べ長い継続時間をもち、合計音声コメント継続時間がミュージッククリップの継続時間より短かい場合であり、幾分複雑になる。この処理では、一度に１つの継続時間を１つの画像について割当てるために、好ましくは、再帰的方法が採用される。１つの画像は、コメント継続時間またはデフォルト継続時間のいずれかをとる。Ｎ個の画像のうちの１つに割当てられた時間は、残りの（Ｎ−１）個の画像のために利用可能な合計時間から、差し引かれる。処理は、全ての画像に継続時間が割当てられるまで繰り返される。
【００４９】
オーディオアライメント２９６が完了した後、異なるオーディオストリームからのオーディオサンプルは、オーディオ組合せモジュール２９８で特定された強調を伴った単一ストリームとして組合わされる。各時間インスタンスにおいて、オーディオサンプルｘは、音声コメントｘ１とバックグラウンドミュージック／歌ｘ２とのリニアな組合せとして取り出され、ここに
ｘ＝（ａ）（ｘ１）＋（１−ａ）（ｘ２）
である。なお上式中、ａは、０と１の間の重みである。音声コメントが存在する場合、バックグラウンドミュージック／歌の音量は低下させられて、フォアグラウンド音声コメントが強調される。
【００５０】
オーディオ組合せの例が図６に示されている。音声コメント２２２からのオーディオサンプルが、組合わされたオーディオストリーム２２６の中で強調される。バックグラウンドミュージックの音量は、音声コメントが存在するとき（標準から）低下させられ、音声コメントが完了した後、標準まで上げられる。オーディオサンプルの遷移は、平滑な遷移として、低から高へおよび高から低に漸進的に実施できる。
【００５１】
したがって、オーディオ組合せモジュール２９０は、正規化されたオーディオを提供し、このオーディオはデジタルオーディオ符号化／圧縮モジュール３００まで移行し、オーディオビットストリーム３１０を生成する。
【００５２】
ここで図７を参照すると、オーディオ制作の一例が示されている。図７は、複数（６個）の入力画像２１０（Ｎ＝１〜６）を示す。音声コメント２２２が、画像１、２、４および６に加えられる。２つのミュージック／歌クリップ２２４、つまり画像１〜２上のものと画像４〜５上のものが特定されている。この例については、（ｉ）画像３について特定されたオーディオは全く無く、（ii）画像６についてのみ音声コメントが存在し、（iii）画像５についてのみミュージッククリップが存在し、（iv）画像１、２および４について音声コメントおよびミュージッククリップの両方が存在する。より具体的には、ミュージッククリップ２２４−１は、画像１および２がディスプレイ上にあるときに再生される。音楽の音量は、音声コメントが画像１および２の表示中に再生される場合に、低下させられる。画像３は、全くオーディオ無しで表現され、デフォルト継続時間によって規定されるたｔｄ秒間とどまる。ミュージッククリップ２２４−２は、ディスプレイ１１４上で画像４および５が表示されるときに再生される。画像６は、ディスプレイ１１４上でｔｄ秒間表示され、最初のａ６秒は音声コメントを伴い、残りは無声である。より具体的には、参照番号２２６は、ミュージッククリップ全体にわたり音声コメントを伴う組合せ型オーディオが存在する時間を表し、参照番号２２８は、オーディオが全く存在しない時間（すなわち音声コメントもミュージッククリップも無い）を表す。
【００５３】
図７に例示されている各画像が、図７の時間線によって示されるように、等しい時間長で表示されている、という点に留意されたい。しかしながら、上述のように、本発明は、各画像についての表示時間を可変にして実施することができる。
【００５４】
本発明のシステム１１０は、デジタルカメラ、ＰＤＡ（携帯端末）または携帯／自動車電話でありうる。例えば、図８は、ディスプレイ５０２および選択部５０４を有するデジタルカメラ５００を示す。デジタルカメラ５００がマイクロプロセッサ（ＣＰＵ）、メモリおよびオーディオ機能をもつ場合、それは、本発明の方法を実施できる。同様に、図９は、ディスプレイ５０８および選択部５１０をもつ携帯／自動車電話を示す。携帯／自動車電話５０６がマイクロプロセッサ（ＣＰＵ）、メモリおよびオーディオ機能をもつ場合、それは、同じく、本発明の方法を実施することができる。通信は、例えば無線ネットワーク、インターネットまたは電話回線といった当業者にとって既知のネットワーク上で行うことができる。
【図面の簡単な説明】
【００５５】
【図１】本発明によるシステムの特徴を一般的に示す図である。
【図２】単一の混合解像度の静止画、いくつかの静止画像を順次表示する無声高解像度スライドショーおよびオーディオを伴うマルチメディア高解像度スライドショーとしてのデジタルオーディオクリップおよびデジタル画像の制作を示す図である。
【図３】静止画像の制作を示すブロック図である。
【図４】各種画像強調操作を示す図である。
【図５】デジタル音楽および音声コメントの制作を示すブロック図である。
【図６】オーディオ組合せおよび音声コメントおよびバックグラウンドミュージックを示す図である。
【図７】本発明によるオーディオ制作の例を示す図である。
【図８】本発明の方法を実践するのに用いることのできるデジタルカメラを一般的に示す図である。
【図９】本発明の方法を実践するのに用いることのできる携帯／自動車電話を一般的に示す図である。
【符号の説明】
【００５６】
１１０…システム
１１２…マイクロプロセッサベースのユニット
１１４…ディスプレイ
１１６…キーボード
１１８…マウス（入力デバイス）
１２０…ディスプレイ上のセレクタ
１２２…ディスクドライブユニット
１２４…コンパクトディスク読取り専用メモリ
１２５…外部ネットワーク
１２６…フロッピーディスク
１２７…ネットワーク接続
１２８…プリンタ
１３０…ＰＣカード
１３２…ＰＣカード読取り装置
１３４…デジタルカメラ
１３６…デジタルカメラドッキングポート
１３８…ケーブル接続
１４０…無線接続
２０６…デジタルオーディオ（例えばミュージッククリップまたは音声コメント）
２１０…デジタル画像
２１１…画像入力インタフェース
２１２…画像方向付け
２１３…画像強調
２１４…画像制作／複合
２１５…テキストコメント
２１６…画像リサイズ決定
２２０…画像強調の制作モジュール
２２２…音声コメント
２２４…ミュージッククリップ
２２６…ミュージッククリップ上の音声コメントを伴う組合せ型オーディオ
２２８…無声オーディオ
２３０…標準解像度のＤＣＴ符号化ピクチャ
２４０…高解像度のＤＣＴ符号化ピクチャ
２５０…混合解像度高解像度静止画
２６０…パディングパック
２７０…タイミングパラメータ
２８０…無声スライドショー
２９０…オーディオ強調モジュール
２９２…オーディオ抽出
２９４…オーディオ正規化
２９６…オーディオアラインメント
２９８…オーディオ組合せモジュール
３００…デジタルオーディオ符号化モジュール
３１０…オーディオビットストリーム
３２０…マルチメディアスライドショー、オーディオ付き
４１０…エッジ鮮鋭化
４２０…雑音軽減
４３０…赤目検出および補正
４４０…トーンスケール調整
４５０…カラーバランス
５００…デジタルカメラ
５０２…ディスプレイ
５０４…選択部
５０６…携帯／自動車電話
５０８…ディスプレイ
５１０…選択部
【図１】
2004194338.tif 000003
【図２】
2004194338.tif 000004
【図３】
2004194338.tif 000005
【図４】
2004194338.tif 000006
【図５】
2004194338.tif 000007
【図６】
2004194338.tif 000008
【図７】
2004194338.tif 000009
【図８】
2004194338.tif 000010
【図９】
2004194338.tif 000011