【手続補正書】
【提出日】平成17年5月30日(2005.5.30)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】      明細書
【発明の名称】  情報処理方法
【特許請求の範囲】
【請求項１】  通信ネットワークを介して端末装置と接続されたサーバーの情報処理方法であって、
音声付の動画像と、複数の静止画像を空間的、時間的にレイアウト配置し、前記動画像が進行するのに合わせて、前記静止画像が一つ一つ開いていくマルチメディアアルバム保持する工程と、
前記端末装置から、前記マルチメディアアルバムへのアクセスの依頼を受ける工程と、
前記端末装置が前記動画と前記静止画を同時に表示可能かを判定する工程と、
前記判定工程で表示できないと判定された場合、前記音声付の動画像と、前記静止画像の再生位置の音声と、前記静止画像を伝送する工程を有することを特徴とするサーバーの情報処理方法。
【請求項２】  通信ネットワークを介してサーバーと接続され、動画像と静止画像を同時に表示できない端末装置の情報処理方法であって、
音声付の動画像と、複数の静止画像を空間的、時間的にレイアウト配置し、前記動画像が進行するのに合わせて、前記静止画像が一つ一つ開いていくマルチメディアアルバムへのアクセスを前記サーバーに依頼する工程と、
前記サーバーより前記音声付の動画像を受信し、再生し、その後、前記静止画像の再生位置の音声と前記静止画像を受信し、再生する工程を有することを特徴とする端末装置の情報処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、マルチメディアをインターネットを通して伝達する、マルチメディアインターネットアプリケーションに関するものである。特にマルチメディアを配置して作成された「マルチメディアアルバム」を携帯電話ような端末装置に表示するというマルチメディアインターネットアプリケーションに関するものである。
【０００２】
【従来の技術】
従来マルチメディアのなかで、特に静止画像については、インターネットを用いたアプリケーションはあまたある。そのなかで本発明に関係する「静止画像共有サービス」に付いてまず説明する。特に当社（キヤノン株式会社）が提供する「キヤノンイメージゲートウェイ（以下ＣＩＧと称す）」を例に説明する。
【０００３】
ＣＩＧでは、まずデジタルカメラ（以下デジカメと称する）で撮影した画像を専用のアプリケーション（ＣＩＧの場合は「ズームブラウザ」というアプリケーション）でパソコンに取り込む。パソコンはインターネットに接続されている。パソコンからインターネットでＣＩＧのサーバーの「自分の領域」に画像をアップする。「自分の領域」とは自分の画像をＣＩＧのサーバーにアップする為に自分に割り当てられた、例えば５０ＭＢのＣＩＧの中のサーバースペースのことである。ＣＩＧのサーバーでは、アップされた画像データから何枚かの画像を選び、背景画像を付与してそれらの画像をレイアウト配置し、「アルバム」を作る。この「アルバム」は、友達などに公開する事ができる。
【０００４】
ＣＩＧでの公開のしかたを次に説明する。上記のように作成された「アルバム」に適当なＵＲＬを動的に割り振る。そのＵＲＬを公開したい友人に電子メール（以下単にメールと称する）などで連絡する。ＵＲＬを知った友人は、一般的なブラウザ（例えばインターネットエクスプローラー）でこのＵＲＬをたたいて「アルバム」を見ることができる。このＵＲＬは長いものが割り振られるので、簡単に他の人が推測したりしてアクセスする事はできない。以上が「アルバム」の公開のしかたである。
【０００５】
以上、静止画から「アルバム」を作り、それを友人等に公開するというＣＩＧのサービスについて説明した。これが静止画を用いたインターネットアプリケーションの代表的な例である。
【０００６】
次に動画のインターネットサービスについて説明する。インターネットでの動画のサービスとして有名なものとして「リアルプレーヤー」や「マイクロソフトメディアプレーヤ」などが有る。これらはいずれも動画を（オーディオと共に）単体で表示する物である。いわゆるストリーミングで動画を観賞するという使い方をする。この場合マルチメディアアプリケーションというよりはやはり動画インターネットアプリケーションと呼ぶべきものであった。（先の静止画の例は、同様に静止画インターネットアプリケーションと呼べる。）
但し、この場合でも、動画をインラインでウェブページ上に表記し、そのウェブページ上に静止画やテキストを表示すれば、そのウェブページは、動画、静止画、テキスト、（オーディオ）を含むマルチメディアをインターネットで提供することができる。
【０００７】
しかしながらこれでは、動画の動きとリンクして静止画が切り替わっていくというような、時間的にもマルチメディア（動画、静止画、テキスト）が融合されたものではなかった。
【０００８】
それに対し、ＭＰＥＧ４という規格が有る。
【０００９】
次にＭＰＥＧ４を用いたマルチメディアのインターネットアプリケーションについて述べる。
【００１０】
ＭＰＥＧ４では、シーンを記述する為のＢＩＦＳというデータを内包している。ＢＩＦＳはＶＲＭＬをベースとしたもので、マルチメディア（動画や静止画、テキストなど）の位置や、マルチメディアを（動画や静止画などを）スタートしたり切り替えたりするタイミング、などを指定することができる。
【００１１】
その結果、ＭＰＥＧ４を用いると単なる動画、単なる静止画などでなく、それらを動的に融合した「マルチメディアアルバム」を作る事ができる。ここで初めて本来の意味のマルチメディアインターネットアプリケーションが成立する。
【００１２】
ＭＰＥＧ４を用いて作成した「マルチメディアアルバム」の例を説明する。このマルチメディアアルバムがパソコン上に表示される。
【００１３】
１０１０には動画が有る。１０２０、１０３０、１０４０にはそれぞれ異なった静止画がある。１０５０にはテキストが表示される。１０７０は動画をスタートさせるボタンであり、ここをクリックすると動画がスタートする。１０６０はストップボタンであり、ここをクリックすると動画の再生が停止される。１０８０は背景であり、適当な静止画から構成される。
【００１４】
１０１０の動画が、１０７０のスタートボタンをクリックする事によりスタートすると、１０２の静止画が表示される。１０３０と１０４０の静止画は表示されず背景となっている。動画の再生が、動画全体の三分の一まで進むと１０３０が表示される。ここでも１０４０はまだ表表示されずその部分には背景が表示されている。１０２０はそのまま表示されている。動画の再生が三分の二まで進むとそこで１０４０の静止画が表示される。ここで全ての静止画が表示された事になる。
【００１５】
１０５０のテキスト部分には、動画の再生開始と共にテキストが表示される。
【００１６】
例えば、動画の内容は今度生まれた赤ちゃんの様子とする。それにつき「マルチメディアアルバム」を作り、おばあちゃん、おじいちゃんに送る例で説明する。この場合、動画は赤ちゃんが、手足をばたばたさせて声をあげながら動いている様子が表示される。それと連動して、先に述べた様に最初に一番上の静止画に赤ちゃんが病院にいる所の写真が表示され、その後動画と連動して表示される２番目の静止画には車で家に帰るところの赤ちゃんが表示され、最後の静止画には、自宅に帰った赤ちゃんが表示される。そしてテキストには、「かわいい赤ちゃんが生まれました」という文書が表示される。
【００１７】
このようにして、単なる動画や、単なる静止画よりずっと楽しい「マルチメディアアルバム」を作る事ができ、おじいちゃん、おばあちゃんを喜ばせる事ができる。おじいちゃん、おばあちゃんに見せる為に、この様にして作られた「マルチメディアアルバム」（これはＭＰＥＧ４データとして一体化されている）をメールに添付してもよいし、また、先の静止画の例であげたような、ＣＩＧのようなサービスを、この「マルチメディアアルバム」に対して行う事により、作成されたマルチメディアアルバムをウェブを通して閲覧することができる。勿論この際には、（再生して閲覧する為には、）このマルチメディアアルバムを再生できるＭＰＥＧ４プレーヤーが、閲覧者のパソコンにインストールされている必要が有る。
【００１８】
以上の様にして、本当の意味でのマルチメディアインターネットアプリケーションをつくることができる。
【００１９】
さて、できたアルバムがさきにのべたＣＩＧサービスのような場合、アルバムは静止画像のみからなっているので、携帯電話でアクセスした場合にも、特に問題となる事は無い。最近は携帯電話はインターネットに接続できるので、携帯電話からＣＩＧにアクセスし、アルバムを見ようとした場合には、サーバーは、接続してきたのが携帯電話であることを判定し、その表示能力に応じて、アルバム全体を示すのでなく、一つ一つの静止画を表示すればよい。
【００２０】
【発明が解決しようとする課題】
ところが、動画と動画の動きにリンクして切り替わっていく静止画とからなる図１のようなマルチメディアアルバムでは、それを携帯電話からアクセスし、携帯電話上で表示するのには問題が有る。即ち、携帯電話では、表示能力の関係で、一度には動画だけか、静止画だけしか表示できないからである。即ちマルチメディアアルバムをそのままの形で表示することができない。
【００２１】
本発明の目的は、マルチメディアアルバムを表示不可能な装置であっても、ユーザの頭の中で全体のマルチメディアアルバムを再構築しやすいようにする技術を提供することである。
【００２２】
【課題を解決するための手段】
上記課題を解決するための情報処理方法は、通信ネットワークを介して端末装置と接続されたサーバーの情報処理方法であって、音声付の動画像と、複数の静止画像を空間的、時間的にレイアウト配置し、前記動画像が進行するのに合わせて、前記静止画像が一つ一つ開いていくマルチメディアアルバム保持する工程と、前記端末装置から、前記マルチメディアアルバムへのアクセスの依頼を受ける工程と、前記端末装置が前記動画と前記静止画を同時に表示可能かを判定する工程と、前記判定工程で表示できないと判定された場合、前記音声付の動画像と、前記静止画像の再生位置の音声と、前記静止画像を伝送する工程を有することを特徴とする。
【００２３】
また、上記課題を解決するための情報処理方法は、通信ネットワークを介してサーバーと接続され、動画像と静止画像を同時に表示できない端末装置の情報処理方法であって、音声付の動画像と、複数の静止画像を空間的、時間的にレイアウト配置し、前記動画像が進行するのに合わせて、前記静止画像が一つ一つ開いていくマルチメディアアルバムへのアクセスを前記サーバーに依頼する工程と、前記サーバーより前記音声付の動画像を受信し、再生し、その後、前記静止画像の再生位置の音声と前記静止画像を受信し、再生する工程を有することを特徴とする。
【００２４】
【発明の実施の形態】
発明の実施の形態としては、携帯電話からアクセスを受けたサーバーは、それが携帯電話からのものであることを判定すると、事前に用意されたマルチメディアアルバムのなかの要素のうちまず動画を配信し、携帯電話上に表示する。次に動画の音声だけをながし、静止画の現れるタイミング（本来は動画と共に現れるタイミング）にその静止画を伝送し、携帯電話の画面上に表示する。
【００２５】
（実施例）
図１に全体の構成を示す。１０１のパソコンでは、例えば図１の様なマルチメディアアルバムを作る。このアルバムでは、先に述べた様に動画の進行に伴って静止画が順に現れる。切り替わっているわけではないが、順に表示されていく。これとは異なる表現として、１つの動画と、１つの静止画からなり、動画の進行に伴って１つの静止画が切り替わっていくようなマルチメディアアルバムも考える事ができ、この場合はまさに「動画の進行と共に静止画が切り替わっていく」ことになる。先に述べた様にこの動画を含むマルチメディアアルバムはＭＰＥＧ４のフォーマットに従って１つの塊のデータとなっている。このデータは先にも述べた様に、先に説明したＣＩＧのようにして１０２のサーバーにアップされる。サーバーにアップされたＭＰＥＧ４データは、先の述べたＣＩＧの様に、友人などの他の人に公開する事ができる。これも先に述べたが、友人に動的に発行されたＵＲＬをメールし、友人はそのＵＲＬをアクセスするとそのアルバムのウェブページを開く事ができる。
【００２６】
ＵＲＬを知った友人がＰＣで「マルチメディアアルバム」を開くのはかんたんであり、特に問題は無い。しかしながら図１に示す場合の様に、相手が携帯電話のときは難しい問題が有る。即ち携帯電話ではその表示能力の限界から、マルチメディアアルバムをそのまま見ることはできない。動画または静止画どちらかのみである。そこでアルバムのＵＲＬに携帯電話からアクセスがあると、１０２のサーバーはそれが携帯電話からのものであることを判断する。その判断が行われると、サーバーは一度一体化されているＭＰＥＧ４データを要素にばらす。そしてそのなかのＢＩＦＳデータを読んで、静止画が表示されるのが、動画が表示されるどのタイミングなのかをチェックする。
【００２７】
その上で、サーバー１０２はばらされた要素の中の（音声付）動画を用いて動画のストリーミングを始める。そしてサーバーは先に記したＢＩＦＳを読んで得たタイミング情報に基づいて「ここで第一の静止画を表示します」「ここで第二の静止画を表示します」「ここで第三の静止画が表示されます」という様な声（音声）を加えたり、一度動画が終わった後にあらためてその動画の音声だけを流し、その音声に合わせて、静止画を表示するタイミングで静止画を表示する。
【００２８】
さらに図３を用いてフローチャートで本発明のサーバーの動作を詳述する。まずサーバーはマルチメディアアルバムを受取る。サーバーは、携帯も含めどういったアプライアンスからアクセスがくるかわからないので、受取ったマルチメディアアルバムをそのままで保管すると共に、さらに一方、動画、音声、静止画、ＢＩＦＳ（シーン記述・・・マルチメディアデータのプレゼンテーションの仕方、例えば位置であるとかタイミングであるとか、を記述したもの）などを切り出す。さらにＢＩＦＳについてはその中に書かれている事をチェックし、その中身（記述）を把握する。
【００２９】
マルチメディアアルバムに対するアクセスがＰＣから来た時は、そのままマルチメディアアルバムを配信する。携帯電話からのアクセスである時には、携帯電話にはマルチメディアアルバムをそのまま表現できる表示能力が無い為、まず動画を（音声付で）伝送する。次に動画の音声を流しながら、本来のマルチメディアアルバムでは動画に合わせて切り替わる、または出現する静止画を、その動画の音声とタイミングを合わせて、伝送、表示する。（動画自体は表示しない。）
【００３０】
動画を含むマルチメディアデータを、空間的、時間的に配置した「マルチメディアアルバム」を、表示能力の高いＰＣではそのままに、表示能力の低い携帯電話では、頭の中で全体の「マルチメディアアルバム」を再構築できるような形で表示することにより、どちらの場合でも相応の伝達を行う事ができる。
【００３１】
サーバーは携帯電話からの、マルチメディアアルバムへのアクセスである事を確認すると、まず動画（のみ）を音声付で送り、ストリーミングとして伝送する。動画のストリーミング転送が終わったら、静止画を動画と共に表示しながら切り替わっていく、その切り替わりの時間間隔を維持して表示する。この際、動画に付いていた音声を同時に伝送する。
【００３２】
こうすることにより、携帯電話の受信者は、音声を聞きながら動画の内容を頭の中に思い出すので、本来切り替わるタイミングと同じタイミングで静止画が切り替わっていく事により、本来のマルチメディアアルバムとは異なるにせよ、それに近いイメージを自分の頭の中で再構築することができる。
【００３３】
さらにこの「自分の頭の中でのマルチメディアアルバムの再構築」を、よりた易く行う為に、動画の再生中に、静止画の再生のタイミングの部分で、「ここで第一の静止画を表示します」「ここで第二の静止画を表示します」「ここで第三の静止画が表示されます」という音声を動画の音声に多重して流しても良い。また「静止画１」「静止画２」「静止画３」のような表示を、動画の隅に表示しても良い。
【００３４】
そうすることによって、静止画が表示されるタイミングが動画を見ながらわかり、より一層、頭の中で全体の本当のマルチメディアアルバムの再構築がやり易くなる。
【００３５】
【発明の効果】
以上説明したように、本発明によれば、マルチメディアアルバムを表示不可能な装置であっても、ユーザの頭の中で全体のマルチメディアアルバムを再構築しやすい。
【図面の簡単な説明】
【図１】
全体のシステムを示す概要図
【図２】
アルバムを作成するＰＣと、サーバーと、携帯電話との間のトランザクションを説明するイベントフロー図
【図３】
サーバーに於いての本発明の動作を示すフローチャート図