(57)【要約】フォーマットを共通とする映像データを含む複数種類の動画ファイルを扱う携帯通信装置であって、インストールされたソフトウェア群は、動画ファイルに基づく映像を表示装置４に表示させるビデオデコーダ・ドライバ３２と、記録再生ライブラリ２２とを含む。記録再生ライブラリ２２には、複数種類の動画ファイルが提供され、動画ファイルがビデオデコーダ・ドライバ３２により処理可能なフォーマットであるときには、動画ファイルをビデオデコーダ・ドライバ３２に提供し、動画ファイルがビデオデコーダ・ドライバ３２により処理可能なフォーマットでないときには、動画ファイルを分離することによって、動画ファイルに含まれる映像データをビデオデコーダ・ドライバ３２に提供する。
2003101102.tif 000002
【特許請求の範囲】
【請求項１】
フォーマットを共通とする映像データを含む複数種類の動画ファイルを扱う携帯通信装置において、
前記動画ファイルを取得する動画ファイル取得手段と、
映像を表示する表示手段と、
記憶手段と、
前記記憶手段にインストールされたソフトウェア群を用いて、前記動画ファイル取得手段、前記記憶手段、及び前記表示手段の動作を制御する制御手段と
を有し、
前記記憶手段にインストールされたソフトウェア群が、
少なくとも前記フォーマットを共通とする映像データを処理可能であり、前記動画ファイル取得手段により取得された動画ファイルに基づく映像を前記表示手段に表示させるデバイスドライバと、
前記動画ファイル取得手段により取得された動画ファイルが前記デバイスドライバにより処理可能なフォーマットであるときには、前記動画ファイル取得手段により取得された動画ファイルを前記デバイスドライバに提供し、前記動画ファイル取得手段により取得された動画ファイルが前記デバイスドライバにより処理可能なフォーマットでないときには、前記動画ファイル取得手段により取得された動画ファイルを分離することによって、前記動画ファイル取得手段により取得された動画ファイルに含まれる前記フォーマットを共通とする映像データを前記デバイスドライバに提供する再生制御処理を実行するライブラリとを含む
ことを特徴とする携帯通信装置。
【請求項２】
前記複数種類の動画ファイルのそれぞれが、少なくとも映像データと音声データとを含むことを特徴とする請求項１に記載の携帯通信装置。
【請求項３】
前記記憶手段にインストールされたソフトウェア群が、前記複数種類の動画ファイルについてのユーザインターフェースを提供するアプリケーションを含むことを特徴とする請求項１又は２のいずれかに記載の携帯通信装置。
【請求項４】
前記動画ファイル取得手段が、
動画ファイルを取得する通信手段と、
映像入力装置、映像情報処理装置、マイク装置、及び音声情報処理装置を有し、前記映像入力装置により取得され前記映像情報処理装置により符号化された映像データ及び前記マイク装置により取得され前記音声情報処理装置により符号化された音声データを含む動画ファイルを生成する動画撮影手段と
を含むことを特徴とする請求項１又は２のいずれかに記載の携帯通信装置。
【請求項５】
前記通信手段により取得される動画ファイルには、
コンテンツ配信サーバからダウンロードされた動画ファイルと、
テレビ電話の通話先から送信された動画ファイルと
が含まれることを特徴とする請求項４に記載の携帯通信装置。
【請求項６】
前記ライブラリが、前記動画ファイル取得手段により取得された動画ファイルを前記記憶手段に記録し、前記記憶手段に記録された動画ファイルについて前記再生制御処理を実行することを特徴とする請求項１又は２のいずれかに記載の携帯通信装置。
【請求項７】
前記ライブラリが、前記動画撮影手段により取得された動画ファイルを、前記ダウンロードされた動画ファイルのフォーマットに変換して前記記憶手段に記録することを特徴とする請求項５に記載の携帯通信装置。
【請求項８】
前記ライブラリが、前記動画撮影手段により取得された動画ファイルを、前記テレビ電話の通話先から送信された動画ファイルのフォーマットに変換して前記記憶手段に記録することを特徴とする請求項５に記載の携帯通信装置。
【請求項９】
前記動画ファイル取得手段により取得された動画ファイルがタイムスタンプを付加可能なデータで構成されている場合に、前記動画ファイル取得手段により取得された動画ファイルのデータをタイムスタンプに従い復号化する機能と、タイムスタンプを無視して復号化する機能とを有する情報処理手段を有することを特徴とする請求項１又は２のいずれかに記載の携帯通信装置。
【請求項１０】
音声データを処理するオーディオドライバを有し、
前記動画ファイルから分離された前記音声データを前記オーディオドライバに提供し、
前記動画ファイルから分離された映像データを１フレームずつ前記デバイスドライバに提供し、
前記オーディオドライバにより処理された音声データの累積サイズに基づい決められる時間間隔ごとに、前記デバイスドライバによって処理された映像データの累積サイズを確認し、処理された映像データの累積サイズが所定の基準に達している場合には、前記映像データの前記デバイスドライバへの提供を実行する
ことを特徴とする請求項２に記載の携帯通信装置。
【請求項１１】
内部タイマを有し、
前記オーディオドライバにより処理された音声データの累積サイズが通知されない場合に、前記内部タイマにより決められる時間間隔ごとに、前記デバイスドライバによって処理された映像データの累積サイズの確認を行うことを特徴とする請求項１０に記載の携帯通信装置。
【請求項１２】
内部タイマを有し、
前記動画ファイルから分離された映像データを１フレームずつ前記デバイスドライバに提供し、
前記内部タイマにより決められる時間間隔ごとに、前記デバイスドライバによって処理された映像データの累積サイズを確認し、処理された映像データの累積サイズが所定の基準に達している場合には、前記映像データの前記デバイスドライバへの提供を実行する
ことを特徴とする請求項１に記載の携帯通信装置。
【発明の詳細な説明】
技術分野
本発明は、ネットワークを通してダウンロードしたデータファイル（以下「動画ファイル」という。）の再生機能、テレビ電話（ビデオ・コンファレンス）中に蓄積した動画ファイルの再生機能、カメラ撮影により蓄積した動画ファイルの再生機能等を備えた次世代携帯電話装置（例えば、ＩＭＴ２０００規格に準拠）のような携帯通信装置に関し、特に、携帯通信装置において動画ファイルを再生するためのソフトウェア群の実装方式に関するものである。
背景技術
高速動作可能な汎用的なハードウェアとその上で動作する専用のソフトウェアとの組合せで動作するパーソナルコンピュータとは異なり、携帯通信装置により動画再生機能やテレビ電話機能等を実現するためには、各機能を実現する専用のハードウェアと、各ハードウェアを制御するソフトウェアとが必要になる。携帯通信装置のソフトウェア構成の一例は、例えば、月刊誌「Ｉｎｔｅｒｆａｃｅ（インターフェース）」２０００年２月号、第１００頁（ＣＱ出版社発行）に掲載されている。
従来のソフトウェア構成には、テレビ電話中に蓄積された動画ファイルを再生する機能を提供するライブラリ、ダウンロードにより蓄積された動画ファイルを再生する機能を提供するライブラリ、自端末のカメラ撮影機能により取得された動画ファイルを再生する機能を提供するライブラリのように、各機能に対応したライブラリが含まれる。従って、例えば、コンテンツ配信サーバからダウンロードされ蓄積された動画ファイルを再生する場合には、蓄積動画ファイルの再生機能を提供するライブラリを介してデバイスドライバ群を制御して再生機能を実現し、テレビ電話中に蓄積されたデータを再生する場合には、テレビ電話機能を実現するライブラリを介してデバイスドライバ群を制御して再生機能を実現していた。
上記したように、従来の携帯通信装置は、ダウンロードにより取得した動画ファイルの再生とテレビ電話機能により取得した動画ファイルの再生とを実現するために、それぞれの再生機能を実行するライブラリを実装していた。言い換えれば、従来の携帯通信装置の記憶装置には、動画ファイルの種類に応じた数の再生実行用のライブラリがインストールされていた。従って、携帯通信装置で扱うことができる動画ファイルの種類を増やすことによって携帯通信装置の多機能化を図ろうとすると、インストールされるプログラム全体のサイズが大きくなり過ぎる傾向にあった。このため、従来の携帯通信装置のソフトウェアの実装方式では、記憶装置の容量が小さいためにプログラムの格納領域に制限のある携帯通信装置の多機能化が困難であるという問題があった。また、この問題は、携帯通信装置の記憶装置の容量を増やすことにより解消できるが、記憶装置の容量の増加は、携帯通信装置の製造コストの上昇という別の問題を生じさせる。
そこで、本発明は、上記したような従来技術の課題を解決するためになされたものであり、その目的とするところは、実装されるプログラム全体のサイズの増大を抑えつつ多機能化を実現できるソフトウェアの実装方式を採用した携帯通信装置を提供することにある。
発明の開示
本発明の携帯通信装置の一形態は、フォーマットを共通とする映像データを含む複数種類の動画ファイルを扱う装置であって、動画ファイルを取得する動画ファイル取得手段と、映像を表示する表示手段と、記憶手段と、前記記憶手段にインストールされたソフトウェア群を用いて、前記動画ファイル取得手段、前記記憶手段、及び前記表示手段の動作を制御する制御手段とを有し、前記記憶手段にインストールされたソフトウェア群が、少なくとも前記映像データを処理可能であり、前記動画ファイル取得手段により取得された動画ファイルに基づく映像を前記表示手段に表示させるデバイスドライバと、前記動画ファイル取得手段により取得された動画ファイルが前記デバイスドライバにより処理可能なフォーマットであるときには、前記動画ファイル取得手段により取得された動画ファイルを前記デバイスドライバに提供し、前記動画ファイル取得手段により取得された動画ファイルが前記デバイスドライバにより処理可能なフォーマットでないときには、前記動画ファイル取得手段により取得された動画ファイルを分離することによって、前記動画ファイル取得手段により取得された動画ファイルに含まれる映像データを前記デバイスドライバに提供する再生制御処理を実行するライブラリとを含むものである。
また、本発明の携帯通信装置の他の形態は、前記複数種類の動画ファイルのそれぞれが、少なくとも映像データと音声データとを含むものである。
また、本発明の携帯通信装置のさらに他の形態は、前記記憶手段にインストールされたソフトウェア群が、前記複数種類の動画ファイルのそれぞれについてのユーザインターフェースを提供するアプリケーションを含むものである。
また、本発明の携帯通信装置のさらに他の形態は、前記動画ファイル取得手段が、動画ファイルを取得する通信手段と、映像入力装置、映像情報処理装置、マイク装置、及び音声情報処理装置を有し、前記映像入力装置により取得され前記映像情報処理装置により符号化された映像データ及び前記マイク装置により取得され前記音声情報処理装置により符号化された音声データを含む動画ファイルを生成する動画撮影手段とを含むものである。
また、本発明の携帯通信装置のさらに他の形態は、前記通信手段により取得される動画ファイルには、コンテンツ配信サーバからダウンロードされた動画ファイルと、テレビ電話の通話先から送信された動画ファイルとが含まれているものである。
また、本発明の携帯通信装置のさらに他の形態は、前記ライブラリが、前記動画ファイル取得手段により取得された動画ファイルを前記記憶手段に記録し、前記記憶手段に記録された動画ファイルについて前記再生制御処理を実行するものである。
また、本発明の携帯通信装置のさらに他の形態は、前記ライブラリが、前記動画撮影手段により取得された動画ファイルを、前記ダウンロードされた動画ファイルのフォーマットに変換して前記記憶手段に記録するものである。
また、本発明の携帯通信装置のさらに他の形態は、前記ライブラリが、前記動画撮影手段により取得された動画ファイルを、前記テレビ電話の通話先から送信された動画ファイルのフォーマットに変換して前記記憶手段に記録するものである。
また、本発明の携帯通信装置のさらに他の形態は、前記動画ファイル取得手段により取得された動画ファイルがタイムスタンプを付加可能なデータで構成されている場合に、前記動画ファイル取得手段により取得された動画ファイルのデータをタイムスタンプに従い復号化する機能と、タイムスタンプを無視して復号化する機能とを有する情報処理手段を有するものである。
発明を実施するための最良の形態
図１は、本発明の実施の形態１から５までに係る携帯通信装置のハードウェア構成を概略的に示すブロック図である。実施の形態１から５までに係る携帯通信装置は、例えば、ダウンロードした動画ファイルの再生機能、テレビ電話（ビデオ・コンファレンス）機能、カメラ撮影機能等を備えた携帯電話装置又は携帯情報端末装置である。
図１に示されるように、実施の形態１から５までに係る携帯通信装置は、無線又は有線の通信回線を通して複数種類のデータを送受信する通信装置１を備えている。通信装置１で受信される動画ファイルには、映像データと音声データとを多重化したテレビ電話用の動画ファイル（ＩＴＵ−ＴＨ．３２４規格、Ｈ．３２４／Ｍ規格、又は、３ＧＰＰ（３ｒｄ  Ｇｅｎｅｒａｔｉｏｎ  Ｐａｒｔｎｅｒｓｈｉｐ  Ｐｒｏｊｅｃｔ）で規定された３Ｇ−３２４Ｍ規格等に準拠）と、コンテンツ配信サーバからダウンロードされた動画ファイル（例えば、ＡＳＦ（Ａｄｖａｎｃｅｄ  Ｓｔｒｅａｍｉｎｇ  Ｆｏｒｍａｔ）形式やＭＰ４形式（画像圧縮方式「ＭＰＥＧ４」と音声圧縮方式「ＭＰ３（ＭＰＥＧ−１  ａｕｄｉｏ  ｌａｙｅｒ  ３）」、「ＱＣＥＬＰ（Ｑｕａｌｃｏｍｍ  Ｃｏｄｅ  Ｅｘｉｔｅｄ  Ｌｉｎｅａｒ  Ｐｒｅｄｉｃｔｉｖｅｃｏｄｉｎｇ）」によるファイルフォーマット））が含まれる。
また、図１に示されるように、実施の形態１から５までに係る携帯通信装置は、映像データの符号化・復号化を行う映像情報処理装置（映像符号化・復号化装置）２と、音声データの符号化・復号化を行う音声情報処理装置（音声符号化・復号化装置）３とを備えている。映像情報処理装置２及び音声情報処理装置３は、動画ファイルがタイムスタンプを付加可能なデータで構成されている場合に、この動画ファイルを、圧縮データ内のタイムスタンプに従い復号化する機能と、タイムスタンプを無視してデータ受信直後に復号化する機能とを有する。このため、異なるフォーマットのデータを共通のデコーダで復号することができる。
また、実施の形態１から５までに係る携帯通信装置は、映像を表示する表示装置４と、音を出力するスピーカ装置５と、カメラ撮影により映像信号を生成する映像入力装置６と、音声信号を生成するマイク装置７とを備えている。さらに、実施の形態１から５までに係る携帯通信装置は、記憶装置（メモリ）８と、ＣＰＵ（中央処理装置）９とを備えている。なお、記憶装置８を複数設けて、プログラム格納用と動画ファイル蓄積用に分けて使用してもよい。また、ＣＰＵ９は、記憶装置８にインストールされたソフトウェア群及びリアルタイム・オペレーティングシステム（リアルタイムＯＳ）を用いて、各構成１から８までの動作を制御する。
実施の形態１．
図２は、本発明の実施の形態１に係る携帯通信装置のソフトウェア構成を示すブロック図である。なお、図２において矢印は、携帯通信装置のソフトウェア間におけるデータの授受を示す。
図２に示されるように、記憶装置８にインストールされたソフトウェア群は、ユーザーインターフェース（ＵＩ）を提供するソフトウェアを有するアプリケーション層１０と、データ処理を行うソフトウェアを有するライブラリ層２０と、デバイス（上記構成１から８までを含む）を制御するソフトウェアを有するドライバ層３０と、上記各層１０，２０，３０に含まれるソフトウェアを制御するリアルタイムＯＳ４０とに分類できる。
アプリケーション層１０には、テレビ電話実行時に使用するビデオ・コンファレンス・アプリケーション（テレビ電話アプリケーション：Ｖｉｄｅｏ  Ｃｏｎｆｅｒｅｎｃｅ  Ａｐｐｌｉｃａｔｉｏｎ）１１と、記憶装置８に蓄積された動画ファイルを再生する際に使用するムービー・ビューワ・アプリケーション（動画ビューワ・アプリケーション：Ｍｏｖｉｅ  Ｖｉｅｗｅｒ  Ａｐｐｌｉｃａｔｉｏｎ）１２とが含まれる。
ライブラリ層２０には、テレビ電話実行時にテレビ電話シーケンス制御を行うビデオ・コンファレンス・ライブラリ（テレビ電話ライブラリ：Ｖｉｄｅｏ  Ｃｏｎｆｅｒｅｎｃｅ  Ｌｉｂｒａｒｙ）２１と、動画ファイルの記録再生機能を有する記録再生ライブラリ（ビデオ録画再生ライブラリ：Ｖｉｄｅｏ  Ｒｅｃｏｒｄ／Ｐｌａｙ  Ｌｉｂｒａｒｙ）２２と、ネットワークを介して（例えば、ネットワーク上のコンテンツ配信サーバから）ダウンロードした動画ファイルのデータを映像データと音声データとに分離するマルチメディア・サービス・ライブラリ（Ｍｕｌｔｉｍｅｄｉａ  Ｓｅｒｖｉｃｅ  Ｌｉｂｒａｒｙ）２３とが含まれる。
ドライバ層３０には、ハードウェア機器を制御するためのソフトウェアである、カメラ・ビデオエンコーダ・ドライバ（Ｃａｍｅｒａ  Ｖ−Ｅｎｃｏｄｅｒ  Ｄｒｉｖｅｒ）３１と、多重分離ビデオデコーダ・ドライバ（ＭＵＸ／ＤＥＭＵＸ  Ｖ−Ｄｅｃｏｄｅｒ  Ｄｒｉｖｅｒ）３２と、オーディオ・ドライバ（Ａｕｄｉｏ  Ｄｒｉｖｅｒ）３３と、ファイル・システム・ドライバ（Ｆｉｌｅ  Ｓｙｓｔｅｍ  Ｄｒｉｖｅｒ）３４とが含まれる。
実施の形態１における記録再生ライブラリ２２は、入力された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットであるか否かを判定する。実施の形態１においては、多重分離ビデオデコーダ・ドライバ３２に入力される動画ファイルは、通信装置１を通してダウンロードされた動画ファイル、通信装置１を通してダウンロードされ記憶装置８に蓄積された動画ファイル、テレビ電話機能により通信装置１を通して取得された動画ファイル、テレビ電話機能により通信装置１を通して取得され記憶装置８に蓄積された動画ファイルを含む。多重分離ビデオデコーダ・ドライバ３２に入力される動画ファイルは、少なくともフォーマットを共通とする映像データを含む動画ファイルであれば、他の種類の動画ファイルであってもよい。
記録再生ライブラリ２２は、取得された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットであると判定したときには、取得された動画ファイルを多重分離ビデオデコーダ・ドライバ３２に提供する。また、記録再生ライブラリ２２は、取得された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットでないと判定したときには、マルチメディア・サービス・ライブラリ２３にその動画ファイルを送り、分離することによって、その動画ファイルに含まれる映像データを多重分離ビデオデコーダ・ドライバ３２に提供する。以上の再生制御処理により、フォーマットの異なる複数種類の動画ファイルを共通の再生制御ライブラリである記録再生ライブラリ２２を使用して再生することができる。
また、記録再生ライブラリ２２は、ファイル・システム・ドライバ３４を制御して、通信装置１により取得された動画ファイルを記憶装置８に記録させる蓄積処理と、記憶装置８に記録された動画ファイルを再生するための再生制御処理をも実行する。蓄積処理の詳細は、後述の実施の形態２において説明する。
＜ダウンロードした動画ファイルの再生処理＞
図３は、本発明の実施の形態１に係る携帯通信装置によるダウンロードした動画ファイルの再生処理における要求及びデータの流れを示す図である。図３に基づいて、実施の形態１に係る携帯通信装置によるダウンロードした動画ファイルの再生処理を説明する。
ダウンロードした動画ファイルを再生する場合には、先ず、ユーザの操作（操作部は図示せず）により、動画再生のためのユーザーインタフェースを提供するアプリケーションであるムービー・ビューワ・アプリケーション１２を通して、動画ファイル選択命令及び再生要求５０ａとが共通の再生制御ライブラリとしての記録再生ライブラリ２２に対して発行される。
次に、再生要求５０ａを受けた記録再生ライブラリ２２は、再生対象である動画ファイル５１ａのデータのフォーマット（規格）を判別し、ネットワークからダウンロードされた動画ファイルであるか否か、即ち、動画ファイルを構成するデータを映像データと音声データに分離する必要があるか否かを判断する。
再生対象である動画ファイル５１ａがダウンロードにより取得された動画ファイルである場合には、動画ファイル５１ａを構成する多重化データ５２を、マルチメディア・サービス・ライブラリ２３に提供し、分離要求を行う。マルチメディア・サービス・ライブラリ２３は、多重化データ５２を映像データと音声データとに分離して得られた分離データ５３を記録再生ライブラリ２２に返す。
次に、記録再生ライブラリ２２は、分離データ５３のうちの映像データ５６を、映像再生を行うハードウェアを制御するためのドライバである多重分離ビデオデコーダ・ドライバ３２に渡すと共に、分離データ５３のうちの音声データ５４を、音声再生を行うハードウェアを制御するためのドライバであるオーディオ・ドライバ３３に渡すことにより、動画ファイルの再生（即ち、表示装置４による映像の表示及びスピーカ装置５による音響の出力）を実現する。音声データ５４の再生に際しては、オーディオ・ドライバ３３は、再生した音声データ５４のサイズ５５を記録再生ライブラリ２２に返し、記録再生ライブラリ２２は、サイズ５５から再生された経過時間を割り出し、この経過時間に同期して映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡すことにより、映像データと音声データとの再生の同期をとる。
＜テレビ電話中における動画ファイルの蓄積処理＞
図１及び図２に基づいて、実施の形態１に係る携帯通信装置による動画ファイルの蓄積処理を説明する。テレビ電話中に受信した動画ファイルを記録する場合には、先ず、ユーザの操作により、テレビ電話のためのユーザインタフェースを提供するアプリケーションであるビデオ・コンファレンス・アプリケーション１１を通して、テレビ電話中の動画ファイルの録画要求を、テレビ電話機能を提供するライブラリであるビデオ・コンファレンス・ライブラリ２１に対して発行する。
次に、録画要求を受けたビデオ・コンファレンス・ライブラリ２１は、動画記録再生制御を行うライブラリである記録再生ライブラリ２２に録画要求を発行する。記録再生ライブラリ２２は、テレビ電話中の動画ファイルの授受を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求を発行し、受信した動画ファイルを多重分離ビデオデコーダ・ドライバ３２により受け取り、記憶装置８（又は図示しない他の記憶装置）への蓄積を行う。蓄積の際に、動画ファイルのデータに、テレビ電話中の録画データであることを示す識別情報を付加する。
＜テレビ電話中に蓄積された動画ファイルの再生処理＞
図４は、本発明の実施の形態１に係る携帯通信装置によるテレビ電話中に蓄積された動画ファイルの再生処理における要求及びデータの流れを示す図である。図１、図２、及び図４に基づいて、実施の形態１に係る携帯通信装置によるテレビ電話中に記録された動画ファイルの再生処理を説明する。
テレビ電話中に録画した動画ファイルを再生する場合には、先ず、ユーザの操作により、蓄積動画ファイル再生のためのユーザインタフェースを提供するアプリケーションであるムービー・ビューワ・アプリケーション１２を通して、蓄積動画ファイルの再生要求５０ｂを、ムービー・ビューワ・ライブラリ２１を介して、記録再生ライブラリ２２に対して発行する。
記録再生ライブラリ２２は、再生対象である動画ファイル５１ｂのデータがテレビ電話中に録画した動画ファイルであり、映像データと音声データとの再生タイミングの同期をとる必要のないデータであると判断する。この場合には、記録再生ライブラリ２２は、動画ファイル５１ｂの多重化データ５７を多重分離ビデオデコーダ・ドライバ３２に渡し、動画再生を実現する。自端末で録画された動画ファイル５１ｂの、映像データ及び音声データの再生タイミングの同期は、多重分離ビデオデコーダ・ドライバ３２内で行い、音声データ５８は必要に応じてオーディオ・ドライバ３３に渡される。
以上のようにして、異なるフォーマットを有する２種類の動画ファイル（ここでは、ダウンロードした動画ファイル５１ａとテレビ電話中に録画した動画ファイル５１ｂ）の再生を共通の再生機能ライブラリである記録再生ライブラリ２２、共通のドライバである多重分離ビデオデコーダ・ドライバ３２、及び共通のハードウェアを使用して実現することが可能となる。
以上説明したように、実施の形態１に係る携帯通信装置においては、複数種類の動画ファイル（例えば、動画ファイル５１ａ及び５１ｂ）について共通の再生機能ライブラリである記録再生ライブラリ２２を使用している。即ち、実施の形態１に係る携帯通信装置においては、現状又は将来の携帯通信装置用として規格化されている複数種類の動画ファイルの映像データが共通のフォーマットで構成された映像データであることに着目し、複数種類の動画ファイルのそれぞれについて再生機能ライブラリを備える従来方式を採用していない。代わりに、実施の形態１に係る携帯通信装置においては、複数種類の動画ファイルに共通する映像データを処理可能な共通の再生機能ライブラリである記録再生ライブラリ２２を用いて再生制御処理を実行している。
このように、実施の形態１に係る携帯通信装置においては、複数種類の動画ファイルを、分離という処理を経ることによって共通の記録再生ライブラリ２２により再生可能にしているので、携帯通信装置で扱うことができる動画ファイルの種類を増やすことによって携帯通信装置の多機能化を図る場合であっても、複数種類の動画ファイルのそれぞれについて再生機能ライブラリを備えた従来技術に比べて、インストールされるプログラム（ソフトウェア群）全体のサイズを小さくすることができる。このため、記憶装置の容量が小さいためにプログラムの格納領域に制限のある携帯通信装置であっても、多くの種類の動画ファイルに対応できる多機能化を実現できる。
なお、上記実施の形態１の説明においては、携帯通信装置が、ダウンロードした動画ファイルの再生機能及びテレビ電話中の動画ファイルの記録再生機能を持つ場合を説明したが、実施の形態１に係る携帯通信装置に他の機能を持たせることもできる。
また、上記実施の形態１の説明においては、ダウンロードした動画ファイルについては、データを分離してから記録再生ライブラリ２２に渡し、テレビ電話中に録画した動画ファイルについては、データを分離せずに記録再生ライブラリ２２に渡す場合を説明したが、動画ファイルのフォーマットが異なる場合には、動画ファイルの処理方法も異なる。従って、動画ファイルのフォーマットが異なる場合には、ダウンロードした動画ファイルについては、データを分離せずに記録再生ライブラリ２２に渡し、テレビ電話中に録画した動画ファイルについては、データを分離してから記録再生ライブラリ２２に渡す場合もあり得る。
実施の形態２．
図５は、本発明の実施の形態２（又は実施の形態３，４）に係る携帯通信装置のソフトウェア構成を示すブロック図である。なお、図５において矢印は、携帯通信装置のソフトウェア間におけるデータの授受を示す。
実施の形態１のソフトウェア構成と同様に、実施の形態２における記憶装置８にインストールされたソフトウェア群は、アプリケーション層１０と、ライブラリ層２０と、ドライバ層３０と、リアルタイムＯＳ４０とに分類できる。
アプリケーション層１０には、テレビ電話実行時に使用するビデオ・コンファレンス・アプリケーション１１と、記憶装置８に蓄積された動画ファイルを再生する際に使用するムービー・ビューワ・アプリケーション１２と、ネットワーク上のサーバからダウンロードされた動画ファイルを蓄積する際に、ネットワークアクセスのためのユーザインターフェースと提供するウェブ・ブラウザ・アプリケーション（Ｗｅｂ  Ｂｒｏｗｓｅｒ  Ａｐｐｌｉｃａｔｉｏｎ）１３と、映像入力装置６で映像を撮影する際に使用するカメラ・アプリケーション（Ｃａｍｅｒａ  Ａｐｐｌｉｃａｔｉｏｎ）１４とが含まれる。
ライブラリ層２０には、テレビ電話実行時にテレビ電話シーケンス制御を行うビデオ・コンファレンス・ライブラリ２１と、動画ファイルの記録再生機能を有する記録再生ライブラリ２２と、ネットワークを介して（例えば、ネットワーク上のコンテンツ配信サーバから）ダウンロードした動画ファイルのデータを映像データと音声データとに分離するマルチメディア・サービス・ライブラリ２３とが含まれる。
ドライバ層３０には、ハードウェア機器を制御するためのソフトウェアである、カメラ・ビデオエンコーダ・ドライバ３１と、多重分離ビデオデコーダ・ドライバ３２と、オーディオ・ドライバ３３と、ファイル・システム・ドライバ３４とが含まれる。
実施の形態２における記録再生ライブラリ２２は、入力された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットであるか否かを判定する。実施の形態２においては、多重分離ビデオデコーダ・ドライバ３２に入力される動画ファイルは、通信装置１を通してダウンロードされた動画ファイル、通信装置１を通してダウンロードされ記憶装置８に蓄積された動画ファイル、テレビ電話機能により通信装置１を通して取得された動画ファイル、テレビ電話機能により通信装置１を通して取得され記憶装置８に蓄積された動画ファイル、映像入力装置６及びマイク装置７を通して取得された動画ファイルを含む。ただし、入力される動画ファイルは、少なくともフォーマットを共通とする映像データを含む動画ファイルであれば、他の種類の動画ファイルであってもよい。
記録再生ライブラリ２２は、入力された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットであると判定したときには、取得された動画ファイルを多重分離ビデオデコーダ・ドライバ３２に提供する。また、記録再生ライブラリ２２は、入力された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットでないと判定したときには、マルチメディア・サービス・ライブラリ２３に動画ファイルを送り、分離することによって、動画ファイルに含まれる映像データを多重分離ビデオデコーダ・ドライバ３２に提供する。以上の再生制御処理により、フォーマットの異なる複数種類の動画ファイルを共通の再生制御ライブラリである記録再生ライブラリ２２を使用して再生することができる。
また、記録再生ライブラリ２２は、ファイル・システム・ドライバ３４を制御して、通信装置１により取得された動画ファイルを記憶装置８に記録させる蓄積処理と、記憶装置８に蓄積された動画ファイルを再生するための再生制御処理をも実行する。
＜ダウンロードした動画ファイルの蓄積処理＞
図６は、本発明の実施の形態２に係る携帯通信装置によるダウンロードされた動画ファイルの蓄積処理における要求及びデータの流れを示す図である。図１、図５、及び図６に基づいて、実施の形態２に係る携帯通信装置による動作を説明する。
ネットワーク上のサーバから通信回線を経由してダウンロードした動画ファイルを蓄積する場合には、ユーザの操作により、ネットワークアクセスのためのユーザインタフェースを提供するアプリケーションであるウェブ・ブラウザ・アプリケーション１３を通して、動画ファイルのダウンロード要求６１を記録再生ライブラリ２２に対して発行する。記録再生ライブラリ２２は、ネットワークアクセス中の動画ファイル６３の授受を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求６２を発行し、受信した動画ファイル６３に対応する多重化データ６４を多重分離ビデオデコーダ・ドライバ３２から受け取り、多重化データ６４に対応する多重化データ６５をファイルシステムを制御するドライバであるファイル・システム・ドライバ３４を介して、記憶装置８に蓄積する。蓄積の際には、動画ファイルのデータにダウンロードしたデータであることを示す識別情報を付加する。
＜テレビ電話動画ファイルの蓄積処理＞
図７は、本発明の実施の形態２に係る携帯通信装置によるテレビ電話の動画ファイルの蓄積処理における要求及びデータの流れを示す図である。図１、図５、及び図７に基づいて、実施の形態２に係る携帯通信装置による動作を説明する。
テレビ電話中の動画ファイルを蓄積する場合には、ユーザの操作により、テレビ電話のためのユーザインタフェースを提供するアプリケーションであるビデオ・コンファレンス・アプリケーション１１を通して、テレビ電話中の録画要求７１を、テレビ電話機能を提供するライブラリであるビデオ・コンファレンス・ライブラリ２１に対して発行する。録画要求７１を受けたビデオ・コンファレンス・ライブラリ２１は、動画記録再生制御を行うライブラリである記録再生ライブラリ２２へ録画要求７２を発行する。記録再生ライブラリ２２は、テレビ電話中の動画ファイルの授受を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求７３を発行し、受信した動画ファイル７４に対応する多重化データ７５を多重分離ビデオデコーダ・ドライバ３２から受け取り、多重化データ７５に対応する多重化データ７６をファイルシステムを制御するドライバであるファイル・システム・ドライバ３４を介して、記憶装置８に蓄積する。蓄積の際には、動画ファイルのデータにテレビ電話中の録画データであることを示す識別情報を付加する。
＜映像入力装置によって撮像された動画ファイルの蓄積処理＞
図８は、本発明の実施の形態２に係る携帯通信装置によるカメラ撮影データの蓄積処理における要求及びデータの流れを示す図である。図１、図５、及び図８に基づいて、実施の形態２に係る携帯通信装置による動作を説明する。
自端末に付属した映像入力装置６のカメラによって撮像された動画ファイルを蓄積する場合には、ユーザの操作により、カメラ撮影のためのユーザインタフェースを提共するアプリケーションであるカメラ・アプリケーション１４を通して、撮像画像の録画要求８１を、記録再生ライブラリ２２に対して発行する。記録再生ライブラリ２２は、カメラ撮影中の映像データと音声データの合成を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求８１を発行する。多重分離ビデオデコーダ・ドライバ３２は、カメラ・ビデオエンコーダ・ドライバ３１からの映像データ８４とオーディオ・ドライバ３３からの音声データ８３とが合成された多重化データ８５を記録再生ライブラリ２２に提供する。記録再生ライブラリ２２は、多重化データ８５に対応する多重化データ８６を、ファイルシステムを制御するドライバであるファイル・システム・ドライバ３４にを介して、記憶装置８に蓄積する。蓄積の際には、動画ファイルのデータにカメラ撮像による録画データであることを示す識別情報を付加する。
＜蓄積動画ファイルの再生処理＞
図９は、本発明の実施の形態２に係る携帯通信装置による蓄積動画ファイルの再生処理における要求及びデータの流れを示す図である。図１、図５、及び図９に基づいて、実施の形態２に係る携帯通信装置による動作を説明する。
蓄積された複数種類のフォーマットの動画ファイルを再生する場合には、ムービー・ビューワ・アプリケーション１２は、ユーザ操作によるファイル選択と再生要求５０を、記録再生ライブラリ２２に対して発行する。再生要求５０を受けた記録再生ライブラリ２２は、再生対象である動画ファイルのデータを判別し、ダウンロードした動画ファイルであるか否か、即ち、動画ファイルを構成する多重化データを映像データと音声データに分離する必要があるか否かを判断する。
再生対象である動画ファイル５１がダウンロードにより取得された動画ファイルである場合には、動画ファイル５１を構成する多重化データ５２を、マルチメディア・サービス・ライブラリ２３に提供し、分離要求を行う。マルチメディア・サービス・ライブラリ２３は、多重化データ５２を映像データと音声データとに分離して、分離データ５３を記録再生ライブラリ２２に返す。
次に、記録再生ライブラリ２２は、映像データ５６を、映像再生を行うハードウェアを制御するためのドライバである多重分離ビデオデコーダ・ドライバ３２に渡すと共に、音声データ５４を、音声再生を行うハードウェアを制御するためのドライバであるオーディオ・ドライバ３３に渡すことにより、動画ファイルの再生を実現する。音声データの再生に際しては、オーディオ・ドライバ３３は、再生した音声データのサイズ５５を記録再生ライブラリ２２に返し、記録再生ライブラリ２２は、サイズ５５から再生された経過時間を割り出し、この経過時間に同期して映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡すことにより、映像データと音声データとの再生の同期をとる。
テレビ電話中に録画した動画ファイルを再生する場合には、先ず、ユーザの操作により、蓄積動画ファイル再生のためのユーザインタフェースを提供するアプリケーションであるムービー・ビューワ・アプリケーション１２を通して、蓄積動画ファイルの再生要求５０を、記録再生ライブラリ２２に対して発行する。
記録再生ライブラリ２２は、再生対象である動画ファイル５１のデータがテレビ電話中に録画した動画ファイルであり、映像データと音声データとの再生タイミングの同期をとる必要のないデータであると判断する。この場合には、記録再生ライブラリ２２は、動画ファイル５１の多重化データ５７を多重分離ビデオデコーダ・ドライバ３２に渡し、動画再生を実現する。自端末で録画された動画ファイル５１ｂの、映像データ及び音声データの再生タイミングの同期は、多重分離ビデオデコーダ・ドライバ３２内で行い、音声データ５８は必要に応じてオーディオ・ドライバ３３に渡される。
映像入力装置６によるカメラ撮影により取得され蓄積された動画ファイルを再生する場合には、先ず、ユーザの操作により、蓄積動画ファイル再生のためのユーザインタフェースを提供するアプリケーションであるムービー・ビューワ・アプリケーション１２を通して、蓄積動画ファイルの再生要求５０を、記録再生ライブラリ２２に対して発行する。
記録再生ライブラリ２２は、再生対象である動画ファイル５１のデータがカメラ撮影により蓄積された動画ファイルであり、例えば、映像データと音声データとの再生タイミングの同期をとる必要のないデータであると判断する。この場合には、記録再生ライブラリ２２は、動画ファイル５１の多重化データ５７を多重分離ビデオデコーダ・ドライバ３２に渡し、動画再生を実現する。自端末で録画された動画ファイル５１ｂの、映像データ及び音声データの再生タイミングの同期は、多重分離ビデオデコーダ・ドライバ３２内で行い、音声データ５８は必要に応じてオーディオ・ドライバ３３に渡される。
以上のようにして、異なるフォーマットを有する複数種類の動画ファイル（ここでは、ダウンロードした動画ファイルと、テレビ電話中に録画した動画ファイルと、カメラ撮影により蓄積された動画ファイル）の再生を共通の再生機能ライブラリである記録再生ライブラリ２２、共通のドライバである多重分離ビデオデコーダドライバ３２、及び共通のハードウェアを使用して実現することが可能となる。
以上説明したように、実施の形態２に係る携帯通信装置においては、複数種類の動画ファイル（例えば、ダウンロードされた動画ファイル、テレビ電話中に録画された動画ファイル、カメラ撮影により蓄積された動画ファイル）について共通の再生機能ライブラリである記録再生ライブラリ２２を使用している。即ち、実施の形態２に係る携帯通信装置においては、現状又は将来の携帯通信装置用として規格化されている複数種類の動画ファイルの映像データが共通のフォーマットで構成された映像データであることに着目し、複数種類の動画ファイルのそれぞれについて再生機能ライブラリを備える従来方式を採用していない。代わりに、実施の形態２に係る携帯通信装置においては、複数種類の動画ファイルに共通する映像データを処理可能な共通の再生機能ライブラリである記録再生ライブラリ２２を用いて再生制御処理を実行している。
このように、実施の形態２に係る携帯通信装置においては、複数種類の動画ファイルを、分離という処理を経ることによって共通の記録再生ライブラリ２２により再生可能にしているので、携帯通信装置で扱うことができる動画ファイルの種類を増やすことによって携帯通信装置の多機能化を図る場合であっても、複数種類の動画ファイルのそれぞれについて再生機能ライブラリを備えた従来技術に比べて、インストールされるプログラム（ソフトウェア群）全体のサイズを小さくすることができる。このため、記憶装置の容量が小さいためにプログラムの格納領域に制限のある携帯通信装置であっても、多くの種類の動画ファイルに対応できる多機能化を実現できる。
なお、上記実施の形態２の説明においては、携帯通信装置が、ダウンロードされた動画ファイル、テレビ電話中に録画された動画ファイル、カメラ撮影により蓄積された動画ファイルを扱う場合を説明したが、実施の形態２に係る携帯通信装置は他の動画ファイルを扱うように構成してもよい。
また、上記実施の形態２の説明においては、ダウンロードした動画ファイルについては、データを分離してから記録再生ライブラリ２２に渡し、テレビ電話中に録画した動画ファイル及びカメラ撮影により蓄積された動画ファイルについては、データを分離せずに記録再生ライブラリ２２に渡す場合を説明したが、動画ファイルのフォーマットが異なる場合には、動画ファイルの処理方法も異なる。例えば、ダウンロードした動画ファイル及びカメラ撮影により蓄積された動画ファイルについては、データを分離してから記録再生ライブラリ２２に渡し、テレビ電話中に録画した動画ファイルについては、データを分離せずに記録再生ライブラリ２２に渡す場合のように、動画ファイルのフォーマットが異なる場合には、異なる処理方式が採用される。
実施の形態３．
図１０は、本発明の実施の形態３及び４に係る携帯通信装置によるカメラ撮影データの変換・蓄積処理における要求及びデータの流れを示す図である。実施の形態３に係る携帯通信装置のハードウェア構成は図１の構成と同様であり、実施の形態３に係る携帯通信装置のソフトウェア構成は図５の構成と同様である。実施の形態３に係る携帯通信装置は、自端末の映像入力装置６で撮影した動画をテレビ電話通信で使用する動画フォーマットに変換して保存する。図１、図５、及び図１０に基づいて、実施の形態３に係る携帯通信装置の動作を説明する。
自端末の映像入力装置６によりカメラ撮影して、撮像された動画ファイルを蓄積する場合には、カメラ・アプリケーション１４によるユーザ操作により、撮像画像の録画要求７１が記録再生ライブラリ２２に対して発行される。記録再生ライブラリ２２は、カメラ撮影中の映像データと音声データの合成を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求７２を発行する。
多重分離ビデオデコーダ・ドライバ３２は、カメラ・ビデオエンコーダ・ドライバ３１により符号化された映像データ７４とオーディオ・ドライバ３３より符号化された音声データ７３を受け取る。多重分離ビデオデコーダ・ドライバ３２は、映像データ７４及び音声データ７３を分離したままのデータ７５として記録再生ライブラリ２２に渡す。記録再生ライブラリ２２は、受け取った映像データ／音声データ７６をマルチメディア・サービス・ライブラリ２３に渡し、マルチメディア・サービス・ライブラリ２３は、テレビ電話通信で使用する動画フォーマットに変換を行う。
記録再生ライブラリ２２は、フォーマット変換されたデータからなる動画ファイル７７をマルチメディア・サービス・ライブラリ２３から受け取り、ファイル・システム・ドライバ３４を介して、ファイルシステムへデータの蓄積を行う。なお、蓄積の際に、カメラ撮像中の録画データであることを示す識別情報を動画ファイルに付加する。
実施の形態３に係る携帯通信装置によれば、カメラ撮影により取得された動画ファイルを、テレビ電話の通話先から送信された動画ファイルのフォーマットに変換して記憶装置８に蓄積するので、あらかじめ自端末で撮影した動画ファイルを相手端末へ迅速且つ容易に送信することができる。
なお、実施の形態３において、上記以外の点は、上記実施の形態２と同様である。
実施の形態４．
実施の形態４に係る携帯通信装置のハードウェア構成は図１の構成と同様であり、実施の形態４に係る携帯通信装置のソフトウェア構成は図５に示される構成と同様である。実施の形態４に係る携帯通信装置は、自端末の映像入力装置６によりカメラ撮影して取得された動画ファイルをダウンロードした動画ファイルと同じフォーマットに変換して記憶装置８に保存する。図１、図５、及び図１０に基づいて、実施の形態４に係る携帯通信装置によるカメラ撮影動作を説明する。
自端末の映像入力装置６によりカメラ撮影して、撮像された動画ファイルを蓄積する場合には、カメラ・アプリケーション１４によるユーザ操作により、撮像画像の録画要求７１が記録再生ライブラリ２２に対して発行される。記録再生ライブラリ２２は、カメラ撮影中の映像データと音声データの合成を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求７２を発行する。
多重分離ビデオデコーダ・ドライバ３２は、カメラ・ビデオエンコーダ・ドライバ３１より符号化された映像データ７４とオーディオ・ドライバ３３より符号化された音声データ７３を受け取る。多重分離ビデオデコーダ・ドライバ３２は、映像データ７４及び音声データ７３を分離したままのデータ７５として記録再生ライブラリ２２に渡す。記録再生ライブラリ２２は、受け取った映像データ／音声データ７６をマルチメディア・サービス・ライブラリ２３へ渡し、マルチメディア・サービス・ライブラリ２３は、ダウンロードした動画ファイルと同じフォーマットに変換を行う。
記録再生ライブラリ２２は、フォーマット変換されたデータからなる動画ファイル７７をマルチメディア・サービス・ライブラリ２３から受け取り、ファイル・システム・ドライバ３４を介して、ファイルシステムへデータの蓄積を行う。なお、蓄積の際に、カメラ撮像中の録画データであることを示す識別情報を動画ファイルに付加する。
実施の形態４に係る携帯通信装置によれば、カメラ撮影により取得された動画ファイルを、ダウンロードした動画ファイルと同じフォーマットに変換して記憶装置８に蓄積するので、あらかじめ自端末で撮影した動画ファイルをネットワークに迅速且つ容易にアップロードすることができる。
なお、実施の形態４において、上記以外の点は、上記実施の形態２と同様である。
実施の形態５．
図１１は、本発明の実施の形態５に係る携帯通信装置により、ダウンロードした動画ファイルを再生する場合の、音声データと映像データの同期を合わせるためのシーケンスを示す図である。実施の形態５に係る携帯通信装置のハードウェア構成は図１と同様であり、実施の形態５に係る携帯通信装置のソフトウェア構成は図２の構成と同様である。実施の形態５に係る携帯通信装置は、ダウンロードした動画ファイルを再生する際に、音声データと映像データの同期をとって再生を行う。図２、図３及び図１１に基づいて実施の形態５に係る携帯通信装置の動作を説明する。
図２又は図３に示されるように、ダウンロードした動画ファイルを再生する場合には、ユーザの操作により、動画再生のためのユーザーインタフェースを提供するアプリケーションであるムービー・ビューワ・アプリケーション１２を通して、動画ファイル選択命令及び再生要求５０ａが共通の再生制御ライブラリとしての記録再生ライブラリ２２に対して発行される。
図２又は図３に示されるように、再生対象である動画ファイル５１ａがダウンロードにより取得された動画ファイルである場合には、記録再生ライブラリ２２は動画ファイル５１ａを構成する多重化データ５２を、マルチメディア・サービス・ライブラリ２３に提供し、分離要求を行う。マルチメディア・サービス・ライブラリ２３は、多重化データ５２を映像データと音声データとに分離して、分離データ５３を記録再生ライブラリ２２に返す。
次に、図１１に示されるように、記録再生ライブラリ２２は、分離データ５３より、音声データと映像データの同期を合わせるためのタイムテーブル２２５を作成する。このタイムテーブル２２５には、ある時刻での音声データの累積処理サイズ及び映像データの累積処理サイズが記述されている。
再生開始時刻Ａにおいて、記録再生ライブラリ２２は、１フレーム分の映像データ５６を、映像再生を行うハードウェアを制御するためのドライバである多重分離ビデオデコーダ・ドライバ３２に渡すと共に、音声データ５４を、音声再生を行うハードウェアを制御するためのドライバであるオーディオ・ドライバ３３に渡す。また、エラーが原因でオーディオ・ドライバ３３からの通知が発生しなかったときのために、内部タイマ２２１を設定する。内部タイマ２２１のイベント発生の間隔は、オーディオ・ドライバ３３からの通知の間隔と同じΔＴに設定する。
オーディオ・ドライバ３３は、一定の時間間隔ΔＴごとに、処理した音声データの累積サイズ（即ち、音声データサイズ）５５を記録再生ライブラリ２２に返す。ここで、間隔ΔＴは、一定時間内に表示させる映像フレームの枚数であるフレームレート〔ｓ−１〕に応じて決められる間隔であり、１フレーム期間（＝１÷フレームレート〔ｓ−１〕）よりも短い間隔である必要がある。記録再生ライブラリ２２は、タイムテーブル２２５を用いて、処理された音声データの累積サイズ５５から現在時刻を割り出す。さらに、記録再生ライブラリ２２は、タイムテーブル２２５を参照し、時刻Ｂにおいて、処理された映像データの累積サイズが動画の１フレーム分に達しているかを判定する。時刻Ｂにおいては、処理された音声データの累積サイズ５５は１フレーム分の映像データに達していないため、記録再生ライブラリ２２は、映像データを多重分離ビデオデコーダ・ドライバ３２に渡すことはしない。
さらに、オーディオ・ドライバ３３からの通知があった時刻Ｃにおいて、記録再生ライブラリ２２は、時刻Ｂと同様に、タイムテーブル２２５を参照し、処理された映像データの累積サイズが１フレーム分に達しているかを判定する。時刻Ｃにおいては、処理された映像データの累積サイズが１フレーム分に達しているため、記録再生ライブラリ２２は、そのフレームサイズの映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡し、映像データが表示される。
オーディオ・ドライバ３３からの通知があった時刻Ｄにおいて、音声データの累積サイズ５５（例えば、時刻ＡからＤまでの間に処理された音声データの累積サイズ）が、オーディオ・ドライバ３３に渡した音声データ５４（例えば、時刻Ａにおいて、記録再生ライブラリ２２がオーディオ・ドライバ３３に渡した音声データ）のサイズに達する前に、記録再生ライブラリ２２は、再び、音声データ５４をオーディオ・ドライバ３３に渡し（例えば、時刻Ｄにおいて）、オーディオ・ドライバ４３において処理すべき音声データが枯渇しないようにする。
さらに、オーディオ・ドライバ３３からの通知があった時刻Ｅにおいて、記録再生ライブラリ２２は、時刻Ｃと同様にタイムテーブル２２５を参照し、映像データの累積サイズが、（それまでに再生を行ったフレームのデータ）＋（１フレーム分のデータ）に達していれば、記録再生ライブラリ２２がフレームサイズ分の映像データ５６を多重分離ビデオデコーダ・ドライバ３３に渡し、映像データが表示される。
以上説明したように、実施の形態５に係る携帯通信装置によれば、記録再生ライブラリ２２がオーディオ・ドライバ３３から音声データ処理量を受け取り、音声の処理に合わせて映像の再生を行うため、音声が途切れることなく音声と映像の同期をとることができる。
次に音声データが欠けた、不正なコンテンツを再生する場合の例を説明する。
図１１から理解できるように、内部タイマ２２１のみを用いて音声、映像データ再生の制御を行った場合は、時刻Ａの次に映像データを表示するのは時刻Ｃとなる。時刻Ａから時刻Ｂの間の音声データが欠けた不正なコンテンツの場合、音声再生を途切れさせないためには、時刻Ｂから時刻Ｃの音声データを時刻Ａから時刻Ｂの間に再生させる必要があり、このため、時刻Ｃの時点で再生している音声データは時刻Ｄのものとなる。従って、音声、映像データ再生の同期が合わないという結果になる。
実施の形態５に係る携帯通信装置では、時刻Ａから時刻Ｂの間で再生すべき音声データが存在しない場合、オーディオ・ドライバ３３は、再生音が途切れないように時刻Ｂから時刻Ｃの間に再生すべき音声データを時刻Ａから時刻Ｂの間に再生する。この結果、時刻Ｂにてオーディオ・ドライバ３３から記録再生ライブラリ２２へ返す累積データサイズは、本来時刻Ｃにて返す値となる。記録再生ライブラリ２２は時刻Ｂにて、タイムテーブル２２５を用い、音声データの累積データサイズから現在時刻を割り出すため、その結果時刻Ｃであると判断し、映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡し、映像データが表示される。このため、内部タイマ２２１のみを用いた音声、映像の同期方法では、途中から同期が合わなくなるようなオーディオデータが欠けた不正なコンテンツでも、常に音声データが途切れることなく、音声データと映像データの同期を合わせることができる。
図１２は、実施の形態５に係る携帯通信装置により、音声データと映像データの同期を合わせながら動画ファイルを再生する際に、エラーが発生した場合のシーケンスを示す図である。図１２に基づいて実施の形態５に係る携帯通信装置のエラー処理の動作を説明する。
図２又は図３に示されるように、正常動作と同様に、ユーザの操作により、ムービー・ビューワ・アプリケーション１２を通して、動画ファイル選択命令及び再生要求５０ａが共通の再生制御ライブラリとしての記録再生ライブラリ２２に対して発行される。
図２又は図３に示されるように、記録再生ライブラリ２２は、動画ファイル５１ａを構成する多重化データ５２を、マルチメディア・サービス・ライブラリ２３に提供し、分離要求を行う。マルチメディア・サービス・ライブラリ２３は、多重化データ５２を映像データと音声データとに分離して、分離データ５３を記録再生ライブラリ２２に返す。
次に、図１２に示されるように、記録再生ライブラリ２２は、分離データ５３より、音声データと映像データの同期を合わせるためのタイムテーブル２２５を作成する。このタイムテーブル２２５には、ある時刻での音声データの累積処理サイズ及び映像データの累積処理サイズが記述されている。
再生開始時刻Ａにおいて、記録再生ライブラリ２２は、１フレーム分の映像データ５６を、映像再生を行うハードウェアを制御するためのドライバである多重分離ビデオデコーダ・ドライバ３２に渡すと共に、音声データ５４を、音声再生を行うハードウェアを制御するためのドライバであるオーディオ・ドライバ３３に渡す。また、エラーが原因でオーディオ・ドライバからの通知が発生しなかったときのために、内部タイマ２２１を設定する。内部タイマ２２１のイベント発生の間隔は、オーディオ・ドライバ３３から発生する通知の間隔と同じΔＴに設定する。
オーディオ・ドライバ３３は、一定の間隔ΔＴごとに、それまでに処理した音声データの累積サイズを記録再生ライブラリ２２に返す。何らかの理由で音声データサイズ５５が記録再生ライブラリ２２に返らなかった場合（図１２の符号Ｐ）、あらかじめ設定しておいた内部タイマ２２１のイベント２２３が発生し、記録再生ライブラリ２２は、時刻Ｂで、処理された映像データの累積サイズが動画の１フレーム分に達しているかを判定することができる。時刻Ｂにおいては、処理された映像データの累積サイズが１フレーム分のデータに達していないため、記録再生ライブラリ２２は、映像データを多重分離ビデオデコーダ・ドライバ３２に渡すことはしない。
さらに、何らかの理由で、オーディオ・ドライバ３３からの通知が記録再生ライブラリ２２に返らなかった場合（図１２の符号Ｑ）においても同様に、あらかじめ設定しておいた内部タイマ２２１のイベント２２３が発生し、時刻Ｃにおいて、記録再生ライブラリ２２は、処理された映像データの累積サイズが動画の１フレーム分に達しているかを判定することができる。時刻Ｃにおいては、処理された映像データの累積サイズが１フレーム分のデータに達しているため、記録再生ライブラリ２２は、１フレーム分の映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡すことができる。
オーディオ・ドライバ３３からの通知が記録再生ライブラリ２２に返らなかった場合（図１２の符号Ｒ）においても同様に、あらかじめ設定しておいた内部タイマ２２１のイベントが発生し、記録再生ライブラリ２２は、時刻Ｄで、映像データ及び音声データの処理状況の判定を行うことができる。時刻Ｄにおいては、タイムテーブル２２５より、あらかじめオーディオ・ドライバ３３に渡した音声データ５４が枯渇する可能性があると判定できるため、記録再生ライブラリ２２は、次の音声データ５４をオーディオ・ドライバ３３に渡す。
以上のように、実施の形態５に係る携帯通信装置によれば、オーディオ・ドライバ３３からの音声データ処理量の通知（即ち、音声データサイズ）５５が何らかの理由により、記録再生ライブラリ２２に到達しない場合においても、あらかじめ設定した内部タイマ２２１のイベント２２３により、音声データ及び映像データの再生タイミングを取ることができる。このため、音声と映像の同期をとりながら、動画の再生を行うことができる。
図１３は、実施の形態５に係る携帯通信装置により、映像データのみで構成される動画ファイルを再生するシーケンスを示す図である。図１３に基づいて実施の形態５に係る携帯通信装置の映像データのみで構成される動画像ファイルの再生動作を説明する。
図２又は図３に示されるように、ユーザの操作により、ムービー・ビューワ・アプリケーション１２を通して、動画ファイル選択命令及び再生要求５０ａが共通の再生制御ライブラリとしての記録再生ライブラリ２２に対して発行される。
図２又は図３に示されるように、記録再生ライブラリ２２は、動画ファイル５１ａを構成する多重化データ５２をマルチメディア・サービス・ライブラリ２３に提供し、分離要求を行う。マルチメディア・サービス・ライブラリ２３は、多重化データ５２を映像データと音声データとに分離して、分離データ５３を記録再生ライブラリ２２に返す。ただし、図１３で示す動画再生の形態では、動画ファイルは映像データのみで構成されるため、音声データが存在しない。
次に、図１３に示されるように、記録再生ライブラリ２２は、分離データ５３より、音声データと映像データの再生タイミングを合わせるためのタイムテーブル２２５を作成する。この場合は音声データがないため、このタイムテーブル２２５には、ある時刻での映像データの累積処理サイズのみが記述されている。
再生開始時刻Ａにおいて、記録再生ライブラリ２２は、１フレーム分の映像データ５６を、映像再生を行うハードウェアを制御するためのドライバである多重分離ビデオデコーダ・ドライバ３２に渡す。この場合は、音声データが存在しないため、記録再生ライブラリ２２は、オーディオ・ドライバ３３に音声データを渡さないので、オーディオ・ドライバからの一定間隔ΔＴごとの通知が返って来ない。また、図１１及び図１２の例と同様に、内部タイマ２２１を一定間隔ΔＴで設定する。
内部タイマ２２１は、時間ΔＴ後に、イベント２２３を記録再生ライブラリ２２に通知する（図１３の時刻Ｂ）。記録再生ライブラリ２２は、この時刻Ｂにおいて、処理された映像データの累積サイズが動画の１フレーム分に達しているかを判定することができる。時刻Ｂにおいては、処理された映像データの累積サイズが１フレーム分のデータに達していないため、記録再生ライブラリ２２は、映像データを多重分離ビデオデコーダ・ドライバ３２に渡すことはしない。
さらに、時間ΔＴが経過し、内部タイマ２２１がイベント２２３を記録再生ライブラリ２２に通知する（図１３の時刻Ｃ）。時刻Ｃにおいては、処理された映像データの累積サイズが動画の１フレーム分に達しているため、記録再生ライブラリ２２は、１フレーム分の映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡すことができる。
以上のように、実施の形態５に係る携帯通信装置によれば、音声データを含まない動画ファイルの再生時においても、内部タイマ２２１が発生するイベント２２３によって、映像データから作成したタイムテーブル２２５に従って動画の再生を行うことができる。
図１４は、本発明の実施の形態６に係る携帯通信装置による、ダウンロードした動画ファイルをコマ送り再生する際の再生方法について示した図である。実施の形態６に係る携帯通信装置のハードウェア構成は図１の構成と同様であり、実施の形態６に係る携帯通信装置のソフトウェア構成は図２の構成と同様である。実施の形態６に係る携帯通信装置はダウンロードした動画ファイルをコマ送り再生することができるが、図１４に基づいて実施の形態６に係る携帯通信装置の動作を説明する。
ムービー・ビューワ・アプリケーション１２はコマ送りを進めるユーザインターフェースを有しており、これの入力に従って、コマ送り要求８１が記録再生ライブラリ２２に送られる。時刻Ａにおいて、ムービー・ビューワ・アプリケーション１２からのコマ送り要求８１を受けた、記録再生ライブラリ２２は、その時点で再生を行っていない場合は、マルチメディア・サービス・ライブラリ２３より受け取った分離データ８３から、１フレーム分の映像データ８６を多重分離ビデオデコーダ・ドライバに渡す。再生を行っていた場合は、その時点で再生を停止するが、多重分離ビデオデコーダ・ドライバ３２が表示した映像データ８６はそのまま表示し続ける。
続けて送られるムービー・ビューワ・アプリケーション１２からのコマ送り要求８１に対して、記録再生ライブラリ２２は、次のフレームの映像データ８６を多重分離ビデオデコーダ・ドライバ３２に渡す。このようにして、実施の形態６に係る携帯通信装置では、ユーザからの入力に対して映像データをコマ送りで表示することができる。
図１５は、実施の形態６に係る携帯通信装置がダウンロードした動画ファイルをコマ送り再生している際に、コマ送りしている映像データを静止画として取り込む方法を示したものである。
ムービー・ビューワ・アプリケーション１２は、コマ送りを進めるユーザインターフェースに加え、静止画取り込みを行うユーザインターフェースを有しており、これの入力に従って、取り込み要求９１を記録再生ライブラリ２２に送られる。
静止画取り込みはコマ送り再生中に行われる。ムービー・ビューワ・アプリケーション１２から通知されたコマ送り要求８１に対して記録再生ライブラリ２２は、１フレーム分の映像データ８６を多重分離ビデオデコーダ・ドライバ３２に渡し、そのデータは表示メモリ４１に送られ表示デバイスに表示される。コマ送り再生の表示を見たエンドユーザが、取り込みのユーザインターフェースを操作することにより、ムービー・ビューワ・アプリケーション１２からの取り込み要求９１が記録再生ライブラリ２２に送られる。記録再生ライブラリ２２はそのときに表示デバイスに表示されている映像データ９６ａを表示メモリ４１から取り込む。映像データ９６ａは保存に適した静止画フォーマットに変換され、変換された映像データ９６ｂはファイル・システム・ドライバ３４に渡されファイルシステムに保存される。
このようにして、実施の形態６に係る携帯通信装置では、エンドユーザがコマ送り再生した画像データを静止画として記録保存することができる。
なお、実施の形態６において、上記以外の点は、上記実施の形態５と同様である。
産業上の利用可能性
以上説明したように、本発明においては、記憶手段にインストールされたソフトウェア群に、複数種類の動画ファイルに共通して含まれる映像データを処理可能なライブラリが含まれている。このライブラリは、動画ファイルの種類を判別する機能と再生制御機能とを有し、動画ファイル取得手段により取得された動画ファイルがデバイスドライバにより処理可能なフォーマットであるときには、動画ファイル取得手段により取得された動画ファイルをデバイスドライバに提供し、動画ファイル取得手段により取得された動画ファイルがデバイスドライバにより処理可能なフォーマットでないときには、動画ファイル取得手段により取得された動画ファイルを分離することによって、動画ファイル取得手段により取得された動画ファイルに含まれる映像データをデバイスドライバに提供する。このように、本発明によれば、異なるフォーマットの動画ファイルを共通のライブラリによって再生できるので、記憶装置にインストールされるプログラム全体のサイズの増大を最小限に抑えつつ、多機能化を実現できる。
また、本発明は、異なるフォーマットの動画ファイルを共通のライブラリによって判別する機能を持つので、動画再生時に、動画ファイルのフォーマットの種類に関係なく共通のユーザーインタフェースを利用するソフトウェア構成を採用でき、この場合には、ユーザの使い勝手を向上させることができる。
また、動画撮影手段により取得された動画ファイルを、ダウンロードされた動画ファイルのフォーマットに変換して記憶手段に記録する場合には、予め自端末で撮影した動画をネットワーク上のサーバへ迅速且つ容易にアップロードすることができる。
また、動画撮影手段により取得された動画ファイルを、テレビ電話の通話先から送信された動画ファイルのフォーマットに変換して記憶手段に記録する場合には、テレビ電話通信中に、あらかじめ自端末で撮像した動画像を相手端末へ迅速且つ容易に送信することができる。
また、動画ファイル取得手段により取得された動画ファイルのデータをタイムスタンプに従い復号化する機能と、タイムスタンプを無視して復号化する機能を有する場合には、異なるフォーマットのデータを共通のデコーダで復号することができ、プログラム全体のサイズの増大を抑えつつ、複数種類のフォーマットの動画ファイルの再生機能を実現することができる。
【図面の簡単な説明】
図１は、本発明の実施の形態１から５までに係る携帯通信装置のハードウェア構成を概略的に示すブロック図であり、
図２は、本発明の実施の形態１に係る携帯通信装置のソフトウェア構成を示すブロック図であり、
図３は、本発明の実施の形態１に係る携帯通信装置によるダウンロードによる動画ファイルの再生処理における要求及びデータの流れを示す図であり、
図４は、本発明の実施の形態１に係る携帯通信装置によるテレビ電話による動画ファイルの再生処理における要求及びデータの流れを示す図であり、
図５は、本発明の実施の形態２に係る携帯通信装置のソフトウェア構成を示すブロック図であり、
図６は、本発明の実施の形態２に係る携帯通信装置によるダウンロードによる動画ファイルの記録処理における要求及びデータの流れを示す図であり、
図７は、本発明の実施の形態２に係る携帯通信装置によるテレビ電話による動画ファイルの記録処理おける要求及びデータの流れを示す図であり、
図８は、本発明の実施の形態２に係る携帯通信装置によるカメラ撮影による動画ファイルの記録処理おける要求及びデータの流れを示す図であり、
図９は、本発明の実施の形態２に係る携帯通信装置による動画ファイルの再生処理における要求及びデータの流れを示す図であり、
図１０は、本発明の実施の形態３及び４に係る携帯通信装置によるカメラ撮影データの変換・蓄積処理における要求及びデータの流れを示す図であり、
図１１は、本発明の実施の形態５に係る携帯通信装置により、ダウンロードした動画ファイルを再生する場合の、音声データと映像データの同期を合わせるためのシーケンスを示す図であり、
図１２は、本発明の実施の形態５に係る携帯通信装置により、音声データと映像データの同期を合わせながら動画ファイルを再生する際に、エラーが発生した場合のシーケンスを示す図であり、
図１３は、本発明の実施の形態５に係る携帯通信装置により、映像データのみで構成される動画ファイルを再生するシーケンスを示す図であり、
図１４は、本発明の実施の形態６に係る携帯通信装置による、ダウンロードした動画ファイルをコマ送り再生する際の再生方法について示した図であり、
図１５は、実施の形態６に係る携帯通信装置がダウンロードした動画ファイルをコマ送り再生している際に、コマ送りしている映像データを静止画として取り込む方法を示したものである。
【図１】
2003101102.tif 000003
【図２】
2003101102.tif 000004
【図３】
2003101102.tif 000005
【図４】
2003101102.tif 000006
【図５】
2003101102.tif 000007
【図６】
2003101102.tif 000008
【図７】
2003101102.tif 000009
【図８】
2003101102.tif 000010
【図９】
2003101102.tif 000011
【図１０】
2003101102.tif 000012
【図１１】
2003101102.tif 000013
【図１２】
2003101102.tif 000014
【図１３】
2003101102.tif 000015
【図１４】
2003101102.tif 000016
【図１５】
2003101102.tif 000017
【手続補正書】
【提出日】平成16年7月1日(2004.7.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声データと映像データとが多重化された動画ファイルを再生する動画ファイル再生方法であって、
前記動画ファイルが、前記音声データと前記映像データとの同期が取れている状態で多重化されている動画ファイルか否かを判断する判断ステップと、
前記動画ファイルを前記音声データと前記映像データとに分離する分離ステップと、
前記音声データを所定のサイズ毎に再生する音声再生ステップと、
前記映像データを所定のフレーム数毎に再生する映像再生ステップと
を備え、
前記判断ステップにて、前記動画ファイルが、前記音声データと前記映像データとの同期の取れている状態で多重化されている動画ファイルでないと判断した場合は、
前記所定のサイズの音声データの再生終了毎に、前記所定のフレーム数の映像データを再生するか否かを決定する
動画ファイル再生方法。
【請求項２】
所定のフレーム数の映像データを再生する期間は、
所定のサイズの音声データを再生する期間よりも長い
請求項１に記載の動画ファイル再生方法。
【請求項３】
動画ファイルの再生開始からの再生時間を監視し、当該再生開始から、所定サイズの音声データを再生する期間に相当する期間毎に通知を行う時間通知ステップを備え、
当該通知毎に、所定のフレーム数の映像データを再生するか否かを決定する
請求項１または２に記載の動画ファイル再生方法。
【請求項４】
音声データと映像データとが多重化された動画ファイルを再生する動画ファイル再生装置であって、
前記動画ファイルが、前記音声データと前記映像データとの同期が取れている状態で多重化されている動画ファイルか否かを判断する判断手段と、
前記動画ファイルを前記音声データと前記映像データとに分離する分離手段と、
前記音声データを所定のサイズ毎に再生する音声再生手段と、
前記映像データを所定のフレーム数毎に再生する映像再生手段と
を備え、
前記動画ファイルが前記音声データと前記映像データとの同期の取れている状態で多重化されている動画ファイルでないと、前記判断手段が判断した場合は、
前記所定のサイズの音声データの再生終了毎に、前記所定のフレーム数の映像データを再生するか否かを決定する
動画ファイル再生装置。
【請求項５】
所定のフレーム数の映像データを再生する期間は、
所定のサイズの音声データを再生する期間よりも長い
請求項４に記載の動画ファイル再生装置。
【請求項６】
動画ファイルの再生開始からの再生時間を監視し、当該再生開始から、所定サイズの音声データを再生する期間に相当する期間毎に通知を行う時間通知手段を備え、
当該通知毎に、所定のフレーム数の映像データを再生するか否かを決定する
請求項４または５に記載の動画ファイル再生装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】          明細書
【技術分野】
【０００１】
本発明は、ネットワークを通してダウンロードしたデータファイル（以下「動画ファイル」という。）の再生機能、テレビ電話（ビデオ・コンファレンス）中に蓄積した動画ファイルの再生機能、カメラ撮影により蓄積した動画ファイルの再生機能等を備えた次世代携帯電話装置（例えば、ＩＭＴ２０００規格に準拠）のような携帯通信装置に関し、特に、携帯通信装置において動画ファイルを再生するためのソフトウェア群の実装方式に関するものである。
【背景技術】
【０００２】
高速動作可能な汎用的なハードウェアとその上で動作する専用のソフトウェアとの組合せで動作するパーソナルコンピュータとは異なり、携帯通信装置により動画再生機能やテレビ電話機能等を実現するためには、各機能を実現する専用のハードウェアと、各ハードウェアを制御するソフトウェアとが必要になる。携帯通信装置のソフトウェア構成の一例は、例えば、月刊誌「Ｉｎｔｅｒｆａｃｅ（インターフェース）」２０００年２月号、第１００頁（ＣＱ出版社発行）に掲載されている。
【０００３】
従来のソフトウェア構成には、テレビ電話中に蓄積された動画ファイルを再生する機能を提供するライブラリ、ダウンロードにより蓄積された動画ファイルを再生する機能を提供するライブラリ、自端末のカメラ撮影機能により取得された動画ファイルを再生する機能を提供するライブラリのように、各機能に対応したライブラリが含まれる。従って、例えば、コンテンツ配信サーバからダウンロードされ蓄積された動画ファイルを再生する場合には、蓄積動画ファイルの再生機能を提供するライブラリを介してデバイスドライバ群を制御して再生機能を実現し、テレビ電話中に蓄積されたデータを再生する場合には、テレビ電話機能を実現するライブラリを介してデバイスドライバ群を制御して再生機能を実現していた。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記したように、従来の携帯通信装置は、ダウンロードにより取得した動画ファイルの再生とテレビ電話機能により取得した動画ファイルの再生とを実現するために、それぞれの再生機能を実行するライブラリを実装していた。言い換えれば、従来の携帯通信装置の記憶装置には、動画ファイルの種類に応じた数の再生実行用のライブラリがインストールされていた。従って、携帯通信装置で扱うことができる動画ファイルの種類を増やすことによって携帯通信装置の多機能化を図ろうとすると、インストールされるプログラム全体のサイズが大きくなり過ぎる傾向にあった。このため、従来の携帯通信装置のソフトウェアの実装方式では、記憶装置の容量が小さいためにプログラムの格納領域に制限のある携帯通信装置の多機能化が困難であるという問題があった。また、この問題は、携帯通信装置の記憶装置の容量を増やすことにより解消できるが、記憶装置の容量の増加は、携帯通信装置の製造コストの上昇という別の問題を生じさせる。
【０００５】
そこで、本発明は、上記したような従来技術の課題を解決するためになされたものであり、その目的とするところは、携帯通信装置に実装されるプログラム全体のサイズの増大を抑えつつ、多機能化を実現できるソフトウェアの実装方式を採用した動画ファイル再生方法及び動画ファイル再生装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の動画ファイルの再生方法の一形態は、
音声データと映像データとが多重化された動画ファイルを再生する動画ファイル再生方法であって、
前記動画ファイルが、前記音声データと前記映像データとの同期が取れている状態で多重化されている動画ファイルか否かを判断する判断ステップと、
前記動画ファイルを前記音声データと前記映像データとに分離する分離ステップと、
前記音声データを所定のサイズ毎に再生する音声再生ステップと、
前記映像データを所定のフレーム数毎に再生する映像再生ステップと
を備え、
前記判断ステップにて、前記動画ファイルが、前記音声データと前記映像データとの同期の取れている状態で多重化されている動画ファイルでないと判断した場合は、
前記所定のサイズの音声データの再生終了毎に、前記所定のフレーム数の映像データを再生するか否かを決定する
ものである。
【発明の効果】
【０００７】
本発明の動画ファイルの再生方法によれば、動画ファイルの種類に応じた数の再生実行用のライブラリをインストールする必要が無くなり、その結果、プログラム全体のサイズが大きくなることを防止できる。また、音声が途切れることなく、音声と映像の同期をとることが可能となる。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
図１は、本発明の実施の形態１から５までに係る携帯通信装置のハードウェア構成を概略的に示すブロック図である。実施の形態１から５までに係る携帯通信装置は、例えば、ダウンロードした動画ファイルの再生機能、テレビ電話（ビデオ・コンファレンス）機能、カメラ撮影機能等を備えた携帯電話装置又は携帯情報端末装置である。
【０００９】
図１に示されるように、実施の形態１から５までに係る携帯通信装置は、無線又は有線の通信回線を通して複数種類のデータを送受信する通信装置１を備えている。通信装置１で受信される動画ファイルには、映像データと音声データとを多重化したテレビ電話用の動画ファイル（ＩＴＵ−ＴＨ．３２４規格、Ｈ．３２４／Ｍ規格、又は、３ＧＰＰ（3rd Generation Partnership Project）で規定された３Ｇ−３２４Ｍ規格等に準拠）と、コンテンツ配信サーバからダウンロードされた動画ファイル（例えば、ＡＳＦ（Advanced
Streaming Format）形式やＭＰ４形式（画像圧縮方式「ＭＰＥＧ４」と音声圧縮方式「ＭＰ３(MPEG-1 audio layer 3)」、「ＱＣＥＬＰ（Qualcomm Code Exited Linear Predictive coding）」によるファイルフォーマット））が含まれる。
【００１０】
また、図１に示されるように、実施の形態１から５までに係る携帯通信装置は、映像データの符号化・復号化を行う映像情報処理装置（映像符号化・復号化装置）２と、音声データの符号化・復号化を行う音声情報処理装置（音声符号化・復号化装置）３とを備えている。映像情報処理装置２及び音声情報処理装置３は、動画ファイルがタイムスタンプを付加可能なデータで構成されている場合に、この動画ファイルを、圧縮データ内のタイムスタンプに従い復号化する機能と、タイムスタンプを無視してデータ受信直後に復号化する機能とを有する。このため、異なるフォーマットのデータを共通のデコーダで復号することができる。
【００１１】
また、実施の形態１から５までに係る携帯通信装置は、映像を表示する表示装置４と、音を出力するスピーカ装置５と、カメラ撮影により映像信号を生成する映像入力装置６と、音声信号を生成するマイク装置７とを備えている。さらに、実施の形態１から５までに係る携帯通信装置は、記憶装置（メモリ）８と、ＣＰＵ（中央処理装置）９とを備えている。なお、記憶装置８を複数設けて、プログラム格納用と動画ファイル蓄積用に分けて使用してもよい。また、ＣＰＵ９は、記憶装置８にインストールされたソフトウェア群及びリアルタイム・オペレーティングシステム（リアルタイムＯＳ）を用いて、各構成１から８までの動作を制御する。
【００１２】
図２は、本発明の実施の形態１に係る携帯通信装置のソフトウェア構成を示すブロック図である。なお、図２において矢印は、携帯通信装置のソフトウェア間におけるデータの授受を示す。
【００１３】
図２に示されるように、記憶装置８にインストールされたソフトウェア群は、ユーザーインターフェース（ＵＩ）を提供するソフトウェアを有するアプリケーション層１０と、データ処理を行うソフトウェアを有するライブラリ層２０と、デバイス（上記構成１から８までを含む）を制御するソフトウェアを有するドライバ層３０と、上記各層１０，２０，３０に含まれるソフトウェアを制御するリアルタイムＯＳ４０とに分類できる。
【００１４】
アプリケーション層１０には、テレビ電話実行時に使用するビデオ・コンファレンス・アプリケーション（テレビ電話アプリケーション：Video Conference Application）１１と、記憶装置８に蓄積された動画ファイルを再生する際に使用するムービー・ビューワ・アプリケーション（動画ビューワ・アプリケーション：Movie Viewer Application）１２とが含まれる。
【００１５】
ライブラリ層２０には、テレビ電話実行時にテレビ電話シーケンス制御を行うビデオ・コンファレンス・ライブラリ（テレビ電話ライブラリ：Video Conference Library）２１と、動画ファイルの記録再生機能を有する記録再生ライブラリ（ビデオ録画再生ライブラリ：Video Record/Play Library）２２と、ネットワークを介して（例えば、ネットワーク上のコンテンツ配信サーバから）ダウンロードした動画ファイルのデータを映像データと音声データとに分離するマルチメディア・サービス・ライブラリ（Multimedia
Service Library）２３とが含まれる。
【００１６】
ドライバ層３０には、ハードウェア機器を制御するためのソフトウェアである、カメラ・ビデオエンコーダ・ドライバ（Camera V-Encoder Driver）３１と、多重分離ビデオデコーダ・ドライバ（MUX/DEMUX V-Decoder Driver）３２と、オーディオ・ドライバ（Audio Driver）３３と、ファイル・システム・ドライバ（File System Driver）３４とが含まれる。
【００１７】
実施の形態１における記録再生ライブラリ２２は、入力された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットであるか否かを判定する。実施の形態１においては、多重分離ビデオデコーダ・ドライバ３２に入力される動画ファイルは、通信装置１を通してダウンロードされた動画ファイル、通信装置１を通してダウンロードされ記憶装置８に蓄積された動画ファイル、テレビ電話機能により通信装置１を通して取得された動画ファイル、テレビ電話機能により通信装置１を通して取得され記憶装置８に蓄積された動画ファイルを含む。多重分離ビデオデコーダ・ドライバ３２に入力される動画ファイルは、少なくともフォーマットを共通とする映像データを含む動画ファイルであれば、他の種類の動画ファイルであってもよい。
【００１８】
記録再生ライブラリ２２は、取得された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットであると判定したときには、取得された動画ファイルを多重分離ビデオデコーダ・ドライバ３２に提供する。また、記録再生ライブラリ２２は、取得された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットでないと判定したときには、マルチメディア・サービス・ライブラリ２３にその動画ファイルを送り、分離することによって、その動画ファイルに含まれる映像データを多重分離ビデオデコーダ・ドライバ３２に提供する。以上の再生制御処理により、フォーマットの異なる複数種類の動画ファイルを共通の再生制御ライブラリである記録再生ライブラリ２２を使用して再生することができる。
【００１９】
また、記録再生ライブラリ２２は、ファイル・システム・ドライバ３４を制御して、通信装置１により取得された動画ファイルを記憶装置８に記録させる蓄積処理と、記憶装置８に記録された動画ファイルを再生するための再生制御処理をも実行する。蓄積処理の詳細は、後述の実施の形態２において説明する。
【００２０】
＜ダウンロードした動画ファイルの再生処理＞
図３は、本発明の実施の形態１に係る携帯通信装置によるダウンロードした動画ファイルの再生処理における要求及びデータの流れを示す図である。図３に基づいて、実施の形態１に係る携帯通信装置によるダウンロードした動画ファイルの再生処理を説明する。
【００２１】
ダウンロードした動画ファイルを再生する場合には、先ず、ユーザの操作（操作部は図示せず）により、動画再生のためのユーザーインタフェースを提供するアプリケーションであるムービー・ビューワ・アプリケーション１２を通して、動画ファイル選択命令及び再生要求５０ａとが共通の再生制御ライブラリとしての記録再生ライブラリ２２に対して発行される。
【００２２】
次に、再生要求５０ａを受けた記録再生ライブラリ２２は、再生対象である動画ファイル５１ａのデータのフォーマット（規格）を判別し、ネットワークからダウンロードされた動画ファイルであるか否か、即ち、動画ファイルを構成するデータを映像データと音声データに分離する必要があるか否かを判断する。
【００２３】
再生対象である動画ファイル５１ａがダウンロードにより取得された動画ファイルである場合には、動画ファイル５１ａを構成する多重化データ５２を、マルチメディア・サービス・ライブラリ２３に提供し、分離要求を行う。マルチメディア・サービス・ライブラリ２３は、多重化データ５２を映像データと音声データとに分離して得られた分離データ５３を記録再生ライブラリ２２に返す。
【００２４】
次に、記録再生ライブラリ２２は、分離データ５３のうちの映像データ５６を、映像再生を行うハードウェアを制御するためのドライバである多重分離ビデオデコーダ・ドライバ３２に渡すと共に、分離データ５３のうちの音声データ５４を、音声再生を行うハードウェアを制御するためのドライバであるオーディオ・ドライバ３３に渡すことにより、動画ファイルの再生（即ち、表示装置４による映像の表示及びスピーカ装置５による音響の出力）を実現する。音声データ５４の再生に際しては、オーディオ・ドライバ３３は、再生した音声データ５４のサイズ５５を記録再生ライブラリ２２に返し、記録再生ライブラリ２２は、サイズ５５から再生された経過時間を割り出し、この経過時間に同期して映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡すことにより、映像データと音声データとの再生の同期をとる。
【００２５】
＜テレビ電話中における動画ファイルの蓄積処理＞
図１及び図２に基づいて、実施の形態１に係る携帯通信装置による動画ファイルの蓄積処理を説明する。テレビ電話中に受信した動画ファイルを記録する場合には、先ず、ユーザの操作により、テレビ電話のためのユーザインタフェースを提供するアプリケーションであるビデオ・コンファレンス・アプリケーション１１を通して、テレビ電話中の動画ファイルの録画要求を、テレビ電話機能を提供するライブラリであるビデオ・コンファレンス・ライブラリ２１に対して発行する。
【００２６】
次に、録画要求を受けたビデオ・コンファレンス・ライブラリ２１は、動画記録再生制御を行うライブラリである記録再生ライブラリ２２に録画要求を発行する。記録再生ライブラリ２２は、テレビ電話中の動画ファイルの授受を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求を発行し、受信した動画ファイルを多重分離ビデオデコーダ・ドライバ３２により受け取り、記憶装置８（又は図示しない他の記憶装置）への蓄積を行う。蓄積の際に、動画ファイルのデータに、テレビ電話中の録画データであることを示す識別情報を付加する。
【００２７】
＜テレビ電話中に蓄積された動画ファイルの再生処理＞
図４は、本発明の実施の形態１に係る携帯通信装置によるテレビ電話中に蓄積された動画ファイルの再生処理における要求及びデータの流れを示す図である。図１、図２、及び図４に基づいて、実施の形態１に係る携帯通信装置によるテレビ電話中に記録された動画ファイルの再生処理を説明する。
【００２８】
テレビ電話中に録画した動画ファイルを再生する場合には、先ず、ユーザの操作により、蓄積動画ファイル再生のためのユーザインタフェースを提供するアプリケーションであるムービー・ビューワ・アプリケーション１２を通して、蓄積動画ファイルの再生要求５０ｂを、ムービー・ビューワ・ライブラリ２１を介して、記録再生ライブラリ２２に対して発行する。
【００２９】
記録再生ライブラリ２２は、再生対象である動画ファイル５１ｂのデータがテレビ電話中に録画した動画ファイルであり、映像データと音声データとの再生タイミングの同期をとる必要のないデータであると判断する。この場合には、記録再生ライブラリ２２は、動画ファイル５１ｂの多重化データ５７を多重分離ビデオデコーダ・ドライバ３２に渡し、動画再生を実現する。自端末で録画された動画ファイル５１ｂの、映像データ及び音声データの再生タイミングの同期は、多重分離ビデオデコーダ・ドライバ３２内で行い、音声データ５８は必要に応じてオーディオ・ドライバ３３に渡される。
【００３０】
以上のようにして、異なるフォーマットを有する２種類の動画ファイル（ここでは、ダウンロードした動画ファイル５１ａとテレビ電話中に録画した動画ファイル５１ｂ）の再生を共通の再生機能ライブラリである記録再生ライブラリ２２、共通のドライバである多重分離ビデオデコーダ・ドライバ３２、及び共通のハードウェアを使用して実現することが可能となる。
【００３１】
以上説明したように、実施の形態１に係る携帯通信装置においては、複数種類の動画ファイル（例えば、動画ファイル５１ａ及び５１ｂ）について共通の再生機能ライブラリである記録再生ライブラリ２２を使用している。即ち、実施の形態１に係る携帯通信装置においては、現状又は将来の携帯通信装置用として規格化されている複数種類の動画ファイルの映像データが共通のフォーマットで構成された映像データであることに着目し、複数種類の動画ファイルのそれぞれについて再生機能ライブラリを備える従来方式を採用していない。代わりに、実施の形態１に係る携帯通信装置においては、複数種類の動画ファイルに共通する映像データを処理可能な共通の再生機能ライブラリである記録再生ライブラリ２２を用いて再生制御処理を実行している。
【００３２】
このように、実施の形態１に係る携帯通信装置においては、複数種類の動画ファイルを、分離という処理を経ることによって共通の記録再生ライブラリ２２により再生可能にしているので、携帯通信装置で扱うことができる動画ファイルの種類を増やすことによって携帯通信装置の多機能化を図る場合であっても、複数種類の動画ファイルのそれぞれについて再生機能ライブラリを備えた従来技術に比べて、インストールされるプログラム（ソフトウェア群）全体のサイズを小さくすることができる。このため、記憶装置の容量が小さいためにプログラムの格納領域に制限のある携帯通信装置であっても、多くの種類の動画ファイルに対応できる多機能化を実現できる。
【００３３】
なお、上記実施の形態１の説明においては、携帯通信装置が、ダウンロードした動画ファイルの再生機能及びテレビ電話中の動画ファイルの記録再生機能を持つ場合を説明したが、実施の形態１に係る携帯通信装置に他の機能を持たせることもできる。
【００３４】
また、上記実施の形態１の説明においては、ダウンロードした動画ファイルについては、データを分離してから記録再生ライブラリ２２に渡し、テレビ電話中に録画した動画ファイルについては、データを分離せずに記録再生ライブラリ２２に渡す場合を説明したが、動画ファイルのフォーマットが異なる場合には、動画ファイルの処理方法も異なる。従って、動画ファイルのフォーマットが異なる場合には、ダウンロードした動画ファイルについては、データを分離せずに記録再生ライブラリ２２に渡し、テレビ電話中に録画した動画ファイルについては、データを分離してから記録再生ライブラリ２２に渡す場合もあり得る。
【００３５】
実施の形態２．
図５は、本発明の実施の形態２（又は実施の形態３，４）に係る携帯通信装置のソフトウェア構成を示すブロック図である。なお、図５において矢印は、携帯通信装置のソフトウェア間におけるデータの授受を示す。
【００３６】
実施の形態１のソフトウェア構成と同様に、実施の形態２における記憶装置８にインストールされたソフトウェア群は、アプリケーション層１０と、ライブラリ層２０と、ドライバ層３０と、リアルタイムＯＳ４０とに分類できる。
【００３７】
アプリケーション層１０には、テレビ電話実行時に使用するビデオ・コンファレンス・アプリケーション１１と、記憶装置８に蓄積された動画ファイルを再生する際に使用するムービー・ビューワ・アプリケーション１２と、ネットワーク上のサーバからダウンロードされた動画ファイルを蓄積する際に、ネットワークアクセスのためのユーザインターフェースと提供するウェブ・ブラウザ・アプリケーション（Web Browser Application）１３と、映像入力装置６で映像を撮影する際に使用するカメラ・アプリケーション（Camera
Application）１４とが含まれる。
【００３８】
ライブラリ層２０には、テレビ電話実行時にテレビ電話シーケンス制御を行うビデオ・コンファレンス・ライブラリ２１と、動画ファイルの記録再生機能を有する記録再生ライブラリ２２と、ネットワークを介して（例えば、ネットワーク上のコンテンツ配信サーバから）ダウンロードした動画ファイルのデータを映像データと音声データとに分離するマルチメディア・サービス・ライブラリ２３とが含まれる。
【００３９】
ドライバ層３０には、ハードウェア機器を制御するためのソフトウェアである、カメラ・ビデオエンコーダ・ドライバ３１と、多重分離ビデオデコーダ・ドライバ３２と、オーディオ・ドライバ３３と、ファイル・システム・ドライバ３４とが含まれる。
【００４０】
実施の形態２における記録再生ライブラリ２２は、入力された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットであるか否かを判定する。実施の形態２においては、多重分離ビデオデコーダ・ドライバ３２に入力される動画ファイルは、通信装置１を通してダウンロードされた動画ファイル、通信装置１を通してダウンロードされ記憶装置８に蓄積された動画ファイル、テレビ電話機能により通信装置１を通して取得された動画ファイル、テレビ電話機能により通信装置１を通して取得され記憶装置８に蓄積された動画ファイル、映像入力装置６及びマイク装置７を通して取得された動画ファイルを含む。ただし、入力される動画ファイルは、少なくともフォーマットを共通とする映像データを含む動画ファイルであれば、他の種類の動画ファイルであってもよい。
【００４１】
記録再生ライブラリ２２は、入力された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットであると判定したときには、取得された動画ファイルを多重分離ビデオデコーダ・ドライバ３２に提供する。また、記録再生ライブラリ２２は、入力された動画ファイルが多重分離ビデオデコーダ・ドライバ３２により処理可能なフォーマットでないと判定したときには、マルチメディア・サービス・ライブラリ２３に動画ファイルを送り、分離することによって、動画ファイルに含まれる映像データを多重分離ビデオデコーダ・ドライバ３２に提供する。以上の再生制御処理により、フォーマットの異なる複数種類の動画ファイルを共通の再生制御ライブラリである記録再生ライブラリ２２を使用して再生することができる。
【００４２】
また、記録再生ライブラリ２２は、ファイル・システム・ドライバ３４を制御して、通信装置１により取得された動画ファイルを記憶装置８に記録させる蓄積処理と、記憶装置８に蓄積された動画ファイルを再生するための再生制御処理をも実行する。
【００４３】
＜ダウンロードした動画ファイルの蓄積処理＞
図６は、本発明の実施の形態２に係る携帯通信装置によるダウンロードされた動画ファイルの蓄積処理における要求及びデータの流れを示す図である。図１、図５、及び図６に基づいて、実施の形態２に係る携帯通信装置による動作を説明する。
【００４４】
ネットワーク上のサーバから通信回線を経由してダウンロードした動画ファイルを蓄積する場合には、ユーザの操作により、ネットワークアクセスのためのユーザインタフェースを提供するアプリケーションであるウェブ・ブラウザ・アプリケーション１３を通して、動画ファイルのダウンロード要求６１を記録再生ライブラリ２２に対して発行する。記録再生ライブラリ２２は、ネットワークアクセス中の動画ファイル６３の授受を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求６２を発行し、受信した動画ファイル６３に対応する多重化データ６４を多重分離ビデオデコーダ・ドライバ３２から受け取り、多重化データ６４に対応する多重化データ６５をファイルシステムを制御するドライバであるファイル・システム・ドライバ３４を介して、記憶装置８に蓄積する。蓄積の際には、動画ファイルのデータにダウンロードしたデータであることを示す識別情報を付加する。
【００４５】
＜テレビ電話動画ファイルの蓄積処理＞
図７は、本発明の実施の形態２に係る携帯通信装置によるテレビ電話の動画ファイルの蓄積処理における要求及びデータの流れを示す図である。図１、図５、及び図７に基づいて、実施の形態２に係る携帯通信装置による動作を説明する。
【００４６】
テレビ電話中の動画ファイルを蓄積する場合には、ユーザの操作により、テレビ電話のためのユーザインタフェースを提供するアプリケーションであるビデオ・コンファレンス・アプリケーション１１を通して、テレビ電話中の録画要求７１を、テレビ電話機能を提供するライブラリであるビデオ・コンファレンス・ライブラリ２１に対して発行する。録画要求７１を受けたビデオ・コンファレンス・ライブラリ２１は、動画記録再生制御を行うライブラリである記録再生ライブラリ２２へ録画要求７２を発行する。記録再生ライブラリ２２は、テレビ電話中の動画ファイルの授受を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求７３を発行し、受信した動画ファイル７４に対応する多重化データ７５を多重分離ビデオデコーダ・ドライバ３２から受け取り、多重化データ７５に対応する多重化データ７６をファイルシステムを制御するドライバであるファイル・システム・ドライバ３４を介して、記憶装置８に蓄積する。蓄積の際には、動画ファイルのデータにテレビ電話中の録画データであることを示す識別情報を付加する。
【００４７】
＜映像入力装置によって撮像された動画ファイルの蓄積処理＞
図８は、本発明の実施の形態２に係る携帯通信装置によるカメラ撮影データの蓄積処理における要求及びデータの流れを示す図である。図１、図５、及び図８に基づいて、実施の形態２に係る携帯通信装置による動作を説明する。
【００４８】
自端末に付属した映像入力装置６のカメラによって撮像された動画ファイルを蓄積する場合には、ユーザの操作により、カメラ撮影のためのユーザインタフェースを提供するアプリケーションであるカメラ・アプリケーション１４を通して、撮像画像の録画要求８１を、記録再生ライブラリ２２に対して発行する。記録再生ライブラリ２２は、カメラ撮影中の映像データと音声データの合成を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求８１を発行する。多重分離ビデオデコーダ・ドライバ３２は、カメラ・ビデオエンコーダ・ドライバ３１からの映像データ８４とオーディオ・ドライバ３３からの音声データ８３とが合成された多重化データ８５を記録再生ライブラリ２２に提供する。記録再生ライブラリ２２は、多重化データ８５に対応する多重化データ８６を、ファイルシステムを制御するドライバであるファイル・システム・ドライバ３４にを介して、記憶装置８に蓄積する。蓄積の際には、動画ファイルのデータにカメラ撮像による録画データであることを示す識別情報を付加する。
【００４９】
＜蓄積動画ファイルの再生処理＞
図９は、本発明の実施の形態２に係る携帯通信装置による蓄積動画ファイルの再生処理における要求及びデータの流れを示す図である。図１、図５、及び図９に基づいて、実施の形態２に係る携帯通信装置による動作を説明する。
【００５０】
蓄積された複数種類のフォーマットの動画ファイルを再生する場合には、ムービー・ビューワ・アプリケーション１２は、ユーザ操作によるファイル選択と再生要求５０を、記録再生ライブラリ２２に対して発行する。再生要求５０を受けた記録再生ライブラリ２２は、再生対象である動画ファイルのデータを判別し、ダウンロードした動画ファイルであるか否か、即ち、動画ファイルを構成する多重化データを映像データと音声データに分離する必要があるか否かを判断する。
【００５１】
再生対象である動画ファイル５１がダウンロードにより取得された動画ファイルである場合には、動画ファイル５１を構成する多重化データ５２を、マルチメディア・サービス・ライブラリ２３に提供し、分離要求を行う。マルチメディア・サービス・ライブラリ２３は、多重化データ５２を映像データと音声データとに分離して、分離データ５３を記録再生ライブラリ２２に返す。
【００５２】
次に、記録再生ライブラリ２２は、映像データ５６を、映像再生を行うハードウェアを制御するためのドライバである多重分離ビデオデコーダ・ドライバ３２に渡すと共に、音声データ５４を、音声再生を行うハードウェアを制御するためのドライバであるオーディオ・ドライバ３３に渡すことにより、動画ファイルの再生を実現する。音声データの再生に際しては、オーディオ・ドライバ３３は、再生した音声データのサイズ５５を記録再生ライブラリ２２に返し、記録再生ライブラリ２２は、サイズ５５から再生された経過時間を割り出し、この経過時間に同期して映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡すことにより、映像データと音声データとの再生の同期をとる。
【００５３】
テレビ電話中に録画した動画ファイルを再生する場合には、先ず、ユーザの操作により、蓄積動画ファイル再生のためのユーザインタフェースを提供するアプリケーションであるムービー・ビューワ・アプリケーション１２を通して、蓄積動画ファイルの再生要求５０を、記録再生ライブラリ２２に対して発行する。
【００５４】
記録再生ライブラリ２２は、再生対象である動画ファイル５１のデータがテレビ電話中に録画した動画ファイルであり、映像データと音声データとの再生タイミングの同期をとる必要のないデータであると判断する。この場合には、記録再生ライブラリ２２は、動画ファイル５１の多重化データ５７を多重分離ビデオデコーダ・ドライバ３２に渡し、動画再生を実現する。自端末で録画された動画ファイル５１ｂの、映像データ及び音声データの再生タイミングの同期は、多重分離ビデオデコーダ・ドライバ３２内で行い、音声データ５８は必要に応じてオーディオ・ドライバ３３に渡される。
【００５５】
映像入力装置６によるカメラ撮影により取得され蓄積された動画ファイルを再生する場合には、先ず、ユーザの操作により、蓄積動画ファイル再生のためのユーザインタフェースを提供するアプリケーションであるムービー・ビューワ・アプリケーション１２を通して、蓄積動画ファイルの再生要求５０を、記録再生ライブラリ２２に対して発行する。
【００５６】
記録再生ライブラリ２２は、再生対象である動画ファイル５１のデータがカメラ撮影により蓄積された動画ファイルであり、例えば、映像データと音声データとの再生タイミングの同期をとる必要のないデータであると判断する。この場合には、記録再生ライブラリ２２は、動画ファイル５１の多重化データ５７を多重分離ビデオデコーダ・ドライバ３２に渡し、動画再生を実現する。自端末で録画された動画ファイル５１ｂの、映像データ及び音声データの再生タイミングの同期は、多重分離ビデオデコーダ・ドライバ３２内で行い、音声データ５８は必要に応じてオーディオ・ドライバ３３に渡される。
【００５７】
以上のようにして、異なるフォーマットを有する複数種類の動画ファイル（ここでは、ダウンロードした動画ファイルと、テレビ電話中に録画した動画ファイルと、カメラ撮影により蓄積された動画ファイル）の再生を共通の再生機能ライブラリである記録再生ライブラリ２２、共通のドライバである多重分離ビデオデコーダドライバ３２、及び共通のハードウェアを使用して実現することが可能となる。
【００５８】
以上説明したように、実施の形態２に係る携帯通信装置においては、複数種類の動画ファイル（例えば、ダウンロードされた動画ファイル、テレビ電話中に録画された動画ファイル、カメラ撮影により蓄積された動画ファイル）について共通の再生機能ライブラリである記録再生ライブラリ２２を使用している。即ち、実施の形態２に係る携帯通信装置においては、現状又は将来の携帯通信装置用として規格化されている複数種類の動画ファイルの映像データが共通のフォーマットで構成された映像データであることに着目し、複数種類の動画ファイルのそれぞれについて再生機能ライブラリを備える従来方式を採用していない。代わりに、実施の形態２に係る携帯通信装置においては、複数種類の動画ファイルに共通する映像データを処理可能な共通の再生機能ライブラリである記録再生ライブラリ２２を用いて再生制御処理を実行している。
【００５９】
このように、実施の形態２に係る携帯通信装置においては、複数種類の動画ファイルを、分離という処理を経ることによって共通の記録再生ライブラリ２２により再生可能にしているので、携帯通信装置で扱うことができる動画ファイルの種類を増やすことによって携帯通信装置の多機能化を図る場合であっても、複数種類の動画ファイルのそれぞれについて再生機能ライブラリを備えた従来技術に比べて、インストールされるプログラム（ソフトウェア群）全体のサイズを小さくすることができる。このため、記憶装置の容量が小さいためにプログラムの格納領域に制限のある携帯通信装置であっても、多くの種類の動画ファイルに対応できる多機能化を実現できる。
【００６０】
なお、上記実施の形態２の説明においては、携帯通信装置が、ダウンロードされた動画ファイル、テレビ電話中に録画された動画ファイル、カメラ撮影により蓄積された動画ファイルを扱う場合を説明したが、実施の形態２に係る携帯通信装置は他の動画ファイルを扱うように構成してもよい。
【００６１】
また、上記実施の形態２の説明においては、ダウンロードした動画ファイルについては、データを分離してから記録再生ライブラリ２２に渡し、テレビ電話中に録画した動画ファイル及びカメラ撮影により蓄積された動画ファイルについては、データを分離せずに記録再生ライブラリ２２に渡す場合を説明したが、動画ファイルのフォーマットが異なる場合には、動画ファイルの処理方法も異なる。例えば、ダウンロードした動画ファイル及びカメラ撮影により蓄積された動画ファイルについては、データを分離してから記録再生ライブラリ２２に渡し、テレビ電話中に録画した動画ファイルについては、データを分離せずに記録再生ライブラリ２２に渡す場合のように、動画ファイルのフォーマットが異なる場合には、異なる処理方式が採用される。
【００６２】
実施の形態３．
図１０は、本発明の実施の形態３及び４に係る携帯通信装置によるカメラ撮影データの変換・蓄積処理における要求及びデータの流れを示す図である。実施の形態３に係る携帯通信装置のハードウェア構成は図１の構成と同様であり、実施の形態３に係る携帯通信装置のソフトウェア構成は図５の構成と同様である。実施の形態３に係る携帯通信装置は、自端末の映像入力装置６で撮影した動画をテレビ電話通信で使用する動画フォーマットに変換して保存する。図１、図５、及び図１０に基づいて、実施の形態３に係る携帯通信装置の動作を説明する。
【００６３】
自端末の映像入力装置６によりカメラ撮影して、撮像された動画ファイルを蓄積する場合には、カメラ・アプリケーション１４によるユーザ操作により、撮像画像の録画要求７１が記録再生ライブラリ２２に対して発行される。記録再生ライブラリ２２は、カメラ撮影中の映像データと音声データの合成を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求７２を発行する。
【００６４】
多重分離ビデオデコーダ・ドライバ３２は、カメラ・ビデオエンコーダ・ドライバ３１により符号化された映像データ７４とオーディオ・ドライバ３３より符号化された音声データ７３を受け取る。多重分離ビデオデコーダ・ドライバ３２は、映像データ７４及び音声データ７３を分離したままのデータ７５として記録再生ライブラリ２２に渡す。記録再生ライブラリ２２は、受け取った映像データ／音声データ７６をマルチメディア・サービス・ライブラリ２３に渡し、マルチメディア・サービス・ライブラリ２３は、テレビ電話通信で使用する動画フォーマットに変換を行う。
【００６５】
記録再生ライブラリ２２は、フォーマット変換されたデータからなる動画ファイル７７をマルチメディア・サービス・ライブラリ２３から受け取り、ファイル・システム・ドライバ３４を介して、ファイルシステムへデータの蓄積を行う。なお、蓄積の際に、カメラ撮像中の録画データであることを示す識別情報を動画ファイルに付加する。
【００６６】
実施の形態３に係る携帯通信装置によれば、カメラ撮影により取得された動画ファイルを、テレビ電話の通話先から送信された動画ファイルのフォーマットに変換して記憶装置８に蓄積するので、あらかじめ自端末で撮影した動画ファイルを相手端末へ迅速且つ容易に送信することができる。
【００６７】
なお、実施の形態３において、上記以外の点は、上記実施の形態２と同様である。
【００６８】
実施の形態４．
実施の形態４に係る携帯通信装置のハードウェア構成は図１の構成と同様であり、実施の形態４に係る携帯通信装置のソフトウェア構成は図５に示される構成と同様である。実施の形態４に係る携帯通信装置は、自端末の映像入力装置６によりカメラ撮影して取得された動画ファイルをダウンロードした動画ファイルと同じフォーマットに変換して記憶装置８に保存する。図１、図５、及び図１０に基づいて、実施の形態４に係る携帯通信装置によるカメラ撮影動作を説明する。
【００６９】
自端末の映像入力装置６によりカメラ撮影して、撮像された動画ファイルを蓄積する場合には、カメラ・アプリケーション１４によるユーザ操作により、撮像画像の録画要求７１が記録再生ライブラリ２２に対して発行される。記録再生ライブラリ２２は、カメラ撮影中の映像データと音声データの合成を行うハードウェアを制御する多重分離ビデオデコーダ・ドライバ３２に録画要求７２を発行する。
【００７０】
多重分離ビデオデコーダ・ドライバ３２は、カメラ・ビデオエンコーダ・ドライバ３１より符号化された映像データ７４とオーディオ・ドライバ３３より符号化された音声データ７３を受け取る。多重分離ビデオデコーダ・ドライバ３２は、映像データ７４及び音声データ７３を分離したままのデータ７５として記録再生ライブラリ２２に渡す。記録再生ライブラリ２２は、受け取った映像データ／音声データ７６をマルチメディア・サービス・ライブラリ２３へ渡し、マルチメディア・サービス・ライブラリ２３は、ダウンロードした動画ファイルと同じフォーマットに変換を行う。
【００７１】
記録再生ライブラリ２２は、フォーマット変換されたデータからなる動画ファイル７７をマルチメディア・サービス・ライブラリ２３から受け取り、ファイル・システム・ドライバ３４を介して、ファイルシステムへデータの蓄積を行う。なお、蓄積の際に、カメラ撮像中の録画データであることを示す識別情報を動画ファイルに付加する。
【００７２】
実施の形態４に係る携帯通信装置によれば、カメラ撮影により取得された動画ファイルを、ダウンロードした動画ファイルと同じフォーマットに変換して記憶装置８に蓄積するので、あらかじめ自端末で撮影した動画ファイルをネットワークに迅速且つ容易にアップロードすることができる。
【００７３】
なお、実施の形態４において、上記以外の点は、上記実施の形態２と同様である。
【００７４】
実施の形態５．
図１１は、本発明の実施の形態５に係る携帯通信装置により、ダウンロードした動画ファイルを再生する場合の、音声データと映像データの同期を合わせるためのシーケンスを示す図である。実施の形態５に係る携帯通信装置のハードウェア構成は図１と同様であり、実施の形態５に係る携帯通信装置のソフトウェア構成は図２の構成と同様である。実施の形態５に係る携帯通信装置は、ダウンロードした動画ファイルを再生する際に、音声データと映像データの同期をとって再生を行う。図２、図３及び図１１に基づいて実施の形態５に係る携帯通信装置の動作を説明する。
【００７５】
図２又は図３に示されるように、ダウンロードした動画ファイルを再生する場合には、ユーザの操作により、動画再生のためのユーザーインタフェースを提供するアプリケーションであるムービー・ビューワ・アプリケーション１２を通して、動画ファイル選択命令及び再生要求５０ａが共通の再生制御ライブラリとしての記録再生ライブラリ２２に対して発行される。
【００７６】
図２又は図３に示されるように、再生対象である動画ファイル５１ａがダウンロードにより取得された動画ファイルである場合には、記録再生ライブラリ２２は動画ファイル５１ａを構成する多重化データ５２を、マルチメディア・サービス・ライブラリ２３に提供し、分離要求を行う。マルチメディア・サービス・ライブラリ２３は、多重化データ５２を映像データと音声データとに分離して、分離データ５３を記録再生ライブラリ２２に返す。
【００７７】
次に、図１１に示されるように、記録再生ライブラリ２２は、分離データ５３より、音声データと映像データの同期を合わせるためのタイムテーブル２２５を作成する。このタイムテーブル２２５には、ある時刻での音声データの累積処理サイズ及び映像データの累積処理サイズが記述されている。
【００７８】
再生開始時刻Ａにおいて、記録再生ライブラリ２２は、１フレーム分の映像データ５６を、映像再生を行うハードウェアを制御するためのドライバである多重分離ビデオデコーダ・ドライバ３２に渡すと共に、音声データ５４を、音声再生を行うハードウェアを制御するためのドライバであるオーディオ・ドライバ３３に渡す。また、エラーが原因でオーディオ・ドライバ３３からの通知が発生しなかったときのために、内部タイマ２２１を設定する。内部タイマ２２１のイベント発生の間隔は、オーディオ・ドライバ３３からの通知の間隔と同じΔＴに設定する。
【００７９】
オーディオ・ドライバ３３は、一定の時間間隔ΔＴごとに、処理した音声データの累積サイズ（即ち、音声データサイズ）５５を記録再生ライブラリ２２に返す。ここで、間隔ΔＴは、一定時間内に表示させる映像フレームの枚数であるフレームレート〔ｓ−１〕に応じて決められる間隔であり、１フレーム期間（＝１÷フレームレート〔ｓ−１〕）よりも短い間隔である必要がある。記録再生ライブラリ２２は、タイムテーブル２２５を用いて、処理された音声データの累積サイズ５５から現在時刻を割り出す。さらに、記録再生ライブラリ２２は、タイムテーブル２２５を参照し、時刻Ｂにおいて、処理された映像データの累積サイズが動画の１フレーム分に達しているかを判定する。時刻Ｂにおいては、処理された音声データの累積サイズ５５は１フレーム分の映像データに達していないため、記録再生ライブラリ２２は、映像データを多重分離ビデオデコーダ・ドライバ３２に渡すことはしない。
【００８０】
さらに、オーディオ・ドライバ３３からの通知があった時刻Ｃにおいて、記録再生ライブラリ２２は、時刻Ｂと同様に、タイムテーブル２２５を参照し、処理された映像データの累積サイズが１フレーム分に達しているかを判定する。時刻Ｃにおいては、処理された映像データの累積サイズが１フレーム分に達しているため、記録再生ライブラリ２２は、そのフレームサイズの映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡し、映像データが表示される。
【００８１】
オーディオ・ドライバ３３からの通知があった時刻Ｄにおいて、音声データの累積サイズ５５（例えば、時刻ＡからＤまでの間に処理された音声データの累積サイズ）が、オーディオ・ドライバ３３に渡した音声データ５４（例えば、時刻Ａにおいて、記録再生ライブラリ２２がオーディオ・ドライバ３３に渡した音声データ）のサイズに達する前に、記録再生ライブラリ２２は、再び、音声データ５４をオーディオ・ドライバ３３に渡し（例えば、時刻Ｄにおいて）、オーディオ・ドライバ４３において処理すべき音声データが枯渇しないようにする。
【００８２】
さらに、オーディオ・ドライバ３３からの通知があった時刻Ｅにおいて、記録再生ライブラリ２２は、時刻Ｃと同様にタイムテーブル２２５を参照し、映像データの累積サイズが、（それまでに再生を行ったフレームのデータ）＋（１フレーム分のデータ）に達していれば、記録再生ライブラリ２２がフレームサイズ分の映像データ５６を多重分離ビデオデコーダ・ドライバ３３に渡し、映像データが表示される。
【００８３】
以上説明したように、実施の形態５に係る携帯通信装置によれば、記録再生ライブラリ２２がオーディオ・ドライバ３３から音声データ処理量を受け取り、音声の処理に合わせて映像の再生を行うため、音声が途切れることなく音声と映像の同期をとることができる。
【００８４】
次に音声データが欠けた、不正なコンテンツを再生する場合の例を説明する。
図１１から理解できるように、内部タイマ２２１のみを用いて音声、映像データ再生の制御を行った場合は、時刻Ａの次に映像データを表示するのは時刻Ｃとなる。時刻Ａから時刻Ｂの間の音声データが欠けた不正なコンテンツの場合、音声再生を途切れさせないためには、時刻Ｂから時刻Ｃの音声データを時刻Ａから時刻Ｂの間に再生させる必要があり、このため、時刻Ｃの時点で再生している音声データは時刻Ｄのものとなる。従って、音声、映像データ再生の同期が合わないという結果になる。
【００８５】
実施の形態５に係る携帯通信装置では、時刻Ａから時刻Ｂの間で再生すべき音声データが存在しない場合、オーディオ・ドライバ３３は、再生音が途切れないように時刻Ｂから時刻Ｃの間に再生すべき音声データを時刻Ａから時刻Ｂの間に再生する。この結果、時刻Ｂにてオーディオ・ドライバ３３から記録再生ライブラリ２２へ返す累積データサイズは、本来時刻Ｃにて返す値となる。記録再生ライブラリ２２は時刻Ｂにて、タイムテーブル２２５を用い、音声データの累積データサイズから現在時刻を割り出すため、その結果時刻Ｃであると判断し、映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡し、映像データが表示される。このため、内部タイマ２２１のみを用いた音声、映像の同期方法では、途中から同期が合わなくなるようなオーディオデータが欠けた不正なコンテンツでも、常に音声データが途切れることなく、音声データと映像データの同期を合わせることができる。
【００８６】
図１２は、実施の形態５に係る携帯通信装置により、音声データと映像データの同期を合わせながら動画ファイルを再生する際に、エラーが発生した場合のシーケンスを示す図である。図１２に基づいて実施の形態５に係る携帯通信装置のエラー処理の動作を説明する。
【００８７】
図２又は図３に示されるように、正常動作と同様に、ユーザの操作により、ムービー・ビューワ・アプリケーション１２を通して、動画ファイル選択命令及び再生要求５０ａが共通の再生制御ライブラリとしての記録再生ライブラリ２２に対して発行される。
【００８８】
図２又は図３に示されるように、記録再生ライブラリ２２は、動画ファイル５１ａを構成する多重化データ５２を、マルチメディア・サービス・ライブラリ２３に提供し、分離要求を行う。マルチメディア・サービス・ライブラリ２３は、多重化データ５２を映像データと音声データとに分離して、分離データ５３を記録再生ライブラリ２２に返す。
【００８９】
次に、図１２に示されるように、記録再生ライブラリ２２は、分離データ５３より、音声データと映像データの同期を合わせるためのタイムテーブル２２５を作成する。このタイムテーブル２２５には、ある時刻での音声データの累積処理サイズ及び映像データの累積処理サイズが記述されている。
【００９０】
再生開始時刻Ａにおいて、記録再生ライブラリ２２は、１フレーム分の映像データ５６を、映像再生を行うハードウェアを制御するためのドライバである多重分離ビデオデコーダ・ドライバ３２に渡すと共に、音声データ５４を、音声再生を行うハードウェアを制御するためのドライバであるオーディオ・ドライバ３３に渡す。また、エラーが原因でオーディオ・ドライバからの通知が発生しなかったときのために、内部タイマ２２１を設定する。内部タイマ２２１のイベント発生の間隔は、オーディオ・ドライバ３３から発生する通知の間隔と同じΔＴに設定する。
【００９１】
オーディオ・ドライバ３３は、一定の間隔ΔＴごとに、それまでに処理した音声データの累積サイズを記録再生ライブラリ２２に返す。何らかの理由で音声データサイズ５５が記録再生ライブラリ２２に返らなかった場合（図１２の符号Ｐ）、あらかじめ設定しておいた内部タイマ２２１のイベント２２３が発生し、記録再生ライブラリ２２は、時刻Ｂで、処理された映像データの累積サイズが動画の１フレーム分に達しているかを判定することができる。時刻Ｂにおいては、処理された映像データの累積サイズが１フレーム分のデータに達していないため、記録再生ライブラリ２２は、映像データを多重分離ビデオデコーダ・ドライバ３２に渡すことはしない。
【００９２】
さらに、何らかの理由で、オーディオ・ドライバ３３からの通知が記録再生ライブラリ２２に返らなかった場合（図１２の符号Ｑ）においても同様に、あらかじめ設定しておいた内部タイマ２２１のイベント２２３が発生し、時刻Ｃにおいて、記録再生ライブラリ２２は、処理された映像データの累積サイズが動画の１フレーム分に達しているかを判定することができる。時刻Ｃにおいては、処理された映像データの累積サイズが１フレーム分のデータに達しているため、記録再生ライブラリ２２は、１フレーム分の映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡すことができる。
【００９３】
オーディオ・ドライバ３３からの通知が記録再生ライブラリ２２に返らなかった場合（図１２の符号Ｒ）においても同様に、あらかじめ設定しておいた内部タイマ２２１のイベントが発生し、記録再生ライブラリ２２は、時刻Ｄで、映像データ及び音声データの処理状況の判定を行うことができる。時刻Ｄにおいては、タイムテーブル２２５より、あらかじめオーディオ・ドライバ３３に渡した音声データ５４が枯渇する可能性があると判定できるため、記録再生ライブラリ２２は、次の音声データ５４をオーディオ・ドライバ３３に渡す。
【００９４】
以上のように、実施の形態５に係る携帯通信装置によれば、オーディオ・ドライバ３３からの音声データ処理量の通知（即ち、音声データサイズ）５５が何らかの理由により、記録再生ライブラリ２２に到達しない場合においても、あらかじめ設定した内部タイマ２２１のイベント２２３により、音声データ及び映像データの再生タイミングを取ることができる。このため、音声と映像の同期をとりながら、動画の再生を行うことができる。
【００９５】
図１３は、実施の形態５に係る携帯通信装置により、映像データのみで構成される動画ファイルを再生するシーケンスを示す図である。図１３に基づいて実施の形態５に係る携帯通信装置の映像データのみで構成される動画像ファイルの再生動作を説明する。
【００９６】
図２又は図３に示されるように、ユーザの操作により、ムービー・ビューワ・アプリケーション１２を通して、動画ファイル選択命令及び再生要求５０ａが共通の再生制御ライブラリとしての記録再生ライブラリ２２に対して発行される。
【００９７】
図２又は図３に示されるように、記録再生ライブラリ２２は、動画ファイル５１ａを構成する多重化データ５２をマルチメディア・サービス・ライブラリ２３に提供し、分離要求を行う。マルチメディア・サービス・ライブラリ２３は、多重化データ５２を映像データと音声データとに分離して、分離データ５３を記録再生ライブラリ２２に返す。ただし、図１３で示す動画再生の形態では、動画ファイルは映像データのみで構成されるため、音声データが存在しない。
【００９８】
次に、図１３に示されるように、記録再生ライブラリ２２は、分離データ５３より、音声データと映像データの再生タイミングを合わせるためのタイムテーブル２２５を作成する。この場合は音声データがないため、このタイムテーブル２２５には、ある時刻での映像データの累積処理サイズのみが記述されている。
【００９９】
再生開始時刻Ａにおいて、記録再生ライブラリ２２は、１フレーム分の映像データ５６を、映像再生を行うハードウェアを制御するためのドライバである多重分離ビデオデコーダ・ドライバ３２に渡す。この場合は、音声データが存在しないため、記録再生ライブラリ２２は、オーディオ・ドライバ３３に音声データを渡さないので、オーディオ・ドライバからの一定間隔ΔＴごとの通知が返って来ない。また、図１１及び図１２の例と同様に、内部タイマ２２１を一定間隔ΔＴで設定する。
【０１００】
内部タイマ２２１は、時間ΔＴ後に、イベント２２３を記録再生ライブラリ２２に通知する（図１３の時刻Ｂ）。記録再生ライブラリ２２は、この時刻Ｂにおいて、処理された映像データの累積サイズが動画の１フレーム分に達しているかを判定することができる。時刻Ｂにおいては、処理された映像データの累積サイズが１フレーム分のデータに達していないため、記録再生ライブラリ２２は、映像データを多重分離ビデオデコーダ・ドライバ３２に渡すことはしない。
【０１０１】
さらに、時間ΔＴが経過し、内部タイマ２２１がイベント２２３を記録再生ライブラリ２２に通知する（図１３の時刻Ｃ）。時刻Ｃにおいては、処理された映像データの累積サイズが動画の１フレーム分に達しているため、記録再生ライブラリ２２は、１フレーム分の映像データ５６を多重分離ビデオデコーダ・ドライバ３２に渡すことができる。
【０１０２】
以上のように、実施の形態５に係る携帯通信装置によれば、音声データを含まない動画ファイルの再生時においても、内部タイマ２２１が発生するイベント２２３によって、映像データから作成したタイムテーブル２２５に従って動画の再生を行うことができる。
【０１０３】
実施の形態６．
図１４は、本発明の実施の形態６に係る携帯通信装置による、ダウンロードした動画ファイルをコマ送り再生する際の再生方法について示した図である。実施の形態６に係る携帯通信装置のハードウェア構成は図１の構成と同様であり、実施の形態６に係る携帯通信装置のソフトウェア構成は図２の構成と同様である。実施の形態６に係る携帯通信装置はダウンロードした動画ファイルをコマ送り再生することができるが、図１４に基づいて実施の形態６に係る携帯通信装置の動作を説明する。
【０１０４】
ムービー・ビューワ・アプリケーション１２はコマ送りを進めるユーザインターフェースを有しており、これの入力に従って、コマ送り要求８１が記録再生ライブラリ２２に送られる。時刻Ａにおいて、ムービー・ビューワ・アプリケーション１２からのコマ送り要求８１を受けた、記録再生ライブラリ２２は、その時点で再生を行っていない場合は、マルチメディア・サービス・ライブラリ２３より受け取った分離データ８３から、１フレーム分の映像データ８６を多重分離ビデオデコーダ・ドライバに渡す。再生を行っていた場合は、その時点で再生を停止するが、多重分離ビデオデコーダ・ドライバ３２が表示した映像データ８６はそのまま表示し続ける。
【０１０５】
続けて送られるムービー・ビューワ・アプリケーション１２からのコマ送り要求８１に対して、記録再生ライブラリ２２は、次のフレームの映像データ８６を多重分離ビデオデコーダ・ドライバ３２に渡す。このようにして、実施の形態６に係る携帯通信装置では、ユーザからの入力に対して映像データをコマ送りで表示することができる。
【０１０６】
図１５は、実施の形態６に係る携帯通信装置がダウンロードした動画ファイルをコマ送り再生している際に、コマ送りしている映像データを静止画として取り込む方法を示したものである。
【０１０７】
ムービー・ビューワ・アプリケーション１２は、コマ送りを進めるユーザインターフェースに加え、静止画取り込みを行うユーザインターフェースを有しており、これの入力に従って、取り込み要求９１を記録再生ライブラリ２２に送られる。
【０１０８】
静止画取り込みはコマ送り再生中に行われる。ムービー・ビューワ・アプリケーション１２から通知されたコマ送り要求８１に対して記録再生ライブラリ２２は、１フレーム分の映像データ８６を多重分離ビデオデコーダ・ドライバ３２に渡し、そのデータは表示メモリ４１に送られ表示デバイスに表示される。コマ送り再生の表示を見たエンドユーザが、取り込みのユーザインターフェースを操作することにより、ムービー・ビューワ・アプリケーション１２からの取り込み要求９１が記録再生ライブラリ２２に送られる。記録再生ライブラリ２２はそのときに表示デバイスに表示されている映像データ９６ａを表示メモリ４１から取り込む。映像データ９６ａは保存に適した静止画フォーマットに変換され、変換された映像データ９６ｂはファイル・システム・ドライバ３４に渡されファイルシステムに保存される。
【０１０９】
このようにして、実施の形態６に係る携帯通信装置では、エンドユーザがコマ送り再生した画像データを静止画として記録保存することができる。
【０１１０】
なお、実施の形態６において、上記以外の点は、上記実施の形態５と同様である。
【０１１１】
【図面の簡単な説明】
【図１】  図１は、本発明の実施の形態１から５までに係る携帯通信装置のハードウェア構成を概略的に示すブロック図である。
【図２】  図２は、本発明の実施の形態１に係る携帯通信装置のソフトウェア構成を示すブロック図である。
【図３】  図３は、本発明の実施の形態１に係る携帯通信装置によるダウンロードによる動画ファイルの再生処理における要求及びデータの流れを示す図である。
【図４】  図４は、本発明の実施の形態１に係る携帯通信装置によるテレビ電話による動画ファイルの再生処理における要求及びデータの流れを示す図である。
【図５】  図５は、本発明の実施の形態２に係る携帯通信装置のソフトウェア構成を示すブロック図である。
【図６】  図６は、本発明の実施の形態２に係る携帯通信装置によるダウンロードによる動画ファイルの記録処理における要求及びデータの流れを示す図である。
【図７】  図７は、本発明の実施の形態２に係る携帯通信装置によるテレビ電話による動画ファイルの記録処理おける要求及びデータの流れを示す図である。
【図８】  図８は、本発明の実施の形態２に係る携帯通信装置によるカメラ撮影による動画ファイルの記録処理おける要求及びデータの流れを示す図である。
【図９】  図９は、本発明の実施の形態２に係る携帯通信装置による動画ファイルの再生処理における要求及びデータの流れを示す図である。
【図１０】  図１０は、本発明の実施の形態３及び４に係る携帯通信装置によるカメラ撮影データの変換・蓄積処理における要求及びデータの流れを示す図である。
【図１１】  図１１は、本発明の実施の形態５に係る携帯通信装置により、ダウンロードした動画ファイルを再生する場合の、音声データと映像データの同期を合わせるためのシーケンスを示す図である。
【図１２】  図１２は、本発明の実施の形態５に係る携帯通信装置により、音声データと映像データの同期を合わせながら動画ファイルを再生する際に、エラーが発生した場合のシーケンスを示す図である。
【図１３】  図１３は、本発明の実施の形態５に係る携帯通信装置により、映像データのみで構成される動画ファイルを再生するシーケンスを示す図である。
【図１４】  図１４は、本発明の実施の形態６に係る携帯通信装置による、ダウンロードした動画ファイルをコマ送り再生する際の再生方法について示した図である。
【図１５】  図１５は、実施の形態６に係る携帯通信装置がダウンロードした動画ファイルをコマ送り再生している際に、コマ送りしている映像データを静止画として取り込む方法を示したものである。
【符号の説明】
【０１１２】
１  通信装置、  ２  映像情報処理装置、  ３  音声情報処理装置、  ４  表示装置、  ５  スピーカ装置、  ６  映像入力装置、  ７  マイク装置、  ８  記憶装置、  ９  ＣＰＵ、  １０  アプリケーション層、  １１  ビデオコンファレンスアプリケーション、  １２  ムービー・ビューワ・アプリケーション、  １３  ウェブブラウザアプリケーション、  １４  カメラアプリケーション、  ２０  ライブラリ層、  ２１  ビデオコンファレンスライブラリ、  ２２  記録再生ライブラリ、  ２３  マルチ・メディア・サービスライブラリ、  ３０  ドライバ層、  ３１  カメラ・ビデオエンコードドライバ、  ３２  多重分離ビデオデコーダドライバ、  ３３  オーディオドライバ、  ３４  ファイルシステムドライバ。
【手続補正書】
【提出日】平成16年12月3日(2004.12.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声データと映像データとが多重化された複数種類の動画ファイルを再生する携帯通信装置の動画ファイル再生方法であって、
前記動画ファイルが、前記音声データと前記映像データとの同期が取れている状態で多重化されている動画ファイルか否かを判断する判断ステップと、
前記動画ファイルを前記音声データと前記映像データとに分離する分離ステップと、
前記音声データを所定のサイズ毎に再生する音声再生ステップと、
前記映像データを所定のフレーム数毎に再生する映像再生ステップと
を備え、
前記判断ステップにて、前記動画ファイルが、前記音声データと前記映像データとの同期の取れている状態で多重化されている動画ファイルでないと判断した場合は、
前記所定のサイズの音声データの再生終了毎に、当該所定サイズの音声データの再生時間より再生時間が長くなるフレーム数の映像データを再生するか否かを決定する
携帯通信装置の動画ファイル再生方法。
【請求項２】
動画ファイルの再生開始からの再生時間を監視し、当該再生開始から、所定サイズの音声データを再生する期間に相当する期間毎に通知を行う時間通知ステップを備え、
当該通知毎に、所定のフレーム数の映像データを再生するか否かを決定する
請求項１に記載の携帯通信装置の動画ファイル再生方法。
【請求項３】
音声データと映像データとが多重化された複数種類の動画ファイルを再生する携帯通信装置用の動画ファイル再生装置であって、
前記動画ファイルが、前記音声データと前記映像データとの同期が取れている状態で多重化されている動画ファイルか否かを判断する判断手段と、
前記動画ファイルを前記音声データと前記映像データとに分離する分離手段と、
前記音声データを所定のサイズ毎に再生する音声再生手段と、
前記映像データを所定のフレーム数毎に再生する映像再生手段と
を備え、
前記動画ファイルが前記音声データと前記映像データとの同期の取れている状態で多重化されている動画ファイルでないと、前記判断手段が判断した場合は、
前記所定のサイズの音声データの再生終了毎に、当該所定サイズの音声データの再生期間より再生時間が長くなるフレーム数の映像データを再生するか否かを決定する
携帯通信装置用の動画ファイル再生装置。
【請求項４】
動画ファイルの再生開始からの再生時間を監視し、当該再生開始から、所定サイズの音声データを再生する期間に相当する期間毎に通知を行う時間通知手段を備え、
当該通知毎に、所定のフレーム数の映像データを再生するか否かを決定する
請求項３に記載の携帯通信装置用の動画ファイル再生装置。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本発明の携帯通信装置の動画ファイルの再生方法の一形態は、
音声データと映像データとが多重化された複数種類の動画ファイルを再生する携帯通信装置の動画ファイル再生方法であって、
前記動画ファイルが、前記音声データと前記映像データとの同期が取れている状態で多重化されている動画ファイルか否かを判断する判断ステップと、
前記動画ファイルを前記音声データと前記映像データとに分離する分離ステップと、
前記音声データを所定のサイズ毎に再生する音声再生ステップと、
前記映像データを所定のフレーム数毎に再生する映像再生ステップと
を備え、
前記判断ステップにて、前記動画ファイルが、前記音声データと前記映像データとの同期の取れている状態で多重化されている動画ファイルでないと判断した場合は、
前記所定のサイズの音声データの再生終了毎に、当該所定サイズの音声データの再生時間より再生時間が長くなるフレーム数の映像データを再生するか否かを決定する
ものである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明の携帯通信装置の動画ファイルの再生方法によれば、動画ファイルの種類に応じた数の再生実行用のライブラリをインストールする必要が無くなり、その結果、プログラム全体のサイズが大きくなることを防止できる。また、音声が途切れることなく、音声と映像の同期をとることが可能となる。
【国際調査報告】
2003101102.tif 000018
2003101102.tif 000019
2003101102.tif 000020
2003101102.tif 000021