(57)【特許請求の範囲】
【請求項１】
１フレーム分の画像データを動画像ファイルから取り出す画像取り出し手段と、
前記画像取り出し手段によって取り出された１フレーム分の画像データを含む複数フレーム分の画像データに対応する複数フレーム分の音声データを前記動画像ファイルから取り出す音声取り出し手段と、
前記画像取り出し手段によって取り出された１フレーム分の画像データと、前記音声取り出し手段によって取り出された複数フレーム分の音声データとを１フレームの期間内に送信する送信手段とを有し、
前記音声取り出し手段は、各フレーム分の音声データが複数回繰り返し送信されるようにするために、前記動画像ファイルから取り出される複数フレーム分の音声データを選択することを特徴とする画像音声送信装置。
【請求項２】
１フレーム分の画像データを動画像ファイルから取り出す画像取り出しステップと、
前記画像取り出しステップにおいて取り出された１フレーム分の画像データを含む複数フレーム分の画像データに対応する複数フレーム分の音声データを前記動画像ファイルから取り出す音声取り出しステップと、
前記画像取り出しステップにおいて取り出された１フレーム分の画像データと、前記音声取り出しステップにおいて取り出された複数フレーム分の音声データとを１フレームの期間内に送信する送信ステップとを有し、
前記音声取り出しステップは、各フレーム分の音声データが複数回繰り返し送信されるようにするために、前記動画像ファイルから取り出される複数フレーム分の音声データを選択することを特徴とする画像音声送信方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像データおよび音声データを送信する画像音声送信装置および画像音声送信方法に関するものである。
【０００２】
【従来の技術】
現在、パーソナルコンピュータ等で音声付きのデジタル動画像データを再生する技術が開発されている。現在の技術では、音声付きデジタル動画像ファイルからデータを読み込んで所定の処理を行い、画像データの表示および音声データの再生を行っている。この動画像ファイルの形式は、一般的には図３のように、１フレーム分の画像データと１フレーム期間分の音声データとがインターリーブされた形となっている。
【０００３】
また、デジタルデータ伝送の規格としてＩＥＥＥ１３９４等の同期伝送方法が存在する。この同期伝送方法を用いて動画像伝送を行うと、フレーム周期に同期したタイミングで動画像伝送を行うことができる。この場合一般的には、図４に示すように、１フレーム分のデータを複数パケット（複数の画像パケットと１つの音声パケットとから成る）に分割して１フレーム期間内にデータ伝送を行う。例えばデータ送出側が秒間３０フレームのデータを処理する能力がある場合、上記１フレーム期間は１／３０秒となる。
【０００４】
【発明が解決しようとする課題】
しかしながら、データ受信側の能力が低く、例えば秒間１０フレームのデータしか処理できないような場合は、図５に示すように、(1) のフレームデータを受信した後、(2),(3) のフレームデータが送信されている間に(1) のフレームデータを処理しなければならず、(2),(3) のフレームデータを受信できない状態になる。このため、受信できない期間の音声データが欠落し、受信側では音声の再生が途切れてしまうという問題が生じていた。
【０００５】
本発明は、このような問題を解決するためになされたものであり、受信側の処理能力が送信側の処理能力よりも低い場合であっても、受信側で再生される音声が途切れてしまうことを低減することができるようにすることを目的とする。
【０００６】
【課題を解決するための手段】
本発明に係る画像音声送信装置は、１フレーム分の画像データを動画像ファイルから取り出す画像取り出し手段と、前記画像取り出し手段によって取り出された１フレーム分の画像データを含む複数フレーム分の画像データに対応する複数フレーム分の音声データを前記動画像ファイルから取り出す音声取り出し手段と、前記画像取り出し手段によって取り出された１フレーム分の画像データと、前記音声取り出し手段によって取り出された複数フレーム分の音声データとを１フレームの期間内に送信する送信手段とを有し、前記音声取り出し手段は、各フレーム分の音声データが複数回繰り返し送信されるようにするために、前記動画像ファイルから取り出される複数フレーム分の音声データを選択することを特徴とする。
【０００７】
本発明に係る画像音声送信方法は、１フレーム分の画像データを動画像ファイルから取り出す画像取り出しステップと、前記画像取り出しステップにおいて取り出された１フレーム分の画像データを含む複数フレーム分の画像データに対応する複数フレーム分の音声データを前記動画像ファイルから取り出す音声取り出しステップと、前記画像取り出しステップにおいて取り出された１フレーム分の画像データと、前記音声取り出しステップにおいて取り出された複数フレーム分の音声データとを１フレームの期間内に送信する送信ステップとを有し、前記音声取り出しステップは、各フレーム分の音声データが複数回繰り返し送信されるようにするために、前記動画像ファイルから取り出される複数フレーム分の音声データを選択することを特徴とする。
【００１１】
【発明の実施の形態】
以下、本発明の一実施形態における画像・音声データ伝送方法と、それを実現する伝送装置およびシステムとを図面に基づいて説明する。
図１は、本実施形態における画像・音声データ伝送方法を説明するための図であり、図２は、そのような画像・音声データ伝送方法を実現するための装置およびシステムの構成を示す図である。なお、説明のために、送信側の処理能力は毎秒３０フレームであり、受信側の処理能力は毎秒１０フレームとする。
【００１２】
図２（ａ）に示すように、本実施形態の画像・音声データ伝送装置（送信側）は、動画像ファイル１、画像読み出し手段２、音声読み出し手段３、および同期伝送手段４から成り、伝送媒体５にデジタル画像・音声データを伝送する。
また、図２（ｂ）に示すように、受信側装置は、データ受信手段６、画像表示手段７、および音声再生手段８から成り、伝送媒体５より受信したデジタル画像・音声データを表示・再生する。
【００１３】
データ送信側では、図３に示したように１フレーム分の画像データと１フレーム期間分の音声データとがインターリーブされて成る動画像ファイル１から、各フレーム周期毎に１フレーム分の画像データと４フレーム期間分の音声データとを読み込み、同期伝送を用いて伝送を行う。この場合、１／３０秒毎にデータ読み込みおよびデータ送出を行う。
【００１４】
例えば、図２の画像読み出し手段２が図１に示した(1) のフレーム画像を読み込むフレーム周期では、音声読み出し手段３が (1)〜(4) のフレーム音声ａ〜ｄを読み込んで、それらの読み込んだ１フレーム分の画像データと４フレーム分の音声データとを同期伝送手段４が１フレーム期間内に伝送媒体５に送出する。(2),(3) のフレーム画像を読み込むフレーム周期でも同様に、例えば (1)〜(4) のフレーム音声を読み込んで、それらの読み込んだ１フレーム分の画像データと４フレーム分の音声データとを１フレーム期間内に伝送媒体５に送出する。
【００１５】
次に、画像読み出し手段２が (4)〜(6) のフレーム画像を読み込む各フレーム周期では、音声読み出し手段３が (4)〜(7) のフレーム音声ａ〜ｄを各フレーム周期毎に読み込んで、それらの読み込んだ１フレーム分の画像データと４フレーム分の音声データとを同期伝送手段４が各フレーム期間内に伝送媒体５に送出する。以上のような処理を以下同様にして繰り返し、データ伝送を行う。
【００１６】
一方、データ受信側では、図１に示したＡの時刻にデータ受信手段６で(1) のフレームデータの受信を開始し、Ｂの時刻に受信を終了する。受信を終了すると受信データの処理を開始し、画像表示手段７ではＢの時刻から(1) のフレームデータによる画像の表示を始め、Ｅの時刻にデータ処理を終了する。このデータ処理を行っている間は、データ受信手段６でデータを受信することが不能となる、あるいは受信できても処理できなくなるため、(2),(3) のフレームデータは受信できない。
【００１７】
上述のように、(1) のフレームデータの処理はＥの時刻に終了するため、図１のＥ〜Ｆの期間はデータ受信可能な状態となる。しかし、この時点ではパケットが伝送されていないので、データ受信側は待機状態となる。そして、(4) のフレームデータが到着するＦの時刻からデータ受信手段６でデータの受信を再び開始し、Ｇの時刻に受信を終了して、受信データの処理を開始する。(4) のフレームデータを受信しているＦ〜Ｇの間は、(1) のフレーム画像を表示し続けることになり、受信が終了したＧの時刻から(4) のフレーム画像を表示し始める。
【００１８】
音声データについては、図２の音声再生手段８により、(1) のフレームデータの受信が終了したＢの時刻に(1)-ａの音声データの再生を開始する。この(1)-ａの音声データは、データ送信側の１フレーム期間分の音声データであり、(1) の画像データのフレームに同期している。Ｂの時刻に再生を開始した(1)-ａの音声データは、丁度１フレーム期間が経過したＣの時刻で再生を終了する。
【００１９】
この時点では(1) のフレーム画像データの処理中であり、(2) のフレームデータは受信できていないが、Ａ〜Ｂの期間中に(1)-ｂの音声データを既に受信しているので、Ｃの時刻から(1)-ｂの音声データの再生を開始する。この(1)-ｂの音声データは、再生側の(2) の画像データのフレームと同期している音声データであり、Ｃから丁度１フレーム期間が経過したＤの時刻で再生を終了する。
【００２０】
この(1)-ｂの音声データの再生が終了した時点でも(1) のフレーム画像データの処理中であり、(3) のフレームデータは受信できていないが、Ａ〜Ｂの期間中に(1)-ｃの音声データを既に受信しているので、Ｄの時刻から(1)-ｃの音声データの再生を開始する。この(1)-ｃの音声データは、再生側の(3) の画像データのフレームと同期している音声データであり、Ｄから丁度１フレーム期間が経過したＧの時刻で再生を終了する。
【００２１】
Ｇの時刻においては、(4) のフレームデータの受信ができているため、ここでは(4)-ａの音声データの再生を開始する。この(4)-ａの音声データは、再生側の(4) の画像データのフレームと同期している音声データであり、Ｇから丁度１フレーム期間が経過したＨの時刻で再生を終了する。以下同様にして、(4)-ｂ、(4)-ｃの音声データを再生する。
【００２２】
以上詳しく述べたように、本実施形態のデジタル画像・音声データ伝送方法等によれば、データ受信側の内部処理によって(2),(3) のフレームデータを受信できない場合でも、それぞれのフレームに対応した音声データを連続して再生することができる。(5),(6),(8),(9),……のフレームに対応した音声データについても同様に、それらのフレームデータを受信できなくても連続して再生することができる。
【００２３】
【発明の効果】
本発明によれば、受信側の処理能力が送信側の処理能力よりも低い場合であっても、受信側で再生される音声が途切れてしまうことを低減することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態であるデジタル画像・音声データ伝送方法を説明するための図である。
【図２】図１に示したデジタル画像・音声データ伝送方法を実現するための装置およびシステムの構成を示す図である。
【図３】一般的な音声付き動画像ファイルの構造を示す図である。
【図４】同期伝送方法を用いた従来の音声付き動画像データ送信の様子を説明するための図である。
【図５】同期伝送方法を用いた従来の音声付き動画像データ受信の様子を説明するための図である。
【符号の説明】
１  動画像ファイル
２  画像読み出し手段
３  音声読み出し手段
４  同期伝送手段
５  伝送媒体
６  データ受信手段
７  画像表示手段
８  音声再生手段
【図１】
0003884797.tif 000002
【図２】
0003884797.tif 000003
【図３】
0003884797.tif 000004
【図４】
0003884797.tif 000005
【図５】
0003884797.tif 000006