(57)【要約】【課題】ストリーミング再生の中断時間の長さに応じて遡る時間を可変にするとともに、シーンの切り替わりからの再開を可能とし、利便性および使い勝手の向上をはかる。【解決手段】記憶部１３と、ストリーミングデータを受信して再生する制御部１２とを備え、制御部１２は、ストリーミングデータを再生する際、当該ストリーミングデータの再生に応じて再生時間を記憶部１３に記憶させるとともにフレーム毎のデータ量を監視し、少なくともデータ量が所定値以上であるフレームがあれば、これを特定する情報を記憶部に記憶させ、ストリーミングデータの再生中に割り込み処理が生じて再生が中断され、当該中断したストリーミングデータの再生を再開するときには、中断時における再生時間よりも遡り、記憶部１３に記憶された情報に基づいて特定されるデータ量が所定値以上とされるフレームを再生再開位置とするように制御する。【選択図】図１
2008160455.tif 000002
【特許請求の範囲】
【請求項１】
情報を記憶する記憶部と、
複数のフレームを含んで構成されるストリーミングデータを通信ネットワークから受信する受信部と、
前記ストリーミングデータを再生する制御部と、を備え、
前記制御部は、
前記ストリーミングデータを再生する際、当該ストリーミングデータの再生に応じて再生時間を前記記憶部に記憶させるとともにフレーム毎のデータ量を監視し、
少なくともデータ量が所定値以上であるフレームがあれば、これを特定する情報を前記記憶部に記憶させ、
ストリーミングデータの再生中に割り込み処理が生じて再生が中断され、当該中断したストリーミングデータの再生を再開するときには、前記中断時における再生時間よりも遡り、前記記憶部に記憶された情報に基づいて特定されるデータ量が所定値以上とされるフレームを再生再開位置とする
ことを特徴とするストリーミング再生機能付き携帯端末装置。
【請求項２】
情報を記憶する記憶部と、
基準となる画像が符号化された基準フレームと、当該基準フレームからの差分が符号化されて、前記基準フレームに続いて再生されることで動画像をなす差分フレームとを含むストリーミングデータを通信ネットワークから受信する受信部と、
前記ストリーミングデータを再生する制御部と、を備え、
前記制御部は、
前記ストリーミングデータを再生する際、当該ストリーミングデータの再生に応じて再生時間を前記記憶部に記憶させるとともに再生するフレームが基準フレームと差分フレームとのいずれであるかを判定し、
基準フレームとされるフレームがあれば、これを特定する情報を前記記憶部に記憶させ、
ストリーミングデータの再生中に割り込み処理が生じて再生が中断され、当該中断したストリーミングデータの再生を再開するときには、前記中断時における再生時間よりも遡り、前記記憶部に記憶された情報に基づいて特定される基準フレームを再生再開位置とする
ことを特徴とするストリーミング再生機能付き携帯端末装置。
【請求項３】
情報を記憶する記憶部と、
基準となる画像が符号化された基準フレームと、当該基準フレームからの差分が符号化され、前記基準フレームに続いて再生されることで動画像をなす差分フレームとを含むストリーミングデータを通信ネットワークから受信する受信部と、
前記ストリーミングデータを再生する制御部と、を備え、
前記制御部は、
前記ストリーミングデータを再生する際、当該ストリーミングデータの再生に応じた再生時間を前記記憶部に記憶させるとともに再生するフレームが基準フレームであるか差分フレームであるかを判定し、
基準フレームとされるフレームがあれば、これを特定する情報を前記記憶部に記憶させ、
差分フレームであれば、データ量が所定値以上であるフレームならば、これを特定する情報を前記記憶部に記憶させ、
ストリーミングデータの再生中に割り込み処理が生じて再生が中断され、当該中断したストリーミングデータの再生を再開するときには、前記中断時における再生時間よりも遡り、前記記憶部に記憶される情報に基づいて特定される基準フレームまたはデータ量が所定値以上とされる差分フレームの位置を再生再開位置とする
ことを特徴とするストリーミング再生機能付き携帯端末装置。
【請求項４】
前記制御部は、前記ストリーミング再生を再開するとき、ストリーミングの再生を中断していた時間に基づき、再生再開する際の中断時における再生時間より遡る時間量を特定する
ことを特徴とする請求項１から３のいずれか一項に記載のストリーミング再生機能付き携帯端末装置。
【請求項５】
早送りおよび／または巻き戻しを指示する操作部を更に備え、
前記制御部は、
中断していたストリーミング再生を再開する際、再開の処理を開始してから所定時間内に前記操作部により早送りまたは巻き戻しが指示されると、中断時における再生時間より遡る時間量を補正してストリーミング再生の再開を行う
ことを特徴とする請求項１から４のいずれか一項に記載のストリーミング再生機能付き携帯端末装置。
【請求項６】
前記制御部は、
ストリーミングデータを取得する際の通信情報をキャッシュ情報として前記記憶部に記憶させ、中断していたストリーミングデータの再生を再開するときに、前記キャッシュ情報に基づいてストリーミングデータの供給元に前記通信部を再接続してストリーミングデータの取得を再開するよう制御する
ことを特徴とする請求項１から５のいずれか一項に記載のストリーミング再生機能付き携帯端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信ネットワークを介してサーバから送信されるストリーミングを受信して再生する、ストリーミング再生機能付き携帯端末装置に関する。
【背景技術】
【０００２】
ストリーミングとは、インターネット等の通信ネットワークを介してサーバから送信される画像や音声等のマルチメディアを視聴する際に、エンコードされているデータを受信しながらデコードを行い同時に再生する方式をいう。このため、携帯端末装置等の端末側は、ストリーミング方式のアプリケーションプログラムを実装することにより、マルチメディアデータのリアルタイム視聴が可能になる。
【０００３】
ところで、従来、ストリーミングデータを再生する環境が変化する場合に、その環境の変化に応じてデータの再生を継続することができる、ストリーミングデータ再生システムが知られている（例えば、特許文献１参照）。
【特許文献１】特開２００３−３２４４４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記した特許文献１に開示された技術によれば、ストリーミング再生を再開する際に、中断された位置から、もしくは一定時間だけ遡って再開することができる。しかしながら、特許文献１に開示された技術の場合、再開する位置によっては、シーンの切り替わり等、区切れの良い場所からの再開となることは稀であり、サービスを受ける側からは好ましくない状況といえる。
携帯電話等、携帯端末装置のストリーミング再生では、一般的に、ＲＴＳＰ（Real Time Streaming Protocol）／ＲＴＰ（Real-time Transport Protocol）プロトコルを使用し、動画データとして、ＭＰＥＧ４（Moving Picture Experts Group level-4）形式のデータが使用されるが、ストリーミング再生時に区切れの良い場所から再開できるようにするために、ストリーミングデータの全てをストリーミングバッファ内に蓄積して再開箇所を判断する方法は、特に、携帯電話にとってはメモリの制約上、現実的ではない。
【０００５】
本発明は上記した課題を解決するためになされたものであり、ストリーミングバッファの容量を増やすことなく、ストリーミング再生の中断が生じても、シーンの切り替わり等、区切りの良い箇所からの再開を可能とし、利便性、および使い勝手の向上をはかった、ストリーミング再生機能付き携帯端末装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記した課題を解決するために本発明のストリーミング再生機能付き携帯端末装置は、情報を記憶する記憶部と、複数のフレームを含んで構成されるストリーミングデータを通信ネットワークから受信する受信部と、前記ストリーミングデータを再生する制御部と、を備え、前記制御部は、前記ストリーミングデータを再生する際、当該ストリーミングデータの再生に応じて再生時間を前記記憶部に記憶させるとともにフレーム毎のデータ量を監視し、少なくともデータ量が所定値以上であるフレームがあれば、これを特定する情報を前記記憶部に記憶させ、ストリーミングデータの再生中に割り込み処理が生じて再生が中断され、当該中断したストリーミングデータの再生を再開するときには、前記中断時における再生時間よりも遡り、前記記憶部に記憶された情報に基づいて特定されるデータ量が所定値以上とされるフレームを再生再開位置とする。
【０００７】
また、本発明のストリーミング再生機能付き携帯端末装置において、情報を記憶する記憶部と、基準となる画像が符号化された基準フレームと、当該基準フレームからの差分が符号化されて、前記基準フレームに続いて再生されることで動画像をなす差分フレームとを含むストリーミングデータを通信ネットワークから受信する受信部と、前記ストリーミングデータを再生する制御部と、を備え、前記制御部は、前記ストリーミングデータを再生する際、当該ストリーミングデータの再生に応じて再生時間を前記記憶部に記憶させるとともに再生するフレームが基準フレームと差分フレームとのいずれであるかを判定し、基準フレームとされるフレームがあれば、これを特定する情報を前記記憶部に記憶させ、ストリーミングデータの再生中に割り込み処理が生じて再生が中断され、当該中断したストリーミングデータの再生を再開するときには、前記中断時における再生時間よりも遡り、前記記憶部に記憶された情報に基づいて特定される基準フレームを再生再開位置とするように構成してもよい。
【０００８】
また、本発明のストリーミング再生機能付き携帯端末装置において、情報を記憶する記憶部と、基準となる画像が符号化された基準フレームと、当該基準フレームからの差分が符号化され、前記基準フレームに続いて再生されることで動画像をなす差分フレームとを含むストリーミングデータを通信ネットワークから受信する受信部と、前記ストリーミングデータを再生する制御部と、を備え、前記制御部は、前記ストリーミングデータを再生する際、当該ストリーミングデータの再生に応じた再生時間を前記記憶部に記憶させるとともに再生するフレームが基準フレームであるか差分フレームであるかを判定し、基準フレームとされるフレームがあれば、これを特定する情報を前記記憶部に記憶させ、差分フレームであれば、データ量が所定値以上であるフレームならば、これを特定する情報を前記記憶部に記憶させ、ストリーミングデータの再生中に割り込み処理が生じて再生が中断され、当該中断したストリーミングデータの再生を再開するときには、前記中断時における再生時間よりも遡り、前記記憶部に記憶される情報に基づいて特定される基準フレームまたはデータ量が所定値以上とされる差分フレームの位置を再生再開位置とするように構成してもよい。
【０００９】
また、本発明のストリーミング再生機能付き携帯端末装置において、前記制御部は、前記ストリーミング再生を再開するとき、ストリーミングの再生を中断していた時間に基づき、再生再開する際の中断時における再生時間より遡る時間量を特定するように構成してもよい。
【００１０】
また、本発明のストリーミング再生機能付き携帯端末装置において、早送りおよび／または巻き戻しを指示する操作部を更に備え、前記制御部は、中断していたストリーミング再生を再開する際、再開の処理を開始してから所定時間内に前記操作部により早送りまたは巻き戻しが指示されると、中断時における再生時間より遡る時間量を補正してストリーミング再生の再開を行うように構成してもよい。
【００１１】
また、本発明のストリーミング再生機能付き携帯端末装置において、前記制御部は、ストリーミングデータを取得する際の通信情報をキャッシュ情報として前記記憶部に記憶させ、中断していたストリーミングデータの再生を再開するときに、前記キャッシュ情報に基づいてストリーミングデータの供給元に前記通信部を再接続してストリーミングデータの取得を再開するよう制御するように構成してもよい。
【発明の効果】
【００１２】
本発明によれば、ストリーミングバッファの容量を増やすことなく、ストリーミング再生の中断が生じても、時間の長さに応じて遡る時間を可変とし、かつ、シーンの切り替わり等、区切りの良い箇所からの再開を可能とし、このことにより、ユーザに利便性を提供し、使い勝手の向上がはかれる。
【発明を実施するための最良の形態】
【００１３】
図１は、本発明の実施の形態に係るストリーミング再生機能付き携帯端末装置の内部構成を示すブロック図である。
ここでは、ストリーミング再生機能付き携帯端末装置として携帯電話１０が例示されている。図１に示されるように、携帯電話１０は、通信部１１と、制御部１２と、記憶部１３と、音声処理部１４と、スピーカ１５（ＳＰ）と、マイク１６（ＭＩＣ）と、表示部１７と、操作部１８とにより構成される。
【００１４】
通信部１１は、不図示の基地局のいずれかによって割り当てられるチャネルを介して基地局との間で無線信号の送受信を行う。
制御部１２は、携帯電話１０の全体的な動作を統括的に制御する。すなわち、携帯電話１０の各種の処理（回線交換網を介して行われる音声通話、電子メールの作成と送受信、インターネットのＷｅｂ（World Wide Web）サイトの閲覧、ストリーミング再生など）が操作部１８の操作に応じて適切な手順で実行されるように、上述した各ブロックの動作（通信部１１における信号の送受信、音声処理部１４における音声の入出力、表示部１７における画像の表示など）を制御する。
【００１５】
制御部１２は、記憶部１３に格納されるプログラム（ＯＳ、アプリケーションプログラム等）に基づいて処理を実行するＣＰＵ（マイクロプロセッサ）を備えており、このプログラムにおいて指示された手順に従って上述した処理を実行する。すなわち、記憶部１３に格納されるＯＳやアプリケーションプログラム等のプログラムから命令コードを順次読み込んで処理を実行する。
本発明と特に関係するところでは、制御部１２は、インターネットのＷｅｂ（通信ネットワーク）を介して接続されたサーバ（不図示）から配信される動画データを受信してバファリングしつつ、格納済データをデコードし、再生する、すなわちストリーミング再生する際に、その再生時間を監視するとともに、フレーム毎の情報量を監視し、当該情報量が所定値以上であるフレームの再生時間を記憶する。そして、ストリーミング再生中、割り込みの発生により中断され、その後、ストリーミング再生を再開するときに、中断時における再生時間よりも遡り、フレームの情報量が所定値以上である直近のフレームから再開するように制御する機能をもつ。このときの機能構成等、詳細は、図２を用いて後述する。
【００１６】
記憶部１３は、制御部１２において処理に利用される各種のデータを記憶する。例えば、制御部１２に備わるプログラム、通信相手の電話番号や電子メールアドレス等の個人情報を管理するアドレス帳、着信音やアラーム音を再生するための音声ファイル、待ち受け画面用の画像ファイル、ストリーミングデータ（動画データ）、各種の設定データ、プログラムの処理過程で利用される一時的なデータなどを保持する。
なお、上記した記憶部１３は、例えば不揮発性の記憶デバイス（不揮発性半導体メモリ、ハードディスク装置、光ディスク装置など）やランダムアクセス可能な記憶デバイス（例えばＳＲＡＭ、ＤＲＡＭ）などによって構成される。
【００１７】
また、音声処理部１４は、スピーカ１５から出力される音声信号やマイク１６において入力される音声信号の処理を行う。すなわち、ＭＩＣ１６から入力される音声を増幅し、アナログ−デジタル変換を行い、更に符号化等の信号処理を施し、デジタルの音声データに変換して制御部１２に出力する。また、制御部１２から供給される音声データに復号化、デジタル−アナログ変換、増幅等の信号処理を施し、アナログの音声信号に変換してＳＰ１５に出力する。ここでは、ストリーミング再生時の音声信号を出力する。
【００１８】
表示部１７は、例えば、液晶表示パネルや有機ＥＬ（Electro-Luminescence）パネルなどの表示デバイスを用いて構成されており、制御部１２から供給される映像信号に応じた画像を表示する。ここでは、ストリーミング再生のときの映像信号を表示する。他に、発信時における発信先の電話番号、着信時における着信相手の電話番号、受信メールや送信メールの内容、日付、時刻、バッテリ残量、発信成否、待ち受け画面などの各種の情報や画像等についても表示する。
また、操作部１８は、例えば、電源キー、通話キー、数字キー、文字キー、方向キー、決定キー、発信キーなど、各種の機能が割り当てられたキーを有しており、これらのキーがユーザによって操作された場合に、その操作内容に対応する信号を発生し、これをユーザの指示として制御部１２に入力する。本発明と関係するところでは、例えば、表示部１７に表示されるボタンアイコンを操作部１８により選択し、決定する操作を行うことにより、ストリーミングデータの再生、早送り、巻き戻し等の指示を行う。
【００１９】
図２は、図１に示す制御部１２の内部構成につき、特に、ストリーミング再生に着目して機能展開して示したブロック図である。
図２に示されるように、制御部１２は、主制御部１２０と、ストリーミングデータ受信部１２１と、ストリーミングバッファ１２２と、ストリーミング再生制御部１２３と、再開位置テーブル１２４と、シーン切替え時間情報テーブル１２５と、再開位置算出部１２６と、タイマ監視部１２７と、中断時間計測処理部１２８と、テーブルデータ格納処理部１２９と、閾値テーブル１３０と、テーブル検索部１３１と、テーブル補正処理部１３２とにより構成される。
【００２０】
ストリーミングデータ受信部１２１は、インターネット等の通信ネットワークを介し、不図示のサーバから配信されるストリーミングデータを受信してストリーミングバッファ１２２へ格納し、また、ここでは、シーンの切り替わり等、区切れの良い場所の時間判定のために使用されるＩ（intra）フレーム（基準フレーム）とＰ（predictive）フレーム（差分フレーム）の時間情報をテーブルデータ格納処理部１２９へ供給する。
ストリーミング再生制御部１２３は、操作部１８を介して操作される、再生、巻き戻し、早送り指示に基づき、ストリーミングバッファ１２２に格納されたストリーミングを読み出し、デコードして得られる映像信号を、表示部１７へ、音声信号を、音声処理部１４へ供給して再生出力する。
【００２１】
再開位置テーブル１２４は、例えば、図３にそのデータ構造の一例が示されるように、デフォルトで、中断時間（秒）と再開位置（巻き戻し時間）との関係が組で設定されるデータテーブルであり、再生中断が生じてから後に再開するときの再開位置（巻き戻し時間）は、再開位置算出部１２６により算出され、設定される。
図４に、中断時間（横軸）と、再開位置（縦軸）との関係がグラフ表示されるように、中断時間がｎ秒の場合の再開位置（巻き戻し時間）は、以下の演算式（１）を算出することにより求めることができる。なお、上記した中断時間と再開位置（巻き戻し時間）との関係は、最初、デフォルト値が設定されるが、再開時の一定期間の間にユーザが巻き戻し、あるいは早送り動作を行うことにより調整される。詳細は後述する。
【００２２】
（数１）
ｍ＝ｍ１＋（ｎ−ｎ１）×（ｍ２−ｍ１）／（ｎ２−ｎ１）      …（１）
【００２３】
一方、シーン切替え時間情報テーブル１２５には、図５にそのデータ構造の一例が示されるように、フレームの時間情報、ここでは、Ｉフレームの全てと、閾値を超えたＰフレームの時間情報（経過時間）が、それぞれフレーム種別と対応して格納されるものとする。
本発明の実施の形態に係るストリーミング再生機能付き携帯端末装置では、上記したように、シーンの切替り等、区切れの良い場所の時間情報の判定方法として、ＭＰＥＧ４のデータに含まれるＩフレーム（基準となる画像）と、Ｐフレーム（直前のフレームとの差分）の時間情報を用い、その情報量が閾値を超えたＰフレームの経過時間をシーン切替え時間情報テーブル１２５に保持することにしている。これは、情報量の差分が大きい箇所はシーンの切替え位置であると判断できることに基づく。
【００２４】
テーブルデータ格納処理部１２９がそのための処理を司り、図５に、経過時間とフレームサイズ（情報量）との関係が示されているように、点線で示す情報量に関する閾値を超えたＰフレームの経過時間情報を抽出してシーン切替え時間情報テーブル１２５に保持する。テーブルデータ格納処理部１２９によるシーン切替え時間格納処理の処理は、図８に示すフローチャートを参照しながら後述する。
なお、図５中、太線はＩフレーム、細線はＰフレームを示し、また、情報量に関する閾値は、閾値テーブル１３０に設定されているものとする。
【００２５】
一方、タイマ監視部１２７は現在時刻の時間監視を行い、中断時間計測処理部１２８は、タイマ監視部１２７により出力されるタイマ値に基づきストリーミングの中断時間の測定を行う。中断時間計測処理部１２８による中断時間計測処理の詳細は図７に示すフローチャートを参照しながら後述する。
また、テーブル補正処理部１３２は、操作部１８を介し、巻き戻し指示あるいは早送り指示があったときに、再開位置算出部１２６により算出され、再開位置テーブル１２４に保持された再開位置（巻き戻し時間）に関する情報を調整する機能を持つ。詳細は、図１１に示すフローチャートを参照しながら後述する。
【００２６】
なお、主制御部１２０は、上記した各制御ブロック１２３、１２６、１２８、１２９、１３１、１３２のシーケンス制御を司り、ここでは、ストリーミング再生中に、音声着信、ＳＭＳ（Short Message Service）、メール受信等により割り込みを受信したときに、着信や受信の報知のためにストリーミング再生制御部１２３を介してストリーミング再生を中断する。また、割り込みイベントが終了し、ストリーミング再生再開時、再生中断時間の長さに応じて再開位置を変更するために、再開位置算出部１２６、テーブル検索部１３１を制御する等の動作を行う。また、再開のための演算処理時の所定時間の間に、操作部１８を介し、巻き戻しあるいは早送り指示があったときに、テーブル補正処理部１３２を制御して、再開位置テーブル１２４に記憶された、中断時間と再開位置（巻き戻し時間）との関係を補正するための制御も行う。
【００２７】
なお、上記した各ブロック１２０〜１３２がそれぞれ持つ機能は、記憶部１３に記憶されるそれぞれのプログラムを制御部１２で実行することにより達成されるものであって、制御部１２内において、実体的に他のブロックと区分され内蔵されるもののみを指すのではなく、あくまで説明の簡略化のために各処理部を分けて表現したものである。
また、上記したストリーミングバッファ１２２、再開位置テーブル１２４、シーン切替え時間情報テーブル１２５、閾値テーブル１３０のそれぞれは、記憶部１３に領域が割当てられ格納されるものとする。
【００２８】
以下、本発明の実施の形態に係るストリーミング再生機能付き携帯端末装置の動作について詳細に説明する。なお、ストリーミング再生とは、所望のサーバから動画や音声などの連続したデータを分割して順にダウンロードしてバッファリングし、先にバッファリングしたものを再生しつつ、未再生データを同時進行でダウンロードしてバッファリングする技術のことである。
図６は、本発明の実施の形態に係るストリーミング再生機能付き携帯端末装置の基本動作を説明するために引用したフローチャートである。以下、図６に示すフローチャートを参照しながら図１に示す発明の実施の形態に係るストリーミング再生機能付き携帯端末装置の基本動作について説明する。
【００２９】
図６において、まず、ユーザは、携帯電話１０をブラウザを起動してインターネット等の通信ネットワークに接続して、動画等の供給を行うサーバに接続し、所望のデータのストリーミング再生が指示されて、ストリーミングを開始し、今現在、携帯電話１０がストリーミング状態（再生データのダウンロード、バッファリング、デコードの一連の処理を行っている状態）にあるとする（Ｓ６１）。なお、ブラウザは制御部１２により実行されるプログラムであり、通信部１１にて所定のネットワークプロトコルにより希望するサーバ等と通信を行うものであり、通信に用いた情報を記憶部１３にキャッシュとして蓄える処理も行う。
ここで、音声着信等の割り込みがあった場合、制御部１２は、実装されたストリーミング再生アプリケーションの処理を中断し、音声通話処理に切替える。ここで、ユーザは、ｎ秒間だけ相手と通話したとする（Ｓ６２）。制御部１２は、通話の終了を待って再度ストリーミング再生アプリケーションを自動的に立ち上げ、このとき、ストリーミング再生アプリケーションは、中断時間の長さに応じて中断位置からｍ秒だけ遡って巻き戻し再生を行う（Ｓ６３）。そして、未バッファリングのデータを、記憶部１３のキャッシュを用いて再度サーバに接続してダウンロードしてバッファリングすることにより連続再生する。
【００３０】
上記したように、ストリーミング中に、音声着信／ＳＭＳ／メール等により中断され、再開するときに、中断時間の長さに応じて自動的に再開位置を変更することにより（中断時間が長いほど再開位置を中断位置から長く巻き戻される）、利便性を提供し、かつ、使い勝手の向上をはかったストリーミング再生機能付き携帯端末装置を得ることができる。
【００３１】
一方、再開してから一定時間内にユーザが操作部１８を操作することにより、早送り、巻き戻しの指示があった場合に、制御部１２は、後述する再開位置テーブル１２４に保持された、中断時間と再開位置との関係が保持されたデータの補正を行う（Ｓ６４）。ここではその巻き戻される量ｍ´を、早送りの場合、ｍ´＝ｍ−Δ、巻き戻しの場合、ｍ´＝ｍ＋Δとする。なお、上記したｎおよびｍは、図３および図４に示したｎおよびｍに相当し、Δはその調整時間である。
中断時間と巻き戻し時間との関係は、最初、デフォルトの設定が使用されるが、再開時の一定時間の間にユーザが早送りもしくは巻き戻し操作を行うことにより調整される。このことにより、柔軟性、拡張性の高いストリーミング再生機能付き携帯端末装置を提供できる。
【００３２】
以下、図７〜図１１に示すフローチャートを参照しながら、制御部１２を構成する各機能ブロックの処理手順について詳細説明を行う。
図７は、中断時間計測処理部１２８による中断時間計測処理の詳細な流れを示すフローチャート図である。以下、図７のフローチャートを参照しながら、図２に示す中断時間計測処理部１２８の動作について説明する。なお、ストリーミング再生中には、図７の処理が常に実行されている。
【００３３】
図７において、中断時間計測処理部１２８は、ストリーミングが中断された場合に（Ｓ７１“Ｙｅｓ”）、タイマ監視部１２７を制御して、タイマ監視部１２７が内蔵する中断時間計測タイマをクリア（初期化）する（Ｓ７２）。ここで、ストリーミング中の場合は（Ｓ７１“Ｎｏ”）、ストリーミングの終了を待って（Ｓ７５“Ｙｅｓ”）、中断時間計測処理部１２８による中断時間計測処理を終了する。
【００３４】
中断時間計測処理部１２８は、中断時間計測タイマを初期化した後、再度ストリーミングが中断中か否かを判定し（Ｓ７３）、ストリーミングが中断中の場合（Ｓ７３“Ｙｅｓ”）、中断時間計測タイマをアップデート（更新）してステップＳ７３以降の処理に戻り（Ｓ７４）、ストリーミングが終了し（Ｓ７５“Ｙｅｓ”）、もしくはストリーミングが再開されるまで、中断時間の計測（中断時間計測タイマのアップデート）を行う。
なお、ストリーミング中断、終了の状態は、中断時間計測処理部１２８に対して主制御部１２０から通知されるものとし、ここで計測された中断時間計測タイマの値は、再開位置算出部１２６に出力される。
【００３５】
図８は、テーブルデータ格納処理部１２９によるシーン切替え時間格納処理の詳細な流れを示すフローチャートである。
以下、図８のフローチャートを参照しながら、図２に示すテーブルデータ格納処理部１２９の動作について説明する。
【００３６】
図８において、テーブルデータ格納処理部１２９は、ストリーミング再生が開始されるタイミング（Ｓ８１“Ｙｅｓ”）で、シーン切替え時間情報テーブル１２５の内容をクリア（初期化）する（Ｓ８２）。ここで、ストリーミング再生の開始タイミングでなければ（Ｓ８１“Ｎｏ”）、ストリーミング再生の終了を待ってシーン切替え時間格納処理を終了する。
【００３７】
テーブルデータ格納処理部１２９は、シーン切替え時間情報テーブル１２５の内容をクリアした後、ストリーミング再生中か否かを判定する（Ｓ８３）。ここで、再生中でないと判定された場合（Ｓ８３“Ｎｏ”）、上記したステップＳ８１の判定処理に戻り、再生中であると判定された場合（Ｓ８３“Ｙｅｓ”）、更に、ストリーミングデータ受信部１２１を介して受信した再生データがＩフレームか否かを判定する（Ｓ８４）。
ここで、Ｉフレームであると判定された場合は（Ｓ８４“Ｙｅｓ”）、図５に、そのデータ構造の一例が示されるように、そのフレーム時間情報をシーン切替え時間情報テーブル１２５に保持して（Ｓ８５）、ステップＳ８３の判定処理に戻る。
【００３８】
一方、ステップＳ８４の判定処理において、Ｉフレームでないと判定された場合は（Ｓ８４“Ｎｏ”）、テーブルデータ格納処理部１２９は、更に、再生データがＰフレームであるか否かを判定する（Ｓ８６）。
ここで、Ｐフレームであると判定された場合（Ｓ８６“Ｙｅｓ”）、テーブルデータ格納処理部１２９は、閾値テーブル１３０に保持されている情報量に関する閾値と比較し（Ｓ８７）、Ｐフレームが閾値を超えていた場合に（Ｓ８７“Ｙｅｓ”）、図５にテータ構造の一例が示されるように、そのフレーム時間情報をシーン切替え時間情報テーブル１２５に保持し（Ｓ８８）、以降、Ｓ８３以降の処理を繰り返す。
【００３９】
なお、ステップＳ８６の判定処理において、再生データがＰフレームでないと判定された場合は（Ｓ８６“Ｎｏ”）、ステップＳ８３の判定処理に戻り、また、ステップＳ８７の判定処理において、Ｐフレームが閾値を超えていないと判定された場合も（Ｓ８７“Ｎｏ”）、ステップＳ８３の判定処理に戻る。
このようにしてシーン切替え時間情報テーブル１２５に保持された時間情報は、再開位置算出部１２６による制御の下、テーブル検索部１３１により参照される。
【００４０】
図９は、再開位置算出部１２６、およびテーブル補正処理部１３２によるストリーミング再開処理の基本的な流れを示すフローチャートである。
以下、図９のフローチャートを参照しながら、図２に示す再開位置算出部１２６およびテーブル補正処理部１３２の基本動作について説明する。
【００４１】
図９において、再開位置算出部１２６は、音声着信等の割り込みの発生により中断されたストリーミングを再開するときに、後述する再開位置算出処理を実行し（Ｓ９１）、算出された再開位置情報を使用してストリーミングを再開する（Ｓ９２）。
そして、テーブル補正処理部１３２は、上記したストリーミングを再開するときに、所定時間内に操作部１８により早送りまたは巻き戻しが指示されたときに、後述する、再開位置を補正するための再開位置テーブル補正処理を実行する（Ｓ９３）。以下、再開位置算出処理（Ｓ９１）について図１０のフローチャートを参照しながら、また、再開位置テーブル補正処理（Ｓ９３）について、図１１のフローチャートを参照しながら詳細説明を行う。
【００４２】
図１０は、再開位置算出部１２６による再開位置算出処理（Ｓ９１）の詳細な処理手順を示すフローチャートである。
以下、図１０に示すフローチャートを参照しながら、図２に示す再開位置算出部１２６の詳細な動作について説明する。
【００４３】
図１０において、再開位置算出部１２６は、割り込みの発生により中断されたストリーミングを再開するときに、図４に、データ構造の一例が示されるように、上記した演算式（１）にしたがい、中断時間計測処理部１２８により計測される中断時間情報から再開位置（巻き戻し時間）を算出する（Ｓ９１１）。
続いて、再開位置算出部１２６は、中断位置（中断時間）から上記により算出された再開位置（巻き戻し時間）を減算して得られる基準再開位置（ｔ１）を求め（Ｓ９１２）、当該基準再開位置（ｔ１）に基づきテーブル検索部１３１を起動してシーン切替え時間情報テーブル１２５を検索する（Ｓ９１２）。ここで、シーン切替え時間情報テーブル１２５に保持された時間情報をｔ２とした場合、再開位置算出部１２６は、（ｔ２−ｔ１）が最小となる時間情報を検索し、得られる検索結果を再開位置（時間情報）としてストリーミング再生制御部１２３に設定出力する（Ｓ９１３）。これにより、バッファリングされたストリーミングデータの再生再開を行い、さらに再度ブラウザのキャッシュを用いてサーバに接続して、未バッファ分のストリーミングデータを取得することを再開する。
【００４４】
具体的に、図５に示すデータ構造の一例を例示して説明すると、再開位置算出部１２６で算出された再開位置（巻き戻し時間）が３秒であったとすれば、テーブル検索部１３１がシーン切替え時間情報テーブル１２５を検索することにより、直近の時間情報である３．５秒を再開位置としてストリーミング再生制御部１２３に設定出力することになる。
【００４５】
図１１は、テーブル補正処理部１３２による再開位置テーブル補正処理（Ｓ９３）の詳細な処理手順を示すフローチャートである。
以下、図１１に示すフローチャートを参照しながら、図２に示すテーブル補正処理部１３２の詳細な動作について説明する。
【００４６】
図１１において、ストリーミングを再開するタイミングで、一定時間経過する前に操作部１８による巻き戻し指示があった場合（Ｓ９３１“Ｙｅｓ”）、テーブル補正処理部１３２は、再開位置テーブル１２４に保持された、中断時間と再開位置との関係が保持されたデータの補正を行う（Ｓ９３４）。ここでは、巻き戻し指示のため、ｍ´＝ｍ＋Δとする。一方、一定時間経過する前に操作部１８による早送り指示があった場合（Ｓ９３２“Ｙｅｓ”）、テーブル補正処理部１３２は、再開位置テーブル１２４に保持された、中断時間と再開位置との関係が保持されたデータの補正を行う（Ｓ９３３）。ここでは、早送り指示であるため、ｍ´＝ｍ−Δとする。なお、上記したｍは、図３および図４で説明したｍに相当し、Δはその調整時間である。中断時間と巻き戻し時間との関係は、最初、デフォルトの設定が使用されるが、ストリーミング再開時の一定時間の間にユーザが早送りもしくは巻き戻し操作を行うことにより調整される。
【００４７】
なお、上記したストリーミング再生機能を持つ携帯電話１０の運用形態として、ストリーミングを再開するモードに、「マニュアル」と「オート」の２つのモードを用意した。
具体的に、図１２（ａ）に示されるように、再開位置をマニュアルで選択する場合、ストリーミング再生中、音声着信があって音声通話画面に遷移し、通話が終了した時に、選択メニュー表示がなされるものとする。ここでは、「最初から再生する」、「中断箇所より１分前から再生する」、「中断箇所から再生する」の３つを選択できるものとする。選択操作後は、ストリーミング再生画面に遷移する。
なお、中断箇所より遡って再生したい場合には、操作部１８に割当てられた数字キーを押下することで遡る時間を入力可能とする。また、この遡る時間をクリアするために数字キー以外の別のキーを割当てることも必要である。
【００４８】
一方、図１２（ｂ）に示されるように、再開位置をオートで選択する場合には、上記した実施の形態同様、中断時間に応じて再開する位置が動的に算出される。また、ストリーミングデータの動画は、ＭＰＥＧ４形式のデータを用いているため、データの差分が大きい箇所はシーンの切替え位置と判定でき、このため、再生中にその時間情報を記憶してある。そして、中断時間に応じた再開位置からシーン切替え箇所の時間情報を比較し、最も近いシーン切替え箇所を再開位置とするものである。
【００４９】
以上説明のように本発明の実施の形態に係るストリーミング再生機能付き携帯端末装置によれば、中断時間が長くなれば内容の記憶が不明瞭になることから、中断時間の長さに応じて必要な分だけ自動的に中断箇所から遡って再生することにより、ユーザに利便性を提供でき、このことにより使い勝手が向上する。また、単純に中断箇所からの再生の場合には、シーンの途中で内容を把握できないこともあるため、シーンの切り替え箇所の情報を複数保持し、この情報の中から再生位置を算出することによってスムーズなシーンの再現を可能としている。
【００５０】
なお、上記した本発明の実施の形態において、ストリーミング再生機能付き携帯端末装置として携帯電話１０のみ例示したが、携帯電話に限らず、ＰＤＡ（Personal Digital Assistants）、ゲーム機等にも同様に適用が可能である。
また、上記した携帯電話が持つ各構成ブロックの機能は、全てをソフトウェアによって実現しても、あるいはその少なくとも一部をハードウエアで実現してもよい。例えば、制御部１２における処理や、通信部１１、音声処理部１４におけるデータ処理は、１または複数のプログラムによりコンピュータ上で実現してもよく、また、その少なくとも一部をハードウエアで実現してもよい。
【図面の簡単な説明】
【００５１】
【図１】本発明の実施の形態に係るストリーミング再生機能付き携帯端末装置の内部構成を示すブロック図である。
【図２】図１に示す制御部１２の内部構成を、特に、ストリーミング再生に着目して機能展開して示したブロック図である。
【図３】本発明の実施の形態に係るストリーミング再生機能付き携帯端末装置において使用される再開位置テーブルのデータ構造の一例を示す図である。
【図４】本発明の実施の形態に係るストリーミング再生機能付き携帯端末装置の概略動作を説明するために引用した図である。
【図５】本発明の実施の形態に係るストリーミング再生機能付き携帯端末装置の概略動作を説明するために引用した図である。
【図６】本発明の実施の形態に係るストリーミング再生機能付き携帯端末装置の動作を説明するために引用したフローチャートである。
【図７】本発明の実施の形態に係るストリーミング再生機能付き携帯端末装置の動作を説明するために引用したフローチャートである。
【図８】本発明の実施の形態に係るストリーミング再生機能付き携帯端末装置の動作を説明するために引用したフローチャートである。
【図９】本発明の実施の形態に係るストリーミング再生機能付き携帯端末装置の動作を説明するために引用したフローチャートである。
【図１０】本発明の実施の形態に係るストリーミング再生機能付き携帯端末装置の動作を説明するために引用したフローチャートである。
【図１１】本発明の実施の形態に係るストリーミング再生機能付き携帯端末装置の動作を説明するために引用したフローチャートである。
【図１２】本発明の実施の形態に係るストリーミング再生機能付き携帯端末装置の運用形態を説明するために引用したフローチャートである。
【符号の説明】
【００５２】
１０…携帯電話、１１…通信部、１２…制御部、１３…記憶部、１４…音声処理部、１５…スピーカ（ＳＰ）、１６…マイク（ＭＩＣ）、１７…表示部、１８…操作部、１２０…主制御部、１２１…ストリーミングデータ受信部、１２２…ストリーミングバッファ、１２３…ストリーミング再生制御部、１２４…再開位置テーブル、１２５…シーン切替え時間情報テーブル、１２６…再開位置算出部、１２７…タイマ監視部、１２８…中断時間計測処理部、１２９…テーブルデータ格納処理部、１３０…閾値テーブル、１３１…テーブル検索部、１３２…テーブル補正処理部
【図１】
2008160455.tif 000003
【図２】
2008160455.tif 000004
【図３】
2008160455.tif 000005
【図４】
2008160455.tif 000006
【図５】
2008160455.tif 000007
【図６】
2008160455.tif 000008
【図７】
2008160455.tif 000009
【図８】
2008160455.tif 000010
【図９】
2008160455.tif 000011
【図１０】
2008160455.tif 000012
【図１１】
2008160455.tif 000013
【図１２】
2008160455.tif 000014