(57)【要約】  本発明は、デコード処理に伴う消費電力の省電力化を図りつつ、動画像データのうちの任意の箇所から再生する場合であっても、その箇所に対応する映像信号をディスプレイに出力するまでに要する時間を短縮化することができる携帯端末装置を提供する。  映像デコード部１５は、ストリーム制御部１９がデコード開始トリガを検出したとき、音声デコード部１２がデコードしているオーディオフレームに同期する、ビデオフレームのキーフレームを起点としてデコードを開始し、映像出力部１６は、ストリーム制御部１９が表示操作を検出したとき、音声出力部１４が出力している音声信号に同期する第１の映像信号を起点として出力を開始する。
2009063572.tif 000002
【特許請求の範囲】
【請求項１】
音声を構成するオーディオフレームを逐次、デコードする音声デコード部と、
前記音声デコード部によってデコードされた音声信号を出力する音声出力部と、
動画を構成するビデオフレームを逐次、デコードする映像デコード部と、
前記映像デコード部に前記ビデオフレームのデコードを開始させるためのデコード開始トリガを検出するデコードトリガ検出部と、
前記映像デコード部によってデコードされた映像信号を出力する映像出力部と、
前記映像出力部に前記映像信号の出力を開始させるための表示操作を検出する表示操作検出部と、
を備え、
前記映像デコード部は、前記デコードトリガ検出部が前記デコード開始トリガを検出すると、前記音声デコード部がデコードしている前記オーディオフレームに同期する、前記ビデオフレームのキーフレームを起点としてデコードを開始し、
前記映像出力部は、前記表示操作検出部が前記表示操作を検出すると、前記音声出力部が出力している前記音声信号に同期する第１の映像信号を起点として出力を開始する、
携帯端末装置。
【請求項２】
請求項１記載の携帯端末装置であって、
前記映像出力部は、前記映像デコード部が前記ビデオフレームのキーフレームを起点としてデコードを開始する前に、前記表示操作検出部が前記表示操作を検出した場合、前記第１の映像信号とは異なる第２の映像信号を出力する、
携帯端末装置。
【請求項３】
請求項２記載の携帯端末装置であって、
前記第２の映像信号は、前記デコードトリガ検出部が前記デコード開始トリガを検出する前に、前記映像出力部によってデコードされた映像信号である、
携帯端末装置。
【請求項４】
請求項１から３のいずれか一項に記載の携帯端末装置であって、
前記映像デコード部は、前記デコードトリガ検出部が前記デコード開始トリガを検出してから所定の時間内に前記表示操作検出部が前記表示操作を検出しない場合、前記ビデオフレームのデコードを停止する、
携帯端末装置。
【請求項５】
請求項１から４のいずれか一項に記載の携帯端末装置であって、
前記映像デコード部は、前記デコードトリガ検出部がデコードの前記ビデオフレームのデコードを終了させるためのデコード終了トリガを検出した場合、前記ビデオフレームのデコードを停止する、
携帯端末装置。
【請求項６】
請求項１から４のいずれか一項に記載の携帯端末装置であって、
前記表示操作検出部は、前記映像出力部の起動を前記表示操作として検出する、
携帯端末装置。
【請求項７】
請求項１から４のいずれか一項に記載の携帯端末装置であって、
前記表示操作検出部は、前記映像出力部による、アプリケーションプログラムを実行し生成した第１の表示画面から前記映像信号を出力する第２の表示画面への表示の切り替えを、前記表示操作として検出する、
携帯端末装置。
【請求項８】
請求項１から７のいずれか一項に記載の携帯端末装置であって、
前記デコードトリガ検出部は、前記音声デコード部によってデコードされた前記音声信号の、曲調の変化または音声の変化の一方、または両方を前記デコード開始トリガとして検出する、
携帯端末装置。
【請求項９】
請求項１から７のいずれか一項に記載の携帯端末装置であって、
前記デコードトリガ検出部は、前記オーディオフレームと前記ビデオフレームとを含んで構成される動画コンテンツに関するコンテンツ情報によって指定される、前記オーディオフレームまたは前記ビデオフレームのうちの所定のフレームをデコードすべき時点を、前記デコード開始トリガとして検出する、
携帯端末装置。
【請求項１０】
請求項７記載の携帯端末装置であって、
前記デコードトリガ検出部は、アプリケーションプログラムを実行し生成した前記第１の表示画面の表示を終了することを、前記デコード開始トリガとして検出する、
携帯端末装置。
【請求項１１】
請求項１から７のいずれか一項に記載の携帯端末装置であって、
ユーザの挙動の変化及び携帯端末装置がおかれている環境の変化を検出するセンサを備え、
前記デコードトリガ検出部は、前記センサから入力する信号の変化を、前記デコード開始トリガとして検出する、
携帯端末装置。
【請求項１２】
音声を構成するオーディオフレームをデコードするステップと、
デコードされた音声信号を出力するステップと、
動画を構成するビデオフレームのデコードを開始させるためのデコード開始トリガを検出するステップと、
前記デコード開始トリガを検出すると、デコードしている前記オーディオフレームに同期する、前記ビデオフレームのキーフレームからデコードを開始するステップと、
デコードされた映像信号の出力を開始させるための表示操作を検出するステップと、
出力している前記音声信号に同期する前記映像信号から出力を開始するステップと、
を有する映像出力方法。
【請求項１３】
請求項１２記載の映像出力方法であって、
実行中のデコードを終了させるためのデコード終了トリガを検出するステップと、
前記デコード終了トリガを検出すると、実行中の前記ビデオフレームのデコードを終了するステップと、
を有する映像出力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル映像を再生可能な携帯端末装置、及び当該携帯端末装置によるデジタル映像出力方法に関する。
【背景技術】
【０００２】
近年、携帯端末装置に搭載される記憶装置の記憶容量の増大、またデジタルテレビジョン放送の放送開始に伴い、データ量が比較的大きい動画像データを再生する機会が増えてきている。【０００３】
携帯端末装置は、動画像データを再生するにあたって、当該動画像データを構成するオーディオフレームのみを再生する形態から当該動画像データを構成するオーディオフレーム及びビデオフレームを再生する形態に切り替わる場合、ビデオフレームをデコード処理する必要があるが、ビデオフレームの再生を指示する操作（上記形態の切り替えの操作）を受け付けた後にデコード処理を実行していたのでは、デコード処理に要する時間分（具体的には、Ｐフレームをデコードする上で基準となるＩフレームをデコードするまでに要する時間分）、映像信号をディスプレイに出力することが遅れることになる。一方、携帯端末装置は、ビデオフレームの再生を指示する操作を受け付ける前にデコード処理を実行していれば、その操作を受け付けたと同時に映像信号をディスプレイに出力することができるが、ディスプレイに出力されることのないビデオフレームに対してもデコード処理を実行する必要があり、デコード処理に伴う消費電力が大きくなってしまう。このような、ディスプレイに映像信号を出力するまでに要する時間の短縮化と、デコード処理に伴う消費電力の省電力化と、に鑑み、特許文献１、２には次の装置が開示されている。【０００４】
特許文献１に開示されている動画像復号装置は、ビデオフレームの再生を指示する操作を受け付けると、先頭のビデオフレームをデコードしてそのデコードした映像信号（静止画）をディスプレイに出力しておき、ディスプレイに出力している間に以降のビデオフレームのデコードを進めておくものである。【０００５】
また、特許文献２に開示されている折り畳み携帯電話機は、テレビ放送を受信可能な携帯電話機であって、折り畳まれていない状態から折り畳まれた状態に操作されたときは、映像信号のディスプレイへの出力を停止し、かつ、音声信号のスピーカへの出力を継続するものである。
【特許文献１】特開平３−２２８４９０号公報
【特許文献２】特開２００５−９４４１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示されている動画像復号装置は、ディスプレイに映像信号を出力するまでに要する時間の短縮化を図ることができるものの、ディスプレイに出力される画面は、一律、先頭のビデオフレームに基づく静止画像となる。ビデオフレームのうちの任意の箇所から再生する場合があるが、この場合、その任意の箇所に対応する映像とは関連のない静止画像をディスプレイに表示することになるため、表示内容の一貫性に欠けてしまう。【０００７】
また、特許文献２に開示されている折り畳み携帯電話機は、デコード処理に伴う消費電力の省電力化を図ることができるものの、折り畳まれた状態から折り畳まれていない状態に操作されたときには、依然として、デコード処理に要する時間分、映像信号をディスプレイに出力することが遅れることになる。【０００８】
本発明は、上記事情に鑑みてなされたものであって、デコード処理に伴う消費電力の省電力化を図りつつ、ビデオフレームのうちの任意の箇所から再生する場合であっても、その箇所に対応する映像信号をディスプレイに出力するまでに要する時間を短縮化することができる携帯端末装置、及び映像出力方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の携帯端末装置は、音声を構成するオーディオフレームを逐次、デコードする音声デコード部と、前記音声デコード部によってデコードされた音声信号を出力する音声出力部と、動画を構成するビデオフレームを逐次、デコードする映像デコード部と、前記映像デコード部に前記ビデオフレームのデコードを開始させるためのデコード開始トリガを検出するデコードトリガ検出部と、前記映像デコード部によってデコードされた映像信号を出力する映像出力部と、前記映像出力部に前記映像信号の出力を開始させるための表示操作を検出する表示操作検出部と、を備え、前記映像デコード部が、前記デコードトリガ検出部が前記デコード開始トリガを検出すると、前記音声デコード部がデコードしている前記オーディオフレームに同期する、前記ビデオフレームのキーフレームを起点としてデコードを開始し、前記映像出力部が、前記表示操作検出部が前記表示操作を検出すると、前記音声出力部が出力している前記音声信号に同期する第１の映像信号を起点として出力を開始する、ものである。【００１０】
本発明の映像出力方法は、音声を構成するオーディオフレームをデコードするステップと、デコードされた音声信号を出力するステップと、動画を構成するビデオフレームのデコードを開始させるためのデコード開始トリガを検出するステップと、前記デコード開始トリガを検出すると、デコードしている前記オーディオフレームに同期する、前記ビデオフレームのキーフレームからデコードを開始するステップと、デコードされた映像信号の出力を開始させるための表示操作を検出するステップと、出力している前記音声信号に同期する前記映像信号から出力を開始するステップと、を有するものである。【００１１】
この構成によれば、デコード処理に伴う消費電力の省電力化を図りつつ、動画像データのうちの任意の箇所から再生する場合であっても、その箇所に対応する映像信号をディスプレイに出力するまでに要する時間を短縮化することができる。【００１２】
また、本発明の携帯端末装置は、前記映像出力部が、前記映像デコード部が前記ビデオフレームのキーフレームを起点としてデコードを開始する前に、前記表示操作検出部が前記表示操作を検出した場合、前記第１の映像信号とは異なる第２の映像信号を出力する、ものを含む。【００１３】
また、本発明の携帯端末装置は、前記第２の映像信号が、前記デコードトリガ検出部が前記デコード開始トリガを検出する前に、前記映像出力部によってデコードされた映像信号である、ものを含む。【００１４】
これにより、デコードしたものの装置利用者が表示操作をしなかったために出力されることがなくなった映像信号に出力する機会を与えることができるため、その映像信号を有効に利用することができる。【００１５】
また、本発明の携帯端末装置は、前記映像デコード部が、前記デコードトリガ検出部が前記デコード開始トリガを検出してから所定の時間内に前記表示操作検出部が前記表示操作を検出しない場合、前記ビデオフレームのデコードを停止する、ものを含む。【００１６】
また、本発明の携帯端末装置は、前記映像デコード部が、前記デコードトリガ検出部がデコードの前記ビデオフレームのデコードを終了させるためのデコード終了トリガを検出した場合、前記ビデオフレームのデコードを停止する、ものを含む。【００１７】
また、本発明の映像出力方法は、実行中のデコードを終了させるためのデコード終了トリガを検出するステップと、前記デコード終了トリガを検出すると、実行中の前記ビデオフレームのデコードを終了するステップと、を有するものを含む。【００１８】
この構成により、表示操作を検出する前に行われるビデオフレームのデコードに伴う電力消費を抑えることができる。【００１９】
また、本発明の携帯端末装置は、前記表示操作検出部が、前記映像出力部の起動を前記表示操作として検出する、ものを含む。【００２０】
また、本発明の携帯端末装置は、前記表示操作検出部が、前記映像出力部による、アプリケーションプログラムを実行し生成した第１の表示画面から前記映像信号を出力する第２の表示画面への表示の切り替えを、前記表示操作として検出する、ものを含む。【００２１】
また、本発明の携帯端末装置は、前記デコードトリガ検出部が、前記音声デコード部によってデコードされた前記音声信号の、曲調の変化または音声の変化の一方、または両方を前記デコード開始トリガとして検出する、ものを含む。【００２２】
また、本発明の携帯端末装置は、前記デコードトリガ検出部が、前記オーディオフレームと前記ビデオフレームとを含んで構成される動画コンテンツに関するコンテンツ情報によって指定される、前記オーディオフレームまたは前記ビデオフレームのうちの所定のフレームをデコードすべき時点を、前記デコード開始トリガとして検出する、ものを含む。【００２３】
また、本発明の携帯端末装置は、前記デコードトリガ検出部が、アプリケーションプログラムを実行し生成した前記第１の表示画面の表示を終了することを、前記デコード開始トリガとして検出する、ものを含む。【００２４】
また、本発明の携帯端末装置は、ユーザの挙動の変化及び携帯端末装置がおかれている環境の変化を検出するセンサを備え、前記デコードトリガ検出部が、前記センサから入力する信号の変化を、前記デコード開始トリガとして検出する、ものを含む。【００２５】
この構成により、装置利用者によって行われる音声のみ再生中の映像表示操作がどのタイミングでなされるのかを事前に検出することができる。
【発明の効果】
【００２６】
本発明の携帯端末装置、及び映像出力方法によれば、デコード処理に伴う消費電力の省電力化を図りつつ、動画像データのうちの任意の箇所から再生する場合であっても、その箇所に対応する映像信号をディスプレイに出力するまでに要する時間を短縮化することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施の形態の携帯端末装置の機能ブロック図
【図２】本発明の実施の形態の携帯端末装置によるデコード処理の概念図
【図３】本発明の実施の形態の携帯端末装置による映像出力の流れを示すフローチャート
【図４】本発明の実施の形態の携帯端末装置による映像出力の流れを示すフローチャート
【図５】本発明の実施の形態の携帯端末装置によるデコード開始／終了トリガの検出処理の流れを示すフローチャート
【符号の説明】
【００２８】
１１  データフォーマット解析部
１２  音声デコード部
１３  音声解析部
１４  音声出力部
１５  映像デコード部
１６  映像出力部
１７  アプリケーション部
１８  外部センサ
１９  ストリーム制御部
【発明を実施するための最良の形態】
【００２９】
以下、本発明の実施の形態の携帯端末装置、及びその携帯端末装置による映像出力方法について詳細に説明する。図１に、本発明の実施の形態の携帯端末装置の機能ブロック図を示す。本発明の実施の形態の携帯端末装置は、データフォーマット解析部１１、音声デコード部１２、音声解析部１３、音声出力部１４、映像デコード部１５、映像出力部１６、アプリケーション部１７、外部センサ部１８、ストリーム制御部１９、を含んで構成される。図１において、データフォーマット解析部１１から音声出力部１４または映像出力部１６に至る白抜きの矢印は、オーディオフレームまたは音声信号、及びビデオフレームまたは映像信号の流れを、ストリーム制御部１９に向かう矢印（細線）は、同矢印の起点となる部からストリーム制御部１９への制御信号の流れを、ストリーム制御部１９から映像デコード部１５または映像出力部１６に向かう矢印（太線）は、ストリーム制御部１９から映像デコード部１５または映像出力部１６への駆動制御信号の流れを、それぞれ表している。【００３０】
データフォーマット解析部１１は、本発明の実施の形態の携帯端末装置に備わる記憶装置（図示せず）やデジタルテレビ放送受信装置（図示せず）から入力する動画像データを解析する。動画像データは、オーディオフレーム、ビデオフレーム、オーディオフレームまたはビデオフレームの再生制御に関する制御データ、及び、当該動画像データに関するコンテンツデータ（例えば動画像データの作成者が重要な箇所として指定する動画像データ上の時刻情報などの、動画像データを視聴するユーザが関心を持ち得る動画像データの任意の箇所を特定する情報）、の集合を指す（なお、制御データは、オーディオフレームまたはビデオフレームのヘッダに記述するようにしてもよく、また、コンテンツデータは、当該動画像データとは別のファイル形式であっても構わない。）。データフォーマット解析部１１は、動画像データのうちの制御データを参照して、オーディオフレームを音声デコード部１２へ、ビデオフレームを映像デコード部１５へ、それぞれ逐次出力する。また、データフォーマット解析部１１は、コンテンツデータに記述されている時刻情報（以下、切り出しポイントと称することがある。）を参照して、音声デコード部１２に出力するオーディオフレームまたは映像デコード部１５に出力するビデオフレームがその時刻情報に対応するタイムスタンプを有していればあるいは、その時刻情報がある楽曲のサビの開始時刻に対応している場合には、その時刻情報よりも数秒手前の時刻情報に対応するタイムスタンプを有していれば、ビデオフレームのデコードを開始することを要求する制御信号をストリーム制御部１９に出力する。【００３１】
音声デコード部１２は、データフォーマット解析部１１から入力したオーディオフレームをデコードし、デコードした音声信号を音声解析部１３及び音声出力部１４に出力する。音声デコード部１２によるデコード処理は、例えば、ＭＰＥＧ（Moving Picture Expert Group）規格に準ずる。【００３２】
音声解析部１３は、音声デコード部１２から入力した音声信号を解析し、その音声信号に特徴箇所があると判定すれば、ビデオフレームのデコードを開始することを要求する制御信号をストリーム制御部１９に出力する。音声解析部１３による特徴箇所の有無の判別アルゴリズムとしては、音量、周波数、パターンマッチングを基に特徴箇所を特定する既存のアルゴリズムを用いる。【００３３】
音声出力部１４は、スピーカに相当し、音声デコード部１２によってデコードされた音声信号を入力し、その音声信号に基づいて音出力を行う。【００３４】
映像デコード部１５は、ビデオフレームのデコードを要求する駆動制御信号をストリーム制御部１９から入力している期間、データフォーマット解析部１１から入力したビデオフレームをデコードし、デコードした映像信号を映像出力部１６に出力する。一方、映像デコード部１５は、その駆動制御信号をストリーム制御部１９から入力していない期間、データフォーマット解析部１１から出力されるビデオフレームを入力しない、または、ビデオフレームを入力してもデコードしないことにより、省電力化を図る。映像デコード部１５によるデコード処理は、例えば、ＭＰＥＧ（Moving Picture Expert Group）規格に準ずる。【００３５】
映像デコード部１５によるデコード処理を、図２に示す、本発明の実施の形態の携帯端末装置によるデコード処理の概念図を参照して説明する。図２における隣り合う複数個の長方形は、上段のものが音声デコード部１２によってデコードされるオーディオフレームを、下段のものが映像デコード部１５によってデコードされるビデオフレームを、それぞれ表している。また、その複数個の長方形のうちの、内部が網掛けられて記載されているものは、音声デコード部１２によってデコードされたオーディオフレームまたは映像デコード部１５によってデコードされたビデオフレームを表している。図２において、オーディオフレームまたはビデオフレームには、タイムスタンプＴ１〜Ｔ１５が割り当てられているものとする。【００３６】
音声デコード部１２は、データフォーマット解析部１１がタイムスタンプの順序にしたがって当該音声デコード部１２に出力するオーディオフレームを、逐次デコードする。一方、映像デコード部１５は、ビデオフレームのデコードを要求する駆動制御信号をストリーム制御部１９から入力するまでの区間（図２における省電力区間）においては、データフォーマット解析部１１がタイムスタンプの順序にしたがって当該映像デコード部１５に出力するビデオフレーム（図２では、タイムスタンプＴ１〜Ｔ３のビデオフレーム）を入力しない、またはデコードしない。映像デコード部１５は、ビデオフレームのデコードを要求する駆動制御信号をストリーム制御部１９から入力している区間（図２における省電力解除区間）においては、次に説明するデコード処理を実行する。【００３７】
すなわち、映像デコード部１５は、ビデオフレームのデコードを要求する駆動制御信号をストリーム制御部１９から入力すると、データフォーマット解析部１１がタイムスタンプの順序にしたがって当該映像デコード部１５に出力するビデオフレームの入力を開始し、ビデオフレームのうちのＩフレームを待ち受ける（図２において、Ｉフレームを入力するまでの区間を待受区間と記載。）。ＭＰＥＧ規格に準拠するエンコード方式、例えばＭＰＥＧ４では、映像信号は、Ｉフレーム、Ｐフレームに圧縮される。このように圧縮されたフレームのうち、Ｉフレームは、Ｉフレーム単体の情報のみで映像信号にデコードされる。一方、Ｐフレームは、ＰフレームのデータとそのＰフレームよりもタイムスタンプの若いＩフレームのデータとの差分情報であり、該当するＰフレームのデータとそのＰフレームの直前のＩフレームとの情報で映像信号にデコードされる。Ｉフレームは、Ｐフレームをデコードする上で基準となる機能を有しているためキーフレームと称されることもある。映像デコード部１５は、データフォーマット解析部１１がタイムスタンプの順序にしたがって当該映像デコード部１５に出力するビデオフレームのうちのＩフレーム（図２では、タイムスタンプＴ６のビデオフレーム）を入力すると、そのＩフレームをデコードすると共に、そのＩフレーム以降のＰフレーム（図２では、タイムスタンプＴ７以降のビデオフレーム）を入力するごとに、そのＰフレームをＩフレーム（タイムスタンプＴ６のビデオフレーム）参照してデコードする（図２において、Ｉフレーム及びＰフレームをデコードする期間をデコード区間と記載。）。【００３８】
映像出力部１６は、映像信号の出力を要求する駆動制御信号をストリーム制御部１９から入力している期間、映像デコード部１５から入力した映像信号に基づいて映像出力を行う。一方、映像出力部１６は、その駆動制御信号をストリーム制御部１９から入力していない期間、映像デコード部１５から入力した映像信号の映像出力を行わない。【００３９】
アプリケーション部１７は、記憶装置（図示せず）に記憶されたアプリケーションプログラムを実行し生成した映像信号を映像出力部１６に出力し、映像出力部１６に映像出力させる。アプリケーション部１７は、アプリケーションプログラムを参照して、映像デコード部１５がデコードして生成する映像信号とは別の映像信号を生成し、映像出力部１６に出力する。アプリケーション部１７は、操作キー（図示せず）から受け付ける入力信号を参照してアプリケーションプログラムを実行するが、その際に、そのアプリケーションプログラムを停止する入力信号（例えば、電卓、メモ帳、電話帳などのアプリケーションプログラムを閉じることを要求する信号）を受け付ける、異なるアプリケーションプログラムにより出力される別のウィンドウに切り替える、画面スクロールが終端に到達する、または、アプリケーションプログラムの実行を完了（例えば、ダウンロードの完了や、ゲームプログラムにおいて節目となる箇所まで到達）する、などの、あるアプリケーションプログラムによる映像信号の生成を終了する処理、または終了することが予測される処理（これらの処理を称して、アプリケーション終了処理と称することがある）を実行すると、ビデオフレームのデコードを開始することを要求する制御信号をストリーム制御部１９に出力する。【００４０】
外部センサ部１８は、加速度センサ、圧電センサ、などの各種センサ（外部から加わる何かしらの刺激を電気信号に変換する装置全般を含む）によって検出される信号を基に、ユーザの挙動の変化や携帯端末装置がおかれている環境の変化を判定し、変化有りと判定すれば、ビデオフレームのデコードを開始することを要求する制御信号をストリーム制御部１９に出力する。外部センサ部１８は、例えば、加速度センサによって検出される信号が閾値よりも大きくなった場合、ユーザが携帯端末装置を取り出したとみなし、携帯端末装置に対して操作をしていなかったユーザが操作を開始すると判定する、または、外部センサ部１８は、携帯端末装置が無線通信に用いる無線部（図示せず）が実施している受信強度の計測状況やハンドオーバの状況から、携帯端末装置に対して操作をしていなかったユーザが操作を開始すると判定する。【００４１】
ストリーム制御部１９は、データフォーマット解析部１１、音声解析部１２、アプリケーション部１７及び外部センサ部１８の少なくとも一つから、ビデオフレームのデコードを開始することを要求する制御信号を入力すると、ビデオフレームのデコードを要求する駆動制御信号を映像デコード部１５に出力する。また、ストリーム制御部１９は、ユーザから動画像データを出力することを要求する操作を受け付けると、映像信号の出力を要求する駆動制御信号を映像出力部１６に出力する。【００４２】
次に、本発明の実施の形態の携帯端末装置による映像出力の流れについて、図３及び図４に示す、本発明の実施の形態の携帯端末装置による映像出力の流れを示すフローチャートを参照して説明する。【００４３】
本発明の実施の形態の携帯端末装置は、動画像データを記憶しており、動画像データのうちのオーディオフレームの再生処理を行うものとする。携帯端末装置は、動画像データの読み込みを開始すると、まず、コンテンツデータに記述されているデータを参照して（ステップ３０１）、切り出しポイントの有無を判別する（ステップ３０２）。携帯端末装置は、コンテンツデータに切り出しポイントがあれば（ステップ３０２、Ｙ）、切り出しポイントを登録しておく（ステップ３０３）。【００４４】
携帯端末装置は、コンテンツデータに切り出しポイントがない場合（ステップ３０２、Ｎ）または切り出しポイントを登録した（ステップ３０３）後、タイムスタンプＴ１が割り当てられたオーディオフレームをデコードし（ステップ３０５）、その音声信号Ｔ１を出力する（ステップ３０６）。その後、携帯端末装置は、ステップ３０７に示すデコード開始／終了トリガの検出処理を実行する。図５に、本発明の実施の形態の携帯端末装置によるデコード開始／終了トリガの検出処理の流れを示すフローチャート示す。【００４５】
携帯端末装置は、その時点において、ディスプレイに動画再生以外の画面表示を出力しているか否かを判別する（ステップ５０１。）。携帯端末装置は、ディスプレイにアプリケーションプログラムを実行して生成した動画再生以外の画面表示を出力していなければ（ステップ５０１、Ｎ）、デコードして生成された音声信号Ｔｎを解析し（ステップ５０２）、その音声信号Ｔｎに特徴箇所があるか否かを判別する（ステップ５０３。）。その後、携帯端末装置は、タイムスタンプＴｎが切り出しポイントに対応する時刻と一致するか否かを判別し（ステップ５０４。）、さらに、外部センサから入力する信号を基にユーザの挙動の変化や携帯端末装置がおかれている環境の変化の有無を判定する（ステップ５０５。）。一方、携帯端末装置は、ステップ５０１における処理において、アプリケーションプログラムを実行することによってディスプレイに動画再生以外の画面表示を出力していると判定すれば（ステップ５０１、Ｙ）、そのアプリケーションプログラムを停止する、画面スクロールが終端に到達する、または、アプリケーションプログラムの実行を完了する、などのアプリケーション終了処理の有無を判別する（ステップ５０６。）。携帯端末装置は、ステップ５０３、５０４、５０５、５０６のいずれかの処理により該当する事象を検出すると、デコードトリガを検出したと判定し、いずれの処理によっても該当する事象を検出できなければ、デコードトリガを検出できなかったと判別する。携帯端末装置は、デコードトリガを検出した場合、そのデコードトリガが、デコードの開始の条件となるトリガ（以下、デコード開始トリガと称する。）であるのか、あるいは、実行中のデコードの終了の条件となるトリガ（以下、デコード終了トリガと称する。）であるのか、を判別する（ステップ５０７）。【００４６】
デコード開始トリガとデコード終了トリガの違いは、ステップ５０３の処理においては、音声信号Ｔｎに特徴箇所がない状態からある状態に変化することがデコード開始トリガに、音声信号Ｔｎに特徴箇所がある状態からない状態に変化することがデコード終了トリガに、それぞれ相当する。また、ステップ５０４の処理においては、切り出しポイントには始点となる時刻と終点となる時刻が設定されており、その始点となる時刻がデコード開始トリガに、その終点となる時刻がデコード終了トリガに、それぞれ相当する。また、ステップ５０５の処理においては、センサから入力信号に変化がない状態からある状態に変化することがデコード開始トリガに、変化がある状態からない状態に変化することがデコード終了トリガに、それぞれ相当する。また、ステップ５０６の処理においては、アプリケーション終了処理を検出することがデコード開始トリガに、アプリケーションの起動処理を検出することがデコード終了トリガに、それぞれ相当する。【００４７】
デコード開始／終了トリガの検出処理の後、携帯端末装置は、タイムスタンプＴ２となるように一つ繰り上げ（ステップ３０８）、デコード開始／終了トリガの検出処理にて、デコード開始トリガを検出したか否かを判別する（ステップ３０９）。以後、携帯端末装置は、ステップ３０８の処理によりタイムスタンプを繰り上げながら、デコード開始トリガを検出するまでステップ３０５からステップ３０９までの処理を繰り返す。【００４８】
携帯端末装置は、デコード開始／終了トリガの検出処理にて、デコード開始トリガを検出したと判別した場合（ステップ３０９、Ｙ）、動画像データのうちのビデオフレームのデコード処理を開始する（「Ａ」へ）。【００４９】
携帯端末装置は、ステップ３０７にてデコード開始トリガを検出したときのタイムスタンプＴｎを参照して、そのタイムスタンプＴｎが割り当てられるビデオフレームを特定し、そのビデオフレームがＩフレームであるか否かを判別する（ステップ４０１）。携帯端末装置は、特定したビデオフレームがＩフレームでなければ（ステップ４０１、Ｎ）、タイムスタンプＴｎが割り当てられたオーディオフレームのみをデコードし（ステップ４０２）、デコードして生成された音声信号Ｔｎを出力し（ステップ４０３）、タイムスタンプＴｎとなるように一つ繰り上げる（ステップ４０５）。なお、携帯端末装置は、音声信号Ｔｎを出力している間、前もってデコードしておいた静止画や動画像（代替画像。代替画像の生成処理については、後述するステップ４１２の処理にて説明する。）を表示しても良い（ステップ４０４）。【００５０】
一方、携帯端末装置は、ステップ４０１の処理にて、特定したビデオフレームがＩフレームであれば（ステップ４０１、Ｙ）、計時を開始すると共に（ステップ４０６）、タイムスタンプＴｎが割り当てられたオーディオフレーム及びビデオフレームをデコードする（ステップ４０７）。【００５１】
携帯端末装置は、フリップの開操作やキー操作による表示操作によって、動画像データを出力するよう要求する信号（映像信号の出力を要求する信号）を受け付けると（ステップ４０８、Ｙ）、デコードして生成された音声信号Ｔｎ及び映像信号Ｔｎを出力し（ステップ４０９）、タイムスタンプＴｎとなるように一つ繰り上げる（ステップ４１０）。携帯端末装置は、フリップの開操作やキー操作による表示操作によって、動画像データを出力するよう要求する信号（映像信号の出力を要求する信号）を受け付けなければ（ステップ４０８、Ｎ）、デコードして生成された音声信号Ｔｎのみを出力し（ステップ４１１）、デコード開始／終了トリガの検出処理を行い（ステップ４１３）、タイムスタンプＴｎとなるように一つ繰り上げる（ステップ４１４）。【００５２】
なお、携帯端末装置は、動画像データを出力するよう要求する信号（映像信号の出力を要求する信号）を受け付けていない場合（ステップ４０８、Ｎ）、ステップ４０７にてデコードした音声信号を代替画像として記憶しておいてもよい（ステップ４１２）。これにより、デコードしたものの装置利用者が表示操作をしなかったために出力されることがなくなった映像信号を図２に示す待受期間に出力する機会を与えることによって、その映像信号を有効に利用することができる。【００５３】
携帯端末装置は、ステップ４１４の処理においてタイムスタンプＴｎとなるように繰り上げた後、デコード終了トリガを検出できない（ステップ４１５、Ｎ）、またはステップ４０６の処理において計時している時刻が所定時間未満であるかぎり（ステップ４１６、Ｎ）、ステップ４０７からステップ４１６の処理を繰り返す。一方、携帯端末装置は、デコード終了トリガを検出する（ステップ４１５、Ｙ）、またはステップ４０６の処理において計時している時刻が所定時間を経過していると判別すると（ステップ４１６、Ｙ）、それ以後のビデオフレームのデコードを停止して、ステップ３０５の処理に移行する（「Ｂ」へ）。【００５４】
ステップ４１６の処理は、装置利用者が表示操作をしないまま図２に示すデコード区間が所定時間以上になると、デコード開始トリガの検出を待ち受ける省電力区間に移行することを意味する。これにより、ビデオフレームのデコードに伴う電力消費を抑えることができる。【００５５】
以上、本発明の実施の形態の携帯端末装置によれば、デコード処理に伴う消費電力の省電力化を図りつつ、動画像データのうちの任意の箇所から再生する場合であっても、その箇所に対応する映像信号をディスプレイに出力するまでに要する時間を短縮化することができる。【００５６】
本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
【産業上の利用可能性】
【００５７】
本発明の携帯端末装置、及び映像出力方法によれば、デコード処理に伴う消費電力の省電力化を図りつつ、動画像データのうちの任意の箇所から再生する場合であっても、その箇所に対応する映像信号をディスプレイに出力するまでに要する時間を短縮化することができるという効果を奏し、デジタル映像を再生可能な携帯端末装置の分野において有用である。
【図１】
2009063572.tif 000003
【図２】
2009063572.tif 000004
【図３】
2009063572.tif 000005
【図４】
2009063572.tif 000006
【図５】
2009063572.tif 000007
【手続補正書】
【提出日】平成20年10月15日(2008.10.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声を構成するオーディオフレームを逐次、デコードする音声デコード部と、
前記音声デコード部によってデコードされた音声信号を出力する音声出力部と、
動画を構成するビデオフレームを逐次、デコードする映像デコード部と、
前記映像デコード部に前記ビデオフレームのデコードを開始させるためのデコード開始トリガを検出するデコードトリガ検出部と、
前記映像デコード部によってデコードされた映像信号を出力する映像出力部と、
前記映像出力部に前記映像信号の出力を開始させるための表示操作を検出する表示操作検出部と、
を備え、
前記映像デコード部は、前記音声デコード部がデコード中かつ前記映像デコード部がデコードを停止している場合に、前記デコードトリガ検出部が前記デコード開始トリガを検出すると、前記音声デコード部がデコードしている前記オーディオフレームに同期する、前記ビデオフレームのキーフレームを起点としてデコードを開始し、
前記映像出力部は、前記表示操作検出部が前記表示操作を検出すると、前記音声出力部が出力している前記音声信号に同期する第１の映像信号を起点として出力を開始する、
携帯端末装置。
【請求項２】
請求項１記載の携帯端末装置であって、
前記映像出力部は、前記映像デコード部が前記ビデオフレームのキーフレームを起点としてデコードを開始する前に、前記表示操作検出部が前記表示操作を検出した場合、前記第１の映像信号とは異なる第２の映像信号を出力する、
携帯端末装置。
【請求項３】
請求項２記載の携帯端末装置であって、
前記第２の映像信号は、前記デコードトリガ検出部が前記デコード開始トリガを検出する前に、前記映像出力部によってデコードされた映像信号である、
携帯端末装置。
【請求項４】
請求項１から３のいずれか一項に記載の携帯端末装置であって、
前記映像デコード部は、前記デコードトリガ検出部が前記デコード開始トリガを検出してから所定の時間内に前記表示操作検出部が前記表示操作を検出しない場合、前記ビデオフレームのデコードを停止する、
携帯端末装置。
【請求項５】
請求項１から４のいずれか一項に記載の携帯端末装置であって、
前記映像デコード部は、前記デコードトリガ検出部がデコードの前記ビデオフレームのデコードを終了させるためのデコード終了トリガを検出した場合、前記ビデオフレームのデコードを停止する、
携帯端末装置。
【請求項６】
請求項１から４のいずれか一項に記載の携帯端末装置であって、
前記表示操作検出部は、前記映像出力部の起動を前記表示操作として検出する、
携帯端末装置。
【請求項７】
請求項１から４のいずれか一項に記載の携帯端末装置であって、
前記表示操作検出部は、前記映像出力部による、アプリケーションプログラムを実行し生成した第１の表示画面から前記映像信号を出力する第２の表示画面への表示の切り替えを、前記表示操作として検出する、
携帯端末装置。
【請求項８】
請求項１から７のいずれか一項に記載の携帯端末装置であって、
前記デコードトリガ検出部は、前記音声デコード部によってデコードされた前記音声信号の、曲調の変化または音声の変化の一方、または両方を前記デコード開始トリガとして検出する、
携帯端末装置。
【請求項９】
請求項１から７のいずれか一項に記載の携帯端末装置であって、
前記デコードトリガ検出部は、前記オーディオフレームと前記ビデオフレームとを含んで構成される動画コンテンツに関するコンテンツ情報によって指定される、前記オーディオフレームまたは前記ビデオフレームのうちの所定のフレームをデコードすべき時点を、前記デコード開始トリガとして検出する、
携帯端末装置。
【請求項１０】
請求項７記載の携帯端末装置であって、
前記デコードトリガ検出部は、アプリケーションプログラムを実行し生成した前記第１の表示画面の表示を終了することを、前記デコード開始トリガとして検出する、
携帯端末装置。
【請求項１１】
請求項１から７のいずれか一項に記載の携帯端末装置であって、
ユーザの挙動の変化及び携帯端末装置がおかれている環境の変化を検出するセンサを備え、
前記デコードトリガ検出部は、前記センサから入力する信号の変化を、前記デコード開始トリガとして検出する、
携帯端末装置。
【請求項１２】
音声を構成するオーディオフレームをデコードするステップと、
デコードされた音声信号を出力するステップと、
動画を構成するビデオフレームのデコードを開始させるためのデコード開始トリガを検出するステップと、
前記オーディオフレームのデコード中かつ前記ビデオフレームのデコードを停止している場合に、前記デコード開始トリガを検出すると、デコードしている前記オーディオフレームに同期する、前記ビデオフレームのキーフレームからデコードを開始するステップと、
デコードされた映像信号の出力を開始させるための表示操作を検出するステップと、
出力している前記音声信号に同期する前記映像信号から出力を開始するステップと、
を有する映像出力方法。
【請求項１３】
請求項１２記載の映像出力方法であって、
実行中のデコードを終了させるためのデコード終了トリガを検出するステップと、
前記デコード終了トリガを検出すると、実行中の前記ビデオフレームのデコードを終了するステップと、
を有する映像出力方法。
【手続補正書】
【提出日】平成22年2月15日(2010.2.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声を構成するオーディオフレームを逐次、デコードする音声デコード部と、
前記音声デコード部によってデコードされた音声信号を出力する音声出力部と、
動画を構成するビデオフレームを逐次、デコードする映像デコード部と、
前記映像デコード部に前記ビデオフレームのデコードを開始させるためのデコード開始トリガを検出するデコードトリガ検出部と、
前記映像デコード部によってデコードされた映像信号を出力する映像出力部と、
前記映像出力部に前記映像信号の出力を開始させるための表示操作を検出する表示操作検出部と、
を備え、
前記映像デコード部は、前記音声デコード部がデコード中かつ前記映像デコード部がデコードを停止している場合に、前記デコードトリガ検出部が前記デコード開始トリガを検出すると、前記音声デコード部がデコードしている前記オーディオフレームに同期する、前記ビデオフレームのキーフレームを起点としてデコードを開始し、
前記映像出力部は、前記表示操作検出部が前記表示操作を検出すると、前記音声出力部が出力している前記音声信号に同期する第１の映像信号を起点として出力を開始する、
携帯端末装置。
【請求項２】
請求項１記載の携帯端末装置であって、
前記映像出力部は、前記映像デコード部が前記ビデオフレームのキーフレームを起点としてデコードを開始する前に、前記表示操作検出部が前記表示操作を検出した場合、前記第１の映像信号とは異なる第２の映像信号を出力する、
携帯端末装置。
【請求項３】
請求項２記載の携帯端末装置であって、
前記第２の映像信号は、前記デコードトリガ検出部が前記デコード開始トリガを検出する前に、前記映像出力部によってデコードされた映像信号である、
携帯端末装置。
【請求項４】
請求項１から３のいずれか一項に記載の携帯端末装置であって、
前記映像デコード部は、前記デコードトリガ検出部が前記デコード開始トリガを検出してから所定の時間内に前記表示操作検出部が前記表示操作を検出しない場合、前記ビデオフレームのデコードを停止する、
携帯端末装置。
【請求項５】
請求項１から４のいずれか一項に記載の携帯端末装置であって、
前記映像デコード部は、前記デコードトリガ検出部がデコードの前記ビデオフレームのデコードを終了させるためのデコード終了トリガを検出した場合、前記ビデオフレームのデコードを停止する、
携帯端末装置。
【請求項６】
請求項１から４のいずれか一項に記載の携帯端末装置であって、
前記表示操作検出部は、前記映像出力部の起動を前記表示操作として検出する、
携帯端末装置。
【請求項７】
請求項１から４のいずれか一項に記載の携帯端末装置であって、
前記表示操作検出部は、前記映像出力部による、アプリケーションプログラムを実行し生成した第１の表示画面から前記映像信号を出力する第２の表示画面への表示の切り替えを、前記表示操作として検出する、
携帯端末装置。
【請求項８】
請求項１から７のいずれか一項に記載の携帯端末装置であって、
前記デコードトリガ検出部は、前記音声デコード部によってデコードされた前記音声信号の、曲調の変化または音声の変化の一方、または両方を前記デコード開始トリガとして検出する、
携帯端末装置。
【請求項９】
請求項１から７のいずれか一項に記載の携帯端末装置であって、
前記デコードトリガ検出部は、前記オーディオフレームと前記ビデオフレームとを含んで構成される動画コンテンツに関するコンテンツ情報によって指定される、前記オーディオフレームまたは前記ビデオフレームのうちの所定のフレームをデコードすべき時点を、前記デコード開始トリガとして検出する、
携帯端末装置。
【請求項１０】
請求項７記載の携帯端末装置であって、
前記デコードトリガ検出部は、アプリケーションプログラムを実行し生成した前記第１の表示画面の表示を終了することを、前記デコード開始トリガとして検出する、
携帯端末装置。
【請求項１１】
請求項１から７のいずれか一項に記載の携帯端末装置であって、
ユーザの挙動の変化及び携帯端末装置がおかれている環境の変化を検出するセンサを備え、
前記デコードトリガ検出部は、前記センサから入力する信号の変化を、前記デコード開始トリガとして検出する、
携帯端末装置。
【請求項１２】
音声を構成するオーディオフレームをデコードするステップと、
デコードされた音声信号を出力するステップと、
動画を構成するビデオフレームのデコードを開始させるためのデコード開始トリガを検出するステップと、
前記オーディオフレームのデコード中かつ前記ビデオフレームのデコードを停止している場合に、前記デコード開始トリガを検出すると、デコードしている前記オーディオフレームに同期する、前記ビデオフレームのキーフレームからデコードを開始するステップと、
デコードされた映像信号の出力を開始させるための表示操作を検出するステップと、
出力している前記音声信号に同期する前記映像信号から出力を開始するステップと、
を有する映像出力方法。
【請求項１３】
請求項１２記載の映像出力方法であって、
実行中のデコードを終了させるためのデコード終了トリガを検出するステップと、
前記デコード終了トリガを検出すると、実行中の前記ビデオフレームのデコードを終了するステップと、
を有する映像出力方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル映像を再生可能な携帯端末装置、及び当該携帯端末装置によるデジタル映像出力方法に関する。
【背景技術】
【０００２】
近年、携帯端末装置に搭載される記憶装置の記憶容量の増大、またデジタルテレビジョン放送の放送開始に伴い、データ量が比較的大きい動画像データを再生する機会が増えてきている。
【０００３】
携帯端末装置は、動画像データを再生するにあたって、当該動画像データを構成するオーディオフレームのみを再生する形態から当該動画像データを構成するオーディオフレーム及びビデオフレームを再生する形態に切り替わる場合、ビデオフレームをデコード処理する必要があるが、ビデオフレームの再生を指示する操作（上記形態の切り替えの操作）を受け付けた後にデコード処理を実行していたのでは、デコード処理に要する時間分（具体的には、Ｐフレームをデコードする上で基準となるＩフレームをデコードするまでに要する時間分）、映像信号をディスプレイに出力することが遅れることになる。一方、携帯端末装置は、ビデオフレームの再生を指示する操作を受け付ける前にデコード処理を実行していれば、その操作を受け付けたと同時に映像信号をディスプレイに出力することができるが、ディスプレイに出力されることのないビデオフレームに対してもデコード処理を実行する必要があり、デコード処理に伴う消費電力が大きくなってしまう。このような、ディスプレイに映像信号を出力するまでに要する時間の短縮化と、デコード処理に伴う消費電力の省電力化と、に鑑み、特許文献１、２には次の装置が開示されている。
【０００４】
特許文献１に開示されている動画像復号装置は、ビデオフレームの再生を指示する操作を受け付けると、先頭のビデオフレームをデコードしてそのデコードした映像信号（静止画）をディスプレイに出力しておき、ディスプレイに出力している間に以降のビデオフレームのデコードを進めておくものである。
【０００５】
また、特許文献２に開示されている折り畳み携帯電話機は、テレビ放送を受信可能な携帯電話機であって、折り畳まれていない状態から折り畳まれた状態に操作されたときは、映像信号のディスプレイへの出力を停止し、かつ、音声信号のスピーカへの出力を継続するものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平３−２２８４９０号公報
【特許文献２】特開２００５−９４４１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示されている動画像復号装置は、ディスプレイに映像信号を出力するまでに要する時間の短縮化を図ることができるものの、ディスプレイに出力される画面は、一律、先頭のビデオフレームに基づく静止画像となる。ビデオフレームのうちの任意の箇所から再生する場合があるが、この場合、その任意の箇所に対応する映像とは関連のない静止画像をディスプレイに表示することになるため、表示内容の一貫性に欠けてしまう。
【０００８】
また、特許文献２に開示されている折り畳み携帯電話機は、デコード処理に伴う消費電力の省電力化を図ることができるものの、折り畳まれた状態から折り畳まれていない状態に操作されたときには、依然として、デコード処理に要する時間分、映像信号をディスプレイに出力することが遅れることになる。
【０００９】
本発明は、上記事情に鑑みてなされたものであって、デコード処理に伴う消費電力の省電力化を図りつつ、ビデオフレームのうちの任意の箇所から再生する場合であっても、その箇所に対応する映像信号をディスプレイに出力するまでに要する時間を短縮化することができる携帯端末装置、及び映像出力方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の携帯端末装置は、音声を構成するオーディオフレームを逐次、デコードする音声デコード部と、前記音声デコード部によってデコードされた音声信号を出力する音声出力部と、動画を構成するビデオフレームを逐次、デコードする映像デコード部と、前記映像デコード部に前記ビデオフレームのデコードを開始させるためのデコード開始トリガを検出するデコードトリガ検出部と、前記映像デコード部によってデコードされた映像信号を出力する映像出力部と、前記映像出力部に前記映像信号の出力を開始させるための表示操作を検出する表示操作検出部と、を備え、前記映像デコード部が、前記デコードトリガ検出部が前記デコード開始トリガを検出すると、前記音声デコード部がデコードしている前記オーディオフレームに同期する、前記ビデオフレームのキーフレームを起点としてデコードを開始し、前記映像出力部が、前記表示操作検出部が前記表示操作を検出すると、前記音声出力部が出力している前記音声信号に同期する第１の映像信号を起点として出力を開始する、ものである。
【００１１】
本発明の映像出力方法は、音声を構成するオーディオフレームをデコードするステップと、デコードされた音声信号を出力するステップと、動画を構成するビデオフレームのデコードを開始させるためのデコード開始トリガを検出するステップと、前記デコード開始トリガを検出すると、デコードしている前記オーディオフレームに同期する、前記ビデオフレームのキーフレームからデコードを開始するステップと、デコードされた映像信号の出力を開始させるための表示操作を検出するステップと、出力している前記音声信号に同期する前記映像信号から出力を開始するステップと、を有するものである。
【００１２】
この構成によれば、デコード処理に伴う消費電力の省電力化を図りつつ、動画像データのうちの任意の箇所から再生する場合であっても、その箇所に対応する映像信号をディスプレイに出力するまでに要する時間を短縮化することができる。
【００１３】
また、本発明の携帯端末装置は、前記映像出力部が、前記映像デコード部が前記ビデオフレームのキーフレームを起点としてデコードを開始する前に、前記表示操作検出部が前記表示操作を検出した場合、前記第１の映像信号とは異なる第２の映像信号を出力する、ものを含む。
【００１４】
また、本発明の携帯端末装置は、前記第２の映像信号が、前記デコードトリガ検出部が前記デコード開始トリガを検出する前に、前記映像出力部によってデコードされた映像信号である、ものを含む。
【００１５】
これにより、デコードしたものの装置利用者が表示操作をしなかったために出力されることがなくなった映像信号に出力する機会を与えることができるため、その映像信号を有効に利用することができる。
【００１６】
また、本発明の携帯端末装置は、前記映像デコード部が、前記デコードトリガ検出部が前記デコード開始トリガを検出してから所定の時間内に前記表示操作検出部が前記表示操作を検出しない場合、前記ビデオフレームのデコードを停止する、ものを含む。
【００１７】
また、本発明の携帯端末装置は、前記映像デコード部が、前記デコードトリガ検出部がデコードの前記ビデオフレームのデコードを終了させるためのデコード終了トリガを検出した場合、前記ビデオフレームのデコードを停止する、ものを含む。
【００１８】
また、本発明の映像出力方法は、実行中のデコードを終了させるためのデコード終了トリガを検出するステップと、前記デコード終了トリガを検出すると、実行中の前記ビデオフレームのデコードを終了するステップと、を有するものを含む。
【００１９】
この構成により、表示操作を検出する前に行われるビデオフレームのデコードに伴う電力消費を抑えることができる。
【００２０】
また、本発明の携帯端末装置は、前記表示操作検出部が、前記映像出力部の起動を前記表示操作として検出する、ものを含む。
【００２１】
また、本発明の携帯端末装置は、前記表示操作検出部が、前記映像出力部による、アプリケーションプログラムを実行し生成した第１の表示画面から前記映像信号を出力する第２の表示画面への表示の切り替えを、前記表示操作として検出する、ものを含む。
【００２２】
また、本発明の携帯端末装置は、前記デコードトリガ検出部が、前記音声デコード部によってデコードされた前記音声信号の、曲調の変化または音声の変化の一方、または両方を前記デコード開始トリガとして検出する、ものを含む。
【００２３】
また、本発明の携帯端末装置は、前記デコードトリガ検出部が、前記オーディオフレームと前記ビデオフレームとを含んで構成される動画コンテンツに関するコンテンツ情報によって指定される、前記オーディオフレームまたは前記ビデオフレームのうちの所定のフレームをデコードすべき時点を、前記デコード開始トリガとして検出する、ものを含む。
【００２４】
また、本発明の携帯端末装置は、前記デコードトリガ検出部が、アプリケーションプログラムを実行し生成した前記第１の表示画面の表示を終了することを、前記デコード開始トリガとして検出する、ものを含む。
【００２５】
また、本発明の携帯端末装置は、ユーザの挙動の変化及び携帯端末装置がおかれている環境の変化を検出するセンサを備え、前記デコードトリガ検出部が、前記センサから入力する信号の変化を、前記デコード開始トリガとして検出する、ものを含む。
【００２６】
この構成により、装置利用者によって行われる音声のみ再生中の映像表示操作がどのタイミングでなされるのかを事前に検出することができる。
【発明の効果】
【００２７】
本発明の携帯端末装置、及び映像出力方法によれば、デコード処理に伴う消費電力の省電力化を図りつつ、動画像データのうちの任意の箇所から再生する場合であっても、その箇所に対応する映像信号をディスプレイに出力するまでに要する時間を短縮化することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施の形態の携帯端末装置の機能ブロック図
【図２】本発明の実施の形態の携帯端末装置によるデコード処理の概念図
【図３】本発明の実施の形態の携帯端末装置による映像出力の流れを示すフローチャート
【図４】本発明の実施の形態の携帯端末装置による映像出力の流れを示すフローチャート
【図５】本発明の実施の形態の携帯端末装置によるデコード開始／終了トリガの検出処理の流れを示すフローチャート
【発明を実施するための形態】
【００２９】
以下、本発明の実施の形態の携帯端末装置、及びその携帯端末装置による映像出力方法について詳細に説明する。図１に、本発明の実施の形態の携帯端末装置の機能ブロック図を示す。本発明の実施の形態の携帯端末装置は、データフォーマット解析部１１、音声デコード部１２、音声解析部１３、音声出力部１４、映像デコード部１５、映像出力部１６、アプリケーション部１７、外部センサ部１８、ストリーム制御部１９、を含んで構成される。図１において、データフォーマット解析部１１から音声出力部１４または映像出力部１６に至る白抜きの矢印は、オーディオフレームまたは音声信号、及びビデオフレームまたは映像信号の流れを、ストリーム制御部１９に向かう矢印（細線）は、同矢印の起点となる部からストリーム制御部１９への制御信号の流れを、ストリーム制御部１９から映像デコード部１５または映像出力部１６に向かう矢印（太線）は、ストリーム制御部１９から映像デコード部１５または映像出力部１６への駆動制御信号の流れを、それぞれ表している。
【００３０】
データフォーマット解析部１１は、本発明の実施の形態の携帯端末装置に備わる記憶装置（図示せず）やデジタルテレビ放送受信装置（図示せず）から入力する動画像データを解析する。動画像データは、オーディオフレーム、ビデオフレーム、オーディオフレームまたはビデオフレームの再生制御に関する制御データ、及び、当該動画像データに関するコンテンツデータ（例えば動画像データの作成者が重要な箇所として指定する動画像データ上の時刻情報などの、動画像データを視聴するユーザが関心を持ち得る動画像データの任意の箇所を特定する情報）、の集合を指す（なお、制御データは、オーディオフレームまたはビデオフレームのヘッダに記述するようにしてもよく、また、コンテンツデータは、当該動画像データとは別のファイル形式であっても構わない。）。データフォーマット解析部１１は、動画像データのうちの制御データを参照して、オーディオフレームを音声デコード部１２へ、ビデオフレームを映像デコード部１５へ、それぞれ逐次出力する。また、データフォーマット解析部１１は、コンテンツデータに記述されている時刻情報（以下、切り出しポイントと称することがある。）を参照して、音声デコード部１２に出力するオーディオフレームまたは映像デコード部１５に出力するビデオフレームがその時刻情報に対応するタイムスタンプを有していればあるいは、その時刻情報がある楽曲のサビの開始時刻に対応している場合には、その時刻情報よりも数秒手前の時刻情報に対応するタイムスタンプを有していれば、ビデオフレームのデコードを開始することを要求する制御信号をストリーム制御部１９に出力する。
【００３１】
音声デコード部１２は、データフォーマット解析部１１から入力したオーディオフレームをデコードし、デコードした音声信号を音声解析部１３及び音声出力部１４に出力する。音声デコード部１２によるデコード処理は、例えば、ＭＰＥＧ（Moving Picture Expert Group）規格に準ずる。
【００３２】
音声解析部１３は、音声デコード部１２から入力した音声信号を解析し、その音声信号に特徴箇所があると判定すれば、ビデオフレームのデコードを開始することを要求する制御信号をストリーム制御部１９に出力する。音声解析部１３による特徴箇所の有無の判別アルゴリズムとしては、音量、周波数、パターンマッチングを基に特徴箇所を特定する既存のアルゴリズムを用いる。
【００３３】
音声出力部１４は、スピーカに相当し、音声デコード部１２によってデコードされた音声信号を入力し、その音声信号に基づいて音出力を行う。
【００３４】
映像デコード部１５は、ビデオフレームのデコードを要求する駆動制御信号をストリーム制御部１９から入力している期間、データフォーマット解析部１１から入力したビデオフレームをデコードし、デコードした映像信号を映像出力部１６に出力する。一方、映像デコード部１５は、その駆動制御信号をストリーム制御部１９から入力していない期間、データフォーマット解析部１１から出力されるビデオフレームを入力しない、または、ビデオフレームを入力してもデコードしないことにより、省電力化を図る。映像デコード部１５によるデコード処理は、例えば、ＭＰＥＧ（Moving Picture Expert Group）規格に準ずる。
【００３５】
映像デコード部１５によるデコード処理を、図２に示す、本発明の実施の形態の携帯端末装置によるデコード処理の概念図を参照して説明する。図２における隣り合う複数個の長方形は、上段のものが音声デコード部１２によってデコードされるオーディオフレームを、下段のものが映像デコード部１５によってデコードされるビデオフレームを、それぞれ表している。また、その複数個の長方形のうちの、内部が網掛けられて記載されているものは、音声デコード部１２によってデコードされたオーディオフレームまたは映像デコード部１５によってデコードされたビデオフレームを表している。図２において、オーディオフレームまたはビデオフレームには、タイムスタンプＴ１〜Ｔ１５が割り当てられているものとする。
【００３６】
音声デコード部１２は、データフォーマット解析部１１がタイムスタンプの順序にしたがって当該音声デコード部１２に出力するオーディオフレームを、逐次デコードする。一方、映像デコード部１５は、ビデオフレームのデコードを要求する駆動制御信号をストリーム制御部１９から入力するまでの区間（図２における省電力区間）においては、データフォーマット解析部１１がタイムスタンプの順序にしたがって当該映像デコード部１５に出力するビデオフレーム（図２では、タイムスタンプＴ１〜Ｔ３のビデオフレーム）を入力しない、またはデコードしない。映像デコード部１５は、ビデオフレームのデコードを要求する駆動制御信号をストリーム制御部１９から入力している区間（図２における省電力解除区間）においては、次に説明するデコード処理を実行する。
【００３７】
すなわち、映像デコード部１５は、ビデオフレームのデコードを要求する駆動制御信号をストリーム制御部１９から入力すると、データフォーマット解析部１１がタイムスタンプの順序にしたがって当該映像デコード部１５に出力するビデオフレームの入力を開始し、ビデオフレームのうちのＩフレームを待ち受ける（図２において、Ｉフレームを入力するまでの区間を待受区間と記載。）。ＭＰＥＧ規格に準拠するエンコード方式、例えばＭＰＥＧ４では、映像信号は、Ｉフレーム、Ｐフレームに圧縮される。このように圧縮されたフレームのうち、Ｉフレームは、Ｉフレーム単体の情報のみで映像信号にデコードされる。一方、Ｐフレームは、ＰフレームのデータとそのＰフレームよりもタイムスタンプの若いＩフレームのデータとの差分情報であり、該当するＰフレームのデータとそのＰフレームの直前のＩフレームとの情報で映像信号にデコードされる。Ｉフレームは、Ｐフレームをデコードする上で基準となる機能を有しているためキーフレームと称されることもある。映像デコード部１５は、データフォーマット解析部１１がタイムスタンプの順序にしたがって当該映像デコード部１５に出力するビデオフレームのうちのＩフレーム（図２では、タイムスタンプＴ６のビデオフレーム）を入力すると、そのＩフレームをデコードすると共に、そのＩフレーム以降のＰフレーム（図２では、タイムスタンプＴ７以降のビデオフレーム）を入力するごとに、そのＰフレームをＩフレーム（タイムスタンプＴ６のビデオフレーム）参照してデコードする（図２において、Ｉフレーム及びＰフレームをデコードする期間をデコード区間と記載。）。
【００３８】
映像出力部１６は、映像信号の出力を要求する駆動制御信号をストリーム制御部１９から入力している期間、映像デコード部１５から入力した映像信号に基づいて映像出力を行う。一方、映像出力部１６は、その駆動制御信号をストリーム制御部１９から入力していない期間、映像デコード部１５から入力した映像信号の映像出力を行わない。
【００３９】
アプリケーション部１７は、記憶装置（図示せず）に記憶されたアプリケーションプログラムを実行し生成した映像信号を映像出力部１６に出力し、映像出力部１６に映像出力させる。アプリケーション部１７は、アプリケーションプログラムを参照して、映像デコード部１５がデコードして生成する映像信号とは別の映像信号を生成し、映像出力部１６に出力する。アプリケーション部１７は、操作キー（図示せず）から受け付ける入力信号を参照してアプリケーションプログラムを実行するが、その際に、そのアプリケーションプログラムを停止する入力信号（例えば、電卓、メモ帳、電話帳などのアプリケーションプログラムを閉じることを要求する信号）を受け付ける、異なるアプリケーションプログラムにより出力される別のウィンドウに切り替える、画面スクロールが終端に到達する、または、アプリケーションプログラムの実行を完了（例えば、ダウンロードの完了や、ゲームプログラムにおいて節目となる箇所まで到達）する、などの、あるアプリケーションプログラムによる映像信号の生成を終了する処理、または終了することが予測される処理（これらの処理を称して、アプリケーション終了処理と称することがある）を実行すると、ビデオフレームのデコードを開始することを要求する制御信号をストリーム制御部１９に出力する。
【００４０】
外部センサ部１８は、加速度センサ、圧電センサ、などの各種センサ（外部から加わる何かしらの刺激を電気信号に変換する装置全般を含む）によって検出される信号を基に、ユーザの挙動の変化や携帯端末装置がおかれている環境の変化を判定し、変化有りと判定すれば、ビデオフレームのデコードを開始することを要求する制御信号をストリーム制御部１９に出力する。外部センサ部１８は、例えば、加速度センサによって検出される信号が閾値よりも大きくなった場合、ユーザが携帯端末装置を取り出したとみなし、携帯端末装置に対して操作をしていなかったユーザが操作を開始すると判定する、または、外部センサ部１８は、携帯端末装置が無線通信に用いる無線部（図示せず）が実施している受信強度の計測状況やハンドオーバの状況から、携帯端末装置に対して操作をしていなかったユーザが操作を開始すると判定する。
【００４１】
ストリーム制御部１９は、データフォーマット解析部１１、音声解析部１２、アプリケーション部１７及び外部センサ部１８の少なくとも一つから、ビデオフレームのデコードを開始することを要求する制御信号を入力すると、ビデオフレームのデコードを要求する駆動制御信号を映像デコード部１５に出力する。また、ストリーム制御部１９は、ユーザから動画像データを出力することを要求する操作を受け付けると、映像信号の出力を要求する駆動制御信号を映像出力部１６に出力する。
【００４２】
次に、本発明の実施の形態の携帯端末装置による映像出力の流れについて、図３及び図４に示す、本発明の実施の形態の携帯端末装置による映像出力の流れを示すフローチャートを参照して説明する。
【００４３】
本発明の実施の形態の携帯端末装置は、動画像データを記憶しており、動画像データのうちのオーディオフレームの再生処理を行うものとする。携帯端末装置は、動画像データの読み込みを開始すると、まず、コンテンツデータに記述されているデータを参照して（ステップ３０１）、切り出しポイントの有無を判別する（ステップ３０２）。携帯端末装置は、コンテンツデータに切り出しポイントがあれば（ステップ３０２、Ｙ）、切り出しポイントを登録しておく（ステップ３０３）。
【００４４】
携帯端末装置は、コンテンツデータに切り出しポイントがない場合（ステップ３０２、Ｎ）または切り出しポイントを登録した（ステップ３０３）後、タイムスタンプＴ１が割り当てられたオーディオフレームをデコードし（ステップ３０５）、その音声信号Ｔ１を出力する（ステップ３０６）。その後、携帯端末装置は、ステップ３０７に示すデコード開始／終了トリガの検出処理を実行する。図５に、本発明の実施の形態の携帯端末装置によるデコード開始／終了トリガの検出処理の流れを示すフローチャート示す。
【００４５】
携帯端末装置は、その時点において、ディスプレイに動画再生以外の画面表示を出力しているか否かを判別する（ステップ５０１。）。携帯端末装置は、ディスプレイにアプリケーションプログラムを実行して生成した動画再生以外の画面表示を出力していなければ（ステップ５０１、Ｎ）、デコードして生成された音声信号Ｔｎを解析し（ステップ５０２）、その音声信号Ｔｎに特徴箇所があるか否かを判別する（ステップ５０３。）。その後、携帯端末装置は、タイムスタンプＴｎが切り出しポイントに対応する時刻と一致するか否かを判別し（ステップ５０４。）、さらに、外部センサから入力する信号を基にユーザの挙動の変化や携帯端末装置がおかれている環境の変化の有無を判定する（ステップ５０５。）。一方、携帯端末装置は、ステップ５０１における処理において、アプリケーションプログラムを実行することによってディスプレイに動画再生以外の画面表示を出力していると判定すれば（ステップ５０１、Ｙ）、そのアプリケーションプログラムを停止する、画面スクロールが終端に到達する、または、アプリケーションプログラムの実行を完了する、などのアプリケーション終了処理の有無を判別する（ステップ５０６。）。携帯端末装置は、ステップ５０３、５０４、５０５、５０６のいずれかの処理により該当する事象を検出すると、デコードトリガを検出したと判定し、いずれの処理によっても該当する事象を検出できなければ、デコードトリガを検出できなかったと判別する。携帯端末装置は、デコードトリガを検出した場合、そのデコードトリガが、デコードの開始の条件となるトリガ（以下、デコード開始トリガと称する。）であるのか、あるいは、実行中のデコードの終了の条件となるトリガ（以下、デコード終了トリガと称する。）であるのか、を判別する（ステップ５０７）。
【００４６】
デコード開始トリガとデコード終了トリガの違いは、ステップ５０３の処理においては、音声信号Ｔｎに特徴箇所がない状態からある状態に変化することがデコード開始トリガに、音声信号Ｔｎに特徴箇所がある状態からない状態に変化することがデコード終了トリガに、それぞれ相当する。また、ステップ５０４の処理においては、切り出しポイントには始点となる時刻と終点となる時刻が設定されており、その始点となる時刻がデコード開始トリガに、その終点となる時刻がデコード終了トリガに、それぞれ相当する。また、ステップ５０５の処理においては、センサから入力信号に変化がない状態からある状態に変化することがデコード開始トリガに、変化がある状態からない状態に変化することがデコード終了トリガに、それぞれ相当する。また、ステップ５０６の処理においては、アプリケーション終了処理を検出することがデコード開始トリガに、アプリケーションの起動処理を検出することがデコード終了トリガに、それぞれ相当する。
【００４７】
デコード開始／終了トリガの検出処理の後、携帯端末装置は、タイムスタンプＴ２となるように一つ繰り上げ（ステップ３０８）、デコード開始／終了トリガの検出処理にて、デコード開始トリガを検出したか否かを判別する（ステップ３０９）。以後、携帯端末装置は、ステップ３０８の処理によりタイムスタンプを繰り上げながら、デコード開始トリガを検出するまでステップ３０５からステップ３０９までの処理を繰り返す。
【００４８】
携帯端末装置は、デコード開始／終了トリガの検出処理にて、デコード開始トリガを検出したと判別した場合（ステップ３０９、Ｙ）、動画像データのうちのビデオフレームのデコード処理を開始する（「Ａ」へ）。
【００４９】
携帯端末装置は、ステップ３０７にてデコード開始トリガを検出したときのタイムスタンプＴｎを参照して、そのタイムスタンプＴｎが割り当てられるビデオフレームを特定し、そのビデオフレームがＩフレームであるか否かを判別する（ステップ４０１）。携帯端末装置は、特定したビデオフレームがＩフレームでなければ（ステップ４０１、Ｎ）、タイムスタンプＴｎが割り当てられたオーディオフレームのみをデコードし（ステップ４０２）、デコードして生成された音声信号Ｔｎを出力し（ステップ４０３）、タイムスタンプＴｎとなるように一つ繰り上げる（ステップ４０５）。なお、携帯端末装置は、音声信号Ｔｎを出力している間、前もってデコードしておいた静止画や動画像（代替画像。代替画像の生成処理については、後述するステップ４１２の処理にて説明する。）を表示しても良い（ステップ４０４）。
【００５０】
一方、携帯端末装置は、ステップ４０１の処理にて、特定したビデオフレームがＩフレームであれば（ステップ４０１、Ｙ）、計時を開始すると共に（ステップ４０６）、タイムスタンプＴｎが割り当てられたオーディオフレーム及びビデオフレームをデコードする（ステップ４０７）。
【００５１】
携帯端末装置は、フリップの開操作やキー操作による表示操作によって、動画像データを出力するよう要求する信号（映像信号の出力を要求する信号）を受け付けると（ステップ４０８、Ｙ）、デコードして生成された音声信号Ｔｎ及び映像信号Ｔｎを出力し（ステップ４０９）、タイムスタンプＴｎとなるように一つ繰り上げる（ステップ４１０）。携帯端末装置は、フリップの開操作やキー操作による表示操作によって、動画像データを出力するよう要求する信号（映像信号の出力を要求する信号）を受け付けなければ（ステップ４０８、Ｎ）、デコードして生成された音声信号Ｔｎのみを出力し（ステップ４１１）、デコード開始／終了トリガの検出処理を行い（ステップ４１３）、タイムスタンプＴｎとなるように一つ繰り上げる（ステップ４１４）。
【００５２】
なお、携帯端末装置は、動画像データを出力するよう要求する信号（映像信号の出力を要求する信号）を受け付けていない場合（ステップ４０８、Ｎ）、ステップ４０７にてデコードした音声信号を代替画像として記憶しておいてもよい（ステップ４１２）。これにより、デコードしたものの装置利用者が表示操作をしなかったために出力されることがなくなった映像信号を図２に示す待受期間に出力する機会を与えることによって、その映像信号を有効に利用することができる。
【００５３】
携帯端末装置は、ステップ４１４の処理においてタイムスタンプＴｎとなるように繰り上げた後、デコード終了トリガを検出できない（ステップ４１５、Ｎ）、またはステップ４０６の処理において計時している時刻が所定時間未満であるかぎり（ステップ４１６、Ｎ）、ステップ４０７からステップ４１６の処理を繰り返す。一方、携帯端末装置は、デコード終了トリガを検出する（ステップ４１５、Ｙ）、またはステップ４０６の処理において計時している時刻が所定時間を経過していると判別すると（ステップ４１６、Ｙ）、それ以後のビデオフレームのデコードを停止して、ステップ３０５の処理に移行する（「Ｂ」へ）。
【００５４】
ステップ４１６の処理は、装置利用者が表示操作をしないまま図２に示すデコード区間が所定時間以上になると、デコード開始トリガの検出を待ち受ける省電力区間に移行することを意味する。これにより、ビデオフレームのデコードに伴う電力消費を抑えることができる。
【００５５】
以上、本発明の実施の形態の携帯端末装置によれば、デコード処理に伴う消費電力の省電力化を図りつつ、動画像データのうちの任意の箇所から再生する場合であっても、その箇所に対応する映像信号をディスプレイに出力するまでに要する時間を短縮化することができる。
【００５６】
本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
【産業上の利用可能性】
【００５７】
本発明の携帯端末装置、及び映像出力方法によれば、デコード処理に伴う消費電力の省電力化を図りつつ、動画像データのうちの任意の箇所から再生する場合であっても、その箇所に対応する映像信号をディスプレイに出力するまでに要する時間を短縮化することができるという効果を奏し、デジタル映像を再生可能な携帯端末装置の分野において有用である。
【符号の説明】
【００５８】
１１  データフォーマット解析部
１２  音声デコード部
１３  音声解析部
１４  音声出力部
１５  映像デコード部
１６  映像出力部
１７  アプリケーション部
１８  外部センサ部
１９  ストリーム制御部
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009063572.tif 000008
【図２】
2009063572.tif 000009
【図３】
2009063572.tif 000010
【図４】
2009063572.tif 000011
【図５】
2009063572.tif 000012
【国際調査報告】
2009063572.tif 000013
2009063572.tif 000014
2009063572.tif 000015
2009063572.tif 000016