(57)【要約】【課題】映像表示を停止させている状態から映像を表示する状態に復帰させる復帰時におけるユーザ違和感の低減が図れる画像出力装置及び画像出力方法を提供する。【解決手段】判定部１２は、携帯端末が開状態であるか否か判定し、閉状態であれば、映像復号部１５は、入力部１０から入力された動画像に基づく映像データを所定の間隔で復号し、これにより得られた静止画像を記憶部１７に記憶させる。そして、携帯端末が閉状態から開状態になると、映像生成部１８は、記憶部１７に記憶されている全ての静止画像を等間隔で間引き、これにより得られた複数の静止画像を用いてダイジェスト映像を生成し、映像出力部１６は、そのダイジェスト映像を出力する。これにより、動画像が視認不可能な状態から視認可能な状態になる復帰時に映像表示が可能となり、復帰時のユーザ違和感が低減する。【選択図】図１
2010028730.tif 000002
【特許請求の範囲】
【請求項１】
動画像を入力する入力手段と、
前記動画像が視認可能であるか否かを判定する判定手段と、
前記判定手段で前記動画像が視認不可能であると判定されたとき、前記入力手段から入力された前記動画像を所定の条件で復号して得られた静止画像を記憶する記憶手段と、
前記判定手段で前記動画像が視認可能であると判定されたとき、前記記憶手段に記憶された前記静止画像に基づいて生成した画像を出力する出力手段と、
を備える画像出力装置。
【請求項２】
前記判定手段は、装置本体を構成する２つの筐体が開状態であるか否かを判定する請求項１に記載の画像出力装置。
【請求項３】
前記判定手段は、前記動画像を表示するディスプレイの電源がオン状態であるか否かを判定する請求項１に記載の画像出力装置。
【請求項４】
前記判定手段は、前記動画像に関わるアプリケーション以外の他のアプリケーションの画像が前面に表示されることなく、前記動画像が表示されている状態であるか否かを判定する請求項１に記載の画像出力装置。
【請求項５】
前記記憶手段は、前記入力手段から入力された前記動画像を所定の間隔で復号して得られた静止画像を記憶する請求項１乃至請求項４のいずれかに記載の画像出力装置。
【請求項６】
前記入力手段は、動画像及び音声を入力し、
前記音声の音量又は周波数が変化したか否かを検出する検出手段を更に備え、
前記記憶手段は、前記検出手段で前記音声の音量又は周波数が変化したことを検出したとき、前記入力手段から入力された前記動画像を復号して得られた静止画像を記憶する請求項１乃至請求項４のいずれかに記載の画像出力装置。
【請求項７】
前記出力手段は、前記記憶手段に記憶された前記静止画像を等間隔で間引いて生成した動画像を出力する請求項１乃至請求項６のいずれかに記載の画像出力装置。
【請求項８】
前記出力手段は、前記記憶手段に記憶された前記静止画像のうち時系列で最も古い画像及びその近傍の画像は所定の間隔で間引き、前記静止画像のうち時系列で最近の画像及びその近傍の画像は前記所定の間隔より短い間隔で間引いて生成した動画像を出力する請求項１乃至請求項６のいずれかに記載の画像出力装置。
【請求項９】
前記出力手段は、前記記憶手段に記憶された前記静止画像を等間隔で間引くか、又は、前記記憶手段に記憶された前記静止画像のうち時系列で最も古い画像及びその近傍の画像は所定の間隔で間引き、前記静止画像のうち時系列で最近の画像及びその近傍の画像は前記所定の間隔より短い間隔で間引いて生成したサムネイル画像を出力する請求項１乃至請求項６のいずれかに記載の画像出力装置。
【請求項１０】
動画像を入力する入力工程と、
前記動画像が視認可能であるか否かを判定する判定工程と、
前記判定工程で前記動画像が視認不可能であると判定されたとき、前記入力工程で入力された前記動画像を所定の条件で復号して得られた静止画像を記憶する記憶工程と、
前記判定工程で前記動画像が視認可能であると判定されたとき、前記記憶工程で記憶された前記静止画像に基づいて生成した画像を出力する出力工程と、
を備える画像出力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ放送が受信可能であり、２つの筐体からなる折り畳み式又はスライド式の携帯端末に用いて好適な画像出力装置及び画像出力方法に関する。
【背景技術】
【０００２】
従来、上述したテレビ放送を受信可能な携帯端末（例えば携帯電話機）では、テレビ信号を受信中に携帯端末を折り畳み状態（スライド式の場合は縮めた状態）とすることで、該テレビ信号の映像表示を停止して音声出力のみとすることでテレビ視聴時の省電力化を図っている（例えば、特許文献１参照）。その様子を図９に示す。図９の（ａ）は２つの筐体からなる携帯端末１００を開状態にしてテレビ放送を視聴している状態であり、この状態では音声系及び映像系が共にオン状態になっている。図９の（ｂ）は携帯端末１００を閉状態にした状態である。この状態では音声系はオン状態であるが、映像系はオフ状態になる。なお、テレビ視聴時に加えて、インターネットからのストリ−ミング動画再生時や携帯端末内に保存した動画再生時においても同様の効果が得られる。
【０００３】
【特許文献１】特開２００５−９４４１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、ＭＰＥＧ（Moving Picture Experts Group）画像であるディジタル映像の場合、Ｉ（Intra-coded frame），Ｐ（Predicted frame），Ｂ（Bi-directional predicted frame）のフレームのうち、映像表示にはＩフレームからの復号が必要であるため、復帰時（折り畳み状態から開いた状態にしたとき（図９の（ｂ）から（ａ）の状態にしたとき）、あるいは縮めた状態から延ばした状態にしたとき）に直ぐに映像表示を行えず（映像が出るまで例えば５秒〜数分かかる）、ユーザとしては違和感があった。
【０００５】
本発明は、かかる事情に鑑みてなされたものであり、映像表示を停止させている状態から映像を表示する状態に復帰させる復帰時におけるユーザ違和感の低減が図れる画像出力装置及び画像出力方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像出力装置は、動画像を入力する入力手段と、前記動画像が視認可能であるか否かを判定する判定手段と、前記判定手段で前記動画像が視認不可能であると判定されたとき、前記入力手段から入力された前記動画像を所定の条件で復号して得られた静止画像を記憶する記憶手段と、前記判定手段で前記動画像が視認可能であると判定されたとき、前記記憶手段に記憶された前記静止画像に基づいて生成した画像を出力する出力手段と、を備える。
【０００７】
この構成によれば、動画像が視認不可能な状態になると、当該動画像を所定の条件で復号し、これにより得られた静止画像を記憶し、その後、動画像が視認可能な状態になると、記憶しておいた静止画像から画像を生成して出力するので、動画像が視認不可能な状態から視認可能な状態になる復帰時に映像表示が可能となり、復帰時のユーザ違和感が低減する。すなわち、復帰時にＩフレームからの復号を行っていて映像を表示できない間、復帰前に記憶させておいた画像を表示するので、復帰時に何も映像が表示されないという違和感を低減できる。
【０００８】
前記判定手段は、装置本体を構成する２つの筐体が開状態であるか否かを判定する。あるいは、前記判定手段は、前記動画像を表示するディスプレイの電源がオン状態であるか否かを判定する。あるいは、前記判定手段は、前記動画像に関わるアプリケーション以外の他のアプリケーションの画像が前面に表示されることなく、前記動画像が表示されている状態であるか否かを判定する。一方、前記記憶手段は、前記入力手段から入力された前記動画像を所定の間隔で復号して得られた静止画像を記憶する。
【０００９】
この構成によれば、動画像を所定の間隔で復号することで、省電力化が図れる。
【００１０】
また、前記入力手段は、動画像及び音声を入力し、前記音声の音量又は周波数が変化したか否かを検出する検出手段を更に備え、前記記憶手段は、前記検出手段で前記音声の音量又は周波数が変化したことを検出したとき、前記入力手段から入力された前記動画像を復号して得られた静止画像を記憶する。
【００１１】
この構成によれば、音声の音量又は周波数の変化を用いることで、ユーザが興味を持つ映像を記憶できる可能性を高くできる。
【００１２】
また、前記出力手段は、前記記憶手段に記憶された前記静止画像を等間隔で間引いて生成した動画像を出力する。
【００１３】
この構成によれば、記憶手段に記憶された静止画像を等間隔で間引いて動画像を生成することで、フレームレートを一定に保つことができる。
【００１４】
また、前記出力手段は、前記記憶手段に記憶された前記静止画像のうち時系列で最も古い画像及びその近傍の画像は所定の間隔で間引き、前記静止画像のうち時系列で最近の画像及びその近傍の画像は前記所定の間隔より短い間隔で間引いて生成した動画像を出力する。
【００１５】
この構成によれば、２つの筐体の開後の通常の映像の再開までの切り替えをスムーズに行える。
【００１６】
また、前記出力手段は、前記記憶手段に記憶された前記静止画像を等間隔で間引くか、又は、前記記憶手段に記憶された前記静止画像のうち時系列で最も古い画像及びその近傍の画像は所定の間隔で間引き、前記静止画像のうち時系列で最近の画像及びその近傍の画像は前記所定の間隔より短い間隔で間引いて生成したサムネイル画像を出力する。
【００１７】
この構成によれば、サムネイル画像を表示することで、短時間で多くの映像情報を認識することができる。
【００１８】
本発明の画像出力方法は、動画像を入力する入力工程と、前記動画像が視認可能であるか否かを判定する判定工程と、前記判定工程で前記動画像が視認不可能であると判定されたとき、前記入力工程で入力された前記動画像を所定の条件で復号して得られた静止画像を記憶する記憶工程と、前記判定工程で前記動画像が視認可能であると判定されたとき、前記記憶工程で記憶された前記静止画像に基づいて生成した画像を出力する出力工程と、を備える。
【００１９】
この方法によれば、動画像が視認不可能な状態になると、当該動画像を所定の条件で復号し、これにより得られた静止画像を記憶し、その後、動画像が視認可能な状態になると、記憶しておいた静止画像から画像を生成して出力するので、動画像が視認不可能な状態から視認可能な状態になる復帰時に映像表示が可能となり、復帰時のユーザ違和感が低減する。すなわち、復帰時にＩフレームからの復号を行っていて映像を表示できない間、復帰前に記憶させておいた画像を表示するので、復帰時に何も映像が表示されないという違和感を低減できる。
【発明の効果】
【００２０】
本発明によれば、動画像が視認不可能な状態から視認可能な状態になる復帰時にＩフレームからの復号を行っていて映像を表示できない間、復帰前に記憶させておいた画像を表示するので、復帰時に何も映像が表示されないという違和感を低減できる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００２２】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像出力装置の概略構成を示すブロック図である。図１において、本実施の形態の画像出力装置１は、２つの筐体からなる折り畳み式又はスライド式の携帯端末に適用したものであり、入力部１０と、分離部１１と、判定部１２と、音声復号部１３と、音声信号出力部１４と、映像復号部１５と、映像出力部１６と、記憶部１７と、映像生成部１８とを備える。なお、本実施の形態の画像出力装置１を適用した携帯端末は、通常の電話機能の他、ワンセグ放送やデータ放送を受信できる受信機能を有している。この電話機能や受信機能の詳細については省略する。
【００２３】
入力部１０は、動画像及び音声を入力する。分離部１１は、入力部１０から入力された動画像及び音声から映像データ（動画像データ）と音声データに分離する。判定部１２は、本実施の形態の画像出力装置１が用いられた携帯端末の２つの筐体が開状態（以下、“携帯端末が開状態”と言う）であるか否かを判定し、この判定結果を映像復号部１５と映像生成部１８に与える。音声復号部１３は、動画像及び音声から分離された音声データを復号する。音声出力部１４は、復号化された音声データを出力する。映像復号部１５は、動画像及び音声から分離された映像データを復号する。映像復号部１５は、判定部１２で携帯端末が開状態であると判定されると、動画像及び音声から分離された映像データを連続して復号し、動画像として映像出力部１６へ出力する。また、映像復号部１５は、判定部１２で２つの筐体が閉状態（以下、“携帯端末が閉状態”と言う）であると判定されると、動画像及び音声から分離された映像データを所定の間隔で復号し、静止画像として記憶部１７へ出力する。図２はその様子を模式的に示したものであり、所定の間隔で映像データを取得し、静止画像として記憶部１７に記憶させる。音声は携帯端末が閉状態であってもオン状態を継続する。動画像を所定の間隔で復号することで、省電力化が図れる。なお、判定部１２は、動画像を表示するディスプレイ（図示せず）の電源がオン状態であるか否かを判定するものあってもよい。あるいは、判定部１２は、動画像に関わるアプリケーション以外の他のアプリケーションの画像が前面に表示されことなく、当該動画像が表示されている状態であるか否かを判定するものであってもよい。
【００２４】
また、図４は、静止画像の蓄積タイミングの一例を模式的に示したものである。この例ではＢフレームは省略している。蓄積タイミングで映像データの復号化を行うが、同タイミングでＩフレームがなければ直前のＩフレームまで遡ってから復号化を行う。この場合、復号化に時間がかかるためＩフレームのみ復号化しても良い。図４に示すように、蓄積タイミングＴ１ではＩフレームのみ復号化しており、蓄積タイミングＴ２ではＩ，Ｐ，Ｐの各フレームを復号化している。また、蓄積タイミングＴ３ではＩ，Ｐの各フレームを復号化している。なお、直前のＩフレームまで遡る以外に蓄積タイミングＴ２にて点線の矢印で示すように下っても良い。このように復号化の最小はＩフレームのみとなるが、蓄積タイミングで最も近いＩフレームを復号化する。
【００２５】
図１に戻り、記憶部１７は、上述したように映像復号部１５からの静止画像を記憶する。映像生成部１８は、携帯端末が開状態であると判定されたときに（すなわち携帯端末が閉状態から開状態になったときに）、記憶部１７に記憶されている静止画像を読み込み、それに基づいて動画像を生成する。この場合、記憶部１７に記憶された全ての静止画像を用いて動画像を生成しても良いし、等間隔で間引いて動画像を生成しても良い。図３は、静止画像を等間隔で間引いて動画像を生成する例を模式的に示したものである。この図において、記憶部１７に記憶されている（１）〜（６）の各静止画像のうち、（１）、（３）、（５）に間引いて、これらの静止画像を用いて動画像を生成する（以下、これを“ダイジェスト映像”と呼ぶ）。記憶部１７に記憶された静止画像を等間隔で間引いて動画像を生成することで、フレームレートを一定に保つことができる。
【００２６】
このように、携帯端末の開時にはＩフレームからでないと映像表示を再開できないため、次のＩフレームまでの待ち時間中、記憶部１７に記憶させておいた復号化済みの静止画像からダイジェスト映像を生成する。これにより、ユーザは現在の映像表示が開始されるまでの待ち時間の間、携帯端末が閉状態となって見ることができなかった映像をダイジェストで見ることができる。
【００２７】
ダイジェスト映像の生成において、記憶部１７に記憶されている静止画像を等間隔で間引く以外に、図５に示すように、記憶部１７に記憶された静止画像のうち時系列で最も古い画像（携帯端末を閉じた直後の画像）及びその近傍の画像は所定の間隔で間引き、同静止画像のうち時系列で最近の画像及びその近傍の画像は前記所定の間隔より短い間隔で間引くようにしても良い。このようにすることで、携帯端末を開状態にした後の通常の映像再開までの切り替えをスムーズにできるという効果が得られる。
【００２８】
また、取得した画像をダイジェスト映像ではなく、記憶部１７に記憶された静止画像を等間隔で間引くか、又は、記憶部１７に記憶された静止画像のうち時系列で最も古い画像及びその近傍の画像は所定の間隔で間引き、同静止画像のうち時系列で最近の画像及びその近傍の画像は所定の間隔より短い間隔で間引いて生成したサムネイル画像を出力するようにしても良い。このようにすることで、短時間で多くの映像情報を認識することができる効果が得られる。図６にその一例を示す。サムネイル画像を１フレームに同時に複数表示させている。
【００２９】
次に、図７に示すフローチャートを参照して本実施の形態の画像出力装置１の動作を説明する。図７において、まずデータ入力すなわち動画像及び音声の取り込みを行う（ステップＳＴ１０）。そして、取り込んだ動画像及び音声から音声データと映像データを分離する（ステップＳＴ１１）。次いで、携帯端末が開状態であるか否かを判定し（ステップＳＴ１２）、開状態であれば映像と音声を出力する（ステップＳＴ１３，１４）。次いで、データ終了かどうかすなわち動画像及び音声の入力が終了したかどうか判定し（ステップＳＴ１５）、データ終了でなければ継続してデータ入力を行うため、ステップＳＴ１０に戻り、データ終了であれば本処理を終える。一方、ステップＳＴ１２の判定において、携帯端末が開状態でなければ閉状態から開状態になったかどうか判定し（ステップＳＴ１６）、閉状態から開状態になった場合は記憶部１７に記憶させておいた静止画像を用いてダイジェスト映像を生成し（ステップＳＴ１７）、その映像と音声を出力する（ステップＳＴ１３，１４）。これに対して、携帯端末が閉状態から開状態になっていなければ、記憶部１７への静止画像の蓄積を継続する（ステップＳＴ１８）と共に、音声出力を継続する（ステップＳＴ１４）。
【００３０】
以上のように、本実施の形態の画像出力装置１によれば、判定部１２が、携帯端末が開状態であるか否か判定し、閉状態であれば、映像復号部１５が、入力部１０から入力された動画像に基づく映像データを所定の間隔で復号し、これにより得られた静止画像を記憶部１７に記憶させる。そして、携帯端末が閉状態から開状態になると、映像生成部１８が、記憶部１７に記憶されている全ての静止画像を等間隔で間引き、これにより得られた複数の静止画像を用いてダイジェスト映像を生成し、映像出力部１６がそのダイジェスト映像を出力するので、動画像が視認不可能な状態から視認可能な状態になる復帰時に映像表示が可能となり、復帰時のユーザ違和感が低減する。すなわち、復帰時にＩフレームからの復号を行っていて映像を表示できない間、復帰前に記憶部１７に記憶させておいた画像を表示するので、復帰時に何も映像が表示されないという違和感を低減できる。
【００３１】
（実施の形態２）
図８は、本発明の実施の形態２に係る画像出力装置の概略構成を示すブロック図である。図８において、本実施の形態の画像出力装置２０は、音声の音量又は周波数が変化したか否かを検出する検出部２１を有する以外、前述した実施の形態１の画像出力装置１と同等の構成を有している。本実施の形態の画像出力装置２０において、記憶部１７は、検出部２１で音声の音量又は周波数が変化したことを検出したとき、映像復号部１５が動画像（映像データ）を復号して得た静止画像を記憶する。音声の音量又は周波数の変化を用いることで、ユーザが興味を持つ映像を記憶できる可能性を高くできる。
【産業上の利用可能性】
【００３２】
本発明は、映像表示を停止させている状態から映像を表示する状態に復帰させる復帰時におけるユーザ違和感の低減が図れるといった効果を有し、テレビ放送が受信可能であり、２つの筐体からなる折り畳み式又はスライド式の携帯端末などへの適用が可能である。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施の形態１に係る画像出力装置の概略構成を示すブロック図
【図２】図１の画像出力装置において、携帯端末が閉状態にあるときの映像データの復号化処理及び復号化処理により得られた静止画像の記憶部への記憶処理を模式的に示した図
【図３】図１の画像出力装置において、記憶部に記憶された静止画像からダイジェスト映像を生成する処理を模式的に示した図
【図４】図１の画像出力装置において、静止画像の蓄積タイミングの一例を模式的に示した図
【図５】図１の画像出力装置において、ダイジェスト映像生成処理方法の他の例を説明するための図
【図６】図１の画像出力装置において、ダイジェスト映像生成処理方法の他の例を説明するための図
【図７】図１の画像出力装置の動作を説明するためのフローチャート
【図８】本発明の実施の形態２に係る画像出力装置の概略構成を示すブロック図
【図９】従来の携帯端末における開閉時のテレビ放送再生時の違いを説明するための図
【符号の説明】
【００３４】
１、２０  画像出力装置
１０  入力部
１１  分離部
１２  判定部
１３  音声復号部
１４  音声出力部
１５  映像復号部
１６  映像出力部
１７  記憶部
１８  映像生成部
２１  検出部
【図１】
2010028730.tif 000003
【図２】
2010028730.tif 000004
【図３】
2010028730.tif 000005
【図４】
2010028730.tif 000006
【図５】
2010028730.tif 000007
【図７】
2010028730.tif 000008
【図８】
2010028730.tif 000009
【図９】
2010028730.tif 000010
【図６】
2010028730.tif 000011