(57)【要約】【課題】  ユーザが印刷対象のフレームを指定する為の操作を行った場合に、この操作に応答して迅速に表示や印刷を、少ないメモリ容量で実現する為の技術を提供する。【解決手段】  隣接フレームの符号化時に参照された参照フレームを取得して主記憶装置１１３に格納する。主記憶装置１１３に格納されている参照フレームを用いて隣接フレームを復号し、該復号した隣接フレームを表示する。印刷指示の入力を検知すると、該検知した時点で規定領域内に表示されているフレームを印刷対象のフレームとして出力する。【選択図】図１
2013118454.tif 000002
【特許請求の範囲】
【請求項１】
表示画面を有する画像処理装置であって、
フレーム間予測符号化方式で符号化された動画ストリームを復号して、前記表示画面上の規定領域内に再生する再生手段と、
一時停止指示の入力を検知すると、前記再生手段に前記再生の一時停止を指示する手段と、
前記再生手段が前記再生を一時停止した時点で前記規定領域内に表示しているフレームを表示フレームとし、再生順において該表示フレームと隣接するフレームを隣接フレームとし、該隣接フレームの符号化時に参照された参照フレームを前記動画ストリームから取得してメモリに格納する格納手段と、
前記一時停止中に前記隣接フレームの表示指示の入力を検知すると、前記再生手段に、前記メモリに格納されている参照フレームを用いて前記隣接フレームを復号させ、該復号した隣接フレームを前記規定領域内に表示させる手段と、
前記一時停止中に印刷指示の入力を検知すると、該検知した時点で前記規定領域内に表示されているフレームを印刷対象のフレームとして出力する手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記格納手段は、前記動画ストリームから取得した参照フレームを復号してから前記メモリに格納することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記格納手段は、前記隣接フレームの符号化時に参照された参照フレームがすでに前記メモリに格納されているか否かを判断し、格納されていない参照フレームを前記動画ストリームから取得して前記メモリに格納することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記格納手段は更に前記隣接フレームを前記メモリに格納することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
表示画面を有する画像処理装置が行う画像処理方法であって、
前記画像処理装置の再生手段が、フレーム間予測符号化方式で符号化された動画ストリームを復号して、前記表示画面上の規定領域内に再生する再生工程と、
前記画像処理装置の指示手段が、一時停止指示の入力を検知すると、前記再生工程の一時停止を指示する工程と、
前記画像処理装置の格納手段が、前記再生工程を一時停止した時点で前記規定領域内に表示しているフレームを表示フレームとし、再生順において該表示フレームと隣接するフレームを隣接フレームとし、該隣接フレームの符号化時に参照された参照フレームを前記動画ストリームから取得してメモリに格納する格納工程と、
前記画像処理装置の表示手段が、前記一時停止中に前記隣接フレームの表示指示の入力を検知すると、前記メモリに格納されている参照フレームを用いて前記隣接フレームを復号し、該復号した隣接フレームを前記規定領域内に表示する工程と、
前記画像処理装置の出力手段が、前記一時停止中に印刷指示の入力を検知すると、該検知した時点で前記規定領域内に表示されているフレームを印刷対象のフレームとして出力する工程と
を備えることを特徴とする画像処理方法。
【請求項６】
コンピュータを請求項１乃至４の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像中の指定フレームの画像を印刷する為の技術に関するものである。
【背景技術】
【０００２】
デジタル技術・半導体技術の進展により、高価なビデオカメラのみならず、安価なデジタルカメラにおいても高解像度でのデジタル動画撮影が普及している。このようなデジタル動画撮影機能の普及に伴い、撮影された動画ストリームからユーザのお気に入りシーン等のフレーム（静止画）を抽出して印刷したいというユーザのニーズが高まっている。この動画ストリームからフレームを抽出して印刷することを、以下では「動画フレーム印刷」と呼ぶ。
【０００３】
一方、ＰＣ（パーソナルコンピュータ）が不要という手軽さから、フラッシュメモリ等の記録メディアから直接画像ファイルを読み出し、プリンタ単体で印刷するダイレクトプリントが普及している。しかしながら、ダイレクトプリントの適用範囲は静止画、若しくは動画の一部のユースケースに限定されており、今後は動画フレーム印刷のダイレクトプリントでの機能向上が望まれている。
【０００４】
図１２に、プリンタ単体での動画フレーム印刷機能を備えたプリンタの外観例を示す。図１２に示したプリンタは、プリンタ本体１２０１、電源スイッチ１２０２、記録メディアスロット１２０３、表示画面１２０４、給紙口１２０５、排出口１２０６、を有している。
【０００５】
ダイレクトプリントにおいてユーザは、撮影時に使用した、動画ストリームファイルが記録されている記録メディアを記録メディアスロット１２０３に挿入する。ユーザはプリンタの電源スイッチ１２０２を操作してプリンタの電源を投入後、タッチパネル機能を備えた表示画面１２０４上でのタッチ操作により印刷モードの選択を行う。この印刷モードとして「ＰＣ接続印刷モード」、「カメラ接続印刷モード」、「ダイレクト印刷モード」等がある。
【０００６】
「ダイレクト印刷モード」を選択すると、プリンタは記録メディアから静止画ファイル及び動画ストリームファイルを読み込み、どの静止画、若しくは動画ストリームを印刷対象とするのかを選択するよう、ユーザに促す。一般的に、動画ストリームはデジタルカメラ等での撮影時にＭＰＥＧ−２やＨ．２６４等に代表されるような動画符号化方式により圧縮されて記録されているため、動画ストリームが印刷対象として選択されると、動画の復号化処理（伸長処理）が施される。ここで、プリンタの表示画面の解像度は、動画ストリームが有する解像度に比べて小さいことが一般的であり、復号化された動画ストリームは、縮小処理やトリミング処理を経た上で表示画面１２０４に動画として表示される。
【０００７】
動画フレーム印刷をユーザが快適に使用するためには、印刷対象フレームの効率的な選択が必要であり、表示しているフレームを印刷候補として指定する印刷候補フレーム指定機能が必要になる。なぜならば、秒間３０フレーム以上という非常に多数のフレームから構成される動画ストリームについて、１フレームずつ再生及び印刷の作業を繰り返すのでは作業が非常に煩雑になる。
【０００８】
前述した印刷候補指定機能を用いることにより、ユーザは印刷候補としたフレームを後から一覧表示し、本当に印刷が必要なフレームかを再度確認した上で印刷を実行することが可能となる。また、印刷候補としたフレームの前後に、より印刷に好ましいフレームが存在する可能性があるが、このような場合は、前後にコマ送り再生させることで、ユーザが所謂ベストショットを指定することが可能となる。
【０００９】
結果としてユーザは、フレームの選択作業と印刷実行作業をそれぞれまとめて実行するため、効率的に作業することが可能になる。この印刷候補フレーム指定のために作成した指定情報を印刷候補指定情報と呼ぶ。
【００１０】
図１３に、この印刷候補指定情報を付加するための、タッチパネル機能を備えた表示画面１３０１上のユーザインターフェースの表示例を示す。１３０２は動画再生領域、１３０３は印刷候補指示部である。ユーザは動画再生中、若しくは一時停止中に印刷候補指示部１３０３をタッチすることにより、表示中のフレームに印刷候補指定情報を付加することが可能である。
【００１１】
この印刷候補指定情報はデジタルカメラ等では公知の機能になっており（特許文献１におけるマーキングデータ）、また印刷候補となる画像を簡単に印刷するための機能も提案されている。特許文献２では、撮影時に付加されたマーキングデータを検出すると、スロー再生に切り替え、ユーザによる印刷指示をより行いやすくする構成が提案されている。
【００１２】
ところで、ＭＰＥＧ−２やＨ．２６４等に代表されるような動画符号化方式においては、フレーム間の相関性を利用したフレーム間予測符号化が用いられている。フレーム間予測符号化されたフレームを復号するためには、該フレームの時間的に前後に位置するフレームを参照フレームとして動き補償を行う必要がある。
【００１３】
フレーム間予測符号化フレームが印刷候補に指定された場合、該フレームの参照フレームを先に復号しないと、該フレームを復号することができず、その結果、印刷候補として指定されたフレームの表示や印刷に時間がかかってしまう。これに対し、特許文献３では、入力された動画フレームを復号して静止画に変換してメモリに展開する方法が提案されている。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特登録０４２４４３６８号公報
【特許文献２】特開２００４−０６４６３３号公報
【特許文献３】特開２００１−０７８１２７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
従来の動画フレーム印刷では、印刷候補として指定されたフレームについて、ユーザからの操作に応答して迅速に表示や印刷を行うためには、全ての動画フレームを静止画に変換して主記憶装置に展開する必要がある。しかしながら、この方法では多くの容量を有するメモリが必要になってしまい、コストが高くなるという課題があった。
【００１６】
本発明は以上の問題に鑑みてなされたものであり、ユーザが印刷対象のフレームを指定する為の操作を行った場合に、この操作に応答して迅速に表示や印刷を、少ないメモリ容量で実現する為の技術を提供する。
【課題を解決するための手段】
【００１７】
本発明の目的を達成するために、例えば、本発明の画像処理装置は、表示画面を有する画像処理装置であって、フレーム間予測符号化方式で符号化された動画ストリームを復号して、前記表示画面上の規定領域内に再生する再生手段と、一時停止指示の入力を検知すると、前記再生手段に前記再生の一時停止を指示する手段と、前記再生手段が前記再生を一時停止した時点で前記規定領域内に表示しているフレームを表示フレームとし、再生順において該表示フレームと隣接するフレームを隣接フレームとし、該隣接フレームの符号化時に参照された参照フレームを前記動画ストリームから取得してメモリに格納する格納手段と、前記一時停止中に前記隣接フレームの表示指示の入力を検知すると、前記再生手段に、前記メモリに格納されている参照フレームを用いて前記隣接フレームを復号させ、該復号した隣接フレームを前記規定領域内に表示させる手段と、前記一時停止中に印刷指示の入力を検知すると、該検知した時点で前記規定領域内に表示されているフレームを印刷対象のフレームとして出力する手段とを備えることを特徴とする。
【発明の効果】
【００１８】
本発明の構成によれば、ユーザが印刷対象のフレームを指定する為の操作を行った場合に、この操作に応答して迅速に表示や印刷を、少ないメモリ容量で実現することができる。
【図面の簡単な説明】
【００１９】
【図１】プリンタ用ＬＳＩ１０１と、その周辺機器を示す図。
【図２】プリンタ用ＬＳＩ１０１が行う処理のフローチャート。
【図３】表示デバイス１１４の表示画面における表示例を示す図。
【図４】表示デバイス１１４の表示画面における表示例を示す図。
【図５】ステップＳ２０６における処理のフローチャート。
【図６】動画ストリームを示す図。
【図７】参照フレーム記憶用領域を示す図。
【図８】プリンタ用ＬＳＩ１０１が行う処理のフローチャート。
【図９】表示デバイス１１４の表示画面における表示例を示す図。
【図１０】動画ストリームを示す図。
【図１１】登録領域を示す図。
【図１２】プリンタの外観例を示す図。
【図１３】ユーザインターフェースの表示例を示す図。
【発明を実施するための形態】
【００２０】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００２１】
［第１の実施形態］
プリンタ等の印刷装置（画像処理装置）に搭載され、動画像（動画ストリーム）を取り扱うことが可能なプリンタ用ＬＳＩ（プリンタ用半導体集積回路）１０１の構成例と、その周辺機器を図１に示す。
【００２２】
本実施形態に係るプリンタ用ＬＳＩ１０１は、それぞれの動画ストリームのうちユーザによって指定された動画ストリームを指定動画ストリームとし、該指定動画ストリーム中の各フレームのうち印刷対象として確定したフレームの印刷を指示する。この印刷のためにプリンタ用ＬＳＩ１０１は先ず、図２のフローチャートに従った処理を実行する。なお、図２のフローチャートに従った処理は、メインＣＰＵ１０３によって実行される。メインＣＰＵ１０３は、メインＣＰＵ１０３内の不図示のメモリ、プリンタ用ＬＳＩ１０１内の不図示のメモリ、印刷装置内の不図示のメモリ、等のメモリ内に格納されたコンピュータプログラムやデータを用いて処理を実行する。これによりメインＣＰＵ１０３は、図２のフローチャートに従った処理を実行する。また、メインＣＰＵ１０３は、図１に示した各部の動作制御を行うことで、各部に対して適当な処理を実行させる。例えば、表示デバイス１１４の表示画面における表示制御等、表示デバイス１１４とのインタラクションは、メインＣＰＵ１０３が表示デバイスコントローラ１０７を制御することでなされるものである。
【００２３】
ステップＳ２０１ではメインＣＰＵ１０３は、記録メディアインターフェース１０２に接続されている記録メディア１１０から、この記録メディア１１０に記録されている１以上の動画ストリームを、記録メディアインターフェース１０２を介して読み出す。本実施形態では、この動画ストリームは、フレーム間予測符号化方式で符号化された動画ストリームである。
【００２４】
そしてメインＣＰＵ１０３は、この読み出したそれぞれの動画ストリームを順次、動画復号化部１０６に供給する。なお、メインＣＰＵ１０３はメモリコントローラ１０８を制御し、読み出したそれぞれの動画ストリームを一旦主記憶装置１１３に格納させた後、この主記憶装置１１３からそれぞれの動画ストリームを読み出して動画復号化部１０６に供給するようにしても良い。
【００２５】
フレーム間予測符号化方式で符号化された動画ストリームを動画復号化部１０６が復号するために必要な参照フレームは、主記憶装置１１３に格納される。主記憶装置１１３のリード・ライト制御はメモリコントローラ１０８によって行われる。なお、動画復号化部１０６内部に専用メモリを設け、該専用メモリに参照フレームを格納してもよい。
【００２６】
ステップＳ２０２では動画復号化部１０６は、メインＣＰＵ１０３による制御に基づき、メインＣＰＵ１０３から供給されたそれぞれの動画ストリームの先頭フレームを復号する。そして動画復号化部１０６は、動画ストリーム毎に復号した先頭フレームを表示デバイスコントローラ１０７に供給する。表示デバイスコントローラ１０７は、表示デバイス１１４の表示画面において、それぞれの動画ストリームについて割り当てられた表示領域内に、該動画ストリームの先頭フレームを表示する。なお、復号して表示するフレームは先頭フレームに限るものではなく、それぞれの動画ストリームに係る情報が一覧表示できればよいので、何れのフレームを復号して表示しても良い。
【００２７】
なお、動画ストリームは一般に音声情報を含むものであるが、本実施形態では音声情報は取り扱う対象ではないため、動画復号化部１０６は音声情報については処理対象外とするか、もしくは破棄する。
【００２８】
ステップＳ２０２において表示デバイス１１４の表示画面に表示される画面の一例を図３に示す。図３では、表示画面３０１において動画ストリームＡに対して割り当てられた領域３０２内に、動画ストリームＡの先頭フレームを表示している。同様に、表示画面３０１において動画ストリームＢに対して割り当てられた領域３０３内に、動画ストリームＢの先頭フレームを表示している。同様に、表示画面３０１において動画ストリームＣに対して割り当てられた領域３０４内に、動画ストリームＣの先頭フレームを表示している。同様に、表示画面３０１において動画ストリームＤに対して割り当てられた領域３０５内に、動画ストリームＤの先頭フレームを表示している。
【００２９】
本実施形態では、表示デバイス１１４はタッチパネル式の表示画面を有する表示装置であるものとしているため、ユーザは自身の指などでもって、この表示した先頭フレームのうち１以上を指示することができる。この指示した位置は周知のタッチパネル技術により検知することができるため、表示デバイスコントローラ１０７は、この検知した指示位置をメインＣＰＵ１０３に通知する。これによりメインＣＰＵ１０３は、表示デバイス１１４の表示画面に表示されたそれぞれの先頭フレームのうち、ユーザにより指示された先頭フレームを特定することができる。もちろん、先頭フレームの指定方法はこれに限るものではなく、ボタンなどを用いて指定してもよい。
【００３０】
なお、図３では一画面（表示画面３０１）内に一度に表示可能な先頭フレームの最大数を４としているため、ステップＳ２０２で５以上の先頭フレームを復号した場合、全ての先頭フレームを表示画面３０１内に一度に表示することができない。この場合、ユーザはボタン画像３０６を指示することで画面を切り替え、他の先頭フレームを表示画面３０１に表示させることができる。表示画面３０１内に一度に表示可能な最大フレーム数については、表示画面３０１の解像度が高いほど多くすることができ、これについては適宜決めればよい。
【００３１】
図３に例示した表示画面の表示後、ユーザは印刷したいフレームを含むとおぼしき動画ストリームの先頭フレームをこの表示画面上で、自身の指などでもって指示する。
【００３２】
然るにステップＳ２０３でメインＣＰＵ１０３は、表示デバイス１１４の表示画面に表示した先頭フレームのうち、ユーザにより指示（選択）された先頭フレームを特定し、表示デバイス１１４の表示画面を図４（上部）に例示する表示画面に切り替える。
【００３３】
領域４０１は、ステップＳ２０３で特定した先頭フレームが属する動画ストリームを再生表示するための領域（規定領域）である。ステップＳ２０３ではメインＣＰＵ１０３は、ステップＳ２０３で特定した先頭フレームが属する動画ストリーム中の各フレームを再生順に動画復号化部１０６に復号させる。そしてメインＣＰＵ１０３は、表示デバイスコントローラ１０７を制御し、動画復号化部１０６によって復号されたフレームから順に領域４０１内に表示することで、この領域４０１内に動画ストリームの再生表示を行う。
【００３４】
ユーザは領域４０１内に再生表示される動画ストリームを観察し、印刷したいフレームが再生されると一時停止ボタン４０２を指示する。メインＣＰＵ１０３がこの指示（一時停止指示）を検知すると、処理はステップＳ２０４を介してステップＳ２０５に進む。この指示を検知していない場合は、処理はステップＳ２０４を介してステップＳ２０３に戻り、そのまま再生表示が続けられる。
【００３５】
ステップＳ２０５ではメインＣＰＵ１０３は先ず、動画ストリームの表示再生を一時停止させ、表示デバイス１１４の表示画面を図４（下部）に例示する表示画面に切り替える。この表示画面において領域４０４内（規定領域内）には、一時停止ボタン４０２が指示された時点で表示再生していたフレームが表示されている。
【００３６】
ユーザは、領域４０４内に表示されているフレームを印刷候補としたい場合には、印刷ボタン４０５を指示すればよいのであるが、このフレームの前後で印刷したいフレームを探したい場合、ユーザはボタン４０６、４０７を指示（表示指示）する。ボタン４０６を指示すると、１フレーム進める指示を入力することができ、ボタン４０７を指示すると、１フレーム戻す指示を入力することができる。１フレーム進める指示が入力される度に、メインＣＰＵ１０３は、現在領域４０４内に表示しているフレームよりも１フレーム後のフレームを領域４０４内に表示させる。また、１フレーム戻す指示が入力される度に、メインＣＰＵ１０３は、現在領域４０４内に表示しているフレームよりも１フレーム前（過去）のフレームを領域４０４内に表示させる。これによりユーザは、印刷候補としたいフレームを、ボタン４０６、４０７を操作することで、表示画面上で探すことができる。そしてユーザは、ボタン４０６、４０７を操作して印刷候補としたいフレームを領域４０４内に表示させると、印刷ボタン４０５を指示する。
【００３７】
ステップＳ２０６でメインＣＰＵ１０３は、この時点（一時停止中）で領域４０４内に表示されているフレームを表示フレームとし、再生順において該表示フレームと隣接するフレームを隣接フレームとする。そしてメインＣＰＵ１０３は、表示フレームと、該隣接フレームの符号化時に参照された参照フレームと、を主記憶装置１１３に格納させる為の各種の処理を行う。ステップＳ２０６における処理の詳細については後述する。
【００３８】
次に、ステップＳ２０７では、メインＣＰＵ１０３は、ボタン４０６、４０７の何れかが指示されたか否かを判断する。この判断の結果、ボタン４０６，４０７の何れかが指示された場合、処理はステップＳ２０８に進み、ボタン４０６，４０７の何れも指示されていない場合は、処理はステップＳ２０９に進む。
【００３９】
ステップＳ２０８ではメインＣＰＵ１０３は、ボタン４０６が指示される度に、動画復号化部１０６に、現在領域４０４内に表示しているフレームよりも１フレーム後のフレームを、主記憶装置１１３に格納されている参照フレームを用いて復号させる。そしてメインＣＰＵ１０３は表示デバイスコントローラ１０７を制御し、動画復号化部１０６が復号したフレームを表示デバイス１１４の表示画面における領域４０４内に表示させる。
【００４０】
一方、メインＣＰＵ１０３は、ボタン４０７が指示される度に、動画復号化部１０６に、現在領域４０４内に表示しているフレームよりも１フレーム前のフレームを、主記憶装置１１３に格納されている参照フレームを用いて復号させる。そしてメインＣＰＵ１０３は表示デバイスコントローラ１０７を制御し、動画復号化部１０６が復号したフレームを表示デバイス１１４の表示画面における領域４０４内に表示させる。そして処理はステップＳ２０６に戻る。
【００４１】
ステップＳ２０９ではメインＣＰＵ１０３は、通常再生ボタン４０８が指示されたか否かを判断する。この判断の結果、通常再生ボタン４０８が指示された場合は、処理はステップＳ２０３に戻り、メインＣＰＵ１０３は先ず、表示デバイス１１４の表示画面を図４（上部）に例示する表示画面に切り替える。そして、この時点で領域４０１（４０４）内に表示されているフレーム以降のフレームの再生を行い、領域４０１内に表示させる。
【００４２】
一方、通常再生ボタン４０８が指示されていない場合、処理はステップＳ２１０に進む。ステップＳ２１０では、メインＣＰＵ１０３は、印刷ボタン４０５が指示（印刷指示）されたか否かを判断する。この判断の結果、印刷ボタン４０５が指示された場合は、処理はステップＳ２１１に進み、印刷ボタン４０５が指示されてない場合は、処理はステップＳ２１２に進む。
【００４３】
ステップＳ２１１ではメインＣＰＵ１０３は、現在領域４０４内に表示されているフレーム（印刷対象フレーム）を主記憶装置１１３から読み出し、読み出したフレームを印刷用画像処理部１０５に送出する。印刷用画像処理部１０５は、メインＣＰＵ１０３から送出された印刷対象フレームの印刷データを生成し、生成した印刷データを印刷処理部１１２に対して出力する。印刷処理部１１２は、この印刷データに基づいて紙などの記録媒体上に印刷対象フレームを印刷する。
【００４４】
ステップＳ２１２でメインＣＰＵ１０３は、終了ボタン４０９が指示されたか否かを判断する。この判断の結果、終了ボタン４０９が指示された場合には、図２のフローチャートに従った処理を終了させ、指示されていない場合は、処理をステップＳ２０７に戻す。
【００４５】
次に、上記のステップＳ２０６における処理について、図５，６，７を用いてより詳細に説明する。図５のフローチャートのステップＳ５０１においてメインＣＰＵ１０３は、隣接フレームのうち、表示フレームよりも１フレーム後のフレーム（後フレーム）について、次のような判断処理を行う。即ち、メインＣＰＵ１０３は、後フレームの符号化時に参照した参照フレームが、主記憶装置１１３内に予め設定された記憶領域（参照フレーム記憶用領域）内にすでに格納されているか否かを判断する。そして、後フレームの符号化時に参照した参照フレームが参照フレーム記憶用領域内にすでに格納されていれば、処理はステップＳ５０３に進み、まだ格納されていない参照フレームがある場合には、処理はステップＳ５０２に進む。
【００４６】
ステップＳ５０２ではメインＣＰＵ１０３は、まだ格納されていない参照フレームを、再生表示を一時停止している動画ストリームから取得し、取得した参照フレームを動画復号化部１０６に復号させる。そしてメインＣＰＵ１０３は、この復号させた参照フレームを参照フレーム記憶用領域に格納する。
【００４７】
例えば、表示フレームが、図６（ａ）において矢印で示しているフレーム（Ｐ７）であるとする。ここでＩ１、Ｉ１０はフレーム内符号化を行ったフレーム、Ｐ４、Ｐ７、Ｐ１３は前方向予測符号化を行ったフレーム、Ｂ２、Ｂ３、Ｂ５、Ｂ６、Ｂ８、Ｂ９、Ｂ１１、Ｂ１２、Ｂ１４、Ｂ１５は双方向予測符号化を行ったフレームである。表示フレームがフレームＰ７であるとすると、表示フレームよりも１フレーム後のフレームはフレームＢ８であり、フレームＢ８の符号化時に参照した参照フレームはフレームＰ７及びフレームＩ１０である。
【００４８】
表示フレームがフレームＰ７であるときの参照フレーム記憶用領域（ステップＳ２０６の処理に入る前の参照フレーム記憶用領域）を図７（ａ）に示す。フレームＰ７を表示フレームとして表示しているので、参照フレーム記憶用領域内の領域７０１にはフレームＰ７を復号する為に参照フレームとして用いたフレームＰ４（復号済み）が、領域７０２には表示中のフレームＰ７（復号済み）が格納されている。この場合、ステップＳ５０１ではメインＣＰＵ１０３は、フレームＢ８の符号化時に参照した参照フレーム（フレームＰ７及びフレームＩ１０）がすでに参照フレーム記憶用領域に格納されているか否かを判断する。この場合はフレームＰ７についてはすでに格納されているものの、フレームＩ１０についてはまだ格納されていない。そこでこのような場合は、処理はステップＳ５０２に進む。そしてステップＳ５０２ではメインＣＰＵ１０３は、動画復号化部１０６にフレームＩ１０を復号させ、復号したフレームＩ１０を参照フレーム記憶用領域内の領域７０３に格納する。
【００４９】
また例えば、表示フレームが、図６（ｂ）において矢印で示しているフレーム（Ｉ１０）であるとする。表示フレームがフレームＩ１０であるとすると、表示フレームよりも１フレーム後のフレームはフレームＢ１１であり、フレームＢ１１の符号化時に参照した参照フレームはフレームＩ１０及びフレームＰ１３である。
【００５０】
表示フレームがフレームＩ１０であるときの参照フレーム記憶用領域（ステップＳ２０６の処理に入る前の参照フレーム記憶用領域）を図７（ｂ）に示す。フレームＩ１０を表示フレームとして表示しているので、参照フレーム記憶用領域内の領域７０１にはフレームＩ１０（復号済み）が格納されている。この場合、ステップＳ５０１ではメインＣＰＵ１０３は、フレームＢ１１の符号化時に参照した参照フレーム（フレームＩ１０及びフレームＰ１３）がすでに参照フレーム記憶用領域に格納されているか否かを判断する。この場合はフレームＰ１３は格納されていないため、このような場合は、処理はステップＳ５０２に進む。そしてステップＳ５０２ではメインＣＰＵ１０３は、動画復号化部１０６にフレームＰ１３を復号させ、復号したフレームＰ１３を参照フレーム記憶用領域内の領域７０３に格納する。フレームＰ１３の復号は、復号済みのフレームＩ１０を参照フレームとして用いればよい。
【００５１】
また例えば、表示フレームが、図６（ｃ）において矢印で示しているフレーム（Ｂ１１）であるとする。表示フレームがフレームＢ１１であるとすると、表示フレームよりも１フレーム後のフレームはフレームＢ１２であり、フレームＢ１２の符号化時に参照した参照フレームはフレームＩ１０及びフレームＰ１３である。
【００５２】
表示フレームがフレームＢ１１であるときの参照フレーム記憶用領域（ステップＳ２０６の処理に入る前の参照フレーム記憶用領域）を図７（ｃ）に示す。フレームＢ１１を表示フレームとして表示しているので、参照フレーム記憶用領域内は図７（ｂ）と変わっていない。即ち、フレームＩ１０、Ｐ１３がそれぞれ復号されて領域７０１、７０３に格納されている。この場合、ステップＳ５０１ではメインＣＰＵ１０３は、フレームＢ１２の符号化時に参照した参照フレーム（フレームＩ１０及びフレームＰ１３）がすでに参照フレーム記憶用領域に格納されているか否かを判断する。この場合はフレームＩ１０及びフレームＰ１３の何れも格納されているため、処理はステップＳ５０３に進む。
【００５３】
ステップＳ５０３においてメインＣＰＵ１０３は、隣接フレームのうち、表示フレームよりも１フレーム前のフレーム（前フレーム）について、次のような判断処理を行う。即ち、メインＣＰＵ１０３は、前フレームの符号化時に参照した参照フレームが、主記憶装置１１３内に予め設定された記憶領域（参照フレーム記憶用領域）内にすでに格納されているか否かを判断する。そして、前フレームの符号化時に参照した参照フレームが参照フレーム記憶用領域内にすでに格納されていれば、処理はステップＳ２０７に進み、まだ格納されていない参照フレームがある場合には、処理はステップＳ５０４に進む。
【００５４】
ステップＳ５０４ではメインＣＰＵ１０３は、まだ格納されていない参照フレームを、再生表示を一時停止している動画ストリームから取得し、取得した参照フレームを動画復号化部１０６に復号させる。そしてメインＣＰＵ１０３は、この復号させた参照フレームを参照フレーム記憶用領域に格納する。
【００５５】
例えば、表示フレームが、図６（ａ）において矢印で示しているフレーム（Ｐ７）であるとする。表示フレームがフレームＰ７であるとすると、表示フレームよりも１フレーム前のフレームはフレームＢ６であり、フレームＢ６の符号化時に参照した参照フレームはフレームＰ４及びフレームＰ７である。先の通り、図７（ａ）に示した参照フレーム記憶用領域には、フレームＰ４及びフレームＰ７がすでに格納されている。そのため、ステップＳ５０３ではメインＣＰＵ１０３は、フレームＢ６の符号化時に参照した参照フレームはすでに参照フレーム記憶用領域に格納されていると判断し、処理はステップＳ２０７に進む。
【００５６】
また例えば、表示フレームが、図６（ｂ）において矢印で示しているフレーム（Ｉ１０）であるとする。表示フレームがフレームＩ１０であるとすると、表示フレームよりも１フレーム前のフレームはフレームＢ９であり、フレームＢ９の符号化時に参照した参照フレームはフレームＰ７及びフレームＩ１０である。先の通り、図７（ｂ）に示した参照フレーム記憶用領域には、フレームＩ１０及びフレームＰ１３はすでに格納されているものの、フレームＰ７についてはまだ格納されていない。この場合、ステップＳ５０３ではメインＣＰＵ１０３は、フレームＢ９の符号化時に参照した参照フレーム（フレームＰ７及びフレームＩ１０）がすでに参照フレーム記憶用領域に格納されているか否かを判断する。この場合はフレームＰ７が格納されていないため、このような場合は処理はステップＳ５０４に進む。そしてステップＳ５０４ではメインＣＰＵ１０３は、動画復号化部１０６にフレームＰ７を復号させ、復号したフレームＰ７を参照フレーム記憶用領域内の領域７０２に格納する。フレームＰ７は前方向予測符号化されたフレームであるため、先ずフレームＩ１を復号し、復号したフレームＩ１を参照してフレームＰ４を復号し、復号したフレームＰ４を参照してフレームＰ７を復号する処理を行う。
【００５７】
また例えば、表示フレームが、図６（ｃ）において矢印で示しているフレーム（Ｂ１１）であるとする。表示フレームがフレームＢ１１であるとすると、表示フレームよりも１フレーム前のフレームはフレームＩ１０であり、フレームＩ１０は表示フレームの参照フレームである。そのため、図７（ｃ）に示す如く、フレームＩ１０はすでに参照フレーム記憶用領域内に格納されている。そのため、ステップＳ５０３ではメインＣＰＵ１０３は、フレームＩ１０の符号化時に参照した参照フレームはすでに参照フレーム記憶用領域に格納されていると判断し、処理はステップＳ２０７に進む。
【００５８】
ステップＳ２０８では、このようにして参照フレーム記憶用領域に格納された参照フレームを用いて復号処理を行うことになる。このように、表示フレームを表示すると共に、表示フレームの前後のフレームを復号するための参照フレームを復号してメモリに格納するため、ボタン４０６，４０７が指示されても迅速に隣接フレームを復号して表示することができる。そのため、本実施形態に係る印刷装置は、ユーザ操作に対する応答性を向上させることができる。
【００５９】
このような技術では、従来技術のように復号したフレームを全てメモリ上に記憶する必要が無く、少ないメモリ容量で応答性の高い動画ストリーム印刷装置を実現できるので、コストを削減することができる。
【００６０】
なお、本実施形態では、隣接フレームを復号するための参照フレームを参照フレーム記憶用領域に格納するようにしたが、参照フレーム記憶用領域の容量がより多い場合には、隣接フレームをもこの参照フレーム記憶用領域に格納するようにしてもよい。
【００６１】
また本実施形態では、参照フレーム記憶用領域には参照フレームを復号してから格納するようにしたが、復号せずに格納してもよい。この場合、隣接フレームの復号時には先ず参照フレームを復号し、次にこの復号した参照フレームを用いて隣接フレームを復号することになる。これにより、復号した参照フレームを格納するよりも、参照フレーム記憶用領域の使用量を軽減させることができる。
【００６２】
［第２の実施形態］
本実施形態では、印刷対象として確定したフレームを印刷するための処理として、図８のフローチャートに従った処理を実行する。なお、本実施形態に係る印刷装置の構成は、第１の実施形態と同様である。即ち、プリンタ用ＬＳＩ（プリンタ用半導体集積回路）１０１の構成例、及びその周辺機器については、図１に示したとおりである。
【００６３】
図８において、ステップＳ８０１〜８０６のそれぞれにおける処理は、図２のステップＳ２０１〜Ｓ２０６のそれぞれにおける処理と同じであるため、ステップＳ８０１〜８０６における処理の説明は省略する。
【００６４】
また本実施形態では、ステップＳ８０３では、図９の上部に例示する表示画面を表示し、ステップＳ８０５では、図９の下部に例示する表示画面を表示する。図９において９０１〜９０９はそれぞれ、図４の４０１〜４０９と同じである。
【００６５】
ステップＳ８０７では、メインＣＰＵ１０３は、印刷候補指定ボタン９１０が指示されたか否かを判断する。この判断の結果、印刷候補指定ボタン９１０が指示された場合は、処理はステップＳ８０８に進み、印刷候補指定ボタン９１０が指示されてない場合は、処理はステップＳ８０９に進む。
【００６６】
ステップＳ８０８では、メインＣＰＵ１０３は、この時点で領域９０４内に表示されている表示フレームを印刷対象フレームとして、主記憶装置１１３内に予め設定されている登録領域に登録する。
【００６７】
例えば、図１０に示す如く、動画ストリームにおいて、フレームＢ３が領域９０４内に表示されているときに印刷候補指定ボタン９１０が指示された場合、図１１に例示する如く、フレームＢ３を登録領域内の領域１００２内に登録する。領域１００２内にフレームＢ３を登録すると、領域１００１内には、フレームＢ３のフレーム番号（frame_number1）及び領域１００２内におけるフレームＢ３の格納領域へのポインタ（image_pointer1）が登録される。
【００６８】
また、フレームＰ１０が領域９０４内に表示されているときに印刷候補指定ボタン９１０が指示された場合、図１１に例示する如く、フレームＰ１０を登録領域内の領域１００２内に登録する。領域１００２内にフレームＰ１０を登録すると、領域１００１内には、フレームＰ１０のフレーム番号（frame_number2）及び領域１００２内におけるフレームＰ１０の格納領域へのポインタ（image_pointer2）が登録される。
【００６９】
次に、ステップＳ８０９〜Ｓ８１１のそれぞれにおける処理は、図２のステップＳ２０７〜２０９のそれぞれにおける処理と同じであるため、ステップＳ８０９〜Ｓ８１１の各ステップにおける処理の説明は省略する。
【００７０】
ステップＳ８１２ではメインＣＰＵ１０３は、前印刷候補表示ボタン９１１、後印刷候補表示ボタン９１２の何れかが指示されたか否かを判断する。この判断の結果、前印刷候補表示ボタン９１１、後印刷候補表示ボタン９１２の何れかが指示された場合には、処理はステップＳ８１３に進む。一方、前印刷候補表示ボタン９１１、後印刷候補表示ボタン９１２の何れも指示されていない場合には、処理はステップＳ８１４に進む。
【００７１】
ステップＳ８１３でメインＣＰＵ１０３は前印刷候補表示ボタン９１１が指示されると現在領域９０４内に表示しているフレームより前且つ最も近接している印刷対象フレームを領域１００１内の情報から判断し、該当するフレームを領域１００２から読み出す。一方、メインＣＰＵ１０３は、後印刷候補表示ボタン９１２が指示されると、現在領域９０４内に表示しているフレームよりも後且つ最も近接している印刷対象フレームを領域１００１内の情報から判断し、該当するフレームを領域１００２から読み出す。そしてメインＣＰＵ１０３は表示デバイスコントローラ１０７を制御し、読み出した印刷対象フレームを表示デバイス１１４の表示画面における領域９０４内に表示させる。
【００７２】
例えば、図１０に例示する動作ストリームでフレームＢ５及びフレームＰ１０が印刷対象フレームとして指定されており、現在領域９０４内にフレームＢ８を表示しているとする。このとき、後印刷候補表示ボタン９１２が指示されると、領域９０４内にはフレームＰ１０を表示し、前印刷候補表示ボタン９１１が指示されると、領域９０４内にはフレームＢ５を表示する。
【００７３】
ステップＳ８１４〜Ｓ８１６の各ステップにおける処理はそれぞれ、図２のステップＳ２１０〜Ｓ２１２と同じであるため、ステップＳ８１４〜Ｓ８１６の各ステップにおける処理の説明は省略する。
【００７４】
このように、図８のフローチャートの処理により、ユーザが印刷対象フレームを指定するたびに該印刷対象フレームを主記憶装置１１３に登録するので、各ボタン（９１１、９１２）に対する指示に迅速に応答して印刷対象フレームを表示することができる。これにより、ユーザ操作に対する応答性を向上させることができる。
【００７５】
なお、本実施形態では、印刷対象フレーム（即ち復号されたフレーム）を登録するようにしたが、登録先のメモリの使用量をより削減すべく、印刷対象フレームを圧縮符号化してから登録するようにしてもよい。この場合、前印刷候補表示ボタン９１１、後印刷候補表示ボタン９１２を指示するたびに、該当する印刷対象フレームを復号してから表示することになる。
【００７６】
また、以上説明した実施形態は適宜組み合わせてもよいし、適宜変形させてもよい。例えば、プリンタ用ＬＳＩ１０１を１台のコンピュータで実装してもよい。この場合、このコンピュータは、印刷対象フレームを決定し、決定した印刷対象フレームを印刷処理部１１２に送出する処理を行う。
【００７７】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2013118454.tif 000003
【図２】
2013118454.tif 000004
【図３】
2013118454.tif 000005
【図４】
2013118454.tif 000006
【図５】
2013118454.tif 000007
【図６】
2013118454.tif 000008
【図７】
2013118454.tif 000009
【図８】
2013118454.tif 000010
【図９】
2013118454.tif 000011
【図１０】
2013118454.tif 000012
【図１１】
2013118454.tif 000013
【図１２】
2013118454.tif 000014
【図１３】
2013118454.tif 000015