(57)【要約】【課題】動画再生時にユーザが選択したフレームと実際に処理対象として設定されるフレームとを整合することができる動画処理装置、動画処理方法及び動画処理プログラムを提供する。【解決手段】ユーザのフレーム選択要求を入力するための入力手段と、第一の周期及び第二の周期より短い周期で時刻を計時する計時手段と、動画再生中に前記フレーム選択要求が入力されると、フレームレートと非同期な前記第一の周期で前記フレーム選択要求を受け付け、前記フレーム選択要求を受け付けた時点の時刻を取得し、フレーム処理要求を通知するフレーム処理要求手段と、前記フレームレートに応じた前記第二の周期で順次フレームに対応する画像データをディスプレイに表示させることによって動画を再生する手段であって、前記フレーム処理要求が通知されると、前記フレーム選択要求が入力された時点の時刻に基づいて前記フレーム選択要求に対応するフレームを処理対象フレームとして設定する動画再生手段と、を備える動画処理装置。【選択図】図１
2007282160.tif 000002
【特許請求の範囲】
【請求項１】
ユーザのフレーム選択要求を入力するための入力手段と、
第一の周期及び第二の周期より短い周期で時刻を計時する計時手段と、
動画再生中に前記フレーム選択要求が入力されると、フレームレートと非同期な前記第一の周期で前記フレーム選択要求を受け付け、前記フレーム選択要求を受け付けた時点の時刻を取得し、フレーム処理要求を通知するフレーム処理要求手段と、
前記フレームレートに応じた前記第二の周期で順次フレームに対応する画像データをディスプレイに表示させることによって動画を再生する手段であって、前記フレーム処理要求が通知されると、前記フレーム選択要求が入力された時点の時刻に基づいて前記フレーム選択要求に対応するフレームを処理対象フレームとして設定する動画再生手段と、
を備える動画処理装置。
【請求項２】
前記動画再生手段は、前記第二の周期のトリガの発生に応じて、生成対象フレームの更新と、生成対象フレームに対応する画像データの生成開始と、生成開始された時点の時刻の取得と、生成された前記画像データに基づく前記ディスプレイの表示更新とを行い、前記フレーム処理要求が通知されると、前記フレーム選択要求が受け付けられた時点の時刻と最後に取得された前記生成開始された時点の時刻との差分に基づいて前記処理対象フレームを設定する、
請求項１に記載の動画処理装置。
【請求項３】
設定された前記処理対象フレームに対応する画像データに基づいてプリントユニットに画像を印刷させるフレーム印刷手段をさらに備える、
請求項１又は２に記載の動画処理装置。
【請求項４】
設定された前記処理対象フレームに対応する画像データを静止画像データとして記憶媒体に記憶させるフレーム切取保存手段をさらに備える、
請求項１〜３のいずれか一項に記載の動画処理装置。
【請求項５】
ユーザのフレーム選択要求を入力し、
第一の周期及び第二の周期より短い周期で時刻を計時し、
動画再生中に前記フレーム選択要求が入力されると、フレームレートと非同期な前記第一の周期で前記フレーム選択要求を受け付け、前記フレーム選択要求を受け付けた時点の時刻を取得し、フレーム処理要求を通知し、
前記フレームレートに応じた前記第二の周期で順次フレームに対応する画像データをディスプレイに表示させることによって動画を再生し、前記フレーム処理要求が通知されると、前記フレーム選択要求が入力された時点の時刻に基づいて前記フレーム選択要求に対応するフレームを処理対象フレームとして設定する、
ことを含む動画処理方法。
【請求項６】
ユーザのフレーム選択要求を入力するための入力手段と、
第一の周期及び第二の周期より短い周期で時刻を計時する計時手段と、
動画再生中に前記フレーム選択要求が入力されると、フレームレートと非同期な前記第一の周期で前記フレーム選択要求を受け付け、前記フレーム選択要求を受け付けた時点の時刻を取得し、フレーム処理要求を通知するフレーム処理要求手段と、
前記フレームレートに応じた前記第二の周期で順次フレームに対応する画像データをディスプレイに表示させることによって動画を再生する手段であって、前記フレーム処理要求が通知されると、前記フレーム選択要求が入力された時点の時刻に基づいて前記フレーム選択要求に対応するフレームを処理対象フレームとして設定する動画再生手段と、
してコンピュータを機能させる動画処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画処理装置、動画処理方法及び動画処理プログラムに関する。
【背景技術】
【０００２】
従来、動画を構成する複数のフレームのうちから１フレームを選択し、静止画としてプリンタ等に出力する機能を有するディジタルカメラが知られている。動画フォーマットとしては、例えばＭＰＥＧ−４や、Ｍｏｔｉｏｎ−ＪＰＥＧなどがある。動画再生は、フレームレートに応じた周期で、１フレーム分の画像のデコード及び表示が繰り返されることによって実現される。ところで例えば、上記のようなディジタルカメラで再生中の動画のうちの１フレームを選択するためにユーザが所定のボタンを押すと、タイミングによってはユーザが意図するフレームとずれたフレームが印刷対象となってしまうという問題があった。具体的には、ユーザがボタンを押した時点ではまだディスプレイに表示されていないフレームが印刷処理対象フレームとして設定されてしまうことがあった。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明は、動画再生時にユーザが選択したフレームと実際に処理対象として設定されるフレームとを整合することができる動画処理装置、動画処理方法及び動画処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００４】
（１）上記目的を達成するための動画処理装置は、ユーザのフレーム選択要求を入力するための入力手段と、第一の周期及び第二の周期より短い周期で時刻を計時する計時手段と、動画再生中に前記フレーム選択要求が入力されると、フレームレートと非同期な前記第一の周期で前記フレーム選択要求を受け付け、前記フレーム選択要求を受け付けた時点の時刻を取得し、フレーム処理要求を通知するフレーム処理要求手段と、前記フレームレートに応じた前記第二の周期で順次フレームに対応する画像データをディスプレイに表示させることによって動画を再生する手段であって、前記フレーム処理要求が通知されると、前記フレーム選択要求が入力された時点の時刻に基づいて前記フレーム選択要求に対応するフレームを処理対象フレームとして設定する動画再生手段と、を備える。
この動画処理装置によると、それぞれ異なる周期で動作する動画再生処理とフレーム処理要求処理とが、それら２つの周期より短い周期で計時される時刻情報を参照し、その時刻情報を介して互いに同期を取ることにより、フレーム選択要求に対応するフレームと、実際に処理対象として設定されるフレームとを整合させることができる。その結果、ユーザが意図するフレームを、印刷やフレーム切り取り保存の対象として処理することができる。
【０００５】
（２）上記目的を達成するための動画処理装置において、前記第二の周期のトリガの発生に応じて、生成対象フレームの更新と、生成対象フレームに対応する画像データの生成開始と、生成開始された時点の時刻の取得と、生成された前記画像データに基づく前記ディスプレイの表示更新とを行い、前記フレーム処理要求が通知されると、前記フレーム選択要求が受け付けられた時点の時刻と最後に取得された前記生成開始された時点の時刻との差分に基づいて前記処理対象フレームを設定してもよい。
この動画処理装置によると、第二の周期のトリガの発生に応じて、生成対象フレームの更新と、生成対象フレームに対応する画像データの生成開始と、生成開始された時点の時刻の取得と、生成された画像データに基づく表示更新とが行われる。フレーム処理要求が通知されると、フレーム選択要求が受け付けられた時点の時刻と最後の生成対象フレームに対応する画像データが生成開始された時点の時刻との差分に基づいて処理対象フレームが設定されるので、ディスプレイに表示されている画像に対応するフレームと生成対象フレームとが、フレーム選択要求が受け付けられた時点で異なる場合であっても、ディスプレイに表示されている画像に対応するフレームを処理対象フレームとして設定することができる。
【０００６】
（３）上記目的を達成するための動画処理装置は、設定された前記処理対象フレームに対応する画像データに基づいてプリントユニットに画像を印刷させるフレーム印刷手段をさらに備えてもよい。
この動画処理装置によると、設定された処理対象フレームに対応する画像を印刷媒体に印刷することができる。
【０００７】
（４）上記目的を達成するための動画処理装置は、設定された前記処理対象フレームに対応する画像データを静止画像データとして記憶媒体に記憶させるフレーム切取保存手段をさらに備えてもよい。
この動画処理装置によると、設定された処理対象フレームに対応する画像データを静止画像データとして記憶媒体に記憶させることができる。
【０００８】
（５）上記目的を達成するための動画処理方法は、ユーザのフレーム選択要求を入力し、第一の周期及び第二の周期より短い周期で時刻を計時し、動画再生中に前記フレーム選択要求が入力されると、フレームレートと非同期な前記第一の周期で前記フレーム選択要求を受け付け、前記フレーム選択要求を受け付けた時点の時刻を取得し、フレーム処理要求を通知し、前記フレームレートに応じた前記第二の周期で順次フレームに対応する画像データをディスプレイに表示させることによって動画を再生し、前記フレーム処理要求が通知されると、前記フレーム選択要求が入力された時点の時刻に基づいて前記フレーム選択要求に対応するフレームを処理対象フレームとして設定する、ことを含む。
この動画処理方法によると、それぞれ異なる周期で動作する動画再生処理とフレーム処理要求処理とが、それら２つの周期より短い周期で計時される時刻情報を参照し、その時刻情報を介して互いに同期を取ることにより、フレーム選択要求に対応するフレームと、実際に処理対象として設定されるフレームとを整合させることができる。その結果、ユーザが意図するフレームを、印刷やフレーム切り取り保存の対象として処理することができる。
【０００９】
（６）上記目的を達成するための動画処理プログラムは、ユーザのフレーム選択要求を入力するための入力手段と、第一の周期及び第二の周期より短い周期で時刻を計時する計時手段と、動画再生中に前記フレーム選択要求が入力されると、フレームレートと非同期な前記第一の周期で前記フレーム選択要求を受け付け、前記フレーム選択要求を受け付けた時点の時刻を取得し、フレーム処理要求を通知するフレーム処理要求手段と、前記フレームレートに応じた前記第二の周期で順次フレームに対応する画像データをディスプレイに表示させることによって動画を再生する手段であって、前記フレーム処理要求が通知されると、前記フレーム選択要求が入力された時点の時刻に基づいて前記フレーム選択要求に対応するフレームを処理対象フレームとして設定する動画再生手段と、してコンピュータを機能させる。
この動画処理プログラムによると、それぞれ異なる周期で動作する動画再生処理とフレーム処理要求処理とが、それら２つの周期より短い周期で計時される時刻情報を参照し、その時刻情報を介して互いに同期を取ることにより、フレーム選択要求に対応するフレームと、実際に処理対象として設定されるフレームとを整合させることができる。その結果、ユーザが意図するフレームを、印刷やフレーム切り取り保存の対象として処理することができる。
【００１０】
尚、本発明に備わる複数の手段の各機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら複数の手段の各機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。また、本発明は装置の発明として特定できるだけでなく、プログラムの発明としても、そのプログラムを記録した記録媒体の発明としても、方法の発明としても特定することができる。
【発明を実施するための最良の形態】
【００１１】
以下、実施例に基づいて本発明の実施の形態を説明する。
図２は、本発明による電子機器の一実施例としてのマルチファンクションプリンタ（ＭＦＰ）１のハードウェア構成を示すブロック図である。ＭＦＰ１は、リムーバブルメモリ９６から静止画データや動画データを入力して印刷する機能、画像を読み取って印刷する機能、などを備えている。
【００１２】
スキャンユニット５０は、リニアイメージセンサ、リニアイメージセンサの駆動回路、照明装置、結像光学系、ＡＤ変換器等で構成されている。尚、スキャンユニット５０は、フラットベッド型でもよいし、シートフィード型でもよいし、ハンディ型でもよい。
プリントユニット７０は、インクジェット方式で用紙に画像を形成するための記録ヘッド、記録ヘッドを往復運動させる駆動機構、給排紙機構等を備える。プリントユニット７０の印刷方式は、レーザ方式、サーマル方式、ドットインパクト方式等でも良い。
【００１３】
外部メモリコントローラ９５は、図示しないカードスロットから挿入されたリムーバブルメモリ９６に接続される。リムーバブルメモリ９６に格納されたデータは外部メモリコントローラ９５によって読み出され、ＲＡＭ７４に転送される。
通信部９３は、制御部７２がＰＣ等の外部のシステムと通信するための通信インタフェースである。通信部９３は、ＬＡＮ、インターネット、ＵＳＢ等を通じて外部のシステムと通信し、ハードディスク、コンパクトディスク等に格納されているデータを取得する。
【００１４】
ディジタル画像処理部８０は、ガンマ補正、シェーディング補正、カラーバランス補正、静止画データのデコード、動画データのデコード、解像度変換、アンシャープ処理、階調補正、ハーフトーニング、分版処理等の画像処理をＣＰＵ７８と協働して実行するＤＳＰである。動画データのフォーマットは、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｍｏｔｉｏｎ−ＪＰＥＧ等である。ディジタル画像処理部８０は、スキャンユニット５０から出力される画像や外部メモリコントローラ９５によって読み出された画像のフォーマットを印刷に適したフォーマットに変換する。
【００１５】
入力手段、計時手段、フレーム処理要求手段、動画再生手段、フレーム印刷手段及びフレーム切り取り保存手段としての制御部７２は、フラッシュメモリ７６、ＣＰＵ７８及びメモリとしてのＲＡＭ７４、を備える。ＣＰＵ７８はフラッシュメモリ７６に格納されている制御プログラムを実行してＭＦＰ１の各部を制御する。フラッシュメモリ７６は、制御プログラムを格納している不揮発性メモリである。ＲＡＭ７４は、制御プログラムやスキャンユニット５０に読み取られた画像等の各種のデータが一時的に格納される揮発性メモリである。制御プログラムは遠隔地のサーバからネットワークを経由してフラッシュメモリ７６に格納してもよいし、リムーバブルメモリ９６等のコンピュータ読み取り可能な記録媒体を経由してフラッシュメモリ７６に格納してもよい。
【００１６】
操作パネル６８は、モードに応じたメニューやステータスを表示するためのＦＰＤ（Flat Panel Display）８８、ＦＰＤ８８を駆動するディスプレイ駆動部（ＤＳＰＤ）８６、モードを変更したりメニューを操作したり各種要求を入力するためのボタン群８２等で構成されている。ボタン群８２は、請求項に記載の「入力手段」に相当する。ＦＰＤ８８の画面は、制御部７２やディジタル画像処理部８０によって生成され、ＲＡＭ７４のフレームメモリ領域に格納される画像データに基づいてＤＳＰＤ８６がＦＰＤ８８を駆動することによって表示される。
以上、ＭＦＰ１のハードウェア構成について説明した。
【００１７】
図３は、本実施形態の比較例を説明するためのタイミングチャートである。図３に示すタイミングチャートは、動画を再生するための所定のボタンがユーザによって押され、動画再生中である状態を示しており、ボタン入力の受け付けと動画処理とが異なる周期で繰返し行われていることを示している。具体的には、周期Ｐkのタイミング毎にボタン入力があるか判定され、１フレームのデータは周期Ｐfのタイミングで画像データの生成（デコード）及び表示更新が繰り返される。動画処理では、立ち上がりのタイミングで、生成対象フレームが更新され、生成対象フレームに対応する画像データの生成が開始される。ここで、Ｋ1のタイミングでフレームを選択するためのボタン入力（フレーム選択要求）が受け付けられた場合について考える。このときＦＰＤ８８に表示されているフレームは「フレーム２」であり、次のフレームのデコードはまだ開始されていないため、生成対象フレームは「フレーム２」のまま、まだ更新されていない。このため、ユーザがＦＰＤ８８に表示されているフレーム２の画像を見てボタンを押して選択したフレームと生成対象フレームは同じである。次に、Ｋ2のタイミングでフレームを選択するためのボタン入力が受け付けられた場合について考える。このときＦＰＤ８８に表示されているフレームは「フレーム３」であり、次のフレームのデコードは開始されているため、動画処理で管理している生成対象フレームは「フレーム４」に更新されている。そのため、ユーザが選択したフレームと生成対象フレームとは整合しない。
【００１８】
図１は、本実施形態に係る動画処理を説明するためのタイミングチャートである。ボタン入力受け付けや動画処理のタイミングは、図３で説明したものと同様である。本実施形態に係る動画処理では、前述の比較例で説明した不整合を解消するためにシステム時刻が利用される。システム時刻は、例えば、ＭＦＰ１がリセットスタートされ、制御プログラムの所定の初期化処理が実行された後に制御部７２によって計時が開始され、その時点からの経過時間を表すものである。動画再生が開始されてからの経過時間を表すものであってもよいし、図示しないＲＴＣ（Real Time Clock）を備え、ある年月日からの経過時間を表すものであってもよい。計時周期は、ボタン入力受け付けや動画処理の周期よりも短い周期で計時される。
【００１９】
まず、本実施形態に係るボタン入力受け付け処理について説明する。ボタン入力受付処理は、請求項に記載の「フレーム処理要求手段」に相当する。
図４は、ボタン入力受付処理の流れを示すフローチャートである。図４に示す処理は、周期Ｐk毎に起動され、ＣＰＵ７８によって実行される処理である（図１参照）。周期Ｐkは、請求項に記載の「第一の周期」に相当する。
ステップＳ１００では、フレーム選択のためのボタンが入力されたか判定される。
ステップＳ１０２では、その時点でのシステム時刻が取得される。
ステップＳ１０４では、フレーム処理要求が動画処理に通知される。具体的には、ステップＳ１０２で取得されたシステム時刻が引数として設定されたフレーム処理要求が、動画処理に通知される。
【００２０】
次に、本実施形態に係る動画処理について説明する。動画処理は、請求項に記載の「動画再生手段」に相当する。
図５は、動画処理の流れを示すフローチャートである。図５に示す処理は、動画再生が開始されると起動され、フレーム処理要求が通知されるまでの間、ＣＰＵ７８によって実行される処理である。動画処理が起動される際、後述するデコード開始時のシステム時刻を記憶するための変数及び生成対象フレームの番号を記憶する変数が初期化される。
【００２１】
ステップＳ２００では、フレーム処理要求がボタン入力受付処理から通知されたか判定される。「Ｎ」判定されると、ステップＳ２０２に進み、「Ｙ」判定されるとステップＳ２１０に進む。
ステップＳ２０２では、デコードタイミングであるか判定される。具体的には例えば、既に記憶されているシステム時刻と現在のシステム時刻との差分が算出され、その差分がフレームレートに対応する周期Ｐfを超えたかが判定される。フレームレートに対応する周期とは、例えばフレームレートが３０ｆｐｓである場合、１／３０秒を意味する。周期Ｐfは、請求項に記載の「第二の周期」に相当する。デコードタイミングでないと判定される間は、ステップＳ２００及びステップＳ２０２の処理が繰り返される。
【００２２】
ステップＳ２０３では、生成対象フレームが更新される。具体的には、例えば生成対象フレームの番号を記憶する変数の値がインクリメントされる。
ステップＳ２０４では、現在のシステム時刻が取得され、デコード開始時のシステム時刻を記憶するための変数に記憶される。
ステップＳ２０６では、生成対象フレームのデコードが開始される。具体的には、例えば生成対象フレームの番号を通知してディジタル画像処理部８０に生成対象フレームのデータをデコードさせ、ＲＡＭ７４に画像データを生成させる。
ステップＳ２０８では、ステップＳ２０６で生成された画像データがフレームメモリ領域に転送され、ＦＰＤ８８に表示される。フレーム処理要求が通知されない間は、既に説明したステップＳ２００からステップＳ２０８の処理が繰り返し実行される。
【００２３】
ステップＳ２１０では、処理対象フレームが設定される。具体的には例えば、フレーム処理要求の引数として設定されているシステム時刻と、記憶されているデコード開始時のシステム時刻との差分時間を求め、差分時間が１フレーム当たりのデコード所要時間より長ければ、生成対象フレームが処理対象フレームとして設定される。差分時間が１フレーム当たりのデコード所要時間より短ければ、生成対象フレームの一つ前のフレームが処理対象フレームとして設定される。
【００２４】
図１を用いてより具体的に説明する。Ｋ1のタイミングでフレーム選択のためのボタン入力が受け付けられた場合は、差分時間Ｔ1は、１フレーム当たりのデコード所要時間Ｔdより長いと判定されるので、Ｋ1のタイミングで生成対象フレームとして記憶されている「フレーム２」が処理対象フレームとして設定される。Ｋ2のタイミングでフレーム選択のためのボタン入力が受け付けられた場合は、差分時間Ｔ2は、１フレーム当たりのデコード所要時間Ｔdより短いと判定されるので、Ｋ2のタイミングで生成対象フレームとして記憶されている「フレーム４」の一つ前の「フレーム３」が処理対象フレームとして設定される。以上のように、ディスプレイに表示されている画像に対応するフレームと生成対象フレームとが、フレーム選択要求が受け付けられた時点で異なる場合であっても、フレーム選択要求に対応するフレームと、実際に処理対象として設定されるフレームとを整合させることができる。
【００２５】
処理対象フレームの設定は、上記の方法に限定されるものではなく、例えば、フレーム毎の表示更新時のシステム時刻が何フレーム分か記憶され、フレーム選択要求が受け付けられた時刻が、記憶されているそれらの時刻のうちどのフレームが表示されている期間に含まれるかを判定することによって、処理対象フレームを設定するようにしてもよい。
【００２６】
ステップＳ２１２では、処理対象フレームと生成対象フレームが同じであるか判定される。処理対象フレームと生成対象フレームが異なると判定されると、ステップＳ２１４の処理に移行し、処理対象フレームがデコードされる。処理対象フレームと生成対象フレームが同じであると判定されると、ステップＳ２１６の処理に移行する。
ステップＳ２１６では、デコードされＲＡＭ７４に生成されている画像データがフレームメモリ領域に転送され、ＦＰＤ８８に表示される。
【００２７】
以上のようにして設定された処理対象フレームは、処理対象フレームに対応する画像をＦＰＤ８８に表示させることによってユーザに確認を促した後、プリントユニット７０によって印刷媒体に印刷される。処理対象フレームに対応する画像データは、例えばＪＰＥＧフォーマットにエンコードされ、静止画像データファイルとしてリムーバブルメモリ９６やＲＡＭ７４、フラッシュメモリ７６などに記憶されるようにしてもよい。通信部９３を介して、外部のシステムに出力するようにしてもよい。
【００２８】
以上説明したように、それぞれ異なる周期で動作する動画処理とボタン入力受付処理とが、それら２つの周期より短い周期で計時される時刻情報を参照し、その時刻情報を用いて互いに同期を取ることにより、ユーザが選択したフレームと、実際に処理対象として内部で設定されるフレームとを整合させることができる。その結果、ユーザが意図するフレームを、印刷やフレーム切り取り保存の対象として正確に処理することができる。
【００２９】
本発明は、上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の実施形態に適用可能である。例えば、フォトビューワ、ディジタルカメラ等の動画を再生する機能を有する電子機器に適用することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の一実施例に係る動画処理を説明するためのタイミングチャート。
【図２】本発明の一実施例に係る動画処理装置の構成を示す模式図。
【図３】本発明の一実施例の比較例を説明するためのタイミングチャート。
【図４】本発明の一実施例に係るフローチャート。
【図５】本発明の一実施例に係るフローチャート。
【符号の説明】
【００３１】
１：マルチファンクションプリンタ（動画処理装置）、６８：操作パネル、７０：プリントユニット、７２：制御部（入力手段、計時手段、フレーム処理要求手段、動画再生手段、フレーム印刷手段及びフレーム切り取り保存手段）、７４：ＲＡＭ（記憶媒体）、７６：フラッシュメモリ（記憶媒体）、７８：ＣＰＵ、８０：ディジタル画像処理部、８２：ボタン群（入力手段）、９３：通信部、９５：外部メモリコントローラ、９６：リムーバブルメモリ（記憶媒体）
【図１】
2007282160.tif 000003
【図２】
2007282160.tif 000004
【図３】
2007282160.tif 000005
【図４】
2007282160.tif 000006
【図５】
2007282160.tif 000007