(57)【特許請求の範囲】
【請求項１】
画像データの編集点に他の画像データを繋げるように、前記画像データを編集する画像処理装置において、
ユーザにより指定された前記画像データ上の指定編集点の近傍において、編集候補点を検出する検出手段と、
編集前の前記画像データのフレームタイプと、前記指定編集点を前記編集点として編集を行った場合の編集後の前記画像データのフレームタイプとの間の変化に基づいて、編集後の前記画像データの画質の劣化の度合いを表す第１の劣化度を演算するともに、編集前の前記画像データのフレームタイプと、前記候補編集点を前記編集点として編集を行った場合の編集後の前記画像データのフレームタイプとの間の変化に基づいて、編集後の前記画像データの画質の劣化の度合いを表す第２の劣化度を演算する演算手段と、
前記第１の劣化度と前記第２の劣化度とを比較する比較手段と、
前記比較手段による比較の結果、前記第１の劣化度より前記第２の劣化度の方が小さいと判定された場合、前記第２の劣化度と、前記指定編集点から前記編集候補点までの距離を、前記編集候補点に関する情報として、情報をユーザに提示する提示手段に出力する出力手段と、
ユーザに指定された、前記提示手段により提示された前記編集候補点に関する情報に係る前記編集候補点を、前記編集点として選択する選択手段と、
前記画像データの、前記編集点として選択された前記編集候補点に、前記他の画像データを繋げるように、前記画像データを編集する編集手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記指定編集点を前記編集点とした編集を行った場合の編集後の前記画像データのフレームタイプが、編集前の前記画像データのフレームタイプとすべて同じか否かを判断する判断手段をさらに備え、
前記検出手段は、前記指定編集点を前記編集点とした編集を行った場合の編集後の前記画像データのフレームタイプが、編集前の前記画像データのフレームタイプとすべて同じではないと判断された場合、前記指定編集点の近傍において、前記編集候補点を検出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記検出手段は、前記指定編集点が存在するＧＯＰ(group of pictures)内で前記編集候補点を検出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記演算手段は、編集後にフレームタイプが変化したフレームの個数、または、編集後にフレームタイプが変化したフレームの編集前のフレームタイプ若しくは編集後のフレームタイプに基づいて、前記第１の劣化度または前記第２の劣化度を演算する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記提示手段をさらに備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
画像データの編集点に他の画像データを繋げるように、前記画像データを編集する画像処理方法において、
ユーザにより指定された前記画像データ上の指定編集点の近傍において、編集候補点を検出する検出ステップと、
編集前の前記画像データのフレームタイプと、前記指定編集点を前記編集点として編集を行った場合の編集後の前記画像データのフレームタイプとの間の変化に基づいて、編集後の前記画像データの画質の劣化の度合いを表す第１の劣化度を演算するともに、編集前の前記画像データのフレームタイプと、前記候補編集点を前記編集点として編集を行った場合の編集後の前記画像データのフレームタイプとの間の変化に基づいて、編集後の前記画像データの画質の劣化の度合いを表す第２の劣化度を演算する演算ステップと、
前記第１の劣化度と前記第２の劣化度とを比較する比較ステップと、
前記第１の劣化度と前記第２の劣化度の比較の結果、前記第１の劣化度より前記第２の劣化度の方が小さいと判定された場合、前記第２の劣化度と、前記指定編集点から前記編集候補点までの距離を、前記編集候補点に関する情報として、情報をユーザに提示する提示手段に出力する出力ステップと、
ユーザに指定された、前記提示手段により提示された前記編集候補点に関する情報に係る前記編集候補点を、前記編集点として選択する選択ステップと、
前記画像データの、前記編集点として選択された前記編集候補点に、前記他の画像データを繋げるように、前記画像データを編集する編集ステップと
を含むことを特徴とする画像処理方法。
【請求項７】
画像データの編集点に他の画像データを繋げるように、前記画像データを編集する画像処理をコンピュータに実行させるプログラムにおいて、
ユーザにより指定された前記画像データ上の指定編集点の近傍において、編集候補点を検出する検出ステップと、
編集前の前記画像データのフレームタイプと、前記指定編集点を前記編集点として編集を行った場合の編集後の前記画像データのフレームタイプとの間の変化に基づいて、編集後の前記画像データの画質の劣化の度合いを表す第１の劣化度を演算するともに、編集前の前記画像データのフレームタイプと、前記候補編集点を前記編集点として編集を行った場合の編集後の前記画像データのフレームタイプとの間の変化に基づいて、編集後の前記画像データの画質の劣化の度合いを表す第２の劣化度を演算する演算ステップと、
前記第１の劣化度と前記第２の劣化度とを比較する比較ステップと、
前記第１の劣化度と前記第２の劣化度の比較の結果、前記第１の劣化度より前記第２の劣化度の方が小さいと判定された場合、前記第２の劣化度と、前記指定編集点から前記編集候補点までの距離を、前記編集候補点に関する情報として、情報をユーザに提示する提示手段に出力する出力ステップと、
ユーザに指定された、前記提示手段により提示された前記編集候補点に関する情報に係る前記編集候補点を、前記編集点として選択する選択ステップと、
前記画像データの、前記編集点として選択された前記編集候補点に、前記他の画像データを繋げるように、前記画像データを編集する編集ステップと
を含むことを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、編集後の画質が簡単に確認でき、ユーザにとって最適な画像編集ができるようにした画像処理装置および方法、並びにプログラムに関する。
【０００２】
【従来の技術】
ディジタルビデオカメラなどの普及により、ディジタルビデオカメラにより撮影された画像データを、ユーザは、画像編集アプリケーションを用いて、編集して楽しむことができるようになってきた。
【０００３】
この画像データは、例えば、ＭＰＥＧ（Moving Picture Expert Group）２方式によりエンコードされ、記録されている。フレーム間の圧縮が採用されているＭＰＥＧ２においては、ＭＰＥＧ２のフレームとして、フレーム内符号化のみのＩフレーム、順方向予測を使用したＰフレーム、および、双方向予測を使用したＢフレームの３つのフレームタイプが存在する（以下、Ｉフレーム、ＰフレームおよびＢフレームは、それぞれ、Ｉ，ＰおよびＢと適宜称する）。このため、単純に、画像データのある編集点とある編集点をただつなげるだけの編集は、編集前と編集後のフレームタイプが異なってしまう可能性があるため困難であり、編集部分を再度エンコードしなおすことが必要である。
【０００４】
しかしながら、編集部分を再度エンコードしなおす場合においても、画像データを編集するとき、どのフレームタイプのフレームを編集点として選択したかにより、編集後の画質が劣化してしまう可能性がある。このような場合について、図１を参照して説明する。
【０００５】
図１は、画像編集アプリケーションにおいて、画像のデコードに用いるバッファメモリの使用量の変化を表すグラフを表している。
【０００６】
このグラフにおいて、横軸は、時間の流れを表しており、横軸に書いてあるフレームタイプは、デコーダにおいて、その時刻にそのフレームタイプの画像データがデコードされたことを表している。縦軸は、デコーダのバッファメモリの使用量（以下、バッファ量と称する）を表しており、Ｍａｘ（グラフの上方）へ向かうほどバッファ量が多いことを示している。図１に示されるように、Ｉフレームのデコードで使用されるバッファ量Ｖｉが一番多く、続いて、Ｐフレームのデコードで使用されるバッファ量Ｖｐ、Ｂフレームのデコードで使用されるバッファ量Ｖｂの順に少なくなっている。
【０００７】
このようにバッファ量が変化するＩ，Ｂ，Ｂ，Ｐ，Ｂ，…のフレームタイプの画像データが、ユーザにより、画像編集アプリケーションが用いられ、例えば、図２に示されるように、Ｉ，Ｂ，Ｂ，Ｐ，Ｉ，…とフレームタイプが続く画像データに編集されたとする。この編集により、図１の画像データの５番目のフレームがＢフレームからＩフレーム（図２）に変更される。しかしながら、編集前のフレームタイプがＢフレームであった５番目のフレームには、最大でもバッファ量ａ（元のＢフレームのバッファ量Ｖｂに、バッファ量ｂ分だけ増やしたバッファ量）しか割り当てることができない。これは１番目のＩフレームが使用できるバッファ量Ｖｉよりも少ないバッファ量である。したがって、この画像データを上記のように編集し、再度エンコードした場合、５番目のフレームは、使用できるバッファ量が少ないＩフレームに変更されてしまうため、その画質は劣化してしまう恐れがある。
【０００８】
また、図２に示されるように、使用するバッファ量をバッファ量Ｖｂからバッファ量ａに増やした場合、その後のフレームにおいて、その増やしたバッファ量ｂ分を調整する必要があり、どこかでバッファ使用量を削減しなければならない。したがって、そのバッファ使用量を削減したフレームにおいて画質の劣化が生じてしまう。
【０００９】
さらに、一般的にＢフレームはＩフレームおよびＰフレームに比べて画質が悪く、ＢフレームをＩフレームに変換することにより、それを参照して符号化を行っているＢフレームおよびＰフレームの画質の劣化の原因となる恐れがある。
【００１０】
そこで、画質を劣化させないようにするためには、編集する画像データの編集前のフレームタイプと編集後のフレームタイプが同じになるような編集点を選択して編集することが必要になる。
【００１１】
【発明が解決しようとする課題】
しかしながら、ユーザは、画像編集アプリケーションを使用し、自分の好みのシーン（編集点）で編集を行う場合が多い。そのため、編集後の画像データは、編集前と違うフレームタイプで再エンコードされる可能性が多く、編集後の画像データの画質が劣化しまうという課題があった。さらに、同じ画像データにおいて、同様の編集が何度も繰り返されることにより、ますます、その画像データの画質の劣化が目立ってしまうという課題があった。
【００１２】
また、ユーザは、従来の画像編集アプリケーションを用いて、実際に画像データを編集するまで、指定された編集点による編集後の画像データの画質の劣化度が確認できないという課題があった。
【００１３】
本発明はこのような状況に鑑みてなされたものであり、編集後の画質が簡単に確認でき、画像を最適に編集できるようにするものである。
【００１４】
【課題を解決するための手段】
本発明の画像処理装置は、ユーザにより指定された画像データ上の指定編集点の近傍において、編集候補点を検出する検出手段と、編集前の画像データのフレームタイプと、指定編集点を編集点として編集を行った場合の編集後の画像データのフレームタイプとの間の変化に基づいて、編集後の画像データの画質の劣化の度合いを表す第１の劣化度を演算するともに、編集前の画像データのフレームタイプと、候補編集点を編集点として編集を行った場合の編集後の画像データのフレームタイプとの間の変化に基づいて、編集後の画像データの画質の劣化の度合いを表す第２の劣化度を演算する演算手段と、第１の劣化度と第２の劣化度とを比較する比較手段と、比較手段による比較の結果、第１の劣化度より第２の劣化度の方が小さいと判定された場合、第２の劣化度と、指定編集点から編集候補点までの距離を、編集候補点に関する情報として、情報をユーザに提示する提示手段に出力する出力手段と、ユーザに指定された、提示手段により提示された編集候補点に関する情報に係る編集候補点を、編集点として選択する選択手段と、画像データの、編集点として選択された編集候補点に、他の画像データを繋げるように、画像データを編集する編集手段とを備えることを特徴とする。
【００１６】
指定編集点を編集点とした編集を行った場合の編集後の画像データのフレームタイプが、編集前の画像データのフレームタイプとすべて同じか否かを判断する判断手段をさらに備え、検出手段は、編集後の画像データのフレームタイプが、編集前の画像データのフレームタイプとすべて同じではないと判断された場合、指定編集点の近傍において、編集候補点を検出するようにすることができる。
【００１７】
検出手段は、指定編集点が存在するＧＯＰ(group of pictures)内で編集候補点を検出するようにすることができる。
【００１８】
演算手段は、編集後にフレームタイプが変化したフレームの個数、または、編集後にフレームタイプが変化したフレームの編集前のフレームタイプ若しくは編集後のフレームタイプに基づいて、第１の劣化度または第２の劣化度を演算するようにすることができる。
【００１９】
提示手段をさらに設けるようにすることができる。
【００２０】
本発明の画像処理方法は、ユーザにより指定された画像データ上の指定編集点の近傍において、編集候補点を検出する検出ステップと、編集前の画像データのフレームタイプと、指定編集点を編集点として編集を行った場合の編集後の画像データのフレームタイプとの間の変化に基づいて、編集後の画像データの画質の劣化の度合いを表す第１の劣化度を演算するともに、編集前の画像データのフレームタイプと、候補編集点を編集点として編集を行った場合の編集後の画像データのフレームタイプとの間の変化に基づいて、編集後の画像データの画質の劣化の度合いを表す第２の劣化度を演算する演算ステップと、第１の劣化度と第２の劣化度とを比較する比較ステップと、第１の劣化度と第２の劣化度の比較の結果、第１の劣化度より第２の劣化度の方が小さいと判定された場合、第２の劣化度と、指定編集点から編集候補点までの距離を、編集候補点に関する情報として、情報をユーザに提示する提示手段に出力する出力ステップと、ユーザに指定された、提示手段により提示された編集候補点に関する情報に係る編集候補点を、編集点として選択する選択ステップと、画像データの、編集点として選択選択された編集候補点に、他の画像データを繋げるように、画像データを編集する編集ステップとを含むことを特徴とする。
【００２１】
本発明のプログラムは、ユーザにより指定された画像データ上の指定編集点の近傍において、編集候補点を検出する検出ステップと、編集前の画像データのフレームタイプと、指定編集点を編集点として編集を行った場合の編集後の画像データのフレームタイプとの間の変化に基づいて、編集後の画像データの画質の劣化の度合いを表す第１の劣化度を演算するともに、編集前の画像データのフレームタイプと、候補編集点を編集点として編集を行った場合の編集後の画像データのフレームタイプとの間の変化に基づいて、編集後の画像データの画質の劣化の度合いを表す第２の劣化度を演算する演算ステップと、第１の劣化度と第２の劣化度とを比較する比較ステップと、第１の劣化度と第２の劣化度の比較の結果、第１の劣化度より第２の劣化度の方が小さいと判定された場合、第２の劣化度と、指定編集点から編集候補点までの距離を、編集候補点に関する情報として、情報をユーザに提示する提示手段に出力する出力ステップと、ユーザに指定された、提示手段により提示された編集候補点に関する情報に係る編集候補点を、編集点として選択する選択ステップと、画像データの、編集点として選択された編集候補点に、他の画像データを繋げるように、画像データを編集する編集ステップとを含むことを特徴とする。
【００２２】
本発明においては、ユーザにより指定された画像データ上の指定編集点の近傍において、編集候補点が検出され、編集前の画像データのフレームタイプと、指定編集点を編集点として編集を行った場合の編集後の画像データのフレームタイプとの間の変化に基づいて、編集後の画像データの画質の劣化の度合いを表す第１の劣化度が演算されるともに、編集前の画像データのフレームタイプと、候補編集点を編集点として編集を行った場合の編集後の画像データのフレームタイプとの間の変化に基づいて、編集後の画像データの画質の劣化の度合いを表す第２の劣化度が演算され、第１の劣化度と第２の劣化度とが比較され、比較手段による比較の結果、第１の劣化度より第２の劣化度の方が小さいと判定された場合、第２の劣化度と、指定編集点から編集候補点までの距離が、編集候補点に関する情報として、情報をユーザに提示する提示手段に出力され、ユーザに指定された、提示手段により提示された編集候補点に関する情報に係る編集候補点が、編集点として選択され、画像データの、編集点として選択された編集候補点に、他の画像データを繋げるように、画像データが編集される。
【００２３】
【発明の実施の形態】
以下、図を参照して本発明の実施の形態について説明する。
【００２４】
図３は、本発明を適用した画像処理装置１の構成例を表している。図３において、CPU（Central Processing Unit）２１は、ROM（Read Only Memory）２２に記憶されているプログラム、または記憶部２８からRAM（Random Access Memory）２３にロードされたプログラムに従って各種の処理を実行する。RAM２３にはまた、CPU２１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００２５】
編集点検出部２４は、ユーザによる操作により指定された編集点における編集前の画像データ（ビットストリーム）のフレームタイプと編集後の画像データ（ビットストリーム）のフレームタイプがすべて同じか否かを判断したり、指定された編集点の近傍から、編集候補点を検出する。また、編集点検出部２４は、指定された編集点または編集候補点における編集後の画質の劣化度を求めるとともに、求められた画質の劣化度を比較判断する。画像処理部２５は、ユーザの操作により指定された編集点における画像の編集処理を行う。
【００２６】
CPU２１、ROM２２、RAM２３、編集点検出部２４、および画像処理部２５は、バス３１を介して相互に接続されている。このバス３１にはまた、入出力インタフェース３２も接続されている。
【００２７】
入出力インタフェース３２には、キーボード、マウスなどよりなる入力部２６、CRT(Cathode Ray Tube)、LCD(Liquid Crystal Display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部２７、ハードディスクなどより構成される記憶部２８、モデム、ターミナルアダプタなどより構成される通信部２９が接続されている。通信部２９は、ネットワーク（図示しない）を介しての通信処理を行う。
【００２８】
入出力インタフェース３２にはまた、必要に応じてドライブ３０が接続され、磁気ディスク４１、光ディスク４２、光磁気ディスク４３、或いは半導体メモリ４４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２８にインストールされる。
【００２９】
次に、図４および図５のフローチャートを参照して、画像処理装置１の画像編集処理について説明する。
【００３０】
ユーザは、ディジタルビデオカメラなどを使用して、画像データを撮影する。この画像データは、例えば、１ＧＯＰが１５フレームとして、ＭＰＥＧ２方式によりエンコードされ、メモリスティック（登録商標）などの半導体メモリ４４などに記録されている。画像処理装置１のCPU２１は、ユーザの指示に基づいて、ドライブ３０に装着された半導体メモリ４４より、この画像データを読み出し、出力部２７を制御し、モニタに出力する。
【００３１】
そこで、ユーザは、その画像データを見ながら、好みの編集点を入力部２６を操作することにより指定する。例えば、ユーザは、図６に示されるように、画像データのビットストリームのうち、ビットストリームＡの選択範囲ＡＲ１（…，Ｂ，Ｐ，Ｂ，Ｂ，Ｉ，Ｂ，Ｂ，Ｐ，Ｂ）と、ビットストリームＢの選択範囲ＢＲ１（Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，…）をつなげる編集作業を行うため、ビットストリームＡ側の編集点ＡＰ１とビットストリームＢ側の編集点ＢＰ１を指定する。
【００３２】
ステップＳ１において、CPU２１は、入力部２６を介して編集点が指定されるまで待機している。そこで、このユーザの指定が入力部２６を介して検知されると、CPU２１は、ステップＳ１において、編集点が指定されたと判断し、ステップＳ２において、その指定された編集点ＡＰ１および編集点ＢＰ１を編集点検出部２４に出力する。ユーザにより指定された編集点として、編集点ＡＰ１および編集点ＢＰ１を受けた編集点検出部２４は、ステップＳ３において、指定された編集点ＡＰ１および編集点ＢＰ１における編集前のビットストリームのフレームタイプと編集後のビットストリームのフレームタイプがすべて同じか否かを判断する。
【００３３】
図６の場合、ビットストリームＡとビットストリームＢが、編集点ＡＰ１および編集点ＢＰ１により編集された後のビットストリームＣ（選択範囲ＡＲ１＋選択範囲ＢＲ１）において、編集点ＢＰ１をｃ１とし、それ以降のフレームをそれぞれ、ｃ２，ｃ３，ｃ４，ｃ５，ｃ６，ｃ７，ｃ８，ｃ９，…とすると、フレームｃ２がＢフレームからＰフレームに変換され、フレームｃ３がＰフレームからＢフレームに変換され、フレームｃ５がＢフレームからＰフレームに変換され、フレームｃ６がＰフレームからＢフレームに変換され、フレームｃ８がＢフレームからＩフレームに変換され、フレームｃ９がＰフレームからＢフレームに変換されている。また、フレームｃ１，ｃ４およびｃ７においては、編集前と編集後のフレームタイプの変化がない。
【００３４】
そこで、編集点検出部２４は、ステップＳ３において、指定された編集点ＡＰ１および編集点ＢＰ１における編集前のビットストリームのフレームタイプと編集後のビットストリームのフレームタイプがすべて同じではないと判断し、ステップＳ４において、編集候補点の検出処理を実行する。図５のフローチャートを参照して、ステップＳ４の編集候補点実行処理について説明する。
【００３５】
まず、ステップＳ２１において、編集点検出部２４は、指定された編集点ＡＰ１および編集点ＢＰ１における編集前と編集後のフレームタイプに基づいて、編集後の画像データ（ビットストリームＣ）の画質の劣化度Ｑ１を求める。画質の劣化度Ｑ１は、ビットストリームＣのうち編集後に変化したフレームの個数や、そのフレームにおける編集前のフレームタイプおよび編集後のフレームタイプの種類などにより求めることができる。
【００３６】
次に、ステップＳ２２において、編集点検出部２４は、指定された編集点ＡＰ１の近傍および編集点ＢＰ１の近傍において、それぞれ、編集候補点を検出する。なお、編集点ＡＰ１の近傍とは、編集点ＡＰ１が存在するＧＯＰ内とされる（今の場合、１ＧＯＰ＝１５フレーム）。同様に、編集点ＢＰ１の近傍とは、編集点ＢＰ１が存在するＧＯＰ内とされる。例えば、図７に示されるように、編集点ＡＰ１の編集候補点として、編集点ＡＰ１からビットストリームＡの前方（図の左方向）に５フレーム移動した編集候補点ＡＰ２が検出され、編集点ＢＰ１の編集候補点として、編集点ＢＰ１からビットストリームＢの前方（図の左方向）に１フレーム移動した編集候補点ＢＰ２が検出される。
【００３７】
ステップ２３において、編集点検出部２４は、検出された編集候補点ＡＰ２および編集候補点ＢＰ２における編集前のビットストリームのフレームタイプと編集後のビットストリームのフレームタイプに基づいて、編集後の画像データ（ビットストリームＤ）の画質の劣化度Ｑ２を求める（Ｑ１と同様）。図７の場合、ビットストリームＡとビットストリームＢが、編集点ＡＰ２および編集点ＢＰ２により編集された後のビットストリームＤは、選択範囲ＡＲ２（…，Ｂ，Ｐ，Ｂ，Ｂ）＋選択範囲ＢＲ２（Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，…）で構成される。このビットストリームＤにおいて、編集点ＢＰ２をｄ１とし、それ以降のフレームをそれぞれ、ｄ２，ｄ３，ｄ４，ｄ５，ｄ６，ｄ７，ｄ８，ｄ９，ｄ１０，…とすると、フレームｄ１以降において、編集前と編集後のフレームタイプの変化がない。したがって、この場合、求められる劣化度Ｑ２は、ほとんど０に近い。
【００３８】
そこで、編集点検出部２４は、ステップＳ２４において、ステップＳ２１で求められた劣化度Ｑ１より、ステップＳ２３で求められた劣化度Ｑ２が小さいか否かを比較判断し、劣化度Ｑ１より劣化度Ｑ２が小さいと比較判断した場合、ステップＳ２５において、編集候補点ＡＰ２および編集候補点ＢＰ２の劣化度Ｑ２と編集点ＡＰ１から編集候補点ＡＰ２までの距離（以下、移動量と称する）（５フレーム）および編集点ＢＰ１から編集候補点ＢＰ２までの移動量（１フレーム）をCPU２１に出力する。このとき、編集候補点ＡＰ２および編集候補点ＢＰ２の劣化度Ｑ２、あるいは、編集点から編集候補点までの移動量のうちどちらか一方を出力するようにしてもよい。
【００３９】
ステップＳ２４において、劣化度Ｑ１より劣化度Ｑ２が大きいと判断された場合、編集候補点ＡＰ２および編集候補点ＢＰ２は、編集候補点（編集点の候補）から外されるため、ステップＳ２５の処理はスキップされる。
【００４０】
ステップＳ２６において、編集点検出部２４は、すべての編集候補点について検出処理が終了したか否かを判断する。今の場合、編集点ＡＰ１の存在するＧＯＰ内および編集点ＢＰ１の存在するＧＯＰ内において、編集点ＡＰ１と編集点ＢＰ１の、それぞれの編集候補点であり得るすべてのフレームについて検出処理が終了したか否かを判断する。ステップＳ２６において、編集点検出部２４は、他の編集候補点についてまだ終了していない（まだ、ＧＯＰ内に検出処理が終了していない編集候補点が存在する）と判断した場合、ステップＳ２２に戻り、図８に示されるように、次の編集候補点ＡＰ３および編集候補点ＢＰ３を検出する。編集候補点ＡＰ３は、編集点ＡＰ１からビットストリームＡの前方（図の左方向）に２フレーム移動したフレームであり、編集候補点ＢＰ３は、編集点ＢＰ１からビットストリームＢの前方（図の左方向）に１フレーム移動したフレームである。
【００４１】
図７の場合と同様に、編集点検出部２４は、ステップ２３において、検出された編集候補点ＡＰ３および編集候補点ＢＰ３における編集前のビットストリームのフレームタイプと編集後のビットストリームのフレームタイプに基づいて、編集後の画像データ（ビットストリームＥ）の画質の劣化度Ｑ２を求める。図８の場合、ビットストリームＡとビットストリームＢが、編集点ＡＰ３および編集点ＢＰ３により編集された後のビットストリームＥは、選択範囲ＡＲ３（…，Ｂ，Ｐ，Ｂ，Ｂ，Ｉ，Ｂ，Ｂ）＋選択範囲ＢＲ３（Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ，…）で構成される。このビットストリームＥにおいて、編集点ＢＰ３をｅ１とし、それ以降のフレームをそれぞれ、ｅ２，ｅ３，ｅ４，ｅ５，ｅ６，ｅ７，…とすると、フレームｅ１がＩフレームからＰフレームに変換されている。また、フレームｅ２乃至ｅ７においては、編集前と編集後のフレームタイプの変化がない。このように、編集前のビットストリームのフレームタイプと編集後のビットストリームのフレームタイプの変化により、劣化度Ｑ２が求められる。
【００４２】
そこで、編集点検出部２４は、ステップＳ２４において、ステップＳ２１で求められた劣化度Ｑ１より、ステップＳ２３で求められた劣化度Ｑ２が小さいか否かを比較判断し、劣化度Ｑ１より劣化度Ｑ２が小さいと比較判断した場合、ステップＳ２５において、編集候補点ＡＰ３および編集候補点ＢＰ３における編集後の画像データの劣化度Ｑ２と編集点ＡＰ１から編集候補点ＡＰ３までの移動量（２フレーム）および編集点ＢＰ１から編集候補点ＢＰ３までの移動量（１フレーム）をCPU２１に出力する。
【００４３】
その後、編集点検出部２４により、以上の処理が、編集点ＡＰ１の存在するＧＯＰ内および編集点ＢＰ１の存在するＧＯＰ内において、編集点ＡＰ１と編集点ＢＰ１の、それぞれの編集候補点であり得るすべてのフレームについて繰り返され、ステップＳ２６において、すべての編集候補点について検出処理を終了したと判断された場合、処理は、図４のステップＳ５に進む。
【００４４】
ステップＳ５において、CPU２１は、出力部２７を制御し、図５のステップＳ２５で出力された編集候補点における情報（編集後の画像データの劣化度Ｑ２と編集点からそれに対応する編集候補点までの移動量）をすべてモニタに出力させる。なお、モニタに出力される情報としては、編集後の画像データの劣化度Ｑ２、または、編集点から編集候補点までの移動量のどちらか一方を出力してもよいし、両方出力するようにしてもよい。
【００４５】
例えば、図７の編集候補点ＡＰ２および編集候補点ＢＰ２と図８の編集候補点ＡＰ３および編集候補点ＢＰ３における編集後の画像データの劣化度Ｑ２と編集点からそれに対応する編集候補点までの移動量が出力される。図７の編集候補点ＡＰ２および編集候補点ＢＰ２と図８の編集候補点ＡＰ３および編集候補点ＢＰ３を比較すると、編集候補点ＡＰ３および編集候補点ＢＰ３における編集後の画像データの劣化度Ｑ２は、編集候補点ＡＰ２および編集候補点ＢＰ２における編集後の画像データの劣化度Ｑ２よりも大きいが、編集点ＡＰ１から編集候補点ＡＰ３までの移動量および編集点ＢＰ１から編集候補点ＢＰ３までの移動量は、編集点ＡＰ１から編集候補点ＡＰ２までの移動量および編集点ＢＰ１から編集候補点ＢＰ２までの移動量よりも小さい。
【００４６】
このように、編集点ＡＰ１および編集点ＢＰ１における編集後の画像データの劣化度Ｑ１よりも小さい劣化度である編集候補点が検出され、その編集候補点の編集後の画像データの劣化度Ｑ２および編集点からの移動量が出力されるので、ユーザは、これらを見比べ、この中から好みの編集候補点を選択することができる。
【００４７】
そこで、ユーザは、モニタに出力された編集候補点における編集後の画像データの劣化度Ｑ２と編集点からそれに対応する編集候補点までの移動量を見て、好みの編集候補点（例えば、編集候補点ＡＰ２および編集候補点ＢＰ２）を実際に編集する編集点として決定し、入力部２６を操作することにより指定する。なお、ユーザの好む編集候補点がなかった場合、ユーザは、ステップＳ１で選択した編集点ＡＰ１およびＢＰ１を選択することもできる。
【００４８】
ステップＳ６において、CPU２１は、入力部２６を介して実際に編集する編集点が指定されるまで待機している。そこで、このユーザの指定が入力部２６を介して検知されると、CPU２１は、ステップＳ６において、編集点が指定されたと判断し、ステップＳ７において、その指定された編集点（この場合、編集候補点ＡＰ２および編集候補点ＢＰ２）を画像処理部２５に出力する。
【００４９】
一方、ステップＳ３において、指定された編集点ＡＰ１および編集点ＢＰ１における編集前のビットストリームのフレームタイプと編集後のビットストリームのフレームタイプがすべて同じであると判断された場合、他の編集候補点を検出する必要がない（Ｑ１＞Ｑ２となる編集候補点は存在しない）ので、ステップＳ４乃至Ｓ６の処理は、スキップされ、ステップＳ７において、ステップＳ１において指定された編集点ＡＰ１および編集点ＢＰ１が画像処理部２５に出力される。
【００５０】
ステップＳ８において、画像処理部２５は、ステップＳ７で受けた編集点における画像データの編集処理を実行し、編集後の画像データをCPU２１に出力する。すなわち、この画像データにおいて、ビットストリームＡの編集点ＡＰ２とビットストリームＢの編集点ＢＰ２のフレームを繋げる編集処理が行われ、その後、ビットストリームＤ（選択範囲ＡＲ２＋選択範囲ＢＲ２）を再エンコードする処理が行われる。
【００５１】
以上により、編集された画像データを受けたCPU２１は、ステップＳ９において、ドライブ部３０を制御し、半導体メモリ４４に保存（記録）させ、画像データの編集処理を終了させる。
【００５２】
上記説明においては、画像データを半導体メモリ４４などの記録媒体から直接編集するようにしたが、一旦、画像処理装置１の記憶部２８に記憶するようにしてから、画像データを編集するようにしてもよい。
【００５３】
以上より、ユーザは、自分の指定した編集点と画質のよくなる編集候補点を見比べながら、実際に編集を行う編集点を選択することができるので、ユーザにとって、最適な画像編集を行うことができる。すなわち、自分の指定した編集点にこだわりのあるユーザは、画質のよくなる編集候補点のうち、自分の指定した編集点に最も近い（指定した編集点からの距離が最も短い）編集候補点を指定して編集することができるし、画質にこだわりのあるユーザは、最も画質のよい（編集後の画質の劣化度Ｑ２の最も小さい）編集候補点を指定して編集することができる。
【００５４】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
【００５５】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図３に示されるように、磁気ディスク４１（フレキシブルディスクを含む）、光ディスク４２（CD-ROM(CompactDisc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク４３（MD(Mini-Disc)（商標）を含む）、もしくは半導体メモリ４４などよりなるパッケージメディア、または、プログラムが一時的もしくは永続的に格納されるＲＯＭ２２や、記憶部２８などにより構成される。
【００５６】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００５７】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００５８】
【発明の効果】
以上の如く、本発明によれば、編集後の画質が簡単に確認でき、さらに、画像を最適に編集することができる。
【図面の簡単な説明】
【図１】従来の画像データのバッファメモリの使用量を説明する図である。
【図２】従来の編集後の画像データのバッファメモリの使用量を説明する図である。
【図３】本発明を適用した画像処理装置の構成例を示すブロック図である。
【図４】図３の画像処理装置の画像編集処理を説明するフローチャートである。
【図５】図３のステップＳ４の編集候補点の検出処理を説明するフローチャートである。
【図６】編集前と編集後の画像データの構成例を説明する図である。
【図７】編集前と編集後の画像データの他の構成例を説明する図である。
【図８】編集前と編集後の画像データのさらに他の構成例を説明する図である。
【符号の説明】
１  画像処理装置，２１  CPU，２４  編集点検出部，２５  画像処理部，２６入力部，２７  出力部
【図１】
0004000862.tif 000002
【図２】
0004000862.tif 000003
【図３】
0004000862.tif 000004
【図４】
0004000862.tif 000005
【図５】
0004000862.tif 000006
【図６】
0004000862.tif 000007
【図７】
0004000862.tif 000008
【図８】
0004000862.tif 000009