(57)【要約】【課題】再エンコード処理において、不要な画質の劣化や処理時間の増大を抑制することができるようにする。【解決手段】制御部12の再エンコード区間決定部21は、再エンコード長情報記憶部11に記憶されている再エンコード長情報に基づいて、再エンコード処理部13が行う再エンコード処理について、種々の再エンコード条件に最適な再エンコード長を求めて再エンコード区間を設定し、再エンコード処理部13は、動画像コンテンツの、その再エンコード区間を再エンコードする。本発明は、画像処理装置に適用することができる。【選択図】図2
2008131147.tif 000002
【特許請求の範囲】
【請求項１】
動画像のスマートレンダリング編集を行う画像処理装置であって、
前記スマートレンダリング編集において、エンコーダの再エンコード処理に関する条件である再エンコード条件に基づいて、前記動画像の前記再エンコード処理を行う部分の長さである再エンコード長を決定するための情報である再エンコード情報を記憶する記憶手段と、
前記記憶手段に記憶されている前記再エンコード情報を用いて、前記エンコーダの再エンコード条件より、適切な再エンコード長を決定する決定手段と
を備える画像処理装置。
【請求項２】
前記再エンコード情報は、前記再エンコード条件毎の適切な再エンコード長を示すグラフ情報である
請求項1に記載の画像処理装置。
【請求項３】
前記動画像の特徴を解析する解析手段と、
前記解析手段による解析結果に基づいて、前記再エンコード長を決定するための閾値を最適化する閾値最適化手段と
をさらに備え、
前記決定手段は、前記再エンコード条件に基づいて、前記再エンコード長の候補を選択し、前記閾値最適化手段により最適化された前記閾値を用いて、前記候補の中から適切な再エンコード長を決定する
請求項1に記載の画像処理装置。
【請求項４】
前記再エンコード長情報を生成する生成手段をさらに備え、
前記記憶手段は、前記生成手段により生成された前記再エンコード長情報を記憶する
請求項1に記載の画像処理装置。
【請求項５】
複数の動画像を提供する提供手段をさらに備え、
前記生成手段は、前記提供手段により提供される動画像毎に前記再エンコード長情報を生成し、前記記憶手段は、前記動画像毎の再エンコード長情報を記憶する
請求項4に記載の画像処理装置。
【請求項６】
前記生成手段は、再エンコードによる画質劣化の度合いに基づいて、再エンコード条件毎の適切な再エンコード長を求めることにより、前記再エンコード長情報を生成する
請求項4に記載の画像処理装置。
【請求項７】
前記生成手段は、再エンコードによる画質劣化の変化の度合いに基づいて、再エンコード条件毎の適切な再エンコード長を求めることにより、前記再エンコード長情報を生成する
請求項4に記載の画像処理装置。
【請求項８】
動画像のスマートレンダリング編集を行う画像処理装置の画像処理方法であって、
記憶部に記憶されている、前記スマートレンダリング編集において、エンコーダの再エンコード処理に関する条件である再エンコード条件に基づいて、前記動画像の前記再エンコード処理を行う部分の長さである再エンコード長を決定するための情報である再エンコード情報を用いて、前記エンコーダの再エンコード条件より、適切な再エンコード長を決定する決定ステップを備える
画像処理方法。
【請求項９】
動画像のスマートレンダリング編集を行うコンピュータが実行可能なプログラムであって、
記憶部に記憶されている、前記スマートレンダリング編集において、エンコーダの再エンコード処理に関する条件である再エンコード条件に基づいて、前記動画像の前記再エンコード処理を行う部分の長さである再エンコード長を決定するための情報である再エンコード情報を用いて、前記エンコーダの再エンコード条件より、適切な再エンコード長を決定する決定ステップをコンピュータに実行させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、再エンコード条件に応じて適切な再エンコード長を選択し、不要な画質の劣化や処理時間の増大を抑制することができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、MPEG（Moving Picture Experts Group）に代表される動画コンテンツをフレーム精度で切り出し編集する際に、エンコード時間を短くし且つ画質を劣化させない技術にスマートレンダリング編集がある（例えば、特許文献1参照）。
【０００３】
図1は、2つの動画像素材（素材Ａと素材Ｂの一部）を切り出して繋ぎ合わせる編集を行う場合のスマートレンダリング編集の例を説明する図である。図1に示されるように、切り出された素材Ａの一部と素材Ｂの一部は、繋ぎ合わせられる際に、フレーム精度とする為に必ず再エンコード区間が生じるが、スマートレンダリング編集の場合、切り出した全ての区間を再エンコードするのではなく、図1の斜線で示される部分のように、両端の一部分のみを再エンコードする。つまり、図1の例においては、両矢印1乃至両矢印4に示されるように4つの再エンコード区間が生じる。
【０００４】
この再エンコード区間はエンコード処理を行う為、処理負荷が高く、エンコーダバッファモデル制約を満たす為に制限（バッファOccupancy制約条件）付きエンコードとなる為画質劣化を招きやすい。すなわち、過度に短い再エンコード長では画質劣化を生じてしまう。従来においてはこの再エンコード長は、固定とされていた。
【特許文献１】特開2004-104361号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、最適な再エンコード長は、エンコード条件やエンコーダ特性に依存して変化する。例えば、エンコード条件が容易になるように、再エンコード区間を必要以上に長く設定すると再エンコード処理の時間が不要に増大してしまう恐れがあり、逆に、エンコード条件が厳しくなるように、再エンコード区間を必要以上に短く設定すると、画質劣化の恐れがあった。
【０００６】
従って、従来の方法のように再エンコード長を固定的に設定すると、編集対象の素材の特性や再エンコード条件によって設定が不適切となり、不要に画質を劣化させてしまったり、処理時間を増大させてしまったりする恐れがあった。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、再エンコード条件に応じて適切な再エンコード長を選択し、不要な画質の劣化や処理時間の増大を抑制することができるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の側面は、動画像のスマートレンダリング編集を行う画像処理装置であって、前記スマートレンダリング編集において、エンコーダの再エンコード処理に関する条件である再エンコード条件に基づいて、前記動画像の前記再エンコード処理を行う部分の長さである再エンコード長を決定するための情報である再エンコード情報を記憶する記憶手段と、前記記憶手段に記憶されている前記再エンコード情報を用いて、前記エンコーダの再エンコード条件より、適切な再エンコード長を決定する決定手段とを備える画像処理装置である。
【０００９】
前記再エンコード情報は、前記再エンコード条件毎の適切な再エンコード長を示すグラフ情報であるようにすることができる。
【００１０】
前記動画像の特徴を解析する解析手段と、前記解析手段による解析結果に基づいて、前記再エンコード長を決定するための閾値を最適化する閾値最適化手段とをさらに備え、前記決定手段は、前記再エンコード条件に基づいて、前記再エンコード長の候補を選択し、前記閾値最適化手段により最適化された前記閾値を用いて、前記候補の中から適切な再エンコード長を決定することができる。
【００１１】
前記再エンコード長情報を生成する生成手段をさらに備え、前記記憶手段は、前記生成手段により生成された前記再エンコード長情報を記憶することができる。
【００１２】
複数の動画像を提供する提供手段をさらに備え、前記生成手段は、前記提供手段により提供される動画像毎に前記再エンコード長情報を生成し、前記記憶手段は、前記動画像毎の再エンコード長情報を記憶することができる。
【００１３】
前記生成手段は、再エンコードによる画質劣化の度合いに基づいて、再エンコード条件毎の適切な再エンコード長を求めることにより、前記再エンコード長情報を生成することができる。
【００１４】
前記生成手段は、再エンコードによる画質劣化の変化の度合いに基づいて、再エンコード条件毎の適切な再エンコード長を求めることにより、前記再エンコード長情報を生成することができる。
【００１５】
本発明の側面はまた、動画像のスマートレンダリング編集を行う画像処理装置の画像処理方法またはプログラムであって、記憶部に記憶されている、前記スマートレンダリング編集において、エンコーダの再エンコード処理に関する条件である再エンコード条件に基づいて、前記動画像の前記再エンコード処理を行う部分の長さである再エンコード長を決定するための情報である再エンコード情報を用いて、前記エンコーダの再エンコード条件より、適切な再エンコード長を決定する決定ステップを備える画像処理方法またはプログラムである。
【００１６】
本発明の側面においては、スマートレンダリング編集において、エンコーダの再エンコード処理に関する条件である再エンコード条件に基づいて、動画像の再エンコード処理を行う部分の長さである再エンコード長を決定するための情報である再エンコード情報が記憶され、その再エンコード情報が用いられ、エンコーダの再エンコード条件より、適切な再エンコード長が決定される。
【発明の効果】
【００１７】
本発明によれば、画像を処理することができる。特に、再エンコード処理において、不要な画質の劣化や処理時間の増大を抑制することができる。
【発明を実施するための最良の形態】
【００１８】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１９】
本発明の側面は、動画像のスマートレンダリング編集を行う画像処理装置（例えば、図2のスマートレンダリング編集装置10）であって、前記スマートレンダリング編集において、エンコーダの再エンコード処理に関する条件である再エンコード条件に基づいて、前記動画像の前記再エンコード処理を行う部分の長さである再エンコード長を決定するための情報である再エンコード情報を記憶する記憶手段（例えば、図2の再エンコード長情報記憶部11）と、前記記憶手段に記憶されている前記再エンコード情報を用いて、前記エンコーダの再エンコード条件より、適切な再エンコード長を決定する決定手段（例えば、図2の再エンコード区間決定部21）とを備える画像処理装置である。
【００２０】
前記再エンコード情報は、前記再エンコード条件毎の適切な再エンコード長を示すグラフ情報（例えば、図3のグラフ）であるようにすることができる。
【００２１】
前記動画像の特徴を解析する解析手段（例えば、図5の素材情報解析部71）と、前記解析手段による解析結果に基づいて、前記再エンコード長を決定するための閾値を最適化する閾値最適化手段（例えば、図5の閾値最適化部72）とをさらに備え、前記決定手段は、前記再エンコード条件に基づいて、前記再エンコード長の候補を選択し、前記閾値最適化手段により最適化された前記閾値を用いて、前記候補の中から適切な再エンコード長を決定することができる。
【００２２】
前記再エンコード長情報を生成する生成手段（例えば、図7の再エンコード長情報生成部113）をさらに備え、前記記憶手段は、前記生成手段により生成された前記再エンコード長情報を記憶することができる。
【００２３】
複数の動画像を提供する提供手段（例えば、図5のサンプル画像提供部111）をさらに備え、前記生成手段は、前記提供手段により提供される動画像毎に前記再エンコード長情報を生成し、前記記憶手段は、前記動画像毎の再エンコード長情報を記憶することができる。
【００２４】
前記生成手段は、再エンコードによる画質劣化の度合いに基づいて、再エンコード条件毎の適切な再エンコード長を求めることにより、前記再エンコード長情報を生成する（例えば、図8の降下度閾値比較部141）ことができる。
【００２５】
前記生成手段は、再エンコードによる画質劣化の変化の度合いに基づいて、再エンコード条件毎の適切な再エンコード長を求めることにより、前記再エンコード長情報を生成する（例えば、図8の変化度閾値比較部143）ことができる。
【００２６】
本発明の側面はまた、動画像のスマートレンダリング編集を行う画像処理装置（例えば、図2のスマートレンダリング編集装置10）の画像処理方法またはプログラムであって、記憶部（例えば、図2の再エンコード長情報記憶部11）に記憶されている、前記スマートレンダリング編集において、エンコーダの再エンコード処理に関する条件である再エンコード条件に基づいて、前記動画像の前記再エンコード処理を行う部分の長さである再エンコード長を決定するための情報である再エンコード情報を用いて、前記エンコーダの再エンコード条件より、適切な再エンコード長を決定する決定ステップ（例えば、図4のステップS1およびステップS2）を備える画像処理方法またはプログラムである。
【００２７】
以下、本発明の実施の形態について説明する。
【００２８】
図2は、本発明を適用したスマートレンダリング編集装置の構成例を示すブロック図である。図2において、スマートレンダリング編集装置10は、動画像コンテンツをフレーム精度で切り出し編集する際に再エンコードを部分的に行うスマートレンダリング編集を行う装置である。スマートレンダリング編集装置10は、再エンコード長情報記憶部11、制御部12、再エンコード処理部13を有する。
【００２９】
制御部12の再エンコード区間決定部21は、再エンコード長情報記憶部11に記憶されている、再エンコードを行う部分の長さである再エンコード長に関する情報である再エンコード長情報に基づいて、再エンコード処理部13が行う再エンコード処理について、種々の再エンコード条件（再エンコード処理に関する種々の条件）に最適な再エンコード長を求めて再エンコード区間（再エンコードを行う部分）を設定し、再エンコード処理部13は、動画像コンテンツの、その再エンコード区間を再エンコードする。すなわち、スマートレンダリング編集装置10は、再エンコードを行う再エンコード長を固定的に設定しておらず、エンコーダ等に起因する再エンコード条件に基づいて適応的に再エンコード長（すなわち、再エンコード区間）を設定し、その再エンコード区間の再エンコードを行う。
【００３０】
再エンコード長情報記憶部11には、例えば、図3に示されるように、予め定められた、再エンコード条件と必要十分な再エンコード長との関係を示す情報が、再エンコード長情報として記憶されている。図3は、再エンコード長情報の例を示す図であり、再エンコード条件毎の必要十分な（適切な）再エンコード長を示すグラフである。図3においては、再エンコード条件（横軸）として、エンコード区間の後方に対するバッファのOccupancy制約条件である後方Occupancy制約値と、エンコード区間の前方に対するバッファのOccupancy制約条件である前方Occupancy制約値の差分が示され、その差分値に対する必要十分な再エンコード長（縦軸）が示されている。図3に示されるように、後方Occupancy制約値と前方Occupancy制約値の差分値によって、必要十分な再エンコード長（すなわち、最適な再エンコード長）は変化する。
【００３１】
なお、図3において、曲線31は、動画像コンテンツのバッファ流入レートと使用可能なビットレートの差（レート差）が小さい場合の、再エンコード条件と必要十分な再エンコード長との関係を示す曲線であり、曲線32は、レート差が中程度である場合の再エンコード条件と必要十分な再エンコード長との関係を示す曲線であり、曲線33は、レート差が大きい場合の再エンコード条件と必要十分な再エンコード長との関係を示す曲線である。このように、レート差によっても、必要十分な再エンコード長（すなわち、最適な再エンコード長）は変化する。
【００３２】
図3に示されるグラフは、再エンコード長情報の一例である。再エンコード長情報記憶部11が記憶する再エンコード長情報は、図3に示される例以外のものであってもよい。例えば、再エンコード条件は、後方Occupancy制約値と前方Occupancy制約値の差分値やレート差以外であってもよい。また、再エンコード長情報は、グラフ情報以外であってもよく、例えば表や数式等であってもよい。
【００３３】
このようなスマートレンダリング編集装置10の制御部12による再エンコード長決定処理の流れの例を図4のフローチャートを参照して説明する。
【００３４】
再エンコード区間決定部21は、ステップS1において、再エンコード長情報記憶部11にアクセスし、再エンコード条件に基づいて再エンコード長を読み出す。再エンコード条件に対応する再エンコード長を取得すると、再エンコード区間決定部21は、ステップS2において、その再エンコード長（再エンコード区間）の情報を再エンコード処理部13に供給し、再エンコード長を設定する。再エンコード長の設定が終了すると、再エンコード区間決定部21は、再エンコード長決定処理を終了する。
【００３５】
再エンコード処理部13は、供給される動画像コンテンツに対して、以上のように設定された再エンコード区間の再エンコードを行い、処理結果を出力する。
【００３６】
以上のように、再エンコード条件に基づいて再エンコード区間を設定することにより、スマートレンダリング編集装置10は、再エンコード区間をより適切な長さに設定することができ、再エンコード長が短すぎることによる不要な画質の劣化や、再エンコード長が永すぎることによる処理時間の増大を抑制することができる。
【００３７】
なお、図2の例においては、再エンコーダ処理部13、すなわちエンコーダの再エンコードに関する条件に基づいて、再エンコード長を設定するように説明したが、それ以外にも、例えば、再エンコードを行う動画コンテンツ（素材）の特徴に基づいて再エンコード長を最適化するようにしてもよい。
【００３８】
図5は、その場合の、スマートレンダリング編集装置の構成例を示すブロック図である。図2と同様の構成については同様の番号を付してある。
【００３９】
図5において、スマートレンダリング編集装置50は、再エンコードを行う動画コンテンツ（素材）の特徴に基づいて再エンコード長を決定する装置であり、図2のスマートレンダリング編集装置10の再エンコード長情報記憶部11の代わりに再エンコード長評価データベース63を有し、図2のスマートレンダリング編集装置10の制御部12の代わりに制御部62を有し、その他に、バッファ61をさらに有する。また、制御部62は、図2のスマートレンダリング編集装置10の再エンコード区間決定部21の代わりに、再エンコード区間決定部73を有し、その他に素材情報解析部71および閾値最適化部72を有する。
【００４０】
バッファ61は、再エンコードされる動画コンテンツ（素材）を一時的に保持する記憶部であり、保持した素材を、素材情報解析部71および再エンコード処理部13のそれぞれに適切なタイミングで供給する。
【００４１】
再エンコード長評価データベース63は、上述した再エンコード長情報の必要十分な再エンコード長として、再エンコード長情報を生成する際に用いられるパラメータ（再エンコード条件に対応する再エンコード長を導出するのに必要なパラメータ）とその再エンコード長との組み合わせ（再エンコード長候補リスト）の集合を、再エンコード条件に関連付けて記憶しており、再エンコード区間決定部73より再エンコード条件を供給されると、その再エンコード条件に対応する再エンコード長候補リストを再エンコード区間決定部73に提供する。
【００４２】
素材情報解析部71は、バッファ61より供給される素材（再エンコード対象）の特徴を解析し、その特徴情報（素材情報）を再エンコード区間決定部73に供給する。
【００４３】
閾値最適化部72は、再エンコード区間決定部73より供給される素材情報を評価し、その評価結果に基づいて、再エンコード区間決定部73が再エンコード長を再エンコード長候補リストの中から選択するために用いる閾値の更新（最適化）を行い、その最適化された閾値を再エンコード区間決定部73に供給する。
【００４４】
再エンコード区間決定部73は、再エンコード処理部13の再エンコード条件を再エンコード長評価データベース63に供給し、必要十分な再エンコード長候補リストを取得する。上述したように、この再エンコード長候補リストには再エンコード長情報を生成する際に用いられるパラメータとその再エンコード長との組み合わせの集合が含まれており、再エンコード区間決定部73は、再エンコード条件のみでは必要十分な（最適な）再エンコード長を一意に決定することができない。そこで、再エンコード区間決定部73は、素材情報解析部71より供給される素材情報を、閾値最適化部72に供給して、所定の閾値をその素材情報に応じて最適化し、その最適化された閾値を用いて、再エンコード長候補リストの中から最適な再エンコード長を選択し、それを再エンコード処理部13に供給して設定する。
【００４５】
制御部62についてより具体的な例を説明する。
【００４６】
再エンコード長候補リストに含まれる再エンコード長情報を生成する際に用いられるパラメータは、例えば、最大SNR（Signal to Noise ratio）降下度により構成される。再エンコード長情報の具体的な生成方法については後述するが、最大SNR降下度は、同一原画像を素材として再エンコードする際に、再エンコードの制約有りで再エンコードを行った場合のSNRと、再エンコードの制約無しで再エンコードを行った場合のSNRとの差の最大値を示すパラメータであり、再エンコードの制約が有る場合の画質劣化の程度を示すものである。つまり、この最大SNR降下度が小さいほど、再エンコードにおける画質劣化が小さくなる。従って、この最大SNR降下度が再エンコード長毎に算出され、その値そのもの、または単位時間当たりの変化度が所定の閾値以下になる再エンコード長が「必要十分な再エンコード長」とされる。換言すれば、この最大SNR降下度の値そのもの、または単位時間当たりの変化度が所定の閾値以下となる範囲で、実質的に最も短い長さが最適な再エンコード長となる。
【００４７】
この最大SNR降下度の値に対する閾値である降下度閾値Th_MaxSNRDownと、最大SNR降下度の単位時間当たりの変化度に対する閾値である変化度閾値Th_D_ThMaxSNRDownは、初期値が予め定められているが、閾値最適化部72により、素材情報解析部71により解析された素材情報に基づいて、最適化される。
【００４８】
この素材情報としては、例えば、バッファ61に保持された素材の、量子化パラメータのピクチャ（Picture）内平均値やスキップマクロブロック（Skip macroblock）のピクチャ内占有率が使用される。つまり、素材情報解析部71は、バッファ61に保持された素材について、例えば、量子化パラメータのピクチャ内平均値やスキップマクロブロックのピクチャ（Picture）内占有率を求め、これらのパラメータを素材情報として再エンコード区間決定部73に供給する。
【００４９】
閾値最適化部72は、再エンコード区間決定部73を介して素材情報を取得すると、例えば素材情報が量子化パラメータのピクチャ内平均値である場合、各再エンコード区間全体、または、各再エンコード区間の、素材同士が繋ぎ合わせられる部分である編集接合区間での平均を評価値として算出し、その評価値が高い場合には、再エンコード後もビット発生量が低く抑えられる可能性があるため、降下度閾値Th_MaxSNRDownや変化度閾値Th_D_ThMaxSNRDownの値を大きくするように補正する。
【００５０】
また、例えば素材情報がスキップマクロブロックのピクチャ内占有率である場合、閾値最適化部72は、各再エンコード区間全体、または、各再エンコード区間の編集接合区間での占有率を評価値として算出し、その評価値が高い場合には、シーケンスのビット発生量が低い可能性が高いため、降下度閾値Th_MaxSNRDownや変化度閾値Th_D_ThMaxSNRDownの値を大きくするように補正する。
【００５１】
再エンコード区間決定部73は、再エンコード長評価データベース63より取得した再エンコード長候補リストの最大SNR降下度の値、若しくは、単位時間当たりの変化度が、以上のように補正された降下度閾値Th_MaxSNRDownや変化度閾値Th_D_ThMaxSNRDownより小さくなる（条件を満たす）候補を検索し、その再エンコード長を、最適な再エンコード長であると決定する。
【００５２】
以上のようなスマートレンダリング編集装置50の制御部62により実行される再エンコード長決定処理の流れの例を図6のフローチャートを参照して説明する。
【００５３】
バッファ61に素材が蓄積されると、素材情報解析部71は、ステップS21において、そのバッファ61に蓄積された素材を解析し、素材情報を生成する。ステップS22において、閾値最適化部72は、素材情報に基づいて最適な閾値を設定する。再エンコード区間決定部73は、ステップS23において、再エンコード条件に基づいて再エンコード長候補リストを再エンコード長評価データベース63より読み出し、ステップS24において、その再エンコード長候補リストから、最適化された閾値を用いて、最適な再エンコード長を選択し、ステップS25において、その再エンコード長（再エンコード区間）の情報を再エンコード処理部13に供給し、再エンコード長を設定する。再エンコード長の設定が終了すると、再エンコード区間決定部73は、再エンコード長決定処理を終了する。
【００５４】
再エンコード処理部13は、供給される動画像コンテンツに対して、以上のように設定された再エンコード区間の再エンコードを行い、処理結果を出力する。
【００５５】
以上のように、再エンコード条件だけでなく、再エンコードを行う動画コンテンツ（素材）の特徴に基づいて再エンコード区間を設定することにより、スマートレンダリング編集装置50は、再エンコード区間を、再エンコードを行う動画コンテンツに応じて、より適切な長さに設定することができ、再エンコード長が短すぎることによる不要な画質の劣化や、再エンコード長が永すぎることによる処理時間の増大を抑制することができる。
【００５６】
以上においては、再エンコード長情報が予め定められているように説明したが、スマートレンダリング編集装置が、再エンコード長情報を生成するようにしてもよい。
【００５７】
図7は、その場合の、スマートレンダリング編集装置の構成例を示すブロック図である。図2と同様の構成については同様の番号を付してある。
【００５８】
図7において、スマートレンダリング編集装置100は、図2のスマートレンダリング編集装置10と同様に再エンコード長を決定するだけでなく、その再エンコード長の決定に用いられる再エンコード長情報を生成する装置であり、図2のスマートレンダリング編集装置10の制御部12の代わりに制御部102を有する。また、制御部102は、図2のスマートレンダリング編集装置10の再エンコード区間決定部21の他に、さらに、サンプル画像提供部111、再エンコード条件提供部112、および再エンコード長情報生成部113を有する。
【００５９】
サンプル画像提供部111は、再エンコード長情報生成部113に、再エンコード長情報を生成するための、再エンコードさせるサンプル画像（動画像）を提供する。このサンプル画像には、どのような内容の画像が用いられるようにしてもよいが、例えば、動きが激しい画像や、全体的に細かいテクスチャを含む画像等のように、互いに異なる特徴を有する複数の画像がサンプル画像として用いられるようにすると、より多様な動画コンテンツ（素材）に対して必要十分な再エンコード長を提供する再エンコード長情報を生成可能になるので望ましい。
【００６０】
再エンコード条件提供部112は、再エンコード長情報生成部113に、多様な再エンコード条件を提供する。この再エンコード条件はどのようなものであってもよいが、例えば、上述したように、後方Occupancy制約値と前方Occupancy制約値との差分やレート差等であってもよい。
【００６１】
これらのサンプル画像提供部111および再エンコード条件提供部112の構成は、どのようなものであってもよく、例えば、複数の動画像や再エンコード条件を予め記憶するROMを有し、そこから読み出した情報を再エンコード長情報生成部113に提供するようにしてもよいし、書き換え可能なフラッシュメモリやRAMを有し、再エンコード長情報の生成の際に外部より提供された複数の動画像や再エンコード条件を記憶し、その情報を再エンコード長情報生成部113に提供するようにしてもよい。また、例えば、複数の動画像や再エンコード条件が格納されたリムーバブルメディアを装着可能なドライブを有し、そのドライブに装着されたリムーバブルメディアに格納されている情報を再エンコード長情報生成部113に提供するようにしてもよい。さらに、例えば、複数の動画像や再エンコード条件の情報を入力する入力端子を有し、外部より入力されたそれらの情報を再エンコード長情報生成部113に提供するようにしてもよい。
【００６２】
再エンコード長情報生成部113は、サンプル画像提供部111より提供されたサンプル画像、および、再エンコード条件提供部112より提供された再エンコード条件に基づいて、再エンコード長情報を生成し、それを再エンコード長情報記憶部11に供給して記憶させる。
【００６３】
図8は、図7の再エンコード長情報生成部113の内部の構成例を示すブロック図である。
【００６４】
図8において、再エンコード長情報生成部113は、制御部121、制約無しエンコード部122、SNR算出部123、制約有りエンコード部124、SNR算出部125、SNR降下度算出部126、SNR降下度バッファ127、最大SNR降下度算出部128、最大SNR降下度バッファ129、再エンコード長判定部130、および再エンコード長マッピング部131を有する。
【００６５】
制御部121は、制約無しエンコード部122乃至再エンコード長マッピング部131の各部の動作を制御する。また、制御部121は、サンプル画像提供部111および再エンコード条件提供部112による情報提供動作も制御する。
【００６６】
制御部121は、サンプル画像提供部111に対して、同一のサンプル画像を複数回提供させるが、その時、毎回サンプル画像の長さ（再生時間の長さ）を変えながら提供させる。例えば、サンプル画像提供部111が再生時間10秒の動画像を1つ予め有しているとすると、制御部121に制御されたサンプル画像提供部111は、その1つの動画像より、長さの異なる複数のサンプル画像を用意し、所定の順番で、そのサンプル画像を順次提供する。つまり、例えば、1回目は、その1つのサンプル画像の先頭から1秒間の画像がサンプル画像として提供され、2回目は、先頭から2秒間の画像がサンプル画像として提供され、3回目は、先頭から3秒間の画像がサンプル画像として提供させる。
【００６７】
後述するように制約無しエンコード部122および制約有りエンコード部124は、このサンプル画像に対して再エンコードを行う。つまり、制御部121は、サンプル画像提供部111にサンプル画像の長さを変えさせることにより、制約無しエンコード部122および制約有りエンコード部124が実行する再エンコードの範囲（再エンコード範囲）を変更させる。すなわち、制御部121は、このように、再エンコード範囲毎に後述する最大SNR降下度を算出するように制御を行う。
【００６８】
なお、サンプル画像の長さは任意であり、毎回異なる長さのサンプル画像が提供されればよい。また、その提供順も任意である。もちろん、サンプル画像提供部111が有する動画像の長さも数も任意である（複数有する方が望ましい）。
【００６９】
また、制御部121は、互いに異なる複数の再エンコード条件を有する再エンコード条件提供部112を制御し、複数回再エンコード条件を制約有りエンコード部124に提供させるが、その時、毎回、互いに異なる条件を提供させる。
【００７０】
制約無しエンコード部122は、サンプル画像提供部111より供給されるサンプル画像に対して、再エンコードの制約無しにエンコードを行い、そのエンコード結果（ビットストリーム）をSNR算出部123に供給する。SNR算出部123は、制約無しエンコード部122より供給されるエンコード結果（制約無し）について、各フレームの原画（エンコード前の画像）に対するSNRを算出し、その算出結果をSNR降下度算出部126に供給する。
【００７１】
制約有りエンコード部124は、サンプル画像提供部111より供給されるサンプル画像に対して、再エンコード条件提供部112より提供される再エンコード条件に基づいて、再エンコードの制約有りでエンコードを行い、そのエンコード結果（ビットストリーム）をSNR算出部125に供給する。SNR算出部125は、制約有りエンコード部124より供給されるエンコード結果（制約有り）について、各フレームの原画（エンコード前の画像）に対するSNRを算出し、その算出結果をSNR降下度算出部126に供給する。
【００７２】
通常の場合、SNRは、制約無しのエンコードの場合の方が、制約有りのエンコードの場合よりも高くなる（画質劣化が少ない）。SNR降下度は、制約無しのエンコードのSNRから、制約有りのエンコードのSNRを減算した差分値であり、制約無しのエンコードにおける画質劣化を基準としたときの、制約有りのエンコードにおける画質劣化の度合いを示すものである。つまり、SNR降下度の値が大きいほど、制約無しのエンコードのSNRに対して、制約有りのエンコードのSNRが小さく、画質の劣化が大きいことを示す。逆に、SNR降下度の値が小さいほど、制約有りのエンコードのSNRの値が、制約無しのエンコードのSNRの値に近く、画質の劣化が小さいことを示す。
【００７３】
SNR降下度算出部126は、SNR算出部123より供給されるSNR（制約有り）とSNR算出部125より供給されるSNR（制約有り）とを、対応する（原画像のフレームが共通の）フレーム同士で比較し、それらの差分値を各フレームについて算出する。このようにして、フレーム毎に算出されるSNR降下度は、SNR降下度バッファ127に供給され、蓄積される。
【００７４】
1つのサンプル画像（サンプル画像提供部111より供給される1回分のサンプル画像）の全フレームのSNR降下度がSNR降下度バッファ127に蓄積されると、最大SNR降下度算出部128は、それらのSNR降下度の中で最も値の大きいフレームを特定し、そのフレームのSNR降下度を、その動画像の再エンコード範囲の最大SNR降下度として最大SNR降下度バッファ129に供給して保持させる。
【００７５】
以上のように最大SNR降下度が求められ、それが最大SNR降下度バッファ129に保持されると、制御部121は、サンプル画像提供部111を制御し、長さの異なる動画像（画像の内容は同一）をサンプル画像として再度提供させる。つまり、制御部121は、サンプル画像提供部111に対して、同じ動画像について、異なる再エンコード範囲で再度提供させる。
【００７６】
新たに提供されたサンプル画像に対して、上述した各処理が同様に行われ、その再エンコード範囲についての最大SNR降下度が求められて最大SNR降下度バッファ129に保持されると、制御部121は、さらに、再度、サンプル画像提供部111に再エンコード範囲の長さの異なるサンプル画像を提供させる。以上のような処理を繰り返し、各再エンコード範囲の最大SNR降下度が最大SNR降下度バッファ129に蓄積されると、再エンコード長判定部130は、それらの最大SNR降下度群を用いて、必要十分な再エンコード長を判定する。
【００７７】
再エンコード長判定部130は、降下度閾値比較部141、変化度算出部142、および変化度閾値比較部143を有する。
【００７８】
降下度閾値比較部141は、最大SNR降下度バッファ129に保持されている最大SNR降下度のそれぞれと、予め定められている所定の降下度閾値Th_MaxSNRDownを比較し、降下度閾値Th_MaxSNRDown以下の最大SNR降下度に対応する再エンコード範囲の内、実質的に最も短いものを必要十分な再エンコード長とし、その情報を再エンコード長マッピング部131に提供する。つまり、降下度閾値比較部141は、再エンコードによる画質劣化の度合いに基づいて、再エンコード条件毎の適切な再エンコード長を求めることにより、再エンコード長情報を生成する。
【００７９】
多くの場合、再エンコード長が長くなると画質劣化が少なくなるので、再エンコード範囲の長さが長いほど、その最大SNR降下度は小さくなる（単純減少する）。つまり、このような場合は、最大SNR降下度の値が降下度閾値Th_MaxSNRDownより小さい再エンコード範囲の中でもっとも短い再エンコード範囲の長さが、「必要十分な再エンコード長」となる。
【００８０】
しかしながら、様々な条件に起因して稀に、再エンコード範囲の一部で最大SNR降下度が急激に低下するなどして、再エンコード範囲の長さが長くなっても、その最大SNR降下度が小さくならない（単純減少でない）場合がある。つまり、ある再エンコード範囲Ａの最大SNR降下度の値が降下度閾値Th_MaxSNRDownより小さくても、それよりも長い再エンコード範囲Ｂの最大SNR降下度の値が降下度閾値Th_MaxSNRDownより大きくなってしまうことがある。このような再エンコード範囲Ａにおける最大SNR降下度の低下を不正なもの（所謂、騙し）であるとして無視されるようにしてもよい。
【００８１】
例えば、最大SNR降下度の値が降下度閾値Th_MaxSNRDownより小さい再エンコード範囲の中で、自分自身より長い再エンコード範囲の最大SNR降下度が全て降下度閾値Th_MaxSNRDownより小さい再エンコード範囲であり、さらに、その再エンコード範囲の中で、最も短い再エンコード範囲の長さを、実質的に最も短い再エンコード範囲とし、その再エンコード範囲の長さを「必要十分な再エンコード長」とされるようにしてもよい。なお、このような現象（「騙し」であるか否か）をどのように判定するかは任意である。
【００８２】
降下度閾値比較部141において、必要十分な再エンコード長が見つからない場合、すなわち、最大SNR降下度の値が降下度閾値Th_MaxSNRDownより小さくならない場合、変化度算出部142および変化度閾値比較部143によって、最大SNR降下度の変化の仕方によって必要十分な再エンコード長の判定が行われる。
【００８３】
例えば、エンコーダの性能が低かったりして再エンコード条件が全般的に良く無い場合、最大SNR降下度の値が大きすぎて、再エンコード長が長くなるにつれて最大SNR降下度が相対的に小さくなっても降下度閾値Th_MaxSNRDownより小さくならないことも考えられる。しかしながら、このような場合を全て「必要十分な再エンコード長が存在しない」として、スマートレンダリングを行わない（全フレームを再エンコードする）ようにすると、スマートレンダリングの機会が減少する恐れがある。
【００８４】
そこで、このような場合、再エンコード長の長さの変化による最大SNR降下度の変化度を判定するようにし、最大SNR降下度の変化が減少し、安定する部分で最も短い再エンコード長を必要十分な再エンコード長とするようにする。
【００８５】
変化度算出部142は、最大SNR降下度バッファ129に保持されている最大SNR降下度群を、対応する再エンコード長順に整列させ、隣り合う再エンコード長の最大SNR降下度間の変化度を算出し、その値を変化度閾値比較部143に供給する。変化度閾値比較部143は、変化度算出部142において算出された変化度を、予め用意された所定の変化度閾値Th_D_ThMaxSNRDownと比較し、変化度が変化度閾値Th_D_ThMaxSNRDownより小さくなる、実質的に最も短い再エンコード長を必要十分な再エンコード長とし、その情報を再エンコード長マッピング部131に提供する。つまり、変化度算出部142は、再エンコードによる画質劣化の変化の度合いに基づいて、再エンコード条件毎の適切な再エンコード長を求めることにより、再エンコード長情報を生成する。
【００８６】
なお、この場合も、再エンコード範囲が長くなるに従って最大SNR降下度の変化が単純減少とならず、変化度が変化度閾値Th_D_ThMaxSNRDownより小さくなったり大きくなったりすることがある（「騙し」が発生することがある）。この「騙し」についての判断は、上述した最大SNR降下度の判定の場合と同様である。
【００８７】
再エンコード長マッピング部131は、以上のように供給された再エンコード長をその再エンコード条件と関連付けてマッピングする。1つの再エンコード条件について以上のような処理が終了すると、制御部121は、再エンコード条件提供部112に対して、新たな再エンコード条件を提供させる。また、1つの動画像について全ての再エンコード条件下での処理が終了すると、制御部121は、サンプル画像提供部111に対して、未処理の動画像を提供させる。
【００８８】
再エンコード長マッピング部131は、例えば、図3に示されるようなグラフを生成し、再エンコード長情報として再エンコード長情報記憶部11に供給して保存させる。
【００８９】
以上のような再エンコード長情報生成部113による再エンコード長情報生成処理の流れの例を図9のフローチャートを参照して説明する。
【００９０】
再エンコード長情報生成処理が開始されると、制御部121は、ステップS41において、再エンコード条件提供部112を制御して再エンコード条件を提供させ、ステップS42において、サンプル画像提供部111を制御してサンプル画像を提供させる。サンプル画像を取得した制約無しエンコード部122は、ステップS43において、そのサンプル画像に対して制約無しでエンコード処理を行う。そのエンコード結果に対して、SNR算出部123は、ステップS44において原画像とのSNRをフレーム毎に算出する。
【００９１】
また、再エンコード条件とサンプル画像を取得した制約有りエンコード部124は、ステップS45において、そのサンプル画像に対して制約有りでエンコード処理を行う。そのエンコード結果に対して、SNR算出部125は、ステップS46において原画像とのSNRをフレーム毎に算出する。
【００９２】
SNR降下度算出部126は、ステップS47において、各制約無しのエンコード結果のSNRから、それぞれに対応するフレームの制約有りのエンコード結果のSNRを減算したSNR降下度を算出する。最大SNR降下度算出部128は、ステップS48において、そのSNR降下度群の中から、値が最も大きい最大SNR降下度を算出する。最大SNR降下度バッファ129は、ステップS49において、その最大SNR降下度を保持する。
【００９３】
制御部121は、ステップS50において、現在処理中の動画像について未処理の再エンコード範囲が存在するか否かを判定し、サンプル画像提供部111が、その動画像について、まだサンプル画像として提供していない再エンコード範囲が存在すると判定した場合、処理をステップS51に進め、サンプル画像提供部111に再エンコード範囲を変更させ、処理をステップS42に戻す。つまり、サンプル画像提供部111は、未処理の新たな再エンコード範囲でサンプル画像を提供するように制御される。以上のようにステップS42乃至ステップS51の処理が繰り返し実行されることにより、サンプル画像提供部111は、1つの動画像を、全ての再エンコード範囲で提供するように制御される。
【００９４】
ステップS50において、未処理の再エンコード範囲が存在しないと判定した場合、制御部121は、処理をステップS52に進める。ステップS52において、再エンコード長判定部130および再エンコード長マッピング部131は、必要十分な再エンコード長を求める。この処理の詳細については後述する。
【００９５】
必要十分な再エンコード長が求められると、制御部121は、ステップS53において、未処理の再エンコード条件が存在するか否かを判定し、存在すると判定した場合、処理をステップS54に進め、再エンコード条件提供部112に再エンコード条件を変更させ、処理をステップS41に戻す。つまり、再エンコード条件提供部112は、未処理の新たな再エンコード条件を提供するように制御される。以上のようにステップS41乃至ステップS54の処理が繰り返し実行されることにより、再エンコード条件提供部112は、全ての再エンコード条件を提供するように制御される。
【００９６】
ステップS53において、未処理の再エンコード条件が存在しないと判定した場合、制御部121は、処理をステップS55に進め、サンプル画像提供部111に未処理の動画像が存在するか否かを判定し、存在すると判定した場合、ステップS56に処理を進め、動画像を変更させて、処理をステップS41に戻す。つまり、制御部121は、未処理の新たな動画像について必要十分な再エンコード長を求めるように各部を制御する。以上のように処理が繰り返し実行され、全ての動画像について必要十分な再エンコード長が求められる。
【００９７】
ステップS55において、全ての動画像について処理が終了したと判定した場合、制御部121は、再エンコード長情報生成処理を終了する。
【００９８】
次に、図10のフローチャートを参照して、再エンコード長判定処理の流れの例を説明する。
【００９９】
ステップS71において、降下度閾値比較部141は、未処理の最大SNR降下度を1つ取得し、ステップS72において、その最大SNR降下度が、所定の降下度閾値Th_MaxSNRDown以下であるか否かを判定する。最大SNR降下度が降下度閾値Th_MaxSNRDown以下でないと判定した場合、変化度算出部142は、ステップS73において変化度を算出する。ステップS74において、変化度閾値比較部143は、変化度が変化度閾値Th_D_ThMaxSNRDown以下であるか否かを判定し、変化度閾値Th_D_ThMaxSNRDown以下でないと判定した場合、処理をステップS76に進める。
【０１００】
また、ステップS72において、最大SNR降下度が降下度閾値Th_MaxSNRDown以下であると判定した場合、降下度閾値比較部141は、処理をステップS75に進める。さらに、ステップS74において、変化度が変化度閾値Th_D_ThMaxSNRDown以下であると判定した場合、変化度閾値比較部143は、処理をステップS75に進める。ステップS75において、再エンコード長判定部130は、それらの条件を満たす再エンコード範囲の長さを必要十分な再エンコード長の候補とし、処理をステップS76に進める。
【０１０１】
ステップS76において、再エンコード長判定部130は、最大SNR降下度バッファ129に未処理の最大SNR降下度が存在するか否かを判定し、存在すると判定した場合、処理をステップS71に戻し、それ以降の処理を繰り返す。以上のようにして、必要十分な再エンコード長の候補を求めると、再エンコード長判定部130は、ステップS77において、候補が存在するか否かを判定する。必要十分な再エンコード長の候補が存在すると判定した場合、再エンコード長判定部130は、ステップS78において、候補の中から必要十分な再エンコード長を選択する。ステップS79において、再エンコード長マッピング部131は、必要十分な再エンコード長をマッピングし、再エンコード長情報を生成し、再エンコード長判定処理を終了する。
【０１０２】
また、ステップS77において、再エンコード長の候補が存在しないと判定した場合、再エンコード長判定部130は、処理をステップS80に進め、エラー処理を行い、再エンコード長判定処理を終了する。
【０１０３】
以上のように、スマートレンダリング編集装置において再エンコード長情報が生成されるようにすることにより、再エンコード処理部13による再エンコード長を反映させた、よりスマートレンダリング編集装置に対して好適な再エンコード長情報を生成することができる。
【０１０４】
なお、以上において説明した再エンコード長情報の生成は、例えば、図11に示されるように、スマートレンダリング編集装置以外の装置において行うようにしてもよい。
【０１０５】
図11の例においては、例えば、図2のスマートレンダリング編集装置50と同等のスマートレンダリング編集装置202の他に、再エンコード長情報生成装置201が設けられている。再エンコード長情報生成装置201は、図7の制御部102と同様に、サンプル画像提供部111、再エンコード条件提供部112、および再エンコード長情報生成部113を有し、スマートレンダリング編集装置202において使用される再エンコード長情報を生成する。
【０１０６】
再エンコード長情報生成部113において生成された再エンコード長情報は、送信部211を介してスマートレンダリング編集装置202に供給される。スマートレンダリング編集装置202は、受信部212においてその再エンコード長情報を取得し、再エンコード長情報記憶部11に記憶させる。
【０１０７】
このようにすることにより、スマートレンダリング編集装置202のコストを低減させることができる。また、再エンコード条件を変更することにより、1台の再エンコード長情報生成装置201を用いて複数のスマートレンダリング編集装置202のそれぞれに適した再エンコード長情報を生成することができる。例えば、再エンコード長情報生成装置201は、開発者が使用し、スマートレンダリング編集装置202のみをエンドユーザに提供または販売するようなことも可能になる。
【０１０８】
なお、以上において、再エンコード長情報生成装置201とスマートレンダリング編集装置202は、USB（Universal Serial Bus）やIEEE（Institute of Electrical and Electronic Engineers）1394等のような有線により接続されるようにしてもよいし、無線により接続されるようにしても良いし、これらの装置以外の他の装置やネットワークを介して接続されるようにしても良い。また、例えば、磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリなどよりなるリムーバブルメディアを介して再エンコード情報の授受が行われるようにしても良い。
【０１０９】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【０１１０】
例えば、図11に示されるシステムを図12に示されるように2つのパッケージとして構成されるようにしてもよい。図12において、開発パッケージ301は、編集パッケージ302に含める再エンコード長情報を開発するためのプログラムやデータにより構成されるソフトウェア群であり、主に編集パッケージ302の開発者に提供される。編集パッケージ302は、スマートレンダリング編集を行うためのプログラムやデータにより構成されるソフトウェア群であり、主にスマートレンダリング編集を行うエンドユーザに提供される。
【０１１１】
開発パッケージ301は、再エンコード条件311およびサンプル画像312、並びに、それらを利用して再エンコード長情報を生成する再エンコード長情報生成プログラムを有する。つまり、この開発パッケージ301は図11の再エンコード長情報生成装置201に対応し、再エンコード条件311は再エンコード条件提供部112に対応し、サンプル画像312はサンプル画像提供部111に対応し、再エンコード長情報生成プログラム313は再エンコード長情報生成部113に対応する。この再エンコード長情報生成プログラム313によって生成された再エンコード長情報321は、編集パッケージ302に格納される。
【０１１２】
編集パッケージ302は、再エンコード長情報321と、その再エンコード長情報321を用いてスマートレンダリング編集を行うスマートレンダリング編集プログラム322を有する。このスマートレンダリング編集プログラム322は、再エンコード長情報を用いて再エンコード区間を決定する再エンコード区間決定プログラム331と、その再エンコード区間に対して再エンコード処理を行う再エンコード処理プログラム332を含む。つまり、この編集パッケージ302は、図11のスマートレンダリング編集装置202に対応し、再エンコード長情報321は、再エンコード長情報記憶部11に対応し、再エンコード区間決定プログラム331は、再エンコード区間決定部21に対応し、再エンコード処理プログラム332は、再エンコード処理部13に対応する。
【０１１３】
例えば、開発者は開発パッケージ301がインストールされたパーソナルコンピュータ等を操作して、再エンコード長情報を生成し、編集パッケージ302に格納させる。エンドユーザは、その編集パッケージ302がインストールされたパーソナルコンピュータ等を操作してスマートレンダリング編集を行う。
【０１１４】
すなわち、図11に示される再エンコード長情報生成装置201やスマートレンダリング編集装置202は、この場合、例えば、図13に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
【０１１５】
図13において、パーソナルコンピュータ400のCPU（Central Processing Unit）401は、ROM（Read Only Memory）402に記憶されているプログラム、または記憶部413からRAM（Random Access Memory）403にロードされたプログラムに従って各種の処理を実行する。RAM403にはまた、CPU401が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１１６】
CPU401、ROM402、およびRAM403は、バス404を介して相互に接続されている。このバス404にはまた、入出力インタフェース410も接続されている。
【０１１７】
入出力インタフェース410には、キーボード、マウスなどよりなる入力部411、CRTやLCDなどよりなるディスプレイ、並びにスピーカなどよりなる出力部412、ハードディスクなどより構成される記憶部413、モデムなどより構成される通信部414が接続されている。通信部414は、インターネットを含むネットワークを介しての通信処理を行う。
【０１１８】
入出力インタフェース410にはまた、必要に応じてドライブ415が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア421が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部413にインストールされる。
【０１１９】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０１２０】
この記録媒体は、例えば、図29に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini-Disk（登録商標））を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア521により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM502や、記憶部513に含まれるハードディスクなどで構成される。
【０１２１】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１２２】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０１２３】
なお、以上において、1つの装置として説明した構成を分割し、複数の装置として構成するようにしてもよい。逆に、以上において複数の装置として説明した構成をまとめて1つの装置として構成されるようにしてもよい。また、各装置の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置の構成の一部を他の装置の構成に含めるようにしてもよい。
【産業上の利用可能性】
【０１２４】
本発明は、画像処理装置に適用することが可能である。
【図面の簡単な説明】
【０１２５】
【図１】スマートレンダリング編集の例を説明する図である。
【図２】本発明を適用したスマートレンダリング編集装置の構成例を示すブロック図である。
【図３】再エンコード長情報の例を示す図である。
【図４】再エンコード長決定処理の流れの例を説明するフローチャートである。
【図５】本発明を適用したスマートレンダリング編集装置の他の構成例を示すブロック図である。
【図６】再エンコード長決定処理の流れの他の例を説明するフローチャートである。
【図７】本発明を適用したスマートレンダリング編集装置の、さらに他の構成例を示すブロック図である。
【図８】図7の再エンコード長情報生成部の構成例を示すブロック図である。
【図９】再エンコード長情報生成処理の流れの例を説明するフローチャートである。
【図１０】再エンコード長判定処理の流れの例を説明するフローチャートである。
【図１１】本発明を適用したスマートレンダリング編集装置および再エンコード長情報生成装置の構成例を示すブロック図である。
【図１２】本発明を適用した開発パッケージおよび編集パッケージの構成例を示すブロック図である。
【図１３】本発明を適用したパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１２６】
10  スマートレンダリング編集装置，  11  再エンコード長情報記憶部，  21  再エンコード区間決定部，  50  スマートレンダリング編集装置，  63  再エンコード長評価データベース，  71  素材情報解析部，  72  閾値最適化部，  73  再エンコード区間決定部，  100  スマートレンダリング編集装置，  111  サンプル画像提供部，  112  再エンコード条件提供部，  113  再エンコード長情報生成部，  121  制御部，  122  制約無しエンコード部，  123  SNR算出部，  124  制約有りエンコード部，  125  SNR算出部，  126  SNR降下度算出部，  128  最大SNR降下度算出部，  130  再エンコード長判定部，  131  再エンコード長マッピング部，  141  降下度閾値比較部，  142  変化度算出部，  143  変化度閾値比較部，  201  再エンコード長情報生成装置，  202  スマートレンダリング編集装置，  301  開発パッケージ，  302  編集パッケージ，  311  再エンコード条件，  312  サンプル画像，  313  再エンコード長情報生成プログラム，  321  再エンコード長情報，  331  再エンコード区間決定プログラム，  332  再エンコード処理プログラム
【図１】
2008131147.tif 000003
【図２】
2008131147.tif 000004
【図３】
2008131147.tif 000005
【図４】
2008131147.tif 000006
【図５】
2008131147.tif 000007
【図６】
2008131147.tif 000008
【図７】
2008131147.tif 000009
【図８】
2008131147.tif 000010
【図９】
2008131147.tif 000011
【図１０】
2008131147.tif 000012
【図１１】
2008131147.tif 000013
【図１２】
2008131147.tif 000014
【図１３】
2008131147.tif 000015