(57)【特許請求の範囲】
【請求項１】
第１ストリームを取得するストリーム取得部と、
予め定められたタイミングで、前記第１ストリームを加工する加工時点をマーキングして、前記加工時点を示すマーキング情報を生成するマーキング部と、
前記第１ストリームに関連付けて前記マーキング情報を保持するストリーム保持部と、
前記第１ストリームを復号して映像データを生成する復号処理を遂行する復号部と、
前記復号部が前記復号処理を遂行する際に、前記マーキング情報を参照して、前記加工時点を検知する加工時点検知部と、
前記加工時点検知部が加工時点を検知すると、前記加工時点において復号された映像データを加工する加工処理を遂行する映像加工部と、
前記復号された映像データおよび前記加工処理が施された映像データを順次符号化して第２ストリームを生成する符号化処理を遂行する符号化部と、
前記加工時点検知部が加工時点を検知すると、前記映像加工部による前記加工処理が完了するまで前記符号化部による前記符号化処理を開始しないように制御する復号符号化制御部と、
前記第２ストリームを外部に出力する外部出力部と、
を備え、
前記復号部による復号処理と前記符号化部による符号化処理とは交互に遂行され、
前記映像加工部は、前記加工時点検知部が加工時点を検知すると、前記復号処理の完了を待たずに、前記復号された映像データの加工を開始することを特徴とする映像処理装置。
【請求項２】
前記映像加工部は、ユーザ入力に応じて作成された新規の映像データを、復号された映像データに重畳する加工処理を遂行することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記マーキング部は、所定の時間間隔、所定の撮影シーン、またはユーザの入力に基づいて前記マーキング情報を生成することを特徴とする請求項１または２に記載の映像処理装置。
【請求項４】
前記ストリーム取得部は撮像部を備え、
前記撮像部は被写体を撮像した撮像データを取得し、
前記ストリーム取得部は前記撮像データに基づき前記第１ストリームを取得することを特徴とする請求項１から３のいずれか１項に記載の映像処理装置。
【請求項５】
ストリームを加工する映像処理装置と、前記映像処理装置に接続され、加工されたストリームを任意の記録媒体に書き込む記録装置とを備えるダビングシステムであって、
前記映像処理装置は、
第１ストリームを取得するストリーム取得部と、
予め定められたタイミングで、前記第１ストリームを加工する加工時点をマーキングしてマーキング情報を生成するマーキング部と、
前記第１ストリームに関連付けて前記マーキング情報を保持するストリーム保持部と、
前記第１ストリームを復号して映像データを生成する復号処理を遂行する復号部と、
前記復号部が前記復号処理を遂行する際に、前記マーキング情報を参照して、前記加工時点を検知する加工時点検知部と、
前記加工時点検知部が加工時点を検知すると、前記加工時点において復号された映像データを加工する加工処理を遂行する映像加工部と、
前記復号された映像データおよび前記加工処理が施された映像データを順次符号化して第２ストリームを生成する符号化処理を遂行する符号化部と、
前記加工時点検知部が加工時点を検知すると、前記映像加工部による前記加工処理が完了するまで前記符号化部による前記符号化処理を開始しないように制御する復号符号化制御部と、
前記第２ストリームを前記記録装置に出力する外部出力部と、
を備え、
前記記録装置は、
出力された前記第２ストリームを記録媒体に書き込むストリーム書込部を備え、
前記復号部による復号処理と前記符号化部による符号化処理とは交互に遂行され、
前記映像加工部は、前記加工時点検知部が加工時点を検知すると、前記復号処理の完了を待たずに、前記復号された映像データの加工を開始することを特徴とするダビングシステム。
【請求項６】
第１ストリームを取得し、
予め定められたタイミングで、前記第１ストリームを加工する加工時点をマーキングしてマーキング情報を生成し、
前記第１ストリームに関連付けて前記マーキング情報を保持しておき、
前記第１ストリームを復号して映像データを生成する復号処理を遂行し、
前記復号処理を遂行する際に、前記マーキング情報を参照して、前記加工時点を検知すると、前記加工時点において復号された映像データを加工する加工処理を遂行し、
前記復号された映像データおよび前記加工処理が施された映像データを順次符号化して第２ストリームを生成する符号化処理を遂行し、
前記復号処理と前記符号化処理とは交互に遂行され、
前記マーキング情報を参照して、前記加工時点を検知すると、前記復号処理の完了を待たずに、前記復号された映像データの加工を開始し、前記加工処理が完了するまで前記符号化処理を開始しないように制御し、
前記第２ストリームを外部に出力することを特徴とする映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データを加工する映像処理装置、ダビングシステムおよび映像処理方法に関する。
【背景技術】
【０００２】
運動会、楽器や踊りの発表会、または誕生日会等のイベントにおいて、撮像装置（ビデオカメラ）を用いて動画を製作することがある。このとき撮像した動画にタイトル画像を重畳したり、タイトル画面を挿入したり、または文字や図形等のオブジェクト画像を重畳して装飾を施したりする等、映像を加工して、ＤＶＤ等の記録媒体にダビングしたいという要望がある。そこで、一般的には動画をパーソナルコンピュータ（ＰＣ）に一旦取り込み、映像加工専用のソフト等を利用して映像を加工した後に記録媒体に記憶させる手段が採られている。
【０００３】
しかし、タイトル画像を重畳する等の加工を試みた場合、映像を加工するためだけに、わざわざ撮像装置からＰＣに動画データを転送し、ＰＣ上で各種ソフトウェアを使用して編集およびダビングしなければならず、ユーザに煩雑な作業を強いることとなっていた。そこで、ＰＣを使用せずに、管理情報に基づいて、シーンとシーンの間に自動的にタイトル表示データを挿入する技術が開示されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２７２８５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１の技術のタイトル表示データは、映像データの管理情報に基づいて生成される、日時、シーン種別、撮像場所に基づいたデータに限定されるため、決まり切ったタイトルしか表示させることができず、ユーザが所望するタイトルを必ずしも表示させることはできない。
【０００６】
そこで、本発明は、ＰＣ等の別途の装置を用いずとも、ユーザに煩雑な操作を強いることなく、映像データを、ユーザの所望するタイミングで所望する内容に、容易に加工することが可能な映像処理装置、ダビングシステムおよび映像処理方法を提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の映像処理装置（１１０）は、第１ストリームを取得するストリーム取得部と、予め定められたタイミングで、前記第１ストリームを加工する加工時点をマーキングして、前記加工時点を示すマーキング情報を生成するマーキング部（２５２）と、前記第１ストリームに関連付けて前記マーキング情報を保持するストリーム保持部（２１６）と、前記第１ストリームを復号して映像データを生成する復号処理を遂行する復号部（２２０）と、前記復号部が前記復号処理を遂行する際に、前記マーキング情報を参照して、前記加工時点を検知する加工時点検知部（２５４）と、前記加工時点検知部が加工時点を検知すると、前記加工時点において復号された映像データを加工する加工処理を遂行する映像加工部（２３６）と、前記復号された映像データおよび前記加工処理が施された映像データを順次符号化して第２ストリームを生成する符号化処理を遂行する符号化部（２２６）と、前記加工時点検知部が加工時点を検知すると、前記映像加工部による前記加工処理が完了するまで前記符号化部による前記符号化処理を開始しないように制御する復号符号化制御部（２５６）と、前記第２ストリームを外部に出力する外部出力部（２３０）とを備え、前記復号部による復号処理と前記符号化部による符号化処理とは交互に遂行され、前記映像加工部は、前記加工時点検知部が加工時点を検知すると、前記復号処理の完了を待たずに、前記復号された映像データの加工を開始することを特徴とする。
【０００８】
前記映像加工部は、ユーザ入力に応じて作成された新規の映像データを、復号された映像データに重畳する加工処理を遂行してもよい。
【００１０】
前記マーキング部は、所定の時間、所定の撮像シーン、またはユーザの入力に基づいて前記マーキング情報を生成してもよい。
【００１１】
前記ストリーム取得部は撮像部（２１２）を備え、前記撮像部は被写体を撮像した撮像データを取得し、前記ストリーム取得部は前記撮像データに基づき前記第１ストリームを取得してもよい。
【００１２】
上記課題を解決するために、本発明のダビングシステム（１００）は、ストリームを加工する映像処理装置と、前記映像処理装置に接続され、加工されたストリームを任意の記録媒体に書き込む記録装置（１２０）とを備えるダビングシステムであって、前記映像処理装置は、第１ストリームを取得するストリーム取得部と、予め定められたタイミングで、前記第１ストリームを加工する加工時点をマーキングしてマーキング情報を生成するマーキング部と、前記第１ストリームに関連付けて前記マーキング情報を保持するストリーム保持部と、前記第１ストリームを復号して映像データを生成する復号処理を遂行する復号部と、前記復号部が前記復号処理を遂行する際に、前記マーキング情報を参照して、前記加工時点を検知する加工時点検知部と、前記加工時点検知部が加工時点を検知すると、前記加工時点において復号された映像データを加工する加工処理を遂行する映像加工部と、前記復号された映像データおよび前記加工処理が施された映像データを順次符号化して第２ストリームを生成する符号化処理を遂行する符号化部と、前記加工時点検知部が加工時点を検知すると、前記映像加工部による前記加工処理が完了するまで前記符号化部による前記符号化処理を開始しないように制御する復号符号化制御部と、前記第２ストリームを前記記録装置に出力する外部出力部と、を備え、前記記録装置は、出力された前記第２ストリームを記録媒体に書き込むストリーム書込部（３１４）を備え、前記復号部による復号処理と前記符号化部による符号化処理とは交互に遂行され、前記映像加工部は、前記加工時点検知部が加工時点を検知すると、前記復号処理の完了を待たずに、前記復号された映像データの加工を開始することを特徴とする。
【００１３】
上記課題を解決するために、本発明の映像処理方法は、第１ストリームを取得し、予め定められたタイミングで、前記第１ストリームを加工する加工時点をマーキングしてマーキング情報を生成し、前記第１ストリームに関連付けて前記マーキング情報を保持しておき、前記第１ストリームを復号して映像データを生成する復号処理を遂行し、前記復号処理を遂行する際に、前記マーキング情報を参照して、前記加工時点を検知すると、前記加工時点において復号された映像データを加工する加工処理を遂行し、前記復号された映像データおよび前記加工処理が施された映像データを順次符号化して第２ストリームを生成する符号化処理を遂行し、前記復号処理と前記符号化処理とは交互に遂行され、前記マーキング情報を参照して、前記加工時点を検知すると、前記復号処理の完了を待たずに、前記復号された映像データの加工を開始し、前記加工処理が完了するまで前記符号化処理を開始しないように制御し、前記第２ストリームを外部に出力することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、ＰＣ等の別途の装置を用いずとも、ユーザに煩雑な操作を強いることなく、映像データを、ユーザの所望するタイミングで所望する内容に、容易に加工することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】ダビングシステムの概略的な関係を説明するための説明図である。
【図２】映像処理装置の概略的な構成を示した機能ブロック図である。
【図３】マーキング部の処理を説明するための説明図である。
【図４】記録装置の概略的な構成を示した機能ブロック図である。
【図５】映像処理方法の処理の流れを説明するためのフローチャートである。
【図６】映像処理方法の処理の流れを説明するためのフローチャートである。
【図７】ダビングモードにおける復号処理、符号化処理および加工処理の全体的な流れを説明するためのタイミングチャートを示す図である。
【図８】映像加工部および表示制御部による具体的な処理を説明するための説明図である。
【図９】映像加工部および表示制御部による具体的な処理を説明するための説明図である。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１７】
（ダビングシステム１００）
図１は、ダビングシステム１００の概略的な関係を説明するための説明図である。図１に示すように、ダビングシステム１００は、映像処理装置１１０と、記録装置１２０とを含んで構成される。
【００１８】
映像処理装置１１０は、デジタルビデオカメラ、携帯電話、ＰＨＳ（Personal Handy-phone System）等の電子機器で構成される。例えば、映像処理装置１１０としてのデジタルビデオカメラは、被写体の撮像機能を有し、撮像により第１ストリームを生成および保持し、外部に出力する際に、その第１ストリームを加工して第２ストリームを生成する。ここでは、映像処理装置１１０としてデジタルビデオカメラを例に挙げて説明する。
【００１９】
記録装置１２０は、ＵＳＢ（Universal Serial Bus）ケーブル、ＨＤＭＩ（High-Definition Multimedia Interface）ケーブル、ＬＡＮ（Local Area Network）ケーブル等の接続ケーブル１０２を介して、映像処理装置１１０に接続され、映像処理装置１１０が出力した第２ストリームをＤＶＤやＢＤ（Blu-ray Disc）、フラッシュメモリ等の記録媒体１３０に書き込む。なお、ここでは、映像処理装置１１０と記録装置１２０とが有線（接続ケーブル１０２）で接続されているが、無線ＬＡＮや、近距離無線通信（ＮＦＣ）、赤外線通信等の無線で接続されてもよい。
【００２０】
以下、取得した第１ストリームを加工して第２ストリームを生成する映像処理装置１１０および映像処理装置１１０が生成した第２ストリームを記録媒体１３０に書き込む記録装置１２０の具体的な構成について説明する。
【００２１】
（映像処理装置１１０）
図２は、映像処理装置１１０の概略的な構成を示した機能ブロック図である。図２に示すように、映像処理装置１１０は、操作部２１０と、撮像部２１２と、符号化部２１４と、ストリーム保持部２１６と、ストリーム抽出部２１８と、復号部２２０と、復号バッファ２２２と、符号化バッファ２２４と、符号化部２２６と、ストリームバッファ２２８と、外部出力部２３０と、装置メモリ２３２と、表示部２３４と、映像加工部２３６と、中央制御部２４０とを含んで構成される。図２に示すように、中央制御部２４０は、システム内部バス２０２を通じて、操作部２１０、撮像部２１２、符号化部２１４、ストリーム保持部２１６、ストリーム抽出部２１８、復号部２２０、復号バッファ２２２、符号化バッファ２２４、符号化部２２６、ストリームバッファ２２８、外部出力部２３０、装置メモリ２３２、表示部２３４、映像加工部２３６を制御する。図２中、データの流れを実線の矢印で示し、制御の流れを破線の矢印で示す。
【００２２】
本実施形態において映像処理装置１１０には、加工対象となる第１ストリームを取得して第１ストリームを加工する加工時点をマーキングする「マーキング情報生成モード」と、取得した第１ストリームを加工した第２ストリームを外部の装置、例えば、記録装置１２０に出力する「ダビングモード」との２つのモードがある。ユーザは、操作部２１０等の操作入力によりどちらかのモードを選択することで、これらの２つのモードを切り換えることができる。
【００２３】
操作部２１０は、レリーズスイッチを含む操作キー、十字キー、ジョイスティック、後述する表示部２３４の表示画面に配されたタッチパネル等で構成され、マーキング情報生成モードとダビングモードとの切り換え、ダビングモードにおける映像データの加工等のユーザによる操作入力を受け付ける。
【００２４】
撮像部２１２は、図示しない焦点調整に用いられるフォーカスレンズ、露光調整に用いられる絞り（アイリス）、撮像対象の拡大および縮小に用いられるズームレンズ、各レンズを通じて入射した光を光電変換し映像データに変換する撮像素子、フォーカスレンズ、絞り、ズームレンズ、および、撮像素子を駆動させる駆動回路等を含んで構成され、マーキング情報生成モードにおいて、後述する撮像制御部２５０の制御に応じ、これらを制御し、撮像データ（映像データ）を生成する。
【００２５】
符号化部２１４は、マーキング情報生成モードにおいて、撮像部２１２が生成した映像データを順次符号化して、第１ストリームを生成する符号化処理を遂行する。
【００２６】
なお、ここでは、撮像部２１２および符号化部２１４がストリーム取得部として機能するが、ストリーム取得部は、ＤＶＤやＢＤ、フラッシュメモリ等の外部記録媒体から第１ストリームを取得してもよい。
【００２７】
ストリーム保持部２１６は、ＥＰＲＯＭ(Erasable Programmable Read Only Memory)、ＥＥＰＲＯＭ（Electrically Erasable PROM）、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等の記憶媒体で構成され、マーキング情報生成モードにおいて、第１ストリームや、後述するマーキング部２５２による制御指令に応じ、第１ストリームに関連付けて、第１ストリームを加工する加工時点を示すマーキング情報を保持する。
【００２８】
ストリーム抽出部２１８は、ダビングモードにおいて、ストリーム保持部２１６から、加工対象となる第１ストリームを抽出する。
【００２９】
復号部２２０は、ダビングモードにおいて、ストリーム抽出部２１８が抽出した第１ストリームを復号して映像データを生成する復号処理を遂行する。復号バッファ２２２は、ＳＲＡＭやＤＲＡＭ等の記憶媒体で構成され、ダビングモードにおいて、復号部２２０が復号した映像データを一時的に保持する。符号化バッファ２２４は、ＳＲＡＭやＤＲＡＭ等の記憶媒体で構成され、ダビングモードにおいて、復号部２２０が復号した映像データや、後述する映像加工部２３６が加工した映像データ（以下、単に「加工データ」と称する）を一時的に保持する。
【００３０】
符号化部２２６は、ダビングモードにおいて、符号化バッファ２２４に保持された映像データや加工データを順次符号化して第２ストリームを生成する符号化処理を遂行する。ストリームバッファ２２８は、ＳＲＡＭやＤＲＡＭ等の記憶媒体で構成され、ダビングモードにおいて、符号化部２２６が生成した第２ストリームを一時的に保持する。
【００３１】
外部出力部２３０は、ダビングモードにおいて、ストリームバッファ２２８が保持した第２ストリームを外部の装置、例えば記録装置１２０に出力する。
【００３２】
装置メモリ２３２は、ＥＭＲＯＭ、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ等の記憶媒体で構成され、映像加工部２３６による加工処理の際に利用されるＧＵＩ（Graphical User Interface）用の映像データ（以下、単にＧＵＩ映像データと称する）や、同じく加工処理にて使用されるテンプレートデータ等を保持する。
【００３３】
表示部２３４は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ等で構成され、後述する表示制御部２５８の制御指令に応じて、様々な映像データを表示する。表示部２３４は、マーキング情報生成モードにおいて、撮像中の映像を表示したり、ダビングモードにおいて、復号部２２０が復号した映像データに基づく映像や、映像加工部２３６による加工処理を案内するためのＧＵＩ用の映像（以下、単にＧＵＩ映像と称する）や、加工データに基づく映像を表示したりする。
【００３４】
映像加工部２３６は、ダビングモードにおいて、後述する加工時点検知部２５４が送信する、加工時点を検知したことを示す検知信号を受信すると、加工時点において復号された映像データを、復号バッファ２２２から抽出して、抽出した映像データを加工する加工処理を遂行する。映像加工部２３６は、例えば、ユーザ入力に応じて作成された新規の映像データを、復号された映像データに重畳したり、復号された映像データに対して色補正を行ったり、復号された映像データにおけるエッジ部分をシャープにしたりする。そして映像加工部２３６は、加工処理を施した映像データ（加工データ）を符号化バッファ２２４や表示部２３４に出力する。したがって、符号化バッファ２２４において、加工時点の映像データは、映像加工部２３６によって加工された加工データに置換されることになる。そして映像加工部２３６は、加工処理を完了すると、加工処理が完了したことを示す完了信号を後述する復号符号化制御部２５６に送信する。
【００３５】
中央制御部２４０は、中央処理装置（ＣＰＵ）、中央制御部２４０を動作するためのプログラム等を格納したＲＯＭ、一時的なデータ保存およびワークエリアとして利用されるＲＡＭ等を含む半導体集積回路で構成され、装置メモリ２３２や他の電子回路と協働して映像処理装置１１０全体を管理および制御する。また、中央制御部２４０は、撮像制御部２５０、マーキング部２５２、加工時点検知部２５４、復号符号化制御部２５６、表示制御部２５８としても機能する。
【００３６】
撮像制御部２５０は、マーキング情報生成モードにおいて、ユーザの操作部２１０への操作入力に応じ、撮像部２１２を制御する。例えば、撮像制御部２５０は、適切な映像データが得られるように、撮像部２１２を構成するズームレンズ、フォーカスレンズ、絞りおよび撮像素子を駆動回路に駆動させる。また、撮像制御部２５０は、ズーム機能（倍率変更機能）を遂行させる場合、ズームレンズおよびフォーカスレンズを移動させる。
【００３７】
マーキング部２５２は、マーキング情報生成モードにおいて、予め定められたタイミングで、加工時点をマーキングしてマーキング情報を生成し、生成したマーキング情報を第１ストリームに関連付けてストリーム保持部２１６に保持させる。図３は、マーキング部２５２の処理を説明するための説明図である。図３（ａ）に示すように、マーキング部２５２は、例えば、ユーザによる操作部２１０への操作入力に応じたタイミングで、マーキング（図３中、Ｍで示す）したり、図３（ｂ）に示すように、所定の時間間隔（図３中、ｔで示す）でマーキングしたり、図３（ｃ）に示すように、所定の撮影シーンごと（例えば、撮影シーンの先頭のタイミング）にマーキングしたりする。
【００３８】
ここでは、マーキング部２５２は、ユーザによる操作部２１０への操作入力に応じてマーキングする場合を例に挙げて説明する。操作入力に応じてマーキングする構成では、ユーザは、撮像しながらマーキングすることができるので、映像の加工を所望する時点を容易に設定することが可能となる。
【００３９】
加工時点検知部２５４は、ダビングモードにおいて、復号部２２０による復号処理を監視しており、ストリーム保持部２１６に保持されたマーキング情報を参照して、第１ストリームにおける加工時点を検知すると、加工時点を検知したことを示す検知信号を、映像加工部２３６、復号符号化制御部２５６、表示制御部２５８に送信する。
【００４０】
復号符号化制御部２５６は、マーキング情報生成モードにおいて、符号化部２１４を制御して符号化処理を遂行させたり、ダビングモードにおいて、復号部２２０を制御して復号処理を遂行させたり、符号化部２２６を制御して符号化処理を遂行させたりする。例えば、復号符号化制御部２５６は、符号化部２２６を制御して、加工時点検知部２５４から送信される検知信号を受信すると、映像加工部２３６による加工処理が完了するまで符号化処理を開始しないように制御し、映像加工部２３６が送信する完了信号を受信すると符号化処理を再開する。復号符号化制御部２５６による復号処理および符号化処理については、後に詳述する。
【００４１】
表示制御部２５８は、マーキング情報生成モードにおいて、撮像中の映像を表示部２３４に表示させる。また、表示制御部２５８は、ダビングモードにおいて、加工時点検知部２５４から送信された検知信号を受信すると、復号部２２０が復号した映像データに基づく映像や、ＧＵＩ映像や、加工データに基づく映像を表示部２３４に表示させたりする。
【００４２】
（記録装置１２０）
図４は、記録装置１２０の概略的な構成を示した機能ブロック図である。図４に示すように、記録装置１２０は、中央制御部３１０と、ストリーム取得部３１２と、ストリーム書込部３１４とを含んで構成される。
【００４３】
中央制御部３１０は、中央処理装置（ＣＰＵ）、中央制御部３１０を動作するためのプログラム等を格納したＲＯＭ、一時的なデータ保存およびワークエリアとして利用されるＲＡＭ等を含む半導体集積回路で構成され、不図示のメモリや他の電子回路と協働して記録装置１２０全体を管理および制御する。
【００４４】
ストリーム取得部３１２は、接続ケーブル１０２を通じて映像処理装置１１０から第２ストリームを取得する。ストリーム書込部３１４は、第２ストリームを記録媒体１３０に書き込む。
【００４５】
（映像処理方法）
図５、図６は、ダビングシステム１００による映像処理方法の処理の流れを説明するためのフローチャートであり、図５は、マーキング情報生成モードでの処理を説明するためのフローチャートを、図６は、ダビングモードでの処理を説明するためのフローチャートを示す。また、図７は、ダビングモードにおける復号処理、符号化処理および加工処理の全体的な流れを説明するためのタイミングチャートを示す図である。
【００４６】
（マーキング情報生成モード）
図５に示すように、ユーザによる操作部２１０への操作入力に応じて、マーキング情報生成モードが選択されると（Ｓ４００におけるＹＥＳ）、撮像部２１２は、第１ストリームの生成を開始し、符号化部２１４が符号化した後、第１ストリームをストリーム保持部２１６に順次保持させる（Ｓ４０２）。
【００４７】
第１ストリームの生成中に、操作部２１０が、ユーザによる加工時点のマーキングを所望する旨の操作入力を受け付けると（Ｓ４０４におけるＹＥＳ）、マーキング部２５２は加工時点をマーキングしてマーキング情報を生成し、第１ストリームに関連付けて第１ストリームと共にストリーム保持部２１６に保持させる（Ｓ４０６）。なお、ユーザによるマーキング情報の生成を所望する旨の操作入力がない場合（Ｓ４０４におけるＮＯ）、マーキング部２５２は、マーキング情報を生成しない。
【００４８】
そして、中央制御部２４０は、ユーザによる第１ストリームの取得を停止する旨の操作入力があったか否かを判定し（Ｓ４０８）、停止する旨の操作入力があると（Ｓ４０８におけるＹＥＳ）、マーキング情報生成モードを終了する。
【００４９】
（ダビングモード）
図６に示すように、ユーザによる操作部２１０への操作入力に応じて、ダビングモードが選択されると（Ｓ４３０におけるＹＥＳ）、ストリーム抽出部２１８は、ストリーム保持部２１６に保持された第１ストリームを順次抽出し、復号符号化制御部２５６は、復号部２２０を制御して、第１ストリームの復号処理を開始し、復号した映像データを順次復号バッファ２２２に出力する（Ｓ４３２）。また、加工時点検知部２５４は、復号部２２０による復号処理の監視を開始し、加工時点の検知に備える。
【００５０】
なお、図７（ａ）、（ｂ）に示すように、復号符号化制御部２５６は、復号処理によって、復号バッファ２２２および符号化バッファ２２４にある程度映像データが蓄積された後に、符号化処理を遂行する、すなわち、復号処理と符号化処理とが交互に遂行されるように（復号処理が終わってから符号化処理が遂行されるように）、復号部２２０および符号化部２２６を制御する。復号符号化制御部２５６は、復号部２２０による復号処理が完了してから所定の切り換え時間経過後に符号化部２２６による符号化処理を開始し、符号化部２２６による符号化処理が完了してから所定の切り換え時間（図７中「切り換え」で示す）経過後に復号部２２０による復号処理を開始する。
【００５１】
このように、復号符号化制御部２５６が復号処理と符号化処理とを交互に遂行させることにより、復号バッファ２２２および符号化バッファ２２４の容量を小さくすることができる。
【００５２】
なお、復号バッファ２２２および符号化バッファ２２４が１ストリーム分の映像データを保持できる程度に容量が大きい場合、復号符号化制御部２５６は、復号部２２０に第１ストリームをすべて復号させ、続いて符号化部２２６に第１ストリームを符号化させてもよい。
【００５３】
図６に戻って説明すると、加工時点検知部２５４が、ストリーム保持部２１６に保持されたマーキング情報を参照して加工時点を検知すると（Ｓ４３４におけるＹＥＳ）、加工時点検知部２５４は検知信号を、映像加工部２３６、復号符号化制御部２５６、表示制御部２５８に送信し、映像加工部２３６、復号符号化制御部２５６、表示制御部２５８は、映像加工処理Ｓ４３６を遂行する。
【００５４】
（映像加工処理Ｓ４３６）
まず、復号符号化制御部２５６は、検知信号を受信すると、現在遂行している復号処理の後に遂行される符号化処理の開始を一時停止しておく（図７参照）。次に、映像加工部２３６は、表示制御部２５８による表示部２３４の制御と協働して、加工時点において復号された映像データの加工処理を開始する。
【００５５】
図８および図９は、映像加工部２３６および表示制御部２５８による具体的な処理を説明するための説明図である。表示制御部２５８は、検知信号を受信すると、図８（ａ）に示すように、加工時点において復号された映像データ５１０に、ユーザに映像の加工を促すことを示すＧＵＩ映像データ５１２を重畳して表示部２３４に表示させる。
【００５６】
そして、ユーザが操作部２１０を通じて、表示部２３４に表示されたＹＥＳボタン５１２ａを選択決定すると、図８（ｂ）に示すように、表示制御部２５８は、映像の加工の種類を示すＧＵＩ映像データ５１４を表示部２３４に表示させる。ここで、例えば、ユーザが操作部２１０を通じて、映像処理装置１１０で予め準備されているテンプレートを利用することを示すボタン５１４ａを選択決定すると、図８（ｃ）に示すように、表示制御部２５８は、テンプレートの一覧を示すＧＵＩ映像データ５１６を表示部２３４に表示させる。
【００５７】
なお、ユーザは、ＧＵＩ映像データ５１６における左ボタン５１６ａや右ボタン５１６ｂを選択することで、表示部２３４に表示させるテンプレートのサムネイル５１６ｃを変更することができる。そして、ユーザが操作部２１０を通じて、選択ボタン５１６ｄを選択決定すると、図９（ａ）に示すように、映像加工部２３６は、復号された映像データ５１０を復号バッファ２２２から抽出して、テンプレートを重畳し、加工データ５２０を生成する。
【００５８】
このように、装置メモリ２３２が予め複数種類のテンプレートデータを保持しておくことで、映像加工部２３６は、ユーザに複数種類のテンプレートのうちいずれかを選択させて、選択させたテンプレートを重畳して加工データ５２０を生成できるので、ユーザに容易に加工処理を遂行させることが可能となる。
【００５９】
また、例えばユーザが、図８（ｂ）に示すＧＵＩ映像データ５１４を視認して、操作部２１０を通じて、表示部２３４に表示された、手書きを利用することを示すボタン５１４ｂを選択決定すると、例えば、表示部２３４に重畳されたタッチパネルが起動し、ユーザは、このタッチパネルを操作することで、図９（ｂ）に示すような新規の映像データ５２２を生成することができる。そして、この新規の映像データ５２２の生成が完了すると、図９（ｃ）に示すように、映像加工部２３６は、復号された映像データ５１０を復号バッファ２２２から抽出し、ユーザが生成した新規の映像データ５２２を重畳して、加工データ５２４を生成する。
【００６０】
このように、映像加工部２３６は、ユーザ入力に応じて作成された新規の映像データ５２２を、復号された映像データ５１０に重畳するため、ユーザが所望する加工処理を施すことが可能となる。
【００６１】
そして、ユーザが操作部２１０を通じて加工処理を完了するための操作入力を行うと、映像加工部２３６は、完了信号を復号符号化制御部２５６に送信する。
【００６２】
なお、上述したように、本実施形態において、映像加工部２３６は、復号符号化制御部２５６による復号処理が完了してから加工処理を開始しているが（図７（ａ）参照）、復号符号化制御部２５６による復号処理の完了を待たずに（完了する前から）、加工処理を開始してもよい（図７（ｂ）参照）。このように、映像加工部２３６が、復号処理が完了する前から加工処理を開始することで、復号処理が完了してから加工処理を開始する場合と比較して、ダビングの総時間を短縮することが可能となる。
【００６３】
図６に戻って、映像処理方法についての説明を続けると、加工時点判定ステップＳ４３４において、加工時点検知部２５４が加工時点を検知しない場合（Ｓ４３４におけるＮＯ）、復号ステップＳ４３２で復号バッファ２２２に保持された映像データを符号化バッファ２２４に出力する（Ｓ４３８）。また、加工時点検知部２５４が加工時点を検知した場合に、加工ステップＳ４３６が完了すると、映像加工部２３６は、加工データ５２０を符号化バッファ２２４に出力する（Ｓ４３８）。
【００６４】
そして、符号化バッファ２２４が予め定められた処理の容量に達すると、復号符号化制御部２５６は、復号部２２０に復号処理を停止させ（Ｓ４４０におけるＹＥＳ）、符号化部２２６に符号化処理を開始（再開）させて第２ストリームを生成させ、ストリームバッファ２２８に保持させる（Ｓ４４２）。
【００６５】
符号化バッファ２２４に保持された映像データおよび加工データの符号化処理が完了すると（Ｓ４４４におけるＹＥＳ）、中央制御部２４０は、ストリーム保持部２１６に保持された第１ストリームの復号および符号化がすべて終了したか否かを判定し（Ｓ４４６）、すべて終了していれば（Ｓ４４６におけるＹＥＳ）、外部出力部２３０は、ストリームバッファ２２８に保持された第２ストリームを記録装置１２０に出力する（Ｓ４４８）。
【００６６】
以上説明したように、本実施形態にかかる映像処理装置１１０および映像処理方法では、映像処理装置１１０自体に設けられた映像加工部２３６が映像データを加工するため、ＰＣ等の別途の装置を用いずとも、ユーザに煩雑な操作を強いることなく、映像データを容易に加工することが可能となる。また、映像加工部２３６は、操作部２１０を通じたユーザによる操作入力に応じて、映像データを加工することができるため、ユーザが所望する加工処理を映像データに施すことが可能となる。さらに、マーキング部２５２は、操作部２１０を通じたユーザによる操作入力に応じて、マーキング情報を生成するため、ユーザが所望する映像データに加工処理を施すことが可能となる。
【００６７】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００６８】
例えば、上述した実施形態では、符号化部２１４が、撮像部２１２が生成した映像データを符号化し、符号化部２２６が、復号された映像データや加工データを符号化しているが、符号化部２１４と符号化部２２６を１つに纏めることもできる。
【００６９】
また、撮像部２１２および符号化部２１４がストリーム取得部として機能し、撮像部２１２および符号化部２１４による第１ストリームの生成（撮像）と並行して、マーキング部２５２がユーザによる操作入力に応じてマーキングする場合を例に挙げて説明したが、例えば、撮像部２１２を有さない構成において、ストリーム取得部が外部記録媒体から第１ストリームを取得する場合、一旦復号部２２０が第１ストリームを復号して、表示部２３４に表示させてもよい。こうすることで、ユーザは第１ストリームに基づく映像を視認しながらマーキングすることができる。
【００７０】
さらに、上述した実施形態では、記録装置１２０が記録媒体１３０へのストリーム書き込み機能を備える構成について説明したが、映像処理装置１１０がストリーム書き込み機能を備えることもできる。
【００７１】
なお、本明細書の映像処理方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００７２】
本発明は、映像データを加工する映像処理装置、ダビングシステムおよび映像処理方法に利用することができる。
【符号の説明】
【００７３】
１００  …ダビングシステム
１１０  …映像処理装置
１２０  …記録装置
１３０  …記録媒体
２１２  …撮像部（ストリーム取得部）
２１４  …符号化部（ストリーム取得部）
２１６  …ストリーム保持部
２２０  …復号部
２２６  …符号化部
２３０  …外部出力部
２３６  …映像加工部
２５２  …マーキング部
２５４  …加工時点検知部
２５６  …復号符号化制御部
３１４  …ストリーム書込部
【図１】
0005637012.tif 000002
【図２】
0005637012.tif 000003
【図３】
0005637012.tif 000004
【図４】
0005637012.tif 000005
【図５】
0005637012.tif 000006
【図６】
0005637012.tif 000007
【図７】
0005637012.tif 000008
【図８】
0005637012.tif 000009
【図９】
0005637012.tif 000010