(57)【特許請求の範囲】
【請求項１】
動画像コンテンツデータの記録・再生が可能なコンテンツ記録再生装置において、
記録中の動画像コンテンツデータに対する所定の画像コンテンツデータの挿入を指示する操作ボタンと、
記録対象の動画像コンテンツデータを入力する手段と、
前記入力された動画像コンテンツデータを圧縮符号化しながら記録する記録手段と、
前記動画像コンテンツデータの記録中に前記操作ボタンが押下操作されたとき、前記コンテンツ記録再生装置に取り外し自在に装着可能な外部記憶媒体に挿入用コンテンツデータとして予め用意されている画像コンテンツデータを、前記記録中の動画像コンテンツデータの現在のフレーム位置と次のフレーム位置との間の所定フレーム数分の画像データとして前記動画像コンテンツデータに挿入することによって前記予め用意された画像コンテンツデータが挿入された動画像コンテンツデータのストリームを生成し、当該ストリームを前記記録手段に出力する編集手段とを具備することを特徴とするコンテンツ記録再生装置。
【請求項２】
記録された動画像コンテンツデータを解析して文字情報イメージが表示されるフレームを検出し、当該検出された各フレームから文字情報イメージを抽出する手段と、
抽出された文字情報イメージをテキストデータに変換する手段と、
変換されたテキストデータと前記検出された各フレームの位置情報とに基づいて、該当するフレームの位置情報に対応付けられた見出し文を含む目次画面を生成する手段と、
前記目次画面上で選択された見出し文に対応するフレームの位置情報で指定されるフレーム位置から、前記動画像コンテンツデータの再生を開始する手段とをさらに具備することを特徴とする請求項１記載のコンテンツ記録再生装置。
【請求項３】
動画像コンテンツデータの記録・再生が可能なコンテンツ記録再生装置で使用されるコンテンツ編集方法であって、
記録対象の動画像コンテンツデータを入力するステップと、
前記入力された動画像コンテンツデータを圧縮符号化しながら記録するステップと、
前記動画像コンテンツデータの記録中に前記コンテンツ記録再生装置に設けられた所定の操作ボタンが押下操作されたとき、前記コンテンツ記録再生装置に取り外し自在に装着可能な外部記憶媒体に挿入用コンテンツデータとして予め用意されているコンテンツデータを、前記記録中の動画像コンテンツデータの現在のフレーム位置と次のフレーム位置との間の所定フレーム数分の画像データとして前記動画像コンテンツデータに挿入することによって前記予め用意された画像コンテンツデータが挿入された動画像コンテンツデータのストリームを生成し、当該ストリームを圧縮符号化しながら記録するステップとを具備することを特徴とするコンテンツ編集方法。
【請求項４】
記録された動画像コンテンツデータを解析して文字情報イメージが表示されるフレームを検出し、当該検出された各フレームから文字情報イメージを抽出するステップと、
抽出された文字情報イメージをテキストデータに変換するステップと、
変換されたテキストデータと前記検出された各フレームの位置情報とに基づいて、該当するフレームの位置情報に対応付けられた見出し文を含む目次画面を生成するステップと、
前記目次画面上で選択された見出し文に対応するフレームの位置情報で指定されるフレーム位置から、前記動画像コンテンツデータの再生を開始するステップとをさらに具備することを特徴とする請求項３記載のコンテンツ編集方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像および音声などのコンテンツデータの記録および再生が可能なコンテンツ記録再生装置およびそのコンテンツ記録再生装置で使用されるコンテンツ編集方法に関する。
【０００２】
【従来の技術】
近年、画像および音声などのコンテンツデータの記録・再生を行うためのシステムが種々開発されている。例えば、特開２０００−２３６４９６号公報には、記録された映像番組などのコンテンツのタイトル管理を行う機能を持つ録画編集再生装置が開示されている。この録画編集再生装置では、ＥＰＧなどの付帯情報を用いてコンテンツタイトルの生成および管理が行われる。
【０００３】
また、特開２００２−４４５９４号公報には、コンピュータを用いて動画、静止画などの複数種のコンテンツを、編集画面上で編集するためのコンテンツ編集装置が開示されている。このコンテンツ編集装置では、コンピュータの編集画面上に映像表示、静止画表示、テキスト表示などが同時に行われ、その編集画面上で各コンテンツの編集位置等を指定することにより、編集処理が行われる。
【０００４】
【発明が解決しようとする課題】
しかし、例えばＰＤＡ、ビデカメラなどのような携帯型のコンテンツ記録再生装置においては、複数のコンテンツを同時表示できるような大規模な表示画面は設けられておらず、編集画面上で各コンテンツの編集位置を指定するといった操作を行うことは困難である。よって、携帯型コンテンツ記録再生装置においては、記録したコンテンツをより簡単な操作で編集できるようにするための仕組みが望まれている。
【０００５】
また、記録した動画／音声などのコンテンツについては何らかのコメントなどを付帯して管理することが好ましいが、携帯型コンテンツ記録再生装置では、キーボードなどの入力装置を備えておらず、また何らかの入力装置を備えたものであってもその入力操作はユーザにとって必ずしも容易なものではないのが通常である。このため、携帯型コンテンツ記録再生装置においては、記録したコンテンツをユーザによるコメント文作成などの操作なしで容易に管理できるようにするための編集機能も必要である。
【０００６】
本発明は上述の事情を考慮してなされたものであり、編集画面の表示やユーザによるコメント文作成などの操作なしで、コンテンツデータの編集を効率よく行うことが可能なコンテンツ記録再生装置およびコンテンツ編集方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上述の課題を解決するため、本発明は、動画像コンテンツデータの記録・再生が可能なコンテンツ記録再生装置において、記録中の動画像コンテンツデータに対する所定の画像コンテンツデータの挿入を指示する操作ボタンと、記録対象の動画像コンテンツデータを入力する手段と、前記入力された動画像コンテンツデータを圧縮符号化しながら記録する記録手段と、前記動画像コンテンツデータの記録中に前記操作ボタンが押下操作されたとき、前記コンテンツ記録再生装置に取り外し自在に装着可能な外部記憶媒体に挿入用コンテンツデータとして予め用意されている画像コンテンツデータを、前記記録中の動画像コンテンツデータの現在のフレーム位置と次のフレーム位置との間の所定フレーム数分の画像データとして前記動画像コンテンツデータに挿入することによって前記予め用意された画像コンテンツデータが挿入された動画像コンテンツデータのストリームを生成し、当該ストリームを前記記録手段に出力する編集手段とを具備することを特徴とする。
【０００８】
このコンテンツ記録再生装置においては、記録中の動画像コンテンツデータに対する所定の画像コンテンツデータの挿入を指示するための操作ボタンが用意されており、動画像コンテンツデータの記録中に当該操作ボタンが押下操作された場合には、外部記憶媒体に予め用意されている挿入用コンテンツデータが、記録中の動画像コンテンツデータの現在のフレーム位置と次のフレーム位置との間の所定フレーム数分の画像データとして前記動画像コンテンツデータに自動的に挿入される。そして、予め用意されている挿入用コンテンツデータが挿入された動画像コンテンツデータのストリームは圧縮符号化されて記録される。これにより、例えば、動画像コンテンツの記録中に操作ボタンを押すだけで、予め用意したタイトル画面などを動画像コンテンツ中の任意の位置に容易に一種のインデックスとして挿入することが可能となる。これにより、編集画面の表示やユーザによるコメント文作成などの操作なしで、コンテンツデータの編集および管理を容易に行うことが可能となる。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１は本発明の一実施形態に係る携帯型コンテンツ記録再生装置の外観が示されている。この携帯型コンテンツ記録再生装置１１は、例えばＰＤＡ、携帯電話機、ムービー、ボイスレコーダ、などの携帯型電子機器によって実現されるものであり、内蔵バッテリによって動作可能に構成されている。ここでは、カメラ付きＰＤＡとして実現された携帯型コンテンツ記録再生装置１１を例示してその構成を説明することとする。
【００１４】
この携帯型コンテンツ記録再生装置１１の本体表面には、図示のように、ディスプレイ１２、操作ボタン１３、スピーカ１９が配置されている。またその本体上面にはカメラユニット１４が本体正面側と裏面側との間を回動自在に設けられている。このカメラユニット１４は静止画、動画の撮影を行うことができる。撮影によって得られた静止画、動画の画像コンテンツデータはディスプレイ１２に再生表示されると共に、携帯型コンテンツ記録再生装置１１内の記憶媒体に記録される。記録された画像コンテンツデータは必要に応じてディスプレイ１２に再生表示することができる。本体上面にはさらにマイク１５が設けられており、音声データを携帯型コンテンツ記録再生装置１１内の記憶媒体に記録することができる。
【００１５】
さらに本体側面上には、オーディオ入力端子１６、ビデオ入力端子１７、およびカードスロット１８が設けられている。オーディオ入力端子１６およびビデオ入力端子１７により、音声、画像のコンテンツデータを外部ＡＶ機器から入力して携帯型コンテンツ記録再生装置１１内の記憶媒体に記録することもできる。カードスロット１８には、メモリカードなどの外部記憶メディア２１を着脱自在に装着することができる。
【００１６】
携帯型コンテンツ記録再生装置１１は、音声、画像のコンテンツデータの記録および再生を行う機能に加え、それら音声、画像のコンテンツデータを編集する機能も有している。この編集機能は、携帯型コンテンツ記録再生装置１１内でコンテンツデータの管理に必要な編集操作を容易に行うためのものであり、あるコンテンツデータに対して別のコンテンツデータをインデックス情報として組み合わせたり、あるいはコンテンツデータから抽出したコンテンツを利用して目次としてのインデックス情報を生成すること等によって実現される。具体的な編集機能には、
（１）音声、画像によるタイトルを記録または再生中の音声、画像コンテンツデータの任意の位置に挿入するタイトル挿入機能
（２）音声コンテンツデータの記録または再生中に静止画、動画などの画像コンテンツデータ記録し、その画像コンテンツデータを音声コンテンツデータの再生の進行に合わせて再生表示する同時記録・再生機能
（３）記録中またはすでに記録された動画コンテンツデータからタイトル（テロップ）を抽出し自動的に目次を作成する目次作成機能
がある。
【００１７】
上記（１）のタイトル挿入機能は、音声、画像のコンテンツデータの記録または再生中に、その音声、画像のコンテンツデータに対して別の音声、画像のコンテンツデータを挿入する機能である。ここで、挿入とは、ある画像コンテンツのフレーム上にコメント文（副映像）を重畳するといった合成処理ではなく、画像コンテンツのフレーム間に別の画像を挿入したり、音楽コンテンツのフレーム間に別の音楽コンテンツを挿入する処理を意味する。この機能は、例えば、動画像コンテンツデータの記録または再生中にタイトル画面などをその動画像コンテンツデータ内に一種のインデックス情報として挿入するとき等に使用される。タイトル画面としては、ユーザが外部記憶メディア２１に予め用意した動画または静止画のタイトル画像が用いられる。
【００１８】
操作ボタン１３内には、例えば電源ボタン、記録・再生ボタン、撮影ボタン、等に加え、挿入ボタン１３１も用意されている。この挿入ボタン１３１は、記録中または再生中のコンテンツデータに対して別のコンテンツデータの挿入を指示するための操作ボタンであり、例えばカメラユニット１４を用いて動画像コンテンツデータの撮影・記録処理を行っているときに挿入ボタン１３１がユーザによって押下操作された場合には、外部記憶メディア２１内のタイトル画像が記録中の動画像コンテンツデータの現在の記録位置に自動的に挿入される。外部記憶メディア２１に複数のタイトル画像が記憶されている場合には、挿入ボタン１３１の操作のたびに使用するタイトル画像を自動的に切り替えるなどの処理が行われる。
【００１９】
上記（２）の同時記録・再生機能は、音楽コンテンツデータの再生の進行に合わせて静止画または動画像などをインデックス情報として再生表示するために利用される機能であり、上述のタイトル画像の代わりに、カメラユニット１４の撮像動作で得られた静止画または動画像が用いられる。音楽コンテンツデータの記録または再生中にユーザがカメラユニット１４を用いて静止画または動画像の撮影を行うと、記録または再生中の音楽コンテンツデータと、撮影によって得られた画像データとのリンクが自動的に生成される。
【００２０】
上記（３）の目次作成機能は、動画像コンテンツデータに含まれている文字情報イメージを利用して、見出し文を含む目次画面を動画像コンテンツデータから自動的に生成する機能である。これにより、例えば録画したコンテンツからタイトル（テロップ）などを抽出して自動的に目次を作成することができ、ユーザは自分でインデックスをつけることなく、目次画面上の見出し文を選択するだけで、見たい映像を瞬時に再生することができる。
【００２１】
次に、図２を参照して、本実施形態の携帯型コンテンツ記録再生装置１１のシステム構成について説明する。
この携帯型コンテンツ記録再生装置１１には、上述のディスプレイ１２、操作ボタン１３、カメラユニット１４、マイク１５、オーディオ入力端子１６、ビデオ入力端子１７、カードスロット１８、スピーカ１９、イヤホン２０に加え、図示のように、制御部１１１、ビデオ入力部１１２、オーディオ入力部１１３、バッファメモリ１１４、圧縮処理部１１５、記録制御部１１６、テロップ抽出部１１７、テキスト変換部１１８、ＨＤＤなどの記憶媒体１２０、ビデオ再生部１２１、およびオーディオ再生部１２２等が設けられている。
【００２２】
制御部１１１は本携帯型コンテンツ記録再生装置１１全体の動作を制御するためのものであり、ユーザによる操作ボタン１３の操作に応じて、音声、画像のコンテンツデータの記録および再生、さらにカメラユニット１４による静止画または動画の撮影などを行う。カメラユニット１４はＣＣＤなどの撮像デバイスと信号処理回路から構成されており、撮影時には、このカメラユニット１４によって撮像動作が実行され、その撮像動作で得られる静止画または動画の画像データがバッファメモリ１１４に入力される。バッファメモリ１１４上の画像データは圧縮処理部１１５によって圧縮符号化された後に、記録制御部１１６を介してＨＤＤ１２０に静止画または動画のビデオコンテンツデータとして記録される。外部ＡＶ機器から入力される静止画または動画の画像データを記録する場合には、その画像データはビデオ入力端子１７およびビデオ入力部１１２を介してバッファメモリ１１４に入力される。
【００２３】
音声コンテンツデータの記録時には、オーディオ入力端子１６を介して外部ＡＶ機器から入力される音声データまたはマイク１５から入力される音声データがオーディオ入力部１１３を介して記録制御部１１６に送られ、そしてＨＤＤ１２０にオーディオコンテンツとして記録される。
【００２４】
ＨＤＤ１２０にオーディオコンテンツ、ビデオコンテンツとして記録されている画像、音声のコンテンツデータは、それぞれビデオ再生部１２１、オーディオ再生部１２２によって再生される。この再生は、制御部１１１の制御の下、ＨＤＤ１２０に記録されているリンク情報にしたがって実行される。このリンク情報はコンテンツデータ同士を対応付けるものであり、上述の各編集機能の実現のために利用される。
【００２５】
タイトル挿入部１１９は、記録または再生中の動画像のコンテンツデータに外部記憶メディア２１に記憶されているタイトル画像を挿入するためのものである。この挿入方法としては、動画像コンテンツデータにタイトル画像を物理的に挿入する方法とリンク情報を用いて論理的に挿入する方法とがある。どちらの場合でも、動画像のコンテンツデータの連続する２つのフレーム間にタイトル画像を挿入する処理が行われる。
【００２６】
例えば動画像のコンテンツデータの記録中にタイトル画像を物理的に挿入する場合には、外部記憶メディア２１に記憶されているタイトル画像はバッファメモリ１１４に送られ、そのタイトル画像は動画像コンテンツデータの現在のフレーム位置と次のフレーム位置との間の所定フレーム分の画像データとして物理的に動画像コンテンツデータに挿入される。また論理的に挿入する場合には、外部記憶メディア２１に記憶されているタイトル画像は記録制御部１１６に送られ、動画像コンテンツデータとのリンク情報と一緒に、ＨＤＤ１２０にタイトルコンテンツとして記録される。このリンク情報は、当該動画像コンテンツデータとタイトルコンテンツとを対応付ける情報であり、ここには動画像コンテンツデータのどのフレーム間にタイトルコンテンツを挿入するかを示す挿入位置情報が含まれている。挿入位置情報は、挿入ボタン１３１が押下された時の動画像コンテンツデータの現在の記録または再生位置に対応する現在のフレーム位置と次のフレーム位置とを示す。
【００２７】
テロップ抽出部１１７およびテキスト変換部１１８はそれぞれ上述の目次作成機能の実現のために設けられたものである。テロップ抽出部１１７は、バッファメモリ１１４に入力された動画像コンテンツデータを解析して文字情報イメージ（テロップ）が表示されるフレームを検出し、そして当該検出された各フレームから文字情報イメージを抽出する。テキスト変換部１１８は抽出された文字情報イメージを文字認識してテキストデータに変換する。そして、変換されたテキストデータと検出された各フレームの位置情報とから制御部１１１の制御の下に目次画面が生成され、それが記録制御部１１６を介してメニューコンテンツとしてＨＤＤ１２０に記録される。
【００２８】
以下、上述の各編集機能について具体的に説明する。
【００２９】
＜タイトル挿入＞
まず、図３乃至図７を参照して、タイトル挿入機能について説明する。
ユーザが例えば動画像コンテンツデータの録画中に挿入ボタン１３１を押下すると、図３に示すように、挿入ボタン１３１を押下している時間分（もしくは１度押下すると何秒間タイトル画面表示といった指定にしておけば一度の押下で）、事前に用意されているタイトル画像が録画中のコンテンツデータに挿入される。図３においては、挿入ボタン１３１が押下された際における録画中の動画像コンテンツの現在のフレーム位置がフレーム３であり、フレーム３と次のフレーム４との間に２フレーム分の再生時間分だけタイトル画像を挿入した場合が示されている。タイトル画像は事前に何種類か用意しておき、場面ごとにタイトル画像を使い分けて録画することで、再生時に各場面のタイトル付きの再生を行うことができる。これにより、コメント文などを入力することなく、再生中の録画データの内容を容易に把握することができる。同様にして、音声データの録画中にその音声データ中に、予め用意された別の音声データをボイスインデックスとして挿入することもできる。以下では、動画像コンテンツにタイトル画面を挿入する場合を例示して、その具体的な処理について説明する。
【００３０】
タイトル挿入は図４のフローチャートに示す手順で行われる。すなわち、まず、動画像コンテンツの記録または再生処理が行われる（ステップＳ１０１）。この動画像コンテンツの記録または再生中においては挿入ボタン１３１の押下の有無が制御部１１１によって監視されており、挿入ボタン１３１が押下されると（ステップＳ１０２）、動画像コンテンツの記録または再生処理を継続しながら、その動画像コンテンツの現在の記録または再生位置にタイトル画像を挿入する処理が実行される（ステップＳ１０３）。タイトル画像の挿入処理の様子を図５に示す。
【００３１】
図５はタイトル画像を動画像コンテンツのストリーム中に物理的に挿入する場合を示している。この場合、タイトル挿入部１１９は挿入対象のタイトル画像を、動画像コンテンツデータの現在のフレーム３と次のフレーム４との間の２フレーム分のフレームとして画像バッファメモリ１１４に入力する。バッファメモリ１１４から圧縮処理部１１５には、動画像コンテンツのフレーム１、フレーム２、フレーム３、タイトル画像、タイトル画像、動画像コンテンツのフレーム４、フレーム５、フレーム６、という順序で画像データが送られる。圧縮処理部１１５では、ＭＰＥＧ２またはＭＰＥＧ４などの動き予測を用いた圧縮符号化処理が行われ、画像データの入力順に動き予測を行うながらフレーム内またはフレーム間予測符号化が実行される。このようにして、タイトル画像が挿入された動画像コンテンツデータのストリームに対して圧縮処理がなされ、フレーム１、フレーム２、フレーム３、タイトル画像、タイトル画像、フレーム４、フレーム５、フレーム６、という順序のビデオコンテンツデータが生成され、それがＨＤＤ１２０に記録される。
【００３２】
図６はタイトル画像を動画像コンテンツのストリーム中に論理的に挿入する場合を示している。この場合、タイトル挿入部１１９からの挿入対象のタイトル画像は、リンク情報と一緒にＨＤＤ１２０に記録される。リンク情報は、挿入ボタン１３１が押された場合における動画像コンテンツデータの現在のフレーム３と次のフレーム４とを挿入位置情報として示すリンク情報１と、当該動画像コンテンツデータとタイトル画像とを関係付けるリンク情報２とを含む。リンク情報２には、タイトル画像を何フレーム分再生表示すべきであるかを示す再生時間情報も含まれている。これにより、タイトル画像は、フレーム３とフレーム４を示す挿入位置情報と、記録中の動画像コンテンツデータとに対応付けられた状態で、ＨＤＤ１２０に記録されることになる。この場合、記録された動画像コンテンツデータの再生処理は図７のフローチャートで示す手順で実行される。
【００３３】
すなわち、まず再生対象の動画像コンテンツデータに対応するリンク情報が参照され（ステップＳ１１１）、タイトル画像を挿入すべきフレームであるかどうかを判定しながら（ステップＳ１１２）、動画像コンテンツデータを再生するビデオ再生処理（ステップＳ１１３）と、タイトル画像の再生処理（ステップＳ１１４）とが選択的に実行される。すなわち、フレーム１〜３までは動画像コンテンツデータの再生が行われ、続く２フレーム分の再生時間にはタイトル画像の再生が行われ、そして動画像コンテンツデータのフレーム４からの再生が行われる。これにより、挿入位置情報で指定された動画像コンテンツデータの再生フレーム３と４との間にタイトル画像が再生表示される。なお、タイトル画像を何フレーム分再生表示すべきであるかは上述の再生時間情報で与えられる。また、タイトル画像として動画を用いる場合や、音声コンテンツデータに別の音声データを挿入する場合には、上述の再生時間情報は特に必要なものではない。
【００３４】
＜音声と画像の同時記録・再生機能＞
次に、図８乃至図１１を参照して、音声と画像の同時記録・再生機能について説明する。
【００３５】
ここでは、ユーザが音声コンテンツデータの記録中にカメラユニット１４を用いて静止画の撮影を行った場合を想定する。図８においては、音声録音中にユーザが静止画Ａ，Ｂ，Ｃの３回の静止画撮影を行った場合を示している。静止画Ａ，Ｂ，Ｃは、それぞれその撮影時における録音経過時間を示すリンク情報と一緒に記録される。録音された音声コンテンツデータを再生する場合には、静止画Ａ，Ｂ，Ｃがそれぞれそのリンク情報で示されるタイミングで再生表示され、音声再生の進行に合わせて静止画Ａ，Ｂ，Ｃがその順に順次再生表示される。
【００３６】
また、音声コンテンツデータの再生中に静止画撮影を行った場合も、各静止画を音声コンテンツの再生開始からの経過時間を示すリンク情報と一緒に記録することで、各静止画と音楽コンテンツとを対応付けることができる。
【００３７】
図９には、各静止画と音声コンテンツデータ（オーディオコンテンツ）とを対応付けるリンク情報の一例が示されている。例えば、音声コンテンツデータに２つの静止画Ａ，Ｂを対応付けする場合には、それら静止画Ａ，Ｂに対応するリンク情報が生成される。静止画Ａに対応するリンク情報は、音声コンテンツデータの再生または記録開始からの経過時間（タイム２）を示すリンク１と、音声コンテンツデータと静止画Ａとを対応つけるリンク２とを含み、静止画Ｂに対応するリンク情報は、音声コンテンツデータの再生または記録開始からの経過時間（タイム４）を示すリンク１と、音声コンテンツデータと静止画Ｂとを対応つけるリンク２とを含む。
【００３８】
図１０には、音声コンテンツデータの記録処理の手順が示されている。まず、マイク１５またはオーディオ入力端子１６から音声コンテンツデータを入力しながらそれを記録する処理が行われる（ステップＳ２０１）。音声記録中においては撮影ボタンの押下の有無が制御部１１１によって監視されており、撮影ボタンが押下される度に静止画撮影処理が実行される。静止画撮影処理が実行されたとき（ステップＳ２０２のＹＥＳ）、その時の音声コンテンツデータの記録開始からの経過時間を含むリンク情報が生成され、それが静止画撮影処理で得られた静止画とともに記録される（ステップＳ２０３）。
【００３９】
図１１には、記録された音声コンテンツデータの再生処理の手順が示されている。まず、音声コンテンツデータの再生処理が開始される（ステップＳ２１１）。音声コンテンツデータの再生処理中は、その音声コンテンツデータに対応するリンク情報とその音声コンテンツデータの再生開始からの経過時間とに基づいて、音声コンテンツデータの現在の再生位置が静止画を再生表示すべき再生位置（オーディオフレーム）であるかどうかが判定される（ステップＳ２１２，Ｓ２１３）。そして、リンク情報で示されるタイミングで該当する静止画がディスプレイ１２上に再生表示される（ステップＳ２１４）。
【００４０】
なお、撮影によって得られた静止画、動画を記録中の音声データに対応付けるのみならず、例えば歌詞などのテキストデータを含むコンテンツデータの記録を操作ボタン１３から指示することにより、当該テキストデータを含むコンテンツデータを、記録中の音声データに対応付けて記録することも出来る。
【００４１】
＜目次作成＞
次に、図１２乃至図１５を参照して、目次作成機能について説明する。ここでは、歌番組などの映像番組をＴＶ等から入力して録画する場合を例にとって説明する。この場合、動画コンテンツデータの記録と音声コンテンツデータの記録が同期して行われることになる。
【００４２】
歌番組で歌手が歌を歌うときには、通常は、その曲の開始時に曲目やアーティスト名がテロップとして画面上に表示される。図１２に示すように、録画時に画面に表示される曲名、アーティスト名をテロップ抽出部１１７によって抽出してそれをテキスト変換部１１８によって文字認識することにより、テキスト変換部１１８によって得られた曲名、アーティスト名を見出し文として含む目次画面を作成する。再生時には、この目次画面から再生したい曲の見出し文を選択することにより、頭出しを容易に行うことが出来る。
【００４３】
作成された目次画面はメニューコンテンツとしてＨＤＤ１２０に記録される。この場合、メニューコンテンツは、歌番組を構成する動画コンテンツデータと音声コンテンツデータとを含むＡ／Ｖコンテンツとリンク情報によって対応付けされる。このリンク情報の一例を図１３に示す。
【００４４】
このリンク情報はメニューコンテンツと該当するＡ／Ｖコンテンツとを対応付けるものであり、メニューコンテンツを構成する目次画面上の各目次（曲名、アーティスト名などの見出し文）毎に、Ａ／Ｖコンテンツを構成する動画コンテンツデータのフレーム位置を示すリンク１と、メニューコンテンツ上の該当する目次（曲名、アーティスト名などの見出し文）を示すリンク２とを含むリンク情報が生成される。動画像コンテンツデータの記録時に行われる目次作成処理の手順を図１４のフローチャートに示す。
【００４５】
まず、バッファメモリ１１４上に入力された動画像コンテンツデータがフレーム毎に解析され、文字情報イメージ（テロップ）を含むフレームであるか否かが検出される（ステップＳ３０１）。通常、画面表示される文字情報イメージは白色であるので、各フレームの画像データを画素毎に所定の閾値を用いて２値化（白と階調色）し、白成分の画素の集まりの度合いを調べることによって文字情報イメージ（テロップ）を含むフレームであるか否かを判断することが出来る。次いで、文字情報イメージの抽出処理が行われる（ステップＳ３０２）。この抽出処理では、例えば、文字情報イメージ（テロップ）を含むフレームに対して、白成分の画素に関するヒストグラムが行及び列それぞれについて作成され、そのヒストグラムに基づいて文字列を含む行の検出、および各文字の切り出しが行われる。
【００４６】
この後、抽出された各文字を文字認識することによって、文字情報イメージが曲名、アーティスト名などを示すテキストデータに変換される（ステップＳ３０３）。そして、変換されたテキストデータと該当する各フレームの位置情報とに基づいて、変換されたテキストデータを見出し文とする目次画面と、各目次を該当するフレームに結びつけるリンク情報とが生成され、それらがＨＤＤ１２０に記録される（ステップＳ３０４）。
【００４７】
なお、以上の目次作成処理は既に録画されている動画像コンテンツデータを解析することによって作成することも出来る。
【００４８】
次に、図１５のフローチャートを参照して、目次画面上で選択された見出し文に対応するフレーム位置から動画像コンテンツデータの再生を開始するための手順について説明する。
【００４９】
まず、再生対象の動画コンテンツデータに対応する目次画面（メニュー）がディスプレイ１２に画面表示される（ステップＳ３１１）。この目次画面上で目次（見出し文）がユーザによって選択されると、リンク情報に基づいて、その選択された目次に対応するフレーム位置が再生開始ポイントとして検出される（ステップＳ３１２）。そして、当該再生開始ポイントのフレーム位置から、再生対象の動画コンテンツデータの再生が開始される（ステップＳ３１３）。
【００５０】
このように、コンテンツからタイトル（テロップ）などを抽出して自動的に目次を作成することにより、編集画面の表示やユーザによるコメント文作成などの操作なしで、ユーザは動画像コンテンツデータを所望の位置から再生することが可能となる。
【００５１】
以上のように、本実施形態によれば、あるコンテンツデータに対して別のコンテンツデータをインデックス情報として組み合わせたり、あるいはコンテンツデータから抽出したコンテンツを利用して目次としてのインデックス情報を生成することにより、編集画面の表示やユーザによるコメント文作成などの操作なしで、携帯型コンテンツ記録再生装置１１内でコンテンツデータの管理に必要な編集操作を容易に行うことが可能となる。
【００５２】
なお、上記実施形態におけるタイトル挿入機能、同時記録・再生機能、目次作成機能は適宜組み合わせて利用することが出来ることはもちろんである。また本実施形態の各編集機能は入力操作が困難な携帯型電子機器への適用がもっとも好適であるが、例えばＴＶ受像機、デジタルビデオレコーダ、オーディオプレイヤー等の記録再生装置についてもその入力操作は一般に困難であるので、それら家庭用のコンシューマＡＶ機器にも本実施形態は有効である。
【００５３】
また、上述した本実施形態の機能は全てそれをコンピュータに実行させるコンピュータプログラムとして実現することができる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【００５４】
【発明の効果】
以上詳述した如く本発明によれば、編集画面の表示やユーザによるコメント文作成などの操作なしで、コンテンツデータの編集を効率よく行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る一実施形態に係る携帯型コンテンツ記録再生装置の外観を示す図。
【図２】同実施形態の携帯型コンテンツ記録再生装置のシステム構成を示すブロック図。
【図３】同実施形態の携帯型コンテンツ記録再生装置におけるタイトル挿入機能の原理を説明するための図。
【図４】同実施形態の携帯型コンテンツ記録再生装置におけるタイトル挿入処理の手順を示すフローチャート。
【図５】同実施形態の携帯型コンテンツ記録再生装置においてタイトル画像を動画像コンテンツに物理的に挿入する場合のタイトル挿入処理の様子を示す図。
【図６】同実施形態の携帯型コンテンツ記録再生装置においてタイトル画像を動画像コンテンツに論理的に挿入する場合のタイトル挿入処理の様子を示す図。
【図７】同実施形態の携帯型コンテンツ記録再生装置においてタイトル画像が挿入された動画像コンテンツを再生する場合の処理手順を示すフローチャート。
【図８】同実施形態の携帯型コンテンツ記録再生装置における音声と画像の同時記録・再生機能を説明するための図。
【図９】同実施形態の携帯型コンテンツ記録再生装置において用いられる音声と画像を対応付けるリンク情報の例を示す図。
【図１０】同実施形態の携帯型コンテンツ記録再生装置における録音および撮影処理の手順を示すフローチャート。
【図１１】同実施形態の携帯型コンテンツ記録再生装置における音声再生処理の手順を示すフローチャート。
【図１２】同実施形態の携帯型コンテンツ記録再生装置における目次作成機能を説明するための図。
【図１３】同実施形態の携帯型コンテンツ記録再生装置で用いられるコンテンツデータと目次とを対応付けるリンク情報の例を示す図。
【図１４】同実施形態の携帯型コンテンツ記録再生装置における目次再生処理の手順を示すフローチャート。
【図１５】同実施形態の携帯型コンテンツ記録再生装置において目次を用いてコンテンツ再生を行う手順を示すフローチャート。
【符号の説明】
１１…携帯型コンテンツ記録再生装置
１２…ディスプレイ
１３…操作ボタン
１４…カメラユニット
１５…マイク
１６…オーディオ入力端子
１７…ビデオ入力端子
１８…カードスロット
１９…スピーカ
２１…外部記憶メディア
１１１…制御部
１１２…ビデオ入力部
１１３…オーディオ入力部
１１４…バッファメモリ
１１５…圧縮処理部
１１６…記録制御部
１１７…テロップ抽出部
１１８…テキスト変換部
１１９…タイトル挿入部
１２０…ＨＤＤ（記憶媒体）
１２１…ビデオ再生部
１２２…オーディオ再生部
１３１…挿入ボタン
【図１】
0003615195.tif 000002
【図２】
0003615195.tif 000003
【図３】
0003615195.tif 000004
【図４】
0003615195.tif 000005
【図５】
0003615195.tif 000006
【図６】
0003615195.tif 000007
【図７】
0003615195.tif 000008
【図８】
0003615195.tif 000009
【図９】
0003615195.tif 000010
【図１０】
0003615195.tif 000011
【図１１】
0003615195.tif 000012
【図１２】
0003615195.tif 000013
【図１３】
0003615195.tif 000014
【図１４】
0003615195.tif 000015
【図１５】
0003615195.tif 000016