(57)【要約】【課題】  動画像の所望の場面に表示用データを合成する。【解決手段】  座標検出部３６はタッチパネル入力部１４ａの入力操作位置を座標に変換する。表示用データ読出し部２４は、表示用データ記憶部１６から読み出した表示用データを表示用データ制御部３０に送る。動画像制御部２８は動画像データを動画像記憶部２０から読み出し、動画像合成部３２に供給する。表示用データ制御部３０は、表示用データと座標情報から表示用画像データを生成し、動画像合成部３２に送る。動画像合成部３２は、動画像制御部２８からの動画像データに表示用画像データを合成する。合成画像は、表示制御部３８により動画像表示部１４ｂに表示される。挿入情報生成部３４は、合成時のシーン番号、再生時間、表示用データ及び座標を関連付けて管理情報を生成し、挿入情報記憶部２２に格納する。【選択図】  図１
2010220095.tif 000002
【特許請求の範囲】
【請求項１】
動画像を表示できる動画像表示部、及び前記動画像表示部の表示画面に重ねて設けられるタッチパネル入力部を有するタッチパネルと、
表示用データを記憶する表示用データ記憶部と、
前記タッチパネル入力部により入力された位置の座標を検出する座標検出部と、
前記座標検出部により検出された座標を元に、前記動画像表示部に表示すべき動画像に前記表示用データ記憶部から読み出された前記表示用データを合成する動画像合成部
とを有することを特徴とする画像処理装置。
【請求項２】
更に、
前記タッチパネル入力部への入力に応じて、前記動画像合成部により前記動画像に合成される前記表示用データを示す情報、合成の位置、及び前記動画像の再生時間に関する情報を相互に関連付ける管理情報を生成する挿入情報生成部と、
前記挿入情報生成部により生成された管理情報を記憶する挿入情報記憶部と
を有することを特徴とする請求項１に記載の画像処理装置
【請求項３】
前記タッチパネル入力部により、前記動画像合成部での合成の際のエフェクトを指定でき、
前記動画像合成部は、前記座標検出部により検出された座標を元に、前記タッチパネル入力部により指定されるエフェクトを付加して、前記動画像表示部に表示すべき動画像に前記表示用データ記憶部から読み出された前記表示用データを合成する
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記表示用データは、文字または文字列、アイコン、およびイメージデータの少なくとも一つを含むことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像に文字列等の表示用データを挿入又は合成する画像処理装置に関する。
【背景技術】
【０００２】
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１０８９４３号公報
【特許文献２】特開平７−３２２１４０号公報
【０００４】
従来、パーソナルコンピュータに搭載されている動画像編集用アプリケーションソフトウエアでは、動画像に対して効果的な文字やアイコンなどの表示用データを挿入したり、表示用データに所望のエフェクト効果を付与することができる。これにより、動画像の面白さをより一層高めることができる。
【０００５】
ビデオカメラの普及により、一般のユーザも動画像を撮影する機会が増えてきており、動画像に対して表示用データを簡単に挿入する機能やエフェクトを付与する機能が望まれている。
【０００６】
動画像の再生中に、ユーザに指定された位置を動画像の仮想座標に変換し、その座標を記憶することで動画像を確認しながら簡単にエフェクトを付加できる編集装置が知られている（特許文献１）。また、文字に対して複数のエフェクトの一つを選択可能にした技術も知られている（特許文献２）。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来の技術では、装置では、動画像に挿入した文字列や付与したエフェクトの効果をリアルタイムに確認できないという問題点がある。
【０００８】
本発明は、このような問題を解決する画像処理装置を提示することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る画像処理装置は、動画像を表示できる動画像表示部、及び前記動画像表示部の表示画面に重ねて設けられるタッチパネル入力部を有するタッチパネルと、表示用データを記憶する表示用データ記憶部と、前記タッチパネル入力部により入力された位置の座標を検出する座標検出部と、前記座標検出部により検出された座標を元に、前記動画像表示部に表示すべき動画像に前記表示用データ記憶部から読み出された前記表示用データを合成する動画像合成部とを有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、再生中の動画像に対してユーザがタッチパネルにより表示用データの入力位置を指定することで、その入力された位置に表示用データを挿入し、動画像と合成することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施例の概略構成ブロック図を示す。
【図２】本実施例の表示用データ挿入処理のフローチャートを示す。
【図３】表示用データの一覧表示画面例を示す。
【図４】動画像再生画面例を示す。
【図５】文字列挿入開始画面例を示す。
【図６】文字列挿入了画面例を示す。
【図７】入力開始位置から入力終了位置までの軌跡例を示す。
【図８】管理情報の構成と内容の一例を示す。
【図９】文字列情報の記憶と管理の例である。
【図１０】文字列挿入操作後の再生処理のフローチャートを示す。
【図１１】文字列を合成した動画像の再生画面例を示す。
【図１２】文字列取り消し画面例である。
【図１３】本発明の第２実施例の概略構成ブロック図を示す。
【図１４】図１３に示す実施例の表示用データ挿入処理のフローチャートを示す。
【図１５】座標検出部の出力座標値と文字列の表示・非表示との関係例を示す。
【図１６】２点入力により文字列（「到着しました！」）を動画像上に合成表示している画面例を示す。
【図１７】タッチパネル入力部への入力操作とエフェクト効果の関係例を示す。
【図１８】各エフェクト効果の表示の変化例を示す。
【図１９】２つの指による入力操作例を示す。
【図２０】文字列の入力が終了した文字列挿入終了画面の例を示す。
【図２１】入力開始位置から入力終了位置までの軌跡に沿って表示される文字列の表示内容の変化を示す。
【図２２】挿入情報記憶部に記憶される管理情報の構成と内容の一例を示す。
【図２３】エフェクト管理テーブルの構成と内容の例を示す。
【図２４】ユーザにより所望の位置に文字列が挿入された後の再生処理のフローチャートを示す。
【図２５】図２に示すフローで合成された動画像を再生している合成動画像再生画面の一例を示す。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１３】
図１は、本発明に係る画像処理装置の一実施例を組み込んだ画像再生装置の概略構成ブロック図を示す。再生装置１０は、システム制御部１２、タッチパネル１４、表示用データ記憶部１６、入力部１８、動画像記憶部２０および挿入情報記憶部２２を具備する。システム制御部１２は、マイクロコンピュータからなる。
【００１４】
システム制御部１２は、ＣＰＵ（Central Proccessing Unit）、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を有するマイクロコンピュータからなる。ＣＰＵは、ＲＡＭを作業エリアとしてＲＯＭに格納された制御プログラムを実行して各種制御を行う。
【００１５】
入力部１８は、ジョグダイヤルおよびダイヤルスイッチ等の操作手段を有する。ユーザは、入力部１８を介して、種々の指示をシステム制御部１２に入力できる。入力制御部２６は、入力部１８の入力操作を適切な処理制御部に伝達する。入力制御部２６から動画像制御部２８に選択指示を送ることで、動画像記憶部２０から所望の動画像を選択できる。同様に、入力制御部２６から表示用データ読出し部２４に選択指示を送ることで表示用データ記憶部１６から所望の表示用データを選択できる。
【００１６】
表示用データ読出し部２４は、入力制御部２６により指示される表示用データを表示用データ記憶部１６から読み出し、読み出した表示用データを表示用データ制御部３０に送る。表示用データ記憶部１６は、複数の表示用データを格納可能である。表示用データは、一般に、文字または文字列、アイコン、イメージデータ、若しくはこれらの組み合わせからなる。
【００１７】
動画像記憶部２０は、ＭＰＥＧ２(Moving Picture Experts Group)等の動画像圧縮形式に基づいて圧縮された動画像データを記憶する。動画像制御部２８は、入力制御部２６により指示された圧縮動画像データを動画像記憶部２０から読み出して伸長し、伸長により復元された動画像データを動画像合成部３２に供給する。動画像制御部２８はまた、動画像合成部３２からの動画像データを圧縮（エンコード）し、圧縮動画像データを動画像記憶部２０に書き込む。
【００１８】
タッチパネル１４のタッチパネル入力部１４ａは、入力された操作位置に応じた信号を座標検出部３６に送る。座標検出部３６は、タッチパネル入力部１４ａの入力位置を座標として算出し、その算出した座標を表示用データ制御部３０に送る。また、表示制御部３８から送られる動画像データの動画像がタッチパネル１４の動画像表示部１４ｂに表示される。
【００１９】
表示用データ制御部３０は、表示用データ読出し部２４により読み出された表示用データと座標検出部３６により得られた入力位置座標の情報から表示用画像データを生成し、動画像合成部３２に送る。表示用画像データを生成するとき、必要に応じて表示用画像データの画面上の配置が調整される。動画像合成部３２は、動画像制御部２８からの再生動画像データと表示用データ制御部３０からの表示用画像データの一方を選択して表示制御部３８に送ることも、両者の合成画像データを表示制御部３８に送ることも可能である。動画像合成部３２はまた、表示用データ制御部３０から表示用データ画像の生成時に使用した表示用データ情報と入力位置座標を受け取り、動画像制御部２８から動画像のシーン番号と再生時間（フレーム）を受け取る。動画像合成部３２は、これらの情報を挿入情報生成部３４に送り、必要により動画像制御部２８にも送る。
【００２０】
挿入情報生成部３４は、動画像合成部３２から送られる情報を関連付けて管理情報を生成する。この管理情報は少なくとも、動画像のシーン番号、再生時間（フレーム数）、表示用データおよび入力位置座標を含み、挿入情報記憶部２２に保存される。
【００２１】
表示制御部３８は、動画像合成部３２からの動画像データを動画像表示部１４ｂに表示可能な形式に変換し、動画像表示部１４ｂに送る。
【００２２】
挿入情報解析部３９は、文字列挿入操作後の再生処理で、表示用データ挿入情報を解析する。
【００２３】
動画像記憶部２０、表示用データ記憶部１６および挿入情報記憶部２２は、ＨＤＤ(Hard Disk Drive)またはフラッシュメモリなどのランダムアクセス記憶媒体からなる。
【００２４】
図２は、本実施例の表示用データ挿入処理のフローチャートを示す。ユーザが入力部１８のジョグダイヤル等により指定した所望の動画像が、動画像表示部１４ｂにより表示されているとする。ここでは、ユーザは動画像の１シーン目の１０秒から１３秒の間に、表示用データである文字列「到着しました！」を所望の位置に挿入することを希望しているとする。
【００２５】
動画像を再生できる状態で、ユーザの所定操作により、図２に示すフローが開始される。ユーザの指示に従い、表示用データ記憶部１６の表示用データが読み出され、タッチパネル１４の動画像表示部１４ｂに表示される（Ｓ１）。表示用データ記憶部１６に格納されている表示用データは、書き換え可能であり、用途によって変更できる。図３は、ステップＳ１でタッチパネル１４に表示される表示用データの一覧表示画面４０の例を示す。文字列一覧表示画面４０には、メニュー項目表示部４２、文字列スクロール部４４、および文字列表示欄４６が表示される。ユーザは、動画像に挿入したい文字列を文字列表示欄４６に表示される文字列一覧から選択できる。また、文字列一覧表示画面４０は、動画像の再生中でも、再生を開始する前でも、表示可能である。
【００２６】
次に、ユーザは、タッチパネル１４上に表示されている文字列から挿入したい文字列を入力部１８によって選択する（Ｓ２）。選択された文字列を示す表示用データは、ＲＡＭなどに一時記憶される。
【００２７】
ユーザが、ステップＳ２で選択した文字列を挿入したい動画像を入力部１８で選択すると、タッチパネル１４の動画像表示部１４ｂにその動画像が再生表示される（Ｓ３）。また、動画像を再生してから挿入したい文字列を決定する場合には、ステップＳ３をステップＳ１の前に実行するようにすればよい。
【００２８】
図４は、ステップＳ３でユーザにより選択された動画像を再生している動画像再生画面５０の例を示す。動画像再生画面５０には、動作状態表示アイコン５２、再生時間（フレーム）５４、シーン番号５６および再生動画像５８が表示される。動作状態表示アイコン５２は、再生、早送り又はスロー再生などの動作状態に応じてアイコン表示を変化させたものであってもよい。図４では、再生時間５４は、シーン番号１の１０秒経過した場面を再生していることを表している。
【００２９】
再生中の動画像において文字列を挿入したい場面になった時、ユーザは、文字列を挿入したい位置をタッチパネル１４上で指定する（Ｓ４）。動画像が一時停止している場合は、タッチパネル１４に位置入力を開始したと同時に、再生が始まる。この説明例では通常再生時であるとしているが、スロー再生又はコマ送り再生などでもよい。
【００３０】
タッチパネル１４のタッチパネル入力部１４ａは、入力された入力開始位置を座標検出部３６に送り、座標検出部３６は入力位置を座標に変換する（Ｓ５）。
【００３１】
ユーザがタッチパネル１４に入力を開始すると同時に、その入力位置に文字列の先頭が位置するように、当該文字列がタッチパネル１４の動画像表示部１４ｂに表示される（Ｓ６）。入力を止めない限り、文字列は常に表示されている。このようにすることで、ユーザは、再生中の動画像に対して、リアルタイムで文字列の挿入効果を視覚的に確認できる。事後的に文字列付きで動画像を再生して確認するという作業が不要になる。
【００３２】
図５は、ステップＳ６でタッチパネル１４に文字列の位置入力が開始した時の、文字列挿入開始画面６０の例を示す。タッチパネル１４に位置入力されると、タッチパネル入力部１４ａが入力位置を示すデータを座標検出部３６に送り、座標検出部３６が入力位置６４を座標に変換する。この変換動作と同時に、選択されている文字列６２が、入力開始位置６４に表示される。位置入力が終了するまでの間、先に説明したように、文字列６２が表示され続ける。ユーザは、文字列６２の挿入された動画像をその場で確認できる。
【００３３】
タッチパネル入力部１４ａへのユーザ入力の有無を判定する（Ｓ７）。ユーザ入力が検出される場合（Ｓ７）、座標検出部３６が、タッチパネル入力部１４ａへの入力位置を座標に変換する（Ｓ８）。動画像合成部３２が、ステップＳ８で変換された座標に相当する位置で、先に選択された表示用データを再生中の動画像に合成する（Ｓ９）。合成で得られた画像が、タッチパネル１４の動画像表示部１４ｂに表示される。挿入情報生成部３４は、ステップＳ８で得られた座標、動画像のシーン番号、再生時間（フレーム）、及び選択された文字列を示す表示用データを相互に関連付けて内蔵ＲＡＭに一時的に保存する（Ｓ１０）。ステップＳ７に戻り、タッチパネル入力部１４ａへのユーザ入力の有無を判定する。
【００３４】
タッチパネル入力部１４ａへのユーザ入力が検出されない場合（Ｓ７）、タッチパネル入力部１４ａへの位置入力が終了していることになるので、タッチパネル１４での文字列の表示を終了する（Ｓ１１）。このようにすることで、ユーザは、リアルタイムに再生中の動画像に対して文字列の挿入効果を確認できる。タッチパネル入力部１４ａは、ユーザが入力した最後の位置、すなわち入力終了位置を座標検出部３６に送り、座標検出部３６が座標に変換する（Ｓ１２）。挿入情報生成部３４が、入力終了位置の座標、動画像のシーン番号、再生時間（フレーム）及び選択された文字列と、ステップＳ１０でＲＡＭに一時保存したデータとを含めて管理情報を生成する（Ｓ１３）。挿入情報生成部３４により生成された管理情報が、挿入情報記憶部２２に格納され（Ｓ１４）、表示用データ挿入処理を終了する。
【００３５】
図６は、ステップＳ１４で文字列の位置入力が終了した時の文字列挿入了画面６６の例を示す。図６は、動画像の１シーン目の１０秒に入力が開始され（入力開始位置６４）、１３秒に入力が終了する（入力終了位置７０）ことを表している。入力開始位置から入力終了位置までの軌跡６８に沿って文字列がリアルタイムで表示される。位置が入力されている間は、動画像のシーン番号、再生時間（フレーム）及び文字列が互いに関連付けてＲＡＭなどに一時記憶される。そして、位置入力が終了すると、管理情報として挿入情報記憶部２２に記憶される。文字列の入力が終了すると、表示されていた文字列も消える。入力開始位置６４から入力終了位置７０までの軌跡６８に沿って文字列が挿入されるので、図７に示すように、入力開始位置７６から入力終了位置７８までの軌跡７４が曲線になっていたとしても、何ら問題はない。その場合、表示用データ制御部３０が、文字列を曲線に沿った形に調整する。
【００３６】
図８は、挿入情報記憶部２２に記憶される管理情報の構成と内容の一例を示す。管理情報は、動画像のシーン番号、文字列情報、再生時間情報及び位置情報から構成される。表示用データ記憶部１６には、図９に示すような、文字列番号と文字列データとを対応付ける文字列管理テーブルを記憶している。文字列情報は、この文字列管理テーブルの文字列番号からなる。再生時間情報は、動画像の再生時間を時分秒又はフレーム単位で記憶する。位置情報は、ユーザによって入力された位置を座標検出部３６により変換した座標からなる。管理情報の説明は一例であり、選択された表示用データ、入力された位置情報、および再生時の動画像情報が相互に関連付けられて記憶されていればよい。
【００３７】
この管理情報を使用し、動画像再生時にユーザの指定した箇所で文字列を表示させることができる。動画像に対してユーザの指定した箇所に文字列を合成できる。また、動画像制御部２８により圧縮（エンコード）することで、文字列を合成した動画像を作成できる。詳細は後述する。
【００３８】
次に、ユーザによる文字列挿入操作後の再生処理を実行する処理を説明する。挿入情報解析部３９は、入力制御部２６からの指示に従い挿入情報記憶部２２から表示用データ挿入情報を読み出す。挿入情報解析部３９はさらに、読み出した挿入情報を解析し、解析結果を表示用データ読出し部２４に送る。
【００３９】
動画像制御部２８は、入力制御部２６から動画像読出し要求を受け取ると、挿入情報解析部３９に指示して挿入情報記憶部２２から挿入情報解析部３９に表示用データを読み出させる。
【００４０】
表示用データ読出し部２４は、挿入情報解析部３９の解析結果により表示用データを表示用データ記憶部１６から読み出し、読み出した表示用データを表示用データ制御部３０に送る。表示用データ読出し部２４はまた、表示用データ挿入情報に含まれる他の情報群を表示用データ制御部３０に送り、表示用データ制御部３０はそれらの情報を使い、表示用データ画像を作成する。
【００４１】
ユーザにより所望の位置に文字列が挿入された後の再生処理を図１０のフローチャートを参照して説明する。ここでは、表示用データは文字列であり、ユーザは動画像１シーン目の１０秒から１３秒の間に「到着しました！」という文字列を、先に説明した方法で指定した位置に挿入する場合を例に説明する。
【００４２】
図１０に示す処理は、動画像を再生できる状態でユーザからの所定の操作によってスタートする。ユーザの入力した指示により、動画像の再生要求を入力制御部２６が受ける（Ｓ２１）。入力制御部２６が受けた指示により挿入情報解析部３９が挿入情報記憶部２２から表示用データ挿入情報（管理情報）を読み出す（Ｓ２２）。
【００４３】
挿入情報解析部３９は、挿入情報記憶部２２から読み出した表示用データ挿入情報（管理情報）を解析する（Ｓ２３）。表示用データ挿入情報を解析することで、動画像のシーン番号、文字列情報、再生時間情報および位置情報を取得でき、取得した情報はＲＡＭに一時的に記憶される。管理情報が存在しなかった場合、挿入情報解析部３９が管理情報なしと判断する。
【００４４】
ＲＡＭに記憶されている管理情報の解析結果と、再生される動画像のシーン番号および再生時間が一致しているかどうかを判定する（Ｓ２４）。一致しない場合（Ｓ２４）、動画像記憶部２０から読み出された動画像を再生表示する（Ｓ２５）。このとき、管理情報が一致していないので、動画像合成部３２は表示用画像データとの合成を行わない。
【００４５】
一致する場合（Ｓ２４）、挿入情報解析部３９は、管理情報の解析結果を表示用データ読出し部２４、座標検出部３６及び動画像合成部３２に伝える（Ｓ２６）。挿入情報解析部３９による管理情報の解析結果を元に、表示用データ読出し部２４と座標検出部３６により文字列画像データを生成する（Ｓ２７）。ステップＳ２７で生成された文字列画像データと動画像合成部３２が受けた管理情報の解析結果を元に、文字列画像データと動画像を合成する（Ｓ２８）。ステップＳ２８で合成された動画像を表示制御部３８に送る（Ｓ２９）。表示制御部３８に送られた動画像は、タッチパネル１４の動画像表示部１４ｂに表示される。
【００４６】
図１１は、ステップＳ２９で合成された動画像を再生している合成動画像再生画面の一例を示す。ユーザがタッチパネル１４上のタッチパネル入力部１４ａに入力操作したときに生成された管理情報を解析することで、ユーザの希望する場面でユーザに選択された文字列を動画像と合成表示できる。
【００４７】
ステップＳ２５又はＳ２９の後、ユーザによる入力部１８からの再生終了要求があったかどうか、又は、動画像の最終位置になったかどうかを判定する（Ｓ３０）。どちらかの条件に合致した場合（Ｓ３０）、表示用データ挿入後の再生処理を終了する。どちらの条件にも合致しない場合（Ｓ３０）、ステップＳ２４に戻る。
【００４８】
図１２は、タッチパネル１４上のタッチパネル入力部１４ａにより入力された文字列を取り消す文字列取り消し画面の例を示す。図１２に示す例では、動画像１シーン目の１０秒から１３秒の間に挿入された「到着しました！」という文字列を取り消したいと仮定する。
【００４９】
図１２に示す文字列取り消し画面には、画面確認ボタン８０が表示される。タッチパネル１４により文字列を挿入した後、入力部１８により画面確認ボタン８０が選択されると、少なくとも文字列が挿入された場面にまで遡って確認再生が行われる。確認再生中にタッチパネル入力部１４ａによる入力が検出されると、挿入された文字列が消去される。挿入情報記憶部２２に記憶されている管理情報の該当する部分は、挿入情報生成部３４により再構築される。
【実施例２】
【００５０】
図１３は、エフェクトを動画像に与える本発明に係る画像処理装置の第２実施例を組みこんだ再生装置の概略構成ブロック図を示す。図１３に示す再生装置１１０は、再生装置１０とは、システム制御部１１２にエフェクト決定部１３７を具備する点が主として異なる。再生装置１１０の手段１１２〜１３６，１３８，１３９の機能は、エフェクトに関する機能が追加されていることを除いて、それぞれ、再生装置１０の手段１２，１８〜３６，３８，３９のそれと同じである。以下では、エフェクトに関する相違点を主に説明する。
【００５１】
表示用データ記憶部１１６は、表示用データとエフェクトデータを格納する。表示用データ読出し部１２４は、表示用データ記憶部１１６に記憶される表示用データおよびエフェクトデータから希望のものを読み出すことができる。
【００５２】
座標検出部１３６は、タッチパネル入力部１１４ａによる入力位置を示す座標を算出し、表示用データ制御部１３０とエフェクト決定部１３７に送る。エフェクト決定部１３７は、座標検出部１３６から送られる座標とその動きから、表示用データに付加すべきエフェクトを決定する。決定されたエフェクトは、表示用データ制御部１３０に通知される。
【００５３】
表示用データ制御部１３０は、表示用データ読出し部２４により読み出された表示用データ／エフェクトデータ、座標検出部３６からの座標情報、及びエフェクト決定部１３７からのエフェクト情報に従い、表示用画像データを生成する。生成された表示画像データは、動画像合成部１３２に送られる。表示用画像データを生成するとき、必要に応じて表示用画像データの画面上の配置が調整される。
【００５４】
動画像合成部１３２はまた、表示用データ制御部３０から表示用データ画像の生成時に使用した表示用データ情報、入力位置座標及びエフェクト情報を受け取り、動画像制御部１２８から動画像のシーン番号と再生時間（フレーム）を受け取る。動画像合成部１３２は、これらの情報を挿入情報生成部１３４に送り、必要により動画像制御部１２８にも送る。
【００５５】
挿入情報生成部１３４は、動画像合成部１３２から送られる情報を関連付けて管理情報を生成する。この管理情報は少なくとも、動画像のシーン番号、再生時間（フレーム数）、表示用データ、入力位置座標及びエフェクト情報を含み、挿入情報記憶部１２２に保存される。
【００５６】
図１４は、図１３に示す実施例の表示用データ挿入処理のフローチャートを示す。ユーザが入力部１１８のジョグダイヤル等により指定した所望の動画像が、動画像表示部１１４ｂにより表示されているとする。ここでは、ユーザは、動画像の１シーン目の１０秒から１３秒の間に、表示用データである文字列「到着しました！」を所望の位置に所望のエフェクトを付加して挿入することを希望しているとする。
【００５７】
動画像を再生できる状態で、ユーザの所定操作により、図１４に示すフローが開始される。ユーザの指示に従い、表示用データ記憶部１１６の表示用データが読み出され、タッチパネル１１４の動画像表示部１１４ｂに表示される（Ｓ４１）。表示用データ記憶部１１６に格納されている表示用データは、書き換え可能であり、用途によって変更できる。表示用データ記憶部１１６の表示用データが、選択のために、図３に示すように、一覧表示される。この文字列一覧は、動画像の再生中でも、再生を開始する前でも、表示可能である。
【００５８】
ユーザは、入力部１１８により、動画像に挿入したい文字列を文字列一覧から選択する（Ｓ４２）。選択された文字列を示す表示用データは、ＲＡＭなどに一時記憶される。
【００５９】
ユーザが、ステップＳ４２で選択した文字列を挿入したい動画像を入力部１１８で選択すると、タッチパネル１１４の動画像表示部１１４ｂにその動画像が、図４に示すように、再生表示される（Ｓ４３）。また、動画像を再生してから挿入したい文字列を決定する場合には、ステップＳ４３をステップＳ４１の前に実行するようにすればよい。
【００６０】
再生中の動画像において文字列を挿入したい場面になった時、ユーザは、文字列を挿入したい位置をタッチパネル１１４上で指定する（Ｓ４４）。動画像が一時停止している場合は、タッチパネル１１４に位置入力を開始したと同時に、再生が始まる。この説明例では通常再生時であるとしているが、スロー再生又はコマ送り再生などでもよい。
【００６１】
タッチパネル１１４のタッチパネル入力部１１４ａは、入力された入力開始位置を座標検出部１３６に送り、座標検出部１３６は入力位置を座標に変換する（Ｓ４５）。
【００６２】
表示用データ制御部１３０は、ユーザによるタッチパネル１１４への入力操作により座標検出部１３６から送られる座標の位置又は個数などから、文字列の表示位置と表示の要否を決定する（Ｓ４６）。図１５は、座標検出部１３６の出力座標値と文字列の表示・非表示との関係例を示す。図１５に示す例では、入力座標の個数と、２点入力の場合の２点間距離によって、文字列の表示・非表示を決定する。２つの入力点間の距離が閾値より大きい場合、２点間の中間に文字列の中心を表示する。また、２点間の距離が閾値より小さい場合は、文字列を表示しない。閾値はユーザが任意に設定するものでも、内部で決められた値であってもよい。１点入力または３点以上の入力の場合には、文字列を表示しない。
【００６３】
文字列を表示する場合（Ｓ４７）、再生中の動画像に対して、選択された文字列の合成表示を開始する（Ｓ４８）。図１６は２点入力により文字列（「到着しました！」）を動画像上に合成表示している画面例を示す。親指と人差し指で２点を入力しており、文字列１６０は、両者の入力点の中間にその中央が来るように表示される。エフェクトにより文字列を表示しない場合を除き、入力を止めない限り、文字列は常に表示されている。このようにすることで、ユーザはリアルタイムに再生中の動画像に対して文字列の効果をリアルタムに確認でき、再度、再生して確認するという動作が不要になる。
【００６４】
文字列を表示しない場合（Ｓ４７）には、ステップＳ４８を迂回する。
【００６５】
タッチパネル入力部１１４ａへのユーザ入力の有無を判定する（Ｓ４９）。ユーザ入力が検出される場合（Ｓ４９）、座標検出部１３６が、タッチパネル入力部１１４ａへの入力位置を座標に変換する（Ｓ５０）。エフェクト決定部１３７は、座標検出部１３６からの座標を元にエフェクトを決定する（Ｓ５１）。表示用データ制御部１３０は、選択された文字列に対して、エフェクト決定部１３７で決定されたエフェクトを付加した表示用画像データを作成して動画像合成部１３２に供給する。動画像合成部１３２は、当該表示用画像データを再生中の動画像に合成する（Ｓ５２）。合成で得られた画像が、タッチパネル１１４の動画像表示部１１４ｂに表示される。このようにすることで、ユーザはリアルタイムに再生中の動画像に対して文字列のエフェクトを確認でき、再度、再生して確認するという操作が不要になる。
【００６６】
挿入情報生成部１３４は、ステップＳ５０で得られた座標、動画像のシーン番号、再生時間（フレーム）、選択された文字列を示す表示用データ、及びエフェクトを示す表示用データを相互に関連付けて内蔵ＲＡＭに一時的に保存する（Ｓ５３）。ステップＳ４９に戻り、タッチパネル入力部１１４ａへのユーザ入力の有無を判定する。
【００６７】
タッチパネル入力部１１４ａへのユーザ入力が検出されない場合（Ｓ４９）、タッチパネル入力部１１４ａへの位置入力が終了していることになるので、タッチパネル１１４での文字列の表示を終了する（Ｓ５４）。エフェクト処理を実行中であれば、エフェクト処理を終了してから文字列の表示を消す。すなわち、エフェクト処理の途中で文字列が消えてしまうことはない。このようにすることで、ユーザは、リアルタイムに再生中の動画像に対して文字列の挿入効果を確認できる。
【００６８】
タッチパネル入力部１１４ａは、ユーザが入力した最後の位置、すなわち入力終了位置を座標検出部１３６に送り、座標検出部１３６が座標に変換する（Ｓ５５）。挿入情報生成部１３４が、入力終了位置の座標、動画像のシーン番号、再生時間（フレーム）、選択された文字列及びエフェクトと、ステップＳ５３でＲＡＭに一時保存したデータとを含めて管理情報を生成する（Ｓ５６）。挿入情報生成部１３４により生成された管理情報が、挿入情報記憶部１２２に格納され（Ｓ５７）、表示用データ挿入処理を終了する。
【００６９】
図１７は、タッチパネル入力部１１４ａへの入力操作とエフェクトの関係例を示す。入力後の指の動きに応じてそれぞれエフェクトが決定される。複数のエフェクトが同時に行われることはなく、指の動きによってより近いエフェクト処理が選択される。図１８は、図１７に示す例における各エフェクトの表示の変化例を示す。
【００７０】
１点入力の場合、文字列は表示されない。
【００７１】
２点入力で２点間の距離が設定閾値より小さい場合、文字列は表示されない。その状態で指を開くような動きをした場合、何も表示されていない状態から幕が開くような動きで文字列が表示される。図１７に示す例では、指が左右に移動しているが、上下でも斜めでも構わない。指の移動する方向に対して文字列の表示が制御される。２点が回転するような動きをした場合、何も表示されていない状態から回転するような形で文字列が表示される。回転の向きは、指の移動する方向により決定される。図１７に示す例では、右回りの回転を行う。
【００７２】
２点入力で、２点間の距離が設定閾値より大きい場合、文字列は、２点間の中間に文字列の中心が位置するように表示される。この状態で２点を同じ方向に動かした場合、表示されている文字列も、指を動かした方向に移動する。図１７に示す例では、左に移動しているが、どの方向にも移動可能である。この状態で２点間の距離を小さくするように指を動かした場合、幕が閉じるような動きで文字列が消える。図１７に示す例では、左右に移動しているが、どの方向にも移動可能である。指の移動する方向に対して文字列の表示が制御される。
【００７３】
また、２点が回転するような動きをした場合、表示されている文字列が回転する。回転の向きは、指の移動する方向により指定される。図１７に示す例では、右回りの回転を行う。２点間の距離を広げる動きをした場合、文字列が表示される。幕が閉じるように文字列の表示を制御する。文字列が消えている時にこの操作を行った場合には、消え始めた文字列を再度、幕が開くような形で表示する。図１７に示す例では、左右に移動しているが、どの方向にも移動可能であり、指の移動する方向に対して文字列の表示が制御される。
【００７４】
３点以上の入力があった場合、文字列は表示されない。また、入力点が１点から２点になり、且つ、その２点間の距離が小さい場合にも、文字列は表示されない。
【００７５】
入力点が１点から２点になり、且つ、その２点間の距離が大きい場合、先に入力されていた点から後に入力された点の方向に文字列が移動する。図１７に示す例では、右から左に移動しているが、どの方向にも移動可能であり、時間的に前後する２つの入力点間の方向に対して文字列の表示が制御される。
【００７６】
入力点が２点から１点になり、かつ、１点になる前の２点間の距離が小さい場合、文字列は表示されない。入力点が２点から１点になり、１点になる前の２点間の距離が大きい場合、入力点に対して文字列が移動する。図１７に示す例では、左から右に移動しているが、どの方向にも移動可能であり、入力点の変化方向に対して文字列の表示が制御される。
【００７７】
図１９は２つの指による入力操作例を示す。親指と人差し指を矢印で示す軌跡１７０のように近づける。先に説明したように、このような操作の場合、表示されていた文字列が、幕が閉じるような動きで消えるエフェクトが選択されたことになる。
【００７８】
図２０は、文字列の入力が終了した文字列挿入終了画面の例を示している。図１９に示すように、動画像の１シーン目の１０秒に入力が開始され、矢印で示す軌跡１７０で１３秒に入力が終了し、図２０に示す画面になる。
【００７９】
図２１は、入力開始位置から入力終了位置までの軌跡１７０に沿って表示される文字列の表示内容の変化を示す。２つの入力点間の距離が徐々に近くなっていくことで、文字列が消えていくエフェクトが付加される。位置が入力されている間、動画像のシーン番号、再生時間（フレーム）、文字列及びエフェクトが互いに関連付けて内蔵ＲＡＭなどに一時的に記憶され、入力が終了すると管理情報として挿入情報記憶部１２２に記憶される。
【００８０】
図２２は、挿入情報記憶部１２２に記憶される管理情報の構成と内容の一例を示す。管理情報は、動画像のシーン番号、文字列情報、エフェクト情報、再生時間情報及び位置情報からなる。文字列情報に収用される文字列番号は、図９に示すような文字列管理テーブルで文字列データが関連付けられる。同様に、エフェクト情報に収用されるエフェクオ番号は、図２３に示すようなエフェクト管理テーブルによりエフェクト処理内容と関連付けられる。表示用データ記憶部１１６は、このような文字列管理テーブルおよびエフェクト管理データルを記憶する。
【００８１】
再生時間情報は、動画像の再生時間を時間、分、秒およびフレーム単位で記憶される。位置情報は、ユーザによって入力された位置を座標検出部１３６により変換された座標として記憶する。管理情報に関する以上の説明はあくまでも一例であり、選択された表示用データ、入力位置情報、再生時の動画像情報およびエフェクト情報が互いに関連付けられていればよい。
【００８２】
この管理情報を使用し、動画像再生時に文字列を指定のエフェクトで動画像に合成して動画像制御部１２８により圧縮（エンコード）することで、文字列の効果を付加した動画像を作成できる。この動作の詳細は、以下に説明する。
【００８３】
挿入情報解析部１３９は、入力制御部１２６からの指示に従い挿入情報記憶部１２２から表示用データ挿入情報を読み出す。挿入情報解析部１３９はさらに、読み出した挿入情報を解析し、解析結果を表示用データ読出し部１２４に送る。
【００８４】
動画像制御部１２８は、入力制御部１２６から動画像読出し要求を受け取ると、挿入情報解析部１３９に指示して挿入情報記憶部１２２から挿入情報解析部１３９に表示用データを読み出させる。
【００８５】
表示用データ読出し部１２４は、挿入情報解析部１３９の解析結果により表示用データとエフェクト情報を表示用データ記憶部１１６から読み出し、読み出した表示用データおよびエフェクト情報を表示用データ制御部１３０に送る。表示用データ読出し部２４はまた、表示用データ挿入情報に含まれる他の情報群を表示用データ制御部３０に送り、表示用データ制御部３０はそれらの情報を使い、表示用データ画像を作成する。
【００８６】
ユーザにより所望の位置に文字列が挿入された後の再生処理を図２４のフローチャートを参照して説明する。ここでは、表示用データは文字列であり、ユーザは動画像１シーン目の１０秒から１３秒の間に「到着しました！」という文字列を先に説明した方法で指定した位置に指定したエフェクトを付加して挿入する場合を例に説明する。
【００８７】
図２４に示す処理は、動画像を再生できる状態でユーザからの所定の操作によってスタートする。ユーザの入力した指示により、動画像の再生要求を入力制御部１２６が受ける（Ｓ６１）。入力制御部１２６が受けた指示により挿入情報解析部１３９が挿入情報記憶部１２２から表示用データ挿入情報（管理情報）を読み出す（Ｓ６２）。
【００８８】
挿入情報解析部１３９は、挿入情報記憶部１２２から読み出した表示用データ挿入情報８管理情報）を解析する（Ｓ６３）。表示用データ挿入情報を解析することで、動画像のシーン番号、文字列情報、再生時間情報、位置情報およびエフェクト情報を取得でき、取得した情報はＲＡＭに一時的に記憶される。管理情報が存在しなかった場合、挿入情報解析部１３９が管理情報なしと判断する。
【００８９】
ＲＡＭに記憶されている管理情報の解析結果と、再生される動画像のシーン番号および再生時間が一致しているかどうかを判定する（Ｓ６４）。一致しない場合（Ｓ６４）、動画像記憶部１２０から読み出された動画像を再生表示する（Ｓ６５）。このとき、管理情報が一致していないので、動画像合成部１３２は表示用画像データとの合成を行わない。
【００９０】
一致する場合（Ｓ６４）、挿入情報解析部１３９は、管理情報の解析結果を表示用データ読出し部１２４、座標検出部１３６及び動画像合成部１３２に伝える（Ｓ６６）。挿入情報解析部１３９による管理情報の解析結果を元に、表示用データ読出し部１２４、座標検出部１３６およびエフェクト決定部１３７が、エフェクトを付加した文字列画像データを生成する（Ｓ６７）。ステップＳ６７で生成された文字列画像データと動画像合成部１３２が受けた管理情報の解析結果を元に、文字列画像データと動画像を合成する（Ｓ６８）。ステップＳ６８で合成された動画像を表示制御部１３８に送る（Ｓ６９）。表示制御部１３８に送られた動画像は、タッチパネル１１４の動画像表示部１１４ｂに表示される。
【００９１】
図２５は、ステップＳ６９で合成された動画像を再生している合成動画像再生画面の一例を示す。ユーザがタッチパネル１１４上のタッチパネル入力部１１４ａに入力操作したときに生成された管理情報を解析することで、ユーザの希望する場面でユーザに選択された文字列を、指定のエフェクト付きで動画像と合成表示できる。
【００９２】
ステップＳ６５又はＳ６９の後、ユーザによる入力部１１８からの再生終了要求があったかどうか、又は、動画像の最終位置になったかどうかを判定する（Ｓ７０）。どちらかの条件に合致した場合（Ｓ７０）、表示用データ挿入後の再生処理を終了する。どちらの条件にも合致しない場合（Ｓ７０）、ステップＳ６４に戻る。
【００９３】
図１２を参照して説明したように、画面確認ボタン８０を有する文字列取消し画面を使用することで、上述した方法で挿入した文字列を削除又は取り消すことができる。挿入した文字列を取り消した場合、挿入情報記憶部１２２に記憶される関連する管理情報も、取消し後の内容に合致するように、挿入情報生成部１３４により更新される。
【００９４】
動画像記憶部２０，１２０に記憶される動画像に指定の表示用データを合成する実施例を説明した。しかし、本発明は、カメラにおいて、撮像部による撮影中、即ち記録中の動画像にリアルタイムで指定の表示用データを合成する場合にも適用可能であることは明らかである。
【００９５】
以上の説明はあくまでも一例であり、本発明は、上述の実施例に何ら限定されるものではない。
【符号の説明】
【００９６】
１０‥‥再生装置
１２‥‥システム制御部
１４ａ‥‥タッチパネル入力部
１４ｂ‥‥動画像表示部
１６‥‥表示用データ記憶部
２０‥‥動画像記憶部
２２‥‥挿入情報記憶部
２４‥‥表示用データ読出し部
３０‥‥表示用データ制御部
３２‥‥動画像合成部
３４‥‥挿入情報生成部
３６‥‥座標検出部
３９‥‥挿入情報解析部
【図１】
2010220095.tif 000003
【図２】
2010220095.tif 000004
【図３】
2010220095.tif 000005
【図４】
2010220095.tif 000006
【図５】
2010220095.tif 000007
【図６】
2010220095.tif 000008
【図７】
2010220095.tif 000009
【図８】
2010220095.tif 000010
【図９】
2010220095.tif 000011
【図１０】
2010220095.tif 000012
【図１１】
2010220095.tif 000013
【図１２】
2010220095.tif 000014
【図１３】
2010220095.tif 000015
【図１４】
2010220095.tif 000016
【図１５】
2010220095.tif 000017
【図１６】
2010220095.tif 000018
【図１７】
2010220095.tif 000019
【図１８】
2010220095.tif 000020
【図１９】
2010220095.tif 000021
【図２０】
2010220095.tif 000022
【図２１】
2010220095.tif 000023
【図２２】
2010220095.tif 000024
【図２３】
2010220095.tif 000025
【図２４】
2010220095.tif 000026
【図２５】
2010220095.tif 000027