(57)【要約】 【課題】動画像編集方法、その端末および記録媒体を開示する。【解決手段】本発明の実施例に係るタッチスクリーンおよび動画像編集部を備えた携帯型端末における動画像編集方法は、ａ）前記動画像編集部を実行して、動画像表示領域、プログレスバーおよびクリップ表示領域を含むユーザーインターフェース（ＵＩ）を前記タッチスクリーンを介して表示する段階と、ｂ）前記動画像表示領域に編集対象動画像を表示し、前記編集対象動画像の中から開始フレームと最終フレームを選択し、選択された区間内のフレームを含むクリップ(Clip)を生成する段階と、ｃ）前記生成されたクリップを前記クリップ表示領域に表示し、前記クリップ単位でクリップコピー、クリップ順序移動およびクリップ削除の少なくとも１つの動画像編集を行う段階とを含んでなる。
2016504790.tif 000002
【特許請求の範囲】
【請求項１】
タッチスクリーンおよび動画像編集部を備えた携帯型端末における動画像編集方法において、
ａ）前記動画像編集部を実行して、動画像表示領域、プログレスバーおよびクリップ表示領域を含むユーザーインターフェース（ＵＩ）を前記タッチスクリーンを介して表示する段階と、
ｂ）前記動画像表示領域に編集対象動画像を表示し、前記編集対象動画像の中から開始フレームと最終フレームを選択し、選択された区間内のフレームを含むクリップ(Clip)を生成する段階と、
ｃ）前記生成されたクリップを前記クリップ表示領域に表示し、前記クリップ単位でクリップコピー、クリップ順序移動およびクリップ削除の少なくとも１つの動画像編集を行う段階とを含んでなることを特徴とする、動画像編集方法。
【請求項２】
前記ｂ）段階は、前記編集対象動画像のフレーム選択のためのユーザーのドラッグ入力に応じて前記フレームを順次表示する段階を含むことを特徴とする、請求項１に記載の動画像編集方法。
【請求項３】
前記ｂ）段階は、前記編集対象動画像のＩ−フレームのみを表示し、前記Ｉ−フレームを基準に前記クリップを生成することを特徴とする、請求項１に記載の動画像編集方法。
【請求項４】
前記プログレスバーは、前記編集対象動画像の全体区間のうち、前記動画像表示領域に表示されたフレームの時間軸上の位置をマーカーで表示することを特徴とする、請求項１に記載の動画像編集方法。
【請求項５】
前記ｂ）段階は、前記動画像表示領域に表示されたフレームを選択して前記クリップ表示領域にドラッグする２回のフレーム入力によって、前記開始フレームと前記最終フレームを選択することを特徴とする、請求項４に記載の動画像編集方法。
【請求項６】
前記ｂ）段階は、１番目のフレームが入力されると、前記１番目のフレームの位置を表示する第１マーカーの色を変更してその位置を固定し、２番目のフレームを選択するための第２マーカーを表示する段階と、
２番目のフレームが入力されると、前記第１マーカーを削除し、前記クリップを生成する段階とを含むことを特徴とする、請求項５に記載の動画像編集方法。
【請求項７】
前記１番目のフレームは前記開始フレーム或いは前記最終フレームであり、前記２番目のフレームも前記開始フレーム或いは前記最終フレームであることを特徴とする、請求項６に記載の動画像編集方法。
【請求項８】
前記ｂ）段階は、前記開始フレームから前記最終フレームの直前のフレームまでのみ含んで前記クリップを生成することを特徴とする、請求項１に記載の動画像編集方法。
【請求項９】
前記ｂ）段階は、前記最終フレームがＰ−フレームまたはＢ−フレームである場合、活用している該当Ｉ−フレームまで前記クリップの生成に含まないことを特徴とする、請求項８に記載の動画像編集方法。
【請求項１０】
前記ｂ）段階は、同一のフレームを連続的に選択し、前記同一のフレームが一定の期間見えるようにするクリップを生成することを特徴とする、請求項１に記載の動画像編集方法。
【請求項１１】
前記ｂ）段階は、開始フレームと最終フレームを同一のフレームに選択し、２つのフレーム間の時間情報を入力するか或いはフレーム数でフレーム間の間隔を入力することにより、前記同一のフレームが一定の期間見えるようにするクリップを生成することを特徴とする、請求項１０に記載の動画像編集方法。
【請求項１２】
前記ｃ）段階は、前記生成されたクリップのフレームイメージをサムネイル方式で表示するが、立体形状に前記クリップの長さ情報を持つアイコンで表示することを特徴とする、請求項１に記載の動画像編集方法。
【請求項１３】
前記ｃ）段階は、前記クリップ表示領域に位置した第１クリップをコピーし、或いは前記第１クリップの一部のフレームで第２クリップを生成することを特徴とする、請求項１に記載の動画像編集方法。
【請求項１４】
前記ｃ）段階は、一部のフレームを互いに共有する複数のクリップを生成することを特徴とする、請求項１に記載の動画像編集方法。
【請求項１５】
前記ｃ）段階は、前記動画像表示領域に表示される第１編集対象動画像の１番目のフレームの直前または最終フレームの直後に仮想のフレームを生成する段階と、
前記仮想のフレームを介して新しい第２編集対象動画像を読み出して前記第１編集対象動画像の１番目のフレームの直前または最終フレームの直後に連結する段階とを含むことを特徴とする、請求項１に記載の動画像編集方法。
【請求項１６】
前記第１編集対象動画像および前記第２編集対象動画像の少なくとも一つは前記クリップであることを特徴とする、請求項１５に記載の動画像編集方法。
【請求項１７】
前記連結する段階の後に、連結された前記第１編集対象動画像と前記第２編集対象動画像を基準にプログレスバーを統合して再設定する段階をさらに含むことを特徴とする、請求項１６に記載の動画像編集方法。
【請求項１８】
前記連結する段階の後に、前記第１編集対象動画像と前記第２編集対象動画像を合わせて一つのクリップを生成する段階、または前記第１編集対象動画像の一部と前記第２編集対象動画像の一部にかけて一つのクリップを生成する段階をさらに含むことを特徴とする、請求項１６に記載の動画像編集方法。
【請求項１９】
前記ｃ）段階は、複数のクリップを含む動画像を作る前にプレビュー段階を行うが、クリップ単位で区分された探索機能を提供することを特徴とする、請求項１に記載の動画像編集方法。
【請求項２０】
請求項１〜１９のいずれか１項に記載の動画像編集方法を実現するプログラムを保存する、或いは前記プログラムの保存された記憶媒体が搭載可能である携帯型端末。
【請求項２１】
請求項１〜１９のいずれか１項に記載の動画像編集方法を実現するためのプログラムが保存された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯型端末における動画像編集方法、その端末および記録媒体に関する。
【０００２】
本発明は、携帯型端末における動画像編集方法、その端末および記録媒体に関する。
【背景技術】
【０００３】
一般に、情報通信技術が発達するにつれて、動画像撮影が可能な携帯型端末、例えば携帯電話やタブレット(Tablet)などが広く普及しており、携帯型端末の性能向上および高速通信機能の拡散に伴う動画像共有サービスが増えている傾向にある。  
したがって、既存のＰＣ基盤で専門家が使用していた動画像編集機を、最近では携帯型端末にも適用して使用しようとするニーズが高まっている。  
一方、代表的な動画像編集機技術としては、アップル社の「ｉＭｏｖｉｅ」などの高級機能の編集機製品から、動画像の前部分または後ろ部分を切り取る単純な機能のみを有する編集機製品まで様々に存在している。
【０００４】
ところが、もともとＰＣ用から出発したことから、現存する動画像編集機技術は、携帯型端末にそのまま適用するにはハードウェア的な限界があるうえ、その機能があまり複雑であって、一般な非専門家が使用するにはあまり不便であるという問題点がある。  
例えば、いくら携帯型端末が高性能化されているとしても、ＰＣのモニター画面に比べると非常に小さな画面であり、小さい分だけその画面内で動画像編集のために様々な機能を操作するには不便でしかない。  
また、このような不便さのため、既存の携帯型端末に適用される動画像編集機は、複雑なユーザーインターフェース(User Interface)を持っているものの、その機能は単純なフレーム単位のイメージ編集や切り取りに局限されており、ユーザーの所望する様々な機能を収容するには限界がある。
【０００５】
一方、韓国公開特許第２０１０−００２８３４４号には、「携帯端末の映像編集方法および装置」が開示されている。
【０００６】
しかし、前記特許文献は、既存の写真編集機能のように単純なフレーム単位の合成イメージ編集機能を動画像に適用して提供するだけであり、ユーザーの所望する様々な機能を収容するには限界があるという問題点がある。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の実施例は、携帯型端末に適用される簡単なユーザーインターフェース（ＵＩ）を用いてクリップ単位の様々な動画像編集機能を提供する動画像編集方法、その端末および記録媒体を提供しようとする。
【課題を解決するための手段】
【０００８】
本発明の実施例に係るタッチスクリーンおよび動画像編集部を備えた携帯型端末における動画像編集方法は、ａ）前記動画像編集部を実行して、動画像表示領域、プログレスバーおよびクリップ表示領域を含むユーザーインターフェース（ＵＩ）を前記タッチスクリーンを介して表示する段階と、ｂ）前記動画像表示領域に編集対象動画像を表示し、前記編集対象動画像の中から開始フレームと最終フレームを選択し、選択された区間内のフレームを含むクリップ(Clip)を生成する段階と、ｃ）前記生成されたクリップを前記クリップ表示領域に表示し、前記クリップ単位でクリップコピー、クリップ順序移動およびクリップ削除の少なくとも１つの動画像編集を行う段階とを含んでなることを特徴とする。
【０００９】
また、前記ｂ）段階は、前記編集対象動画像のＩ−フレームのみを表示し、前記Ｉ−フレームを基準に前記クリップを生成することができる。
【００１０】
また、前記プログレスバーは、前記編集対象動画像の全体区間のうち、前記動画像表示領域に表示されたフレームの時間軸上の位置をマーカーで表示することができる。
【００１１】
また、前記ｂ）段階は、前記動画像表示領域に表示されたフレームを選択して前記クリップ表示領域にドラッグする２回のフレーム入力によって、前記開始フレームと前記最終フレームを選択することができる。
【００１２】
また、前記ｂ）段階は、１番目のフレームが入力されると、前記１番目のフレームの位置を表示する第１マーカーの色を変更してその位置を固定し、２番目のフレームを選択するための第２マーカーを表示する段階と、２番目のフレームが入力されると、前記第１マーカーを削除し、前記クリップを生成する段階とを含むことができる。
【００１３】
また、前記１番目のフレームは前記開始フレーム或いは前記最終フレームであり、前記２番目のフレームも前記開始フレーム或いは前記最終フレームであることが好ましい。
【００１４】
また、前記ｂ）段階は、前記開始フレームから前記最終フレームの直前のフレームまでのみ含んで前記クリップを生成することができる。
【００１５】
また、前記ｂ）段階は、前記最終フレームがＰ−フレームまたはＢ−フレームである場合、活用している該当Ｉ−フレームまで前記クリップの生成に含まないことが好ましい。
【００１６】
また、前記ｂ）段階は、同一のフレームを連続的に選択し、前記同一のフレームが一定の期間見えるようにするクリップを生成することができる。
【００１７】
また、前記ｂ）段階は、開始フレームと最終フレームを同一のフレームに選択し、２つのフレーム間の時間情報を入力するか或いはフレーム数でフレーム間の間隔を入力することにより、前記同一のフレームが一定の期間見えるようにするクリップを生成することができる。
【００１８】
また、前記ｃ）段階は、前記生成されたクリップのフレームイメージをサムネイル方式で表示するが、立体形状に前記クリップの長さ情報を持つアイコンで表示することができる。
【００１９】
また、前記ｃ）段階は、前記クリップ表示領域に位置した第１クリップをコピーし、或いは前記第１クリップの一部のフレームで第２クリップを生成することができる。
【００２０】
また、前記ｃ）段階は、一部のフレームを互いに共有する複数のクリップを生成することができる。
【００２１】
また、前記ｃ）段階は、前記動画像表示領域に表示される第１編集対象動画像の１番目のフレームの直前または最終フレームの直後に仮想のフレームを生成する段階と、前記仮想のフレームを介して新しい第２編集対象動画像を読み出して前記第１編集対象動画像の１番目のフレームの直前または最終フレームの直後に連結する段階とを含むことができる。
【００２２】
ここで、前記第１編集対象動画像および第２編集対象動画像の少なくとも一つは前記クリップ動画像でありうる。
【００２３】
また、前記連結する段階の後に、連結された前記第１編集対象動画像と第２編集対象動画像を基準にプログレスバーを統合して再設定する段階をさらに含むことができる。
【００２４】
また、前記連結する段階の後、前記第１編集対象動画像と前記第２編集対象動画像を合わせて一つのクリップを生成する段階、または前記第１編集対象動画像の一部と前記第２編集対象動画像の一部にかけて一つのクリップを生成する段階をさらに含むことができる。
【００２５】
また、前記ｃ）段階は、複数のクリップを含む動画像を作る前にプレビュー段階を行うが、クリップ単位で区分された探索機能を提供することができる。
【００２６】
一方、本発明の実施例によれば、前述したいずれかの動画像編集方法を実現するプログラムを保存する、或いは前記プログラムの保存された記憶媒体が搭載される携帯型端末を提供することができる。
【００２７】
一方、本発明の実施例によれば、前述したいずれかの動画像編集方法を実現するためのプログラムが保存された記録媒体を提供することができる。
【発明の効果】
【００２８】
本発明の実施例によれば、既存のフレーム単位ではなく、クリップ単位の動画像編集機能を提供することにより、携帯型端末においても様々な動画像に対する編集を行うことができるという効果がある。
【００２９】
また、クリップ単位の動画像編集のためにより直観的かつ簡単に使用することが可能なユーザーインターフェース（ＵＩ）を提供することにより、限られた画面サイズを持つ携帯型端末における動画像編集のためのユーザーの便宜性を向上させることができるという効果がある。
【００３０】
また、動画像編集のためにＩ−フレームを基準にクリップ動画像を生成することにより、無駄なエンコード／デコードを省略し、動画像の編集速度を向上させることができるという効果がある。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施例に係るＩ−ｆｒａｍｅ、Ｐ−ｆｒａｍｅ、Ｂ−ｆｒａｍｅ単位の動画像情報とそれぞれのフレームにおける予測方向を示す。
【図２】本発明の実施例に係る携帯型端末を概略的に示すブロック図である。
【図３】本発明の実施例に係る動画像編集部で提供されるＵＩの構造を示す。
【図４】本発明の実施例に係るクリップの表現例示を示す。
【図５ａ】本発明の第１実施例に係るＵＩを用いたクリップ生成過程を示す。
【図５ｂ】本発明の第１実施例に係るＵＩを用いたクリップ生成過程を示す。
【図５ｃ】本発明の第１実施例に係るＵＩを用いたクリップ生成過程を示す。
【図５ｄ】本発明の第１実施例に係るＵＩを用いたクリップ生成過程を示す。
【図６】本発明の第１実施例に係る２つのフレームを介して生成された実際のクリップのフレーム構成を示す。
【図７】本発明の第１実施例に係る最終フレームとしてＰ−フレームが選択されたときに実際のクリップに適用されるフレームの構成を示す。
【図８】本発明の第２実施例に係るＵＩを用いたクリップ生成方法を示す。
【図９ａ】本発明の実施例に係る様々なクリップの生成形態を示す。
【図９ｂ】本発明の実施例に係る様々なクリップの生成形態を示す。
【図１０ａ】本発明の第３実施例に係る動画像表示領域に複数の動画像を表示する過程を示す。
【図１０ｂ】本発明の第３実施例に係る動画像表示領域に複数の動画像を表示する過程を示す。
【図１０ｃ】本発明の第３実施例に係る動画像表示領域に複数の動画像を表示する過程を示す。
【図１０ｄ】本発明の第３実施例に係る動画像表示領域に複数の動画像を表示する過程を示す。
【図１１ａ】本発明の第３実施例に係る複数の動画像を用いた様々なクリップ生成方法を示す。
【図１１ｂ】本発明の第３実施例に係る複数の動画像を用いた様々なクリップ生成方法を示す。
【図１１ｃ】本発明の第３実施例に係る複数の動画像を用いた様々なクリップ生成方法を示す。
【図１２】本発明の実施例に係るクリップ（Ｂ）をロングプレスする場合の前と後を示す。
【図１３】本発明の実施例に係るクリップ（Ｂ）をロングプレスする場合の、コピーされる直前を示す。
【図１４】本発明の実施例に係るクリップの削除例示を示す。
【図１５ａ】本発明の実施例によるクリップ表示領域で隠されたクリップの有無を表示する方法を示す。
【図１５ｂ】本発明の実施例によるクリップ表示領域で隠されたクリップの有無を表示する方法を示す。
【図１５ｃ】本発明の実施例によるクリップ表示領域で隠されたクリップの有無を表示する方法を示す。
【発明を実施するための形態】
【００３２】
以下に添付図面を参照しながら、本発明に係る実施例について、本発明の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。ところが、本発明は、様々な異なる形態で実現でき、ここで説明する実施例に限定されるものではない。そして、図面において、本発明を明確に説明するために、説明と関係のない部分は省略した。明細書全体にわたって、同様の部分については同様の図面符号を付した。
【００３３】
明細書全体において、ある部分がある構成要素を「含む」とするとき、これは特に反対される記載がない限り、他の構成要素を除くのではなく、他の構成要素をさらに含むことを意味する。また、明細書に記載された「…部」、「…器」、「モジュール」などの用語は少なくとも一つの機能または動作を処理する単位を意味し、これはハードウェア、ソフトウェア、またはハードウェアとソフトウェアとの組み合わせで実現できる。
【００３４】
次に、添付図面に基づいて、本発明の実施例に係る動画像編集方法、その端末および記録媒体について詳細に説明する。
【００３５】
まず、本発明の実施例に係る動画像編集機能を理解するためには、基本的に動画像を成しているフレーム構造を知らなければならない。
【００３６】
図１は本発明の実施例に係るＩ−ｆｒａｍｅ、Ｐ−ｆｒａｍｅ、Ｂ−ｆｒａｍｅ単位の動画像情報とそれぞれのフレームにおける予測方向を示す。
【００３７】
図１を参照すると、動画像を成している複数のフレームが順次配列された構造を示し、前記複数のフレームはＩ−ｆｒａｍｅ、Ｐ−ｆｒａｍｅおよびＢ−ｆｒａｍｅから構成される。
【００３８】
動画像の情報量は非常に大きいため、エンコード(Encoding)を行って情報量を圧縮保存し、保存された動画像の再生時には圧縮された情報をデコード(decoding)を介してフレームに再構成して画面上に表示する。
【００３９】
前記エンコードおよびデコードは各フレームごとに行う。動画像圧縮方式としては、周辺情報を活用して予測し、実際値と予測値との「差」のみを伝送する予測符号化(predictive coding)方式が代表的に用いられる。  
ここで、予測の際に活用される周辺情報なしで同一のフレーム内にのみ存在するものをＩ−フレーム(Intra Frame)と呼び、自分の直前（前）のフレーム情報のみを活用するフレームをＰ−フレーム(Predictive Frame)と呼び、自分の直前（前）および直後（後）のフレームの両方ともを活用するフレームをＢ−フレーム(Bi-directional Predictive Frame)と呼ぶ。
【００４０】
フレームは、活用する周辺情報が多ければ多いほど予測が正確になり、圧縮率が高くなるので、通常のフレーム別の圧縮率は、Ｂ−フレーム＞Ｐ−フレーム＞Ｉ−フレームの順に小さくなる。すなわち、Ｉ−フレームは、フレームの中でも圧縮率が最も小さく、ビット率もＰ−ｆｒａｍｅおよびＢ−ｆｒａｍｅに比べて非常に高い。
【００４１】
一方、図２は本発明の実施例に係る携帯型端末を概略的に示すブロック図である。
【００４２】
図２を参照すると、本発明の実施例に係る携帯型端末１００は、携帯電話、タブレットＰＣ、ＰＤＡ(Personal Digital Assistant)などの情報通信機器であって、通信部１１０、カメラ部１２０、タッチスクリーン部１３０、動画像編集部１４０、保存部１５０および制御部１６０を含む。
【００４３】
通信部１１０は、アンテナを介して３Ｇ、４Ｇ、ＷｉＦｉなどの無線通信を行い、インターネット連結を介しての動画像共有などの応用サービスを支援する。
【００４４】
カメラ部１２０は、ユーザーの操作に応じて写真および動画像を撮影して保存部１５０に保存する。
【００４５】
タッチスクリーン部１３０は、携帯型端末１００の動作による情報を画面に表示し、ユーザーのタッチによる命令の入力を受ける。
【００４６】
特に、本発明の実施例に係るタッチスクリーン部１３０は、既存の動画像編集技術より直観的かつ簡単に使用することが可能なユーザーインターフェース（以下、「ＵＩ」という）を画面に表示することができる。そして、編集機能の実行のためのロングプレス(long press)、ドラッグ(drag)、シングルタップ、ダブルタップなどのユーザー入力を認識する。
【００４７】
ここで、ロングプレス(long press)はユーザーが画面の特定の位置を長期間タッチしている入力行為を意味し、ドラッグ(drag)は画面の特定の位置を手でタッチした状態で手を移動する入力行為を意味し、シングルタップは画面の特定の位置を軽く１回タッチする入力行為を意味し、ダブルは画面の特定の位置を軽く２回連続してタッチする入力行為を意味する。
【００４８】
既存の動画像編集機は、複雑なＵＩを有するものの、その機能は単純な切り取りに限られているが、これに対し、動画像編集部１４０は、ユーザーが直観的かつ簡単に操作することができるように単純化しながらも、様々な動画像編集機能を提供するタッチ基盤のＵＩを提供する。前記ＵＩについての説明は詳細に後述する。
【００４９】
動画像編集部１４０は、編集対象動画像で開始フレーム乃至最終フレームを含む少なくとも一つのクリップ(Clip)を生成し、生成されたクリップ単位でクリップコピーやクリップ順序移動、クリップ削除などの様々な動画像編集機能を行うことができる。
【００５０】
ここで、クリップは、編集対象動画像のうち、ユーザーの選択に応じて指定された一部区間の動画像（すなわち、複数のフレーム）を意味する。
【００５１】
動画像編集部１４０は、クリップを表示するために、画面の一部に該当クリップ内の代表フレームをサムネイル(thumbnail)画像として表示する。そして、クリップ単位の編集は、アイコン形式で表示されるサムネイル画像を操作することで行われる。
【００５２】
このような動画像編集部１４０は、市販前に携帯型端末１００にデフォルトでインストールされるか、或いはアプリケーション・プログラムとしてオンラインまたはオフライン供給網を介して供給されてインストールされ得る。
【００５３】
保存部１５０は、カメラ部１２０で直接撮影された動画像や、インターネットまたは外部機器から受信した動画像を保存し、動画像の編集および再生のためのプログラムを保存する。
【００５４】
また、保存部１５０は、動画像編集部１４０の駆動によって生成されたクリップと、そのクリップ単位の編集作業によって生成された動画像を保存することができる。
【００５５】
制御部１６０は、携帯型端末１００の運用のための前記各部の動作を制御し、本発明の実施例に係るクリップ単位の動画像編集のための動画像編集部１４０を実行する。
【００５６】
一方、以下、添付図面を参照して、前述した本発明の実施例に係る携帯型端末１００の動画像編集部１４０がクリップ単位の動画像編集のために提供するユーザーインターフェース（ＵＩ）の構成、そのＵＩを介してのクリップ生成、およびクリップ単位の動画像編集を行う方法を詳細に説明する。
【００５７】
図３は本発明の実施例に係る動画像編集部で提供されるＵＩの構造を示す。
【００５８】
図３を参照すると、本発明の実施例に係るＵＩ２００は、動画像表示領域２１０、プログレスバー２２０およびクリップ表示領域２３０を含む。ここで、ＵＩ２００の詳細構成を領域やバーのように表示観点で指し示したが、各構成は動画像編集のために該当固有および連動機能を行うモジュールとして構成できる。
【００５９】
動画像表示領域２１０は、編集対象動画像の中からいずれか一つのフレームを選択するために、左／右のドラッグ入力に応じてフレームを順次表示する。
【００６０】
ここで、フレームの選択は、後述するクリップの生成のための範囲を設定（入力）することを意味し、動画像表示領域２１０に表示されたフレームの画面をクリップ表示領域２３０の方向にドラッグして選択フレームを入力することができる。例えば、図３のＵＩ構造のようにクリップ表示領域２３０がスクリーンの下端に表示された場合、選択されたフレームを下端方向にドラッグして入力することができる。
【００６１】
一方、動画像表示領域２１０は、ユーザーの編集対象動画像におけるフレーム選択の際にＩ−フレームのみを画面に表示し、これによりユーザーがＩ−フレームのみを選択することができるようにすることができる。  
したがって、Ｉ−フレームを基準に選択する場合には、新たにエンコード／デコードすることなく、該当クリップのビット操作(bit manipulation)のみでも新しい動画像を作成することができるため、動画像の編集速度を非常に速く向上させるという効果がある。
【００６２】
プログレスバー２２０は、編集対象動画像の全体区間のうち、動画像表示領域２１０に表示されているフレームの時間軸上の位置をマーカー(marker)２２１で表示する。
【００６３】
また、プログレスバー２２０は、動画像表示領域２１０からのフレーム選択の際に開始フレームと最終フレームを選択する過程をマーカー(marker)２２１で表示することができる。これについては後述するクリップ生成方法で詳しく説明する。
【００６４】
クリップ表示領域２３０は、動画像表示領域２１０からクリップ生成のために選択された複数のフレームを束ねて一つのクリップとして表示する。このとき、クリップは、特定のフレーム（例えば、１番目のＩ−フレーム）のイメージをサムネイル方式でアイコンのように表現するが、該当クリップの長さ情報を示すことができる。
【００６５】
例えば、図４は本発明の実施例に係るクリップの表現例示を示す。
【００６６】
図４を参照すると、クリップ（Ａ）、クリップ（Ｂ）、クリップ（Ｃ）は共通に前面にサムネイルを表示することができ、互いに異なる形態の長さ情報を表示している。
【００６７】
クリップ（Ａ）は、一般なサムネイル表示方法であって、再生時間を含んでいるが、ＰＣとは異なり、画面の小さい携帯型端末１００ではサイズが小さくて直観性に劣るという短所がある。
【００６８】
したがって、クリップ（Ｂ）のように再生時間またはフレーム数のようなクリップのサイズを３次元形状の厚さとして所定のレベルに表示するか、或いはクリップ（Ｃ）のようにフレーム（四角形）の累積量を差等表示することにより、直観性を向上させることができる。
【００６９】
このようなクリップの視覚的構成は、単純なサムネイルを介しての動画像表示に止まらず、ユーザーが多数のクリップを相対的に比較してどのクリップが長く、どのクリップが短いかを把握することができるため、編集過程で参考できる重要な情報となる。  
また、クリップ表示領域２３０は、複数のクリップを、生成された順序または編集対象動画像における位置を基準に配列して表示することができる。  
以上、動画像編集部１４０で提供されるＵＩの構造を簡単に説明したが、これに限定されず、上述していない機能については後述するクリップ生成およびクリップ単位の動画像編集方法を説明しながら申し述べる。
【００７０】
一方、本発明の実施例に係る動画像編集部１４０がクリップを生成する方法を説明する。
【００７１】
前述したように、動画像編集部１４０は、クリップ生成のためのＵＩをタッチスクリーン部１３０を介して提供し、ユーザーの選択による複数のフレームを入力としてクリップを生成する。
【００７２】
このとき、クリップを生成する方法は次の２つの実施例に大別される。
【００７３】
［第１実施例］
動画像編集部１４０は、ＵＩを介してユーザーから、編集対象動画像のうちクリップとして保存したい１番目のフレームおよび２番目のフレームの入力を受け、２つのフレームの間の画像を含むクリップを生成することができる。
【００７４】
図５は本発明の第１実施例に係るＵＩを用いたクリップ生成過程を示す。
【００７５】
図５を参照すると、動画像クリップは該当クリップの最初と最終が決定されなければならないので、一つのクリップを生成するためには２回のフレーム選択が要求される。図５ａ〜図５ｄは１番目のフレームと最終フレームを選択する過程をプログレスバー２２０のマーカー(marker)２２１で表示している。
【００７６】
図５ａでは、ユーザーが動画像表示領域２１０から１番目のフレーム(i-th Frame)を選択して入力する段階を示す。
【００７７】
プログレスバー２２０のマーカー２２１は、フレームが入力されていない初期状態では白色で表示される。
【００７８】
このとき、ユーザーがクリップ生成のための１番目のフレーム(i-th Frame)を選択し、クリップ表示領域２３０がある下端にドラッグすると、動画像編集部１４０は、１番目のフレーム(i-th Frame)が入力されたことを認識する。
【００７９】
図５ｂでは、クリップ生成のための１番目のフレームが入力された後、プログレスバー２２０のマーカー２２１が黒色に変更された状態を示す。  
この際、マーカー２２１が黒色に変更されたことは、１番目のフレームの入力が正常に行われたことと、２番目のフレームの入力を受けるために待機中の状態を表示することである。
【００８０】
図５ｃでは、ユーザーが動画像表示領域２１０から２番目のフレーム((i+m)-th Frame)を選択して入力する段階を示す。
【００８１】
このとき、黒色に変更された１番目のマーカー２２１は位置が固定され、２番目のフレームを選択するための白色の２番目のマーカー２２１’が表示される。
【００８２】
そして、ユーザーがクリップ生成のための２番目のフレーム((i+m)-th Frame)を選択し、クリップ表示領域２３０が在る下端にドラッグすると、動画像編集部１４０は、２番目のフレーム((i+m)-th Frame)が入力されたことを認識し、２つのフレームの間のフレームを含むクリップ「Ａ」を生成することができる。
【００８３】
図５ｄでは、２番目のフレームの入力でクリップが生成された後にプログレスバー２２０のマーカー２２１’が初期の白色で表示されたことを示す。
【００８４】
すなわち、前記図５ｃでクリップ生成のための２番目のフレームが入力されると、黒色の１番目のマーカー２２１は消え、白色の２番目のマーカー２２１’のみ残ることになる。
【００８５】
一方、前記図５に示した第１実施例では、１番目に選択されたフレームに比べて、２番目に選択されたフレームが編集対象動画像の時間軸上で遅い時間に位置するものと説明したが、これに限定されず、その逆の場合は、最終フレームを１番目に選択し、開始フレームを２番目に選択することができる。
【００８６】
すなわち、選択される１番目のフレームは、必ずしも開始フレームになるのではなく、開始フレームもしくは最終フレームであってもよく、２番目のフレームも開始フレームもしくは最終フレームであってもよい。
【００８７】
このように２回のドラッグ入力を介してクリップを生成する場合には、生成されるクリップの１番目のフレームと２番目のフレームを編集対象動画像上での順序を問わずに作ることができるという利点がある。
【００８８】
また、前記図５におけるマーカー２２１の色および形態は、前述した白色、黒色および三角形に限定されず、フレーム選択過程を区別して表示するための様々な形態が適用できる。
【００８９】
一方、図６は本発明の第１実施例に係る２つのフレームを介して生成された実際のクリップのフレーム構成を示す。
【００９０】
図６を参照すると、動画像編集部１４０は、ユーザーの選択に応じて開始フレーム(i-th Frame)と最終フレーム(i+m th Frame)が入力されると、編集対象動画像を基準に最も後方に位置した最終フレーム(i+m th Frame)は、該当クリップに含まれず、直前のフレームまでのみ実質的に含む。すなわち、最終フレーム(i+m th Frame)は該当クリップの生成時に除外する。
【００９１】
また、図７は本発明の第１実施例に係る最終フレームとしてＰ−フレームが選択されたときに実際のクリップに適用されるフレームの構成を示す。
【００９２】
図７を参照すると、クリップ生成のためのフレーム選択の際に、ある動画像の場合は最終フレームがＰ−フレームであることがある。この時、Ｉ−フレームを基準にフレーム選択の際に編集対象動画像の最後のＩ−フレームから最終フレームたるＰ−フレームまでは新たに編集される該当クリップに含まれない。
【００９３】
このように、図６および図７において、Ｉ−フレーム単位の最終フレームをクリップから除外することは、いずれの動画像でもＩ−フレームを基準にクリップを生成して動画像の編集速度を速くするためである。  
［第２実施例］
一方、動画像編集部１４０は、同一のフレームを連続的に選択し、該当フレームが一定の期間見えるようにするクリップを生成することができる。このとき、生成されるクリップは、再生の際にスローモーション(Slow motion)と類似した編集効果を出すことができる。
【００９４】
図８は本発明の第２実施例に係るＵＩを用いたクリップ生成方法を示す。
【００９５】
図８を参照すると、前述した第１実施例では互いに異なる２つのフレームの選択によってクリップを生成する方法を説明したが、その方法に加えて、クリップ（Ａ）のように同一のフレームを複数回選択することにより、複数の同一のフレームから構成されるクリップを生成することができる。すなわち、同一の画像を連続的に見せる最も単純な方式は、該当フレームを複数個から構成して繰り返し見せる方式である。
【００９６】
ところが、もし選択されたフレームがＩ−フレームである場合には、同じ各フレームのビット率(bit rate)が高いため、生成されたクリップ（Ａ）の動画像のサイズが大きくなる可能性がある。
【００９７】
このような理由から、ユーザーには同一の画像が連続的に見えるとしても、繰り返されるＩ−フレームのビットをすべて送る代わりに、クリップ（Ａ’）のように１番目のＩ−フレームのビット、最後のＩ−フレームのビットおよび繰り返し見える再生時間情報を入力する方式でビット率を減らすことができる。
【００９８】
すなわち、クリップ（Ａ’）のように選択された１番目のi-th Frameと最後のi-th Frameだけを残しておき、その代わりに、２つのフレーム間の時間情報或いはフレーム数の形で２つのフレーム間の間隔を入力してビット率を減らすことができる。  
よって、もし選択されたフレームがＩ−フレームである場合、繰り返されるＩ−フレームのビット率を省略することができるため、生成されたクリップのデータ量を大幅減らすことができるという利点がある。
【００９９】
一方、図９は本発明の実施例に係る様々なクリップの生成形態を示す。
【０１００】
まず、図９ａを参照すると、クリップＡとクリップＢは、それぞれ独立に生成されても、クリップ（Ｂ）のフレームがクリップ（Ａ）の一部のフレームで構成できる。
【０１０１】
また、図９ｂを参照すると、クリップＡとクリップＢは、それぞれ独立に生成されても、クリップ（Ａ）とクリップ（Ｂ）の一部のフレームが互いに共有できる。
【０１０２】
すなわち、本発明の実施例に係るクリップ単位の動画像編集方式の特徴の一つは、図９ａに示すように、複数のクリップのうち、あるクリップ部分が他のクリップの一部分であることもあり、他のクリップと同じ部分があることもあるという点である。
【０１０３】
これは、動画像編集部１４０がクリップを生成してクリップ基盤で編集を行う本発明の重要な利点の一つであるうえ、このように様々な形態の編集機能の提供が不可能である既存の編集対象動画像基準の編集機との相違点である。
【０１０４】
一方、上述した第１および第２実施例によって生成されたクリップはクリップ表示領域２３０に配列される。配列されたクリップを表示する方法は、単純な表記、すなわち数字やアルファベットで表すことができ、該当クリップの特定のフレームをサムネイル(thumbnail)形式で表示することができる。
【０１０５】
さらに、このようなクリップの表示は、前記図４を介して説明された様々なクリップ形態で表示することにより行われ得る。よって、画面上でのクリップを選択的に移動させたりコピーしたり削除したりする機能を含む動画像編集部１４０は、携帯型端末の限られた画面でもユーザーが直観的かつ簡単に認識し、機能を選択することが可能な形態のクリップを表示することができるという効果がある。
【０１０６】
［第３実施例］
一方、本発明の第３実施例に係る、動画像編集部１４０が生成されたクリップを用いてクリップ単位の動画像を編集する方法を説明する。
【０１０７】
動画像編集部１４０は、動画像表示領域２１０に表示される編集対象動画像の１番目のフレームおよび最終フレームの前後に仮想のフレームを生成し、仮想のフレームを選択すると、新しい動画像またはクリップを読み出してくるメニューを提供することにより、様々な編集対象動画像を表示することができる。
【０１０８】
図１０は本発明の第３実施例に係る動画像表示領域に複数の動画像を表示する過程を示す。
【０１０９】
図１０ａおよび図１０ｂを参照すると、本発明の実施例に係る動画像表示領域２１０にｍ個のフレームからなる第１編集対象動画像(0-th Frame〜(m-1)-th Frame)を表示した状態で、最終フレーム((m-1)-th Frame)以降の別の第２編集対象動画像を読み出して表示する過程を示す。  
ここで、前記第２編集対象動画像は、本発明の実施例によって生成されたクリップ動画像であってもよい。
【０１１０】
動画像表示領域２１０に表示された第１編集対象動画像からフレームを選択するためにフレームを順次示す過程で、図１０ａのように最終フレーム((m-1)-th Frame)の画面を左側にドラッグすると、図１０ｂの仮想フレームを表示して新しい第２編集対象動画像或いはクリップを選択することができるようにする。
【０１１１】
同様に、図１０ａおよび図１０ｂを参照すると、動画像表示領域２１０に表示された第１編集対象動画像からフレームを選択するためにフレームを順次示す過程で、図１０ｃのように１番目のフレーム(0-th Frame)の画面を右側にドラッグすると、図１０ｄの仮想フレームを表示して新しい第２編集対象動画像或いはクリップを選択することができるようにする。
【０１１２】
一方、動画像編集部１４０は、前記仮想フレームを介してさらに編集対象動画像を読み出して動画像表示領域２１０に複数の編集対象動画像を表示すると、プログレスバー２２０を表示された複数の編集対象動画像を基準に統合して再設定することができる。
【０１１３】
また、動画像編集部１４０は、前記仮想フレームを介しての他の動画像の選択時に前もって統合することが可能な動画像ファイルであるか否かを予め検査し、統合可能な動画像ファイルのみを表示することができる。これは、エンコード／デコードを必要としないＩ−フレーム単位のクリップ生成時に有用な手段になれる。
【０１１４】
一方、図１１は本発明の第３実施例に係る複数の動画像を用いた様々なクリップ生成方法を示す。
【０１１５】
本発明の第３実施例に係る動画像編集部１４０は、動画像表示領域２１０に表示される複数の編集対象動画像を一つのクリップとして束ねて保存することができ、また、１つの動画像からクリップを生成する方法と同様に、並んで表示された複数の動画像の各一部区間を含むクリップを生成することができる。
【０１１６】
まず、図１１ａを参照すると、動画像編集部１４０は、動画像表示領域２１０に互いに異なる２つの編集対象動画像を連結して表示した後、２つの動画像をすべて合わせて一つのクリップ（Ａ）動画像に再構成することができる。
【０１１７】
そして、図１１ｂを参照すると、動画像編集部１４０は、動画像表示領域２１０に互いに異なる２つの編集対象動画像を連結して表示した後、２つの動画像の一部にまたがる一つのクリップ（Ｂ）動画像に再構成することができる。
【０１１８】
また、図１１ｃを参照すると、動画像編集部１４０は、動画像表示領域２１０に同じ編集対象動画像を繰り返し連結した後、２つの動画像を合わせて新しいクリップ（Ｂ）動画像に再構成することができる。
【０１１９】
ここでも、前記編集対象動画像は本発明の実施例によって生成されたクリップ動画像であってもよい。
【０１２０】
したがって、既存の動画像編集技術が１つの動画像を編集することにフォーカスを合わせる一方、クリップ単位の編集を行う本発明の実施例は、複数の動画像にわたる様々な方式のクリップを生成する動画像編集が可能であるという利点がある。
【０１２１】
一方、前述したように、本発明の実施例によれば、動画像編集を行って残す区間、すなわちクリップを生成した後、クリップを編集対象動画像として活用し、クリップを他の編集対象動画像の特定の部分に連結し、複数のクリップから新しいクリップを生成するなどの非常に効率的な編集機能を行うことができる。
【０１２２】
ここで、本発明の実施例に係る動画像編集部１４０は、クリップ表示領域２３０における簡単なクリップコピー、クリップ削除、クリップ移動などの技術を行うことができる。
【０１２３】
動画像編集部１４０は、クリップ表示領域２３０に位置したクリップを相次ぐ位置に同一にコピーすることができる。
【０１２４】
この時、クリップの表示領域２３０で該当クリップをコピーするようにユーザーが命令する方式としては、様々な方式がある。
【０１２５】
例えば、動画像編集部１４０は、ユーザーがコピーしようとする該当クリップを指定して、一定の時間タッチを維持するロングプレスが入力されると、該当クリップをコピーする。
【０１２６】
この際、動画像編集部１４０は、コピーが行われる直前に、該当クリップがコピー直前であることを視覚的に表示することにより、ユーザーにコピーの行われる直前であることを知らせることができる。
【０１２７】
図１２は本発明の実施例に係るクリップ（Ｂ）をロングプレスする場合の前と後を示す。
【０１２８】
図１３は本発明の実施例に係るクリップ（Ｂ）をロングプレスする場合の、コピーされる直前であることを示す。
【０１２９】
この際、上方の例は該当クリップ（Ｂ）のサムネイルが揺れる例であり、下方の例は該当クリップ（Ｂ）のサムネイルが歪んで表示される例である。
【０１３０】
また、動画像編集部１４０は、クリップ表示領域２３０に配置されたクリップの位置を移動させることができる。この時、クリップの移動は、選択された該当クリップと他のクリップとの間の順序関係を変更することを意味する。たとえば、配列された複数のクリップの中からいずれか一つを選択して他の位置にドラッグする方式で配列位置を変更することができる。
【０１３１】
また、動画像編集部１４０は、クリップ表示領域２３０に配置されたクリップのうち特定のクリップが編集完了した動画像に含まれないように該当クリップをタッチスクリーン部１３０の外にドラッグして削除することができる。
【０１３２】
例えば、図１４は本発明の実施例によってクリップを削除する例を示し、この時、クリップ（Ｂ）が削除された場合、削除されたクリップの位置へ、その後ろに位置するクリップが移動する。
【０１３３】
一方、動画像編集部１４０は、ユーザーの所望するクリップだけを残した後、残りのクリップを所望の順序とおりに組み合わせて編集された新しい動画像を作ることができる。
【０１３４】
動画像編集部１４０は、編集された新しい動画像を作る前に、プレビュー(Preview)の段階を行うことができる。この際、長い全体区間のプレビュー画面を、クリップ単位で区分された探索機能を介して提供することができる。
【０１３５】
一般に、新たに作られる動画像の時間が長い場合、プログレスバー上でのユーザーの命令で探索機能を提供することができるが、サイズの小さい画面の携帯型端末では、長い区間の動画像を短いプログレスバーの操作のみで探索するには難しいという欠点があった。
【０１３６】
そこで、本発明の実施例では、このような方式も可能であるが、既存の方式とは異なり、動画像がクリップ単位で構成されているため、探索をクリップ単位で行うことができて、限られた画面条件でも容易に探索機能を提供することができるという利点がある。すなわち、探索する部分のクリップを選択し、選択されたクリップに対する区間別探索が可能であって容易に操作することができる。
【０１３７】
以上、本発明の実施例について説明したが、本発明は、前述した実施例に限定されるものではなく、その他の様々な変更が可能である。
【０１３８】
例えば、図３に示した本発明の実施例に係るＵＩ構造は、代表的な実施例であって、これに限定されず、様々な方法で変更可能である。例えば、動画像表示領域２１０、プログレスバー２２０およびクリップ表示領域２３０は互いに位置が入れ替わってもよく、クリップの表現もサムネイルの表現でない方式でも表現が可能である。また、動画像表示領域２１０に表示されるフレームの位置も、長さ方向のバー形状ではなく、屈曲形または円形などの他の形状にして表示することもできる。
【０１３９】
また、動画像編集部１４０は、生成したクリップの数がクリップ表示領域２３０で表示できる個数を超える場合、表示されるクリップ以外にも、隠されたクリップがあることをクリップ表示領域２３０の左右に矢印をもって表示することができる。
【０１４０】
例えば、図１５は本発明の実施例に係るクリップ表示領域で隠されたクリップの有無を表示する方法を示す。
【０１４１】
図１５ａを参照すると、クリップの表示領域２３０のクリップ表示空間が４つであることを仮定するとき、生成されたクリップが４つ以下である場合、左右の矢印は不活性化される。
【０１４２】
そして、クリップ表示領域２３０のクリップ表示空間が４つであることを仮定するとき、生成されたクリップが４つを超える場合は、下端の左右矢印の少なくとも一つが黒色に活性化できる。
【０１４３】
このとき、図１５ｂを参照すると、画面の右側にのみ隠された追加のクリップがある場合は、右の矢印のみ活性化できる。
【０１４４】
また、図１５ｃを参照すると、画面の左側にのみ隠された追加のクリップがある場合は、左の矢印のみ活性化できる。
【０１４５】
本発明の実施例は、上述した装置および／または方法を介してのみ実現されるのではなく、本発明の実施例の構成に対応する機能を実現するためのプログラム、そのプログラムが記録された記録媒体などを介して実現されることも可能である。このような実現は、前述した実施例の記載から、本発明の属する技術分野における専門家であれば簡単に実施することができるのである。
【０１４６】
以上、本発明の実施例について詳細に説明したが、本発明の権利範囲はこれに限定されるものではなない。添付の請求の範囲で定義している本発明の基本概念を利用した当業者の様々な変形および改良形態も本発明の権利範囲に属すると理解すべきである。
【図１】
2016504790.tif 000003
【図２】
2016504790.tif 000004
【図３】
2016504790.tif 000005
【図４】
2016504790.tif 000006
【図５ａ】
2016504790.tif 000007
【図５ｂ】
2016504790.tif 000008
【図５ｃ】
2016504790.tif 000009
【図５ｄ】
2016504790.tif 000010
【図６】
2016504790.tif 000011
【図７】
2016504790.tif 000012
【図８】
2016504790.tif 000013
【図９ａ】
2016504790.tif 000014
【図９ｂ】
2016504790.tif 000015
【図１０ａ】
2016504790.tif 000016
【図１０ｂ】
2016504790.tif 000017
【図１０ｃ】
2016504790.tif 000018
【図１０ｄ】
2016504790.tif 000019
【図１１ａ】
2016504790.tif 000020
【図１１ｂ】
2016504790.tif 000021
【図１１ｃ】
2016504790.tif 000022
【図１２】
2016504790.tif 000023
【図１３】
2016504790.tif 000024
【図１４】
2016504790.tif 000025
【図１５ａ】
2016504790.tif 000026
【図１５ｂ】
2016504790.tif 000027
【図１５ｃ】
2016504790.tif 000028
【手続補正書】
【提出日】平成27年5月12日(2015.5.12)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０１１１
【補正方法】変更
【補正の内容】
【０１１１】
同様に、図１０ｃおよび図１０ｄを参照すると、動画像表示領域２１０に表示された第１編集対象動画像からフレームを選択するためにフレームを順次示す過程で、図１０ｃのように１番目のフレーム(0-th Frame)の画面を右側にドラッグすると、図１０ｄの仮想フレームを表示して新しい第２編集対象動画像或いはクリップを選択することができるようにする。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１１８
【補正方法】変更
【補正の内容】
【０１１８】
また、図１１ｃを参照すると、動画像編集部１４０は、動画像表示領域２１０に同じ編集対象動画像を繰り返し連結した後、２つの動画像を合わせて新しいクリップ（Ｃ）動画像に再構成することができる。
【国際調査報告】
2016504790.tif 000029
2016504790.tif 000030
2016504790.tif 000031
2016504790.tif 000032