(57)【要約】【課題】長時間にわたる動画の編集を、より効率よく行うための動画編集システムおよび動画編集方法を提供する。【解決手段】編集前動画に含まれる複数のコマを縦横に並べた第１中間静止画像を生成する。この静止画像を縮小した第２中間静止画像をさらに生成する。第１中間静止画像のうち、一度に表示できる第１表示範囲に含まれる第１部分静止画像と、第２中間静止画像のうち、一度に表示できる第２表示範囲に含まれる第２部分静止画像とを生成して、同時に、かつ、連動して表示する。第１表示範囲および第２表示範囲を適宜に変更しながら、中間静止画像群を参照して、編集前動画から抜き出すべき選択範囲を決定する。編集前動画から選択範囲を抜き出して編集後動画を生成する。【選択図】図１Ａ
2019193027.tif 000002
【特許請求の範囲】
【請求項１】
編集前動画から中間静止画像群を生成するサーバと、
前記サーバから前記中間静止画像群を部分的に読み出し、前記編集前動画に含まれる所望の選択範囲を、前記中間静止画像群に基づいて設定する端末と
を具備し、
前記サーバは、
前記編集前動画に含まれて時系列に配置された複数の静止画像を、第１周期で第１方向に並べ、かつ、前記第１周期とは異なる第２周期で前記第１方向に直交する第２方向に並べた、前記中間静止画像群のうちの第１中間静止画像を生成し、かつ、前記第１中間静止画像を縮小して前記中間静止画像群のうちの第２中間静止画像を生成する中間静止画像群生成部と、
前記端末から受信する表示制御信号に応じて、前記第１中間静止画像のうち、所定の第１表示範囲に含まれる第１部分静止画像と、前記第２中間静止画像のうち、前記第１表示範囲を含む第２表示範囲に含まれる第２部分静止画像とを生成する部分静止画像群生成部と
を具備し、
前記端末は、
前記第１部分静止画像および前記第２部分静止画像を、前記第１表示範囲および前記第２表示範囲が連動するように表示する表示装置と、
前記第１中間静止画像のうち、一度に表示する前記第１表示範囲を設定する表示制御操作を入力し、かつ、前記複数の静止画像のうち、前記第１部分静止画像に含まれるいずれかの静止画像を、選択範囲の一端として設定する編集制御操作を入力する入力装置と、
前記表示制御操作の内容を前記サーバに伝達する前記表示制御信号を生成し、かつ、前記編集制御操作の内容を前記サーバに伝達する編集制御信号を生成する演算装置と
を具備し、
前記サーバは、
前記端末から受信する前記編集制御信号に応じて、前記編集前動画のうち、前記選択範囲に含まれる部分を抜き出して編集後動画を生成する編集後動画生成部
をさらに具備する
動画編集システム。
【請求項２】
請求項１に記載の動画編集システムにおいて、
前記端末の前記表示装置は、前記第１表示範囲を変更する際に、前記第１部分静止画像を、前記第１方向に静止画像単位で連続的にスクロールすることによって前記第１周期による疑似的な動画再生を行い、前記第２方向に静止画像単位で連続的にスクロールすることによって前記第２周期による疑似的な動画再生を行う
動画編集システム。
【請求項３】
請求項１または２に記載の動画編集システムにおいて、
前記サーバの前記中間静止画像群生成部は、前記第２中間静止画像をさらに縮小した第３中間静止画像をさらに生成し、
前記端末の前記表示装置は、
前記第１部分静止画像および前記第２部分静止画像と同時に、前記第３中間静止画像の全体をさらに表示し、
前記第３中間静止画像において前記第１表示範囲および前記第２表示範囲に対応する枠を前記第３中間静止画像に重ねてさらに表示する
動画編集システム。
【請求項４】
請求項１〜３のいずれか一項に記載の動画編集システムにおいて、
前記サーバは、
前記複数の静止画像のそれぞれを、所定の寸法を有する複数の評価領域に区切り、前記複数の評価領域のそれぞれを所定の基準で評価する評価部
をさらに具備し、
前記端末の前記表示装置は、
前記第１部分静止画像を表示する際に、前記複数の評価領域のそれぞれを、前記評価の結果で区別して表示する
動画編集システム。
【請求項５】
外部から編集前動画を入力する入出力インターフェースと、
前記編集前動画を格納するデータベースと、
前記編集前動画に含まれて時系列に配置された複数の静止画像を、第１周期で第１方向に並べ、かつ、前記第１周期とは異なる第２周期で前記第１方向に直交する第２方向に並べた、中間静止画像群のうちの第１中間静止画像を生成し、かつ、前記第１中間静止画像を縮小して前記中間静止画像群のうちの第２中間静止画像を生成する中間静止画像群生成部と、
外部から受信する表示制御信号に応じて、前記第１中間静止画像のうち、所定の第１表示範囲に含まれる第１部分静止画像と、前記第２中間静止画像のうち、前記第１表示範囲を含む第２表示範囲に含まれる第２部分静止画像とを生成する部分静止画像群生成部と、
外部から受信する編集制御信号に応じて、前記編集前動画のうち、前記選択範囲に含まれる部分を抜き出して編集後動画を生成する編集後動画生成部と
を具備する
サーバ。
【請求項６】
第１中間静止画像のうち、所定の第１表示範囲に含まれる第１部分静止画像と、前記第１中間静止画像を縮小した第２中間静止画像のうち、前記第１表示範囲を含む第２表示範囲に含まれる第２部分静止画像とを、外部から入力する入出力インターフェースと、
前記第１部分静止画像および前記第２部分静止画像を、前記第１表示範囲および前記第２表示範囲が連動するように表示する表示装置と、
前記第１中間静止画像は、第１周期で第１方向に並べられ、かつ、前記第１周期とは異なる第２周期で前記第１方向に直交する第２方向に並べられた複数の静止画像を含み、前記第１中間静止画像のうち、一度に表示する前記第１表示範囲を設定する表示制御操作を入力し、かつ、前記複数の静止画像のうち、前記第１部分静止画像に含まれるいずれかの静止画像を、選択範囲の一端として設定する編集制御操作を入力する入力装置と、
前記表示制御操作の内容を前記外部に伝達する表示制御信号を生成し、かつ、前記編集制御操作の内容を前記外部に伝達する編集制御信号を生成する演算装置と
を具備する
端末。
【請求項７】
編集前動画から中間静止画像群を生成することと、
前記中間静止画像群に基づいて前記編集前動画に含まれる所望の選択範囲を設定することと、
前記編集前動画のうち、前記選択範囲に含まれる部分を抜き出して編集後動画を生成することと
を具備し、
前記中間静止画像群を生成することは、
前記編集前動画に含まれて時系列に配置された複数の静止画像を、第１周期で第１方向に並べ、かつ、前記第１周期とは異なる第２周期で前記第１方向に直交する第２方向に並べた第１中間静止画像を生成することと、
前記第１中間静止画像を縮小した第２中間静止画像を生成することと
を具備し、
前記選択範囲を設定することは、
表示制御操作を入力することと、
前記表示制御操作に応じて、前記第１中間静止画像のうち、一度に表示する第１表示範囲を設定することと、
前記第１中間静止画像のうち、前記第１表示範囲に含まれる第１部分静止画像と、前記第２中間静止画像のうち、前記第１表示範囲を含む第２表示範囲に含まれる第２部分静止画像とを、前記第１表示範囲および前記第２表示範囲が連動するように表示することと、
編集制御操作を入力することと、
前記編集制御操作に応じて、前記複数の静止画像のうち、前記第１部分静止画像に含まれるいずれかの静止画像を、前記選択範囲の一端として設定することと
を具備する
動画編集方法。
【請求項８】
請求項７に記載の動画編集方法において、
前記表示することは、
前記第１部分静止画像を、前記第１方向に静止画像単位で連続的にスクロールすることによって前記第１周期による疑似的な動画再生を行うことと、
前記第１部分静止画像を、前記第２方向に静止画像単位で連続的にスクロールすることによって前記第２周期による疑似的な動画再生を行うことと
を具備する
動画編集方法。
【請求項９】
請求項７または８に記載の動画編集方法において、
前記中間静止画像群を生成することは、
前記第２中間静止画像をさらに縮小して第３中間静止画像を生成すること
をさらに具備し、
前記表示することは、
前記第１部分静止画像および前記第２部分静止画像と同時に、前記第３中間静止画像の全体を表示することと、
前記第３中間静止画像において前記第１表示範囲および前記第２表示範囲に対応する枠を前記第３中間静止画像に重ねて表示すること
を具備する
動画編集方法。
【請求項１０】
請求項７〜９のいずれか一項に記載の動画編集方法において、
前記中間静止画像群を生成することは、
前記複数の静止画像のそれぞれを、所定の寸法を有する複数の評価領域に区切り、前記複数の評価領域のそれぞれを所定の基準で評価すること
をさらに具備し、
前記表示することは、
前記第１部分静止画像を表示する際に、前記複数の評価領域のそれぞれを、前記評価の結果で区別して表示すること
を具備する
動画編集方法。
【請求項１１】
外部から編集前動画を入力することと、
前記編集前動画を格納することと、
前記編集前動画に含まれて時系列に配置された複数の静止画像を、第１周期で第１方向に並べ、かつ、前記第１周期とは異なる第２周期で前記第１方向に直交する第２方向に並べた、中間静止画像群のうちの第１中間静止画像を生成することと、
前記第１中間静止画像を縮小して前記中間静止画像群のうちの第２中間静止画像を生成することと、
外部から表示制御信号を受信することと、
前記表示制御信号に応じて、前記第１中間静止画像のうち、所定の第１表示範囲に含まれる第１部分静止画像と、前記第２中間静止画像のうち、前記第１表示範囲を含む第２表示範囲に含まれる第２部分静止画像とを生成することと、
外部から編集制御信号を受信することと、
前記編集制御信号に応じて、前記編集前動画のうち、選択範囲に含まれる部分を抜き出して編集後動画を生成することと
を具備する
動画編集方法。
【請求項１２】
第１中間静止画像のうち、所定の第１表示範囲に含まれる第１部分静止画像と、前記第１中間静止画像を縮小した第２中間静止画像のうち、前記第１表示範囲を含む第２表示範囲に含まれる第２部分静止画像とを、外部から入力することと、
前記第１部分静止画像および前記第２部分静止画像を、前記第１表示範囲および前記第２表示範囲が連動するように表示することと、
前記第１中間静止画像は、第１周期で第１方向に並べられ、かつ、前記第１周期とは異なる第２周期で前記第１方向に直交する第２方向に並べられた複数の静止画像を含み、前記第１中間静止画像のうち、一度に表示する前記第１表示範囲を設定する表示制御操作を入力することと、
前記複数の静止画像のうち、前記第１部分静止画像に含まれるいずれかの静止画像を、選択範囲の一端として設定する編集制御操作を入力することと、
前記表示制御操作の内容を外部に伝達する表示制御信号を生成することと、
前記編集制御操作の内容を外部に伝達する編集制御信号を生成することと
を具備する
動画編集方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画編集システム、サーバ、端末および動画編集方法に関し、例えば、デジタルデータとして撮影された動画から所望の部分を抜き出す動画編集システム、サーバ、端末および動画編集方法に好適に利用できるものである。
【背景技術】
【０００２】
長時間にわたり、かつ、全体的な変化に乏しい動画から、重要な場面を効率的に抜き出す編集作業の需要がある。
【０００３】
例えば、数時間にわたる外科手術の様子を定点カメラで録画した動画のうち、医学生への教材として見せたい重要な場面は、そのうちのごく短い時間である場合がある。このような場合には、撮影した動画のうち、重要な場面だけを選択して抜き出す編集を行い、編集後の動画を教材として用いることが、学習効率の観点からも望ましい。
【０００４】
このような編集を行うためには、外科手術のどの場面が重要であるかを熟知しておく必要がある。このことは、定点録画した動画にはいわゆるカメラワークが少なく、その画面全体としての変化に乏しいことにも一因がある。しかし、そのような知識を有する人材は、外科手術そのものを含む医療活動に忙しい場合が多く、動画編集に長い時間を割くことが困難である。したがって、より短い時間で効率的に動画編集を行えることが望ましい。
【０００５】
上記に関連して、特許文献１（特開２０１４−０４２６５４号公報）には、サーバー装置、クライアント装置、医療画像処理システム、医療画像処理方法、及びプログラムに係る記載が開示されている。特許文献１のサーバー装置は、医療画像情報を処理する。このサーバー装置は、記憶部と、サーバー側送信部と、サーバー側受信部と、編集処理部とを備える。ここで、記憶部は、医療画像の動画像データである第１動画像データ及び第１動画像データのデータ量を削減して生成される第２動画像データを記憶する。サーバー側送信部は、クライアント装置からの要求に応じて第２動画像データをクライアント装置に送信する。サーバー側受信部は、クライアント装置から送信され第２動画像データに対する編集処理内容を示す編集処理情報を受信する。編集処理部は、受信した前記編集処理情報に基づいて、前記第１動画像データを編集処理する。
【０００６】
特許文献１では、編集対象である第１動画データを、サーバー装置からクライアント装置に向けて送信するにあたって、データ量が削減された第２動画データを第１動画データの代わりに、ストリーミング方式で送信する（明細書段落００３２）。第２動画データは、データ量が削減された影響により、第１動画データよりも画質が必然的に低くなる（明細書段落００３３）。また、動画再生である限り、クライアント装置の画面上で一度に見られるコマは１枚である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１４−０４２６５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
長時間にわたる動画の編集を、より効率よく行うための動画編集システムおよび動画編集方法を提供する。その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【０００９】
以下に、（発明を実施するための形態）で使用される番号を用いて、課題を解決するための手段を説明する。これらの番号は、（特許請求の範囲）の記載と（発明を実施するための形態）との対応関係を明らかにするために付加されたものである。ただし、それらの番号を、（特許請求の範囲）に記載されている発明の技術的範囲の解釈に用いてはならない。
【００１０】
一実施の形態による動画編集システム（１）は、サーバ（３）と、端末（５）とを具備する。ここで、サーバ（３）は、編集前動画（７）から中間静止画像群（８）を生成する。端末（５）は、サーバ（３）から中間静止画像群（８）を部分的に読み出し、編集前動画（７）に含まれる所望の選択範囲（８４）を、中間静止画像群（８）に基づいて設定する。サーバ（３）は、中間静止画像群生成部（３３１）と、部分静止画像群生成部（３３２）とを具備する。ここで、中間静止画像群生成部（３３１）は、編集前動画（７）に含まれて時系列に配置された複数の静止画像を、第１周期で第１方向に並べ、かつ、第１周期とは異なる第２周期で第１方向に直交する第２方向に並べた、中間静止画像群（８）のうちの第１中間静止画像（８１）を生成し、かつ、第１中間静止画像（８１）を縮小して中間静止画像群（８）のうちの第２中間静止画像（８２）を生成する。部分静止画像群生成部（３３２）は、端末（５）から受信する表示制御信号に応じて、第１中間静止画像（８１）のうち、所定の第１表示範囲（８１１）に含まれる第１部分静止画像（８１２）と、第２中間静止画像（８２）のうち、第１表示範囲（８１１）を含む第２表示範囲（８２１）に含まれる第２部分静止画像（８２２）とを生成する。端末（５）は、表示装置（５２２）と、入力装置（５２３）と、演算装置（５３）とを具備する。ここで、表示装置（５２２）は、第１部分静止画像（８１２）および第２部分静止画像（２２）を、第１表示範囲（８１１）および第２表示範囲（８２１）が連動するように表示する。入力装置（５２３）は、第１中間静止画像（８１）のうち、一度に表示する第１表示範囲（８１１）を設定する表示制御操作を入力し、かつ、複数の静止画像のうち、第１部分静止画像（８１２）に含まれるいずれかの静止画像を、選択範囲（８４）の一端として設定する編集制御操作を入力する。演算装置（５３）は、表示制御操作の内容をサーバ（３）に伝達する表示制御信号を生成し、かつ、編集制御操作の内容をサーバ（３）に伝達する編集制御信号を生成する。サーバ（３）は、編集後動画生成部（３３３）をさらに具備する。ここで、編集後動画生成部（３３３）は、端末（５）から受信する編集制御信号に応じて、編集前動画（７）のうち、選択範囲（８４）に含まれる部分を抜き出して編集後動画（９）を生成する。
【００１１】
一実施の形態による動画編集方法は、編集前動画（７）から中間静止画像群（８）を生成すること（Ｓ１）と、中間静止画像群（８）に基づいて編集前動画（７）に含まれる所望の選択範囲（８４）を設定すること（Ｓ２）と、編集前動画（７）のうち、選択範囲（８４）に含まれる部分を抜き出して編集後動画（９）を生成すること（Ｓ３）とを具備する。中間静止画像群（８）を生成すること（Ｓ１）は、編集前動画（７）に含まれて時系列に配置された複数の静止画像を、第１周期で第１方向に並べ、かつ、第１周期とは異なる第２周期で第１方向に直交する第２方向に並べた第１中間静止画像（８１）を生成すること（Ｓ１３３）と、第１中間静止画像（８１）を縮小した第２中間静止画像（８２）を生成すること（Ｓ１３４）とを具備する。選択範囲（８４）を設定すること（Ｓ２）は、表示制御操作を入力すること（Ｓ２２１、Ｓ２２３）と、表示制御操作に応じて、第１中間静止画像（８１）のうち、一度に表示する第１表示範囲（８１１）を設定すること（Ｓ２１１）と、第１中間静止画像（８１）のうち、第１表示範囲（８１１）に含まれる第１部分静止画像（８１２）と、第２中間静止画像（８２）のうち、第１表示範囲（８１１）を含む第２表示範囲（８２１）に含まれる第２部分静止画像（８２２）とを、第１表示範囲（８１１）および第２表示範囲（８２１）が連動するように表示すること（Ｓ２１８）と、編集制御操作を入力すること（Ｓ２２１、Ｓ２２２）と、編集制御操作に応じて、複数の静止画像のうち、第１部分静止画像（８１２）に含まれるいずれかの静止画像を、選択範囲（８４）の一端として設定すること（Ｓ２２２）とを具備する。
【発明の効果】
【００１２】
前記一実施の形態によれば、長時間にわたる動画の編集を、より効率よく行うことが出来る。
【図面の簡単な説明】
【００１３】
【図１Ａ】図１Ａは、一実施形態による動画編集システムの全体的な一構成例を示すブロック回路図である。
【図１Ｂ】図１Ｂは、一実施形態によるサーバの一構成例を示すブロック回路図である。
【図１Ｃ】図１Ｃは、一実施形態による端末の一構成例を示すブロック回路図である。
【図２】図２は、一実施形態による動画編集方法の全体的な一構成例を示すフローチャートである。
【図３】図３は、一実施形態による中間静止画像群の一構成例を示す図である。
【図４Ａ】図４Ａは、一実施形態による動画編集方法の一部の一構成例をより詳細に示すシーケンス図の前半部分である。
【図４Ｂ】図４Ｂは、図４Ａにその前半部分を示したシーケンス図の後半部分である。
【図５Ａ】図５Ａは、一実施形態による端末における表示の一構成例を示す図である。
【図５Ｂ】図５Ｂは、一実施形態による端末における表示の別の構成例を示す図である。（ＡＩ評価の枠）
【図６Ａ】図６Ａは、一実施形態による中間静止画像群の表示方法の一例を示す図である。
【図６Ｂ】図６Ｂは、一実施形態による中間静止画像群の表示方法の別の例を示す図である。
【図６Ｃ】図６Ｃは、一実施形態による中間静止画像群の表示方法のさらに別の例を示す図である。
【発明を実施するための形態】
【００１４】
添付図面を参照して、本発明による動画編集システム１および動画編集方法を実施するための形態を以下に説明する。
【００１５】
（実施形態）
図１Ａ〜図１Ｃを参照して、本実施形態による動画編集システム１の構成について説明する。図１Ａは、一実施形態による動画編集システム１の全体的な一構成例を示すブロック回路図である。図１Ｂは、一実施形態によるサーバ３の一構成例を示すブロック回路図である。図１Ｃは、一実施形態による端末５の一構成例を示すブロック回路図である。
【００１６】
（構成要素）
図１Ａを参照して、本実施形態による動画編集システム１の構成要素について説明する。図１Ａの動画編集システム１は、サーバ３と、データベース４と、端末５とを備える。図１Ａの動画編集システム１は、撮影装置２と、表示装置６とのうち、片方または両方をさらに備えていても良い。データベース４は、サーバ３の一部として構成されていても良い。
【００１７】
サーバ３は、プログラムを実行してデータの入力、演算および出力を行うことによって各種の機能を実現するコンピュータである。サーバ３は、物理サーバとして構成されていても良いし、別の物理サーバで動作する仮想サーバとして構成されていても良い。
【００１８】
図１Ｂのサーバ３は、バス３１と、入出力インターフェース３２と、通信部３２１と、演算部３３と、記憶部３４と、外部記憶装置３５とを備える。サーバ３は、記録媒体３５１をさらに備えていても良い。演算部３３は、中間静止画像群生成部３３１と、部分静止画像群生成部３３２と、編集後動画生成部３３３と、評価部３３４とを備えている。記憶部３４は、データベース４を含んでいても良い。
【００１９】
演算部３３は、記憶部３４に格納されているプログラムを実行することによって、様々な機能を実現する。中間静止画像群生成部３３１、部分静止画像群生成部３３２、編集後動画生成部３３３および評価部３３４は、それぞれ、演算部３３が所定のプログラムを実行することによって実現される機能を、機能ブロックとして表現したものである。
【００２０】
中間静止画像群生成部３３１は、図示しない中間静止画像群生成プログラムを演算部３３が実行することによって実現される機能ブロックであり、編集前動画７から中間静止画像群８を生成する機能を有する。本実施形態による中間静止画像群８は、編集前動画７に含まれる複数のコマを、それぞれ、独立した静止画像として切り出し、切り出した複数の静止画像を結合して１枚の巨大な第１中間静止画像８１を生成し、第１中間静止画像８１を縮小した第２中間静止画像８２を生成する、などの機能を有するが、さらに他の機能を有していても良い。
【００２１】
部分静止画像群生成部３３２は、図示しない部分静止画像群生成プログラムを演算部３３が実行することによって実現される機能ブロックであり、中間静止画像群８から部分静止画像群を生成する機能を有する。本実施形態による部分静止画像群生成部３３２は、第１中間静止画像８１および第２中間静止画像８２のうち、端末５で一度に表示できる部分を切り抜いた第１部分静止画像８１２および第２部分静止画像８２２を生成する機能を有するが、他の機能をさらに有していても良い。
【００２２】
編集後動画生成部３３３は、図示しない編集後動画生成プログラムを演算部３３が実行することによって実現される機能ブロックであり、編集前動画７から編集後動画９を生成する機能を有する。本実施形態による編集後動画生成部３３３は、特に、編集前動画７の中から所望の一部分を切り出して編集後動画９とする機能を有するが、他の機能をさらに有していても良い。
【００２３】
評価部３３４は、図示しない評価プログラムを演算部３３が実行することによって実現される機能ブロックであり、編集前動画７の各コマをさらに細かく分割した領域ごとに、所定の基準で評価を行う機能を有する。本実施形態による評価部３３４は、例えば、被写体が外科手術を受ける患者の生体組織である場合に、領域ごとにがん細胞が含まれている確度を評価する機能を有しても良い。ただし、これはあくまでも一例であって、本実施形態を限定しない。なお、例示した「生体組織にがん細胞が含まれている確度を評価する機能」は、いわゆる人工知能を応用して実現されている公知技術であるので、さらなる詳細な説明を省略する。
【００２４】
データベース４は、データを外部から読み書き可能に格納する記憶装置である。前述のとおり、データベース４は、サーバ３の記憶部３４に含まれていても良いし、反対に、サーバ３とは独立して存在しても良い。
【００２５】
端末５は、プログラムを実行してデータの読み書きを行うことによって各種の機能を実現するコンピュータである。端末５は、例えば、タブレット型の端末であっても良いし、スマートフォンであっても良いが、これらの例は本実施形態を限定しない。
【００２６】
図１Ｃの端末５は、バス５１と、入出力インターフェース５２と、通信装置５２１と、表示装置５２２と、入力装置５２３と、演算装置５３と、記憶装置５４と、外部記憶装置５５とを備えている。演算装置５３は、表示制御信号生成部５３１と、編集制御信号生成部５３２とを備えている。ここで、表示制御信号生成部５３１および編集制御信号生成部５３２は、記憶装置５４に格納された所定のプログラムを演算装置５３が実行することによって実現される機能を、機能ブロックとして示したものである。端末５は、記録媒体５５１をさらに備えていても良い。
【００２７】
撮影装置２は、本実施形態による動画編集システム１で編集する対象である編集前動画７を生成する装置であって、例えば、ビデオカメラである。撮影装置２は、被写体を光学的に撮影した動画を、サーバ３で処理出来るデジタルデータとして出力する機能を有することが好ましい。
【００２８】
表示装置６は、本実施形態による動画編集システム１で生成された編集後動画９を表示する装置であって、例えば、テレビ、モニタ、ディスプレイ、などである。
【００２９】
（接続関係）
図１Ａを参照して、本実施形態による動画編集システム１の構成要素の接続関係について説明する。
【００３０】
サーバ３は、撮影装置２、データベース４、端末５および表示装置６のそれぞれに対して、有線または無線の通信によって接続されることが好ましい。ただし、サーバ３は、撮影装置２、端末５および表示装置６の全てに同時に接続されていなくても良い。例えば、サーバ３および撮影装置２が通信可能に接続されている必要があるのは、撮影装置２から送信される編集前動画７をサーバ３が受信するときだけであって、その後は両者が接続されていても良いし、接続されていなくても良い。同様に、サーバ３および端末５が通信可能に接続されている必要があるのは、端末５で動画編集を行う時だけであって、その前後は両者が接続されていても良いし、接続されていなくても良い。また、サーバ３および表示装置６が通信可能に接続されている必要があるのは、表示装置６で編集後動画９を再生するときだけであって、その後は両者が接続されていても良いし、接続されていなくても良い。ただし、サーバ３およびデータベース４については、両者の間で通信可能な接続が常時成立していることが好ましい。
【００３１】
図１Ｂを参照して、本実施形態によるサーバ３の構成要素の接続関係について説明する。
【００３２】
バス３１は、入出力インターフェース３２、演算部３３、記憶部３４および外部記憶装置３５のそれぞれに、電気的に通信可能に接続されている。言い換えれば、入出力インターフェース３２、演算部３３、記憶部３４および外部記憶装置３５は、バス３１を介して互いに、電気的に通信可能である。
【００３３】
入出力インターフェース３２は、通信部３２１に接続されている。通信部３２１は、図１Ｂに図示されない撮影装置２、データベース４、端末５および表示装置６のそれぞれとの間で、有線通信および無線通信のどちらか片方または両方を行えるように接続されている。
【００３４】
その他、外部記憶装置３５は、記録媒体３５１との間で、データの書き込み、読み出しなどを行う際に、記録媒体３５１に接続される。なお、データの書き込み、読み出しなどを行わない際には、外部記憶装置３５および記録媒体３５１は必ずしも接続されていなくても良い。
【００３５】
図１Ｃを参照して、本実施形態による端末５の構成要素の接続関係について説明する。
【００３６】
バス５１は、入出力インターフェース５２、通信装置５２１、表示装置５２２、入力装置５２３、演算装置５３、記憶装置５４および外部記憶装置５５のそれぞれに、電気的に通信可能に接続されている。言い換えれば、入出力インターフェース５２、通信装置５２１、表示装置５２２、入力装置５２３、演算装置５３、記憶装置５４および外部記憶装置５５は、バス５１を介して、電気的に通信可能である。
【００３７】
入出力インターフェース５２は、通信装置５２１、表示装置５２２および入力装置５２３のそれぞれに接続されている。
【００３８】
通信装置５２１は、図１Ｃに図示しないサーバ３との間で、有線通信および無線通信のどちらか片方または両方を行えるように接続されている。
【００３９】
その他、外部記憶装置５５は、記録媒体５５１との間で、データの書き込み、読み出しなどを行う際に、記録媒体５５１に接続される。なお、データの書き込み、読み出しなどを行わない際には、外部記憶装置５５および記録媒体５５１は必ずしも接続されていなくても良い。
【００４０】
（動作）
図２を参照して、本実施形態による動画編集システム１の動作、すなわち本実施形態による動画編集方法の構成について説明する。図２は、一実施形態による動画編集方法の全体的な一構成例を示すフローチャートである。
【００４１】
図２のフローチャートは、第１大工程Ｓ１〜第３大工程Ｓ３の合計３つの大工程を含んでいる。第１大工程Ｓ１は、第１中工程Ｓ１１〜第３中工程Ｓ１３の合計３つの中工程を含んでいる。第３中工程Ｓ１３は、第１小工程Ｓ１３１〜第４小工程Ｓ１３４の合計４つの小工程を含んでいる。第２大工程Ｓ２は、第１中工程Ｓ２１〜第３中工程Ｓ２３の合計３つの中工程を含んでいる。
【００４２】
図２のフローチャートについて、概略的に説明する。図２のフローチャートは、第１大工程Ｓ１から開始する。第１大工程Ｓ１では、サーバ３が、編集前動画７から中間静止画像群８を生成する。その後、第２大工程Ｓ２では、端末５が、動画編集の選択範囲を設定する。その後、第３大工程Ｓ３では、サーバ３が、編集後動画９を生成する。
【００４３】
図２の第１大工程Ｓ１について、より詳細に説明する。第１大工程Ｓ１は、第１中工程Ｓ１１から開始する。
【００４４】
第１中工程Ｓ１１において、撮影装置２が、編集前動画７を撮影する。撮影された編集前動画７は、サーバ３で受信可能な形式のデジタルデータであることが好ましいが、必要に応じてデジタルデータの形式を適宜に変換しても良い。第１中工程Ｓ１１の次には、第２中工程Ｓ１２が実行される。
【００４５】
第２中工程Ｓ１２において、データベース４が、サーバ３を介して、編集前動画７を格納する。言い換えれば、サーバ３が、撮影装置２から編集前動画７を受信して、データベース４に格納する。ただし、撮影装置２による編集前動画７の撮影が、撮影装置２およびサーバ３が接続されている状態で行われる場合には、第１中工程Ｓ１１および第２中工程Ｓ１２が並列に行われても良い。つまり、このような場合には、編集前動画７のうち、撮影された部分から徐々に、サーバ３を介してデータベース４に格納されても良い。第２中工程Ｓ１２の次には、第３中工程Ｓ１３が実行される。
【００４６】
第３中工程Ｓ１３において、サーバ３が、中間静止画像群８を生成する。図３を参照して、第３中工程Ｓ１３についてより詳細に説明する。図３は、一実施形態による中間静止画像群８の一構成例を示す図である。第３中工程Ｓ１３は、第１小工程Ｓ１３１から開始する。
【００４７】
第１小工程Ｓ１３１において、サーバ３の演算部３３のうち、中間静止画像群生成部３３１が、編集前動画７の各コマを静止画像に変換する。変換された複数の静止画像のそれぞれには、所定の場所に、その番号を書き込んでも良い。この番号は、それぞれの静止画像が由来するコマの、編集前動画７における順番を連続する番号で表した整数であっても良いし、そのコマが撮影された日時および時刻であっても良いし、撮影を開始してから経過した時間であっても良い。本実施形態では、この番号としての経過時間を、分を表す２桁の整数と、秒を表す２桁の整数と、フレーム番号を表す２桁の整数とで表す場合について考える。また、この番号が書き込まれる場所は、静止画像の右上の隅などであっても良いし、別の場所であっても良いが、全てのコマで統一されていることが好ましい。この変換によって得られた複数の静止画は、データベース４に格納されることが好ましい。
【００４８】
ここでは、編集前動画７の一例として、以下のようなパラメータを有する動画について考える。すなわち、動画の長さは６０分間であり、時間軸上の分解能が毎秒６０コマであり、したがってこの動画に含まれるコマの総数は合計で２１６，０００枚である。この場合、最初の静止画像の番号は「００分００秒００番フレーム」を表す「００：００．００」となり、最後の静止画像の番号は「５９分５９秒５９番フレーム」を表す「５９：５９．５９」となる。また、各コマの画素数は、横方向に１，９２０ピクセルであり、縦方向に１，０８０ピクセルである。なお、これらのパラメータは、あくまでも一例であって、本実施形態を限定しない。
【００４９】
なお、第１小工程Ｓ１３１は、第２中工程Ｓ１２と並列に行われても良い。すなわち、編集前動画７の全体がデータベース４に完全に格納される前から、編集前動画７の一部がサーバ３に届き始めた時点で、サーバ３に届いた部分のコマから静止画像への変換を開始しても良い。同様に、第１小工程Ｓ１３１は、第２中工程Ｓ１２および第１中工程Ｓ１１と並列に行われても良い。第１小工程Ｓ１３１の次には、第２小工程Ｓ１３２が実行される。
【００５０】
第２小工程Ｓ１３２において、サーバ３の演算部３３のうち、評価部３３４が、各静止画像を評価する。この評価の結果は、データベース４に格納されることが好ましい。
【００５１】
ここでは、評価基準の一例として、前述のとおり、領域ごとにがん細胞が含まれている確度を用いる場合について考える。まず、各静止画像を、複数の評価領域に分割する。例えば、各静止画像を、横方向に４分割し、縦方向に３分割し、合計１２の評価領域に分割しても良い。次に、各静止画像の各領域について、評価基準に基づく評価を行う。例えば、評価基準としてがん細胞が含まれる確度を用いる場合は、評価の結果を０乃至１００％の数値で表すことが出来る。
【００５２】
なお、第２小工程Ｓ１３２は、第１小工程Ｓ１３１と並列に行われても良い。すなわち、編集前動画７から変換されて生成された静止画像から順次、評価部３３４が評価しても良い。同様に、第２小工程Ｓ１３２は、第１小工程Ｓ１３１および第２中工程Ｓ１２と並列に行われても良いし、第１小工程Ｓ１３１、第２中工程Ｓ１２および第１中工程Ｓ１１と並列に行われても良い。第２小工程Ｓ１３２の次には、第３小工程Ｓ１３３が実行される。
【００５３】
第３小工程Ｓ１３３において、サーバ３の演算部３３のうち、中間静止画像群生成部３３１が、中間静止画像群８に含まれる第１中間静止画像８１を生成する。第１中間静止画像８１は、第１小工程Ｓ１３１で生成された複数の静止画像の一部または全てを、縦横に規則的に並べて結合した、１枚の巨大な静止画像である。
【００５４】
図３を参照して、第１中間静止画像８１の構成例について説明する。
【００５５】
図３の中間静止画像群８は、第１中間静止画像８１と、第２中間静止画像８２と、第３中間静止画像８３とを含んでいる。図３の例では、中間静止画像群８が含む画像の枚数は３であるが、この数はあくまでも一例であって、２以上の任意の整数を設定可能である。なお、後述するように、第１中間静止画像８１を所定の比率で縮小することで第２中間静止画像８２が得られ、第２中間静止画像８２を所定の比率でさらに縮小することで第３中間静止画像８３が得られる。そこで、ここでは第１中間静止画像８１の構成について説明する。
【００５６】
まず、第１中間静止画像８１の横方向の並びに注目すると、複数の静止画像が、所定の周期で並んでいることが好ましい。図３の例では、横方向の周期が１／６０秒であり、横方向の１段に６０枚ずつの静止画像が、左から右に向かって時系列の順番で並ぶように配置されている。なお、この場合は、全ての静止画像が第１中間静止画像８１に含まれることになる。
【００５７】
次に、第１中間静止画像８１の縦方向の並びに注目すると、複数の静止画像が、横方向とは異なる周期で並んでいることが好ましい。図３の例では、縦方向の周期が、横方向の周期よりも長い１秒であり、縦方向の１列に３，６００枚の静止画像が、上から下に向かって時系列の順番で並ぶように配置されている。
【００５８】
言い換えると、中間静止画像群生成部３３１は、例えば、以下のような手順で第１中間静止画像８１を生成しても良い。まず、編集前動画７の各コマに対応する複数の静止画像の総数と、縦横それぞれの周期とに基づいて、第１中間静止画像８１の縦横のピクセル数を算出し、この大きさの画像を加工するために必要なメモリ領域を記憶部３４に確保する。次に、メモリ領域を確保した画像を、横方向に６０分割し、縦方向に３，６００分割し、合計２１６，０００のマスを定義する。最後に、定義した複数のマスのそれぞれに、２１６，０００枚の静止画像を１枚ずつ配置する。ここで、各マスに静止画像を配置する順番を、例えば、以下のように決定する。まず、上から１段目の左から１列目の第１マス、すなわち左上の隅の第１マスから始まり、その後は右方向に１マスずつ進み、上から１段目の右から１列目、すなわち右上の隅の第６０マスまで右方向に１マスずつ進む。その次には上から２段目の左から１列目の第６１マスから右方向に１マスずつ進む、という具合に１段ずつ進み、最後は下から１段目の右から１列目の第２１６，０００番マスに至る。なお、この順番の決め方は、あくまでも一例であって、本実施形態を限定しない。
【００５９】
なお、上記の例では、第１中間静止画像８１の寸法が、横方向で１１５，２００ピクセル、縦方向で３，８８８，０００ピクセルに及ぶ。サーバ３の性能によっては、これだけ大きい静止画像を扱うことは困難である場合が考えられる。そのような場合には、第１中間静止画像８１を、縦横それぞれの方向で適宜な数に分割して、サーバ３の内部では複数のファイルとして管理しても良い。
【００６０】
また、複数の第１中間静止画像８１を生成しても良い。図３とは別の例として、横方向の周期を１秒とし、縦方向の周期を１分としても良い。この場合は、全ての静止画像のうち、６０分の１だけが第１中間静止画像８１に含まれることになる。
【００６１】
さらに、縦横それぞれの方向における周期の組み合わせが異なる複数の第１中間静止画像８１を生成しても良い。この場合は、後述する工程において、表示する第１静止画像を利用者の操作によって切り替えられることが好ましい。
【００６２】
生成された第１中間静止画像８１は、データベース４に格納される。第３小工程Ｓ１３３の次には、第４小工程Ｓ１３４が実行される。
【００６３】
第４小工程Ｓ１３４において、サーバ３の演算部３３のうち、中間静止画像群生成部３３１が、中間静止画像群８に含まれる第２中間静止画像８２を生成する。第２中間静止画像８２は、前述のとおり、第１中間静止画像８１を所定の比率で縮小することで生成される。この比率は、例えば、縦方向および横方向の両方において１対２であっても良い。ただし、これはあくまでも一例であって、本実施形態を限定しない。
【００６４】
中間静止画像群生成部３３１は、第４小工程Ｓ１３４において、第３中間静止画像８３をさらに生成しても良い。第３中間静止画像８３は、前述のとおり、第２中間静止画像８２を所定の比率でさらに縮小することで生成される。また、中間静止画像群８に４枚目以降の静止画像が含まれていれば、同様に縮小して生成されても良い。その結果、中間静止画像群８に含まれる複数の中間静止画像における縮小または拡大の関係は、図１Ａに示したようなピラミッド状となる。
【００６５】
生成された第２中間静止画像８２および第３中間静止画像８３は、データベース４に格納される。第４小工程Ｓ１３４の次には、第２大工程Ｓ２が実行される。
【００６６】
第２大工程Ｓ２は、前述のとおり、第１中工程Ｓ２１〜第３中工程Ｓ２３の合計３つの中工程を含んでいる。図４Ａおよび図４Ｂを参照して、第１中工程Ｓ２１〜第３中工程Ｓ２３の詳細について説明する。図４Ａは、一実施形態による動画編集方法の一部の一構成例をより詳細に示すシーケンス図の前半部分である。図４Ｂは、図４Ａにその前半部分を示したシーケンス図の後半部分である。
【００６７】
図４Ａおよび図４Ｂのシーケンス図は、サーバ３および端末５が行う工程およびその順番を示している。図４Ａに示したシーケンス図の前半部分では、第１中工程Ｓ２１が第１小工程Ｓ２１１〜第８小工程Ｓ２１８の合計８つの工程を含んでいる。図４Ｂに示したシーケンス図の後半部分では、第２中工程Ｓ２２が第１小工程Ｓ２２１〜第４小工程Ｓ２２４の合計４つの工程を含んでおり、第３中工程Ｓ２３が第１小工程Ｓ２３１〜第３小工程Ｓ２３３の合計３つの工程を含んでいる。
【００６８】
第２大工程Ｓ２において、サーバ３および端末５が連携して、動画編集の選択範囲を設定する。第２大工程Ｓ２は、第１中工程Ｓ２１から開始する。第１中工程Ｓ２１において、サーバ３および端末５が連携して、中間静止画像群８の表示を行う。第１中工程Ｓ２１は、第１小工程Ｓ２１１から開始する。
【００６９】
第１小工程Ｓ２１１において、端末５が、中間静止画像群８のうち、表示装置５２２に表示する表示範囲を決定する。図５Ａを参照して、本実施形態による表示装置５２２の表示範囲について説明する。図５Ａは、一実施形態による端末５における表示の一構成例を示す図である。
【００７０】
図５Ａの例では、端末５の表示装置５２２は、第１表示領域５２２１〜第３表示領域５２２３の合計３つの表示領域に分割されている。第１表示領域５２２１には、第１部分静止画像８１２が表示されている。第２表示領域５２２２には、第２部分静止画像８２２が表示されている。第３表示領域５２２３には、第３中間静止画像８３が表示されている。言い換えれば、端末５の表示装置５２２には、縮尺が異なる第１中間静止画像８１〜第３中間静止画像８３が、それぞれ部分的にではあるが、同時に表示されている。
【００７１】
なお、表示領域の総数は、利用者による操作に応じて変更可能であっても良い。また、各表示領域の、表示装置５２２に対する位置関係および面積の比率も、利用者による操作に応じて変更可能であって良い。
【００７２】
第１部分静止画像８１２は、第１中間静止画像８１のうち、第１表示領域５２２１に表示されている部分である。第１中間静止画像８１は、前述のとおり、非常に大きく、その全体を端末５の表示装置５２２で一度に表示することは困難である。そこで、第１中間静止画像８１のうち、一部分を抜き出して表示するか、全体または一部分を縮小して表示するか、これらの両方を組み合わせて表示するか、を行う必要がある。図３に示した第１表示範囲８１１は、第１中間静止画像８１のうち、図５Ａに示した第１表示領域５２２１に表示される部分を、概略的に示している。
【００７３】
同様に、第２部分静止画像８２２は、第２中間静止画像８２のうち、第２表示領域５２２２に表示されている部分であり、この部分は図３で概略的に示した第２表示範囲８２１に対応する。
【００７４】
図３および図５Ａの例では、第３中間静止画像８３は第３表示領域５２２３に対して十分に縮小されており、その全体が第３表示領域５２２３に表示されている。ただし、これはあくまでも一例であって、第３中間静止画像８３が第３表示領域５２２３に対して大きい場合は、第１部分静止画像８１２および第２部分静止画像８２２の場合と同様に、第３中間静止画像８３の一部分を抜き出して第３表示領域５２２３に表示することが好ましい。
【００７５】
後述するように、第１中間静止画像８１に対する第１表示範囲８１１の位置および広さと、第２中間静止画像８２に対する第２表示範囲８２１の位置および広さとは、利用者による操作に応じて変更されることが好ましい。しかしながら、最初に表示する際に限っては、利用者による操作を待たずに、所定の初期設定に応じて各表示範囲を決定することが好ましい。表示範囲の初期設定は、例えば、各中間静止画像のうち、最初のコマに対応する部分を各表示領域の中央に表示するように設定されていても良い。
【００７６】
ここで、第１小工程Ｓ２１１の段階では、第１表示範囲８１１および第２表示範囲８２１を決定しただけであって、表示装置５２２にはその決定が反映されていないことに注意されたい。第１小工程Ｓ２１１の次には、第２小工程Ｓ２１２が実行される。
【００７７】
第２小工程Ｓ２１２において、端末５の表示制御信号生成部５３１が、第１小工程Ｓ２１１で決定された表示範囲を表す表示制御信号を生成する。ただし、表示制御信号が実際に表す表示範囲は、第１小工程Ｓ２１１で決定された表示範囲に対して、周囲にある程度の余裕を加えた、より広い領域であっても良い。第２小工程Ｓ２１２の次には、第３小工程Ｓ２１３が実行される。
【００７８】
第３小工程Ｓ２１３において、端末５の通信装置５２１が、サーバ３に向けて、表示制御信号を送信する。第３小工程Ｓ２１３の次には、第４小工程Ｓ２１４が実行される。
【００７９】
第４小工程Ｓ２１４において、サーバ３の通信部３２１が、表示制御信号を受信する。受信された表示制御信号は、記憶部３４に格納されても良い。第４小工程Ｓ２１４の次には、第５小工程Ｓ２１５が実行される。
【００８０】
第５小工程Ｓ２１５において、サーバ３の部分静止画像群生成部３３２が、表示制御信号に応じて、部分静止画像群を生成する。図５Ａの例では、部分静止画像群には、第１部分静止画像８１２、第２部分静止画像８２２および第３中間静止画像８３が含まれる。
【００８１】
前述のとおり、第１部分静止画像８１２は、第１中間静止画像８１のうち、表示制御信号が表す第１表示範囲８１１に対応する部分を抜き出して生成される。同様に、第２部分静止画像８２２は、第２中間静止画像８２のうち、表示制御信号が表す第２表示範囲８２１に対応する部分を抜き出して生成される。
【００８２】
第５小工程Ｓ２１５の次には、第６小工程Ｓ２１６が実行される。
【００８３】
第６小工程Ｓ２１６において、サーバ３の通信部３２１が、部分静止画像群を端末５に向けて送信する。第６小工程Ｓ２１６の次には、第７小工程Ｓ２１７が実行される。
【００８４】
第７小工程Ｓ２１７において、端末５の通信装置５２１が、部分静止画像群を受信する。第７小工程Ｓ２１７の次には、第８小工程Ｓ２１８が実行される。
【００８５】
第８小工程Ｓ２１８において、端末５が表示装置５２２に部分静止画像群を表示する。このとき、端末５は、部分静止画像群に含まれる第１部分静止画像８１２を、第１表示領域５２２１のサイズに合わせて、適宜な切り抜きおよび縮小を行ってから表示する。同様に、端末５は、部分静止画像群に含まれる第２部分静止画像８２２および第３中間静止画像８３を、第２表示領域５２２２および第３表示領域５２２３のサイズに合わせて、それぞれ適宜な切り抜きおよび縮小を行ってから表示する。
【００８６】
（選択範囲の連動表示）
ここで、第１表示領域５２２１〜第３表示領域５２２３は、互いに連動して表示することについて説明する。第２表示領域５２２２には、第２部分静止画像８２２に重ねられて、第１表示領域５２２１に表示されている第１部分静止画像８１２に対応する第１表示範囲８１１を表す枠が、第２部分静止画像８２２に連動して表示されることが好ましい。こうすることで、利用者は、第１部分静止画像８１２および第２部分静止画像８２２の対応関係がより容易に把握できる。同様に、第３表示領域５２２３には、第３中間静止画像８３に重ねられて、第２表示領域５２２２に表示されている第２部分静止画像８２２に対応する第２表示範囲８２１を表す枠が、第３中間静止画像８３に連動して表示されることが好ましい。
【００８７】
また、第１部分静止画像８１２、第２部分静止画像８２２および第３中間静止画像８３の間で連動して、選択範囲８４が、第１表示領域５２２１〜第３表示領域５２２３のそれぞれに表示されることが好ましい。選択範囲８４は、その周囲を囲む枠として表示されても良いし、選択範囲８４およびその他の部分を異なる輝度または彩度を用いて区別するなどの表示を行っても良い。
【００８８】
さらに、第１部分静止画像８１２または第２部分静止画像８２２の一方を表示装置５２２上でスクロールする操作を行った場合は、もう一方の部分静止画像も連動して自動的にスクロールする。この操作の詳細については、後述する。
【００８９】
（評価結果の重ね表示）
表示装置５２２に表示される第１部分静止画像８１２には、第１大工程Ｓ１の第３中工程Ｓ１３の第２小工程Ｓ１３２で行った評価の結果を、重ねて表示しても良い。図５Ｂを参照して、評価結果の表示方法について説明する。図５Ｂは、一実施形態による端末５における表示の別の構成例を示す図である。
【００９０】
図５Ｂでは、説明のために、第１部分静止画像８１２のうち、横方向に３列、縦方向に３段、合計９枚の静止画像を抜き出している。これら９枚の静止画像のそれぞれは、前述のとおり、横方向に４分割され、縦方向に３分割され、合計１２の評価領域に分割されている。図５Ｂでは、静止画像は実線で区切られており、評価枠８９は破線で区切られている。
【００９１】
それぞれの評価領域のほぼ全ては、四隅を非選択枠８７で囲まれている。その中で、カーソル８６が重なっている１つの評価領域だけが、非選択枠８７とは異なる形状を有する選択枠８８で四隅を囲まれている。ここで、カーソル８６は、利用者の操作によって移動可能であり、カーソル８６が評価枠８９を跨いで移動する度に、移動先の評価領域の非選択枠８７は選択枠８８に変化し、反対に移動元の評価領域の選択枠８８は非選択枠８７に戻る。非選択枠８７および選択枠８８の区別を利用者にとって容易とするために、両者の形状、対応する表枠との位置関係、などを変えても良い。図５Ｂの例では、非選択枠８７は評価枠８９の内側に配置されているが、その一方で、選択枠８８は評価枠８９からはみ出ている。また、非選択枠８７よりも、選択枠８８の方が、より広い幅を有している。
【００９２】
非選択枠８７および選択枠８８のそれぞれは、対応する評価領域の評価結果を、利用者にとって容易に区別可能に表すことが好ましい。例えば、非選択枠８７および選択枠８８のそれぞれは、評価結果に対応する色の違いで表示されても良いし、評価結果に対応する形状の違いで表示されて良い。色の違いによる表示方法としては、例えば、評価結果の数値を色相に変換する色分けを採用しても良い。色相変換の一例としては、数値が高ければ高いほど赤や黄色などの暖色に近づき、反対に低ければ低いほど青や紫などの寒色に近づく、いわゆるサーモグラフィのような色分けがある。また、形状の違いによる表示方法としては、例えば、評価結果の数値が高ければ高いほど幅や長さが伸び、反対に低ければ低いほど幅や長さが縮む、などの変化を採用しても良い。
【００９３】
第１部分静止画像８１２の各評価領域に対応する評価結果を表示することで、利用者にとって所望の範囲を選択しやすくなる効果が期待される。
【００９４】
第８小工程Ｓ２１８の次には、第２中工程Ｓ２２が実行される。
【００９５】
第２中工程Ｓ２２では、端末５が、利用者による操作の入力を行う。第２中工程Ｓ２２は、第１小工程Ｓ２２１から開始する。
【００９６】
第１小工程Ｓ２２１において、端末５の入力装置５２３は、利用者による操作を入力する。この操作は、例えば、端末５がタブレットやスマートフォンなどである場合は、表示装置５２２に一体化されたタッチパネルを介して行われても良い。また、端末５がパーソナルコンピュータなどである場合は、マウスやキーボードを介して行われても良い。第１小工程Ｓ２２１の次には、第２小工程Ｓ２２２〜第４小工程Ｓ２２４が実行される。
【００９７】
第２小工程Ｓ２２２、第３小工程Ｓ２２３および第４小工程Ｓ２２４において、端末５は、第１小工程Ｓ２２１で入力された操作を、大きく４種類に区別する。すなわち、選択範囲８４を選択する操作、表示範囲を変更する操作、動画の編集作業を完了する操作、またはこれら以外の操作である。第２小工程Ｓ２２２、第３小工程Ｓ２２３および第４小工程Ｓ２２４は、同時に実行されても良いが、図４Ｂでは便宜上、順次実行される場合の構成例を表している。
【００９８】
第２小工程Ｓ２２２において、演算装置５３が、第１小工程Ｓ２２１で入力された操作が選択範囲８４を設定する操作であったかどうかを判定する。ここで、選択範囲８４を設定する操作とは、選択範囲８４に含まれる最初または最後のコマを利用者が選択する操作であっても良い。入力された操作が選択範囲８４を設定する操作であった場合（ＹＥＳ）は、その操作の内容を記憶装置５４に格納する。その上で、次に第２大工程Ｓ２の第１中工程Ｓ２１の第８小工程Ｓ２１８を再度実行する。これは、各表示領域に表示する部分静止画像群の表示範囲には変更が生じないが、選択範囲８４の表示を変更する必要があるためである。反対に、入力された操作が選択範囲８４を設定する操作では無かった場合（ＮＯ）は、次に第３小工程Ｓ２２３が実行される。
【００９９】
第３小工程Ｓ２２３において、演算装置５３が、第１小工程Ｓ２２１で入力された操作が表示範囲を変更する操作であったかどうかを判定する。ここで、表示範囲を変更する操作として、例えば、表示範囲を所定の方向に、かつ連続的に水平移動する、いわゆるスクロール操作と、現在表示されている静止画像から、現在表示されている領域の外にある別の静止画像まで不連続に水平移動する、いわゆるジャンプ操作とが考えられる。入力された操作が表示範囲を変更する操作であった場合（ＹＥＳ）は、各表示領域に表示する部分静止画像群の表示範囲に変更が加わるので、次に第２大工程Ｓ２の第１中工程Ｓ２１の第１小工程Ｓ２１１を再度実行する。
【０１００】
図６Ａおよび図６Ｂを参照して、いわゆるスクロール操作を静止画像単位で行うことにより、静止画像を用いた疑似的な動画再生が可能となることについて説明する。図６Ａは、一実施形態による中間静止画像群８の表示方法の一例を示す図である。図６Ｂは、一実施形態による中間静止画像群８の表示方法の別の例を示す図である。
【０１０１】
図６Ａには、利用者が表示装置５２２の表示内容を、右から左に向けてスクロールする操作を行った場合の、第１時刻ｔ１１〜第４時刻ｔ１４における第１表示領域５２２１の表示例が示されている。各時刻における第１表示領域５２２１には、第１中間静止画像８１の一部である第１部分静止画像８１２が表示されているが、その表示範囲は時刻ごとに異なる。また、図６Ａでは、各時刻における第１部分静止画像８１２に含まれる静止画像のそれぞれを、対応する番号で示している。この番号は、前述のとおり、編集前動画７の撮影を開始してからそのコマを撮影するまでに経過した時間を、「分：秒．コマ」の形式で表したものである。
【０１０２】
なお、図６Ａにおいて、番号としての時刻が括弧を付けて表示されている静止画像は、第１中間静止画像８１の外側に配置され得る仮想的なコマに対応していることを示している。例えば、時刻ｔ１３に対応する第１部分静止画像８１２のうち、上から２段目、右から１列目の静止画像は、「（００：０１．００）」と表示されている。この静止画像は、第１中間静止画像８１の右端に配置されている「００：００．５９」の静止画像のさらに右側に配置するとすれば、それは「００：０１．００」の静止画像であるべきであることを示している。このような仮想的なコマは、例えば、黒く塗りつぶした静止画像として表示されても良い。特に、番号が「（−−：−−．−−）」である静止画像は、その静止画像に対応するコマが、編集前動画７の撮影を開始する前または終了した後の時刻に対応する仮想的なコマであることを示している。
【０１０３】
各時刻における第１部分静止画像８１２の中央に配置された静止画像の番号に注目すると、第１時刻ｔ１１では「００：０１．５７」である。同様に、第２時刻ｔ１２では「００：０１．５８」、第３時刻ｔ１３では「００：０１．５９」、第４時刻ｔ１４では「００：０２．００」である。ここで、第１部分静止画像８１２は、静止画像の寸法単位でスクロールすることに注目されたい。その結果、利用者が第１表示領域５２２１の中央に視点を固定した状態で、第１表示範囲８１１を横方向に移動するスクロール操作を行うことで、その場所に位置する静止画像が、第１時刻ｔ１１の「００：０１．５７」から第２時刻ｔ１２の「００：０１．５８」に切り替わり、さらに第３時刻ｔ１３の「００：０１．５９」および第４時刻ｔ１４の「００：０２．００」に順次切り替わる。このような切り替え表示を行うことで、利用者の目には、まるで編集前動画７を再生しているかのように映る。
【０１０４】
このように、本実施形態では、サーバ３および端末５の間で行う通信において、ビットレートが比較的高い編集前動画７のストリーミング再生をせずに、ビットレートが比較的低い静止画像を連続的に切り替える表示を行うことで、疑似的な動画再生を行うことが出来る。
【０１０５】
同様の擬似的な動画再生は、図６Ｂに示したとおり、縦方向のスクロール操作でも行うことが出来る。縦方向のスクロール操作は、図６Ａを参照して説明した横方向のスクロール操作の方向を変えただけのものであるので、さらなる詳細な説明を省略する。ただし、横方向と縦方向では、第１中間静止画像８１に配置された複数の静止画像にそれぞれ対応するコマの周期が異なることに注目されたい。つまり、本実施形態の場合は、横方向のスクロールによる疑似的な動画再生はコマ送り表示が実現可能であるが、縦方向のスクロールによる疑似的な動画再生では早送り表示が実現可能である。言い換えれば、本実施形態では、異なる速度による疑似的な動画再生を、表示装置５２２上のスクロールの方向を選択することで、非常に簡単に切り替えることが可能である。また、スクロールの方向を逆にするだけで、コマ送りの逆再生や巻き戻し表示も容易に実現可能であることにも注目されたい。
【０１０６】
図６Ｃを参照して、いわゆるジャンプ操作を行う際に、第１表示領域５２２１で縮小表示および拡大表示を行うことによって、利用者にとって移動先を直観的に把握しやすく出来ることについて説明する。図６Ｃは、一実施形態による中間静止画像群８の表示方法のさらに別の例を示す図である。
【０１０７】
本実施形態によるジャンプ操作は、第２表示領域５２２２または第３表示領域５２２３で行うことが好ましい。具体的には、利用者が、第２部分静止画像８２２または第３中間静止画像８３に表示されているいずれかの静止画像を、ジャンプ先静止画像８５Ｂとして選択する。このとき、第１表示領域５２２１では、第２表示領域５２２２および第３表示領域５２２３と連動した表示が行われる。
【０１０８】
図６Ｃには、利用者がジャンプ操作を行った際の、第１時刻ｔ３１〜第３時刻ｔ３３のそれぞれにおいて第１表示領域５２２１の表示が変化する様子の一例を示している。第１時刻ｔ３１は、ジャンプ操作の直前であり、第１表示領域５２２１には第１部分静止画像８１２が表示されている。第１時刻ｔ３１において第１部分静止画像８１２の中央に配置されている静止画像を、便宜上、ジャンプ元静止画像８５Ａと呼ぶ。第３時刻ｔ３３は、ジャンプ操作の直後であり、第１表示領域５２２１には第１部分静止画像８１２が表示されている。第３時刻ｔ３３において第１部分静止画像８１２の中央にはジャンプ先静止画像８５Ｂが表示されている。第２時刻ｔ３２は、第１時刻ｔ３１および第３時刻ｔ３３の間の時刻であって、第１表示領域５２２１には第１中間静止画像８１のうち、ジャンプ元第１表示範囲８１１Ａおよびジャンプ先第１表示範囲８１１Ｂの両方を含む部分が、縮小されて表示されている。ここで、ジャンプ元第１表示範囲８１１Ａは、第１時刻ｔ３１における第１部分静止画像８１２に対応する表示範囲であって、ジャンプ先第１表示範囲８１１Ｂは、第３時刻ｔ３３における第１部分静止画像８１２に対応する表示範囲である。
【０１０９】
第１時刻ｔ３１から第２時刻ｔ３２までの間は、第１中間静止画像８１のうち第１表示領域５２２１に表示される部分が、徐々に拡大されることが好ましい。言い換えれば、第１時刻ｔ３１から第２時刻ｔ３２の間は、第１表示領域５２２１の表示内容は徐々に縮小される。反対に、第２時刻ｔ３２から第３時刻ｔ３３までの間は、第１中間静止画像８１のうち第１表示領域５２２１に表示される部分が、徐々に縮小されることが好ましい。言い換えれば、第２時刻ｔ３２から第３時刻ｔ３３の間は、第１表示領域５２２１の表示内容は徐々に拡大される。
【０１１０】
なお、ジャンプ先静止画像８５Ｂが、第１表示範囲８１１に含まれている場合には、第１表示領域５２２１における縮小表示または拡大表示は行わずに、ジャンプ先の静止画像が第１表示範囲８１１の中央に移動するようなスクロールを行っても良い。これは、この距離のジャンプであれば、利用者がジャンプ元静止画像８５Ａを見失う可能性が低いからである。
【０１１１】
第１表示領域５２２１をこのように演出することで、ジャンプ操作によってどのジャンプ元静止画像８５Ａからどのジャンプ先静止画像８５Ｂに向かっているのかを、利用者にとって視覚的に分かりやすく表示することが可能となる。
【０１１２】
なお、第１小工程Ｓ２２１で入力された操作が選択範囲８４を選択する操作では無かった場合（ＮＯ）は、次に第４小工程Ｓ２２４が実行される。
【０１１３】
第４小工程Ｓ２２４において、演算装置５３は、第１小工程Ｓ２２１で入力された操作が動画の編集作業を完了する操作であったかどうかを判定する。ここで、動画の編集作業を完了する操作とは、第２小工程Ｓ２２２において選択範囲８４に含まれる最初または最後のコマを利用者が選択した後、これらの選択を確定する操作である。入力された操作が動画の編集作業を完了する操作であった場合（ＹＥＳ）は、次に、第２大工程Ｓ２の第３中工程Ｓ２３の第１小工程Ｓ２３１が実行される。入力された操作が動画の編集作業を完了する操作ではなかった場合（ＮＯ）および、動画の編集作業を完了する操作であっても選択範囲８４に含まれる最初または最後のコマの選択が完了していなかったり、無効であったりした場合には、次に第２大工程Ｓ２の第１中工程Ｓ２１の第１小工程Ｓ２１１を再度実行する。なお、表示を更新する必要が無い場合には、操作を入力する第１小工程Ｓ２２１を再度実行しても良い。
【０１１４】
第２大工程Ｓ２の第３中工程Ｓ２３では、端末５が編集制御信号を生成する。第３中工程Ｓ２３は、第１小工程Ｓ２３１から開始する。
【０１１５】
第１小工程Ｓ２３１において、端末５の編集制御信号生成部５３２が、編集制御信号を生成する。編集制御信号には、編集前動画７から抜き出すべき選択範囲８４を定義する、最初または最後のコマを示す情報が含まれている。編集制御信号生成部５３２は、記憶装置５４に格納されている情報に基づいて、編集制御信号を生成する。第１小工程Ｓ２３１の次には、第２小工程Ｓ２３２が実行される。
【０１１６】
第２小工程Ｓ２３２において、端末５の通信装置５２１は、編集制御信号をサーバ３に向けて送信する。第２小工程Ｓ２３２の次には、第３小工程Ｓ２３３が実行される。
【０１１７】
第３小工程Ｓ２３３において、サーバ３の通信部３２１が、編集制御信号を受信し、記憶部３４に格納する。第３小工程Ｓ２３３の次には、第３大工程Ｓ３が実行される。
【０１１８】
第３大工程Ｓ３において、サーバ３の編集後動画生成部３３３が、編集制御信号に基づいて編集後動画９を生成する。より具体的には、編集前動画７のうち、編集制御信号が示す２つのコマの間に含まれる選択範囲８４を抜き出し、編集後動画９としてデータベース４に格納する。なお、実際の運用時には、同一の編集前画像７から複数の選択範囲８４を抜き出して結合しても良いし、複数の選択範囲８４を撮影時とは異なる順番で結合した編集後動画９を生成しても良い。また、複数の編集前画像７から複数の選択範囲８４を抜き出しても良いし、複数の編集前画像７から抜き出した複数の選択範囲８４を所望の順番に結合した編集後動画９を生成しても良い。第３大工程Ｓ３が完了すると、本実施形態による動画編集システム１の動作、すなわち本実施形態による動画編集方法も完了する。
【０１１９】
以上に説明したように、本実施形態によれば、編集前動画７に含まれる全てまたは一部のコマを縦横に並べて一覧表示することで、選択範囲８４の基準点となる２つのコマを容易に見つけて指定することが可能となる。さらに、スクロールの方向によって２つの異なる速度で疑似的な動画再生を容易に行うことで、基準点となるコマを探しやすくすることが可能となる。また、各コマを分割した評価領域ごとに評価結果を示すことでも、基準点となるコマを探しやすくすることが可能となる。なお、サーバ３および端末５の間で、動画データの代わりに静止画像データを送受信することで、より機敏な動作が期待できる。
【０１２０】
以上、発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。また、前記実施の形態に説明したそれぞれの特徴は、技術的に矛盾しない範囲で自由に組み合わせることが可能である。
【符号の説明】
【０１２１】
１  動画編集システム
２  撮影装置
３  サーバ
３１  バス
３２  入出力インターフェース
３２１  通信部
３３  演算部
３３１  中間静止画像群生成部
３３２  部分静止画像群生成部
３３３  編集後動画生成部
３３４  評価部
３４  記憶部
３５  外部記憶装置
３５１  記録媒体
４  データベース
５  端末
５１  バス
５２  入出力インターフェース
５２１  通信装置
５２２  表示装置
５２２１  第１表示領域
５２２２  第２表示領域
５２２３  第３表示領域
５２３  入力装置
５３  演算装置
５３１  表示制御信号生成部
５３２  編集制御信号生成部
５４  記憶装置
５５  外部記憶装置
５５１  記録媒体
６  表示装置
７  編集前動画
８  中間静止画像群
８１  第１中間静止画像
８１１  第１表示範囲
８１１Ａ  ジャンプ元第１表示範囲
８１１Ｂ  ジャンプ先第１表示範囲
８１２  第１部分静止画像
８２  第２中間静止画像
８２１  第２表示範囲
８２２  第２部分静止画像
８３  第３中間静止画像
８４  選択範囲
８５Ａ  ジャンプ元静止画像
８５Ｂ  ジャンプ先静止画像
８６  カーソル
８７  非選択枠
８８  選択枠
８９  評価枠
９  編集後動画
【図１Ａ】
2019193027.tif 000003
【図１Ｂ】
2019193027.tif 000004
【図１Ｃ】
2019193027.tif 000005
【図２】
2019193027.tif 000006
【図３】
2019193027.tif 000007
【図４Ａ】
2019193027.tif 000008
【図４Ｂ】
2019193027.tif 000009
【図５Ａ】
2019193027.tif 000010
【図５Ｂ】
2019193027.tif 000011
【図６Ａ】
2019193027.tif 000012
【図６Ｂ】
2019193027.tif 000013
【図６Ｃ】
2019193027.tif 000014