(57)【要約】【課題】適切な指標となる代表画像に基づき、動画像データの中から容易に任意の部分を抽出する。【解決手段】動画像データ処理システムＳＹＳ１は、動画像データ送信装置１と動画像データ受信装置２とを有する。データ動画像データ送信装置１は、スコア算出部３０１、動画像データ分割部３０２、代表画像データ特定部３０３を有する。スコア算出部３０１は動画像データのスコアを算出する。動画像データ分割部３０２は動画像データを複数の分割動画像データに分割するとともに、それらの分割位置情報を生成する。代表画像データ特定部３０３が特定した各分割動画像データ中の代表画像データに関する情報が、代表画像情報として分割位置情報とともに動画像データ受信装置２に送信される。動画像データ受信装置２は、各代表画像を備えた選択画像をモニタ５０５に表示し、この選択画像に基づいて、動画像データから抽出する動画像データの部分が特定される。【選択図】図１
2014072642.tif 000002
【特許請求の範囲】
【請求項１】
動画像データ送信装置と動画像データ受信装置とを備えた動画像データ処理システムであって、
前記動画像データ送信装置は、
動画像データが入力される動画像データ入力部と、
前記入力された動画像データを複数に分割して複数の分割動画像データを生成するとともに、その動画像データにおける、それら複数の分割動画像データそれぞれの位置を示す分割位置情報を生成する動画像データ分割部と、
前記動画像データについて所定時間毎のスコアを算出するスコア算出部と、
前記算出されたスコアに基づいて、前記複数の分割動画像データのそれぞれから所定の画像単位データを代表画像データとして特定する代表画像データ特定部と、
前記特定された代表画像データ、及びその代表画像データの前記動画像データにおける位置を示す情報を含む代表画像情報を生成する代表画像情報生成部と、
前記分割位置情報及び前記代表画像情報を送信する情報送信部と、
前記動画像データ受信装置が送信した選択情報を受信する選択情報受信部と、
前記選択情報の受信に応じて、前記代表画像データとして特定された画像単位データを含む前記動画像データの一部を、抽出動画像データとして抽出する動画像データ抽出部と、
前記抽出された抽出動画像データを送信する動画像データ送信部とを備え、
前記動画像データ受信装置は、
前記送信された分割位置情報及び代表画像情報を受信する情報受信部と、
前記受信された分割位置情報及び代表画像情報に基づいて選択画像データを生成する選択画像データ生成部と、
前記選択画像データに基づいて、前記複数の分割動画像データそれぞれの分割位置を示す情報及び代表画像を含む選択画像を表示する選択画像表示部と、
前記選択画像における複数の前記代表画像の中から任意の代表画像を選択する指示、及び前記抽出動画像データの長さを指定する指示が入力される操作部と、
前記入力された指示に応じて、前記選択された代表画像に係る代表画像データの前記動画像データにおける位置を示す情報と、前記抽出動画像データの長さを示す情報とを有する選択情報を生成する選択情報生成部と、
前記生成された前記選択情報を送信する選択情報送信部と、
前記送信された抽出動画像データを受信する動画像データ受信部とを備える
ことを特徴とする動画像データ処理システム。
【請求項２】
動画像データが入力される動画像データ入力部と、
前記入力された動画像データを複数に分割して複数の分割動画像データを生成するとともに、その動画像データにおける、それら複数の分割動画像データそれぞれの位置を示す分割位置情報を生成する動画像データ分割部と、
前記動画像データについて所定時間毎のスコアを算出するスコア算出部と、
前記算出されたスコアに基づいて、前記複数の分割動画像データのそれぞれから所定の画像単位データを代表画像データとして特定する代表画像データ特定部と、
前記特定された代表画像データ、及びその代表画像データの前記動画像データにおける位置を示す情報を含む代表画像情報を生成する代表画像情報生成部と、
前記分割位置情報及び前記代表画像情報を外部機器に送信する情報送信部と、
前記外部機器から送信された、前記複数の前記代表画像データの中から選択された代表画像データを特定する情報と、抽出時間を示す情報とを含む選択情報を受信する選択情報受信部と、
前記選択情報の受信に応じて、前記選択された代表画像データを特定する情報に基づき特定された画像単位データを含む、前記抽出時間分の前記動画像データの一部を、抽出動画像データとして抽出する動画像データ抽出部と、
前記抽出された抽出動画像データを前記外部機器に送信する動画像データ送信部と
を備えることを特徴とする動画像データ送信装置。
【請求項３】
動画像データが複数に分割された各分割動画像データの分割位置を示す分割位置情報と、前記動画像データについて所定時間毎のスコアが算出されて、そのスコアに基づいて代表画像データとして特定された各画像単位データ及びそれら各画像単位データの前記動画像データにおける位置を示す情報を含む代表画像情報とを受信する情報受信部と、
前記受信された分割位置情報及び代表画像情報に基づいて選択画像データを生成する選択画像データ生成部と、
前記選択画像データに基づいて、前記複数の分割動画像データそれぞれの分割位置を示す情報及び代表画像を含む選択画像を表示する選択画像表示部と、
前記選択画像における複数の前記代表画像の中から任意の代表画像を選択する指示、及び前記抽出動画像データの長さを指定する指示が入力される操作部と、
前記入力された指示に応じて、前記選択された代表画像に係る代表画像データの前記動画像データにおける位置を示す情報と、前記抽出動画像データの長さを示す情報とを有する選択情報を生成する選択情報生成部と、
前記生成された選択情報を送信する選択情報送信部と、
前記送信された選択情報に基づいて前記外部機器が抽出し送信した抽出動画像データを受信する動画像データ受信部とを備える
ことを特徴とする動画像データ受信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像データ処理システム及び動画像データ送信装置に関し、より詳細には適切な指標となる代表画像に基づき、動画像データの中から容易に任意の部分を抽出することができる動画像データ処理システム及び動画像データ送信装置に関する。
【背景技術】
【０００２】
デジタルカメラやカメラ付き携帯端末等で取得された撮像データが、ネットワークを介して様々な場所にある様々な機器間で、送受信され共有されることは既に広く一般化している。さらに近年の無線通信の発達により、撮像データの送受信等も無線のネットワーク通信を介して行われるようになってきており、データ共有が行われる場所や機器がより多様化していっている。
【０００３】
送受信される撮像データが動画像データであった場合は、原則として静止画像データよりもデータ容量が大きい。そのため静止画像データの送受信と比べて、動画像データの送受信には、より多くの時間を要する。また、ユーザが動画像データを再生して内容を確認するのに要する時間は、当然、静止画像データの内容確認よりも多くの時間を要する。
【０００４】
一方で、動画像データを受信して取得するユーザが、その動画像データの全体の取得を所望しているとはかぎらない。一つの動画像データに含まれる一部のシーンだけをユーザが鑑賞したい場合等は、動画像データから所望する一部分のみが抽出され取得されればよい。所望のシーンを含む部分のみを見つけ出し、抽出して取得することができれば、前述したような送受信時間や内容確認時間の負担は大きく軽減される。
【０００５】
そこで、動画像データのなかから所定の部分を抽出しやすくし、抽出された部分だけを送受信するための技術が開発されている。例えば特許文献１には、撮像された動画像データ１つに対し複数の代表静止画像を生成し、ユーザが携帯端末側で代表静止画像を選択することで、選択された代表静止画像に対応した開始点以降の、及び／又は対応した終了点以前の部分動画像データだけを、その動画像データから切り出して携帯端末に送信することができる画像送信機器が記載されている。この画像送信機器によれば、ユーザは、撮像された動画像データのうち不必要な部分を排除して必要な部分だけを、携帯端末で取得し閲覧することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−３２６３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし前述の特許文献１に記載の画像送信機器が生成する代表静止画像は、撮像内容とは無関係に、所定のフレーム毎、所定時間毎、又はシーンの変わり目毎に生成されている。このため生成された代表静止画は、その動画像データの見どころを示す手がかりとはならないことが多い。したがって特許文献１に記載の画像送信機器が生成する代表静止画像は、ユーザが、動画像データから所望の部分を特定するための適切な指標とはならないという問題を有することが推察される。
【０００８】
そこで本発明は、適切な指標となる代表画像に基づき、動画像データの中から容易に任意の部分を抽出することができる動画像データ処理システム、動画像データ送信装置、及び動画像データ受信装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
前述した課題を解決するために本発明は、動画像データ送信装置（１）と動画像データ受信装置（２）とを備えた動画像データ処理システム（ＳＹＳ１）であって、前記動画像データ送信装置（１）は、動画像データが入力される動画像データ入力部（２１１）と、前記入力された動画像データを複数に分割して複数の分割動画像データを生成するとともに、その動画像データにおける、それら複数の分割動画像データそれぞれの位置を示す分割位置情報を生成する動画像データ分割部（３０２）と、前記動画像データについて所定時間毎のスコアを算出するスコア算出部（３０１）と、前記算出されたスコアに基づいて、前記複数の分割動画像データのそれぞれから所定の画像単位データを代表画像データとして特定する代表画像データ特定部（３０３）と、前記特定された代表画像データ、及びその代表画像データの前記動画像データにおける位置を示す情報を含む代表画像情報を生成する代表画像情報生成部（３０４）と、前記分割位置情報及び前記代表画像情報を送信する情報送信部（２１０又は２１４）と、前記動画像データ受信装置（２）が送信した選択情報を受信する選択情報受信部（２１０又は２１４）と、前記選択情報の受信に応じて、前記代表画像データとして特定された画像単位データを含む前記動画像データの一部を、抽出動画像データとして抽出する動画像データ抽出部（３０５）と、前記抽出された抽出動画像データを送信する動画像データ送信部（２１０又は２１４）とを備え、前記動画像データ受信装置（２）は、前記送信された分割位置情報及び代表画像情報を受信する情報受信部（５０９又は５１３）と、前記受信された分割位置情報及び代表画像情報に基づいて選択画像データを生成する選択画像データ生成部（６０１）と、前記選択画像データに基づいて、前記複数の分割動画像データそれぞれの分割位置を示す情報及び代表画像を含む選択画像を表示する選択画像表示部（５０５）と、前記選択画像における複数の前記代表画像の中から任意の代表画像を選択する指示、及び前記抽出動画像データの長さを指定する指示が入力される操作部（５０７）と、前記入力された指示に応じて、前記選択された代表画像に係る代表画像データの前記動画像データにおける位置を示す情報と、前記抽出動画像データの長さを示す情報とを有する選択情報を生成する選択情報生成部（６０２）と、前記生成された選択情報を送信する選択情報送信部（５０９又は５１３）と、前記送信された抽出動画像データを受信する動画像データ受信部（５０９又は５１３）とを備えることを特徴とする動画像データ処理システム（ＳＹＳ１）を提供する。
また本発明は、動画像データが入力される動画像データ入力部（２１２）と、前記入力された動画像データを複数に分割して複数の分割動画像データを生成するとともに、その動画像データにおける、それら複数の分割動画像データそれぞれの位置を示す分割位置情報を生成する動画像データ分割部（３０２）と、前記動画像データについて所定時間毎のスコアを算出するスコア算出部（３０１）と、前記算出されたスコアに基づいて、前記複数の分割動画像データのそれぞれから所定の画像単位データを代表画像データとして特定する代表画像データ特定部（３０３）と、前記特定された代表画像データ、及びその代表画像データの前記動画像データにおける位置を示す情報を含む代表画像情報を生成する代表画像情報生成部（３０４）と、前記分割位置情報及び前記代表画像情報を外部機器（２）に送信する情報送信部（２１０又は２１４）と、前記外部機器（２）から送信された、前記複数の前記代表画像データの中から選択された代表画像データを特定する情報と、抽出時間を示す情報とを含む選択情報を受信する選択情報受信部（２１０又は２１４）と、前記選択情報の受信に応じて、前記選択された代表画像データを特定する情報に基づき特定された画像単位データを含む、前記抽出時間分の前記動画像データの一部を、抽出動画像データとして抽出する動画像データ抽出部（３０５）と、抽出された抽出動画像データを前記外部機器に送信する動画像データ送信部（２１０又は２１４）とを備えることを特徴とする動画像データ送信装置（２）を提供する。
また本発明は、動画像データが複数に分割された各分割動画像データの分割位置を示す分割位置情報と、前記動画像データについて所定時間毎のスコアが算出されて、そのスコアに基づいて代表画像データとして特定された各画像単位データ及びそれら各画像単位データの前記動画像データにおける位置を示す情報を含む代表画像情報とを受信する情報受信部（５０９又は５１３）と、前記受信された分割位置情報及び代表画像情報に基づいて選択画像データを生成する選択画像データ生成部（６０１）と、前記選択画像データに基づいて、前記複数の分割動画像データそれぞれの分割位置を示す情報及び代表画像を含む選択画像を表示する選択画像表示部（５０５）と、前記選択画像における複数の前記代表画像の中から任意の代表画像を選択する指示、及び前記抽出動画像データの長さを指定する指示が入力される操作部（５０７）と、前記入力された指示に応じて、前記選択された代表画像に係る代表画像データの前記動画像データにおける位置を示す情報と、前記抽出動画像データの長さを示す情報とを有する選択情報を生成する選択情報生成部（６０２）と、前記生成された選択情報を送信する選択情報送信部（５０９又は５１３）と、前記送信された選択情報に基づいて前記外部機器が抽出し送信した抽出動画像データを受信する動画像データ受信部（５０９又は５１３）とを備えることを特徴とする動画像データ受信装置（２）を提供する。
【発明の効果】
【００１０】
本発明に係る動画像データ処理システム、動画像データ送信装置、及び動画像データ受信装置によれば、適切な指標となる代表画像に基づき、動画像データの中から容易に任意の部分を抽出することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態である動画像データ処理システムＳＹＳ１の構成を説明するための図である。
【図２】本発明の実施形態である撮像装置１の概略的な内部構成を示すブロック図である。
【図３】撮像装置１によるスコア算出処理を説明するためのフローチャートである。
【図４】本発明の実施形態である通信端末２の概略的な内部構成を示すブロック図である。
【図５】撮像装置１による分割位置情報及び代表静止画情報の生成処理を説明するためのフローチャートである。
【図６】撮像装置１による動画像データの分割について説明するための模式図である。
【図７】代表画像データを特定する処理について説明するための模式図である。
【図８】抽出動画像データの取得に係る一連の処理を説明するためのフローチャートである。
【図９】リスト画像の模式図である。
【図１０】選択画像の模式図である。
【図１１】ユーザが、任意の代表画像に対応するタッチパネル領域をタッチした場合の、選択画像を示す模式図である。
【図１２】選択画像における抽出動画像データの長さの設定・変更のための画像の模式図である。
【図１３】選択画像の別の対応を示す模式図である。
【発明を実施するための形態】
【００１２】
以下に図面を参照しながら、本発明に係る動画像データ処理システム、並びにそれを構成する動画像送信装置及び動画像受信装置の好適な実施形態を説明する。かかる実施形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお本明細書及び図面において、実質的に同一の機能・構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１３】
（動画像データ処理システムＳＹＳ１の構成）
本発明に係る動画像データ処理システムの好適な実施形態として、動画像処理システムＳＹＳ１について、図１を参照して以下に説明する。図１は、動画像データ処理システムＳＹＳ１の構成を説明するための図である。
【００１４】
動画像データ処理システムＳＹＳ１は、本システムにおいて動画像データ送信装置としての役割も果たす撮像装置１と、動画像データ受信装置としての役割も果たす通信端末２又は３とからなる。撮像装置１は、撮像により動画像データを生成することができるデジタルビデオカメラである。通信端末２及び３は、いわゆるスマートフォン等の携帯電話機器である。撮像装置１と、通信端末２又は３とは、通信規格であるＩＥＥＥ８０２．１１シリーズ等を利用した無線ネットワーク通信によって、各種データを相互に送受信することができる。無線ネットワーク通信には、無線ネットワーク通信Ｎ１のように撮像装置１と通信端末２との間で直接形成されるものと、無線ネットワーク通信Ｎ２のように、撮像装置１と通信端末３との間でルータ４を介して形成されるものとがある。また撮像装置１は、図示しない他の通信端末との間でインターネットを経由して各種データを相互に送受信すること等もできる。
【００１５】
（撮像装置１の構成）
次に、撮像装置１の構成について図２を参照して説明する。図２は撮像装置１の概略的な内部構成を示すブロック図である。
【００１６】
中央制御部３００は、ＣＰＵ（Central Processing Unit）、各種プログラムが格納されたＲＯＭ（Read Only Memory）、及びワークエリアとしてのＲＡＭ（Random Access Memory）等を含む半導体集積回路により構成される。この中央制御部３００は、撮像による撮像データの生成処理、撮像データの再生表示処理、ユーザが各種設定を行うためのメニュー画像等を表示する処理等の各種処理のために各部を統括的に制御する。
【００１７】
また中央制御部３００は、後述する撮像データ（動画像データ）のスコアの算出、撮像データ（動画像データ）の複数の動画像データへの分割、分割された各動画像データの位置を示す情報の生成、分割された各動画像データにおける代表静止画の特定、及び動画像データの一部分の抽出といった処理も行う。以下では先ず、この中央制御部３００により制御される他の各部について述べた後、これらの中央制御部３００による制御について説明する。
【００１８】
撮像装置１は、ズームレンズ１０１、絞り１０２、フォーカスレンズ１０３、及び撮像素子１０４で構成される撮像部１００を備える。ズームレンズ１０１は図示しないズームアクチュエータによって光軸ＬＡに沿って移動する。同様に、フォーカスレンズ１０３は、図示しないフォーカスアクチュエータによって光軸ＬＡに沿って移動する。絞り１０２は、図示しない絞りアクチュエータに駆動されて露光調整を行う。撮像素子１０４は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）又はＣＣＤ（Charge Coupled Device）等からなるイメージセンサである。
【００１９】
ズームレンズ１０１、絞り１０２、及びフォーカスレンズ１０３を通過した光は、撮像素子１０４によって光電変換されアナログ画像信号となる。アナログ画像信号処理部１０５が、このアナログ画像信号を増幅等する。そして画像Ａ／Ｄ変換部１０６が、その増幅された信号をデジタル画像データに変換する。
【００２０】
画像入力コントローラ１０７は、画像Ａ／Ｄ変換部１０６から出力されたデジタル画像データを撮像データとして取り込んで、バス２００を介してメインメモリ２０１に格納する。撮像装置１では、撮像データとして動画像データ及び静止画像データの両方を生成・取得することができる。
【００２１】
このときＡ／Ｄ変換部１０６から出力されたデジタル画像データは、デジタル信号処理部１０８によって所定の信号処理を施され輝度信号と色差信号とからなる撮像データに変換される。デジタル信号処理部１０８はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、ＲＧＢ補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル処理を行う。
【００２２】
マイク１０９は、撮像時における撮像装置１の周囲の音声を周音し、アナログ音声信号を生成する。アナログ音声信号処理部１１０がそのアナログ音声信号を増幅する。そして音声Ａ／Ｄ変換部１１１が、その増幅された信号をデジタル音声データに変換する。音声入力コントローラ１１２は、音声Ａ／Ｄ変換部１１１から出力されたデジタル音声データを撮像データと併せてメインメモリ２０１に格納する。
【００２３】
圧縮・伸長処理部２０２は、メインメモリ２０１に格納された各種データに所定の圧縮処理を施し、圧縮データを生成する。また圧縮・伸長処理部２０２は、中央制御部３００からの指令に従い、記録メディア２１２等に格納された圧縮データに所定形式の伸張処理を施し、非圧縮データを生成する。なお、本実施の形態の撮像装置１では、静止画像に対してはＪＰＥＧ規格に準拠した圧縮方式が、動画像に対してはＭＰＥＧ２規格、ＡＶＣ／Ｈ．２６４規格、又はＭｏｔｉｏｎ  ＪＰＥＧ規格等に準拠した圧縮方式が採用される。
【００２４】
また圧縮・伸長処理部２０２は、後述する無線モジュール２１４等を介して外部の機器（通信端末2等）に動画像データを送信する際に、送信対象なる動画像データにトランスコードを施す。
【００２５】
多重化部２０３は、デジタル画像データ及びデジタル音声データをはじめとした各種データを多重化してストリームデータを生成する。上述のようにして生成された動画像データ及びデジタル音声データが、この多重化部２０３によって多重化されて一つのデータとなる。以下、説明の簡略化のために、多重化部２０３が生成したデータも、単に動画像データ、又は撮像データと呼ぶ。
【００２６】
画像処理部２０４は、メインメモリ２０１から読み出された上述のデジタル画像データに所定の画像処理を施したり、モニタ２０７に表示される画像に係る画像データを別途生成したりする。例えば画像処理部２０４は、後述する顔検出部４０１が検出した顔画像データに基づき、同じく後述するモニタ２０７が表示する、いわゆるスルー画像中の顔画像周辺に矩形の画像を表示するためのデータ生成等を行う。また、撮像装置１の設定に関する各種メニュー画像に係る画像データを生成する。
【００２７】
さらに画像処理部２０４は、記録メディア２１２等に記録された撮像データについて、いわゆるサムネイル画像データを生成する。サムネイル画像データとともに、動画像データの数や再生時間等をユーザに提示する画像に係る画像データを生成する。生成されたこれらの画像データは入出力Ｉ／Ｆ２０６を介してモニタ２０７等に出力される。
【００２８】
ＶＲＡＭ２０５は、後述するモニタ２０７が表示する動画像や静止画像に係る画像データや、上述した画像処理部２０４が生成した画像データの一時記憶領域として使用される。またメインメモリ２０１は、画像データをはじめとした各種データの一時記憶領域として使用されるとともに、中央制御部３００の演算作業領域としても使用される。
【００２９】
モニタ２０７、スピーカ２０８、操作部２０９、及び入出力端子２１０は入出力Ｉ／Ｆ２０６に接続されている。以下に、各部について説明する。
【００３０】
モニタ２０７は、例えば液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイから構成されている。モニタ２０７は、メインメモリ２０１に一時記憶される撮像データを、いわゆるスルー画像として表示したり、記録メディア２１２等に記録された動画像データや静止画像データを再生表示したりする。スピーカ２０８は、記録メディア２１２等に記録された動画像データに付随する音声等を出力する。
【００３１】
操作部２０９は、図示しない各種ボタン、操作キー、レバー、又はモニタ２０７上に重畳されたタッチパネル等から構成される。操作部２０９は、撮像の開始及び終了をはじめとした、ユーザの撮像装置１への各種の操作入力、又は設定に関する入力等を受け付ける。
【００３２】
入出力端子２１０は、図示しない外部機器、例えばテレビをはじめとしたディスプレイ装置やＰＣ（Personal  Computer）等との接続に使用される。この入出力端子２１０を介して、各種のデータが撮像装置１と外部機器との間で入出力される。入出力端子３０７は、例えばＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）端子やＵＳＢ（Universal Serial Bus）端子等から構成される。
【００３３】
メインメモリ２０１に記録された撮像データをはじめとした各種データは、メディアＩ／Ｆ２１１を介して記録メディア２１２に出力され、この記録メディア２１２に記録される。記録メディア２１２としては、撮像装置１に着脱可能なＳＤ（Secure Digital）メモリカード等が使用される。なお、ＳＤメモリカードの替りに、ＤＶＤ、ＢＤ（Blu-ray Disc）（登録商標）、若しくはフラッシュメモリ等の他の記録媒体を使用してもよい。また記録メディア２１２は、撮像装置１に内蔵されていても、着脱可能とされていてもよい。
【００３４】
無線モジュール２１４は、無線Ｉ／Ｆ２１３を介して外部機器との間で各種データを無線ネットワーク通信により送受信する。この無線ネットワーク通信には、例えばＩＥＥＥ８０２．１１シリーズを利用した方式が利用される。
【００３５】
時計２１５は、時刻情報を生成する。時計２１５が生成した時刻情報は、生成された撮像データの開始時刻や終了時刻を示す情報の生成に使用されたり、撮像データの長さ（再生時間）を示す情報の生成に使用されたりする。また、時計２１５が生成した時刻情報は、後述する中央制御部３００の動画像データ分割部３０２が生成する、各分割動画像データの分割位置情報の生成に用いられる。
【００３６】
角速度センサ２１７は、撮像の際のパン・チルトやユーザの手ぶれ等によって生じる撮像装置１の角速度を検出する。角速度センサ２１７によって検出された角速度に係る信号はＡ／Ｄ変換部２１６によってデジタル信号に変換された後、バス２００を介して中央制御部３００に送られる。
【００３７】
顔画像データ検出部４０１は、メインメモリ２０１に記憶された撮像データから、既知の手法により、被写体となる人物の顔画像データを検出する。顔画像データ認識部４０２は、顔画像データ検出部４０１が検出した顔画像データと、顔画像データ登録部４０３に予め登録されている人物の顔画像データとを照合し、検出された顔画像データを有する人物が何者であるかを認識する。顔画像データ検出部４０１による顔検出、及び顔画像データ認識部４０２による認識の結果は、後述する後述する撮像データ（動画像データ）のスコアの算出において使用される。
【００３８】
中央制御部３００は、上述した他の各部の機能を統括的に制御するとともに、スコア算出部３０１、動画像データ分割部３０２、代表画像データ特定部３０３、代表画像情報生成部３０４、及び動画像データ抽出部３０５としても機能する。以下、各部について説明する。
【００３９】
＜＜スコアの算出＞＞
ここでまず、スコア算出部３０１による撮像データ（動画像データ）のスコアの算出処理（方法）の詳細について説明する。スコア算出部３０１は、生成され記録されていく撮像データに対して、所定時間毎にスコアを算出する。図３は、スコア算出部３０１がスコアを算出する処理を説明するためのフローチャートである。
【００４０】
ユーザが、操作部２０９の図示しない録画ボタンを押下すると、撮像部１００を介して風景や被写体の画像が、及びマイク１０９を介して周囲の音声が、それぞれ取得されはじめ、撮像が開始される（ステップＳ１０１）。そしてメインメモリ２０１は、取得された画像及び音声を、撮像データ及び音声データとして、一時記憶し始める（ステップＳ１０２）。
【００４１】
ステップＳ１０２で撮像データ等の一時記憶が開始されると、スコア算出部３０１は、所定時間毎に撮像データのスコアを算出する（ステップ１０３）。スコア算出部３０１は、ホワイトバランスの調整度合い、ズームの変更度合い、パン及びチルトの度合い、顔検出の結果、撮像画像中の顔画像のサイズ、顔認識の結果、及び手ぶれ補正の結果等から各種パラメータを算出する。そして、それらのパラメータが加算・減算等されることでスコアが算出される。なお、スコアの算出に使用する上記各種のパラメータは例示に過ぎず、その撮像データのうち上手く撮像されている部分や見どころとなる部分を特定できるものであれば、全て採用可能である。また以下に記載した算出に用いる式も一例に過ぎず、他の式を用いても構わない。
【００４２】
ホワイトバランスの調整度合いに基づくパラメータをＦ１、ズームの変更度合いに基づくパラメータをＦ２、パン及びチルトの度合いに基づくパラメータをＦ３、顔検出の結果に基づくパラメータをＦ４、撮像画像中の顔画像のサイズに基づくパラメータをＦ５、顔認識の結果に基づくパラメータをＦ６、そして手ぶれ補正に基づくパラメータをＦ７とし、以下にそれぞれのパラメータの算出方法を説明する。
【００４３】
ホワイトバランスの調整度合いに基づくパラメータＦ１の算出は、例えば以下のようにして行われる。デジタル信号処理部１０８は、既知の各種方法により、メインメモリ２０１に一時記憶されたデジタル画像データから、色温度を算出し、算出された色温度に応じてデジタル画像データのホワイトバランスを調整する。スコア算出部３０１は、デジタル信号処理部１０８がこの調整を実施している時間Ｔｗを導出する。
【００４４】
Ｔｗが導出されると、スコア算出部３０１は、以下の数式１から、ホワイトバランスの調整度合いに基づくパラメータＦ１を算出する。なお、数式１及び後述する各数式におけるＰＴは、予め定められた時間（例えば、２秒）であり、中央制御部３００のＲＯＭに予め記録されている値である。ユーザは、この値を操作部２０９を使って設定・変更することもできる。
Ｆ１＝Ｔｗ／ＰＴ  ・・・（数式１）
【００４５】
以上により、撮像データの所定時間ＰＴあたりのホワイトバランスの自動調整が行われた時間の割合が算出され、この割合が、その所定時間ＰＴにおけるデジタル画像データ、すなわち撮像データのスコアを示すパラメータＦ１とされる。このＦ１は最終的に算出されるスコアにおいて、他のパラメータから減算されることになる。これによって調整の行われていない、より自然な色で撮像されている撮像データのスコアを高い値とすることができる。
【００４６】
ズームの変更度合いに基づくパラメータＦ２の算出は、例えば以下のようにして行われる。ズームレンズ１０１の図示しないズームアクチュエータが駆動すると、スコア算出部は、その駆動時間Ｔｚを導出する。
【００４７】
Ｔｚが導出されると、スコア算出部３０１は、以下の数式２から、ズームの変更度合いに基づくパラメータＦ２を算出する。なお、数式２におけるＰＴは、上記数式１と同じ値が採用される。
Ｆ２＝Ｔｚ／ＰＴ  ・・・（数式２）
【００４８】
以上により、撮像データの所定時間ＰＴあたりのズーム倍率の変更が行われた時間の割合が算出され、この割合が、その所定時間ＰＴにおけるスコアを示すパラメータＦ２とされる。ズーム倍率が変更されている時間帯は、ユーザが被写体を望ましい倍率で捉え切れていない時間帯と考えられる。このＦ２が、最終的に算出されるスコアにおいて、他のパラメータから減算されることで、ズーム倍率が固定された、ユーザが被写体画像を意図する倍率に捉えた後の撮像データのスコアを高い値とすることができる。
【００４９】
パン又はチルトの度合いに基づくパラメータＦ３の算出は、例えば以下のようにして行われる。スコア算出部３０１は、角速度センサ２１７の出力等からユーザが撮像装置１をパン又はチルトしている時間Ｔｐを導出する。
【００５０】
Ｔｐが導出されると、スコア算出部３０１は、以下の数式３から、パン又はチルトの度合いに基づくパラメータＦ３を算出する。なお、数式３におけるＰＴは、上記数式１と同じ値が採用される。
Ｆ３＝Ｔｐ／ＰＴ  ・・・（数式３）
【００５１】
以上により、撮像データの所定の時間あたりのパン又はチルトが行われた時間の割合が算出され、この割合がスコアを示すパラメータＦ３とされる。パン又はチルトが行われている時間帯は、ユーザが被写体を完全に捉え切れていない時間帯とも考えられる。このＦ３が、最終的に算出されるスコアにおいて、他のパラメータから減算されることで、パン又はチルトが行われた後の、すなわちユーザが意図する被写体を捉えた後の撮像データのスコアを高い値とすることができる。
【００５２】
顔検出に基づくパラメータＦ４の算出は、例えば以下のようにして行われる。
顔画像データ検出部４０１は、図３のステップＳ１０２でメインメモリ２０１に一時記憶された撮像データから、人物の顔画像データを検出する。例えば、顔画像データ検出部４０１は、顔全体の輪郭または目、口、鼻、耳等の顔の構成要素から特徴量を算出し、その特徴量に基づくテンプレートマッチングによって顔画像データを検出する。または、顔画像データ検出部４０１は、肌の色に近い領域を検出し、その領域を顔として検出してもよい。
【００５３】
顔画像データが検出されると、スコア算出部３０１は、顔画像データ検出部４０１が顔画像データを検出している時間Ｔｆを算出し、以下の数式４から、顔検出に基づくパラメータＦ４を算出する。なお、ＰＴは数式１と同じ値が採用される。
Ｆ４＝Ｔｆ／ＰＴ  ・・・（数式４）
【００５４】
以上により、撮像データの所定時間ＰＴあたりの顔画像データの検出されている時間の割合が算出され、この割合がスコアを示すパラメータＦ４とされる。動画像の撮像では、被写体として人物を撮像することが多いと考えられる。このＦ４が、最終的に算出されるスコアにおいて、他のパラメータに加算されることになり、ユーザが被写体となる人物を捉えている撮像データのスコアを高い値とすることができる。
【００５５】
撮像画像中の顔画像のサイズに基づくパラメータＦ５の算出は、例えば以下のようにして行われる。顔画像データ検出部４０１が上述のようにして、撮像データから被写体となる人物の顔画像データを検出すると、スコア算出部３０１は、検出されている顔画像データに係る画像のサイズ（面積）が、撮像画像データに係る画像全体のサイズ（面積）に占める割合を算出し、この算出された割合が所定の範囲内（例えば、３０％〜７０％）にある時間Ｔｓを算出する。顔画像のサイズは、既知の方法に基づき、顔画像の領域面積を特定することで行われる。
【００５６】
そして、スコア算出部３０１は、以下の数式５から、撮像画像中の顔画像のサイズに基づくパラメータＦ５を算出する。なお、ＰＴは数式１と同じ値が採用される。
Ｆ５＝Ｔｓ／ＰＴ  ・・・（数式５）
【００５７】
以上により、撮像データの所定時間ＰＴあたりにおける、検出されている顔画像のサイズが、撮像画像全体のサイズに占める割合が所定の範囲となっている時間の割合が算出され、この割合がスコアを示すパラメータＦ５とされる。動画像データの撮像では人物を撮像することが多いと考えられるが、さらに被写体を小さすぎず、また大きすぎず撮像できている場合は、撮像が上手く行われていると考えられる。このＦ５が、最終的に算出されるスコアにおいて、他のパラメータに加算されることになり、ユーザが被写体となる人物を上手く捉えている撮像データのスコアを高い値とすることができる。
【００５８】
顔認識の結果に基づくパラメータＦ６の算出は、例えば以下のようにして行われる。顔画像データ検出部４０１が上述のようにして、撮像データから被写体となる人物の顔画像データを検出すると、顔画像データ認識部４０２は検出された顔画像データと、顔画像データ登録部４０３に予め登録された顔画像データと照合する。そして、顔画像データ認識部４０２は、検出された顔画像データと、顔画像データ登録部４０３に予め登録された顔画像データとが所定の類似度の範囲におさまる場合は、検出された顔画像データは、予め登録された人物のものであると認識する。スコア算出部３０１は、顔画像データ認識部４０３がこの認識を行っている時間Ｔｒを算出する。
【００５９】
そして、スコア算出部３０１は、以下の数式６から、顔認識の結果に基づくパラメータＦ６を算出する。なお、数式６におけるＰＴは、上記数式１と同じ値が採用される。
Ｆ６＝Ｔｒ／ＰＴ  ・・・（数式６）
【００６０】
以上により、撮像データの所定時間ＰＴあたりにおける、予め顔画像データが登録された人物の顔画像データが検出されている時間の割合が算出され、この割合がスコア示すパラメータＦ６とされる。予め顔画像データが登録されているような人物は、ユーザにとって重要な被写体である可能性が高いと考えられる。このＦ６が、最終的に算出されるスコアにおいて、他のパラメータに加算されることになり、ユーザが重要な被写体となる人物を捉えている撮像データのスコアを高い値とすることができる。
【００６１】
手ぶれ補正に基づくパラメータＦ７の算出は、例えば以下のようにして行われる。中央制御部３００は、角速度センサ２１７の出力に応じて、いわゆる手ぶれ補正を、既知の方法により実施する。スコア算出部４０５は、中央制御部３００が所定の度合いよりも大きく手ぶれ補正を実施している時間Ｔｍを算出し、以下の数式７から、手ぶれ補正に基づくパラメータＦ７を算出する。なお、数式７におけるＰＴは、上記数式１と同じ値が採用される。
Ｆ７＝Ｔｍ／ＰＴ  ・・・（数式７）
【００６２】
以上により、撮像データの所定時間ＰＴあたりの手ぶれ補正が行われた時間の割合が算出され、この割合がスコアを示すパラメータＦ７とされる。手ぶれ補正が所定の度合いよりも大きく行われている時間は、ユーザが大きく手ぶれをおこし、撮像自体は上手く行えていない可能性がある。このＦ７が、最終的に算出されるスコアにおいて、他のパラメータから減算されることになり、手ぶれが比較的少ない、上手く撮像された撮像データのスコアを高い値とすることができる。
【００６３】
スコア算出部３０１は、上述のようにして、ホワイトバランスの調整度合いに基づくパラメータＦ１、ズームの変更度合いに基づくパラメータＦ２、パン及びチルトの度合いに基づくパラメータＦ３、顔検出の結果に基づくパラメータＦ４、撮像画像中の顔画像のサイズに基づくパラメータＦ５、顔認識の結果に基づくパラメータＦ６、及び手ぶれ補正に基づくパラメータＦ７を算出し、以下の数式８により、各パラメータを加算し、スコアＰを算出する。
Ｐ＝−ｎ１Ｆ１−ｎ２Ｆ２−ｎ３Ｆ３＋ｎ４Ｆ４＋ｎ５Ｆ５＋ｎ６Ｆ６−ｎ７Ｆ７
・・・（数式８）
【００６４】
ここで、ｎ１からｎ７までの各ｎｘ（ｘ＝１〜７）は、各パラメータの重み付けのための係数であり、各係数は中央制御部３００のＲＯＭに予め記憶されている。またユーザが、各係数を、操作部２０９を用いて設定することができる。また、全てのパラメータを使用するのではなく、ユーザが事前に選択した一部のパラメータのみを使用するようにしてもよい。なお、ここではｎｘは全てゼロ以上の整数である。
【００６５】
また、ｎ１からｎ７までの各ｎｘの値や関係は、中央制御部３００のＲＯＭが記憶している各種撮像モードに応じて、予め設定されていてもよい。例えば、運動会等を撮像するスポーツモードでは、激しく動く特定の人物を、他の人物の中から判別して撮像を行う必要がある。そこで、顔検出の結果に基づくパラメータＦ４の重み付け係数ｎ４、及び顔認識の結果に基づくパラメータＦ６の重み付け係数ｎ６を他のパラメータの重み付け係数より大きくするとともに、被写体を追従した撮像が必要になることから、パンやチルトが激しく行われることを想定し、パン及びチルトの度合いに基づくパラメータＦ３の重み付け係数ｎ３をゼロにする等のアレンジ設定が考えられる。
【００６６】
また、暗い環境で撮像が行われる夜景モードでは、撮像素子１０４のシャッタスピードが落ちることから、手ぶれが起こりやすくなる。そこで、手ぶれ補正に基づくパラメータＦ７の重み付け係数ｎ７を他のパラメータの重み付け係数よりも大きくする等の様々なアレンジ設定が考えられる。
【００６７】
図３に戻り、ステップＳ１０３でスコアが算出されると、取得された撮像データと算出され全所定期間のスコアとが、関連付けられてメインメモリ２０１や記録メディア２１２に記録される（ステップＳ１０４）。この時、例えば、中央制御部３００は、時計２１５が導出する時刻情報を利用して撮像データと算出された各所定期間のスコアのタイムスタンプを共通にする関連付けを行う。
【００６８】
ユーザが操作部２０９の図示しない録画ボタンを再度押下すると（ステップＳ１０５でＹＥＳ）、撮像の終了とともに、スコアの算出の処理を終了する。ユーザが操作部２０９の図示しない録画ボタンを再度押下せず、撮像を継続した場合は（ステップＳ１０５でＮＯ）、ステップＳ１０２に戻り、撮像と当該算出処理が継続される。
【００６９】
なお上述した例では、スコア算出部３０１によるスコアの算出は、撮像データの生成と略同じタイミングで実施された。一方で、スコア算出部３０１は、既に生成され記録メディア２１２に記録されてしまっている撮像データのスコアを算出することもできる。例えば、上述したパラメータだけを撮像データの生成時に算出し、後述するリクエスト情報が通信端末２から受信されたタイミングでスコアが算出されてもよい。また、撮像時以外にも導出可能なパラメータのみを使用して、外部機器等から取得された動画像データのスコアを算出することもできる。
【００７０】
以上のようにして、スコア算出部３０１は、撮像データ（動画像データ）に対し、所定時間毎のスコアを算出する。算出されたスコアは、分割された動画像データから代表画像データが特定され、代表画像情報が生成される際に利用される。次に、図２に戻り、中央制御部３００の動画像データ分割部３０２等について順に説明する。
【００７１】
動画像データ分割部３０２は、記録メディア２１２に記録されている一つの動画像データを複数の部分に分割する。以下では、この一つの動画像データが分割されて生じる部分的な動画像データを、「分割動画像データ」とよぶ。そして、動画像データ分割部３０２は、各分割動画像データの位置を示す情報である「分割位置情報」を生成する。分割位置情報は、時計２１５の出力する時刻情報が参照されて、分割前の動画像データ全体における各分割動画像データの開始及び終了時点に基づいて生成される。また、分割位置情報は、各分割動画像データの開始点及び終了点のそれぞれに対応する、各ピクチャデータの位置を示す情報等に基づいて生成されてもよい。
【００７２】
動画像データ分割部３０２は、一つの動画像データを、予め設定された個数に分割したり、予め設定ざれた時間毎に分割したりすることができる。これらの設定には、中央制御部３００のＲＯＭに予め記憶されている情報を使用したり、操作部２０９を介して行われたユーザ入力の内容を使用したりすることができる。
【００７３】
代表画像データ特定部３０３は、スコア算出部３０１が算出したスコアに基づき、動画像データ分割部３０１の分割によって生じた各分割動画像データのそれぞれから、最も高いスコアを有する所定時間に属する所定の画像単位データを代表画像データとして特定する。例えば代表画像データ特定部３０３は、最も高いスコアを有する所定時間に属する各ピクチャデータの中から、先頭に位置するＩピクチャデータを、代表画像データとして特定する。
【００７４】
代表画像情報生成部３０４は、代表画像データ特定部３０３が特定した代表画像データとなるピクチャデータについて、分割される前の動画像データ中の位置を示す情報、及びピクチャデータに係る画像が描画されるために必要なデータを、代表画像情報として生成する。生成された代表画像情報は、無線モジュール２１４等を介して、通信端末２等に送信されることになる。
【００７５】
動画像データ抽出部３０５は、通信端末２又は３から送信された選択情報（詳細は後述する。）に基づき、動画像データの一部を抽出する。以下、この抽出される一部の動画像データを「抽出動画像データ」とよぶ。抽出された抽出動画像データは、無線モジュール２１４等を介して、通信端末２等に送信されることになる。
【００７６】
上述した動画像データ分割部３０２、代表画像データ特定部３０３、及び代表画像情報生成部３０４については、後述する＜撮像装置１による分割位置情報及び代表静止画情報の生成＞処理のなかでも詳細に説明する。また、動画像データ抽出部３０５については、同じく後述する＜抽出動画像データの取得＞処理のなかでも詳細に説明する。
【００７７】
（通信端末２の構成）
続いて、通信端末２または３の構成について説明する。なお、通信端末２及び３の本発明に関する構成は実質的に同じであるため、以降の説明では通信端末２の構成を説明し、通信端末３の構成についての説明は省略する。図４は通信端末２の概略的な内部構成を示すブロック図である。
【００７８】
中央制御部６００は、ＣＰＵ、各種プログラムが格納されたＲＯＭ、及びワークエリアとしてのＲＡＭ等を含む半導体集積回路から構成される。この中央制御部６００は、通話、電子メールの送受信、ネットワークを介した各種データの送受信をはじめとして、各種アプリケーション・プログラムの処理を統括的に制御する。
【００７９】
また中央制御部６００は、後述する選択画像データの生成や選択情報の生成といった処理を行う。以下では先ず、この中央制御部３００により制御される他の各部について述べた後、これらの中央制御部６００による処理について説明する。
【００８０】
メインメモリ５０１は、入出力端子５０９や無線モジュール５１３を介して受信された各種データや、各種のアプリケーション・プログラム等を記憶する。ＶＲＡＭ５０２は、画像処理部５０３が生成する各種メニュー画像データや、選択画像データ生成部６０１が生成した選択画像データをはじめとした、ＧＵＩ（Graphical User Interface）に係る画像データを一次記憶する。
【００８１】
モニタ５０５、スピーカ５０６、操作部５０７、マイク５０８、及び入出力端子５０９は入出力Ｉ／Ｆ５０４に接続されている。以下に、各部について説明する。
【００８２】
モニタ５０５は、例えば液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイから構成されている。モニタ５０５は、画像処理部５０３が生成した各種ＧＵＩの画像データや、記録メディア５１１に記録された各種画像データに係る画像を表示する。モニタ５０５は、後述する選択画像の表示も行う。
【００８３】
スピーカ５０６は、記録メディア５１１等に記録された画像データに付随する音声や、音楽データに係る音楽を出力する。操作部５０７は、図示しない各種ボタン、操作キー、又はモニタ５０５上に重畳されたタッチパネル等から構成される。操作部５０７は、撮像装置１からのデータの受信指示や、後述する代表画像の選択指示等、ユーザの通信端末２への各種の操作入力、又は設定に関する入力等を受け付ける。
【００８４】
マイク５０９を介して、通話時等のユーザの音声が入力される。入出力端子５０９は、図示しない外部機器、例えばテレビをはじめとしたディスプレイ装置やＰＣ等との接続に使用される。この入出力端子５０９を介して、各種のデータが通信端末２と外部機器との間で入出力される。入出力端子５０９は、例えばＨＤＭＩ（登録商標）端子やＵＳＢ端子等から構成される。
【００８５】
メインメモリ５０１に記録された抽出動画像データをはじめとした各種データは、メディアＩ／Ｆ５１０を介して記録メディア５１１に出力され、この記録メディア５１１に記録される。記録メディア５１１としては、通信端末２に着脱可能なＳＤメモリカード等が使用される。なお、ＳＤメモリカードの替りに他の記録媒体を使用してもよい。また記録メディア２１２は、撮像装置１に内蔵されていても、着脱可能とされていてもよい。
【００８６】
無線モジュール５１３は、無線Ｉ／Ｆ５１２を介して外部機器との間で各種データを無線ネットワーク通信により送受信する。この無線ネットワーク通信には、例えばＩＥＥＥ８０２．１１シリーズを利用した方式が利用される。
【００８７】
前述した通り、中央制御部６００は、選択画像データの生成処理を行う選択画像データ生成部６０１、及び選択情報の生成処理を行う選択情報生成部６０２としても機能する。以下、各部について説明する。
【００８８】
撮像装置１の動画像データ分割部３０２が生成した分割位置情報、及び代表画像情報生成部３０４が生成した代表画像情報が、無線モジュール５１３を介して、通信端末２に受信される。選択画像データ生成部６０１は、受信された分割位置情報及び代表画像情報に基づいて、選択画像データを生成する。
【００８９】
詳細は後述するが、撮像装置１に記録された動画像データから抽出動画像データをユーザが取得するにあたり、モニタ５０５は、各分割動画像データの代表画像及び分割位置情報を示す画像、並びに取得される抽出動画像データの時間的長さを示す画像を含む選択画像を表示する。この選択画像は、選択画像データ生成部６０１が生成した選択画像データに基づいて生成される。
【００９０】
ユーザが、選択画像に含まれる複数の代表画像の中から任意の代表画像を選択し、抽出動画像データの長さ（再生時間）を指定すると、選択情報生成部６０２が、それらの選択及び指定に基づき、選択情報を生成する。生成された選択情報は、無線モジュール５１３を介して撮像装置１に送信される。撮像装置１は、受信した選択情報に基づき、動画像データから抽出動画像データを生成（抽出）する。なお、上述の選択及び指定の入力は、操作部５０７のタッチパネルのタッチに基づいて行われる。
【００９１】
＜撮像装置１による分割位置情報及び代表静止画情報の生成＞
続いて、撮像装置１による分割位置情報及び代表画像情報の生成処理（方法）について説明する。図５は、この処理を説明するためのフローチャートである。
【００９２】
まず動画像データ分割部３０２が、記録メディア２１２に記録された一つの動画像データ（撮像データ）を、複数の分割動画像データに分割する（ステップＳ２０１）。一つの動画像データを、どのように分割するかは、中央制御部３００のＲＯＭに予め記録されている設定を使用することができる。なお、この設定はユーザが適宜変更することができる。
【００９３】
図６は、動画像データ分割部３０２による動画像データの分割について説明するための模式図である。ユーザが操作部２０９の図示しない録画ボタンを押下して撮像を開始し、録画ボタンを再度押下して撮像を終了すると、一つの動画像データが生成され、記録メディア２１２に記録される。図６では、時間Ｔ００から撮像を開始し、時間Ｔ０５に撮像を終了した動画像データＭＤ１００が生成され記録された動画像データである。
【００９４】
ここでは、再生時間が等しい計５つの分割動画像データを生成するように、動画像データの分割に関する設定が行われていた場合を例示する。動画像データ分割部３０１は、動画像データＭＤ１００を、時間Ｔ００〜Ｔ０１までの分割動画像データＭＤ１０１、時間Ｔ０１〜Ｔ０２までの分割動画像データＭＤ１０２、時間Ｔ０２〜Ｔ０３までの分割動画像データＭＤ１０３、時間Ｔ０３〜Ｔ０４までの分割動画像データＭＤ１０４、及び時間Ｔ０４〜Ｔ０５までの分割動画像データＭＤ１０５の、合計５つの分割動画像データに分割する。
【００９５】
図６の例では、分割動画像データＭＤ１０１、ＭＤ１０２、ＭＤ１０３、ＭＤ１０４、及びＭＤ１０５は、それぞれ同じ撮像時間（再生時間）となるように、動画像データ分割部３０１が、動画像データＭＤ１００を分割している。
【００９６】
図５に戻り、ステップＳ２０１で動画像データが分割されると、動画像データ分割部３０１は、各分割動画像データの開始位置及び終了位置を示す分割位置情報を生成する（ステップＳ２０２）。この分割位置情報の生成は、時計２１５の出力する時刻情報が参照され、各分割動画像データの開始時間及び終了時間に基づいて行われる。すなわち例えば、図５の模式図では、分割動画像データＭＤ１０１の分割位置情報は、開始時間Ｔ００及び終了時間Ｔ０１を示す情報となる。
【００９７】
また、この分割位置情報は、分割される動画像データ中における、各分割動画像データの開始時間及び終了時間に対応する、各ピクチャデータの位置を示す情報に基づいて生成されてもよい。この場合は例えば、図５の模式図では、分割動画像データＭＤ１０１の分割位置情報は、開始時間Ｔ００及び終了時間Ｔ０１のそれぞれに対応するピクチャデータの位置情報に基づいて生成されることとなる。
【００９８】
ステップＳ２０２で動画像データ分割部３０１が分割位置情報を生成すると、スコア算出部３０１が、動画像データのスコアを導出する（ステップＳ２０３）。上述した通り、スコア算出部３０１が撮像データの生成時に算出したスコアは、メインメモリ２０１等に記録されている。スコア算出部３０１は、この記録されたスコアを呼び出して、スコアを導出する。あるいは上述した各パラメータのみが記録さており、スコア算出部３０１が、このステップＳ２０３の段階で各パラメータの加算等を行い、スコアの導出を行ってもよい。
【００９９】
ステップＳ２０３でスコア算出部３０１がスコアを導出すると、代表画像データ特定部３０３が、導出されたスコアに基づいて、各分割画像データから代表静止画データを特定する（ステップＳ２０４）。例えば代表画像データ特定部３０３は、最も高いスコアを有する所定時間に属する各ピクチャデータの中から、先頭に位置するＩピクチャデータを、代表画像データとして特定する。
【０１００】
図７は、代表画像データ特定部３０３による代表画像データを特定する処理について説明するための模式図である。上述した通り、スコア算出部３０１が、動画像データＭＤ１００について、所定時間毎にスコアを算出する。図７（ａ）では、分割動画像データＭＤ１０１において、時間ｔ１１ａ〜ｔ１１ｂの時間帯が最も高いスコアを有する時間帯であることを例示している。代表画像データ特定部３０３は、この時間ｔ１１ａ〜ｔ１１ｂの時間帯に属するピクチャデータから、先頭のＩピクチャＰＤ１１ａに係るデータを、代表画像データとして特定している。なお、このＩピクチャＰＤ１１ａに係るデータは、時間ｔ１１の時点に位置している。
【０１０１】
図７（ｂ）に示した通り、代表画像データ特定部３０３は、分割動画像データＭＤ１０２からはＩピクチャＰＤ１２ａ、分割動画像データＭＤ１０３からはＩピクチャＰＤ１３ａ、分割動画像データＭＤ１０４からはＩピクチャＰＤ１４ａ、及び分割動画像データＭＤ１０５からはＩピクチャＰＤ１５ａを、代表画像データとして特定する。
【０１０２】
図５に戻り、ステップＳ２０４で代表画像データ特定部３０３が代表画像データを特定すると、代表画像情報生成部３０４が代表画像情報を生成する（ステップＳ２０５）。代表画像情報生成部３０４は、代表画像データ特定部３０３が特定した代表画像データとなるピクチャデータについて、分割される前の動画像データ中の位置を示す情報、及びピクチャデータに係る画像が描画されるために必要なデータを、代表画像情報として生成する。
【０１０３】
図７（ｂ）の例では、代表画像情報生成部３０４は、分割動画像データＭＤ１０１からは、ＩピクチャＰＤ１１ａの位置を示す情報として時間ｔ１１を示す情報、及びＩピクチャＰＤ１１ａが描画されるために必要なデジタル画像データを、代表画像情報として生成する。同様に、分割動画像データＭＤ１０２からは、ＩピクチャＰＤ１２ａの位置を示す情報として時間ｔ１２を示す情報、及びＩピクチャＰＤ１２ａが描画されるために必要なデジタル画像データ、分割動画像データＭＤ１０３からは、ＩピクチャＰＤ１３ａの位置を示す情報として時間ｔ１３を示す情報、及びＩピクチャＰＤ１３ａが描画されるために必要なデジタル画像データ、分割動画像データＭＤ１０４からは、ＩピクチャＰＤ１４ａの位置を示す情報として時間ｔ１４を示す情報、及びＩピクチャＰＤ１４ａが描画されるために必要なデジタル画像データ、及び分割動画像データＭＤ１０５からは、ＩピクチャＰＤ１５ａの位置を示す情報として時間ｔ１５を示す情報、及びＩピクチャＰＤ１５ａが描画されるために必要なデジタル画像データ、がそれぞれ代表画像情報とされる。
【０１０４】
図５に戻り、ステップＳ２０５で代表画像情報が生成されると、ステップＳ２０２で生成された分割位置情報、及び生成された代表画像情報が、それぞれメインメモリ２０１等に記録される（ステップＳ２０６）。
【０１０５】
以上の＜撮像装置１による分割位置情報及び代表静止画情報の生成＞処理は、撮像データが生成され記録メディア２１２に記録される際に実施されてもよいし、記録メディア２１２に記録された直後等のタイミングで実施されてもよい。また、通信端末２から、動画像データの送信処理を要求する情報を受信したタイミングで実施されてもよい。
【０１０６】
＜抽出動画像データの取得＞
続いて、撮像装置１が記録している撮像データ（動画像データ）から所望する部分が抽出され、抽出された部分が通信端末２に取得されるまでの、システムＳＹＳ１で実施される一連の処理について説明する。この処理では、ユーザは通信端末２が表示する代表画像等を用いて、所望の部分を通信端末２に取得させることができる。図８は、この一連の処理を説明するためのフローチャートである。
【０１０７】
先ずユーザは、通信端末２において、撮像装置１から抽出動画像データを取得するための所定のアプリケーション・プログラムを起動させ、通信端末２と撮像装置１との間のネットワーク通信を確立する（ステップＳ３０１）。そして通信端末２は、撮像装置１に記録されている動画像データの所望の部分を通信端末２に送信する処理の開始を要求する旨の、開始リクエスト情報を生成し、撮像装置１に送信する（ステップＳ３０２）。この開始リクエスト情報は、通信端末２のモニタ５０５に表示された、アプリケーション・プログラムのＧＵＩの所定のボタンをユーザがタッチ等することで生成され送信される。リクエスト情報は中央制御部６００が生成し、無線モジュール５１３等から送信される。
【０１０８】
撮像装置１が、開始リクエスト情報を受信すると、中央制御部３００が導出した動画像データの生成日時（撮像日時）を示す情報及び動画像データの再生時間を示す情報、並びに画像処理部２０４が生成した動画像データのサムネイル画像データを含む、リスト情報が生成される（ステップＳ３０２）。リスト情報は、記録メディア２１２に記録された動画像データ毎に生成される。
【０１０９】
動画像データの生成日時（撮像日時）を示す情報及び動画像データの再生時間を示す情報は、動画像データの所定の領域に格納されたものが読み出されることで導出されてもよいし、中央制御部３００が算出して導出してもよい。そして、代表画像情報生成部３０４が代表画像情報を生成する際に生成された、各分割動画像データの代表画像データのなかから、最もスコアの高いものが、サムネイル画像データとなる。
【０１１０】
ステップＳ３０２で生成された、撮像データ毎の各リスト情報が、無線モジュール２１４から送信され、通信端末２がそれらを受信すると、通信端末２のモニタ５０５は、受信した各リスト情報に基づきリスト画像を表示する（ステップＳ３０４）。画像処理部５０３が、受信されたリスト情報を統合し、リスト画像に係る画像データを生成する。そして、その画像データに基づくリスト画像が、モニタ５０５に表示されることになる。図９は、表示されるリスト画像の模式図である。
【０１１１】
リスト画像は、動画像データ毎に、サムネイル画像、生成日時（撮像日時）を示す画像、及び再生時間を示す画像からなる。図９の例では、撮像装置１の記録メディア２１２に、動画像データＭＤ１００、ＭＤ２００、ＭＤ３００、ＭＤ４００、ＭＤ５００、及びＭＤ６００が記録されており、それぞれに対応するリスト情報から生成された画像が表示されている。リスト画像Ｌ９０は、動画像データＭＤ１００〜ＭＤ６００のそれぞれに対応する、サムネイル画像ＰＤ１０ｂ〜ＰＤ６０ｂ、撮像日時を示す画像ＴＤ１０ｂ〜ＴＤ６０ｂ、及び再生時間を示す画像ＤＤ１０ｂ〜ＤＤ６０ｂから構成されている。
【０１１２】
図８に戻り、ユーザが、リスト画像に表示された複数の動画像データのなかから、所望の動画像データを選択すると、その所望の動画像データの情報を要求する旨のリクエスト情報が生成され、撮像装置１に送信される（ステップＳ３０５）。このリクエスト情報は、リスト画像において、所望の動画像データに関する各画像が表示されている領域をユーザがタッチ等することで生成される。リクエスト情報は、中央制御部６００が生成し、無線モジュール５１３を介して撮像装置１に送信される。
【０１１３】
撮像装置１が、リクエスト情報を受信すると、対象となる動画像データについて、動画像データ分割部３０２が生成した分割位置情報、及び代表画像情報生成部３０４が生成した代表画像情報が導出される（ステップＳ３０６）。中央制御部３００が、メインメモリ２０１等に記録された分割位置情報及び代表画像情報を呼び出すことで、これらの導出が行われる。
【０１１４】
一方で、この情報リクエスト情報が受信されたタイミングで、分割位置情報及び代表画像情報が生成されるようにしてもよい。この場合は、ステップＳ３０３等で生成等されたサムネイル画像データは、対応する動画像データの先頭のＩピクチャデータ等を使用する。
【０１１５】
ステップＳ３０６で生成された分割位置情報及び代表画像情報が無線モジュール２１４から送信され、通信端末２がそれらを受信すると、選択画像データ生成部６０１は、受信された各情報に基づき、選択画像データを生成する（ステップＳ３０７）。そしてモニタ５０５は、生成された選択画像データに基づき、選択画像を表示する（ステップＳ３０８）。図１０は、モニタ５０５に表示される選択画像の例を示す模式図であり、以下に、この模式図を参照して選択画像について説明する。
【０１１６】
図１０の模式図に示した選択画像ＳＧ１０は、大別して６つの画像から構成されている。すなわち、対象となる動画像データ（撮像データ）の生成日時（撮像日時）を示す画像ＴＧ１、対象となる動画像データの先頭画像ＰＤ１０ｃ及び代表画像ＰＤ１１ｃ〜ＰＤ１５ｃ、各分割画像データの開始時点を示す画像ＴＧ１０〜ＴＧ１５、サムネイル画像ＰＤ１０ｃ又は各代表画像ＰＤ１１ｃ〜ＰＤ１５ｃの位置する時点を示す画像ＴＧ１６、ＬＧ１０、及びＩＧ１０、抽出される抽出動画像データの長さを示す画像ＴＧ１７、及び抽出を要求するボタン画像ＴＦ１０から、選択画像ＳＧ１０は構成される。
【０１１７】
対象となる撮像データ（動画像データ）の生成日時（撮像日時）を示す画像は、ステップＳ３０４の際に通信端末４が受信した情報が利用される。または、ステップＳ３０７で、撮像装置１が、分割位置情報等と併せて送信したものが使用されるようにしてもよい。
【０１１８】
次に、対象となる動画像データの先頭画像ＰＤ１０ｂ及び代表画像ＰＤ１１ｂ〜ＰＤ１５ｂについて説明する。中央制御部３００は、記録メディア２１２に記録されている動画像データの先頭のＩピクチャに基づく画像データを生成する。そして、この生成された画像データが、分割位置情報及び代表画像情報とともに送信され、選択画像内で先頭画像ＰＤ１０ｃとして表示される。
【０１１９】
代表画像ＰＤ１１ｃ〜ＰＤ１５ｃは、動画像データ分割部３０２により動画像データが分割されて生成された、計５つの分割動画像データのそれぞれにおける、代表画像データ特定部３０３が特定した代表画像データとなるピクチャデータに基づいて表示される。これらのピクチャデータに係る画像を描画するためのデータは、上述した通り代表画像情報に含まれている。
【０１２０】
各分割画像データの開始時点を示す画像ＴＧ１０〜ＴＧ１５は、分割位置情報に含まれる各分割動画像データの開始時点を示す情報に基づいて生成される。なお図１０の例では、各分割画像データの終了時点を示す画像を省略しているが、各分割動画像データの終了時点、または動画像データ全体の終了時点のみを示す画像が表示されるようにしてもよい。
【０１２１】
続いてサムネイル画像ＰＤ１０ｃ又は各代表画像ＰＤ１１ｃ〜ＰＤ１５ｃの位置する時点を示す画像ＴＧ１６、ＬＧ１０、及びＩＧ１０について、以下に説明する。ここで図１１は、ユーザが代表画像ＰＤ１１ｃに対応するタッチパネル領域をタッチした場合の、選択画像を示す模式図である。
【０１２２】
ユーザが代表画像ＰＤ１１ｂに対応するタッチパネル領域をタッチすると、この代表画像が選択されている旨を示すカーソル画像ＣＧ１０が表示される。なお、このカーソル画像ＣＧ１０は、画像処理部５０３が生成した画像データに基づいて表示される。
【０１２３】
そして、画像ＴＧ１６は、選択された代表画像が、動画像データ中で位置する場所を数字で表示する。図１１の例では、代表画像ＰＤ１１ｂ（に相当するピクチャデータ）は、動画像データ再生から３分４５秒後に表示される位置に存在することを示している。また、画像ＬＧ１０及びＩＧ１１は、選択された代表画像が、動画像データ中で位置する場所を図形的に表示する。画像ＬＧ１０は、動画像データの開始から終了までの全体を現すタイムライン画像であり、画像ＩＧ１１は、このタイムライン画像中で、選択された代表画像がどの当たりに位置するかを示すインジケータ画像である。これらの画像ＬＧ１０及びＩＧ１０により、ユーザは、選択した代表画像が、動画像全体のどの当たりに位置するのかを視覚的に認識しやすくなる。
【０１２４】
抽出される抽出動画像データの長さを示す画像ＴＧ１７は、設定されている抽出動画像データの長さ（再生時間）を示す画像である。図１１の例では、１００秒間分の連続した抽出動画像データを、撮像装置１の記録メディア２１７に記録された動画像データから抽出することを示している。
【０１２５】
ユーザは、この抽出動画像データの長さを都度、設定・変更することができる。ユーザが、画像ＴＧ１７に対応するタッチパネル領域をタッチすると、モニタ５０５は抽出動画像データの長さの設定・変更のための画像を表示する。図１２は、この画像の一例を示す模式図である。
【０１２６】
ユーザが画像ＴＧ１７に対応するタッチパネル領域をタッチすると、画像処理部５０３が生成した画像データに基づき、モニタ５０５に設定・変更画像ＳＧ１２が表示される。設定・変更画像ＳＧ１２は、レバー画像ＴＬ１２及びＣＧ１２、設定・変更される時間を示す画像ＴＧ１９、並びに決定を示す画像ＯＧ１０から構成される。
【０１２７】
ユーザは、レバー画像ＣＧ１２に対応するタッチパネル領域をタッチし、レバー画像ＴＬ１２上で、このレバー画像ＣＧ１２を、図１２示したＸ軸方向に移動させることで、抽出動画像データの長さの設定・変更を行うことができる。変更された抽出動画像データの長さは、画像ＴＧ１９に表示される。
【０１２８】
図１２中の画像ＴＧ１９は、抽出動画像データの長さが２００秒間に変更されたことを示している。また、図１２中に黒塗りで示した領域画像ＴＬ１２ａは、設定・変更される抽出動画像データの長さの増減を視覚的に表示する。つまり、レバー画像ＣＧ１２がＸ軸の正方向に移動すると、レバー画像ＴＬ１２に占める、この領域画像ＴＬ１２ａの面積が増加する。これによって、ユーザは、抽出動画像データの長さを増加させたことを視覚的に認識することができる。
【０１２９】
反対に、レバー画像ＣＧ１２がＸ軸の負方向に移動すると、レバー画像ＴＬ１２に占める、この領域画像ＴＬ１２ａの面積が減少する。これによって、ユーザは、抽出動画像データの長さを減少させたことを視覚的に認識することができる。
【０１３０】
ユーザが、決定を示す画像ＯＧ１０に対応するタッチパネル領域をタッチすると、上述のようにして設定・変更された、抽出動画像データの長さが決定される。図１３は、ユーザが画像ＯＧ１０に対応するタッチパネル領域をタッチした後に、モニタ５０５が表示する選択画像ＳＧ１０の模式図である。
【０１３１】
抽出を要求するボタン画像ＴＦ１０に対応するタッチパネル領域がタッチ等されると、抽出動画像データの長さ、及び代表画像の選択が決定される。この画像ＴＦ１０は、画像処理部５０３が生成した画像データに基づいて表示される。
【０１３２】
図８に戻り、ユーザが、上述のようにして抽出動画像データの長さを決定し、代表画像を選択し、抽出を要求するボタン画像ＴＦ１０に対応するタッチパネル領域をタッチ等する（ステップＳ３０９）と、通信端末２の選択情報生成部６０２が選択情報を生成する（ステップＳ３１０）。選択情報は、代表画像情報に含まれていた代表画像データの位置を示す情報、及び指定された抽出動画像データの長さを示す情報から構成される。生成された選択情報は、無線モジュール５１３を介して撮像装置１に送信される。
【０１３３】
ステップＳ３１０で生成された選択情報が撮像装置１に受信されると、撮像装置１の動画像データ抽出部３０５は、受信された選択情報に基づいて、動画像データから抽出動画像データを抽出する（ステップＳ３１１）。抽出される抽出動画像データは、選択された代表画像データを先頭としてもよいし、選択された代表画像データよりも所定時間または所定ピクチャだけ前の画像データを先頭としてもよい。
【０１３４】
すなわち例えば、図１３の例では、代表画像ＰＤ１１ｂに対応する画像データを開始時点として、動画像データから３分４５秒から７分５秒までのデータが、抽出動画像データとして抽出されてもよい。また、代表画像ＰＤ１１ｂに対応する画像データよりも所定時間又は所定ピクチャだけ前の、例えば３分０秒から５分２０秒までのデータが、抽出動画像データとして抽出されてもよい。
【０１３５】
抽出された抽出動画像データは、予め設定された条件に従い、圧縮・伸長処理部２０２でトランスコードされた後、無線モジュール２１４から送信される（ステップＳ３１２）。そして、通信端末２が無線モジュール５１３を介して、送信された抽出動画像データを受信する（ステップＳ３１３）。
【０１３６】
以上の通り本発明に係る動画像データ処理システムＳＹＳ１によれば、ユーザは、撮像装置１に記録された撮像データ（動画像データ）に関し、通信端末２のモニタ５０５に表示された適切な代表画像を指針として、容易に所望の抽出動画像データを取得することができる。なお、本発明に係る動画像データ送信装置としては、撮像装置１のように撮像部による撮像を介して動画像データを生成する電子機器に限らず、動画像データの入出力が可能な機器であればよい。同様に、本発明に係る動画像データ送信装置としては、通信端末２のようなポータブルな通信機器に限らず、動画像データの入出力が可能な機器であればよい。
【０１３７】
本発明の実施の形態にかかる動画像データ処理システムＳＹＳ１、並びにそれを構成する撮像装置１及び通信端末２は、前述した実施の形態の各機能を実現するプログラムを、ＣＰＵが実行する構成とすることも可能である。
【０１３８】
また、このプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【符号の説明】
【０１３９】
ＳＹＳ１  動画像データ処理システム、１  撮像装置、１００  撮像部、１０５  アナログ画像信号処理部、１０６  画像Ａ／Ｄ変換部、１０７  画像入力コントローラ、１０８  デジタル信号処理部、２００  バス、２０１  メインメモリ、２０２  圧縮・伸長処理部、２０３  多重化部、２０４  画像処理部、２０５  ＶＲＡＭ、２０６  入出力Ｉ／Ｆ、２０７  モニタ、２０９  操作部、２１０  入出力端子、２１１  メディアＩ／Ｆ、  ２１２  記録メディア、２１３  無線Ｉ／Ｆ、２１４  無線モジュール、２１５  時計、２１６  Ａ／Ｄ変換部、２１７  角速度センサ、３００  中央制御部、３０１  スコア算出部、３０２  動画像データ分割部、３０３  代表画像データ特定部、３０４  代表画像情報生成部、３０５  動画像データ抽出部、４０１  顔画像データ検出部、４０２  顔画像データ認識部、４０３  顔画像データ登録部、２  通信端末、５００  バス、５０１  メインメモリ、５０２  ＶＲＡＭ、５０３  画像処理部、５０４  入出力Ｉ／Ｆ、５０５  モニタ、５０７  操作部、５０９  入出力端子、５１０  メディアＩ／Ｆ、５１１  記録メディア、５１２  無線Ｉ／Ｆ、５１３  無線モジュール、６００  中央制御部、６０１  選択画像データ、６０２  選択情報生成部
【図１】
2014072642.tif 000003
【図２】
2014072642.tif 000004
【図３】
2014072642.tif 000005
【図４】
2014072642.tif 000006
【図５】
2014072642.tif 000007
【図６】
2014072642.tif 000008
【図７】
2014072642.tif 000009
【図８】
2014072642.tif 000010
【図９】
2014072642.tif 000011
【図１０】
2014072642.tif 000012
【図１１】
2014072642.tif 000013
【図１２】
2014072642.tif 000014
【図１３】
2014072642.tif 000015