(57)【要約】【課題】動画撮影時の画像を転送すると共に、転送された画像を特定する編集情報を他機で付加することにより、動画鑑賞者が希望する動画編集を短時間に行うことができる。【解決手段】  情報端末装置は、撮像されて順次送信される一連の画像であって、各画像を特定する情報が付加された画像を受信する受信部と、上記一連の画像のうちの特定画像の編集を指示するための編集情報であって上記特定画像を特定する情報を含む編集情報を生成する編集点制御部と、上記編集情報を外部機器に送信する送信部とを具備する。【選択図】図１
2018148310.tif 000002
【特許請求の範囲】
【請求項１】
撮像されて順次送信される一連の画像であって、各画像を特定する情報が付加された画像を受信する受信部と、
上記一連の画像のうちの特定画像の編集を指示するための編集情報であって上記特定画像を特定する情報を含む編集情報を生成する編集点制御部と、
上記編集情報を外部機器に送信する送信部と
を具備したことを特徴とする情報端末装置。
【請求項２】
上記編集点制御部は、上記特定画像を編集点として指定するための上記編集情報を生成する
ことを特徴とする請求項１に記載の情報端末装置。
【請求項３】
上記編集点制御部は、上記撮像のアドバイスを与えるための上記編集情報を生成する
ことを特徴とする請求項１に記載の情報端末装置。
【請求項４】
上記送信部は、上記編集情報をユニキャストで送信する
ことを特徴とする請求項１乃至３のいずれか１つに記載の情報端末装置。
【請求項５】
撮像によって一連の画像を取得する撮像部と、
上記撮像部が取得した一連の画像を、各画像を特定する情報を付加して送信する送信部と、
上記一連の画像のうちの特定画像の編集を指示するための編集情報であって上記特定画像を特定する情報を含む編集情報を受信する受信部と、
上記撮像した一連の画像を記録するものであって、上記編集情報を上記特定画像に対応させて記録する記録制御部と
を具備したことを特徴とする情報収集装置。
【請求項６】
上記送信部は、上記一連の画像をブロードキャストにより送信する
ことを特徴とする請求項５に記載の情報収集装置。
【請求項７】
上記編集情報を用いて、記録された上記一連の画像を再生する編集処理部
を具備したことを特徴とする請求項５又は６に記載の情報収集装置。
【請求項８】
上記編集処理部は、上記編集情報を用いて、記録された上記一連の画像のうちの上記特定画像を含む所定期間の画像による編集動画を生成する
ことを特徴とする請求項５又は６に記載の情報収集装置。
【請求項９】
撮像によって一連の画像を取得する撮像部と、上記撮像部が取得した一連の画像を、各画像を特定する情報を付加して送信する第１送信部と、上記一連の画像のうちの特定画像の編集を指示するための編集情報であって上記特定画像を特定する情報を含む編集情報を受信する第１受信部と、上記撮像した一連の画像を記録するものであって、上記編集情報を上記特定画像に対応させて記録する記録制御部とを有する撮像装置と、
上記第１送信部が送信した上記一連の画像を受信する第２受信部と、上記編集情報を生成する編集点制御部と、上記編集情報を上記第１受信部に送信する第２送信部とを有する情報端末装置と
を具備したことを特徴とする情報処理システム。
【請求項１０】
１つ以上の上記撮像装置と、
１つ以上の上記情報端末装置と
を具備したことを特徴とする請求項９に記載の情報処理システム。
【請求項１１】
上記第１送信部は、上記一連の画像をブロードキャストにより送信し、
上記第２送信部は、上記編集情報をユニキャストにより送信する
ことを特徴とする請求項９又は１０に記載の情報処理システム。
【請求項１２】
一連の画像を取得するステップと、
取得された上記一連の画像を、各画像を特定する情報を付加して送信するステップと、
送信された上記一連の画像を受信するステップと、
受信された上記一連の画像のうちの特定画像の編集を指示するための編集情報であって上記特定画像を特定する情報を含む編集情報を生成するステップと、
上記編集情報を送信するステップと、
送信された上記編集情報を受信するステップと、
受信された上記編集情報を、上記撮像した一連の画像に対応させて記録するステップと
を具備したことを特徴とする情報処理方法。
【請求項１３】
上記記録された一連の画像の再生時に、上記編集情報を用いて強調表示を行うステップ
を具備したことを特徴とする請求項１２に記載の情報処理方法。
【請求項１４】
上記記録された一連の画像の編集時に、上記編集情報を用いて上記特定画像を含む所定期間の画像による編集動画を生成するステップ
を具備したことを特徴とする請求項１２に記載の情報処理方法。
【請求項１５】
コンピュータに、
撮像によって一連の画像を取得するステップと、
取得された上記一連の画像を、各画像を特定する情報を付加して送信するステップと、
送信された上記一連の画像を受信するステップと、
受信された上記一連の画像のうちの特定画像の編集を指示するための編集情報であって上記特定画像を特定する情報を含む編集情報を生成するステップと、
上記編集情報を送信するステップと、
送信された上記編集情報を受信するステップと、
受信された上記編集情報を、上記撮像した一連の画像に対応させて記録するステップと
を実行させるための情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画撮影、取得、編集に好適な情報収集装置、情報端末装置、情報処理システム、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラなどの撮影機能付き携帯機器（撮影機器）は、静止画のみならず、動画撮影機能を有するものが多い。このような撮影機器では、動画撮影中においても静止画を撮影する機能を有するものもある。
【０００３】
静止画は一瞬で見ることが出来て手軽なのに対し、動画や連写（以下、動画とする）は撮影にも鑑賞にも比較的長時間を要する。
【０００４】
動画撮影を行った得た動画は、鑑賞上、無駄な部分や変化の乏しい部分が比較的多く、変化や見栄えが少ない場合がある。通常、鑑賞や観察に適した動画は、比較的長い時間に亘って、なおかつ調整等を行いながら撮影して得た動画を編集することで得られる場合が多い。
【０００５】
しかしながら、一人又は複数人で撮影して得た動画を編集して鑑賞、観察に適した動画を作成するためには、編集作業に膨大な時間を要するという問題がある。
【０００６】
そこで、特許文献１においては、動画像取得部で取得する動画像のフレームごとのシーンを示す情報であるイベントデータを取得するイベント取得部を備えることにより、イベントデータに基づくカット信号によって、動画像をカットして編集する技術が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−１５４３０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の技術は、イベントデータを取得できる特定のイベントにしか対応することができず、また、編集後の動画は必ずしも鑑賞、観察しようとする人が見たいシーン、フレーム等によって構成されているとは限らないという問題があった。
【０００９】
本発明は、動画鑑賞者、動画像観察者が希望する動画取得を短時間に行うことができる情報収集装置、情報端末装置、情報処理システム、情報処理方法及び情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一態様による情報端末装置は、撮像されて順次送信される一連の画像であって、各画像を特定する情報が付加された画像を受信する受信部と、上記一連の画像のうちの特定画像の編集を指示するための編集情報であって上記特定画像を特定する情報を含む編集情報を生成する編集点制御部と、上記編集情報を外部機器に送信する送信部とを具備する。
【００１１】
本発明の一態様による情報収集装置は、撮像によって一連の画像を取得する撮像部と、上記撮像部が取得した一連の画像を、各画像を特定する情報を付加して送信する送信部と、上記一連の画像のうちの特定画像の編集を指示するための編集情報であって上記特定画像を特定する情報を含む編集情報を受信する受信部と、上記撮像した一連の画像を記録するものであって、上記編集情報を上記特定画像に対応させて記録する記録制御部とを具備する。
【００１２】
本発明の一態様による情報処理システムは、撮像によって一連の画像を取得する撮像部と、上記撮像部が取得した一連の画像を、各画像を特定する情報を付加して送信する第１送信部と、上記一連の画像のうちの特定画像の編集を指示するための編集情報であって上記特定画像を特定する情報を含む編集情報を受信する第１受信部と、上記撮像した一連の画像を記録するものであって、上記編集情報を上記特定画像に対応させて記録する記録制御部とを有する撮像装置と、上記第１送信部が送信した上記一連の画像を受信する第２受信部と、上記編集情報を生成する編集点制御部と、上記編集情報を上記第１受信部に送信する第２送信部とを有する情報端末装置とを具備する。
【００１３】
また、本発明の一態様による情報処理方法は、撮像によって一連の画像を取得するステップと、取得された上記一連の画像を、各画像を特定する情報を付加して送信するステップと、送信された上記一連の画像を受信するステップと、受信された上記一連の画像のうちの特定画像の編集を指示するための編集情報であって上記特定画像を特定する情報を含む編集情報を生成するステップと、上記編集情報を送信するステップと、送信された上記編集情報を受信するステップと、受信された上記編集情報を、上記撮像した一連の画像に対応させて記録するステップとを具備する。
【００１４】
また、本発明の一態様による情報処理プログラムは、コンピュータに、撮像によって一連の画像を取得するステップと、取得された上記一連の画像を、各画像を特定する情報を付加して送信するステップと、送信された上記一連の画像を受信するステップと、受信された上記一連の画像のうちの特定画像の編集を指示するための編集情報であって上記特定画像を特定する情報を含む編集情報を生成するステップと、上記編集情報を送信するステップと、送信された上記編集情報を受信するステップと、受信された上記編集情報を、上記撮像した一連の画像に対応させて記録するステップとを実行させる。
【発明の効果】
【００１５】
本発明によれば、動画鑑賞者、動画像観察者が希望する動画編集、動画取得を短時間に行うことができるという効果を有する。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施の形態に係る情報収集装置及び情報端末装置を含む情報処理システムを示すブロック図。
【図２】本発明の第２の実施の形態を示すブロック図。
【図３】第２の実施の形態の動作を説明するためのフローチャート。
【図４】第２の実施の形態の動作を説明するためのフローチャート。
【図５Ａ】第２の実施の形態の動作を説明するための説明図。
【図５Ｂ】第２の実施の形態の動作を説明するための説明図。
【図６Ａ】第２の実施の形態における画面表示の一例を示す説明図。
【図６Ｂ】第２の実施の形態における画面表示の一例を示す説明図。
【図６Ｃ】第２の実施の形態における画面表示の一例を示す説明図。
【図６Ｄ】第２の実施の形態における画面表示の一例を示す説明図。
【図６Ｅ】第２の実施の形態における画面表示の一例を示す説明図。
【図７Ａ】画面表示の一例を示す説明図。
【図７Ｂ】画面表示の一例を示す説明図。
【図８】撮像装置４０の再生モードにおける動作を示すフローチャート。
【図９】ハイライト編集を説明するための説明図。
【図１０】ハイライト編集を説明するための説明図。
【図１１】外部サーバ３１における動作を説明するためのフローチャート。
【図１２】横断再生を説明するための説明図。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明の実施の形態について詳細に説明する。動画像は複数の画像コマからなるが、以下、画像と書いたものは、必要に応じて特定の画像コマであってもよく、画像コマ群であってもよい。
【００１８】
（第１の実施の形態）
図１は本発明の第１の実施の形態に係る情報収集装置及び情報端末装置を含む情報処理システムを示すブロック図である。なお、図１では、１つの情報収集装置１０と２つの情報端末装置２０とによって情報処理システムが構成される例を示しているが、複数の情報収集装置１０及び１台以上の情報端末装置２０によって情報処理システムを構成することができる。
【００１９】
本実施の形態は、動画撮影の途中において、例えば好みのシーンのタイミングで編集点を示す編集情報を付加し、当該編集情報を利用して編集を行うことで、変化や見栄えのある動画像を得るものである。この場合において、本実施の形態においては、動画撮影者以外の情報端末装置の操作者に撮影パラメータ情報、タイミング情報、ハイライト情報など編集情報を付加させることを可能にする。これにより、本実施の形態においては、動画撮影者に動画撮影操作を専念させることができ、パラメータ切り替え用、モード設定用などの操作部材の操作に伴う手振れの発生や、集中力の途切れによる失敗を防止することができると共に、フレーミング等を理想的なものにすることを容易にする。また、本実施の形態は、編集後の動画を鑑賞する１人以上のユーザが、各ユーザが操作する情報端末装置により簡単な操作で編集情報の付加を行うことを可能にすることにより、動画鑑賞、観察を行うユーザの好み等を反映した鑑賞性、観察性に優れた最適な撮影パラメータ、画像処理等で撮影した動画像を得るものである。
【００２０】
図１において、情報収集装置１０は、例えばカメラ等によって構成することができる。情報収集装置１０には制御部１１が設けられている。制御部１１は、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で一部を置き換えてもよい。情報収集装置１０にはキャプチャ部１２が設けられている。キャプチャ部１２は、撮像素子やマイクロホン等により構成することができ、被写体を撮像して動画像及び静止画像を取得したり、周囲の音声を取得する。キャプチャ部１２は取得した撮像画像及び音声を制御部１１に供給することができるようになっている。
【００２１】
制御部１１は、キャプチャ部１２によって取得された撮像画像や音声を記録部１３に与えて記録することができるようになっている。記録部１３は、所定の記録媒体によって構成されて、制御部１１から与えられた情報を記録すると共に、記録されている情報を読み出して制御部１１に出力することができる。なお、記録部１３には、情報収集装置１０を特定するための識別情報（以下、収集機器情報という）も記録されている。
【００２２】
情報収集装置１０には、通信部１４が設けられている。通信部１４は、図示しない伝送路を介して他の機器との間で有線又は無線により情報を送受信することができるようになっている。通信部１４としては、例えば、ＷｉＦｉ（登録商標）等の無線ＬＡＮによる高速通信が可能であると共に、例えば、ブルートゥース（登録商標）等の近距離無線による通信が可能である。これらは、一対一の機器通信であるユニキャストや、一対多が可能なブロードキャストモードが選択可能となっている。モード切り替えでも、通信部を多く持って役割分担してもよい。
【００２３】
制御部１１には通信制御部１１ｂが設けられている。通信制御部１１ｂは、通信部１４を制御して、通信部１４による情報の伝送を制御するようになっている。本実施の形態においては、通信制御部１１ｂは、キャプチャ部１２によって取得された撮像画像（動画像）を通信部１４を介して外部に送信することができるようになっている。
【００２４】
本実施の形態においては、制御部１１は、動画像の外部への送信に際して、動画像の各コマを特定するための情報、例えばコマ番号等のフレーム情報を動画像に付加して送信するようになっている。
【００２５】
一方、情報端末装置２０は、例えば、スマートフォンやタブレット端末によって構成することができる。情報端末装置２０は、制御部２１を有している。制御部２１は、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で一部を置き換えてもよい。情報端末装置２０には通信部２４が設けられている。通信部２４は、制御部２１に制御されて、図示しない伝送路を介して情報収集装置１０との間で有線又は無線により情報を送受信することができるようになっている。通信部２４としては、例えば、ＷｉＦｉ等の無線ＬＡＮによる高速通信が可能であると共に、例えば、ブルートゥース等の近距離無線による通信が可能である。
【００２６】
情報端末装置２０には、表示部２２が設けられている。表示部２２は、通信部２４を介して情報収集装置１０からの撮像画像（動画像）が与えられて、与えられた動画像を表示することができるようになっている。情報端末装置２０には操作部２３も設けられている。操作部２３はユーザ操作を受け付けて操作信号を制御部２１に出力することができる。
【００２７】
制御部１１には編集点制御部２１ａが設けられている。編集点制御部２１ａは、操作部２３からの操作信号のタイミングで、通信部２４を介して受信されて表示部２２に表示されている動画像のコマ（フレーム）を特定し、例えば当該コマや当該コマの前後の所定期間の複数コマを特定する編集情報を通信部２４を介して情報収集装置１０に送信させることができるようになっている。これにより、情報収集装置１０の記録再生制御部１１ａは、記録部１３に対する動画像の記録時に、情報端末装置２０の操作部２３の操作タイミングに対応するコマに編集情報を付加して記録することができるようになっている。
記録再生制御部１１ａは、さらに、記録信号を加工したり、編集したりする機能を内蔵しても良い。これは特定の回路や、マイコンとソフトウェアで実現できる。ここでの機能については、様々な付加機能実現が可能なことを想定しており、特定のタイミングで得た画像（画像コマ）を鑑賞、観察に最適なタイミングのものとして取り出すための情報を出力、画像コマ等に付与したりするだけでなく、さらには加工したり、パラメータ調整したりするような画像処理機能を内蔵、連携できるようにしてもよい。また、特定コマ、またはコマ群をハイライトとしてシェアしたりも出来るように識別情報を付与可能にしておく。
【００２８】
通信制御部１１ｂは、通信部１４を制御して、記録部１３に記録されている情報、即ち、編集情報が付加された動画像をインターネット３０上の外部サーバ３１に送信することができるようになっている。外部サーバ３１は、受信された動画像に対して編集情報を用いた編集を行って保存することができるようになっている。例えば、外部サーバ３１は、編集情報が付加されたタイミングに対応するコマのみを集めて動画像を生成してもよい。各情報端末装置２０は、通信部２４を介して外部サーバ３１にアクセスして、外部サーバ３１に記録された編集後の動画像をダウンロードして、表示部２２に表示することができるようになっている。
【００２９】
なお、上記説明では、動画の編集を外部サーバ３１において行うものと説明したが、情報収集装置１０の制御部１１において、編集情報を用いた動画編集を行うようになっていてもよい。
【００３０】
また、上記説明では、音声については言及していないが、ユーザが動画撮影中の音声を聞きながら、自分の気に入った音声のタイミングで情報端末装置２０の操作部２３を操作することにより、当該音声を含む期間を示す編集情報を情報収集装置１０に送信することができる。この場合には、ユーザが希望する音声を含む動画像を編集によって得ることが可能である。
【００３１】
このように、音声についても画像と同様に扱うことができるので、以下、音声については説明を省略する。
【００３２】
次にこのように構成された実施の形態の動作について説明する。
【００３３】
キャプチャ部１２は、被写体を撮像して撮像画像（動画像）を取得する。キャプチャ部１２は取得した動画像を制御部１１に与える。制御部１１の記録再生制御部１１ａは、取得された動画像を記録部１３に与えて記録する。また、通信制御部１１ｂは、取得された動画像を通信部１４を介してブロードキャストする。例えば、通信制御部１１ｂは、取得された動画像をリサイズして伝送量を低減させた後、無線ＬＡＮを利用してブロードキャストしてもよい。通信制御部１１ｂは、動画像の送信時に、当該動画像の各コマを特定するフレーム情報及び収集機器情報を同時に送信する。
【００３４】
各情報端末装置２０の通信部２４は、それぞれブロードキャストされた動画像を受信する。各情報端末装置２０の制御部２１は、受信された動画像を表示部２２に与えて表示させる。各情報端末装置２０の操作者は、表示部２２に表示された動画像を参照して、気に入ったシーン等のタイミングで操作部２３を操作して、情報収集装置１０において撮像中の動画像の編集点を指定する。
ここでブロードキャストを使うことによって、長時間、多くのユーザの機器と画像シェアが同時に出来るメリットが出てくる。なお、ブロードキャスト用の通信とユニキャスト用の通信は切り替え可能でもよく、別の通信で行ってもよい。ユニキャストでは、いちいち各機器とのネゴシエーションが発生して即時性に欠ける。ただし、複数の通信部で複数機器とユニキャスト通信するような応用が可能であることは言うまでもない。
【００３５】
操作部２３からの操作信号は編集点制御部２１ａに与えられ、編集点制御部２１ａは、操作信号の入力タイミングで、フレーム情報を含む編集情報を生成する。この編集情報は、フレーム情報によって受信した動画像のコマを特定するものであり、操作信号の入力タイミングに対応する動画像のコマを特定するものであってもよく、また、操作信号の入力タイミング前後の所定期間に対応する動画像のコマを特定するものであってもよい。
【００３６】
制御部２１は、編集情報を通信部２４を介して情報収集装置１０に送信させる。通信部２４は、情報収集装置１０の通信部１４との間でユニキャストによる通信を行って、編集情報を送信する。例えば、通信部２４は、ブルートゥースにより編集情報を送信する。なお、情報収集装置１０は、複数の情報端末装置２０と通信を行って、各ユーザからの希望する編集点の編集情報を取得するようになっている。そこで、通信部２４は、ユニキャストによって編集情報を送信した直後に通信を終了させることにより、情報収集装置１０と各情報端末装置２０との間の通信におけるコンフリクトを抑制する。
つまり、ユニキャスト(UNICAST)は、指定した特定の送信相手にデータを送信することであるが、これを使うことによって、確実な双方向通信の確認も伴った指定通信が可能となる。また、このアドバイス等の送信は、継続的に行うことがなく、散発的であって通信回線を占有しないで済む。これによって、開いた時間を使って多くの機器からのアドバイスを受けることが可能である。多くの機器で受信できるブロードキャストやマルチキャストなどでは、想定外の制御や混信等が起こりうるが、これを許すような利用シーンであれば、ユニキャストに限る必要はない。
【００３７】
情報収集装置１０の記録再生制御部１１ａは、キャプチャ部１２からの動画像に、通信部１４を介して受信した編集情報を付加する。即ち、編集情報によって特定されたコマについては編集点であることを示す編集情報を付加して記録する。なお、記録再生制御部１１ａは、編集情報を動画像のファイルに含めて記録してもよく、また、動画像とは別ファイルに記録してもよい。
【００３８】
こうして、記録部１３には、各情報端末装置２０を操作するユーザが希望するタイミングにおいて編集情報が付加された動画像が記録される。従って、動画像に付加された編集情報を用いて動画像を編集することにより、各ユーザが希望するタイミングやシーンのみによって構成された動画像が得られる。
例えば、編集情報を用いることで、全てのユーザの希望するシーンを集めた別動画を生成することも簡単にでき、また、各ユーザ毎や所定のユーザが希望するシーンを集めた別動画を生成することも簡単にできる。さらには特定の画像コマを加工したり、パラメータ調整したり、ハイライトとしてシェアしたりも出来る。
【００３９】
制御部１１は、動画記録が終了すると、通信部１４を介してインターネット３０上の外部サーバ３１に編集情報が付加された動画像をアップロードする。外部サーバ３１は、アップロードされた動画像を記録すると共に、編集情報を用いて動画像を編集し、編集後の動画像を記録する。
【００４０】
情報端末装置２０を操作するユーザは、外部サーバ３１に記録された編集後の動画像をダウンロードする操作を行う。これにより、編集後の動画像は、通信部２４を介して受信され、制御部２１によって表示部２２に表示される。
【００４１】
このように本実施の形態においては、情報収集装置からブロードキャストされた動画像を見ながら、各情報端末装置を操作するユーザの操作に基づいて編集情報を生成し、この編集情報を撮影中において動画像に付加して記録する。編集情報を用いて編集を行うことで、短時間に動画編集が可能である。これにより、各情報端末装置を操作するユーザが希望するタイミングやシーンにより構成される動画像を簡単に得ることができる。情報収集装置を用いた撮影者は、何らの編集作業を行う必要もなく、動画撮影操作に専念することができるので、パラメータ調整、設定やモード切り替え設定などの操作部材の操作に伴う手振れの発生や、集中力の途切れによる失敗を防止すると共に、フレーミング等を理想的なものにすることが容易となる。また、動画を鑑賞するユーザが自ら操作して編集点を決めることができるので、動画鑑賞、観察を行うユーザの好み等を反映した鑑賞性、観察性に優れた動画を得ることができる。
【００４２】
（第２の実施の形態）
図２は本発明の第２の実施の形態を示すブロック図であり、より具体的な情報収集装置及び情報端末装置を示すものである。本実施の形態においては、情報収集装置として撮像装置４０を採用した例を示している。なお、図２においても、１つの撮像装置４０と２つの情報端末装置５０とによって情報処理システムが構成される例を示しているが、複数の撮像装置４０及び１台以上の情報端末装置５０によって情報処理システムを構成することができる。
【００４３】
図２において、撮像装置４０には制御部４１が設けられている。制御部４１は、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で一部を置き換えてもよい。
【００４４】
撮像装置４０は、ＣＣＤやＣＭＯＳセンサ等の撮像素子４２ｂを有する撮像部４２を有している。撮像部４２は、光学系４２ａを介して入射した光学像を撮像素子４２ｂによって光電変換することで、撮像信号（撮像画像）を取得する。光学系４２ａには、図示しないズーム（変倍）機構、絞り及びピント機構を備えており、それぞれ変倍制御部４２ｃ、絞り制御部４２ｄ及びピント制御部４２ｅによって駆動制御されるようになっている。
【００４５】
制御部４１は、変倍制御部４２ｃ、絞り制御部４２ｄ及びピント制御部４２ｅを制御して、光学系４２ａのズーム、絞り及びピントを調節することができるようになっている。
【００４６】
操作部４５は、図示しないレリーズボタン、ファンクションボタン、撮影モード設定、パラメータ操作等の各種スイッチ、ダイヤル、リング部材等を含み、必要に応じてタッチパネルなども含んでも良くユーザ操作に基づく操作信号を制御部４１に出力する。制御部４１は、操作部２３からの操作信号に基づいて、撮像部４２を含む各部を制御するようになっている。また、撮像装置４０は時計部４６を有している。時計部４６は、時刻情報を発生して制御部４１に供給することができる。
【００４７】
制御部４１は、撮像部４２に撮像素子の駆動信号を出力すると共に、撮像部４２からの撮像画像（動画像及び静止画像）を取込む。制御部４１の画像処理部４１ａは、取込んだ撮像画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。
【００４８】
制御部４１は、信号処理後の撮像画像を表示部４７に与えて表示させることができる。表示部４７は、例えば撮像装置４０の筐体背面に設けられており、ＬＣＤ（液晶表示装置）等の表示画面を有して、制御部４１から与えられた画像を表示する。なお、制御部４１は、表示部４７の表示画面上に、各種メニュー表示やメッセージ表示等を表示させることもできるようになっている。
【００４９】
制御部４１の記録制御部４１ｂは、信号処理後の撮影画像を圧縮処理し、圧縮後の画像を記録部４３に与えて記録させることができる。記録部４３としては、例えばカードインターフェースを採用することができ、記録部４３はメモリカード等の記録媒体に画像情報及び音声情報等を記録可能である。また、記録制御部４１ｂは、記録部４３に記録されている情報を読み出して制御部４１に出力することもできる。
【００５０】
本実施の形態においては、制御部４１には通信制御部４１ｄが設けられている。通信制御部４１ｄは、第１通信部４４ａ及び第２通信部４４ｂを制御して、外部機器との間で情報を授受を行うことができるようになっている。第１通信部４４ａは、例えば、ブルートゥース等の近距離無線による通信（以下、第１通信部４４ａを介した通信を第１通信ともいう）が可能であり、第２通信部４４ｂは、例えば、ＷｉＦｉ等の無線ＬＡＮによる通信（以下、第１通信部４４ｂを介した通信を第２通信ともいう）が可能である。なお、第１通信及び第２通信は、ブルートゥースやＷｉＦｉに限らず、各種通信方式での通信を採用することが可能である。
【００５１】
通信制御部４１ｄは、撮像部４２によって取得された動画像を第２通信部４４ｂを介してブロードキャストする。例えば、通信制御部４１ｄは、取得された動画像をリサイズして伝送量を低減させた後、無線ＬＡＮを利用してブロードキャストしてもよい。通信制御部４１ｄは、動画像の送信時に、当該動画像の各コマを特定するフレーム情報及び自機を特定する収集機器情報を同時に送信するようになっている。
【００５２】
本実施の形態においては、撮像装置４０には画像解析部４１ｅが設けられている。画像解析部４１ｅは、撮像画像（動画像及び静止画像）を画像解析して解析結果を撮像画像のコマに対応させて記録させるようになっている。記録制御部４１ｂは、撮像画像の記録時に、画像解析部４１ｅの解析結果をコマに対応させて記録する。例えば、画像解析部４１ｅによって、動画像中のシーンを判定することも可能であり、また、画像中の人物の顔の向きや表情を判定することも可能である。例えば、動画中の各コマ内の人物の顔の向きや表情をランク付けして動画と共に記録することができる。
【００５３】
本実施の形態においては、制御部４１には、編集処理部４１ｃが設けられている。編集処理部４１ｃは、後述する情報端末装置５０から、記録する動画のコマを特定すると共に編集内容を示す編集情報が与えられ、この編集情報を、記録する動画の対応するコマに付加するようになっている。記録制御部４１ｂは、編集処理部４１ｃに制御されて、動画像の記録部４３への記録に際して、指定されたコマに編集情報を付加する。
【００５４】
なお、後述するように、編集情報受信時には、当該編集情報を送信した機器やその機器を操作したユーザを特定する編集者情報及び当該編集情報の作成時の操作時刻情報も同時に受信するようになっており、記録制御部４１ｂは、編集情報と共にこれらの編集者情報及び操作時刻情報も対応するコマの画像に付加して記録するようになっている。
【００５５】
また、編集処理部４１ｃは、記録部４３から読み出した動画を編集情報に基づいて再生することができる。更に、編集処理部４１ｃは、読み出した動画を編集情報に基づいて編集して記録部４３に記録することもできるようになっている。更に、編集処理部４１ｃは、通信制御部４１ｄを介して、編集した動画を情報端末装置５０やインターネット３０上の外部サーバ３１に送信させることもできるようになっている。
【００５６】
情報端末装置５０は、例えば、スマートフォンやタブレット端末によって構成することができる。情報端末装置５０は、制御部５１を有している。制御部５１は、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で一部を置き換えてもよい。情報端末装置５０には第１通信部５５ａ及び第２通信部５５ｂが設けられている。第１通信部５５ａは、例えば、ブルートゥース等の近距離無線による第１通信が可能であり、第２通信部５５ｂは、例えば、ＷｉＦｉ等の無線ＬＡＮによる第２通信が可能である。
【００５７】
制御部５１には通信制御部５１ａが設けられており、通信制御部５１ａは、第１及び第２通信部５５ａ，５５ｂを制御して、撮像装置４０との間で情報の授受を行うようになっている。本実施の形態においては、通信制御部５１ａは、撮像装置４０の第２通信部４４ｂからブロードキャストにより送信された動画像を第２通信部５５ｂで受信させる。また、通信制御部５１ａは、後述する編集点制御部５１ｄにおいて生成された編集情報を第１通信部５５ａから情報撮像装置４０の第１通信部４４ａに対してユニキャストにより送信させるようになっている。
【００５８】
制御部５１の表示制御部５１ｂは表示に関する各種処理を実行する。表示制御部５１ｂは、受信された動画像を表示部５２に供給することができる。表示部５２は、ＬＣＤ等の表示画面を有しており、表示制御部５１ｂから与えられた動画像を表示する。また、表示制御部５１ｂは、各種メニュー表示等を表示部５２の表示画面に表示させることもできるようになっている。
【００５９】
操作部５４は、ユーザ操作に基づく操作信号を発生して制御部５１に出力することができる。なお、操作部５４としては、表示部５２の表示画面上に配設された図示しないタッチパネルを採用してもよい。タッチパネルは、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。この操作信号は、制御部５１に供給される。これにより、制御部５１は、ユーザが表示画面上をタッチしたりスライドさせたりした場合には、その操作を検出することができる。即ち、制御部５１は、ユーザのタッチ位置、指を閉じ離間させる操作（ピンチ操作）、スライド操作やスライド操作によって到達した位置、スライド方向、タッチしている期間等の各種操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。また、時計部５６は、時刻情報を発生して制御部５１に供給することができる。
【００６０】
制御部５１には記録制御部５１ｃが設けられている。記録制御部５１ｃは、第１通信部５５ｂを介して受信された動画像を記録部５３に与えて記録させることができるようになっている。記録部５３としては、例えばフラッシュメモリを採用することができ、記録部５３は、例えば複数コマの動画像を記録することができる。記録制御部５１ｃは、記録部５３に記録された動画像を読み出すこともできる。なお、記録部５３には、情報端末装置５０やその操作者（ユーザ）を特定するための編集者情報も記録されている。
【００６１】
本実施の形態においては、制御部５１には編集点制御部５１ｄが設けられている。編集点制御部５１ｄは、操作部５４からの操作信号に基づいて、第１通信部５５ｂを介して受信されて表示部５２に表示された動画像のコマ（フレーム）を編集点として特定することができるようになっている。例えば、編集点制御部５１ｄは、現在表示部５２において表示されている画像のコマや当該コマの前後の所定期間の複数コマを示すフレーム情報を含む編集情報を生成する。
【００６２】
本実施の形態においては、編集情報としては、ユーザが動画編集時に採用したいシーンやコマを直接特定する情報だけでなく、ユーザが動画編集時に採用したいシーンやコマを画像中の顔の表情等によって間接的に特定する情報であってもよい。また、編集情報としては、各種編集の態様を指定する情報、動画編集に採用したコマに対する編集内容を示す情報を含む。例えば、編集情報としては、好みのシーンを特定する情報だけでなく、静止画再生や特殊効果再生等を要求するための情報であってもよい。更に、編集情報としては、記録や再生処理に関するリクエストであってもよい。例えば、記録時の明るさについてのユーザの希望を撮影者に伝えるための情報であってもよい。
つまり、本願における「編集」には、特定画像の見栄え（特定コマそのもの、または、そこに到る過程を含めた鑑賞、観察のしやすさを含む）を良くするための様々な処理の概念を含むものとなっており、これらが、複数の機器で分担できるような工夫を行っている。
【００６３】
編集点制御部５１ｄは、コマを特定するフレーム情報を含む編集情報を生成すると、生成した編集情報を第１通信部５５ａに与えて撮像装置４０に送信させる。なお、編集点制御部５１ｄは編集情報の生成に際して、記録部５３に記録された動画像のサムネイル画像を生成して表示部５２に表示することにより、ユーザによる編集点のコマの選択を容易にさせることができるようになっている。
【００６４】
第１通信部５５ａは、例えばユニキャストにより、編集情報を第１通信部４４ａに対して送信する。なお、第１通信部５５ａは、複数の情報端末装置５０と撮像装置４０との間の通信のコンフリクトを抑制するために、編集情報を送信後に第１通信部４４ａとの接続を切るようになっている。
【００６５】
次に、このように構成された実施の形態の動作について図３乃至図１２を参照して説明する。図３及び図４は第２の実施の形態の動作を説明するためのフローチャートであり、図３は撮像装置４０の動作を示し、図４は情報端末装置５０の動作を示している。
【００６６】
本実施の形態は、動画撮影を行うシーンに、動画撮影を行う１人以上の撮影者だけでなく、その動画を鑑賞する１人以上のユーザが同時に存在する場合に特に有効なシステムである。そのようなシーンとしては、例えば結婚式等の各種催事等が考えられる。以下の説明では、例えば結婚式を例に説明する。例えば、結婚式の招待客の何人かがそれぞれ撮像装置４０により動画撮影を行い、招待客の何人かがそれぞれ情報端末装置５０により例えば自分の好みのシーンを指定するのである。
【００６７】
（動画撮影時）
図５Ａ及び図５Ｂは第２の実施の形態の動作を説明するためのものであり、図５Ａは結婚式において動画撮影をする様子を示す説明図であり、図５Ｂは図５Ａの動画撮影に対する編集操作を行う様子を示す説明図である。図５Ａに示すように、撮像装置４０の筐体４０ａの背面には表示部４７の表示画面４７ａが設けられている。撮影者であるユーザ６１は、例えば、筐体４０ａを右手６２で把持して、表示部４７の表示画面４７ａを見ながら被写体を視野範囲に捉えた状態で撮影を行う。
【００６８】
撮像装置４０の制御部４１は、図３のステップＳ１において、撮影モードが設定されているか否かを判定する。制御部４１は、撮影モードが設定されていない場合には、設定されている他のモードを実行する。撮影モードが設定されている場合には、制御部４１は次のステップＳ２において、スルー画の取得を開始する。即ち、制御部４１は、撮影者の操作部４５の操作に基づいて変倍制御部４２ｃ、絞り制御部４２ｄ及びピント制御部４２ｅを制御して、ズーム、絞り及びピントを調整する。撮像素子４２ｂの受光面には光学系４２ａを介して被写体光学像が入射され、撮像部４２は撮像画像を取得する。この撮像画像は、制御部４１によって読み出され、画像処理部４１ａによって画像処理された後、表示部４７に供給される。こうして、表示部４７の表示画面４７ａ上に、スルー画が表示される。なお、図５Ａでは、表示画面４７ａ上にはスルー画７１ａが表示されていることを示している。
【００６９】
図６Ａ乃至図６Ｅは第２の実施の形態における画面表示の一例を示す説明図である。情報端末装置５０においては、制御部５１は、図４のステップＳ２１において、モード表示を行う。
【００７０】
図６Ａはこのモード表示８１の一例を示している。表示画面５２ａ上に表示されたモード表示８１には、各種アプリケーションを起動するためのアイコン８１ａ、外部カメラモードを選択するボタン８１ｂ、メールモードを選択するボタン８１ｃ及び電話モードを選択するボタン８１ｄが含まれる。
【００７１】
制御部５１は、次のステップＳ２２において外部カメラモードが選択されたか否かを判定する。ユーザが指６６ＲＩによってボタン８１ｂ上をタップ操作すると、制御部５１は、外部カメラモードが指定されたことを判定する。また、表示制御部５１ｂは、選択されたモードを示すために、ボタン８１ｂを他のボタンと異なる表示にする。図６Ａ〜図６Ｅの例では、各ボタンを囲む実線の枠によって選択されていないモードを示し、太線の枠によって選択モードを示している。図６Ａの例は外部カメラモードが選択されていることを示している。制御部５１は、次のステップＳ２３において、撮像装置４０を選択して外部カメラとして指定する。
【００７２】
図６Ｂは外部カメラモード表示８２の一例を示している。表示画面５２ａ上に表示された外部カメラモード表示８２には、通信設定を行うためのボタン８２ａ、通常撮影を指示するためのボタン８２ｂ、アシスタント機能を実行するためのボタン８２ｃ、再生を指示するためのボタン８２ｄ及びモード表示８１に戻るためのボタン８２ｅが含まれる。
【００７３】
ここで、撮影中の動画像の編集処理に参加するために、アシスタント機能を実行するためのボタン８２ｃがタップされるものとする。情報端末装置５０の制御部５１は、ステップＳ２３の次にステップＳ２４に移行し、通信制御部５１ａによって撮像装置４０との間で通信の確立を試みる。通信が確立すると、第２通信部５５ｂによって指定されたカメラ（撮像装置４０）にアクセスし（ステップＳ２５）、通信が可能か否かを判定する（ステップＳ２６）。通信制御部５１ａは、ステップＳ２６において通信が不能と判定した場合には、ステップＳ２７に移行して所定時間後に警告を行う。例えば、表示画面５２ａ上に、「接続できません」等の警告表示を行う。
【００７４】
撮像装置４０の制御部４１は、ステップＳ２からステップＳ３に処理を移行して、スルー画送信相手が設定済みか否かを判定する。設定済みでない場合には、制御部４１は、ステップＳ４において設定モードであるか否かを判定し、設定モードでない場合には処理をステップＳ７に移行し、設定モードである場合にはステップＳ５においてスルー画送信相手を設定するために第２通信部５５ｂの通信設定（第２通信設定）を行う。なお、制御部４１は、特定の相手に対してのみスルー画を送信してもよいが、複数の情報端末装置５０から編集情報を受け取ることを考慮すると、スルー画についてはブロードキャスト送信した方がよい。従って、ステップＳ５の設定では、ＷｉＦｉ等のネットワークＩＤの設定及びブロードキャスト送信を行うことの設定等が行われる。
【００７５】
通信制御部４１ｄは、ステップＳ３において、スルー画送信相手が設定済みであると判定した場合には、ステップＳ６において、第２通信設定による通信相手に対してスルー画を送信する。上述したように、例えば、スルー画はブロードキャスト送信される。なお、この場合には、通信制御部４１ｄは、動画送信時に、送信する動画の各コマを特定するためのフレーム情報（例えばコマ番号）及び動画を送信している撮像装置４０を特定するための収集機器情報を動画に付加して送信する。
【００７６】
情報端末装置５０の通信制御部５１ａは、ステップＳ２６において通信可と判定した場合には、ステップＳ２８においてスルー画を受信して表示画面５２ａ上に表示させる。図５Ｂはこの表示例を示している。図５Ｂは図５Ａに対応したものであり、情報端末装置５０の筐体５０ａは、ユーザ６５の左手６６Ｌによって把持されている。情報端末装置５０の筐体５０ａの操作面には表示部５２の表示画面５２ａが設けられている。ユーザ６５は、例えば結婚式の招待客の一人であり、図５Ｂの例は、ユーザ６５が、右手６６Ｒにフォーク６７を持って、食事しながら情報端末装置５０の表示画面５２ａ上に表示されたスルー画７１ｂを見ていることを示している。
【００７７】
撮影者であるユーザ６１によって撮像されて表示されたスルー画７１ａに対応するスルー画７１ｂが、情報端末装置５０の表示画面５２ａ上に表示されることになる。なお、スルー画７１ｂがスルー画７１ａをリサイズしたものである場合もあるが、スルー画７１ｂによって現在撮影中の動画像の確認が可能である。
【００７８】
図６Ｃは表示部５２の表示画面５２ａ上に表示される具体的なアシスタント表示８３の一例を示す説明図である。表示画面５２ａ上に表示されたアシスタント表示８３には、スルー画７１ｂの他に、撮影のアドバイスを指示するためのアドバイスボタン８３ａ、ユーザが好みのシーンを指定するためのハイライトボタン８３ｂ、ユーザが好みの表情を指定するための表情イイネボタン８３ｃ、及び外部カメラモード表示８２に戻るためのボタン８３ｄが含まれる。
【００７９】
いま、ここで、ユーザ６５が表示画面５２ａ上に表示されたスルー画７１ｂを見ながら、撮影のアドバイスを行うことを希望するものとする。この場合には、ユーザ６５は、アシスタント表示８３上のアドバイスボタン８３ａをタップする。そうすると、表示制御部５１ｂは表示画面５２ａ上にアドバイス表示８４を表示する。もちろん、ここでアドバイスを出すだけでなく、操作の補助を行っても良い。アドバイスを出して、依頼が来た場合に、それを行うようにしてもよい。
【００８０】
図６Ｄは表示部５２の表示画面５２ａ上に表示されるアドバイス表示８４の一例を示す説明図である。表示画面５２ａ上に表示されたアドバイス表示８４には、スルー画７１ｂ、撮影のアドバイスモードであることを示す表示８４ａ、アドバスの内容を指示するためのスイッチ８４ｂ、及びアシスタント表示８３に戻るためのボタン８４ｃが含まれる。スイッチ８４ｂは、撮影範囲を前後左右の移動方向に移動させるための方向キーを含む。
【００８１】
例えば、ユーザ６５が表示画面５２ａ上に表示されたスルー画７１ｂを見ながら、現在の撮影範囲よりも左側を撮影するように、撮影範囲を左側に変更するように希望するものとする。この場合には、ユーザ６５はスイッチ８４ｂの「左」のキーをタップする。
もちろん、これ以外にも、様々な撮影のアドバイスはあり得るが、例えば、撮影パラメータのアドバイスとして、ホワイトバランス、アートフィルタ、観察を容易にする特殊光観察を含む特殊画像処理等の画像処理があり、ピント（焦点位置）、画角（焦点距離）、露出制御（絞り値、電子シャッタ速度、ＩＳＯ感度、露出補正値）等の撮像部がもっぱら担う撮影パラメータであってもよい。もちろん、これらの類似効果処理は画像処理で代用も可能である。つまり、この発明は、撮像部から得られた画像コマと当該各画像コマを特定する情報が付加された画像を送信する送信部を有する撮像装置で受信部を有し、それが上記一連の画像コマのうちの特定画像コマの編集を指示するための編集情報であって上記特定画像を特定する情報を含む編集情報を受信する特徴がある。さらに、記録再生制御部１１ａによって、上記編集情報に従って、撮影した画像（コマ）を特定して編集したり画像加工したりできるようになっている。また、撮影パラメータ制御を行う撮影パラメータ制御部を具備するような変形例があってもよい。
【００８２】
編集点制御部５１ｄは、ステップＳ２８の次のステップＳ２９において、アドバイス送信の指示があったか否かを判定しており、ユーザのスイッチ８４ｂの操作によって処理をステップＳ３０に移行して、第１通信部５５ａにより編集情報であるアドバイス情報を撮像装置４０にユニキャストで送信させる。なお、編集点制御部５１ｄは、１台の撮像装置４０に対して複数の情報端末装置５０からの情報に基づいて編集動画を生成する場合を考慮して、編集者情報及び操作時刻情報も同時に伝送する。また、第１通信部５５ａは、他の情報端末装置５０と撮像装置４０との通信が可能なように、アドバイス情報の送信後に撮像装置４０との通信を切断する。
なお、ユニキャストは、指定した特定の送信相手にデータを送信するので、確実な双方向通信の確認も伴った指定通信が可能となる。また、このアドバイス等の送信は、継続的に行うことがなく、散発的であって通信回線を占有しないで済む。これによって、開いた時間を使って多くの機器からのアドバイスを受けることが可能である。多くの機器で受信できるブロードキャストやマルチキャストなどでは、想定外の制御や混信等が起こりうるが、これを許すような利用シーンであれば、ユニキャストに限る必要はない。
【００８３】
撮像装置４０の編集処理部４１ｃは、ステップＳ６の次のステップＳ７においてアドバイス情報の有無を判定しており、ステップＳ８において第１通信部４４ａを介してアドバイス情報を受信して、制御部４１に与える。編集処理部４１ｃはアドバイス情報の内容に応じた表示を表示部４７の表示画面４７ａ上に表示させる。なお、制御部４１は、アドバイス情報を受信した段階で撮影が開始されていない場合には、アドバイス情報の受信によって自動的に撮影を開始するようにしてもよい。
【００８４】
図７Ａはこの場合における画面表示の一例を示す説明図である。図７Ａの例では、撮像装置４０は、筐体４０ａには、シャッタボタン９１の他に、ダイヤルやボタン等の操作部９２〜９４等が設けられている。また、撮像装置４０は、ビューファインダ９５も設けられている。
【００８５】
図７Ａの例では、表示画面４７ａ上に表示されたスルー画１００ａ上には、アドバイス情報に基づくアドバイス１０１ａが表示されている。このアドバイス１０１ａは、情報端末装置５０において、ユーザ６５がアドバイス表示８４上のスイッチ８４ｂの左キーを操作したことにより表示されたものであり、表示画面４７ａ上に表示された「左」の文字によって、ユーザ６５が撮影者であるユーザ６１に、左側を撮影して欲しいことを希望していることが分かる。
【００８６】
情報端末装置５０の編集点制御部５１ｄは、ステップＳ２９においてアドバイス送信が指示されないと判定した場合には、次のステップＳ３１において、イイネ通信が指示されたか否かを判定する。ユーザ６５が、図６Ｃのアシスタント表示８３上のハイライトボタン８３ｂをタップするものとする。ハイライトボタン８３ｂはユーザが好みのシーンを指定するためのものであり、編集点制御部５１ｄは、ハイライトボタン８３ｂが操作されると、表示制御部５１ｂを制御して、表示画面５２ａ上に図６Ｅのハイライト表示８５を表示させる。
【００８７】
図６Ｅは表示部５２の表示画面５２ａ上に表示されるハイライト表示８５の一例を示す説明図である。表示画面５２ａ上に表示されたハイライト表示８５には、スルー画に基づく複数コマのサムネイル表示７２、編集点として指定するコマを選択するための選択ボタン８５ａ、及びアシスタント表示８３に戻るためのボタン８５ｂが含まれる。
【００８８】
編集点制御部５１ｄは、ハイライトボタン８３ｂの操作時点におけるコマだけでなく、その前の３コマを含む４コマの画像をサムネイル表示７２によって表示する（ステップＳ３２）。ユーザ６５は、表示されたサムネイル表示７２中の所望の画像上をタップすることで編集点を指定する。ユーザ６５はサムネイル表示７２上の画像をタップした後、選択ボタン８５ａをタップする。これにより、編集点制御部５１ｄは、ユーザ６５が指定した画像（イイネコマ）のフレーム情報を含む編集情報（この場合にはイイネ情報）を生成して、第１通信部５５ａを介して撮像装置４０に送信させる（ステップＳ３３）。
【００８９】
この場合にも、編集点制御部５１ｄは、編集者情報及び操作時刻情報を編集情報と同時に送信させ、第１通信部５５ａは、情報の送信後に撮像装置４０との通信を切断する。なお、制御部５１は、ステップＳ３３の次にステップＳ３４において、戻る操作が行われたか否かを判定する。制御部５１は、戻る操作が行われた場合には、処理をステップＳ２１に戻してモード表示を行い、戻る操作が行われなかった場合には処理をステップＳ２４に戻してステップＳ２４〜ステップＳ３３の処理を繰り返す。
【００９０】
撮像装置４０の編集処理部４１ｃは、ステップＳ８の次のステップＳ９においてイイネ情報等の編集情報の受信の有無を判定しており、ステップＳ１０において第１通信部４４ａを介して編集情報を受信して、制御部４１に与える。編集処理部４１ｃは編集情報の内容に応じた表示を表示部４７の表示画面４７ａ上に表示させる。なお、制御部４１は、編集情報を受信した段階で撮影が開始されていない場合には、編集情報の受信によって自動的に撮影を開始するようにしてもよい。
【００９１】
図７Ｂはこの場合における画面表示の一例を示す説明図である。図７Ｂの例では、表示画面４７ａ上に表示されたスルー画１００ｂ上には、イイネ情報に基づくイイネ表示１０１ｂが表示されている。このイイネ表示１０１ｂによって、撮影者であるユーザ６１は、情報端末装置５０を操作する誰かが、現在撮影中のシーンを気に入っていることを知ることができ、現在の撮影範囲を維持しようと努めたり、ピント合わせに注意したりする。このような表示によって、撮影者が集中して撮影する意欲の向上も期待できる。
【００９２】
編集処理部４１ｃは、記録制御部４１ｂを制御して、イイネコマとして指定されたフレームの画像に対応させて編集情報を付加して記録する。制御部４１は、ステップＳ１１において、撮影の開始操作又は終了操作が行われたか否かを判定する。制御部４１は、これらの操作が行われていない場合には、処理をステップＳ１に戻して、ステップＳ１〜ステップＳ１０の処理を繰り返す。
【００９３】
また、編集処理部４１ｃは、編集情報を記録する画像に付加して記録するだけでなく、編集情報が付加された画像について編集情報に基づく編集を行って記録してもよい。例えば、編集処理部４１ｃは、動画撮像中に、編集情報が付加された画像を、静止画記録を指定する編集情報に従って静止画記録するようになっていてもよい。また、編集処理部４１ｃは、編集情報を含む所定期間の画像、例えばイイネコマ前後の数コマの画像からなるハイライト動画を生成して、記録部４３にイイネファイルとして記録させてもよい。このイイネファイルは、各情報端末装置５０を操作する複数のユーザが自分の好みのシーン等を指定することによって得られた動画であり、撮像装置４０を操作する撮影者は、何らの編集操作をすることもなく、動画を共用するユーザの好みを反映した動画を記録することが可能である。
【００９４】
撮影開始又は終了操作が行われると、制御部４１は、ステップＳ１２において撮影の開始又は終了を行う。撮影の終了時には、制御部４１は、記録中の画像を圧縮してファイル化する。
【００９５】
なお、図３及び図４では図示を省略したが、アシスタント表示８３において表情イイネボタン８３ｃが操作されることがある。撮像装置４０において、動画撮影が開始されると、制御部４１の画像解析部４１ｅは、撮像画像に対する画像解析処理によって、シーンの解析や画像中の人物の判定及び表情の判定等を行っており、判定結果を動画の各コマに対応させて記録させている。
【００９６】
情報端末装置５０を操作するユーザ６５が表情イイネボタン８３ｃを操作すると、編集点制御部５１ｄは、当該操作時点において表示されているコマを特定するフレーム情報を含む編集情報（この場合には表情イイネ情報）を生成して、第１通信部５５ａにより撮像装置４０に送信する。
【００９７】
この編集情報は編集処理部４１ｃに供給され、編集処理部４１ｃは、フレーム情報によって指定されたコマの画像に表情イイネボタン８３ｃの操作に対応した編集情報を付加する。例えば、画像解析部４１ｅによって各画像中の人物の表情がランク付けされ、ランク情報が各画像に対応されて記録されている場合には、編集処理部４１ｃは、表情イイネ情報によって指定されたコマの画像に対応したランクと同一ランクの対応する人物が含まれる画像を選択して出力することも可能である。
【００９８】
（再生時）
図８は撮像装置４０の再生モードにおける動作を示すフローチャートである。
【００９９】
図８のステップＳ４１において、制御部４１は、再生モードが指定されているか否かを判定する。制御部４１は、再生モードが指定されていない場合には、指定されている他のモードに移行し、再生モードが指定されている場合には、ステップＳ４２において再生する画像の選択を受け付ける。制御部４１は、ステップＳ４３において画像が選択済みであるか否かを判定し、選択済みでない場合には、ステップＳ５２に処理を移行して終了操作が行われたか否かを判定する。ユーザが再生画像を指定すると、制御部４１は、画像選択済みと判定して、処理をステップＳ４４に移行して画像再生を開始する。
【０１００】
制御部４１は、ステップＳ４５において、再生画像が動画であるか否かを判定する。制御部４１は、再生画像が静止画の場合には、処理をステップＳ５２に移行して終了操作の判定を行う。再生画像が動画である場合には、制御部４１は、次のステップＳ４６においてスキップ操作の有無を判定する。
【０１０１】
ユーザがスキップ操作を行うと、制御部４１は、ステップＳ４６から処理をステップＳ４７に移行して、特定のコマまでスキップを行い、ステップＳ４８において動画が終了したか否かを判定する。動画が終了していない場合には、制御部４１はステップＳ４８からステップＳ４６に処理を戻してスキップ操作の有無を判定する。スキップ操作がない場合には、制御部４１は、ステップＳ４６からステップＳ５５に処理を移行してイイネ情報が対応付けられたコマが再生されたか否かを判定する。制御部４１は、イイネ情報が対応付けられたコマが再生されていない場合には、処理をステップＳ５５からステップＳ４８に移行して動画終了を判定する。
【０１０２】
このような動画再生の途中において、イイネ情報が対応付けられたコマが再生されるものとする。そうすると、制御部４１は、処理をステップＳ５５からステップＳ５６に移行して、強調再生を行う。イイネ情報が対応付けられたコマは、情報端末装置５０を操作するユーザの好みのシーンであり、この画像については、例えば、静止画風に再生したり、拡大表示等により強調表示を行う。これにより、イイネ情報を指定したユーザにとって、自分の好みのシーンを楽しみながら見ることができる。
【０１０３】
なお、イイネ情報と共に編集者情報及び操作時刻情報もコマに対応付けられており、制御部４１は、編集者情報に基づいて所定のユーザの好みのシーンのみについて強調再生を行うこともできる。
【０１０４】
制御部４１は、ステップＳ４８において動画が終了したものと判定すると、次のステップＳ４９において編集モードが指定されているか否かを判定し、ステップＳ５０において外部送信が指定されているか否かを判定する。制御部４１は、ステップＳ４９，Ｓ５０において編集モードも外部送信も指定されていないと判定した場合には、処理をステップＳ５２に移行して終了操作の有無を判定する。
【０１０５】
制御部４１は、ステップＳ４９において、編集モードが指定されていると判定した場合には、処理をステップＳ５７に移行してハイライト編集が指定されているか否かを判定する。ハイライト編集が指定されていない場合には、制御部４１は、次のステップＳ４９において通常のマニュアル編集モードに移行してユーザによるマニュアル編集を受け付ける。
【０１０６】
制御部４１は、ステップＳ５７において、ハイライト編集が指定されていると判定した場合には、次のステップＳ５８において、編集情報を用いた編集を行う。例えば、編集処理部４１ｃは、イイネ情報が対応付けられたコマの画像を含む前後所定の期間の画像を集めて、動画を生成する。この場合には、イイネ情報が対応付けられた画像近傍の所定期間における画像のみが連結されたハイライト集の動画が生成される。また、この場合にも、編集者情報を用いることで、特定のユーザのみの好みのシーンを集めたハイライト集の動画を生成してもよい。
【０１０７】
図９及び図１０はこのハイライト編集を説明するための説明図である。図９は横軸に時間をとって、動画撮影によって得られた一連のコマの画像Ｉ１，Ｉ２，・・・を示している。いま、例えば、情報端末装置５０を操作するユーザによって、画像Ｉ４に対応してイイネ情報が対応付けられたものとする。この場合には、編集処理部４１ｃは、例えば、イイネ情報が対応付けられたコマの画像を含む２コマからなる画像を編集後の動画像として採用する。図１０はこの場合の動画像を示しており、編集された動画像は、画像Ｉ４，Ｉ５のみによって構成される。
【０１０８】
ステップＳ５８の編集により生成される動画は、情報端末装置５０を操作する各ユーザが各自の好みのシーンにおいて操作することで付加されたイイネ情報に基づく動画であり、各ユーザが好みのシーンのみが集められて生成されたハイライト集である。各ユーザは、ハイライトボタン８３ｂをタップするという簡単な操作によって、自分の好みのシーンを編集点として指定することができ、結婚式を楽しみながら、同時に編集操作を行うことができる。編集された動画は、記録制御部４１ｂによって、記録部４３に記録される。
【０１０９】
制御部４１は、ステップＳ５０において、外部送信が指定されていると判定した場合には、処理をステップＳ５１に移行して、記録された動画像、静止画像を特定のサービスに投稿する。制御部４１は、ステップＳ５１に投稿処理が終了するか又はステップＳ５２において終了操作があったと判定した場合には、処理を図３のステップＳ１に戻す。
【０１１０】
（外部サーバ）
図１１は外部サーバ３１における動作を説明するためのフローチャートである。
【０１１１】
外部サーバ３１は、ステップＳ７１において動画サービスであるか否かの判定を行う。動画サービスでない場合には、指定された他のサービスを実行する。動画サービスが指定されている場合には、外部サーバ３１は、ステップＳ７２において、サービスを特定するためのボタン一覧やサムネイルを表示し、ステップＳ７３において再生が指示されたか否かを判定する。
【０１１２】
外部サーバ３１は、再生が指示されていない場合には、処理をステップＳ７３からステップＳ７４に移行して投稿の有無を判定する。外部サーバ３１は、投稿がない場合には、処理をステップＳ７４からステップＳ７２に戻し、投稿があった場合には、投稿を受け付ける（ステップＳ７５）。なお、外部サーバ３１は、イベント毎に投稿を受け付けることもできる。これにより、例えば、同一の催事について取得された複数の撮像装置からの投稿は同一イベントに関連するものとして例えば関連するフォルダ内に格納される。
【０１１３】
外部サーバ３１は、ステップＳ７３において再生が指示されていると判定した場合には、処理をステップＳ７６に移行してイベントハイライト再生が指定されているか否かを判定する。イベントハイライト再生が指定されていない場合には、外部サーバ３１は、次のステップＳ７８において選択された画像を通常再生する。
【０１１４】
外部サーバ３１は、ステップＳ７６において、イベントハイライト再生が指定されていると判定した場合には、次のステップＳ７７において、編集情報を用いて編集しながらの再生を行う。例えば、外部サーバ３１は、イイネ情報が対応付けられたコマの画像を含む前後所定の期間の画像を集めて、動画を生成する。また、外部サーバ３１は、当該イベントについて複数の動画像が投稿されている場合には、複数の投稿について、その操作時刻情報を用いることで、イイネ情報が対応付けられた画像近傍の所定期間における画像のみを時間的に繋ぎながら、各投稿を横断再生する。
【０１１５】
図１２はこの横断再生を説明するための説明図である。図１２の例は、３台の撮像装置４０によって撮像されて投稿された３つの動画像について、同一時間帯においてイイネ情報が付加された動画像の部分を抜き出して横断再生する例を示している。
【０１１６】
画像Ｉ１１〜Ｉ１３は、１台目の撮像装置４０によって取得されてイイネ情報が付加された画像Ｉ１２及びその前後の２コマの画像Ｉ１１，Ｉ１３を示している。同様に、画像Ｉ２１〜Ｉ２３は、２台目の撮像装置４０によって取得されてイイネ情報が付加された画像Ｉ２２及びその前後の２コマの画像Ｉ２１，Ｉ２３を示しており、画像Ｉ３１〜Ｉ３３は、３台目の撮像装置４０によって取得されてイイネ情報が付加された画像Ｉ３２及びその前後の２コマの画像Ｉ３１，Ｉ３３を示している。
【０１１７】
これらの画像は時間的に同一時間帯の画像であり、外部サーバ３１は、時間が早い順に、３つの投稿画像からイイネ情報に基づく所定コマを抽出して、連続的に再生する。即ち、図１２の例では、画像Ｉ１１〜Ｉ１３、Ｉ２１〜Ｉ２３、Ｉ３１〜Ｉ３３が連続的に再生される。
【０１１８】
このように、複数の撮像装置によって撮像した動画についても、動画を鑑賞するユーザが自ら指定した編集情報を用いることで、簡単に各ユーザが希望する動画像を生成することができる。
【０１１９】
また、上述したように、パラメータ変更、調整、編集処理は、撮像装置４０が行ってもよく、出来るものは外部機器で行ってもよい。撮像装置４０から編集情報が付加された画像が出力できれば、外部機器においてその編集情報を用いることで、短時間に編集処理を行うことが可能である。ここで、パラメータとしては、ホワイトバランス、アートフィルタ、観察を容易にする特殊光観察を含む特殊画像処理等の画像処理パラメータに限らず、ピント（焦点位置）、画角（焦点距離）、露出制御（絞り値、電子シャッタ速度、ＩＳＯ感度、露出補正値）等の撮像部がもっぱら担う撮影パラメータであってもよい。もちろん、これらの類似効果処理は画像処理で代用も可能である。
【０１２０】
このように本実施の形態においては、動画撮影の途中において、例えば好みのシーンのタイミングで編集点を示す編集情報を付加し、当該編集情報を利用して編集を行うことで、変化と見栄えのある動画を得ることができる。この場合において、本実施の形態においては、動画撮影者以外の情報端末装置の操作者に編集情報を付加させることを可能にする。これにより、本実施の形態においては、動画撮影者に動画撮影操作を専念させることができ、パラメータ用などの操作部材の操作に伴う手振れの発生や、集中力の途切れによる失敗を防止することができると共に、フレーミング等を理想的なものにすることを容易にする。また、本実施の形態は、編集後の動画を鑑賞、観察する１人以上のユーザが、各ユーザが操作する情報端末装置により簡単な操作で編集情報、要約情報の付加を行うことを可能にすることにより、動画鑑賞を行うユーザの好み等を反映した鑑賞性、観察性に優れた動画、画像を得るものである。
【０１２１】
上記実施の形態においては、撮像のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。
こうした民生的な用途の他、動きや変化を観察、検査する科学分野、医療分野の画像取得にも有効であることは言うまでもない。フレーミングも、必ずしも手で支え持って行うものに限るものではなく、ステージやロボット、ドローン等で動かしながら撮影するものも含んだ概念である。つまり、こうした場合は、移動や撮像操作に専念する必要があるので、本願のような工夫は非常に重要となる。
【０１２２】
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。例えば、複数の人物を想定した部分は、それぞれ上述のように様々な移動機器（ロボット、ドローン等）や人工知能に置き換えても良い。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【０１２３】
なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。
【０１２４】
なお、ここで説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
［付記１］
撮像部と、
上記撮像部から得られた画像コマと当該各画像コマを特定する情報が付加された画像を送信する送信部と、
上記一連の画像コマのうちの特定画像コマの編集を指示するための編集情報であって上記特定画像を特定する情報を含む編集情報を受信する受信部と、
上記編集情報に従って上記撮像部の撮影パラメータ制御を行う撮影パラメータ制御部と、
を具備したことを特徴とする撮像装置。
［付記２］
コンピュータに、
撮像によって一連の画像を取得するステップと、
取得された上記一連の画像を、各画像を特定する情報を付加して送信するステップと、
送信された上記一連の画像を受信するステップと、
受信された上記一連の画像のうちの特定画像の編集を指示するための編集情報であって上記特定画像を特定する情報を含む編集情報を生成するステップと、
上記編集情報を送信するステップと、
送信された上記編集情報を受信するステップと、
受信された上記編集情報を、上記撮像した一連の画像に対応させて記録するステップと
を実行させるための情報処理プログラム。
【符号の説明】
【０１２５】
１０… 情報収集装置、１１…制御部、１１ａ…記録再生制御部、１１ｂ…通信制御部、１２…キャプチャ部、１３…記録部、１４１…通信部、２０…情報端末装置、２１…制御部、２２…編集点制御部、２２…表示部、２３…操作部、２４…通信部。
【図１】
2018148310.tif 000003
【図２】
2018148310.tif 000004
【図３】
2018148310.tif 000005
【図４】
2018148310.tif 000006
【図５Ａ】
2018148310.tif 000007
【図５Ｂ】
2018148310.tif 000008
【図６Ａ】
2018148310.tif 000009
【図６Ｂ】
2018148310.tif 000010
【図６Ｃ】
2018148310.tif 000011
【図６Ｄ】
2018148310.tif 000012
【図６Ｅ】
2018148310.tif 000013
【図７Ａ】
2018148310.tif 000014
【図７Ｂ】
2018148310.tif 000015
【図８】
2018148310.tif 000016
【図９】
2018148310.tif 000017
【図１０】
2018148310.tif 000018
【図１１】
2018148310.tif 000019
【図１２】
2018148310.tif 000020