(57)【要約】  画像コンテンツの編集時に注目フレームの画像における注目点を容易に認識可能とする。  記録媒体に動画像データを記録する。記録媒体に、動画像データの特定フレームに対応付けて、画像上の特定位置を示す位置情報を含む電子マークデータをさらに記録する。例えば、電子マークデータは、テキストデータ、さらにはマーク種別データを含む。例えば、動画像データに対応したモニタリング用画像データを外部機器（例えば、撮像モニタリング装置）に送信し、外部機器から、位置情報を含む電子マーク付与操作情報を受信する。
2018180662.tif 000002
【特許請求の範囲】
【請求項１】
記録媒体に動画像データを記録する記録部を備え、
上記記録部は、上記記録媒体に、上記動画像データの特定フレームに対応付けて、画像上の特定位置を示す位置情報を含む電子マークデータをさらに記録する
画像処理装置。
【請求項２】
上記電子マークデータは、テキストデータを含む
請求項１に記載の画像処理装置。
【請求項３】
上記電子マークデータは、マーク種別データを含む
請求項１に記載の画像処理装置。
【請求項４】
上記電子マークデータは、上記特定フレームを示すフレーム情報を含む
請求項１に記載の画像処理装置。
【請求項５】
上記動画像データに対応したモニタリング用画像データを外部機器に送信する送信部と、
上記外部機器から、上記位置情報を含む電子マーク付与操作情報を受信する受信部をさらに備え、
上記記録部は、上記電子マーク付与操作情報の受信タイミングに対応した上記動画像データの特定フレームに対応付けて上記電子マークデータを記録する
請求項１に記載の画像処理装置。
【請求項６】
撮像部と、
上記撮像部で得られた撮像信号を処理して上記動画像データを得る撮像信号処理部をさらに備える
請求項１に記載の画像処理装置。
【請求項７】
上記記録媒体から、上記動画像データと共に上記電子マークデータを取り出して外部機器に送信する送信部をさらに備える
請求項１に記載の画像処理装置。
【請求項８】
上記記録部は、
所定長の動画像データからなるクリップデータのそれぞれに対応して、該クリップデータに関係する所定数の電子マークデータのセットを、上記記録媒体に記録する
請求項１に記載の画像処理装置。
【請求項９】
記録媒体に動画像データを記録するステップと、
上記記録媒体に、上記動画像データの特定フレームに対応付けて、画像上の特定位置を示す位置情報を含む電子マークデータを記録するステップを有する
画像処理方法。
【請求項１０】
外部機器からモニタリング用画像データを受信する受信部と、
上記モニタリング用画像データによる画像を表示する画像表示領域を持つ画面を表示する表示部と、
ユーザが上記画像表示領域に表示された画像上の特定位置を指定して電子マーク付与操作をする操作部と、
上記電子マーク付与操作がなされるとき、上記特定位置を示す位置情報が付加された電子マーク付与操作情報を上記外部機器に送信する送信部を備える
画像処理装置。
【請求項１１】
上記画面は、電子マーク選択候補を提示する電子マーク提示領域をさらに持ち、
ユーザは、上記電子マーク提示領域で付与すべき電子マークを選択する
請求項１０に記載の画像処理装置。
【請求項１２】
上記電子マーク提示領域で提示される電子マーク選択候補の情報をテンプレートとして外部機器から受信するテンプレート受信部をさらに備える
請求項１１に記載の画像処理装置。
【請求項１３】
上記電子マーク付与操作がなされるとき、上記表示部は、上記画像表示領域に表示されている画像上の上記特定位置に対応した位置に電子マーク付与表示をする
請求項１０に記載の画像処理装置。
【請求項１４】
上記電子マークはテキストマークであり、上記表示部は、電子マーク付与表示として、テキスト表示をする
請求項１３に記載の画像処理装置。
【請求項１５】
上記表示部は、上記電子マーク付与表示を、電子マーク種別に応じた態様で表示する
請求項１３に記載の画像処理装置。
【請求項１６】
外部機器からモニタリング用画像データを受信する受信ステップと、
上記モニタリング用画像データによる画像を表示する画像表示領域を持つ画面を表示する表示ステップと、
ユーザにより上記画像表示領域に表示された画像上の特定位置が指定されて電子マーク付与操作がされるとき、上記特定位置を示す位置情報が付加された電子マーク付与操作情報を上記外部機器に送信する送信ステップを有する
画像処理方法。
【請求項１７】
動画像データを編集する画像処理装置であって、
上記動画像データには、上記動画像データの特定フレームに対応付けて、画像上の特定位置を示す位置情報を含む電子マークデータが付加されており、
上記動画像データによる画像を表示する画像表示領域を持つ画面を表示する表示部を備え、
上記表示部は、
上記画像表示領域への上記特定フレームの画像表示に対応して、画像上の上記特定位置に対応した位置に電子マーク付与表示をする
画像処理装置。
【請求項１８】
上記電子マークはテキストマークであり、上記表示部は、電子マーク付与表示として、テキスト表示をする
請求項１７に記載の画像処理装置。
【請求項１９】
上記表示部は、上記電子マーク付与表示を、電子マーク種別に応じた態様で表示する
請求項１７に記載の画像処理装置。
【請求項２０】
ユーザが、上記動画像データに付加されている電子マークデータの修正、上記動画像データに付加されている電子マークデータの削除、あるいは上記動画像データに新たな電子マークデータの付加を行うための操作部をさらに備える
請求項１７に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および画像処理方法に関し、詳しくは、動画像データの特定フレームに対応づけて電子マークを記録可能とした画像処理装置等に関する。
【背景技術】
【０００２】
従来、例えば、特許文献１には、記録媒体に記録されている動画像データの特定フレームに対応づけて、この記録媒体に電子マークデータを記録することが記載されており、この電子マークデータにテキストデータを含むことが記載されている。【０００３】
この技術では、電子マークデータの記録から、注目すべきフレームを知ることはできるが、そのフレーム画像のどの位置に注目点があるのか容易に知ることができなかった。近年、画像（映像）コンテンツが高解像度化していることから、画像のどこに注目をすべきかを早く知ることが編集の効率向上に求められている。【０００４】
また、この技術では、テキストデータがフレーム情報としか紐づいていないため、用途が限定的であり、任意のテキストデータを設定できる利点が活かせていない。さらに、この技術では、各装置における電子マークデータの設定、その設定値を共有する仕組みが不足している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２９９０１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本技術の目的は、画像コンテンツの編集時に注目フレームの画像における注目点を容易に認識可能とすることにある。
【課題を解決するための手段】
【０００７】
本技術の概念は、
記録媒体に動画像データを記録する記録部を備え、
上記記録部は、上記記録媒体に、上記動画像データの特定フレームに対応付けて、画像上の特定位置を示す位置情報を含む電子マークデータをさらに記録する
画像処理装置になる。【０００８】
本技術において、記録部により、記録媒体に、動画像データが記録される。さらに、記録部により、記録媒体に、動画像データの特定フレームに対応付けて、画像上の特定位置を示す位置情報を含む電子マークデータが記録される。例えば、電子マークデータは、テキストデータを含む、ようにされてもよい。また、例えば、電子マークデータは、マーク種別データを含む、ようにされてもよい。また、例えば、電子マークデータは、特定フレームを示すフレーム情報を含む、ようにされてもよい。【０００９】
例えば、記録部は、所定長の動画像データからなるクリップデータのそれぞれに対応して、このクリップデータに関係する所定数の電子マークデータのセットを、記録媒体に記録する、ようにされてもよい。この場合、例えば、所定数の電子マークデータのセットは、ＸＭＬデータで作成される。【００１０】
このように本技術によれば、動画像データの特定フレームに対応付けて記録媒体に記録される電子マークデータに画像上の特定位置を示す位置情報が含まれるものである。そのため、画像コンテンツの編集時に、注目フレームの画像における注目点を容易に認識可能となり、編集者の作業効率の向上が可能となる。【００１１】
また、電子マークデータにマーク種別データが含まれることで、画像シーンの特徴、撮像場所、もしくは撮像日時への活用だけでなく、画像シーン内の人物や建物の特定、著作権や商標関連物の抽出等、幅広い用途に活用可能とある。【００１２】
なお、本技術において、例えば、動画像データに対応したモニタリング用画像データを外部機器（例えば、撮像モニタリング装置）に送信する送信部と、外部機器から、位置情報を含む電子マーク付与操作情報を受信する受信部をさらに備え、記録部は、電子マーク付与操作情報の受信タイミングに対応した動画像データの特定フレームに対応付けて電子マークデータを記録する、ようにされてもよい。【００１３】
また、本技術において、例えば、撮像部と、この撮像部で得られた撮像信号を処理して動画像データを得る撮像信号処理部をさらに備える、ようにされてもよい。また、本技術において、例えば、記録媒体から、動画像データと共に上記電子マークデータを取り出して外部機器に送信する送信部をさらに備える、ようにされてもよい。【００１４】
また、本技術の他の概念は、
外部機器からモニタリング用画像データを受信する受信部と、
上記モニタリング用画像データによる画像を表示する画像表示領域を持つ画面を表示する表示部と、
ユーザが上記画像表示領域に表示された画像上の特定位置を指定して電子マーク付与操作をする操作部と、
上記電子マーク付与操作がなされるとき、上記特定位置を示す位置情報が付加された電子マーク付与操作情報を上記外部機器に送信する送信部を備える
画像処理装置にある。【００１５】
本技術において、受信部により、外部機器（例えば、カメラ）からモニタリング用画像データが受信される。表示部により、モニタリング用画像データによる画像を表示する画像表示領域を持つ画面が表示される。ユーザにより操作部の操作により、電子マーク付与操作が行われる。この場合、画像表示領域に表示された画像上の特定位置が指定される。【００１６】
例えば、電子マーク付与操作がなされるとき、表示部は、画像表示領域に表示されている画像上の特定位置に対応した位置に電子マーク付与表示をする、ようにされてもよい。この場合、例えば、電子マークはテキストマークであり、表示部は、電子マーク付与表示として、テキスト表示をする、ようにされてもよい。また、この場合、例えば、表示部は、電子マーク付与表示を、電子マーク種別に応じた態様で表示する、ようにされてもよい。これにより、ユーザは、画像の如何なる位置を注目点として、いかなる電子マークを付与したかを、容易に確認可能となる。【００１７】
電子マーク付与操作がなされるとき、送信部により、画像上の特定位置を示す位置情報が付加された電子マーク付与操作情報が外部機器に送信される。外部機器では、この電子マーク付与操作情報の受信タイミングに対応した動画像データの特定フレームに対応付けて、電子マークデータが記録される。【００１８】
このように本技術によれば、ユーザの操作に応じて、画像上の特定位置を示す位置情報が付加された電子マーク付与操作情報が外部機器に送信される。そのため、外部機器では、電子マーク付与操作情報の受信タイミングに対応した動画像データの特定フレームに対応付けて、画像上の特定位置を示す位置情報を含む電子マークデータを記録することが可能となる。【００１９】
なお、本技術において、例えば、画面は、電子マーク選択候補を提示する電子マーク提示領域をさらに持ち、ユーザは、電子マーク提示領域で付与すべき電子マークを選択する、ようにされてもよい。この場合、ユーザは、付与すべき電子マークの選択を容易に行うことが可能となる。【００２０】
この場合、例えば、電子マーク提示領域で提示される電子マーク選択候補の情報をテンプレートとして外部機器から受信するテンプレート受信部をさらに備える、ようにされてもよい。この場合、電子マーク選択候補の設定を容易に行うことができ、また、他装置と電子マーク選択候補の共有化を図ることが可能となる。【００２１】
また、本技術の他の概念は、
動画像データを編集する画像処理装置であって、
上記動画像データには、上記動画像データの特定フレームに対応付けて、画像上の特定位置を示す位置情報を含む電子マークデータが付加されており、
上記動画像データによる画像を表示する画像表示領域を持つ画面を表示する表示部を備え、
上記表示部は、
上記画像表示領域への上記特定フレームの画像表示に対応して、画像上の上記特定位置に電子マーク付与表示をする
画像処理装置にある。【００２２】
本技術は、動画像データを編集する画像処理装置である。動画像データには、この動画像データの特定フレームに対応付けて、画像上の特定位置を示す位置情報を含む電子マークデータが付加されている。【００２３】
表示部により、動画像データによる画像を表示する画像表示領域を持つ画面が表示される。そして、画像表示領域への特定フレームの画像表示に対応して、画像上の特定位置に対応した位置に電子マーク付与表示がされる。例えば、電子マークはテキストマークであり、表示部は、電子マーク付与表示として、テキスト表示をする、ようにされてもよい。また、例えば、表示部は、電子マーク付与表示を、電子マーク種別に応じた態様で表示する、ようにされてもよい。【００２４】
このように本技術によれば、画像表示領域への特定フレームの画像表示に対応して、画像上の特定位置に電子マーク付与表示がされるものである。そのため、画像コンテンツの編集時に、注目フレームの画像における注目点を容易に認識可能となり、編集者の作業効率の向上が可能となる。【００２５】
なお、本技術において、例えば、ユーザが、動画像データに付加されている電子マークデータの修正、動画像データに付加されている電子マークデータの削除、あるいは動画像データに新たな電子マークデータの付加を行うための操作部をさらに備える、ようにされてもよい。
【発明の効果】
【００２６】
本技術によれば、画像コンテンツの編集時に注目フレームの画像における注目点を容易に認識可能となる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００２７】
【図１】実施の形態としての撮像編集システムの構成例を示すブロック図である。
【図２】カメラの構成例を示すブロック図である。
【図３】電子マークデータのセットのＸＭＬフォーマットの一例を示す図である。
【図４】撮像モニタリング装置の構成例を示すブロック図である。
【図５】撮像モニタリング装置の表示画面（ＵＩ画面）の一例を示す図である。
【図６】編集者端末装置の構成例を示すブロック図である。
【図７】編集者端末装置の表示画面（ＵＩ画面）の一例を示す図である。
【発明を実施するための形態】
【００２８】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例
【００２９】
＜１．実施の形態＞
［撮像編集システムの構成例］
図１は、実施の形態としての撮像編集システム１０の構成例を示している。この撮像編集システム１０は、カメラ１０１と、撮像モニタリング装置１０２と、編集者端末装置１０３と、テンプレート管理装置１０４を有している。
【００３０】
カメラ１０１は、被写体を撮像して画像データを得、その画像データをメモリカード等の記録媒体に記録する。記録開始から記録終了までの一連の画像データは、１つのクリップデータ（Clip）として記録される。記録媒体において、画像データは、クリップ毎にファイル化され、ファイルシステムにより管理される。
【００３１】
また、カメラ１０１は、撮像して得られた画像データに基づいてモニタリング用画像データを生成し、このモニタリング用画像データを撮像モニタリング装置１０２にネットワーク、例えばＷｉ−Ｆｉ等の無線ネットワークあるいは有線ネットワークを介して送信する。このモニタリング用画像データは、元の画像データに対してサイズを小さくして、転送ビットレートを低く抑えたものである。
【００３２】
撮像モニタリング装置１０２は、例えば、スマートフォン、タブレット、パーソナルコンピュータなどの端末機器で構成される。撮像モニタリング装置１０２は、カメラ１０１からネットワークを介して送られてくるモニタリング用画像データを受信する。そして、撮像モニタリング装置１０２は、モニタリング用画像データによる画像を表示する画像表示領域を持つ画面を表示部に表示する。なお、撮像モニタリング装置１０２は、必ずしも表示部を物理的に一体として持つ必要はない。
【００３３】
この撮像モニタリング装置１０２において、ユーザ（操作者）は、電子マーク付与操作を行うことができる。なお、電子マークとして、そのデータにテキストデータを含めない単なるマークとすることも考えられる。しかし、この実施の形態においては、電子マークとして、そのデータにテキストデータを含め、さらに、マーク種別データも含めるものとする。
【００３４】
電子マーク付与操作として、ユーザは、注目すべき特定フレームにおいて、画像表示領域に表示された画像上の注目点を特定位置として指定する。ここで、付与すべき電子マークは一つであってもよいが、この実施の形態において、ユーザは、電子マークの選択候補から付与すべき電子マークを選択可能とされる。
【００３５】
そのために、撮像モニタリング装置１０２は、表示部に表示する画面に、上述の画像表示領域の他に、電子マーク選択候補を提示する電子マーク提示領域を持たせる。ユーザは、この電子マーク提示領域で付与すべき電子マークを選択し、その後に、上述した電子マーク付与操作を行うことになる。このように付与すべき電子マークの選択が可能とされることで、ユーザは、適切なテキストデータを持つ電子マークを付与することが可能となる。
【００３６】
撮像モニタリング装置１０２は、インターネット等のネットワークを介して接続されているテンプレート管理装置１０４から、電子マーク提示領域で提示される電子マーク選択候補の情報のテンプレートを受信する。この場合、撮像モニタリング装置１０２は、テンプレート管理装置１０４にアクセスして、複数の種類から、所望のテンプレートを受信する。撮像モニタリング装置１０２は、テンプレート管理装置１０４から受信されたテンプレートに基づいて、選択可能な電子マークを設定し、画面が持つ電子マーク提示領域に提示する。撮像モニタリング装置１０２は、このようにテンプレート管理装置１０４からテンプレートを受信して、選択可能な電子マークを設定することを、カメラ１０１における撮像開始前に実行する。
【００３７】
このように電子マーク選択候補の情報をテンプレート管理装置１０４からテンプレートとして受信する構成とされることで、撮像モニタリング装置１０２は、電子マーク選択候補の設定を容易に行うことができ、また、他装置と電子マーク選択候補の共有化を図ることが可能となる。
【００３８】
撮像モニタリング装置１０２は、ユーザによる電子マーク付与操作があるとき、画面が持つ画像表示領域に表示されている画像上の、上述したようにユーザが注目点として指定した特定位置に対応した位置に電子マーク付与表示をする。この実施の形態においては、ユーザが付与すべきものとして選択した電子マークのデータとして含まれるテキストデータによるテキスト表示が、マーク種別に応じた態様、例えば色や形状等で行わる。このように電子マーク付与表示が行われることで、ユーザは、自身の電子マーク付与操作で、画像の如何なる位置を注目点として、いかなる電子マークを付与したかが、容易に確認可能となる。
【００３９】
撮像モニタリング装置１０２は、ユーザによる電子マーク付与操作があるとき、電子マーク付与操作情報を、ネットワークを介して、カメラ１０１に送信する。この電子マーク付与操作情報には、上述したようにユーザが注目点として指定した特定位置を示す位置情報、電子マーク情報（テキストデータ、マーク種別データ）が付加される。この場合、位置情報は、絶対位置あるいは相対位置を示すデータである。絶対位置を示すデータである場合、特定位置は、例えば、カメラ１０１で扱う動画像データの解像度での画素座標データで表される。一方、相対位置を示すデータである場合、特定位置は、例えば、横方向、縦方向の画素全体をそれぞれ１００％としたそれぞれの比率で表される。この実施の形態では、位置情報は絶対位置データであるとする。
【００４０】
カメラ１０１は、撮像モニタリング装置１０２からネットワークを介して送られてくる電子マーク付与操作情報を受信する。カメラ１０１は、この電子マーク付与操作情報の受信タイミングに対応した動画像データの特定フレームに対応付けて、記録媒体に、電子マークデータを記録する。この実施の形態において、この電子マークデータには、特定フレームを示すフレーム情報、電子マーク付与操作情報に付加されている位置情報、電子マーク情報（テキストデータ、マーク種別データ）などが含まれる。
【００４１】
カメラ１０１は、例えば、クリップデータのそれぞれに対応付けて、このクリップデータに関係する所定数の電子マークデータのセットを、クリップメタデータとして、記録媒体に記録する。そのため、例えば、特定フレームを示すフレーム情報は、クリップデータを構成する複数のフレーム画像データの先頭からのフレームカウント数とされる。
【００４２】
また、カメラ１０１は、記録媒体に記録されているクリップデータ（動画像データ）と共にそれに関連付けて記録されている電子マークデータを取り出して、ネットワーク、例えばＷｉ−Ｆｉ等の無線ネットワークあるいは有線ネットワーク、あるいはインターネット等を介して転送する。この転送は、ユーザによる手動操作、あるいは例えば編集者端末装置１０３がカメラ１０１にネットワークを介して接続されるときに、自動的に行われる。
【００４３】
編集者端末装置１０３は、カメラ１０１からネットワークを介して送られてくるクリップデータおよびそれに対応した電子マークデータを受信する。編集者端末装置１０３は、クリップデータによる画像を表示する画像表示領域を持つ画面を表示部に表示する。この場合、電子マークデータに基づいて、画像表示領域への電子マーク付与に係る特定フレームの画像表示に対応して、画像上の特定位置に対応した位置に電子マーク付与表示（アイコン表示）が行われる。この電子マーク付与表示の態様は、上述の撮像モニタリング装置１０２における電子マーク付与表示と同様である。この場合、特定フレームの近辺、つまり特定フレームを含む一定期間で連続して電子マーク付与表示が行われる。
【００４４】
このように電子マーク付与表示が行われることで、ユーザ（編集者）は、画像コンテンツの編集時に、注目フレームの画像における注目点を容易に認識可能となり、作業効率の向上が可能となる。
【００４５】
また、編集者端末装置１０３において、ユーザは、クリップデータに付加されている電子マークデータの修正、クリップデータに付加されている電子マークデータの削除、あるいはクリップデータに新たな電子マークデータの付加を行うことができる。そのために、編集者端末装置１０３は、表示部に表示する画面に、クリップデータに付加されている電子マークデータの情報を提示する電子マークデータ提示領域を持たせる。ユーザは、この電子マークデータ提示領域の提示内容に基づいて、電子マークデータの修正や削除を行うことができる。
【００４６】
また、編集者端末装置１０３は、表示部に表示する画面に、電子マーク選択候補を提示する電子マーク提示領域を持たせる。ユーザは、この電子マーク提示領域において、付与すべき電子マークを選択し、その後に、上述した撮像モニタリング装置１０２におけると同様に、電子マーク付与操作を行うことができる。
【００４７】
編集者端末装置１０３は、インターネット等のネットワークを介して接続されているテンプレート管理装置１０４から、電子マーク提示領域で提示される電子マーク選択候補の情報のテンプレートを受信する。この場合、編集者端末装置１０３は、テンプレート管理装置１０４にアクセスして、複数の種類から、所望のテンプレート、例えば、編集対象のクリップデータの生成時に撮像モニタリング装置１０２で使用されたテンプレートを受信する。編集者端末装置１０３は、テンプレート管理装置１０４から受信されたテンプレートに基づいて、選択可能な電子マークを設定し、画面が持つ電子マーク提示領域に提示する。
【００４８】
このように電子マーク選択候補の情報のテンプレートを、テンプレート管理装置１０４から受信する構成とされることで、編集者端末装置１０３は、電子マーク選択候補の設定を容易に行うことができ、また、他装置、例えば撮像モニタリング装置１０２と電子マーク選択候補の共有化を図ることが可能となる。
【００４９】
［カメラの構成例］
図２は、カメラ１０１の構成例を示している。このカメラ１０１は、制御部１１１と、ユーザ操作部１１２と、撮像部１１３と、撮像信号処理部１１４と、符号化部１１５と、記録再生部１１６と、記録媒体１１７と、通信部１１８を有している。
【００５０】
制御部１１１は、カメラ１０１の各部の動作を制御する。ユーザ操作部１１２は、制御部１１１に接続されており、ユーザによる種々の操作を受け付けるユーザインタフェースを構成している。
【００５１】
撮像部１１３は、図示しない撮像レンズおよび撮像素子（イメージャ）を有しており、被写体を撮像し、撮像信号を出力する。撮像素子は、ＣＣＤ(Charged Coupled Device)、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)等の撮像素子である。撮像信号処理部１１４は、撮像部１１３から出力される撮像信号（アナログ信号）に対して、サンプルホールドおよび利得制御、アナログ信号からデジタル信号への変換、さらにホワイトバランス調整、ガンマ補正等を行って、撮像画像データを生成する。
【００５２】
符号化部１１５は、撮像信号処理部１１４で生成された撮像画像データに対して、例えば、ＭＰＥＧ方式によりデータ圧縮処理を行って符号化画像データを生成する。また、符号化部１１５は、この撮像画像データに基づいてモニタリング用画像データを生成する。このモニタリング用画像データは、撮像画像データに対してサイズを小さくして、転送ビットレートをひくく抑えたものである。
【００５３】
記録再生部１１６は、符号化部１１５で得られた符号化画像データを記録媒体１１７に記録し、また、必要に応じて記録媒体１１７からその符号化画像データを再生する。記録媒体１１７は、メモリカード等で構成される。ここで、記録開始から記録終了までの一連の画像データは、１つのクリップデータ（Clip）として記録される。記録媒体において、画像データは、クリップ毎にファイル化され、ファイルシステムにより管理される。
【００５４】
通信部１１８は、撮像時には、符号化部１１５で得られたモニタリング用の画像データをＷｉ−Ｆｉ等の無線ネットワークあるいは有線ネットワークを介して、撮像モニタリング装置１０２に送る。通信部１１８は、編集者端末装置１０３と通信をし、記録媒体１１７から再生されたクリップデータおよびそれに対応した電子マークデータを編集者端末装置１０３に送る。
【００５５】
また、通信部１１８は、撮像モニタリング装置１０２からネットワークを介して送られてくる電子マーク付与操作情報を受信して制御部１１１に送る。この電子マーク付与操作情報には、位置情報、電子マーク情報（テキストデータ、マーク種別データ）などが含まれている。記録再生部１１６は、制御部１１１の制御のもと、電子マーク付与操作情報の受信タイミングに対応した動画像データの特定フレームに対応付けて、記録媒体１１７に、電子マークデータを、例えばＸＭＬフォーマットで記録する。
【００５６】
電子マークデータには、特定フレームを示すフレーム情報、電子マーク付与操作情報に付加されている位置情報、電子マーク情報（テキストデータ、マーク種別データ）などが含まれる。記録再生部１１６は、例えば、クリップデータのそれぞれに対応付けて、このクリップデータに関係する所定数の電子マークデータのセットを、クリップメタデータとして、記録媒体１１７に記録する。
【００５７】
図３は、電子マークデータのセットのＸＭＬフォーマットの一例を示している。<Mark ・・・/>が１つの電子マークデータを示している。「Frame=」はフレーム情報を示し、「Width=」は水平位置座標を示し、「Height=」は垂直位置座標を示し、「Type=」はマーク種別を示し、「Text=」はマークテキストを示す。
【００５８】
マーク種別としては、人を示す“Person”、警告を示す“Caution”、建物を示す“Building”などがある。例えば、マーク種別が“Person”でマークテキストが“桃太郎”である電子マークは、画像内に存在する桃太郎が注目点として指定されることで付与される。また、例えば、マーク種別が“Caution”でマークテキストが“看板”である電子マークは、画像内に存在する看板が注目点として指定されることで付与される。
【００５９】
また、例えば、マーク種別が“Caution”でマークテキストが“ナンバープレート”である電子マークは、画像内に存在する車のナンバープレートが注目点として指定されることで付与される。また、例えば、マーク種別が“Building”でマークテキストが“東大寺”である電子マークは、画像内に存在する東大寺が注目点として指定されることで付与される。
【００６０】
［撮像モニタリング装置の構成例］
図４は、撮像モニタリング装置１０２の構成例を示している。この撮像モニタリング装置１０２は、制御部２１１と、ユーザ操作部２１２と、通信部２１３と、復号化部２１４と、表示処理部２１５と、表示パネル２１６を有している。
【００６１】
制御部２１１は、撮像モニタリング装置１０２の各部の動作を制御する。ユーザ操作部２１２は、制御部２１１に接続されており、ユーザによる種々の操作を受け付けるユーザインタフェースを構成している。このユーザ操作部２１２は、例えば、機械的な操作ボタン、さらには表示パネル２１７の画面上に配置されるタッチパネル等で構成されている。
【００６２】
通信部２１３は、カメラ１０１とネットワークを介して通信を行って、カメラ１０１からモニタリング用画像データを受信すると共に、カメラ１０１に電子マーク付与情報を送信する。また、通信部２１３は、テンプレート管理装置１０４とネットワークを介して通信を行って、テンプレート管理装置１０４から、ネットワークを介して、電子マーク選択候補の情報のテンプレートを受信する。
【００６３】
復号化部２１４は、制御部２１１の制御のもと、通信部２１３で受信されたモニタリング用画像データ（符号化画像データ）を復号化する。表示処理部２１５は、制御部２１１の制御のもと、復号化部２１５で得られたモニタリング用画像データ、通信部２１３で受信された電子マーク選択候補の情報のテンプレート、さらにはユーザ操作部２１２からのユーザ操作などに応じて、表示パネル２１６に表示すべき画面のための表示用画像データを生成する。
【００６４】
図５は、表示パネル２１６に表示すべき画面（ＵＩ画面）４００の一例を示している。画面４００には、モニタリング用画像データによる画像を表示する画像表示領域４０１が存在すると共に、電子マーク選択候補を提示する電子マーク提示領域４０２が存在する。制御部２１１は、通信部２１３で受信された電子マーク選択候補の情報のテンプレートに基づいて、選択可能な電子マークを設定し、電子マーク提示領域４０２に提示する。
【００６５】
図示の例においては、電子マーク提示領域４０２に５つの電子マーク候補が提示されている。第１の電子マークは、マークテキストが“東大寺”で、マーク種別が“建物（Building）”である。第２の電子マークは、マークテキストが“看板”で、マーク種別が“警告（Caution）”である。第３の電子マークは、マークテキストが“ナンバープレート”で、マーク種別が“警告（Caution）”である。第４の電子マークは、マークテキストが“桃太郎”で、マーク種別が“人（Parson）”である。第５の電子マークは、マークテキストが“金太郎”で、マーク種別が“人（Parson）”である。
【００６６】
ユーザ（操作者）は、画面４００が持つ画像表示領域４０１および電子マーク提示領域４０２を参照して、電子マーク付与操作を実行する。ユーザは、画像表示領域４０１に表示されるモニタリング用画像データによる画像のフレームが電子マークを付与すべきフレームであると判断するとき、以下の電子マーク付与操作を実施する。
【００６７】
まず、ユーザは、付与すべき電子マークとして、電子マーク提示領域４０２の電子マーク候補から画像の注目対象に対応したものを、例えばその電子マーク部分をタップあるいは押し下げする操作を行って選択する。図示の例においては、第５の電子マーク「マークテキストが“金太郎”で、マーク種別が“人（Parson）”」の部分を押し下げて（手のマークを参照）、当該第５の電子マークを選択された状態を示している。
【００６８】
次に、ユーザは、画像表示領域４０１に表示されている画像内の注目点に対応した特定位置をタップあるいは押し下げて（手のマークを参照）、電子マーク付与操作をする。図示の例において、画像表示領域４０１に表示されている画像内の桃太郎の部分（手のマークを参照）がタップあるいは押し下げされた状態を示している。
【００６９】
このとき、制御部２１１は表示処理部２１５を制御し、ユーザがタップあるいは押し下げた位置、つまり画像内の注目点に対応した特定位置に、電子マーク付与表示４０３をする。図示の例においては、“金太郎”のテキストが、マーク種別が“人（Parson）”に応じた態様、ここでは楕円形で表示される。
【００７０】
また、電子マーク付与操作が行われるとき、制御部２１１の制御のもと、通信部２１３は、電子マーク付与操作情報を、ネットワークを介して、カメラ１０１に送信する。この電子マーク付与操作情報には、ユーザが注目点として指定した特定位置を示す位置情報、電子マーク情報（テキストデータ、マーク種別データ）が付加されている。
【００７１】
［編集者端末装置の構成例］
図６は、編集者端末装置１０３の構成例を示している。この編集者端末装置１０３は、ＣＰＵ３１１と、ＲＯＭ３１２と、ＲＡＭ３１３と、入出力インタフェース３１４と、入力部３１５と、出力部３１６と、記憶部３１７と、ドライブ３１８と、通信部３１９を有している。
【００７２】
この編集者端末装置１０３において、ＣＰＵ３１１、ＲＯＭ３１２、ＲＡＭ３１３は、バスにより相互に接続されている。このバスには、さらに、入出力インタフェース３１４が接続されている。入出力インタフェース３１４には、入力部３１５、出力部３１６、記憶部３１７、ドライブ３１８が接続されている。ＣＰＵ３１１は、編集者端末装置１０３の各部の動作を制御する。
【００７３】
入力部３１５は、タッチパネル、キーボード、マウス、マイクロホン等により構成されている。出力部３１６は、ディスプレイ、スピーカ等により構成されている。記憶部３１７は、ＨＤＤ(Hard Disk Drive)、不揮発性メモリ等により構成されている。ドライブ３１８は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等のリムーバブルメディアを駆動する。
【００７４】
また、バスには、通信部３１９が接続されている。この通信部３１９は、ネットワークを介して、カメラ１０１、さらにはテンプレート管理装置１０４と通信をする。通信部３１９は、カメラ１０１とネットワークを介して通信をし、クリップデータ（動画像データ）と共にそれに関連付けて記録されている電子マークデータを受信する。また、通信部３１９は、テンプレート管理装置１０４と通信をし、電子マーク選択候補の情報のテンプレートを受信する。
【００７５】
通信部３１９で受信されたクリップデータ（動画像データ）とそれに関連付けられた電子マークデータは、記憶部３１７に記憶される。編集時には、記憶部３１７に記憶されたクリップデータが再生され、ＣＰＵ３１１により符号化されて、その動画像データによる画像が出力部３１６のディスプレイに表示される。その場合、ＣＰＵ３１１の制御のもと、電子マークデータに基づいて、電子マーク付与に係る特定フレームの画像表示に対応して、画像上の特定位置に電子マーク付与表示（アイコン表示）が行われる。この場合、特定フレームの近辺、つまり特定フレームを含む一定期間で連続して電子マーク付与表示が行われる。
【００７６】
図７は、編集時にディスプレイに表示される画面（ＵＩ画面）５００の一例を示している。画面５００には、動画像データによる画像を表示する画像表示領域５０１が存在する。図示の例においては、電子マーク付与表示５０２，５０３が行われている状態が示されている。電子マーク付与表示５０２は、“金太郎”のテキストが、マーク種別が“人（Parson）”に応じた態様、ここでは楕円形で表示されたものである。また、電子マーク付与表示５０３は、“看板”のテキストが、マーク種別が“警告（Caution）”に応じた態様、ここでは四角形で表示されたものである。
【００７７】
画面５００の下部に、クリップデータとしての一定時間分の動画像データに対応したタイムライン５０４が存在する。このタイムライン５０４上には、電子マークが付与されているフレーム位置に対応して電子マーク付与表示（アイコン表示）が行われる。この場合、ユーザ（編集者）がタイムライン５０４上の特定位置で押し下げ操作を行うことで、クリップデータにおける再生位置をその特定位置に対応したフレーム位置にシークさせることができる。
【００７８】
編集者端末装置１０３において、上述したように、ユーザは、クリップデータに付加されている電子マークデータの内容修正、クリップデータに付加されている電子マークデータの削除を行うことできる。そのために、画面５００には、クリップデータに付加されている電子マークデータの一覧を表示する電子マーク一覧表示領域５０５が存在する。
【００７９】
この場合、各電子マークのデータ内容が表示される。図示の例は、クリップデータに、上述の図３に示す電子マークデータのセットが付加されていた場合の例である。各電子マークデータに対応して、フレーム情報５０５ａと、マークテキスト５０５ｂと、マーク種別５０５ｃが表示され、さらに、この電子マークデータが付加された動画像データのフレームのサムネイル５０５ｄが表示されている。ユーザ（編集者）が各電子マークデータの表示部分で押し下げ操作を行うことで、クリップデータにおける再生位置をその電子マークデータの付与フレーム位置にシークさせることができる。
【００８０】
また、各電子マークデータ内容の表示に対応させて、編集リンクボタン５０５ｅも表示される。ユーザが、この編集リンクボタン５０５ｅを押し下げる操作を行うことで、対応する電子マークデータ内容の編集を可能とする編集ダイアログボックス（図示せず）が表示される。ユーザは、この編集ダイアログボックスにおいて、フレーム情報５０５ａ、マークテキスト５０５ｂおよびマーク種別５０５ｃの各内容を修正でき、また位置情報の変更もでき、さらにその電子マークデータの削除もできる。このように電子マークデータの内容修正やその電子マークデータの削除が可能とされることで、誤って付加された電子マークデータを正すことができる。
【００８１】
また、編集者端末装置１０３において、上述したように、ユーザは、動画像データに対して、撮像モニタリング装置１０２におけると同様に、電子マーク付与操作を行うことができる。そのために、画面５００には、電子マーク選択候補を提示する電子マーク提示領域５０６が存在する。ＣＰＵ３１１は、通信部３１９で受信された電子マーク選択候補の情報のテンプレートに基づいて、選択可能な電子マークを設定し、電子マーク提示領域５０６に提示する。
【００８２】
電子マーク提示領域５０６を用いた、ユーザ（編集者）による電子マーク付与操作については、上述した撮像モニタリング装置１０２における電子マーク付与操作と同様であるので、ここではその詳細説明は省略する。
【００８３】
上述したように、図１に示す撮像編集システム１０のカメラ１０１において、動画像データの特定フレームに対応付けて記録媒体１１７に記録される電子マークデータには画像上の特定位置を示す位置情報が含まれる。そのため、例えば、編集者端末装置１０３で画像コンテンツ（クリップデータ）の編集時に、注目フレームの画像における注目点を容易に認識可能となり、編集者の作業効率の向上が可能となる。
【００８４】
また、図１に示す撮像編集システム１０のカメラ１０１において、動画像データの特定フレームに対応付けて記録媒体１１７に記録される電子マークデータにはテキストマークの他にマーク種別データも含まれる。そのため、画像シーンの特徴、撮像場所、もしくは撮像日時への活用だけでなく、画像シーン内の人物や建物の特定、著作権や商標関連物の抽出等、幅広い用途に活用可能とある。
【００８５】
また、図１に示す撮像編集システム１０の撮像モニタリング装置１０２において、画面４００の画像表示領域４０１に表示されている画像上の特定位置が指定されて電子マーク付与操作がなされるとき、その特定位置に対応した位置に電子マーク付与表示がされる（図５参照）。そのため、ユーザ（操作者）は、画像の如何なる位置を注目点として、いかなる電子マークを付与したかを、容易に確認可能となる。
【００８６】
また、図１に示す撮像編集システム１０の撮像モニタリング装置１０２において、ユーザの電子マーク付与操作に応じて、画像上の特定位置を示す位置情報が付加された電子マーク付与操作情報がカメラ１０１に送信される。そのため、カメラ１０１では、電子マーク付与操作情報の受信タイミングに対応した動画像データの特定フレームに対応付けて、画像上の特定位置を示す位置情報を含む電子マークデータを記録することが可能となる。
【００８７】
また、図１に示す撮像編集システム１０の撮像モニタリング装置１０２において、画面４００が電子マーク選択候補を提示する電子マーク提示領域４０２を持つものとされる（図５参照）。そのため、ユーザは、電子マーク提示領域４０２を用いることで、付与すべき電子マークの選択を容易に行うことが可能となる。
【００８８】
また、図１に示す撮像編集システム１０の撮像モニタリング装置１０２や編集者端末装置１０３おいて、電子マーク提示領域４０２，５０６（図５、図７参照）で提示される電子マーク選択候補の情報がテンプレートとしてテンプレート管理装置１０４から受信される。そのため、電子マーク選択候補の設定を容易に行うことができ、また、他装置と電子マーク選択候補の共有化を図ることが可能となる。
【００８９】
また、図１に示す撮像編集システム１０の編集者端末装置１０３おいて、画面５００の画像表示領域５０１への特定フレームの画像表示に対応して、画像上の特定位置に電子マーク付与表示がされる（図７の電子マーク付与表示５０２，５０３参照）。そのため、画像コンテンツの編集時に、注目フレームの画像における注目点を容易に認識可能となり、編集者の作業効率の向上が可能となる。
【００９０】
また、図１に示す撮像編集システム１０の編集者端末装置１０３おいて、画面５００がクリップデータに付加されている電子マークデータの一覧を表示する電子マーク一覧表示領域５０５を持つものとされる。そのため、ユーザ（編集者）は、クリップデータに付加されている電子マークデータの内容を容易に確認でき、必要に応じて、電子マークデータの内容修正あるいは電子マークデータの削除を行うことできる。
【００９１】
また、各電子マークデータの内容と共に、付加されているフレームのサムネイル５０５ｄが表示されるため、ユーザ（編集者）は、その電子マークデータがいかなるフレーム画像に対応して付加されているかを容易に知ることができ、編集者の作業効率の向上が可能となる。また、上述実施の形態においては、電子マークデータをクリップメタデータとして記録されるものであって、電子マークデータにフレーム情報を含めるようにしているが、各電子マークデータがフレームメタデータとして記録される場合にはフレーム情報を含めないことも考えられる。
【００９２】
＜２．変形例＞
なお、上述実施の形態においては、カメラ１０１が記録再生部を備える例を示したが、撮像部分と記録再生部分とが物理的に別体構成である場合も考えられる。また、上述実施の形態におけるマークテキストやマーク種別はあくまでも一例であって、これに限定されるものではない。また、上述実施の形態においては、撮像モニタリング装置１０２における電子マーク付与操作を、タッチパネルを用いて行うように説明しているが、その他のユーザ操作手段、例えばマウスなどを用いて行うことも勿論可能である。
【００９３】
また、本技術は、以下のような構成を取ることもできる。
（１）記録媒体に動画像データを記録する記録部を備え、
上記記録部は、上記記録媒体に、上記動画像データの特定フレームに対応付けて、画像上の特定位置を示す位置情報を含む電子マークデータをさらに記録する
画像処理装置。
（２）上記電子マークデータは、テキストデータを含む
前記（１）に記載の画像処理装置。
（３）上記電子マークデータは、マーク種別データを含む
前記（１）または（２）に記載の画像処理装置。
（４）上記電子マークデータは、上記特定フレームを示すフレーム情報を含む
前記（１）から（３）のいずれかに記載の画像処理装置。
（５）上記動画像データに対応したモニタリング用画像データを外部機器に送信する送信部と、
上記外部機器から、上記位置情報を含む電子マーク付与操作情報を受信する受信部をさらに備え、
上記記録部は、上記電子マーク付与操作情報の受信タイミングに対応した上記動画像データの特定フレームに対応付けて上記電子マークデータを記録する
前記（１）から（４）のいずかに記載の画像処理装置。
（６）撮像部と、
上記撮像部で得られた撮像信号を処理して上記動画像データを得る撮像信号処理部をさらに備える
前記（１）から（５）のいずれかに記載の画像処理装置。
（７）上記記録媒体から、上記動画像データと共に上記電子マークデータを取り出して外部機器に送信する送信部をさらに備える
前記（１）から（６）のいずれかに記載の画像処理装置。
（８）上記記録部は、
所定長の動画像データからなるクリップデータのそれぞれに対応して、該クリップデータに関係する所定数の電子マークデータのセットを、上記記録媒体に記録する
前記（１）から（７）のいずれかに記載の画像処理装置。
（９）記録媒体に動画像データを記録するステップと、
上記記録媒体に、上記動画像データの特定フレームに対応付けて、画像上の特定位置を示す位置情報を含む電子マークデータを記録するステップを有する
画像処理方法。
（１０）外部機器からモニタリング用画像データを受信する受信部と、
上記モニタリング用画像データによる画像を表示する画像表示領域を持つ画面を表示する表示部と、
ユーザが上記画像表示領域に表示された画像上の特定位置を指定して電子マーク付与操作をする操作部と、
上記電子マーク付与操作がなされるとき、上記特定位置を示す位置情報が付加された電子マーク付与操作情報を上記外部機器に送信する送信部を備える
画像処理装置。
（１１）上記画面は、電子マーク選択候補を提示する電子マーク提示領域をさらに持ち、
ユーザは、上記電子マーク提示領域で付与すべき電子マークを選択する
前記（１０）に記載の画像処理装置。
（１２）上記電子マーク提示領域で提示される電子マーク選択候補の情報をテンプレートとして外部機器から受信するテンプレート受信部をさらに備える
前記（１１）に記載の画像処理装置。
（１３）上記電子マーク付与操作がなされるとき、上記表示部は、上記画像表示領域に表示されている画像上の上記特定位置に対応した位置に電子マーク付与表示をする
前記（１０）または（１１）に記載の画像処理装置。
（１４）上記電子マークはテキストマークであり、上記表示部は、電子マーク付与表示として、テキスト表示をする
前記（１３）に記載の画像処理装置。
（１５）上記表示部は、上記電子マーク付与表示を、電子マーク種別に応じた態様で表示する
前記（１３）または（１４）に記載の画像処理装置。
（１６）外部機器からモニタリング用画像データを受信する受信ステップと、
上記モニタリング用画像データによる画像を表示する画像表示領域を持つ画面を表示する表示ステップと、
ユーザにより上記画像表示領域に表示された画像上の特定位置が指定されて電子マーク付与操作がされるとき、上記特定位置を示す位置情報が付加された電子マーク付与操作情報を上記外部機器に送信する送信ステップを有する
画像処理方法。
（１７）動画像データを編集する画像処理装置であって、
上記動画像データには、上記動画像データの特定フレームに対応付けて、画像上の特定位置を示す位置情報を含む電子マークデータが付加されており、
上記動画像データによる画像を表示する画像表示領域を持つ画面を表示する表示部を備え、
上記表示部は、
上記画像表示領域への上記特定フレームの画像表示に対応して、画像上の上記特定位置に対応した位置に電子マーク付与表示をする
画像処理装置。
（１８）上記電子マークはテキストマークであり、上記表示部は、電子マーク付与表示として、テキスト表示をする
前記（１７）に記載の画像処理装置。
（１９）上記表示部は、上記電子マーク付与表示を、電子マーク種別に応じた態様で表示する
前記（１７）または（１８）に記載の画像処理装置。
（２０）ユーザが、上記動画像データに付加されている電子マークデータの修正、上記動画像データに付加されている電子マークデータの削除、あるいは上記動画像データに新たな電子マークデータの付加を行うための操作部をさらに備える
前記（１７）から（１９）のいずれかに記載の画像処理装置。
【符号の説明】
【００９４】
１０・・・撮像編集システム
１０１・・・カメラ
１０２・・・撮像モニタリング装置
１０３・・・編集者端末装置
１０４・・・テンプレート管理装置
１１１・・・制御部
１１２・・・ユーザ操作部
１１３・・・撮像部
１１４・・・撮像信号処理部
１１５・・・符号化部
１１６・・・記録再生部
１１７・・・記録媒体
１１８・・・通信部
２１１・・・制御部
２１２・・・ユーザ操作部
２１３・・・通信部
２１４・・・復号化部
２１５・・・表示処理部
２１６・・・表示パネル
３１１・・・ＣＰＵ
３１２・・・ＲＯＭ
３１３・・・ＲＡＭ
３１４・・・入出力インタフェース
３１５・・・入力部
３１６・・・出力部
３１７・・・記憶部
３１８・・・ドライブ
３１９・・・通信部
４００・・・画面
４０１・・・画像表示領域
４０２・・・電子マーク提示領域
４０３・・・電子マーク付与表示
５００・・・画面
５０１・・・画像表示領域
５０２，５０３・・・電子マーク付与表示
５０４・・・タイムライン
５０５・・・電子マーク一覧表示領域
５０５ａ・・・フレーム情報
５０５ｂ・・・マークテキスト
５０５ｃ・・・マーク種別
５０５ｄ・・・サムネイル
５０５ｅ・・・編集リンクボタン
５０６・・・電子マーク提示領域
【図１】
2018180662.tif 000003
【図２】
2018180662.tif 000004
【図３】
2018180662.tif 000005
【図４】
2018180662.tif 000006
【図５】
2018180662.tif 000007
【図６】
2018180662.tif 000008
【図７】
2018180662.tif 000009
【国際調査報告】
2018180662.tif 000010
2018180662.tif 000011
2018180662.tif 000012
2018180662.tif 000013