(57)【要約】【課題】撮影ストリーミング中に、再生ストリーミングの開始指示を受けた場合に、ユーザがストリーミング送信したい記録動画を簡単に選択できるようにする。【解決手段】撮影手段により生成された撮影映像データを所定のフレーム単位で解析し、解析情報を蓄積する映像解析手段と、前記撮影手段によって生成される撮影映像データを実時間で送信する撮影ストリーミング送信を行うとともに、前記記録媒体から読み出される映像データを実時間で送信する再生ストリーミング送信を行うストリーミング送信手段と、前記ストリーミング送信手段により撮影ストリーミング送信が実行されているときに、動作モードの切り替え指示を受け付けた場合、前記指示を受け付ける所定時間前から前記映像解析手段によって前記蓄積された解析情報に基づいて検索キーを生成して、前記記録媒体に記録されている映像データを検索する制御手段とを備える。【選択図】図９
2015149009.tif 000002
【特許請求の範囲】
【請求項１】
撮影手段により生成された撮影映像データ及び記録媒体に記録された映像データを、ネットワークを介して接続された外部機器にストリーミング送信することが可能な通信機器であって、
前記撮影手段により生成された撮影映像データを所定のフレーム単位で解析し、解析情報を蓄積する映像解析手段と、
指定された外部機器に対して、前記撮影手段によって生成される撮影映像データを実時間で送信する撮影ストリーミング送信手段と、
指定された外部機器に対して前記記録媒体から読み出される映像データを実時間で送信する再生ストリーミング送信する再生ストリーミング送信手段と、
前記ストリーミング送信手段により撮影ストリーミング送信が実行されているときに、前記再生ストリーミング送信の開始要求に関わる切り替え指示を受け付けた場合、前記指示を受け付ける所定時間前から前記映像解析手段によって蓄積された解析情報に基づいて記録されている映像データを検索し、撮影映像データ及び前記外部機器に関連度が高い映像データから優先的に表示画面に表示するよう制御する制御手段と
を備えることを特徴とする通信機器。
【請求項２】
被写体を撮影して撮影映像データを生成する撮影手段と、
前記撮影手段により生成された撮影映像データを所定のフレーム単位で解析し、解析情報を蓄積する映像解析手段と、
記録媒体に記録された映像データを読み出して表示再生する表示再生手段と、
ネットワークを介して接続された外部機器との間でデータの送受信を行う通信手段と、
指定された外部機器に対して撮影映像データを実時間でストリーミング送信する撮影ストリーミング送信手段と、
指定された外部機器に対して前記表示再生手段によって記録媒体から読み出される映像データを実時間でストリーミング送信する再生ストリーミング送信手段と、
ユーザからの指示を受け付ける受付手段と、
前記記録媒体に記録されている映像データを対象に、指定された検索キー情報に関連する映像データの識別子情報を、前記検索キー情報との関連度情報とともに取得する検索手段と、
機器全体を制御する制御手段とを備え、
前記制御手段は、
前記撮影ストリーミング送信手段により撮影ストリーミング送信が実行されているときに、前記受付手段によって再生ストリーミング送信の開始要求に関わる指示を受け付けた場合、前記指示を受け付ける所定時間前から前記映像解析手段によって蓄積された解析情報に基づいて検索キーを生成し、前記検索手段により前記記録媒体に記録されている映像データの識別子情報、および関連度情報を取得する
ことを特徴とする通信機器。
【請求項３】
前記制御手段は、前記検索手段によって取得した映像データの識別子情報を、同じく取得した関連度情報に基づいて、関連度の高いものから順番にリストした動画選択画面を生成して表示するよう前記表示再生手段を制御する
ことを特徴とする請求項２に記載の通信機器。
【請求項４】
前記制御手段は、前記検索手段によって取得した映像データの識別子情報から、同じく取得した関連度情報に基づいて、最も関連度が高い映像データを判定し、前記最も関連度が高い映像データを送信する前記再生ストリーミング送信手段を制御する
ことを特徴とする請求項２または３に記載の通信機器。
【請求項５】
前記映像解析手段は、撮影映像データに含まれる被写体に関わる情報を前記解析情報として記録媒体に蓄積する
ことを特徴とする請求項１〜４の何れか１項に記載の通信機器。
【請求項６】
前記制御手段における所定時間前とは、前記撮影ストリーミング送信手段によるストリーミング送信を開始したタイミングである
ことを特徴とする請求項１〜５の何れか１項に記載の通信機器。
【請求項７】
再生ストリーミング送信を行うごとに、映像データの識別子情報、実行日時、および送信先の外部機器の情報を含む履歴情報を記憶する再生ストリーミング履歴手段を更に備え、
前記制御手段は、前記履歴情報に基づいて、撮影ストリーミング送信する外部機器に対して再生ストリーミング送信を実行したことがない映像データの識別子情報を判定し、前記動画選択画面のリストに優先的に含める
ことを特徴とする請求項３〜６の何れか１項に記載の通信機器。
【請求項８】
前記制御手段は、前記再生ストリーミング送信手段によって再生ストリーミング送信を開始した場合に、前記映像解析手段による解析処理を停止させる
ことを特徴とする請求項１〜７の何れか１項に記載の通信機器。
【請求項９】
前記制御手段は、前記映像解析手段による解析処理を停止させる際にすでに蓄積されている解析情報を無効化する
ことを特徴とする請求項１〜８の何れか１項に記載の通信機器。
【請求項１０】
前記撮影手段による撮影を行う撮影モードと、撮影モードとは排他的に実行される前記表示再生手段による再生を行う再生モードとを備え、
前記制御手段は、前記受付手段による前記再生ストリーミング送信の開始に関わる指示は、前記撮影モードから再生モードへの切り替えと連動して実行されるよう前記撮影手段、及び前記表示再生手段を制御する
ことを特徴とする請求項２〜９の何れか１項に記載の通信機器。
【請求項１１】
撮影工程において生成された撮影映像データ及び記録媒体に記録された映像データを、ネットワークを介して接続された外部機器にストリーミング送信することが可能な通信機器の制御方法であって、
前記撮影工程において生成された撮影映像データを所定のフレーム単位で解析し、解析情報を蓄積する映像解析工程と、
指定された外部機器に対して、前記撮影工程において生成される撮影映像データを実時間で送信する撮影ストリーミング送信工程と、
指定された外部機器に対して前記記録媒体から読み出される映像データを実時間で送信する再生ストリーミング送信する再生ストリーミング送信工程と、
前記ストリーミング送信工程において撮影ストリーミング送信が実行されているときに、前記再生ストリーミング送信の開始要求に関わる切り替え指示を受け付けた場合、前記指示を受け付ける所定時間前から前記映像解析工程において蓄積された解析情報に基づいて記録されている映像データを検索し、撮影映像データ及び前記外部機器に関連度が高い映像データから優先的に表示画面に表示するよう制御する制御工程と
を備えることを特徴とする通信機器の制御方法。
【請求項１２】
被写体を撮影して撮影映像データを生成する撮影工程と、
前記撮影工程において生成された撮影映像データを所定のフレーム単位で解析し、解析情報を蓄積する映像解析工程と、
記録媒体に記録された映像データを読み出して表示再生する表示再生工程と、
ネットワークを介して接続された外部機器との間でデータの送受信を行う通信工程と、
指定された外部機器に対して撮影映像データを実時間でストリーミング送信する撮影ストリーミング送信工程と、
指定された外部機器に対して前記表示再生工程において記録媒体から読み出される映像データを実時間でストリーミング送信する再生ストリーミング送信工程と、
ユーザからの指示を受け付ける受付工程と、
前記記録媒体に記録されている映像データを対象に、指定された検索キー情報に関連する映像データの識別子情報を、前記検索キー情報との関連度情報とともに取得する検索工程と、
機器全体を制御する制御工程とを備え、
前記制御工程は、
前記撮影ストリーミング送信工程において撮影ストリーミング送信が実行されているときに、前記受付工程において再生ストリーミング送信の開始要求に関わる指示を受け付けた場合、前記指示を受け付ける所定時間前から前記映像解析工程において蓄積された解析情報に基づいて検索キーを生成し、前記検索工程において前記記録媒体に記録されている映像データの識別子情報、および関連度情報を取得する
ことを特徴とする通信機器の制御方法。
【請求項１３】
撮影工程において生成された撮影映像データ及び記録媒体に記録された映像データを、ネットワークを介して接続された外部機器にストリーミング送信することが可能な通信機器の制御方法をコンピュータに実行させるプログラムであって、
前記撮影工程において生成された撮影映像データを所定のフレーム単位で解析し、解析情報を蓄積する映像解析工程と、
指定された外部機器に対して、前記撮影工程において生成される撮影映像データを実時間で送信する撮影ストリーミング送信工程と、
指定された外部機器に対して前記記録媒体から読み出される映像データを実時間で送信する再生ストリーミング送信する再生ストリーミング送信工程と、
前記ストリーミング送信工程において撮影ストリーミング送信が実行されているときに、前記再生ストリーミング送信の開始要求に関わる切り替え指示を受け付けた場合、前記指示を受け付ける所定時間前から前記映像解析工程において蓄積された解析情報に基づいて記録されている映像データを検索し、撮影映像データ及び前記外部機器に関連度が高い映像データから優先的に表示画面に表示するよう制御する制御工程と
をコンピュータに実行させることを特徴とするプログラム。
【請求項１４】
被写体を撮影して撮影映像データを生成する撮影工程と、
前記撮影工程において生成された撮影映像データを所定のフレーム単位で解析し、解析情報を蓄積する映像解析工程と、
記録媒体に記録された映像データを読み出して表示再生する表示再生工程と、
ネットワークを介して接続された外部機器との間でデータの送受信を行う通信工程と、
指定された外部機器に対して撮影映像データを実時間でストリーミング送信する撮影ストリーミング送信工程と、
指定された外部機器に対して前記表示再生工程において記録媒体から読み出される映像データを実時間でストリーミング送信する再生ストリーミング送信工程と、
ユーザからの指示を受け付ける受付工程と、
前記記録媒体に記録されている映像データを対象に、指定された検索キー情報に関連する映像データの識別子情報を、前記検索キー情報との関連度情報とともに取得する検索工程と、
機器全体を制御する制御工程とをコンピュータに実行させ、
前記制御工程は、
前記撮影ストリーミング送信工程において撮影ストリーミング送信が実行されているときに、前記受付工程において再生ストリーミング送信の開始要求に関わる指示を受け付けた場合、前記指示を受け付ける所定時間前から前記映像解析工程において蓄積された解析情報に基づいて検索キーを生成し、前記検索工程において前記記録媒体に記録されている映像データの識別子情報、および関連度情報を取得する
ことを特徴とするプログラム。
【請求項１５】
請求項１３または１４に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は通信機器及び通信機器の制御方法に関し、特に、ネットワークを経由してストリーミングを行う通信機器に用いて好適な技術に関する。
【背景技術】
【０００２】
近年、ネットワークを経由してストリーミングを行うための技術が提案されている。たとえば、非特許文献１は、ＨＴＴＰプロトコルを用いてリアルタイムストリーミングを実現する技術が定義されている。
【０００３】
ストリーミング機能をデジタルビデオカメラに搭載することで、リアルタイムストリーミングを実現することができる。例えば、カメラで撮影している映像や、カメラが備える記録媒体に記録された動画を再生している映像を、ネットワーク経由で接続されたテレビやＰＣ、タブレット等の表示機器においてリアルタイムに表示させることができる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】ＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇ ｄｒａｆｔ−ｐａｎｔｏｓ−ｈｔｔｐ−ｌｉｖｅ−ｓｔｒｅａｉｎｇ−０８（Ａｐｐｌｅ Ｉｎｃ．Ｍａｒｃｈ ２３,２０１２）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば、前述したストリーミング機能を備えたビデオカメラを用いる場合は、例えば以下のようなシーンが考えられる。すなわち、撮影者（父親）が子どもを撮影している映像をリアルタイムに遠隔地の祖父母に見せている場合には、現在撮影している映像だけでなく、過去に記録した子どもの動画も祖父母に見せてあげたいシーンである。
【０００６】
しかしながら現状では、それをするためにビデオカメラを再生モード（動画選択画面）に切り替えて、ビデオカメラに記録されているすべての動画の中から所望の動画を探し出す必要があり、撮影者にとって手間のかかる作業となっていた。
本発明は前述の問題点に鑑み、ユーザがストリーミング送信したい記録動画を簡単に選択できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の通信機器は、撮影手段により生成された撮影映像データ及び記録媒体に記録された映像データを、ネットワークを介して接続された外部機器にストリーミング送信することが可能な通信機器であって、前記撮影手段により生成された撮影映像データを所定のフレーム単位で解析し、解析情報を蓄積する映像解析手段と、指定された外部機器に対して、前記撮影手段によって生成される撮影映像データを実時間で送信する撮影ストリーミング送信手段と、指定された外部機器に対して前記記録媒体から読み出される映像データを実時間で送信する再生ストリーミング送信する再生ストリーミング送信手段と、前記ストリーミング送信手段により撮影ストリーミング送信が実行されているときに、前記再生ストリーミング送信の開始要求に関わる切り替え指示を受け付けた場合、前記指示を受け付ける所定時間前から前記映像解析手段によって蓄積された解析情報に基づいて記録されている映像データを検索し、撮影映像データ及び前記外部機器に関連度が高い映像データから優先的に表示画面に表示するよう制御する制御手段とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ユーザにより記録動画のストリーミングへの切り替え指示があった場合に、ユーザがストリーミング送信したい記録動画を簡単に選択することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態におけるカメラの内部構成の一例を示す図である。
【図２】本発明の実施形態におけるＰＣの内部構成の一例を示す図である。
【図３】本発明の実施形態における映像解析の処理の流れの一例を示す図である。
【図４】本発明の実施形態における解析データの一例を示す図である。
【図５】本発明の実施形態におけるコンテンツデータベースの一例を示す図である。
【図６】本発明の実施形態におけるネットワーク構成の一例を示す図である。
【図７】本発明の実施形態におけるカメラの動作モードを示す図である。
【図８】本発明の実施形態における撮影ストリーミング処理を示すフローチャートである。
【図９】本発明の第１の実施形態における再生ストリーミング処理を示すフローチャートである。
【図１０】本発明の実施形態における検索キーを生成する処理の流れの一例を示す図である。
【図１１】本発明の実施形態における動画選択画面の一例を示す図である。
【図１２】本発明の第２の実施形態における再生ストリーミング処理を示すフローチャートである。
【図１３】本発明の第３の実施形態における再生ストリーミング処理を示すフローチャートである。
【図１４】本発明の第４の実施形態における再生ストリーミング処理を示すフローチャートである。
【図１５】本発明の第５の実施形態における再生ストリーミング処理を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
［第１の実施形態］
以下、図を参照して、本発明の第１の実施形態について説明する。
【００１１】
＜カメラの構成＞
図１は、本発明の第１の実施形態における、カメラ１００の構成を示すブロック図である。カメラ１００は、本発明における通信機器を例示する。本実施形態のカメラ１００は、撮影部による撮影を行う撮影モードと、撮影モードとは排他的に実行される再生を行う再生モードとを備えている。
図１において、１０１は制御部であり、本発明における制御手段に相当する。制御部１０１は、例えばＣＰＵで構成され、ＲＯＭ（図示せず）に格納されているプログラムをＲＡＭ１０６に展開して実行することにより、カメラ１００を構成するすべての処理ブロックの制御を行う。なお、制御部１０１が行う制御は、制御部１０１だけで行う代わりに、複数のハードウェアが分担して実行されるようにしてもよい。
【００１２】
１０２は撮像部であり、本発明における撮影手段に相当し、撮影映像データ（撮影画像）を生成する。撮像部１０２は、光学レンズ、ＣＭＯＳセンサ、デジタル画像処理部等を備え、光学レンズを介して入力されるアナログ信号をデジタルデータに変換して撮影画像を取得する処理ブロックである。撮像部１０２は、取得した撮影画像を、映像解析部１０３に送信するとともに、所定の動画フォーマットにエンコードしてＲＡＭ１０６に格納する。格納された撮影画像は、制御部１０１によって処理される。また、撮像部１０２は、レンズ制御部を備えており、制御部１０１からの指令に基づいて、ズーム、フォーカス、絞り調整等の制御を行う。
【００１３】
１０３は映像解析部であり、制御部１０１からの指示に基づいて、撮像部１０２から送信された撮影画像を解析し、解析結果を解析情報としてＲＡＭ１０６に蓄積する。図３に処理の流れの一例を示す。映像解析部１０３は、撮影画像のフレーム画像ごとに、特徴量を抽出し、抽出した特徴量に対して顔検出処理を実行する。顔が検出された場合は、続いて顔情報データベースに対して照合処理を実行し、関連する顔ＩＤの取得を行う。映像解析部は、本発明における映像解析手段に相当する。
【００１４】
顔情報データベースは、顔ＩＤと特徴量の関連付けが登録されているデータベースであり、本実施形態ではカメラ１００が予め備えるものとする。顔情報データベースは、例えばカメラ１００が備える不図示の不揮発性メモリに記録される。なお、複数の顔がフレーム画像に含まれている場合、顔情報データベースからは複数の顔ＩＤが取得される。映像解析部１０３は、顔情報データベースから取得した顔ＩＤの情報を、フレーム番号と関連付けてＲＡＭ１０６上の所定の領域に格納する（以降、これらの情報を解析データと呼ぶ）。図４に、格納された解析データの一例を示す。なお、図３では、１フレーム単位で特徴量抽出を実行する例を示したが、処理負荷を軽減させるために、複数のフレームに一回の単位で実行するようにしてもよい。
【００１５】
１０４は表示再生部であり、本発明における表示再生手段に相当する。表示再生部１０４は、液晶パネル、または有機ＥＬパネル等で構成され、制御部１０１の指示に基づいて、各種情報データを表示する。ここで各種情報データとは、撮像部１０２で取得される撮影画像や記録部１０７によって記録媒体１０８から読みだされた動画データ、あるいは操作画面データなどを指す。
【００１６】
１０５は操作部である。操作部１０５は、ボタン、ダイヤル、タッチパネル等によって構成され、ユーザの操作指示を受け付ける。操作部１０５から入力された操作情報は、制御部１０１に送信され、制御部１０１は操作情報の内容に基づいて各処理ブロックの制御を実行する。操作部１０５は、本発明における受付手段に相当する。
【００１７】
１０６はＲＡＭであり、制御部１０１のワークエリアや、各種データの一時バッファ領域として使用されるメモリである。
１０７は記録部であり、大容量の記録媒体１０８と接続してデータのやり取りを行うインターフェースであり、制御部１０１の指示に基づいて記録媒体１０８に様々なデータを格納したり、記録媒体１０８から様々なデータを読み出したりする。
【００１８】
１０８は記録媒体であり、例えば内蔵フラッシュメモリ、内蔵ハードディスク、或いは着脱可能なメモリカード等で構成される。
１０９は検索部であり、制御部１０１からの指示に基づいて、記録媒体１０８に格納されるコンテンツデータベースに対して検索処理を実行し、映像データの識別子情報を、検索キー情報との関連度情報とともに取得する。検索部１０９は本発明における検索手段に相当する。以下、コンテンツデータベース、映像データの識別子情報、検索キー情報、関連度情報について説明する。
コンテンツデータベースは、記録媒体１０８に格納されているコンテンツのメタ情報を格納するデータベースであり、撮影記録処理によって生成される。
【００１９】
ここで、図５（ａ）にコンテンツデータベースの一例を示す。
図５（ａ）に見られるように、コンテンツデータベースには、コンテンツＩＤ、作成日時、顔検出数、および顔検出情報が格納される。映像データの識別子情報は、例えば図５（ａ）のコンテンツＩＤである。図５（ａ）における顔検出情報は、顔ＩＤと出現率の情報であり、前述した映像解析部１０３の解析結果に基づいて生成される。出現率は、検出されたフレーム数の全フレームに対する割合を示し、関連度情報に相当する。
【００２０】
なお、図５（ａ）に示すコンテンツＩＤが「００００３．ＭＰ４」のコンテンツは、図４に解析結果を示したコンテンツに相当する。検索部１０９は、図５（ａ）に示すようなコンテンツデータベースに対して顔ＩＤを検索キーとして検索処理を実行し、該当するコンテンツＩＤと出現率情報を検索結果として取得する。また、検索結果は複数になる場合もある。
【００２１】
図１の説明に戻る。
１１０は通信部であり、本発明における通信手段に相当する。通信部１１０は、無線ＬＡＮのアンテナ１１１を備え、例えばＩＥＥＥ８０２．１１ｎ方式の無線ＬＡＮ通信を行う処理ブロックである。通信部１１０は、外部のアクセスポイントと無線ＬＡＮで接続し、アクセスポイント経由でＰＣ２００と無線ＬＡＮ通信を行い、外部機器との間でデータの送受信を行う。
１１２は内部バスである。内部バス１１２は、カメラ１００内の各処理ブロックを相互に接続するためのバスである。
以上、カメラ１００の内部構成について説明した。
【００２２】
続いて、カメラ１００が備える、撮影ストリーミング機能と再生ストリーミング機能について説明する。
撮影ストリーミング機能は、撮像部１０２から入力される撮影画像を、通信部１１０から出力し、ネットワークに接続された外部機器にリアルタイムに送信する機能である。撮影ストリーミング実行中、撮像部１０２から入力される撮影画像に対しては、映像解析部１０３による解析処理が実行され、解析結果である認識結果リストがＲＡＭ１０６にリングバッファ形式で格納される。撮影ストリーミング機能は、本発明における撮影ストリーミング送信手段に相当し、指定された外部機器に対して撮影映像データを実時間でストリーミング送信する。
【００２３】
再生ストリーミング機能は、記録媒体１０８から読み出して表示再生部１０４によって再生される動画データを通信部１１０から出力し、ネットワークに接続された外部機器にリアルタイムに送信する機能である。再生ストリーミング機能は、本発明における再生ストリーミング送信手段に相当し、指定された外部機能に対して記録媒体から読み出される映像データを実時間でストリーミング送信する。
【００２４】
＜ＰＣの構成＞
図２は、第１の実施形態における、ＰＣ２００の構成を示すブロック図である。ＰＣ２００は、本発明における外部機器を例示する。
２０１は制御部である。制御部２０１は、例えばＣＰＵで構成され、ＰＣ２００を構成するすべての処理ブロック（機器全体）の制御を行う。
【００２５】
２０２は表示再生部である。表示再生部２０２は、液晶ディスプレイ等によって構成され、制御部２０１の指示に基づいて、各種情報データを表示画面に表示する。また、カメラ１００から送信されるストリーミング画像データの表示も表示再生部２０２で実行される。
２０３は操作部である。操作部２０３は、ボタン、十字キー、タッチパネル、またはリモコン等によって構成され、ユーザの操作指示を受け付ける。操作部２０３から入力された操作情報は制御部２０１に送信され、制御部２０１は操作情報に基づいて各処理ブロックの制御を実行する。
【００２６】
２０４はＲＡＭである。ＲＡＭ２０４は、制御部２０１のワークエリアや、外部より受信する映像データの一時バッファ領域等として使用される。
２０５は通信部である。通信部２０５は、無線ＬＡＮのアンテナ２０６を備え、例えばＩＥＥＥ８０２．１１ｎ方式の無線ＬＡＮ通信を行う処理ブロックである。通信部２０５は、外部のアクセスポイントと無線ＬＡＮで接続し、アクセスポイント経由でカメラ１００と無線ＬＡＮ通信を行う。
【００２７】
２０７は内部バスである。内部バス２０７は、ＰＣ２００内の各処理ブロックを相互に接続するためのバスである。
以上、ＰＣ２００の内部構成について説明した。
【００２８】
＜ネットワーク構成＞
図６は、本実施形態におけるネットワーク構成を示す図である。
１００、２００は前述したカメラ１００とＰＣ２００であり、６０１は無線ＬＡＮアクセスポイント、６０２はインターネット網を示す。
【００２９】
カメラ１００は、無線ＬＡＮアクセスポイント６０１を介してインターネット網６０２に接続され、インターネット網６０２を介してＰＣ２００と接続される。なお、本実施形態では前提として、カメラ１００はＰＣ２００とＩＰネットワーク接続が確立されているものとし、接続確立手順の説明については、本発明の本質ではないため割愛する。
【００３０】
＜動作モード＞
図７は、カメラ１００の動作モードを示す図である。
図７において、７０１は、撮影ストリーミング送信、再生ストリーミング送信のいずれも実行していない状態を示すストリーミングオフモードである。例えば、カメラ１００の電源をオフにしている状態や、電源オンしていて通信部１１０の機能を無効化している状態が該当する。
【００３１】
７０２は、撮影ストリーミング機能を実行している状態を示す撮影ストリーミングモードである。
７０３は、再生ストリーミング機能を実行している状態を示す再生ストリーミングモードである。
なお、モードの切り替えは、各動作モード間において可能であり、操作部１０５によるユーザ操作によって行われる。
【００３２】
＜撮影ストリーミングモード処理フロー＞
続いて、図８を参照しながら、カメラ１００の撮影ストリーミングモードにおける処理の詳細について説明する。なお、本処理は、ストリーミングオフモードまたは再生ストリーミングモードから、撮影ストリーミングモードへの切り替え指示が操作部１０５を介して行われた場合に開始される。
【００３３】
Ｓ８０１において、制御部１０１は、撮像部１０２、および通信部１１０を含む機器全体を制御し、ＰＣ２００への撮影画像のストリーミング送信を開始する。この処理により、ＰＣ２００はストリーミング画像を通信部２０５より受信し、画像が表示再生部１０４に表示される。なお本実施形態では、前提となるカメラ１００とＰＣ２００の間のネットワーク接続の確立処理については、本発明の本質ではないため説明を割愛する。
【００３４】
Ｓ８０２において、制御部１０１は、映像解析部１０３による解析処理が停止中であるか否かを判定し、制御部１０１が停止中であると判定した場合はＳ８０３に進む。また、停止中でないと判定した場合はＳ８０４に進む。
【００３５】
Ｓ８０３において、制御部１０１は、映像解析部１０３を制御し、解析処理を開始する。本ステップにより、映像解析部１０３は撮像部１０２から入力される撮影画像の解析を開始し、解析データがＲＡＭ１０６上の所定の領域に格納される。
【００３６】
Ｓ８０４において、制御部１０１は、操作部１０５を介して、他の動作モードへの切り替え指示が実行されたか否かを判定し、切り替え指示が実行されたと判定した場合はＳ８０５に進む。制御部１０１により、切り替え指示が実行されたと判定されない場合は待機する。
Ｓ８０５において、制御部１０１は、撮像部１０２を制御して、ＰＣ２００への撮影画像のストリーミング送信を停止し、撮影ストリーミングモードを終了する。
【００３７】
＜再生ストリーミングモード処理フロー＞
続いて、図９を参照しながら、カメラ１００の再生ストリーミングモードにおける処理の詳細について説明する。なお、本処理は、操作部１０５を介して、ストリーミングオフモードまたは撮影ストリーミングモードから、再生ストリーミングモードへの切り替え指示が行われた場合に開始される。
【００３８】
Ｓ９０１において、制御部１０１は、映像解析部１０３による解析処理が実行中であるか否かを判定し、実行中であると判定した場合はＳ９０２に進む。実行中でないと判定した場合はＳ９０３に進む。
【００３９】
Ｓ９０２において、制御部１０１は、映像解析部１０３を制御し、解析処理を停止する。本ステップにより、映像解析部１０３は撮像部１０２から入力される撮影画像の解析を停止し、解析データをＲＡＭ１０６上の所定の領域に格納する処理も停止される。
【００４０】
Ｓ９０３において、制御部１０１は、検索部１０９による検索処理結果がＲＡＭ１０６上の所定の領域に記憶されているか否かを判定する。検索処理結果が記憶されていると制御部１０１が判定した場合はＳ９０８に進み、記憶されていないと判定した場合はＳ９０４に進む。なお、検索部１０９による検索処理、および検索結果をＲＡＭ１０６上の所定の領域に記憶する処理は、後述するＳ９０６、Ｓ９０７の処理に相当する。そのため、本フローチャートを最初に実行した場合は、本ステップはＮＯの判断になる。
【００４１】
Ｓ９０４において、制御部１０１は、映像解析部１０３による解析データがＲＡＭ１０６上所定の領域に格納されているか否かを判定する。解析データが格納されていると制御部１０１が判定した場合はＳ９０５に進み、格納されていないと判定した場合はＳ９０９に進む。
Ｓ９０５において、制御部１０１は、コンテンツデータベースを検索するための検索キーを、解析データから生成する。ここで、本ステップの処理の流れを、図１０（ａ）を参照しながら説明する。
【００４２】
図１０（ａ）は、ネットワークに送出されるフレーム画像と、フレーム画像から検索キーが決定される流れを時間軸上に示した図であり、ｆ６〜ｆ７、ｆ１２〜ｆ１３、ｆ１５〜ｆ１６のタイミングで動作モードの切り替えが実行されている。
【００４３】
撮影ストリーミングモードから再生ストリーミングモードへの切り替えでは、本ステップの検索キーの生成処理が実行される。撮影ストリーミング送信されているときに再生ストリーミング送信の要求を受けた場合。指示を受けた所定時間前（撮影ストリーミング送信を開始したタイミング）からの映像解析部によって解析処理された解析情報に基づいて、検索キーが生成される。
そして、制御部１０１は、直前の５つの画像フレームから得られた解析データに含まれる顔ＩＤのうち最も出現頻度が多い顔ＩＤを検索キーとして決定する。図１０（ａ）に示すように、ｆ６〜ｆ７のタイミングで本ステップの処理が実行された場合、検索キーはＡとなり、ｆ１５〜ｆ１６のタイミングで本ステップの処理が実行された場合、検索キーはＢとなる。
【００４４】
なお、ｆ１１、ｆ１２では、映像解析部１０３による解析処理が実行されていないため解析データが存在していない。そのため、ｆ１５のタイミングで本ステップの処理が実行される場合は、ｆ１３〜ｆ１５から得られる解析データのみを用いて検索キーを決定する。
【００４５】
また、本ステップでは、検索キーを決定する画像フレームの範囲を検索処理が実行されたタイミングの直前の５フレームとしたが、この限りではない。例えば、撮影ストリーミングを開始したタイミングから検索処理が実行されるタイミングまでの間であってもよい。
【００４６】
また、本ステップでは、出現回数が最も多い顔ＩＤを検索キーとして決定する処理としたが、決定基準についてはこの限りではない。検索処理が実行されるタイミングに近いフレームから得られる解析データに一定の係数をかけて重みづけをする基準であってもよい。
また、本ステップでは、便宜上、一フレームごとに解析処理が行われるものとして説明したが、この限りではない。複数フレームをひとつの単位として解析処理が行うようにしてもよい。
【００４７】
Ｓ９０６において、制御部１０１は、検索部１０９を制御し、コンテンツデータベースの検索を実行する。検索部１０９は、Ｓ９０５において決定した検索キーを使って検索処理を実行し、該当するコンテンツＩＤと出現率情報を検索結果として取得する。
【００４８】
例えば、図５（ａ）に示すコンテンツデータベースに対して、図１０（ａ）のｆ６〜ｆ７のタイミングで生成された検索キーＡを用いて検索した結果は、以下のようになる。００００８．ＭＰ４（９０％）、００００１．ＭＰ４（７５％）、００００３．ＭＰ４（７０％）、００００２．ＭＰ４（６０％）、００００５．ＭＰ４（５０％）、００００９．ＭＰ４（１０％）となる。
【００４９】
また、ｆ１５〜ｆ１６のタイミングで生成された検索キーＢを用いて検索した結果は、００００６．ＭＰ４（９０％）、００００７．ＭＰ４（７０％）、０００１０．ＭＰ４（６０％）、００００３．ＭＰ４（４０％）、００００８．ＭＰ４（３０％）となる。
【００５０】
Ｓ９０７において、制御部１０１は、Ｓ９０６で取得した検索結果をＲＡＭ１０６上の所定の領域に記憶する。
Ｓ９０８において、制御部１０１は、記録部１０７を制御して、Ｓ９０６で取得した検索結果に基づいて、関連度の高いものから順番にコンテンツをＲＡＭ１０６に読出し、表示再生部１０４を制御して動画選択画面を表示する。
【００５１】
ここで、図１０（ａ）のｆ６〜ｆ７のタイミングで生成された検索キーＡによる検索結果に基づいて生成される動画選択画面を図１１（ａ）に示す。また、ｆ１５〜ｆ１６のタイミングで生成された検索キーＢによる検索結果に基づいて生成される動画選択画面を図１１（ｂ）に示す。
【００５２】
Ｓ９０９において、制御部１０１は、記録部１０７を制御して、記録部１０７に記録された日時が新しい順にコンテンツをＲＡＭ１０６に読出し、表示再生部１０４を制御して動画選択画面を表示する。ここで表示される動画選択画面は、０００１０．ＭＰ４（２０１２−１１−１２Ｔ１５：５４：０９）。→００００９．ＭＰ４（２０１２−１１−０３Ｔ１０：３１：４１）。→００００８．ＭＰ４（２０１２−０８−０６Ｔ１７：２４：１１）。→００００７．ＭＰ４（２０１２−０８−０１Ｔ２２：０１：３９）、の順にサムネイル画像が表示される画面となる。
【００５３】
Ｓ９１０において、制御部１０１は、操作部１０５を介して、再生ストリーミング以外の動作モードへの切り替えが指示されたか否かを判定する。制御部１０１が指示されたと判定した場合はＳ９１４に進み、指示されていないと判定した場合はＳ９１１に進む。
Ｓ９１１において、制御部１０１は、操作部１０５を介して、コンテンツが指定され、再生開始が要求されたか否かを判定する。制御部１０１が、要求されたと判定した場合はＳ９１２に進み、要求されていないと判定した場合はＳ９１０に戻る。
【００５４】
Ｓ９１２において、制御部１０１は、表示再生部１０４を制御し、指定されたコンテンツの再生処理を実行するとともに、通信部１１０を制御して再生画像のストリーミング送信を開始する。
【００５５】
Ｓ９１３において、制御部１０１は、Ｓ９１２で実行しているコンテンツの再生が終了したか否かを判断する。コンテンツ再生の終了は、操作部１０５を介してユーザによって実行されたか否か、あるいは、コンテンツの最後までの再生が完了したか否か、によって判断する。制御部１０１が、コンテンツの再生が終了したと判断した場合は、Ｓ９０３に戻る。
【００５６】
Ｓ９１４において、制御部１０１は、ＲＡＭ１０６上の所定の領域に格納されている検索結果を消去する。
Ｓ９１５において、制御部１０１は、ＲＡＭ１０６上の所定の領域に格納されている解析データを消去し、Ｓ９１０で指定されたモードへの遷移を実行し、再生ストリーミングモードを終了する。
【００５７】
以上のように、本実施形態においては、図９を参照しながら説明した再生ストリーミングモードにおける処理を実施するようにした。これにより、撮影ストリーミングモードから再生ストリーミングへの切り替え指示があった場合に、撮影映像の解析結果に基づいて、撮影ストリーミングの被写体と同じ被写体に関連する記録動画を優先的に表示した動画選択画面を生成することが可能となる。
【００５８】
なお、本実施形態では、Ｓ９０１、Ｓ９０２において再生ストリーミングモード中は映像解析部１０３による解析処理を停止し、また、Ｓ９１５において再生ストリーミングモードから抜けるタイミングで解析データを消去する。そのため、再生ストリーミングモードから一度撮影ストリーミングモードに遷移し、再び、再生ストリーミングモードに遷移した場合。この場合は、直前の撮影ストリーミングモードにおいて蓄積された解析データのみを用いて処理が実行されることになる。
【００５９】
［第２の実施形態］
以下、本発明の第２の実施形態について説明する。
第１の実施形態では、再生ストリーミングモード中は映像解析部１０３による解析処理を停止する構成としたが、第２の実施形態では停止しない構成の実施形態について説明する。なお、第１の実施形態と同様の部分について説明を省略し、第２の実施形態の特徴的な部分について詳細に説明する。
【００６０】
＜再生ストリーミングモード処理フロー＞
図１２を参照しながら、カメラ１００の再生ストリーミングモードにおける処理の詳細について説明する。
Ｓ１２０１において、制御部１０１は、再生ストリーミングモードを開始しても、映像解析部１０３による解析処理を停止しないようにする。本ステップは、第１の実施形態におけるＳ９０１、Ｓ９０２との差異を分かりやすくするために挿入したステップであるが、実際は何も処理は実施されない。本ステップにより、再生ストリーミングモード中も、撮像部１０２から入力される映像データに対する映像解析部１０３による解析処理の実行が継続される。
【００６１】
Ｓ１２０１で実行された処理により、Ｓ９０５によって実行される検索キー生成の処理の流れは第１の実施形態とは異なるものになる。ここで、第２の実施形態における検索キー生成の流れを、図１０（ｂ）に示す。
【００６２】
図１０（ｂ）に見られるように、再生ストリーミングモード中も解析処理が実行されている。このため、ｆ１５〜ｆ１６のタイミングにおける検索キー生成処理の結果、検索キーはＡとなり、第１の実施形態とは異なる結果となる。
【００６３】
また、Ｓ９０８において表示される動画選択画面も第１の実施形態とは異なる。第２の実施形態では、図１０（ｂ）の検索キー生成処理で生成した検索キーがいずれもＡとなるため、表示される動画選択画面は両方とも図１１（ａ）となる。
【００６４】
本実施形態では、再生ストリーミングモード開始時に映像解析部１０３による解析処理を停止しない。そのため、再生ストリーミングモードから一度撮影ストリーミングモードに遷移し、再び、再生ストリーミングモードに遷移した場合。この場合、直前の撮影ストリーミングモードだけでなく、それより前の再生ストリーミングモードあるいは撮影ストリーミングモードにおいて蓄積された解析データも検索キー生成処理の対象となり得る。
【００６５】
［第３の実施形態］
以下、本発明の第３の実施形態について説明する。
第１の実施形態では、再生ストリーミングモードを終了するタイミングにおいて映像解析部１０３によって生成された解析データを消去する構成としたが、第３の実施形態では、解析データを消去しない構成の実施形態について説明する。なお、第１の実施形態と同様の部分について説明を省略し、第３の実施形態の特徴的な部分について詳細に説明する。
【００６６】
＜再生ストリーミングモード処理フロー＞
図１３を参照しながら、カメラ１００の再生ストリーミングモードにおける処理の詳細について説明する。
Ｓ１３０１において、制御部１０１は、ＲＡＭ１０６上の所定の領域に格納されている解析データを消去しない。本ステップは、第１の実施形態におけるＳ９１５との差異を分かりやすくするために挿入したステップであるが、実際は何も処理は実施されない。本ステップにより、再生ストリーミングモードを抜けるタイミングで解析データは消去されなくなる。
【００６７】
Ｓ１３０１で実行された処理により、Ｓ９０５によって実行される検索キー生成の処理の流れは第１の実施形態とは異なるものになる。ここで、第３の実施形態のおける検索キー生成の流れを、図１０（ｃ）に示す。
図１０（ｃ）に見られるように、ｆ１５〜ｆ１６のタイミングにおける検索キー生成処理の対象としてｆ５、ｆ６のフレームが含まれるようになる。このため、ｆ１５〜ｆ１６のタイミングにおける検索キー生成処理の結果、検索キーはＡとなり、第１の実施形態とは異なる結果となる。
【００６８】
また、Ｓ９０８において表示される動画選択画面も第１の実施形態とは異なる。第３の実施形態では、図１０（ｃ）の検索キー生成処理で生成した検索キーがいずれもＡとなるため、表示される動画選択画面は両方とも図１１（ａ）となる。
【００６９】
本実施形態では、再生ストリーミングモード終了時に映像解析部１０３によって生成された解析データを消去しない。そのため、再生ストリーミングモードから一度撮影ストリーミングモードに遷移し、再び、再生ストリーミングモードに遷移した場合。この場合、直前の撮影ストリーミングモードだけでなく、それより前の撮影ストリーミングモードにおいて蓄積された解析データも検索キー生成処理の対象となり得る。
【００７０】
［第４の実施形態］
以下、本発明の第４の実施形態について説明する。
第１の実施形態では、Ｓ９０６の検索処理の処理を、コンテンツデータベースに対して顔ＩＤを検索キーとして検索処理を実行し、該当するコンテンツＩＤと出現率情報を検索結果として取得する処理とした。第４の実施形態では、さらに再生ストリーミング送信の履歴情報を加味して検索結果を決定するようにした場合の実施形態について説明する。なお、第１の実施形態と同様の部分について説明を省略し、第３の実施形態の特徴的な部分について詳細に説明する。
【００７１】
＜再生ストリーミングモード処理フロー＞
図１４を参照しながら、カメラ１００の再生ストリーミングモードにおける処理の詳細について説明する。
Ｓ９１２にて再生画像の送信を開始した後、Ｓ１４０１において、制御部１０１は、コンテンツデータベースに送信履歴を記憶する。送信履歴は送信先の外部機器ごとに記憶し、送信履歴情報は映像データの識別子情報、実行日時などを含む。なお、ここでの送信履歴を記憶する機能は、本発明における再生ストリーミング履歴手段に相当する。
【００７２】
ここで、図５（ｂ）に第４の実施形態におけるコンテンツデータベースの一例を示す。図５（ｂ）に見られるように、第１の実施形態において、図１０（ａ）に示したコンテンツデータベースに加え、再生ストリーミング履歴の欄が追加された構成となる。図５（ｂ）において、「Ｘ」、「Ｙ」、「Ｚ」は送信先の外部機器の識別子を示し、「あり」となっている該当するコンテンツの再生ストリーミングが実施された履歴があることを示す。第４の実施形態では、ＰＣ２００の識別子は「Ｙ」であるものとして説明する。
【００７３】
Ｓ１４０１で実行された処理により、Ｓ９０６によって実行される検索処理の結果は、第１の実施形態とは異なるものになる。
図５（ｂ）に示すコンテンツデータベースに対して、図１０（ａ）のｆ６〜ｆ７のタイミングで生成された検索キーＡを用いて検索した結果は、以下のようになる。００００８．ＭＰ４（９０％）、００００１．ＭＰ４（７５％）、００００３．ＭＰ４（７０％）、００００２．ＭＰ４（６０％）、００００５．ＭＰ４（５０％）、００００９．ＭＰ４（１０％）となる。
【００７４】
さらに、「Ｙ」への再生ストリーミング履歴が無いものに限定することによって、最終的な検索結果は、００００１．ＭＰ４（７５％）、００００２．ＭＰ４（６０％）、００００５．ＭＰ４（５０％）、００００９．ＭＰ４（１０％）となる。
この検索結果に基づいて、Ｓ９０８において表示される動画選択画面の例を図１１（ｃ）に示す。図１１（ｃ）は、図１１（ａ）と異なる内容となる。
【００７５】
以上のように、本実施形態では、図１４を参照しながら説明した再生ストリーミングモードにおける処理を実施するようにした。これにより、撮影ストリーミングモードから再生ストリーミング記録動画のストリーミングへの切り替え指示があった場合に、撮影映像の解析結果に基づいて、撮影ストリーミングの被写体と同じ被写体に関連する記録動画を優先的に表示することが可能となる。および、送信先機器においてまだ再生していない記録動画を優先的に表示した動画選択画面を生成することが可能となる。
【００７６】
［第５の実施形態］
以下、本発明の第５の実施形態について説明する。
第１の実施形態では、Ｓ９０８、Ｓ９０９において再生する記録動画の選択画面を表示し、Ｓ９１０やＳ９１１においてユーザによる指示を待つ構成とした。第５の実施形態では、ユーザに指示させることなく自動で処理を実行するようにした構成の実施形態について説明する。なお、第１の実施形態と同様の部分について説明を省略し、第５の実施形態の特徴的な部分について詳細に説明する。
【００７７】
＜再生ストリーミングモード処理フロー＞
図１５を参照しながら、カメラ１００の再生ストリーミングモードにおける処理の詳細について説明する。なお、本処理は、撮影ストリーミングモードから、再生ストリーミングモードへの切り替え指示が操作部１０５を介して行われた場合に開始される。再生ストリーミング送信の開始要求に係る指示は、撮影モードから再生モードへの切り替えと連動して行なわれる。
【００７８】
Ｓ１５０１において、制御部１０１は、Ｓ９０６の検索結果のうち最も出現率が高いコンテンツＩＤに相当する記録動画を、記録部１０７を制御して読み出す。そして、表示再生部１０４を制御して再生処理を実行するとともに、通信部１１０を制御して再生画像のストリーミング送信を開始する。
【００７９】
Ｓ１５０２において、制御部１０１は、Ｓ１５０１で実行開始したコンテンツの再生が終了したか否かを判断する。制御部１０１は、コンテンツ再生の終了は、操作部１０５を介してユーザによって終了の指示がされたか否か、あるいは、コンテンツの最後までの再生が完了したか否か、によって判断する。制御部１０１が、コンテンツの再生が終了したと判断した場合は、Ｓ９１５に進む。コンテンツの再生が終了したと判断しない場合は、待機状態となる。
Ｓ１５０３において、制御部１０１は、再生ストリーミングモードから撮影ストリーミングモードに動作モードに切り替える。
【００８０】
以上のように、本実施形態においては、図１５を参照しながら説明した再生ストリーミングモードにおける処理を実施するようにした。これにより、撮影ストリーミングモードから再生ストリーミング記録動画のストリーミングへの切り替え指示があった場合に、撮影ストリーミングの被写体に関連する記録動画の再生ストリーミングを自動的に開始させることが可能となる。また、再生が終了した場合に自動的に撮影ストリーミングモードにモードを戻すことが可能となる。
【００８１】
（その他の実施形態）
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００８２】
１００  カメラ
１０１  制御部
１０２  撮像部
１０３  映像解析部
１０４  表示再生部
１０５  操作部
１０６  ＲＡＭ
１０７  記録部
１０８  記録媒体
１０９  検索部
１１０  通信部
１１１  アンテナ
１１２  内部バス
２００  ＰＣ
２０１  制御部
２０２  表示再生部
２０３  操作部
２０４  ＲＡＭ
２０５  通信部
２０６  アンテナ
２０７  内部バス
６０１  無線ＬＡＮアクセスポイント
６０２  インターネット網
【図１】
2015149009.tif 000003
【図２】
2015149009.tif 000004
【図３】
2015149009.tif 000005
【図４】
2015149009.tif 000006
【図５】
2015149009.tif 000007
【図６】
2015149009.tif 000008
【図７】
2015149009.tif 000009
【図８】
2015149009.tif 000010
【図９】
2015149009.tif 000011
【図１０】
2015149009.tif 000012
【図１１】
2015149009.tif 000013
【図１２】
2015149009.tif 000014
【図１３】
2015149009.tif 000015
【図１４】
2015149009.tif 000016
【図１５】
2015149009.tif 000017