(57)【要約】【課題】これまでの映像情報処理装置では、一連の撮影を行なう場合に、ユーザが事前準備、撮影後の編集を行う等の手間がかかった。【解決手段】本発明によれば、映像情報処理装置において、撮像部または通信部から入力される映像情報から文字情報を認識し、スケジュール情報に変換する。ユーザが日程を把握できていない、記録しきれない場合であっても、スケジュール情報に従い、撮像装置の表示部にイベントの予定を表示可能で、無線信号で携帯電話などの端末にイベント情報をメールで送信することが出来、イベントに関する情報を元に効率よく被写体を撮影する事を促すことが可能で、更には、スケジュール情報にもとづき撮影した撮影ファイルの情報により自動で編集を行なう。【選択図】  図１
2009182544.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像し、撮像した情報を記録媒体へ記録する映像情報処理装置であって、
被写体を撮像する撮像部と、
前記撮像部により撮像した映像情報を記録する記録部と、
前記撮像部により撮像された映像情報から文字情報を認識する文字情報認識部と、
前記文字情報認識部により認識した文字情報を、スケジュール情報に変換するスケジュール変換部とを有することを特徴とする映像情報処理装置。
【請求項２】
請求項１に記載の映像情報処理装置であって、
前記スケジュール情報は、撮影対象と時間情報を関連付けた情報であることを特徴とする映像情報処理装置。
【請求項３】
請求項２に記載の映像情報処理装置であって、
前記スケジュール情報は、前記撮影対象と前記時間情報に加え、属性情報を関連付けた情報であることを特徴とする映像情報処理装置。
【請求項４】
請求項３に記載の映像情報処理装置であって、
前記被写体が、運動会のプログラムである場合に、
前記前記スケジュール情報は、撮影対象に運動会のイベント名を含み、前記イベント名に関連付けて学年を示す属性情報を有することを特徴とする映像情報処理装置。
【請求項５】
請求項４に記載の映像情報処理装置であって、
前記学年を示す属性情報に対応する前記イベント名のうち、特定の学年をユーザが指定し、前記特定の学年に対応する前記イベント名を自動で録画することを特徴とする映像情報処理装置。
【請求項６】
請求項１から請求項５いずれか１項に記載の映像情報処理装置であって、
電力を供給するバッテリー部と、
前記記録部に記録した前記スケジュール情報に従い、前記バッテリー部の残量を確認する充電確認手段と、
前記充電確認手段により確認した前記バッテリー部の残量が所定量以下の場合、前記バッテリー部への充電を促す指示をユーザに報知する残量報知手段とを有することを特徴とする映像情報処理装置。
【請求項７】
請求項６に記載の映像情報処理装置であって、
前記記録部に記録したスケジュール情報に従い、前記記録部の空き容量を確認する容量確認手段と、
前記容量確認手段により確認した前記記録部の空き容量が、前記スケジュール情報を用いて算出される撮像予定容量に比べ足りない場合、前記記録部の空き容量を増やす指示をユーザに報知する容量報知手段とを有することを特徴とする映像情報処理装置。
【請求項８】
請求項７に記載の映像情報処理装置であって、
前記スケジュール変換部により変換された前記スケジュール情報を用いて作成した情報を送信する送信手段を有することを特徴とする映像情報処理装置。
【請求項９】
請求項８に記載の映像情報処理装置であって、
前記スケジュール情報に従い撮像され前記記録部に記録された映像情報を、前記スケジュール情報に従い、編集する編集手段を有することを特徴とする映像情報処理装置。
【請求項１０】
請求項９に記載の映像情報処理装置であって、
前記記録部は、映像情報の動きベクトルのテンプレート情報を有し、
前記撮像部から出力される映像情報の動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出手段により検出した前記動きベクトルと、前記記録部に格納された動きベクトルのテンプレート情報から前記画像情報の撮影対象を判断する判断手段と、
前記判断手段により判断した前記画像情報の撮影対象が前記スケジュール情報に含まれる場合に、自動で記録を開始する撮影補助手段とを有することを特徴とする映像情報処理装置。
【請求項１１】
請求項１０に記載の映像情報処理装置であって、
前記記録部に記録された映像情報を表示する表示部と、
前記記録部に記録された前記スケジュール情報を前記表示部に表示するスケジュール情報表示手段を有することを特徴とする映像情報処理装置。
【請求項１２】
請求項１１に記載の映像情報処理装置であって、
前記スケジュール情報表示手段は、表示される前記スケジュール情報の特定の撮影対象に印をつけて表示することを特徴とする映像情報処理装置。
【請求項１３】
請求項１２に記載の映像情報処理装置であって、
前記スケジュール情報表示手段は、記録済みの撮影対象と、未記録の撮影対象とを区別して表示することを特徴とする映像情報処理装置。
【請求項１４】
請求項１３に記載の映像情報処理装置であって、
前記表示部に出力される前記スケジュール情報を、ユーザが修正できることを特徴とする映像情報処理装置。
【請求項１５】
請求項１４に記載の映像情報処理装置であって、
前記文字情報認識部は、ユーザからの指示があった場合に、文字認識を開始することを特徴とする映像情報処理装置。
【請求項１６】
請求項１５に記載の映像情報処理装置であって、
前記スケジュール情報変換部は、前記記録部に予め記録された基準キーワード郡と、前記文字情報認識部により前記記録部に記録された前記文字情報とを比較し、作成するスケジュール情報の種類を判定することを特徴とする映像情報処理装置。
【請求項１７】
映像情報を入力する入力部と、
前記通信部から入力された映像情報から文字情報を認識する文字情報認識部と、
前記文字情報認識部により認識した文字情報をスケジュール情報に変換するスケジュール情報変換部とを有することを特徴とする映像情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像情報処理装置に関する。
【背景技術】
【０００２】
特許文献１には「簡易且つ短時間でコンテンツ制作を実行できるようにする。」という課題を、「記録媒体に記録されている動画映像素材又は静止画映像素材から選択された映像素材によりコンテンツのシーン構成が示された撮像用テンプレートから、撮像対象とする特定のシーンを選択する。その状態で撮像が行われた場合に、撮像により得られた映像素材を選択中のシーンに関連づけて管理する。また、撮像用テンプレートにおいて各シーンを構成している映像素材を、他の映像素材（撮像した映像素材）に置換することで、コンテンツを完成させる。」という解決手段で解決することが記載されている。
【０００３】
特許文献２には「スケジュールの種別毎に、スケジュールのイベントを実行する家庭においてこのイベントを実行するに必要な作業内容を指示するメッセージをどの時点でユーザに通知するかの情報をもつデータベースを備え、ユーザが入力したスケジュール情報と前記イベントが発生する日時の情報とから、前記データベースに基づいて前記イベントが発生する以前に必要な作業内容を指示するメッセージを前記データベースで指示する時点にユーザにメッセージとして通知する」スケジュールリマインダシステムが記載されている。
【０００４】
【特許文献１】特開２００４−１６５８０５
【特許文献２】特開２００１−３５０８８４
【発明の開示】
【発明が解決しようとする課題】
【０００５】
運動会などの１つのイベントをビデオカメラで撮影して１つの作品にするには事前準備や、撮影中のサポートが必要である。
具体的には、イベントが開催される前にユーザに対して事前に通知することや、イベント当日の撮影手順を事前に入力サポートすることが重要である。従来のビデオカメラは、運動会を撮影する前に、個人で運動会のプログラムを見て、スケジュール情報を立てる手間や、撮影前にビデオカメラのバッテリーを充電する手間、撮影前に記録部に空き容量を確認する手間、撮影後に編集する手間などが発生するなど、撮影のための課題がある。
また、イベントのプログラム情報をビデオカメラに入力する際のサポートや、入力されたプログラム情報から撮影手順をサポートすることも重要（実施例２の課題を詳細に）で、ビデオカメラでイベントのプログラムをあらかじめ記録するには制限があり、撮影者側で任意にイベントのプログラムを入力できることを可能にする課題がある。
さらに、イベントの撮影中、プログラム情報やサーバーからの情報に沿ってカメラが被写体を認識して自動追尾するなど、撮影中のユーザーサポートも重要である（実施例３の課題を詳細に）。これまでは、撮影者自身が被写体を追いかけながら撮影するため、撮影者が見逃してしまうなど撮影者の注意力に頼って撮影するため撮り損なう可能性があるなどの課題があった。
しかし、以上の課題について特許文献１、２は一切記載していなかった。
そこで本発明では、使い勝手のよいビデオカメラを提供することを目的とする。
【課題を解決するための手段】
【０００６】
そこで本発明では、例えば撮像部により撮像される映像情報から被写体の文字情報を認識し、スケジュール情報に変換する。
【発明の効果】
【０００７】
本発明によれば、使い勝手の良い映像情報処理装置を提供することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の一実施の形態について図面を参照しながら説明する。
【実施例１】
【０００９】
図１は本実施形態による映像情報処理装置の一例としてビデオカメラ１の構成を示す。撮影するシチュエーションは運動会を一例とする。まず、図１に映像情報処理装置の一例を示す。１０１はレンズ、１０２はＣＭＯＳセンサ、１０３は、映像信号処理部１０３、１０４は、制御マイコン部、１０５は、通信部、１０６は液晶表示部、１０７は記録部、１０８は文字認識部、１０９は音声認識部、１１４はスケジュール情報変換部である。１１２は、動きベクトル検出部、１１０は電力を供給するバッテリー部で、１１１は電源入力部である。
【００１０】
まず、はじめに図１で示す映像情報処理装置の動作を説明する。レンズ１０１を介して被写体の画像をＣＭＯＳで捕らえ、ＣＭＯＳで捕らえた画像は、電気信号に変換され映像信号処理部１０３で映像信号に変換する。
続いて、上記映像信号は制御マイコン１０４によって制御された信号は信号圧縮伸張部１１０にてデジタル映像信号に変換される。
デジタル映像信号に変換された信号は映像信号処理部によって、上記記録部１０７、例えがＢＤやＤＶＤなどの外部記録メディアや、内蔵したＨＤＤに記録される。
続いて、通信部１０５は外部機器との通信により、外部へ映像信号を出力したり、入力する事が可能。通信部１０５は、撮影のための予定をキーボードやマイクなどの入力装置を接続して入力する事も可能である。
液晶表示部１０６は、映像情報や、文字情報などの表示を行う事が可能。文字認識部１０８は、ＣＭＯＳ１０２で捕らえた、映像情報や映像信号処理部１０３で得た映像信号などの信号を元にレンズ１０１を通して撮像した文字を認識して文字情報に変換する。音声認識部１０９は、通信部１０５を通して音声を音声情報から文字情報に変換する。文字認識部１０８や音声認識部１０９から得た文字情報は制御マイコン１０４によって記録部１０７に記録する。図１では各構成を説明の都合上分けて記載したが、回路設計等に応じて適宜1チップにまとめてもよいものとする。制御の容易性や回路設計のスペース上有利になることもあるからである。
【００１１】
記録部１０７は、少なくともイベントの日時を記録したり、撮像した情報を記録したり、電子メールアドレス（以下、メールアドレスと称す）などの電子信号を記録する。記録部１０７の記録媒体は、内蔵でも外付けでもよく、磁気ディスクドライブ装置（以下、ＨＤＤ）でも光ディスクドライブ装置（以下、ＢＤやＤＶＤ）、半導体記録装置でも電子信号を記録できる媒体であれば良い。通信部１０５は、少なくとも携帯電話などの携帯端末やパーソナルコンピュータ（以下、ＰＣと称す）など他の端末や携帯電話の基地局などの機器と通信を行う機能を有する。表示部１０６は、少なくともイベントの日時の文字情報、撮像した映像などを表示する。少なくとも図１に示すような構成を有する撮像装置を利用して撮影する。
【００１２】
次に、印刷物から文字を光学的に認識して文字情報を取得しスケジュールに変換する手順について図１を用いて説明する。まず、レンズ１０１を通して撮像センサ１０２で被写体の印刷物を撮像する。撮像センサで捕らえた画像は電気信号に変換され映像信号処理部１０３で映像信号に変換される。続いて上記映像信号は、制御マイコン部１０４で制御され信号圧縮伸張処理部１１０でデジタル映像信号に変換される。デジタル映像信号に変換された信号は制御マイコン部１０４によって上記、ＨＤＤやＢＤ、ＤＶＤ、半導体記録装置といった外部ストレージに対して記録される。上記映像信号は、文字認識部で文字を検出する。撮像した情景画像から文字を切り出し認識するアルゴリズムは、一般的な文字の印刷された部分とそうでない部分のコントラスト差による２値変換アルゴリズムに文字検出であっても良い。文字らしい領域を抽出する方法として、文字と背景は明度値や色相が大きく異なることを利用して文字らしい領域を切り出す。切り出した画像情報を次に文字列や文字自体の性質や特徴を利用して文字領域を絞り込む。文字列の性質を利用する場合は、一般的に文字が一直線上に配置されているという仮定を用いる手法であっても良い。また、文字の一般的な性質を利用した方法としては、文字線と背景の濃度差を利用した方法や、文字と背景の色対比を利用した方法、空間周波数の分析と輝度コントラストの評価に基づく方法、ラプラシアン・ガウシアンフィルタを用いて線状領域を抽出する方法、文字列領域の統計的な性質を利用する方法、多重解像度でのエッジと色分布を利用する方法などにより、文字を切り出す。文字領域を切り出す手法は、前記に述べた方法以外でも何でも良い。
【００１３】
次に文字領域を特定した後、文字認識の際に、文字と背景の明暗の差を利用し、２値画像情報を得て文字認識する。また、取得した画像の品質が悪い場合には、画像の劣化情報として、劣化指数を求め、劣化指数に応じて辞書情報を変化して文字認識を行う方法や、画像情報を動画として取り込み、複数のフレームから画像の部分空間を構築して文字認識を行う方法などにより、文字を認識する。次に、文字認識を単語レベルで、時間は数字との整合により抽出し、競技の種目名などを辞書から抽出し、これらの情報をスケジュール情報変換部114によりスケジュール情報に変換し、記録部に記録する。
【００１４】
図２は、紙に印刷された運動会日程を示した一例を示す。上記、撮像装置1のレンズ１０１を介して撮像センサ１０２から取り込んだ印刷物６の文字情報から、時間や種目名などの文字列を抽出して文字列データ31として記録部１０７に記録する。文字列データベース32は、文字列のデータベースとして、単語や熟語、文書の書式など文書の特徴となる形態パターンに関する情報を記録部１０７に記録しておく。文字列データ31と文字列データベース32を比較して最もふさわしい文書のパターンを抽出する。例えば、運動会の日程に関する印刷物６を撮像し、文字列の並びや順番から判定する。判定する場合には、撮像装置１の記録部１０７に運動会であれば、文字列に運動会、障害物競走、二人三脚、綱引き、学級対抗、リレー、日時情報の文字列として、２０１０.１０.１０、８：３０〜、１５：００〜などを抽出する。開催日程の種目の文字列や、日時の条件から、この印刷物６から得た情報は運動会の情報と判定する。取得した文字列をイベントやイベントが発生する時間として図９や図１０に示す入力項目部55のプルダウンメニューにする。ユーザは紙媒体の情報をカメラで撮影するだけで、運動会の情報を撮像装置１に記録させることが可能となる。これらの文字列情報は、撮像装置１の通信部１０５を通じて、インターネット通信回線８を通じて、サーバー７に接続する。サーバー７には、学校のホームページがあり、学校のホームページから電子ファイル71をダウンロードしても良いし、ホームパージから文字情報をコピーしてもよい。また、運動会開催中に競技の開始時間が変更になった場合は、図１に示す、マイク１１３部から音声を取得し、その音声を音声認識部１０９において文字情報として記録部に登録する。この文字情報から時間と種目名を抽出して既に登録されたスケジュールと比較して時間が更新されていれば音声認識で得られた情報で時間を更新する事によりスケジュールをリアルタイムで更新する。音声認識を行う方法として、運動会などでは、雑音環境化におかれるが、このような環境下でもニューラルネットを利用した方法など、音声を認識して文字情報に変換する手法など、音声を認識する手法はどのような手法であっても良い。
【００１５】
サーバ−７がリアルタイムでスケジュールを更新していれば、リアルタイムで随時、記録部のデータを更新してもよい。このように、運動会に限らず、入学式、卒業式、学園祭、旅行、結婚式などの文字列データベースを記録しておき、これらのデータベースに整合するものや整合する割合の多いものを候補として自動で撮影手順のプログラムを組む事を可能とする。このような撮影手順で撮影した映像情報を、編集効果データベース３３から自動で場面の切り替わりごとに自動でイベント名や時間情報を表示したり、編集効果データベース３３から、ニュース番組風とか、スポーツニュース番組風、Ｆ１レース風などの編集メニューを選択すると、自動で音声を挿入する。撮影が終了した時点で、１つの番組として即座に編集済みの映像ファイルを再生することを可能とする。
【００１６】
これにより、ユーザが撮影後に編集を行なう手間を省くことができる。
【実施例２】
【００１７】
次に、印刷物６を文字認識した後、文字情報を取得し、記録部１０７に格納し自動撮影及び撮影補助のためのスケジュール情報を自動作製する場合について説明する。図３は、スケジュール情報の対象となる印刷物６から、本発明の映像情報処理装置により撮像して、文字情報を取得して記録部１０７に格納したときの状況を示す。まず、映像情報処理装置１は、印刷物６から得た文字情報を自動で分類した変数の列に示す各変数に文字情報をデータとして格納する。アドレスは、各変数を記録部１０７に格納する場所を示すアドレス情報を示す。変数のevent0〜event17は、演目の文字情報を格納する。event変数dateは、日時情報を格納する変数である。placeは、場所を表す文字情報を格納する変数である。data1には、タイトルとなる運動会プログラムや、運動会プログラムの、開催日時、場所、演目を格納する。data2には、各変数に格納したdata1に付随する時間情報を格納する。data3には、各変数に格納したdata1に付随する項目のNo.(番号)を数字情報として格納する。data4には、各変数に格納したdata1に付随する属性情報として例えば学年情報等を格納する。一例として、学年情報は、１年であれば１、２年であれば２と数で学年を順に表し全学年であればｆで表す。data5には、自動録画するイベントに自動で録画する事を示す１を格納する。録画しない場合は０を格納する。本発明の映像情報処理装置は、data4に全学年のfが格納されていれば自動で録画の対象とする１を格納している。また、本発明の映像情報処理装置には、学年情報などの個人情報を記録部１０７に登録する事により、自動でその学年のイベントを録画するために１をdata5に格納する。本実施例では、記録部１０７に学年情報１と３を格納する。この情報を元に、アドレス７の変数名event4に格納したパイレーツオブピーチの学年情報が格納されたdata4が１であるため、data5の自動録画に１を自動で格納する。また、アドレス７の変数名event4に格納したパイレーツオブピーチの学年情報が格納されたdata4が１であるため、data5に１を自動で格納する。また、アドレス１１、１４についても同様にdata4の学年情報が３であることから、記録部１０７に格納した学年情報の３と合うのでdata5に１を自動で格納する。このような処理で運動会のプログラムを印刷した印刷物６からスケジュール情報を自動で作成する。
【００１８】
以上のように、印刷物から文字認識することによってスケジュール情報を自動で作成することにより、他の機器と接続することなく、またユーザが直接スケジュール情報を入力することなく、スケジュール情報を簡易に作成することができる。すなわち、映像情報処理装置を他の機器を接続することなく、ひとつの装置で簡易に処理を完結することができ、ユーザにとって使い勝手のよい映像情報処理装置を提供することができる。
【００１９】
以上のスケジュール情報の作成は、印刷物等から撮像するものに限られず、通信部１０５から入力された映像信号から作成してもよい。
【実施例３】
【００２０】
次に、本発明の映像情報処理装置１で作成した、スケジュール情報を表示したところや、作成したスケジュール情報を変更する場合について説明する。
図４は、本映像情報処理装置１の表示部である。表示部はタッチパネル式の液晶モニタである。表示部１０６には、スケジュール情報を表示し、撮影対象の順番を表すNo.(番号)、撮影対象の演目、演目に付随する日時情報を表す時間情報、録画予約を示す印、録画の状態を示す印や文字を示す。また、表示部１０６に示されたスケジュールを編集するための各種編集のメニューを表示する。スケジュール情報の網掛け部分は既に終了した演目を示す。状態に示す印の意味は編集の欄に示す。状態には録画の開始や終了を示す印や、自分の子供が出場する事を示す印、特に撮りたい演目に付ける印、修正をする事を示す修正の印、録画済を表す印がある。演目や、日時、録画予約、状態を修正するには、編集の欄にある、表示部１０６の画面上の修正ボタンに触れる。次に、修正したい演目の行に触れ、修正画面に遷移する。修正のための入力には、プルダウンメニュー（図示せず）から時刻情報を修正したり、ソフトウェアキーボード（図示せず）により、演目の演目名を修正する事が可能。録画予約や、状態についても同様に、プルダウンメニューや、ソフトウェアキーボードなどの入力手段により修正をする事が出来る。前述の録画予約や状態を表す印は、一例であり、また、入力手段、編集手段についてもこの限りで無くて良い。本発明の映像情報処理装置は、自動でスケジュール情報を作成すると共に、液晶表示部のタッチパネルの入力手段によりスケジュールを任意に修正することが可能である。このようにしてスケジュール情報を任意に修正可能としてあるので、特に撮影したい演目については、優先度を高めるための特に撮りたいボタンを用意している。特に撮りたいを設定した演目については、記録領域の空き領域が無い場合に自動で優先順位の低い録画済の演目を削除して録画する事が可能である。本実施例では、自分の子供が出場する印で示す、太郎、花子の出場する演目以外で、ラジオ体操などの不特定多数が参加している演目について優先順位を自動で下げる仕組を持っている。また、顔認識（図示せず）により、子供の顔が、認識できない場合や、子供の顔が認識できても他の演目に比べて記録されている時間が短い演目は、優先順位が自動的で下がる仕組みで、優先順位の低い録画済の演目を自動で削除して特に撮りたい演目を撮影する事を可能とする。
【実施例４】
【００２１】
次に、本発明の映像情報処理装置１で運動会のプログラムとして判別した後、撮影するためのプログラムを生成し撮影を行う仕組みについて説明する。
図５は、映像情報処理装置１を使用して撮影する一例を示すフローチャートである。まず、映像情報処理装置１の電源を入れて電源入ST11の状態にする。電源を入れると映像情報処理装置１は、撮影が可能な状態になり、スキャンして文字情報を抽出する事が可能な状態になり、スキャンボタンを押してST12スキャン選択する。スキャンを選択12すると、映像情報処理装置１は、スキャンを開始ST13する。スキャンを開始13して、文字情報を抽出すると、映像情報処理装置１は、文字情報を記録部１０７に、記録するとともに、キーワードを抽出するST14。抽出したキーワードは、制御マイコン部１０４で、キーワードのヒット率を抽出するST15。キーワードのヒット率によって、スキャンした印刷物がどのようなプログラムであるかを自動で判断する。運動会に関するキーワードのヒット率が高いと、運動会のプログラムとして認識する。次に、映像情報処理装置１は、運動会のプログラムとして認識したキーワードを元に時系列で撮影プログラムを自動で生成する。ユーザーは、自動生成された撮影プログラムを見て、良ければ確定ボタンを押して、撮影プログラムを決定する。もし、自動生成した撮影プログラムが運動会のプログラムとして認識されていない場合や、優先順位をつけたり、時間や、演目名に修正が必要な場合は、自動生成された撮影プログラムを元に撮影プログラム編集ボタンを押してST17撮影プログラムをマニュアルで編集する。撮影プログラムの編集を終了したら、確定ボタンST19を押して、撮影プログラムを決定する。次に、映像情報処理装置１の撮影プログラムモードのボタンを押下すると撮影プログラムモードを開始ST20して、撮影プログラムに従って撮影するモードになる。撮影プログラムに従って撮影すると、運動会の撮影したい演目が始まるタイミングになると、撮影可能な状態に自動で起動する。自動で撮影するために必要なバッテリー残量や内蔵メモリの空き容量を液晶表示部１０６に表示し、もし、足りなければ、自動で充電を開始し、もし、電源入力部１１１が電源につながっていなければ電源につなげるようにメッセージを表示する。内蔵メモリに記録領域が足りなければ、削除可能な記録済みファイルを削除して、記録可能なエリアを確保する。もし、それでも足りない場合は、記録領域を確保するようにメッセージを液晶表示部１０６に表示して、記録領域を確保するように促す。次に、映像情報処理装置１は、撮影プログラムに従って、撮影のタイミングを知らせる撮影開始アラームを表示や音声で出力するST21。次に、撮影開始アラームが出力されて、撮影を開始するかどうかST22を選択する撮影開始ボタンを押さない場合は、撮影プログラムに従い自動で撮影を開始するST23。目的の被写体をフレームに収める手法については、顔認識や、被写体が所持する無線タグの識別ＩＤを利用した、被写体認識技術により自動でフレームインさせる。被写体認識する手法については、被写体を認識する手法であれば何でも良い。また、映像情報処理装置１を制御して可動させる手法は、フレームインさせるために稼働するものであればどのようなものであっても良い。例えば、制御可能な三脚と雲台を上下左右に動作する可動部を持つ機器と連携しても良いし、ロボットのような自律動作可能な機器と連携しても良い。次に、もし、本来、撮影したい競技が、まだ、始まっていない場合は、一時停止ボタンを押して、待機するST24事が可能である。また、自動で、音声情報や、撮像した動きベクトルなどの情報から、まだ、撮影したい、競技や演目が開始されていないと自動で判断した場合は、自動で待機状態になることが可能である。次に、映像情報処理装置１は、作成した撮影プログラムより、早く競技が始まる場合は、自動で撮影プログラムを変更する。映像情報処理装置１は、常に、撮像した映像情報の動きベクトルや、被写体の位置情報や、音声情報などの情報を元に、撮影プログラムで撮影しようとする競技や演目が撮影できるように更新する。このようにあらかじめ撮影した撮影プログラムに対して、撮影対象の競技や演目が前後しても、自動で更新したり、マニュアルで更新する事が可能である。撮影プログラムによって、撮影した場合は、撮影した競技や演目のタイトルを自動で撮影中に文字情報を表示したり、タイトルを撮影している映像情報に重ねて記録する事が可能である。あらかじめ、個人情報を記録していれば、被写体や撮影者の名前を表示したり、映像情報に重ねて名前の文字情報を記録する事が可能である。被写体の名前は、映像情報に重ねて、画面の隅に表示したり、被写体を矢印で示したり、枠で囲むなどしてフレーム内のどこに、被写体がいるかという表示も同時に記録する事が可能である。また、初めて被写体が競技や演目で初めて登場した時は、撮影中の音声情報に重ねて、効果音を入れることが可能である。に次に、映像情報処理装置１は、撮影している競技や演目が終了するタイミングになると、撮影終了アラームST25を表示や音声で出力する。撮影終了するかどうかST26を撮影終了ボタンを押さない場合は、自動で撮影プログラムに従い撮影を終了する。もし、撮影を続行する場合は、撮影続行ボタンを押して撮影を続行しST28、マニュアルで撮影を終了させることが可能。次に、撮影プログラムモードで撮影したい演目や競技を全て撮影したかどうかを自動で判定ST29して、まだ、全て撮影を終了していない場合は、撮影プログラムに従って、次の競技や演目を撮影するタイミングまで待機し、次の競技や演目を撮影するタイミングになると撮影開始アラームを出力ST21し、撮影プログラムで撮影する競技や演目がなくなるまでこのST21〜ST29を繰り返す。撮影プログラムモードで撮影する競技や演目を全て撮影したなら、撮影プログラムモードを終了ST30する。撮影プログラムモードによる撮影が終了したら電源を自動で切るST30。このように、撮影プログラムモードで撮影する事により、撮影終了と同時に、開催された運動会の大会名や、競技名や演目名、被写体や撮影者の名前などの個人情報を自動で映像情報に重ねて記録でき、運動会に適した効果音なども自動で挿入する事が可能である。効果音については、あらかじめ記録部１０７に記録した効果音を利用しても良いし、任意の効果音を挿入しても良い。
【実施例５】
【００２２】
次に、本発明の映像情報処理装置１で運動会に関係するキーワードを抽出してスキャンしたプログラムがどのようなプログラムか自動で判断する仕組みについて図６を用いて説明する。映像情報処理装置１は、印刷物６をスキャンし文字情報を抽出してキーワードを抽出する。抽出したキーワードは、キーワード群１０７１として記録部１０７に記録する。記録部１０７には、比較する基準となる基準キーワード群１０７２がある。これらは、運動会のキーワード群１０７３や、コンサートのキーワード群１０７４や、講演会のキーワード群１０７５などが、あらかじめ、使用頻度の高い文字情報アイテムとして登録してある。運動会であれば、初期状態で運動会の開催されそうな時期などの日時情報や、運動会のタイトルや、運動会でよく行われそうな競技名や演目名や、グラウンドや、保育園、幼稚園、小学校などの場所を表す文字や、学年の情報が登録してあり、更に、任意に被写体の名前などを入力する事であらかじめ登録することが可能である。このような基準キーワード群１０７２と抽出したキーワード群１０７１とのキーワードの一致率を制御マイコン部１０４で比較する事でキーワードヒット率を抽出して、スキャンした印刷物６がどのようなプログラムであるかを判定する。
【実施例６】
【００２３】
本発明の撮像装置１は年間を通じて行われる行事をあらかじめ記録部１０７に記録しておく。あらかじめ登録する行事は初期状態で登録している行事と、ユーザが任意に追加、変更して登録した行事がある。行事は、通信を通じて更新可能である。ユーザ(図示せず)が撮像装置１に電源を投入すると撮像装置１が起動し、表示部１０６に撮影に必要な情報を表示する。表示部１０６からの設定が無い場合は、記録部１０７に登録した登録メールアドレスに通信部１０５からメールを送信する。
【００２４】
図７は、運動会の時期が迫ってきたときの撮像装置１の表示部１０６に表示されるメッセージの一例を示す。本撮像装置１のメッセージを出す間隔は、あらかじめ設定した間隔で自動または、任意にメニュー（図示省略）より設定することが可能で、一ヶ月前から出すなどそのイベントに応じてメニューより指定可能である。また、ユーザが忘れる事を防ぐためにリマインダーの機能を有する。件名51に、運動会のシーズンが迫ってきた事を示す内容を表示し、本文52に撮像装置の指示に従って撮影するか、否かのメッセージを表示する。カメラに従うかどうかは表示部１０６の選択ボタン53をタッチパネルやカメラに備え付けられた十字キーや上下左右ボタンなどの操作部（図示せず）により選択する。表示部１０６の液晶モニターが閉じられていてメッセージが出力できない場合や、ユーザによる表示部１０６でのボタン53による選択が行われなかった場合は、記録部に記録した携帯電話のメールアドレスに、同様の主旨のメールを送信する。
【００２５】
図８に携帯電話に送信するメールの内容の一例を示す。メールには、テキスト情報と、Uniform Resource Locator部54（以下、ＵＲＬと称す）を含めて送信する。メールのＵＲＬ部54を選択し撮像装置１の機能やデータを携帯電話から利用することが可能である。URL部54を選択して撮像装置1に接続する。撮像装置1に接続すると撮像装置１の表示部１０６に表示するメニュー画面図７と同様のメニュー画面を携帯電話の表示部に表示する。ユーザは携帯電話からメニューの選択画面で選択ボタン53を選択することが可能。このように撮像装置１は、サーバー機能を有する。
【００２６】
図９は、運動会の日程を設定するメニュー画面の一例を示す。入力項目部55に、三角印からプルダウンメニューで入力したり、テンキーで数字入力や文字入力を行うことが可能。このメニューでは、入場から退場までの時間設定を行う。撮影したいイベント名と時間を入力する。これらの設定をする事により記録部３に日程を記録して、予定時刻前になると、表示部１０６にメッセージを表示したり、携帯電話にメールを送信する。
【００２７】
更にイベントを追加するときには、イベント追加と記された選択ボタン53を選択して追加することが可能。図１０にイベント追加のメニュー画面の一例を示す。図９のメニュー同様、入力項目部55に必要なイベント名や時間を入力する。更に、イベントを追加する場合は、イベント追加と示された選択ボタン53を選択する。撮影したいイベントを全て入力し、確認と記された選択ボタン53を選択する。
図１１に、メニューから入力した内容を確認する画面を示す。この内容で良ければ、送信ボタンを、修正や、変更を行う場合は戻るボタンで戻って修正を行う。
【００２８】
図１２は、一連のフローを示す。電源が投入されて待機状態ST0から、時間が経過すると自動で予定行事に迫ったかST1のチェックを行う。予定行事に迫ったかどうかは所定の時間間隔が自動または、任意で設定してあり、その時間間隔に到達したかどうかを自動で判定する。まだ、その時間間隔に到達していなければ、次回の警告時間まで待機ST2する。予定行事に迫ると、予定行事日程の作成の指示ST3を出力する。予定行事の日程作成の指示に従い運動会の日程を入力する。充電電池は所定量以下であるかST4どうか自動で判断する。残量が所定量以下であれば、充電を促す指示ST5を出力する。所定量は、任意の量に設定可能であってもよいし、予め定められた所定量を用いてもよい。次に記録容量があるかST6を自動で判定する。入力した予定行事の撮影イベントに対し記録容量が足りなければ記録容量を増やす指示ST7を出力する。
【００２９】
これにより、ユーザが撮影予定のイベントを記録し忘れることや、ユーザが事前に充電を確認し忘れて、当日の撮影中に電源が落ちてしまう危険、記録媒体の容量が足りなくなるといった危険を未然に防ぐことができ、ユーザはより確実に且つ簡易に撮影準備を行なうことができる。
次に予定のイベントを撮影したか自動で判定ST8する。まだ、撮影するイベントがあれば、イベントの撮影を指示する文字情報や音声を出力する。全てのイベントを撮影すると一連の予定行事の日程を撮影したと判定して終了する。これらの撮影した内容はグループ化して保存する。グループ化した情報を利用して他の記録メディアに一括して撮影ファイルを記録したり、選択して記録する事を可能とする。
【実施例７】
【００３０】
次に、動きベクトルに応じて撮影を開始、または、停止する動作について説明する。図１の動きベクトル検出部１１２は、画像の動きベクトルを検出し所定の動きベクトルと一致するか否かを判断する。動きベクトル検出部１１２は、動きベクトルを検出する作用により、前記動きベクトル検出部１１２の検出した前記動きベクトルが所定のパターンの動きベクトルであるか否かを判断する。記録部１０７には、人が動作したときの動きベクトルのテンプレートを記録する。前記動きベクトル検出部１１２の作用により、運動会で綱引きが行われた場合には、撮像した画像から検出した動きベクトルの綱引きの動きベクトルと前記動きベクトルのテンプレートと一致する動きベクトルと判断した場合には、自動で撮影を開始し記録１０７部に記録を開始する。このような作用により、自動認識率を向上して自動撮影することが可能になる。更に、文字認識などによって入手したスケジュール情報と、前記動きベクトルのテンプレートから、そのスケジュールにあわせて発生するであろう動きベクトルを動きベクトル検出部で予測して、撮影サポートを行う。このような作用により自動認識率を向上することが可能である。
【００３１】
以上、説明した実施例によれば、これまで、撮像装置で撮影するだけであった人間の感覚だけに頼って撮像していたビデオカメラにイベントの予定情報を事前に提供し、撮影の補助情報により、効率よく撮影する事を可能とすることが出来る。これまでは、単に撮影するだけだったビデオカメラは、自力で編集する撮影、編集スタイルであったが、カメラの記録部に記録した予定に従い、撮影のための指示がメールで連絡されたり、表示部に表示されたりすることで、撮影者が、撮影し損ねる事を防ぐ事を可能とし、編集データベースを撮影情報に挿入する事により撮影終了と共にひとつの作品として編集いらずで纏め上げることが出来る。初心者でも、カメラの指示に従うことで、撮影の失敗を防ぐ効果がある。カメラから送信されるメールの内容に従うことで、撮影の準備ができる。ＰＣや編集ツールを使わなくても必要なシーンだけを記録しているのでそのまま記録メディアへダビングして保存することが出来、編集の手間が省ける。
【００３２】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、  必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施例における、映像情報処理装置の構成図である。
【図２】本発明の実施例における、イベントの情報を映像情報処理装置に入力する構成図である。
【図３】本発明の実施例における映像情報処理装置により撮像して、文字情報を取得して記録部に格納したときの状況を示す図である。
【図４】本発明の実施例における、映像情報処理装置の表示部に表示されるスケジュール情報の一例を示す図である。
【図５】本発明の実施例における、映像情報処理装置使用して撮影する一例を示すフローチャートである。
【図６】本発明の実施例における、映像情報処理装置でプログラムを自動で判断する仕組みの一例を示す図である。
【図７】本発明の実施例における、映像情報処理装置の予告メッセージを表示した表示部の図である。
【図８】本発明の実施例における、映像情報処理装置の予告メッセージを携帯電話の表示部で表示した図である。
【図９】本発明の実施例における、イベントの日程を入力するためのメニュー画面の図である。
【図１０】本発明の実施例における、イベントの日程を追加入力するためのメニュー画面の図である。
【図１１】本発明の実施例における、イベントの日程を入力した内容を確認するための画面の図である。
【図１２】本発明の実施例における、映像情報処理装置の一連の動作を表すフロー図である。
【符号の説明】
【００３４】
１    映像情報処理装置
１０１  レンズ
１０２  撮像センサ
１０３  映像信号処理部
１０４  制御マイコン部
１０５  通信部
１０６  液晶表示部
１０７  記録部
１０８  文字認識部
１０９  音声認識部
１１０  バッテリー部
１１１  電源入力部
１１２  動きベクトル検出部
１１３  マイク
１１４  スケジュール情報変換部
２      撮像対象の被写体
３      記録部
３１    文字列データ
３２    文字列データベース
３３    編集効果データベース
４      通信部
５      表示部
５１    件名
５２    本文
５３    ＯＳＤによる選択ボタン
５４    Uniform Resource Locator
５５    入力部
６      印刷物
７      サーバー
８      通信回線
８１    電子ファイル
【図１】
2009182544.tif 000003
【図２】
2009182544.tif 000004
【図３】
2009182544.tif 000005
【図４】
2009182544.tif 000006
【図５】
2009182544.tif 000007
【図６】
2009182544.tif 000008
【図７】
2009182544.tif 000009
【図８】
2009182544.tif 000010
【図９】
2009182544.tif 000011
【図１０】
2009182544.tif 000012
【図１１】
2009182544.tif 000013
【図１２】
2009182544.tif 000014