(57)【特許請求の範囲】
【請求項１】
情報を記録する記録手段と、
音声情報を入力する複数の音声入力手段と、
前記入力された音声情報を認識する音声認識手段と、
前記入力された音声情報がシーン区切りの指示を示すと前記音声認識手段により認識された場合に、前記シーン区切りの位置を示す情報を作成し、シーン区切りの指示を示す音声情報が入力された前後の所定期間に入力された音声情報である区切り音声情報を前記シーン区切りの位置に対応づけるよう制御する制御手段と、
を備え、
前記音声認識手段は、前記複数の音声入力手段のうち、所定の音声入力手段から入力された音声情報の比重を高くして、または、当該所定の音声入力手段から入力された音声情報のみを用いて、認識することを特徴とする情報記録装置。
【請求項２】
請求項１に記載の情報記録装置は、
ユーザの操作により指定したシーン区切りの位置から、前記情報を再生する再生手段を備えることを特徴とする情報記録装置。
【請求項３】
請求項１に記載の情報記録装置であって、
前記記録手段が記録する情報は、映像情報であり、
前記シーン区切りの位置に対応するサムネールを作成する作成手段
を備えることを特徴とする情報記録装置。
【請求項４】
請求項３に記載の情報記録装置であって、
前記サムネールを表示する表示手段と、
ユーザの操作によって前記表示手段に表示されるサムネールから一つのサムネールを選択する操作手段と、
前記選択したサムネールに対応した位置から前記映像情報を再生する再生手段と、を備えることを特徴とする情報記録装置。
【請求項５】
請求項４に記載の情報記録装置は、
音声情報を出力する音声出力手段を備え、
前記制御手段は、前記シーン区切りの位置に対応するサムネールと、該シーン区切りの位置に対応する区切り音声情報とを対応づけ、
前記音声出力手段は、前記サムネールが表示される場合に、前記サムネールに対応づけられた区切り音声情報を出力することを特徴とする情報記録装置。
【請求項６】
請求項４に記載の情報記録装置であって、前記サムネール表示手段は、前記音声認識手段により区切られたシーン区切りに対応するサムネールを、記録開始時のシーン区切りと区別するための識別表示を表示することを特徴とする情報記録装置。
【請求項７】
請求項１に記載の情報記録装置は、
サンプル音の特徴量を記憶する記憶手段を備え、
前記音声認識手段は、前記入力された音声情報の特徴量と前記サンプル音の特徴量とを比較することにより、前記入力された音声情報がシーン区切りの指示を示すか否かを認識し、
前記記憶手段に記憶されるサンプル音は変更可能であることを特徴とする情報記録装置。
【請求項８】
請求項１に記載の情報記録装置は、
ユーザ毎の声の特徴量を記憶する記憶手段を備え、
前記制御手段は、前記入力された音声情報と前記記憶手段に特徴量が記憶されたユーザの音声であり、かつ、前記入力された音声情報がシーン区切りの指示を示すと認識された場合に、前記シーン区切り位置を示す情報を作成し、前記区切り音声情報を、前記シーン区切りの位置に対応づけるように制御することを特徴とする情報記録装置。
【請求項９】
映像情報を記録する記録手段と、
音声情報を入力する複数の音声入力手段と、
前記入力された音声情報を認識する音声認識手段と、
前記入力された音声情報が、シーン区切りの指示を示すと認識された場合に、前記シーン区切りの位置を作成するように制御する制御手段と、
前記シーンの区切りの位置に対応するサムネールを作成する作成手段と、
前記サムネールを表示する表示手段と、
ユーザの操作によって前記表示手段に表示されるサムネールから一つのサムネールを選択する操作手段と、を備え、
前記サムネール表示手段は、前記音声認識手段により区切られたシーン区切りに対応するサムネールを、記録開始時のシーン区切りと区別するための識別表示を表示し、
前記音声認識手段は、前記複数の音声入力手段のうち、所定の音声入力手段から入力された音声情報の比重を高くして、または、当該所定の音声入力手段から入力された音声情報のみを用いて、認識することを特徴とする情報記録装置。
【請求項１０】
請求項１に記載の情報記録装置は、
レンズを通して被写体を撮像する撮像手段を備え、
前記所定の音声入力手段は、レンズと反対の面に設置されることを特徴とする情報記録装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像や音声を示す情報を記録する情報記録装置に関するものである。
【背景技術】
【０００２】
音声認識を用いて、画像の記録装置、または、再生装置を制御する技術として以下の発
明が開示されている。
【０００３】
例えば、特許文献１には、「映像を中断したときに、中断した位置にビデオテ−プの頭
出しを行うことが可能なビデオデッキ」を提供することを課題とし、「録画開始時にコン
トロ−ルトラックに記録される第１のＶＩＳＳ信号とは異なるデュ−ティ比の第２のＶＩ
ＳＳ信号をコントロ−ルトラックに記録させ、所定の操作に応じて、第２のＶＩＳＳ信号
が記録されている位置までビデオテ−プの頭出しを行うように構成され」たビデオデッキ
が記載されている。
【０００４】
また、特許文献２には、「音声指示が可能なビデオカメラ等において、その音声指示が
収録されることを抑制し、再生時の聞き苦しさを軽減すること」を課題とし、「収録する
音声のうち、動作コマンドを示す音声を音声認識器１１０で認識し、動作コマンドである
と認識された音声に対応する音声データを削除、或いは、音量の低減処理を施すこと」撮
影装置が記載されている。
【０００５】
また、特許文献３には、その段落番号０００８に「人手でこうしたチャプターを作成す
る際の問題点」として、「人間が内容に応じて適切な区切りを振るため、その精度に問題
はないが、細目にわたるチャプターを作成するには、大きな労力を必要とする」と記載し
ている（段落番号［０００８］）。そして、この問題等を解決する発明として、「入力さ
れたマルチメディアデータに音声認識をかけて得られたテキストを、言語的な知識を用い
て区分けし、そこから元のマルチメディアデータにリンクしたチャプターを自動的に作る
」チャプター作成装置が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2006-121155号公報
【特許文献２】特開2003-298916号公報
【特許文献３】特開2003-230094号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ビデオカメラやレコーダ等の撮像装置では、各記録の開始ごとにサムネール画像を作成
しておき、再生時には、サムネール表示一覧として表示すること機能を有することが多い
。そして、該一覧から一つのサムネールを選択すると、そのサムネールに対応した記録内
容が再生される場合が多い。また、ユーザが任意の位置で、シーンの区切れの単位（チャ
プタ）を編集することで、サムネールを追加・削除する機能を有するものがある。
【０００８】
しかし、記録開始以外のタイミングで、記録・再生中のコンテンツに対して、シーンの
区切り位置を指示するのは、ユーザには煩わしく、使い勝手の点で改善を要する点である
。たとえば、ビデオカメラの撮影中に、ユーザがシーンの区切りを作成しておきたい場合
に、区切りの位置ごとに、記録停止・記録開始をボタン押下によって操作するなどすると
、その区切れ目で一度撮影が中断されて、後ほど鑑賞する際に、不連続なシーンとなって
しまう。同じく、音声レコーダなどにおいても、会議中の議題ごとに区切れを入れたい場
合などに同様の課題が生じる。
【０００９】
さらに、撮影したチャプタのサムネールを表示させたとしても、そのサムネールの画像
を見たのみでは、ユーザが何を撮影したのか把握できない場合がある。このため、各チャ
プタには、その内容を識別するための情報を撮影者が付加することが望ましい。
【００１０】
これに対しては、例えばボタン等によって文字タイトルを入力することが考えられる。
しかし、撮像装置で撮影を行う操作と並行して、ユーザがチャプタを区切りながら、さら
に個々のチャプタにボタン等でタイトルを付ける作業は、ユーザにとっての負担となり得
る。一方、この記録が一通り終了した後に、改めて各チャプタにタイトルを付けることも
考えられるが、ユーザが何をとったか思い出すまでに時間や手間がかかる場合もある。
【００１１】
特許文献１の発明によると、映像に区切り位置を付けることができるが、区切り毎に何
を記録したかを示す情報をユーザが付加すことについては記載されていない。
【００１２】
特許文献２の発明によると、動作コマンドを音声によって入力することが可能となるが
、チャプタを区切ることや、区切りシーンを識別するための情報をユーザが付加すること
に関しては検討されていない。
【００１３】
特許文献３の記載によると、その題目等をもとに、音声認識によって得たテキスト情報
を適切なまとまり毎に区切ることが記載されている。しかし、テキスト情報を区切るまと
まりが、ユーザの意図と異なる場合や、テキスト情報の内容が各まとまりの内容を示すも
のとしてユーザが意図するものと異なる場合がある。また、各区切りを識別するための情
報をユーザが付ける場合の使い勝手を向上させる点について、記載されていない。
【００１４】
本願発明は、情報の記録を所定の単位に区切りながら行う場合において、ユーザが何を
記録したかを識別することを容易にする情報記録装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記課題は、特許請求の範囲に記載の発明によって解決される。例えば、本情報記録装
置では、入力した音声情報を用いて、映像に区切りを入れる。
【発明の効果】
【００１６】
本願発明によると、情報の記録を所定の単位に区切りながら行う場合において、ユーザ
が何を記録したかを識別することを容易にする情報記録装置を提供することが可能となる
。
【図面の簡単な説明】
【００１７】
【図１】実施例１のブロック構成図。
【図２】実施例１のシーン区切りの様子を解説した図
【図３】実施例１のシーン区切りとストリームの時刻対応を示した図
【図４】実施例１のサムネール一覧を示した図
【図５】実施例１のサムネール一覧とＧＵＩを示した図
【図６】実施例１のサムネール一覧とＧＵＩの別形態を示した図
【図７】実施例１のシーン区切り時のＬＣＤ画面を示した図
【図８】実施例２のブロック構成図。
【図９】シーン区切りの様子を解説した図。
【図１０】実施例３の装置の構成例を示した図。
【図１１】実施例３の処理の例を示したフローチャート。
【発明を実施するための形態】
【００１８】
以下に、本発明の実施の形態を説明する。
【実施例１】
【００１９】
情報記録装置とは、例えば、ＨＤＤカムコーダ、ＢＤレコーダ、等の情報を記録する装
置のことを示す。しかしこれに限定されるものではなく、例えば情報を記録する機能を有
する携帯電話機、ＰＤＡ等にも適用可能である。情報の例としては、映像や音声がある。
【００２０】
図１に第１の実施形態のブロック構成を示した図を示す。以下、本図面に沿って実施例
の説明を行う。本実施例は、ブロック図は映像音声をハードディスクドライブ（ＨＤＤ）
に記録し再生するＨＤＤカムコーダの構成を示したものである。図１内の各要素は、１…
レンズ、２…画像信号処理部、３…画像符号化部、４…マイク、５…アナログ／デジタル
（ＡＤ）変換回路、６…音声認識回路、７…音声符号化部、８…記録インタフェース、９
…記録制御回路、１０…サムネール画像作成部、１１…管理情報作成部、１２…多重化回
路、１３…メディア制御部、１４…ＨＤＤ、１５…分離回路、１６…画像復号部、１７…
画像出力回路、１８…液晶ディスプレイ（ＬＣＤ），１９…音声復号部、２０…デジタル
／アナログ（ＤＡ）変換回路、２１…スピーカ、２２…サムネール管理回路、２３…サム
ネール一覧作成回路、２４…再生インタフェース、２５…再生制御回路を示す。
【００２１】
レンズ１から入力された映像は、図示しないＣＭＯＳやＣＣＤ等の受光素子によって映
像信号に変換される。そして、映像信号は、画像信号処理部２において、走査線方向にス
キャンされ、デジタルデータとして変換される。ここでは、標準画像サイズの横７２０×
横４８０画素ごとのフレームが一秒間に３０枚生成されるとする。変換された映像信号は
、画像符号化部３に転送される。なお、画像信号処理部２や画像符号化部３は、例えば、
ＡＳＩＣ等の専用回路によって構成される。
【００２２】
記録インタフェース部８は、たとえば記録開始／停止を指示するためのボタンなどから
構成され、ボタン押下によってトグル処理により記録の開始停止が装置全体の記録制御を
行う記録制御回路９に入力されるものとする。
【００２３】
記録制御回路部９はたとえは、マイクロプロセッサなどからなり、図示されていないが
、装置全体のブロックの制御を行うために、ＣＰＵアドレス、データバスなどで接続され
ており、各ブロックの制御を行うものとする。
【００２４】
以下、記録開始状態にボタンにより状態が変更し、記録制御回路９から各ブロックに記
録開始指示が出された動作について説明する。
【００２５】
画像符号化部３に転送されたデジタル映像データは、たとえばＭＰＥＧ２（ＩＳＯ／Ｉ
ＥＣ１３８１８−２）規格などで圧縮符号化された映像ビットストリームとして多重化ブ
ロック１２に出力される。
【００２６】
一方、音声は、マイク４からアナログ信号として入力され、ＡＤ変換回路５によってデ
ジタル信号処理される。たとえば、４８ＫＨｚの周波数でサンプリングされたステレオ音
声であり、ＬチャネルとＲチャネルの１６ビット量子化されたＰＣＭ音声としてＡＤ変換
回路５より出力される。
【００２７】
処理されたデータは、音声認識回路６に入力されるとともに音声符号化部７に転送され
る。音声符号化部７では、たとえば圧縮規格ＭＰＥＧ２ＬａｙｅｒＩＩ（ＩＳＯ／ＩＥＣ
１３８１８―３）規格などに基づき音声ビットストリームとして出力される。音声認識回
路６や音声符号化部７は、例えば、ＡＳＩＣ等の専用回路により構成される。
【００２８】
多重化ブロック１２に入力された映像音声ストリームは、ＭＰＥＧ２システム規格(Ｉ
ＳＯ／ＩＥＣ１３８１８−１)などに則り、トランスポートストリームとして、パケット
多重化されて、パケット多重化情報とあわせて、メディア制御部１３に転送される。
【００２９】
このとき、パケット多重化される際に付加されるヘッダ部にはタイムスタンプが付記さ
れ、記録シーン中のどの地点のデータが格納されているかが判別できるようになっており
、後述の再生時には、タイムスタンプを比較することで、正確な音声と映像の同期を取る
ことができ、また、映像位置と、音声位置の対応を常に確認することができる。
【００３０】
パケット多重化されたデータ列は、多重化ブロック１２からメディア制御部１３に転送
され、ファイルとしてＨＤＤ１４に記録される。この際、記録制御ブロック９は、上記フ
ァイルがＨＤＤ内のどのアドレス(たとえばセクタ番号)に格納されるかを管理する管理情
報を生成しメディア制御部１３を介して、ＨＤＤ１４に記録する機能を有する。また、さ
らに、記録開始、終了ごとに、上記ファイルを独立にする、もしくは、ファイルの区切り
位置のアドレスを管理情報内に記録することで、後に管理情報をＨＤＤ１４から読み出し
て、所望の記録開始点を特定し、その位置からパケット多重化されたストリームを読み出
し再生できるようデータを生成する。また、ハードディスクであるＨＤＤ１４の他にも、
ＳＤやフラッシュメモリ等、情報を記憶する装置であれば、本実施例の装置を構成可能で
ある。
【００３１】
次に記録中に音声により、シーンの区切り位置を生成しサムネールを作成する手順につ
いて説明する。
【００３２】
前述のＡＤ変換回路５から出力されたＰＣＭ音声データは、記録時に同時に音声認識回
路６に入力される。
【００３３】
音声認識回路６では、あらかじめ設定しておいた特徴パターンに基づき、特徴が検知で
きた場合に、その検知時刻の情報を出力する機能を設ける。ここでいう特徴パターンとは
、例えば、シーン区切りの指示を示す音声が持つ特徴パターンのことをいう。
【００３４】
音声認識回路６は、昨今音声認識で用いられている手法で構成が可能である。たとえば
、音声認識回路６は、入力されたＰＣＭ音声データから、所定の特徴量を取り出す。そし
て、音声認識回路６は、取り出した特徴量とあらかじめ用意した音声データの特徴量との
パターンマッチングを行ったり、音声レベルのピークとピーク時間を閾値と比較する。そ
して、比較の結果、ＰＣＭ音声データが所定条件を満たす際に、特徴検知されたとして検
知時刻情報を報告するようにしても良い。たとえば図２に示すようにカメラ１００で撮影
中の話者が１０１、１０２に示すように撮影中に、発話したとする。一つ目の発話は、「
ＣＵＴ」、その後任意の発話「ＳＥＮＴＥＮＣＥ１」と続く。次にしばらく期間が経過し
た後、二つ目の発話「ＣＵＴ」、その後任意の発話「ＳＥＮＴＥＮＣＥ２」と続く。この
とき、あらかじめ音声認識回路６に「ＣＵＴ」を特徴パターンとして登録していた場合、
この特徴抽出時刻を音声認識回路６は後段のサムネール画像作成回路に転送する。
【００３５】
なお、パターンマッチングにおいては、例えば、入力されるＰＣＭ音声データの特徴量
と、予め用意されている音声データとが同一または類似である場合に、対応する処理を実
行する。また、例えば、予め用意されている音声データのうち、入力されたＰＣＭ音声デ
ータと最も類似しているものを、合致するデータとして選択してもよい。また、特徴量の
検出を情報記録装置で行った後、その特徴量を図示しないサーバ等の外部機器に送信し、
該外部機器においてパターンマッチングを行う構成としてもよい。この場合、情報記録装
置は、図示しない無線または有線で通信を行うための通信インターフェースを備えるもの
とする。また、予め記憶されている音声データとしては、音声を構成する各音素の音響モ
デル、個々の意味ある単語を記憶する辞書等がある。
【００３６】
また、音声認識回路６では、図示しないメモリに、撮像者の声紋を予め登録しておくこ
とも可能である。また、音声認識回路６では、その声紋が登録されたユーザの音声のみを
認識することも可能である。これにより、例えば、撮像するユーザの意図に反して、撮像
している対象から入力した音や、撮像者以外の人間の発声により、区切り位置が生成され
たり、「ＳＥＮＴＥＮＣＥ１」等が記録される可能性を抑制することができる。また、予
め用意しておく音声データとして、複数人分の音声データを図示しないメモリ等に記憶し
ておき、起動時に撮像者の認証を行うことによって、複数人の音声データから、撮像者と
して認識されたものの音声データを比較対象に設定する構成としてもよい。
【００３７】
次に、記録中のストリームと発話１０１、１０２と記録中ストリームとの時刻関係の関
係について、図３を用いて述べる。現在のシーンの記録が時刻Ｔ０から開始され、発話１
０１の「ＣＵＴ」が時刻Ｔ１に特徴抽出され、発話１０２の「ＣＵＴ」が時刻Ｔ２に特徴
抽出されたとすると、メディア制御ブロック１３から記録中の記録中ストリームの各Ｔ０
，Ｔ１，Ｔ２に対応する位置情報がおのおの、記録開始時刻、シーンの区切れ１、シーン
の区切れ２として前述の記録制御部９に認識されており、それぞれの時刻に対応するスト
リームのＨＤＤ内のアドレス情報が、上述の管理情報内に記録される。
【００３８】
また、本実施例においては、区切れ１等の位置を、時刻によって管理しているが、決し
えて時刻のみに限定されるものではない。例えば、映像を構成するフレームに割り振られ
た番号やアドレス等、映像データ全体における相対的な位置を示す情報を用いても、本実
施例の情報記録装置を構成することが可能であることはいうまでもない。
【００３９】
次に、Ｔ０、Ｔ１，Ｔ２に対応するサムネールを作成する手順について述べる。Ｔ０、
Ｔ１，Ｔ２では、対応する時刻の画像が画像信号処理部２からサムネール画像作成回路１
０に転送され。サムネール画像作成回路１０において、サムネール画像として、表示しや
すいサイズに加工される。たとえば図４のように装置の出力サイズに６枚出力する場合に
は、水平方向１／６以下、垂直方向１／２以下に画素サイズを縮小した１フレームを作成
することで、サムネール画像の基データを作成する。
【００４０】
このデータをたとえば、ＪＰＥＧで圧縮をかけても良い。また、短い時間の動画サムネ
ールとしてＭＰＥＧなどで別途圧縮をかけても良い。上記のように処理が施されたサムネ
ールデータは、管理情報作成部１１において、上述のシーンの区切れ位置とそれに対応す
るストリームアドレス情報と対応付けられたサムネール管理情報として、メディア制御部
１３を介してＨＤＤ１４に記録される。
【００４１】
さらに、音声認識回路６では、特徴検知用パターン「ＣＵＴ」に続く、発話１０１中の
「ＳＥＮＴＥＮＣＥ１」、発話１０２中の「ＳＥＮＴＥＮＣＥ２」の音声情報を、あらか
じめ設定した期間分音声データとして、別途記録し、対応するサムネール２，サムネール
３の情報に対応付けて管理情報内に格納し、後にサムネール再生時にサムネール表示と同
時に上記音声データを再生することも可能である。このために、サムネール画像生成ブロ
ックを介してサムネール管理情報内に各サムネールに対応付けられて、特徴検知パターン
直後のセンテンスも記録される。
【００４２】
このように、記録処理を行うことによって、発話１０１中の「ＳＥＮＴＥＮＣＥ１」等
を発話１０２中の「ＳＥＮＴＥＮＣＥ２」を、音声によって各シーンの概要を示す、いわ
ば音声タイトルとして記憶させておくことが可能となる。
【００４３】
上記方法により、撮影中のユーザは、シーンの区切れごとに逐次ボタンを記録開始・停
止ボタンを押下する必要がなく、記録を中断する必要がない。また、煩わしいボタン操作
がなくなるため、被写体の追跡、ズーム処理などに集中しつつ、意図したタイミングでの
シーンの区切れを指示することが可能であり、使い勝手が向上するという効果を生み出す
。
【００４４】
また、上述の例では、カメラ１００は、シーン区切りを示す音声情報を入力した場合に
、その後所定期間に入力された音声を区切られたシーンに対応づける動作について説明し
た。しかし、カメラ１００は、シーン区切りを示す音声情報を入力する前の所定期間に入
力されていた音声情報を、区切られたシーンに対応づける処理を行ってもよい。この場合
、ユーザは、例えば、「ＳＥＮＴＥＮＣＥ１」を発話した後、「ＣＵＴ」を発話すること
によってカメラ１００を利用する。
【００４５】
なお、再生インターフェース２４とは、再生操作を行うためのユーザーインターフェー
スのことを示す。たとえば、再生インターフェース２４は、ユーザの操作を受け付けるボ
タン等の操作装置や、ユーザに装置の状況を報知するディスプレイ等の報知装置等により
構成する。なお、ＬＣＤ１８を報知手段として転用してもよい。
【００４６】
次に、記録された映像音声をサムネール一覧画面から再生する手順について説明する。
ＨＤＤ１４に記録されたデータを再生する場合、再生インタフェース２４からサムネール
一覧画面表示ボタンが押下され、サムネール一覧表示モードに入る教示信号が再生制御回
路２５に伝達される。例えば、図５の１２１のようにカメラの筐体に設置されたボタンで
あっても良いし、電源投入後に自動的にサムネール一覧画面に入るようにしても良い。
【００４７】
その後、サムネール一覧画面表示モードに意向するように指示された再生制御回路２５
は、管理情報をメディア制御ブロック経由でＨＤＤ１４から読み出し、ファイルの構成を
確認した後、サムネール管理回路２２にＨＤＤ１４からサムネール管理情報および管理情
報を読み出すように指示する。サムネール管理回路２２は、メディア制御ブロックを介し
てＨＤＤよりサムネール管理情報を読み出し、例えば、記録順序ごとに、記録開始時点の
サムネール、音声により指定されたシーン区切りに対応するサムネールデータを順次読み
出し、図４のように各サムネールデータをサムネール一覧作成回路２３に送信する。サム
ネール一覧作成回路では、サムネールを表示するために必要な処理を施し、一覧表示を行
う。例えばサムネールデータに圧縮符号化が施されている場合には、この段階で伸張され
る。
【００４８】
サムネール一覧画面には、現在の選択候補となるサムネールに対し図４の１１０に示す
ように、選択位置を示すグラフィックがサムネール一覧作成２３によってＯＳＤ表示され
る。なお、１１０の選択位置を示すグラフィックとは、例えば、カーソルや、フォーカス
等を示す。上記選択位置は、図５の１２０に示すような方向キーによって、上下左右が指
示された場合、再生インタフェース２４ブロックより方向教示信号が再生制御回路２５に
伝達され、対応するサムネール位置を変更し、サムネール管理回路２２に伝達する。これ
に応じてサムネール管理回路２２は、対応するサムネール群のサムネール管理情報をＨＤ
Ｄ１４から読み直す。
【００４９】
選択候補が、現在表示中のページから外れた場合には、新たなページを作成するために
サムネール管理情報を読み出す。また、対応する選択候補位置を更新し、サムネール一覧
作成回路２３は、選択位置を示すグラフィックを移動させる。また、同時に選択位置に対
応している音声データも読み出され、音声出力可能な形態に例えば伸張処理され、ＤＡ変
換回路２０に転送される。最終的に、サムネール画像一覧画面で音声もスピーカ２１から
出力される。
【００５０】
本機能により、例えばスポーツ中の記録の場合には、非常によく似た画像が並ぶ場合が
あり、所望のシーンを瞬時に見つけることが難しい場合がる。このとき、音声データが同
時に出力されると、各シーンごとの簡単なガイダンスの効果を生むため、シーンの選択を
用意にさせるという効果を生む。特に、話者が記録時にシーン区切りのための特徴音直後
に、サムネール一覧時のレイアウトを意識して撮影することが可能であり、従来の記録再
生装置にあるような後からチャプタ編集を行うよりも早く、所望のシーン区切りを特定し
、サムネール一覧を得る事ができる。
【００５１】
上記のように、サムネール一覧にて表示された各シーンの区切りごとのデータは、その
選択位置で、再生開始ボタンが押下されると、それに対応するシーンが再生される。この
手順を以下に示す。
【００５２】
再生インタフェース回路２４では、再生開始がユーザから指示された場合、再生制御回
路２５に再生開始を指示する。再生制御回路では、現在のサムネールの選択位置をサムネ
ール管理回路２２から取得し、そのサムネールに対応する位置からの再生を各ブロックに
指示し、再生を開始させる。再生に際しては、ＨＤＤ１４からメディア制御ブロック１３
を介して、サムネールに対応する位置からのストリームが分離回路１５に読み出される。
分離回路１５では、パケット多重を解き、画像と音声の符号化ストリームを各々画像復号
回路１６と音声復号回路１９に送信する。各々、圧縮された規格に準拠した伸張処理が行
われる。画像復号回路１６から出力された映像信号は、画像出力処理回路１７において、
ＬＣＤなどのディスプレイとして出力できるデータに信号処理され、ＬＣＤ１８などから
外部に出力される。音声については、音声復号回路１９からＰＣＭ音声が出力され、ＤＡ
変換回路２０によってアナログ音声に変換され、スピーカ２１を介して外部にスピーカー
出力される。なお、本実施例では表示装置の例として、ＬＣＤ１８を例として説明してい
るが、ＬＣＤに限られるものではない。例えば、有機ＥＬやその他の表示装置を利用して
もよいことはいうまでもない。
【００５３】
上記実施例では、ＭＰＥＧ規格に基づいた映像音声の圧縮伸張処理、多重分離化処理、
ＤＶＤ規格に準拠したＨＤＤへの記録処理などを記載したが、本実施例の情報記録装置の
目的は、他の圧縮技術、ＭＰＥＧ１、ＭＰＥＧ４、ＪＰＥＧ、Ｈ．２６４などを用いても
同等の発明の効果を持つことは明らかである。また、記録媒体も光ディスク、不揮発性メ
モリデバイス、テープデバイスであっても同等の効果を得る。さらには、圧縮処理されず
に、他のデータ列の時刻とシーン区切りを管理するデータ管理がなされている記録方法で
あれば、同じく本実施例の情報記録装置の意図する構成であることは明らかである。
【００５４】
上記実施例では、映像音声の記録再生装置を例示したが、例えば、ボイスレコーダであ
っても、同等の音声認識回路を備え、シーンの区切りを特定するデータ管理をすることで
、後ほど再生する際に、効率よく所望の区切り位置から再生させることが可能である。こ
のような場合、サムネールを用いずに、ボタン操作のみで次のチャプタにスキップするこ
とが可能である。また、番号入力キーで、チャプタ番号をダイレクトに入力しても良い。
【００５５】
また、図５の１２２に示すように、音声によるチャプタ区切りが入ったサムネールを他
の記録開始時のサムネールと区別するため、サムネールにアイコンをつけることが可能で
ある。これは、サムネール一覧作成回路２３において、音声によるシーン区切りかどうか
をサムネール管理情報に基づき区別することで、サムネール付加するかどうかを制御する
。
【００５６】
このように、アイコンを付加することにより、ユーザは区切りに音声を付加したことを
認識することが可能となる。
【００５７】
また、図６に示すように、サムネールの選択画面が、タッチパネルのような形態であっ
た場合、例えば一回サムネールを押した状態で、選択状態とし、所望のサムネール表示と
対応する音声を出力するよう、再生制御回路２５を構築すれば良い。また、選択したサム
ネールから再生を開始する場合には、二回サムネールをタッチした段階で対応する位置か
らのストリーム再生を行うように制御する。
【００５８】
図７は記録中のＬＣＤ画像を示したものである。図中の１３０のアイコンは、記録中に
音声認識回路６において特徴抽出され、シーン区切りが作成された場合に、視聴者に明示
的に知らせるためのインタフェースであり、音声認識回路６において特徴抽出されたタイ
ミングでパルス信号を出し、そのパルス信号をうけとってから、例えば１０秒程度１３０
のアイコンをＯＳＤ重畳して出力することで実現できる。これにより、ユーザが自分の意
図したタイミングでシーン区切りが作成できたか確認することができる。
【実施例２】
【００５９】
図８は第２の実施形態を説明するものである。
【００６０】
第１の実施例では、音声認識に用いる特徴については、あらかじめ設定されている記載
であったが、図８のように、音声認識のためのパターン登録回路６１をＡＤ変換回路５後
段におく。記録インタフェース８より、パターン登録モード設定ボタンを押下した際、所
定の期間音声をパターン登録回路６１において記録し、データ化する。データ化された音
声は例えば、不揮発メモリなどに記録しておくことで、電源ＯＦＦ後も保持される。その
後、記録時には、前述の特徴検出のためのパターンマッチングの参照データとして、上記
パターン登録で記録されたデータを用いる。用いるパターンを複数登録し、音声認識回路
６では、同時に複数の特徴抽出を行うようにしても良い。
【００６１】
上記機能を用いることで、さらに柔軟にシーン区切りを制御することが可能となる。
【００６２】
次に、記録中に音声により、シーンの区切り位置を生成しサムネールを作成する手順の
他の例について説明する。
【００６３】
たとえば図９に示すようにカメラ１００で撮影中の話者が１０１、１０２に示すように
撮影中に、発話したとする。一つ目の発話は、発話１４１「ＣＵＴ」、その後任意の発話
１４２「Ｔｉｔｌｅ」「ＳＥＮＴＥＮＣＥ３」と続く。次にしばらく期間が経過した後、
二つ目の発話１４３「ＣＵＴ」と続く。この場合、二つの発話１４１「ＣＵＴ」と１４３
「ＣＵＴ」とで区切られたチャプタに、発話１４２「ＳＥＮＴＥＮＣＥ３」の音声情報を
対応させて記憶する構成とする。これにより、各区切りの任意の時点で、チャプタと音声
とを対応させることが可能となる。また、この場合、区切りの最初の時点では発話１４２
の「ＳＥＮＴＥＮＣＥ３」は対応づけられていないことになるが、この区切りのサムネー
ルを選択した場合「ＳＥＮＴＥＮＣＥ３」を発生するようにしてもよい。このように、発
話「Ｔｉｔｌｅ」のように、特徴パターンとして、いわば音声タイトルを付す旨の指示を
示す音声が持つパターンを設定しておくことも可能である。
【実施例３】
【００６４】
図１０は本実施例のカメラを示す図である。図１０のカメラ１００は、実施例１および
２のカメラ１００の構成を備え、マイク４の代わりにＲチャネルマイク１５０、Ｌチャネ
ルマイク１５１、及びＳｕｂチャネルマイク１５２を備える。Ｓｕｂチャネルマイク１５
２は、主に撮像者の発声を収音する。そのため、Ｓｕｂチャネルマイク１５２は、例えば
、マイクを把持した場合に、レンズ１と反対の面に設置される。
【００６５】
そして、Ｒチャネルマイク１５０、Ｌチャネルマイク１５１、Ｓｕｂチャネルマイク１
５２から記録した音声を、それぞれＲチャネル音声、Ｌチャネル音声、Ｓチャネル（Ｓｕ
ｂチャネル）音声とする。
【００６６】
図１１は、本実施例におけるカメラの動作を示すフローチャートである。
【００６７】
ｓ１０００において、電源が投入されると、カメラスルーモードで動作を開始し（ｓ１
００１）、ユーザによる指示を待つ（ｓ１００２）。そして、カメラ１００は、ユーザの
指示により、記録あるいはサムネール一覧表示を行う。
【００６８】
ｓ１００２において、記録指示がなされると、映像情報の記録とＬチャネル音声、Ｒチ
ャネル音声、Ｓチャネル音声の３つのチャネルの音声の記録とを開始する（ｓ１００３）
。次に、音声認識回路６は、入力した音声の音声認識を行う（ｓ１００４）。そして、カ
メラ１００は、実施例１、２と同様にシーン区切り等の処理を行う（ｓ１００５）。但し
、ｓ１００４においては、Ｓｕｂチャネルマイク１５２から入力したＳチャネル音声から
得られる情報の比重を高くして音声認識を行う。このように音声の記録を行うことにより
、撮像者の音声による指示をより正確に認識することが可能となる。なお、ｓ１００４に
おいては、例えば、音声認識にＳチャネルの音声のみを用いることとしてもよい。
【００６９】
次に、カメラ１００は、記録終了指示がユーザによってなされた場合には、記録処理を
終了する（ｓ１００６）。
【００７０】
ｓ１００２において、カメラ１００は、サムネール一覧を表示するよう指示を受け付け
ると、サムネールの一覧表示を行う（ｓ１０１０）。
【００７１】
そして、カメラ１００は、ユーザの指示を待ち（ｓ１０１１）、サムネールの選択移動
処理を行うか、あるいは、選択されたサムネール画像によって示されるシーンの再生を行
う。
【００７２】
ｓ１０１１においてサムネールの選択移動指示を受け付けた場合、カメラ１００は、図
４中の選択表示１１０を移動させた状態にて、ＬＣＤ１８に再描画したサムネールを表示
する（ｓ１０１２）。次に、カメラ１００は、選択表示１１０が移動した結果フォーカス
されているサムネール該シーンに対応づけられた音声を出力する（ｓ１０１３）。ｓ１０
１３においては、カメラ１００は、Ｓチャネル音声の音量を、Ｌチャネル音声、Ｒチャネ
ル音声の音量よりも大きくして再生する。このように、Ｓチャネル音声の音量を上げて出
力することによって、カメラ１００は、ユーザにシーンの内容をより正確に認識させるこ
とができる。
【００７３】
なお、ｓ１０１３では、Ｓチャネル音声のゲインを上げて音声を出力してもよい。また
、本ステップでは、Ｒチャネル音声、Ｌチャネル音声の音量をカットさせて音声を出力さ
せてもよい。
【００７４】
また、ｓ１０１２において、１つのシーンを再生するよう指示がされた場合、カメラ１
００は、指示されたシーンの再生処理を行う（ｓ１０２１）。ｓ１０２１では、Ｓチャネ
ル音声を再生する音量は、Ｌチャネル音声およびＲチャネル音声を再生させる音量よりも
小さくする。また、Ｌチャネル音声及びＲチャネル音声のゲインを上げて音声を出力して
もよい。また、Ｓ１０２１では、Ｓチャネル音声をカットしてもよい。また、音声認識情
報を用いて、Ｓチャネルの区切り音声部分のみを音量を下げて出力しても良い。また、区
切りに対応付けられた音声のみを、逆位相成分を重ね合わせるなどして、信号除去する方
法を用いても良い。
【００７５】
次に、カメラ１００は、再生終了指示がユーザによってなされた場合には、再生処理を
終了する（ｓ１０２２）。
【００７６】
ユーザにとっては、サムネールを表示している状態においては、各シーンの内容を音声
にて把握することが可能となる。一方、個々のシーンを再生させる場合には、「ＳＥＮＴ
ＥＮＣＥ１」等を再生させる音量を小さくすることにより、Ｓｕｂチャネルマイク１５２
に撮像者が吹き込んだ音声が、ユーザにとって騒がしいと感じられる可能性を抑制するこ
とが可能となる。特に、カメラ１００にて撮像を行う場合を考慮すると、Ｓｕｂチャネル
マイク１５２は、撮像者の口元に近くなる場合もあり得るため、本実施例の処理は有効と
なる。
【００７７】
なお、本実施例の動作においては、カメラ１００は、Ｓｕｂチャネルマイク１５２から
収音した音声を、撮像者の音声として処理していたが、これに限られるものではない。例
えば、Ｓｕｂチャネルマイク１５２を用いずとも、カメラ１００は、サムネール一覧表示
で選択表示１１０を動かした場合には、サムネールに対応づけられた音声情報の音量を上
げ、再生指示がなされた場合には、音声情報の音量を下げる構成としてもよい。
【００７８】
また、上述の動作では、ｓ１０１３、ｓ１０２１においてはＳチャネル音声の音量の、
Ｌチャネル音声等の音量に対する比率を変更させる例について説明した。しかし、カメラ
１００の動作は、これに限定されるものでは無い。例えば、カメラ１００は、ｓ１０１３
におけるＳチャネル音声の音量の、ｓ１０２１におけるＳチャネル音声の音量に対する比
率を変更する構成としてもよい。
【００７９】
また、ユーザの好みに応じて、Ｓｕｂチャネルマイクの音量のみを、図示されていない
ボリュームコントロールボタンにより調整する構成としてもよい。また、Ｓｕｂチャネル
の音量をプリセットした複数の再生モードをプリセットしておき、ボタン操作などで切り
替え、ユーザの必要性に応じて、撮像者の音声レベルを制御することも可能である。再生
モードとしては、例えば、上述のようにサムネールを表示するモード、１つのシーンを再
生するモードがある。その他、再生モードとしては、例えば、図示しないコネクタを介し
て外部機器に映像情報と音声情報を出力するモード等がある。
【００８０】
上記のように、本実施例のカメラ１００は、シーンの区切れ目を指示するための音声の
みを、再生時の重要度に応じて制御でき、ユーザの使い勝手を向上させる上で有効である
。
【００８１】
また、本発明の構成は、上記実施例に限定されるものではなく、発明の範囲で自由に変
更することも可能である。例えば、サブチャネルの代わりに複数のマイクから話者を特定
するためにマイクの指向性を利用し、複数チャネルから特定方向の音声を生成した後、そ
の音声を上記Ｓｕｂチャネルと同等の扱いとしても良い。また、各実施例の内容を組み合
わせることも可能である。
【符号の説明】
【００８２】
１…レンズ
２…画像信号処理
３…画像符号化部
４…マイク
５…アナログ／デジタル（ＡＤ）変換回路
６…音声認識回路
７…音声符号化部
８…記録インタフェース
９…記録制御回路
１０…サムネール画像作成部
１１…管理情報作成部
１２…多重化回路
１３…メディア制御部
１４…ＨＤＤ
１５…分離回路
１６…画像復号部
１７…画像出力回路
１８…液晶ディスプレイ（ＬＣＤ）
１９…音声復号部
２０…デジタル／アナログ（ＤＡ）変換回路
２１…スピーカ
２２…サムネール管理回路
２３…サムネール一覧作成
２４…再生インタフェース
２５…再生制御回路
【図１】
0005188619.tif 000002
【図２】
0005188619.tif 000003
【図３】
0005188619.tif 000004
【図４】
0005188619.tif 000005
【図５】
0005188619.tif 000006
【図６】
0005188619.tif 000007
【図７】
0005188619.tif 000008
【図８】
0005188619.tif 000009
【図９】
0005188619.tif 000010
【図１０】
0005188619.tif 000011
【図１１】
0005188619.tif 000012