(57)【特許請求の範囲】
【請求項１】
特定のオブジェクトを含むフレーム画像を有する動画像を表示する表示部と、
ユーザからの指示を受け付ける操作部と、
前記動画像の巻き戻し再生中またはその停止直後に、前記操作部が前記ユーザから通常再生指示を受け付けたフレーム位置以降のフレーム画像内における、前記特定のオブジェクトを拡大して前記表示部に表示させる画像拡大部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記フレーム位置のフレーム画像内に前記特定のオブジェクトが含まれないとき、前記通常再生指示に応じた再生開始位置を前記特定のオブジェクトが含まれるフレーム画像のフレーム位置まで進める再生開始位置移動部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記フレーム位置のフレーム画像内に含まれる特定のオブジェクトが最初に出現するフレーム画像のフレーム位置まで、前記通常再生指示に応じた再生開始位置を戻す再生開始位置移動部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
特定のオブジェクトを含むフレーム画像を有する動画像を表示する表示部と、
ユーザからの指示を受け付ける操作部と、
前記動画像の巻き戻し再生中またはその停止直後に、前記操作部が前記ユーザから通常再生指示を受け付けたフレーム位置を管理する操作履歴管理部と、
前記操作履歴管理部に前記フレーム位置が記録された後、前記フレーム位置より過去のフレーム画像から前記動画像が再生されるとき、前記フレーム位置以降のフレーム画像内における前記特定のオブジェクトを拡大して前記表示部に表示させる画像拡大部と、
を備えることを特徴とする画像処理装置。
【請求項５】
特定のオブジェクトを含むフレーム画像を有する動画像を表示する表示部と、
ユーザからの指示を受け付ける操作部と、
前記動画像の再生中またはその停止直後に、前記操作部が前記ユーザから、拡大再生指示、スロー再生指示、またはコマ送り再生指示を受け付けたフレーム位置を管理する操作履歴管理部と、
前記操作履歴管理部に前記フレーム位置が記録された後、前記フレーム位置より過去のフレーム画像から前記動画像が再生されるとき、前記フレーム位置以降のフレーム画像内における前記特定のオブジェクトを拡大して前記表示部に表示させる画像拡大部と、
を備えることを特徴とする画像処理装置。
【請求項６】
前記操作履歴管理部は、前記フレーム位置または前記フレーム位置に隣接する所定の範囲内に存するフレーム位置で、前記動画像の巻き戻し再生中またはその停止直後に、前記操作部が前記ユーザから通常再生指示を受け付けたフレーム位置、または前記動画像の再生中またはその停止直後に、前記操作部が前記ユーザから、拡大再生指示、スロー再生指示、もしくはコマ送り再生指示を受け付けたフレーム位置の操作履歴回数をインクリメントし、
前記画像拡大部は、前記操作履歴管理部により管理される操作履歴回数に応じて、前記特定のオブジェクトの拡大率を変化させることを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
前記動画像が符号化された符号化ストリームを復号する復号部と、
前記符号化ストリーム内に付加された、前記動画像に含まれるフレーム画像内で検出され、追尾された特定のオブジェクトの位置および大きさを取得する取得部と、をさらに備え、
前記画像拡大部は、前記取得部により取得された、前記特定のオブジェクトの位置および大きさを参照して、前記特定のオブジェクトを拡大することを特徴とする請求項１から６のいずれかに記載の画像処理装置。
【請求項８】
前記動画像が符号化された符号化ストリームを復号する復号部と、
前記符号化ストリーム内に付加された、前記動画像に含まれるフレーム画像内で検出され、追尾された特定のオブジェクトを超解像処理するための冗長データを取得する取得部と、をさらに備え、
前記画像拡大部は、前記取得部により取得された冗長データを使用して、前記超解像処理により前記特定のオブジェクトを拡大することを特徴とする請求項１から６のいずれかに記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を処理する画像処理装置に関する。
【背景技術】
【０００２】
一般ユーザが手軽に動画を撮影することができるデジタルムービーカメラが普及してきている。それとともに、このようなカメラで撮像された動画像を再生するプレーヤも普及してきている。
【０００３】
特許文献１は操作履歴表示装置を開示する。操作履歴表示装置は、所定の操作モードに応じてデータの再生を行う再生手段と、操作開始からの経過時間を計時する計時手段と、前記再生手段によるデータの再生位置および前記操作開始からの経過時間をＸＹ軸を持つ表にプロットする表示手段とを備える。
【特許文献１】特開２００６−２５２６７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
一般ユーザはプレーヤを使用して、自分または他人がデジタルムービーカメラで撮影した動画像を視聴することができる。特定のオブジェクトを注目対象として撮影された動画像を視聴する場合、当然のことながらそのオブジェクトを視聴することが主な目的となる。
【０００５】
そのオブジェクトが写っている区間のなかで、とくにお気に入りのシーンがあった場合、ユーザの中にはそのシーンの前まで巻き戻して、そのシーン内の特定のオブジェクトを拡大して再度視聴する者もいる。この処理を行うには、まず、再生中の動画像の巻き戻しを指示し、つぎに巻き戻し再生中の動画像の、通常再生を指示し、その後に拡大再生を指示する流れとなる。
【０００６】
本発明はこうした状況に鑑みなされたものであり、その目的は、ユーザの操作負担を軽減しつつ、特定のオブジェクトを拡大して視聴することができる画像処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明のある態様の画像処理装置は、特定のオブジェクトを含むフレーム画像を有する動画像を表示する表示部と、ユーザからの指示を受け付ける操作部と、動画像の巻き戻し再生中またはその停止直後に、操作部がユーザから通常再生指示を受け付けたフレーム位置以降のフレーム画像内における、特定のオブジェクトを拡大して表示部に表示させる画像拡大部と、を備える。
【０００８】
本発明の別の態様もまた、画像処理装置である。この装置は、特定のオブジェクトを含むフレーム画像を有する動画像を表示する表示部と、ユーザからの指示を受け付ける操作部と、動画像の再生中またはその停止直後に、操作部がユーザから、拡大再生指示、スロー再生指示、またはコマ送り再生指示を受け付けたフレーム位置を管理する操作履歴管理部と、操作履歴管理部にフレーム位置が記録された後、フレーム位置より過去のフレーム画像から動画像が再生されるとき、フレーム位置以降のフレーム画像内における特定のオブジェクトを拡大して表示部に表示させる画像拡大部と、を備える。
【０００９】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によれば、ユーザの操作負担を軽減しつつ、特定のオブジェクトを拡大して視聴することができる。
【発明を実施するための最良の形態】
【００１１】
図１は、実施の形態１に係る撮像装置５００の構成図である。実施の形態１に係る撮像装置５００は、撮像部５０および画像処理装置１００を備える。
撮像部５０は、動画像を取得し画像処理装置１００に供給する。撮像部５０は、ＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの図示しない固体撮像素子、およびその固体撮像素子から出力される信号を処理する図示しない信号処理回路を備える。当該信号処理回路は、上記固体撮像素子から出力されるアナログの三原色信号Ｒ、Ｇ、Ｂを、デジタルの輝度信号Ｙおよび色差信号Ｃｒ、Ｃｂに変換することができる。
【００１２】
画像処理装置１００は、撮像部５０により取得される動画像を処理する。画像処理装置１００は、符号化部１０、オブジェクト検出部１２、オブジェクト登録部１４およびオブジェクト追尾部１６を含む。画像処理装置１００の構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００１３】
符号化部１０は、撮像部５０により取得される動画像を符号化して符号化ストリームを生成する。より具体的には、その動画像を所定の規格にしたがい圧縮符号化して符号化ストリームを生成する。たとえば、Ｈ．２６４／ＡＶＣ、ＭＰＥＧ−２、またはＭＰＥＧ−４などの規格にしたがい圧縮符号化する。
【００１４】
オブジェクト検出部１２は、撮像部５０により取得される動画像に含まれるフレーム画像内から特定のオブジェクトを検出する。オブジェクト登録部１４は、特定のオブジェクトをオブジェクト検出部１２に登録する。たとえば、撮像部５０を用いて子供の顔を撮像して登録することができる。オブジェクトの例として、人物、犬や猫などのペット、自動車や電車などの移動体などが挙げられる。以下、オブジェクトが人物の場合を例に説明する。
【００１５】
オブジェクトとしての人物は、動画像の撮像が開始された後、フレーム画像内から最初に検出された人物であってもよいし、オブジェクト登録部１４により登録された特定の人物であってもよい。前者の場合、人物全般を検出するための辞書データが用いられ、後者の場合、登録された特定の人物を検出するための辞書データが用いられる。最初に検出された人物または登録された特定の人物は、後続するフレーム画像内での追尾対象となる。
【００１６】
オブジェクト検出部１２は、フレーム画像内の顔を検出することにより人物を特定することができる。オブジェクト検出部１２は、検出した顔を含む顔領域の下方に胴体領域を設定する。胴体領域の大きさは顔領域の大きさに比例させる。また、追尾の対象とすべく、人物の全身を含む人物領域を設定してもよい。
【００１７】
顔検出処理は、公知の方法で行えばよく、とくに限定されるものではない。たとえば、エッジ検出法、ブースティング法、色相抽出法または肌色抽出法による顔検出方法を用いることができる。
【００１８】
エッジ検出法は、あらかじめ顔の大きさや濃淡値を正規化した顔画像の目、鼻、口、顔の輪郭などを含む顔領域から様々なエッジ特徴を抽出し、顔であるか否かを識別するのに有効な特徴量を統計的手法に基づき学習することにより顔識別器を構築する。なお、オブジェクト登録部１４から登録される、特定の人物の顔についてはその顔画像から顔識別器を構築する。
【００１９】
入力画像の中から顔を検出するために、学習の際に正規化した顔サイズで入力画像の端からラスタスキャンしながら、同様な特徴量を抽出する。その特徴量から、識別器によりその領域が顔か否か判断する。特徴量には、たとえば、水平エッジ、垂直エッジ、右斜めエッジ、左斜めエッジなどを用いることができる。顔が検出されなければ、入力画像を一定の割合で縮小し、縮小後の画像に対して、上記と同様にラスタスキャンしながら顔を検索する。このような処理を繰り返すことにより、画像中から任意の大きさの顔を見つけることができる。
【００２０】
オブジェクト追尾部１６は、オブジェクト検出部１２により検出された特定のオブジェクトを追尾し、その追尾状況に基づいて追尾情報を生成する。そして、この生成した追尾情報を符号化部１０に供給する。符号化部１０は、オブジェクト追尾部１６により生成された追尾情報を当該符号化ストリーム内に付加する。
【００２１】
オブジェクト追尾部１６は、オブジェクト検出部１２により検出された特定のオブジェクトを後続のフレーム画像内で追尾し、フレーム画像単位で追尾の成否を特定することができる。その場合、符号化部１０は、各フレーム画像の、ヘッダ領域またはユーザの書き込みが許可されている領域（以下、ユーザ領域という）に、当該追尾の成否を上記追尾情報として付加する。なお、各フレーム画像の追尾の成否を、ピクチャヘッダ領域ではなく、シーケンスヘッダ領域またはＧＯＰ(Group Of Picture)ヘッダ領域にまとめて記述してもよい。
【００２２】
オブジェクト追尾部１６は、特定のオブジェクトの追尾をオブジェクトの色情報に基づいて行うことができる。上述した例では、上記胴体領域の色に類似する色の領域を、後続フレーム画像内で探索することにより追尾する。なお、後続フレーム画像内での、オブジェクト検出部１２による顔検出の結果を加味すれば、追尾の精度を高めることができる。
【００２３】
上記追尾の成否はつぎのように判定される。すなわち、オブジェクト追尾部１６は、フレーム画像内に追尾すべきオブジェクトが含まれている場合、そのフレーム画像を追尾成功と判定し、フレーム画像内に追尾すべきオブジェクトが含まれていない場合、そのフレーム画像を追尾失敗と判定する。ここで、オブジェクトの追尾単位は、上記顔領域単位であってもよいし、上記人物領域単位であってもよい。
【００２４】
オブジェクト追尾部１６は、追尾が成功したフレーム画像内において、特定のオブジェクトの位置および大きさを特定する。オブジェクト追尾部１６は、特定のオブジェクトの位置をその検出領域、たとえば上記顔領域または上記人物領域の所定位置で特定することができる。たとえば、所定位置として中心点で特定することができる。オブジェクト追尾部１６は、特定のオブジェクトの大きさをその検出領域の長さおよび幅で特定することができる。
【００２５】
オブジェクト追尾部１６は、特定のオブジェクトの位置および大きさを上記追尾情報に含めることができる。なお、後述するように超解像処理用の冗長データが符号化ストリーム内に付加される場合、その冗長データで表現される領域が、特定のオブジェクトの位置および大きさを示すことになる。その場合、特定のオブジェクトの位置および大きさを上記追尾情報に含めない構成も可能である。代わりに、フレーム画像単位で超解像処理用の冗長データの有無を上記追尾情報に含めるとよい。
【００２６】
符号化部１０は、特定のオブジェクトの検出領域、ここでは上記顔領域または上記人物領域のいずれかを超解像処理するために、その検出領域の冗長データを符号化する。符号化部１０は、その検出領域の位置および大きさを、オブジェクト追尾部１６から取得することができる。
【００２７】
超解像処理は、位置ずれのある複数の低解像度画像から高解像度画像を生成する技術である。超解像処理の詳細は、（青木伸著、「複数のデジタル画像データによる超解像処理」、Ricoh Technical Report No.24, NOVEMBER, 1998）、特開２００５−１９７９１０号公報、特開２００７−２０５号公報、特開２００７−１９３５０８号公報などに開示されている。符号化部１０は、たとえば、時間方向に冗長データを持たせる場合、撮像部５０に高フレームレートで撮像させ、上記検出領域については高フレームレートで符号化し、他の領域については通常のフレームレートで符号化する。その検出領域が他の領域より冗長的に持つ画像データを、超解像処理用の、位置ずれのある複数の低解像度画像として使用することができる。
【００２８】
符号化部１０は、上記追尾情報を付加した符号化ストリームＣＳを生成し、メモリカードやハードディスクや光ディスクなどの、図示しない記録媒体に記録するか、ネットワークに送出する。
【００２９】
以上説明したように実施の形態１によれば、フレーム画像内で検出された特定のオブジェクトの位置および大きさを、符号化ストリーム内に付加することにより、再生側で特定のオブジェクトの検出領域を拡大しつつ、その領域を追尾する再生方法が容易に可能となる。特定のオブジェクトの検出領域を超解像処理するための、冗長データが付加される場合も同様である。
【００３０】
図２は、実施の形態２に係る画像処理装置２００の構成図である。実施の形態２に係る画像処理装置２００は、撮像装置５００の一機能として搭載されてもよいし、単体の機器として構成されてもよい。実施の形態２に係る画像処理装置２００は、復号部２０、表示部２２、取得部２４、操作部２６、画像拡大部２８および制御部３０を備える。
【００３１】
復号部２０は、動画像が符号化された符号化ストリームＣＳを復号する。この符号化ストリームＣＳは、実施の形態１に係る画像処理装置１００で生成されたものであってもよい。表示部２２は、特定のオブジェクトを含むフレーム画像を有する動画像を表示する。ここでは、復号部２０により復号された動画像を表示する。その動画像にはそのフレーム画像が含まれることを前提とする。
【００３２】
操作部２６は、ユーザからの指示を受け付ける。たとえば、動画像の、通常再生指示、通常停止指示、一時停止指示、早送り再生指示、巻き戻し再生指示、スロー再生指示、コマ送り再生指示、および拡大再生指示などを受け付ける。
【００３３】
画像拡大部２８は、動画像の巻き戻し再生中またはその停止直後に、操作部２６がユーザから通常再生指示を受け付けたフレーム位置以降のフレーム画像内における、特定のオブジェクトを拡大して表示部２２に表示させる。巻き戻し再生の停止は、操作部２６がユーザから停止指示または一時停止指示を受け付けることにより発動する。巻き戻し再生の停止直後とは、その停止指示または一時停止指示のタイミングと、その後の通常再生指示のタイミングとがユーザによる一連の動作と、設計者がみなした時間間隔の終了時点までを含む概念である。
【００３４】
制御部３０は、再生モード制御部３２、再生位置特定部３４および再生開始位置移動部３６を含む。再生モード制御部３２は、操作部２６から入力された指示に応じた再生モードを復号部２０に設定する。再生モード制御部３２は、操作部２６から巻き戻し再生指示が入力されると、巻き戻し再生モードを復号部２０に設定する。ここでの巻き戻し再生は、チャプター単位で巻き戻すものではなくフレーム単位で巻き戻すモードである。したがって、ユーザは巻き戻し再生中の動画像の内容を網羅的に視認することができる。なお、この巻き戻し再生指示は、ユーザが再度視聴したいシーンがあるときに出されることが一般的である。
【００３５】
再生位置特定部３４は、動画像の巻き戻し再生中またはその停止直後に、操作部２６がユーザから通常再生指示を受け付けたときの、動画像中のフレーム位置を特定する。このフレーム位置は時間方向に連続するフレーム画像のうち、その指示を受け付けたときのフレーム画像の位置を示す。ここでの通常再生指示は、ユーザが再度視聴したいシーンを発見したときに出されることが一般的である。
【００３６】
画像拡大部２８は、再生位置特定部３４が特定したフレーム位置を取得し、そのフレーム位置以降のフレーム画像内における、特定のオブジェクトを拡大して表示部２２に表示させる。当然のことながら、画像拡大部２８は、特定のオブジェクトが含まれないフレーム画像については拡大しない。
【００３７】
符号化ストリームＣＳ内に、動画像に含まれるフレーム画像内で検出され、追尾された特定のオブジェクトの位置および大きさが付加されている場合、取得部２４は、特定のオブジェクトの位置および大きさを取得する。画像拡大部２８は、取得部２４により取得された、特定のオブジェクトの位置および大きさを参照して、特定のオブジェクトを拡大する。
【００３８】
より具体的には、画像拡大部２８は、その位置および大きさで特定される検出領域を、空間的な画素補間処理により拡大する。この画素補間処理として、単純な線形補間処理やＦＩＲフィルタを用いた補間処理を採用することができる。なお、上述した冗長データを用いる場合より精度は低下するが、その検出領域を、動画像中の時間方向に隣接する複数のフレーム画像の、対応する領域の画像データを用いて超解像処理してもよい。
【００３９】
符号化ストリームＣＳ内に、動画像に含まれるフレーム画像内で検出され、追尾された特定のオブジェクトを超解像処理するための冗長データが付加されている場合、取得部２４は、その冗長データを取得する。画像拡大部２８は、取得部２４により取得された冗長データを使用して、超解像処理により特定のオブジェクトを拡大する。
【００４０】
再生開始位置移動部３６は、上記フレーム位置のフレーム画像内に特定のオブジェクトが含まれないとき、上記通常再生指示に応じた再生開始位置を特定のオブジェクトが含まれるフレーム画像のフレーム位置まで進めることができる。再生開始位置移動部３６は、符号化ストリームＣＳ内にフレーム画像ごとの追尾の成否が付加されている場合、その追尾の成否を参照して、当該再生開始位置を進めることができる。
【００４１】
また、再生開始位置移動部３６は、上記フレーム位置のフレーム画像に対する超解像処理用の冗長データが符号化ストリーム内に付加されていないとき、上記通常再生指示に応じた再生開始位置を、超解像処理用の冗長データが付加されているフレーム画像のフレーム位置まで進めることができる。再生開始位置移動部３６は、符号化ストリームＣＳ内にフレーム画像ごとの、超解像処理用の冗長データの有無が付加されている場合、その有無を参照して、当該再生開始位置を進めることができる。
【００４２】
また、再生開始位置移動部３６は、上記フレーム位置のフレーム画像に含まれる特定のオブジェクトが最初に出現するフレーム画像のフレーム位置まで、上記通常再生指示に応じた再生開始位置を戻すことができる。再生開始位置移動部３６は、符号化ストリームＣＳ内にフレーム画像ごとの追尾の成否が付加されている場合、その追尾の成否を参照して、当該再生開始位置を戻すことができる。
【００４３】
なお、特定のオブジェクトが最初に出現するフレーム画像は、上記フレーム位置のフレーム画像に含まれる特定のオブジェクトの、一連の動きが開始したときのフレーム画像であってもよい。すなわち、上記フレーム位置のフレーム画像から過去方向に連続的に特定のオブジェクトが含まれる場合の、その最も過去のフレーム画像であってもよい。この場合、途中のフレーム画像で特定のオブジェクトが画面内から外れた場合、一連の動きはそこで中断したとみなす。
【００４４】
また、再生開始位置移動部３６は、上記フレーム位置のフレーム画像に含まれる特定のオブジェクトを超解像処理するための冗長データが付加されている、最初のフレーム画像のフレーム位置まで、上記通常再生指示に応じた再生開始位置を戻すことができる。再生開始位置移動部３６は、符号化ストリームＣＳ内にフレーム画像ごとの、超解像処理用の冗長データの有無が付加されている場合、その有無を参照して、当該再生開始位置を戻すことができる。なお、超解像処理するための冗長データが付加されている、最初のフレーム画像は、上記フレーム位置のフレーム画像に含まれる特定のオブジェクトの、一連の動きが開始したときのフレーム画像であってもよい。
【００４５】
図３は、実施の形態２に係る画像処理装置２００の表示部２２に表示される動画像の一例を示す図である。図３（ａ）は巻き戻し再生中の動画像を示す。図３（ｂ）は通常再生が開始されたときの動画像を示す。この動画像には特定のオブジェクトとして人物６０が含まれる。
【００４６】
ユーザは動画像の再生中に、再度視聴したいシーンがある場合、操作部２６から巻き戻し再生指示を入力する。再生モード制御部３２は、その巻き戻し再生指示に応じて、動画像を巻き戻し再生するよう制御する。つぎに、ユーザは動画像の巻き戻し再生中に、視聴したいシーンを発見したとき、操作部２６から通常再生指示を入力する。再生モード制御部３２は、その通常再生指示に応じて動画像を通常再生するよう制御する。再生位置特定部３４は、その通常再生指示が入力されたときの動画像中のフレーム位置を特定する。
【００４７】
画像拡大部２８は、そのフレーム位置以降のフレーム画像内において人物６０を拡大する。なお、再生開始位置移動部３６は、再生位置特定部３４により特定されたフレーム画像内に人物６０が含まれないとき、人物６０が含まれるフレーム画像のフレーム位置まで再生開始位置を進める。
【００４８】
以上説明したように実施の形態２によれば、巻き戻し再生中に通常再生指示が入力されたときのフレーム位置以降のフレーム画像内における、特定のオブジェクトを自動的に拡大することにより、ユーザの操作負担を軽減しつつ、特定のオブジェクトを拡大して視聴することができる。すなわち、ユーザは所望のフレーム位置まで巻き戻した後、拡大再生指示を入力しなくとも、特定のオブジェクトを拡大することができる。
【００４９】
また、ユーザが通常再生指示を入力して巻き戻し再生を停止させるタイミングは、フレーム画像内に特定のオブジェクトが出現するタイミングであることが多い。ユーザがそのタイミングで停止させようとしても、巻き戻し過ぎてしまうことがある。その場合、通常再生指示が入力されたときのフレーム位置のフレーム画像内に特定のオブジェクトが含まれないことになるが、特定のオブジェクトが含まれるフレーム位置のフレーム画像まで再生開始位置を進めることにより、特定のオブジェクトが含まれていない不要な再生区間をスキップすることができる。
【００５０】
反対に、ユーザがそのタイミングで停止させようとしても、巻き戻しが足りないこともある。その場合、フレーム画像内に特定のオブジェクトが出現するフレーム位置まで再生開始位置を戻すことにより、特定のオブジェクトが出現する最初のフレーム画像から視聴することができる。
【００５１】
また、通常再生指示が入力されたときのフレーム位置のフレーム画像に対する超解像処理用の冗長データが符号化ストリーム内に付加されていない場合、超解像処理用の冗長データが付加されているフレーム画像のフレーム位置まで再生開始位置を進めることにより、高画質な拡大が可能なフレーム画像から視聴することができる。また、超解像処理するための冗長データが付加されている、最初のフレーム画像のフレーム位置まで、上記通常再生指示に応じた再生開始位置を戻すことにより、高画質な拡大が可能な最初のフレーム画像から視聴することができる。
【００５２】
図４は、実施の形態３に係る画像処理装置３００の構成図である。実施の形態３に係る画像処理装置３００は、撮像装置５００の一機能として搭載されてもよいし、単体の機器として構成されてもよい。実施の形態３に係る画像処理装置３００の構成は、実施の形態２に係る画像処理装置２００の構成に操作履歴管理部４０が追加された構成である。また、制御部３０は、拡大率設定テーブル３８を含んでもよい。
【００５３】
以下、操作履歴管理部４０の構成および動作、ならびに実施の形態２と異なる動作をする構成要素について説明する。
操作履歴管理部４０は、動画像の巻き戻し再生中またはその停止直後に、操作部２６がユーザから通常再生指示を受け付けたフレーム位置を管理する。また、操作履歴管理部４０は、動画像の再生中またはその停止直後に、操作部２６がユーザから、拡大再生指示、スロー再生指示、またはコマ送り再生指示を受け付けたフレーム位置を管理する。より具体的には、再生位置特定部３４が、操作部２６がそれらの指示を受け付けたときのフレーム位置を特定し、操作履歴管理部４０に記録する。ここでのコマ送り再生は、動画像の一時停止中に、早送り再生指示が入力されたときに発動する順方向のコマ送り再生である。
【００５４】
また、操作履歴管理部４０は、動画像の早送り再生中に操作部２６がユーザから停止指示、一時停止指示または通常再生指示を受け付けたフレーム位置を管理してもよい。また、操作履歴管理部４０は、逆方向のコマ送り再生中に操作部２６がユーザから、停止指示、一時停止指示または通常再生指示を受け付けたフレーム位置を管理してもよい。ユーザから、拡大再生指示、スロー再生指示、コマ送り再生指示などの指示が入力されたときのシーンは、ユーザの注目度が高いシーンと推測することができる。
【００５５】
画像拡大部２８は、操作履歴管理部４０にフレーム位置が記録された後、そのフレーム位置より過去のフレーム画像から動画像が再生されるとき、そのフレーム位置以降のフレーム画像内における、特定のオブジェクトを拡大して表示部２２に表示させる。当然のことながら、この拡大はユーザ操作に起因するものではない。なお、ここでの動画像の再生は、通常再生であってもよいし、スロー再生であってもよいし、順方向のコマ送り再生であってもよい。
【００５６】
操作履歴管理部４０は、上記フレーム位置または上記フレーム位置に隣接する所定の範囲内に存するフレーム位置で、動画像の巻き戻し再生中またはその停止直後に、操作部２６がユーザから通常再生指示を受け付けたフレーム位置、または動画像の再生中またはその停止直後に、操作部２６がユーザから、拡大再生指示、スロー再生指示、もしくはコマ送り再生指示を受け付けたフレーム位置の操作履歴回数をインクリメントする。上記フレーム位置に隣接する所定の範囲は、ユーザの指示が同じシーンに対するものであると設計者がみなした範囲に設定される。
【００５７】
画像拡大部２８は、操作履歴管理部４０により管理される操作履歴回数に応じて、特定のオブジェクトの拡大率を変化させる。具体的には、その操作履歴回数が多いほど、拡大率を向上させる。ここでは、画像拡大部２８は、拡大率設定テーブル３８を参照して拡大率を決定することができる。もちろん、拡大率の向上には上限があり、操作履歴回数が所定の回数を超えると拡大率を一定にする。また、特定のオブジェクトが拡大により画面内に収まらなくなる場合、画面内に収まる拡大率まで低下させる。
【００５８】
図５は、実施の形態３に係る画像処理装置２００の表示部２２に表示される動画像の第１例を示す図である。図５（ａ）は巻き戻し再生中の動画像を示す。図５（ｂ）は１回目の通常再生が開始されたときの動画像を示す。図５（ｃ）は２回目の通常再生が開始されたときの動画像を示す。この動画像には特定のオブジェクトとして人物６０が含まれる。
【００５９】
ユーザは動画像の再生中に、再度視聴したいシーンがある場合、操作部２６から巻き戻し再生指示を入力する。再生モード制御部３２は、その巻き戻し再生指示に応じて、動画像を巻き戻し再生するよう制御する。つぎに、ユーザは動画像の巻き戻し再生中に、視聴したいシーンを発見したとき、操作部２６から通常再生指示を入力する。再生位置特定部３４は、その通常再生指示が入力されたときのフレーム位置を特定し、操作履歴管理部４０に記録する。再生モード制御部３２は、そのフレーム位置から通常再生するよう制御する。
【００６０】
この通常再生と別の機会に、ユーザが操作部２６から通常再生指示を入力すると、再生モード制御部３２は、その通常再生指示に応じて動画像を通常再生するよう制御する。画像拡大部２８は、操作履歴管理部４０に記録されたフレーム位置以降のフレーム画像内において人物６０を拡大する。
【００６１】
図６は、実施の形態３に係る画像処理装置２００の拡大率設定テーブル３８の一例を示す。この拡大率設定テーブル３８は、フレーム位置Ａでの操作履歴回数と、特定のオブジェクトの拡大率とを関連づける。フレーム位置Ａでの操作には、フレーム位置Ａに隣接する所定の範囲内に存するフレーム位置での操作も含まれる。図６の例では、操作履歴回数が３回以降からは、拡大率を４．０倍に固定している。
【００６２】
図７は、実施の形態３に係る画像処理装置２００の表示部２２に表示される動画像の第２例を示す図である。図７（ａ）は巻き戻し再生中の動画像を示す。図７（ｂ）は１回目の通常再生が開始されたときの動画像を示す。図７（ｃ）は２回目の通常再生が開始されたときの動画像を示す。この動画像には特定のオブジェクトとして人物６０が含まれる。
【００６３】
ユーザは動画像の再生中に、再度視聴したいシーンがある場合、操作部２６から巻き戻し再生指示を入力する。再生モード制御部３２は、その巻き戻し再生指示に応じて動画像を巻き戻し再生するよう制御する。つぎに、ユーザは動画像の巻き戻し再生中に、視聴したいシーンを発見したとき、操作部２６から通常再生指示を入力する。再生位置特定部３４は、その通常再生指示が入力されたときのフレーム位置を特定し、操作履歴管理部４０に記録する。再生モード制御部３２は、上記通常再生指示に応じて動画像を通常再生するよう制御する。画像拡大部２８は、そのフレーム位置以降のフレーム画像内において人物６０を１．５倍で拡大する。
【００６４】
この通常再生と別の機会に、ユーザが操作部２６から通常再生指示を入力すると、再生モード制御部３２は、その通常再生指示に応じて当該動画像を通常再生するよう制御する。画像拡大部２８は、操作履歴管理部４０に記録されたフレーム位置以降のフレーム画像内において人物６０を２．０倍で拡大する。
【００６５】
以上説明したように実施の形態３によれば、巻き戻し再生中に通常再生指示が入力されたときのフレーム位置を記録することにより、つぎにその動画像が再生されたとき、そのフレーム位置以降のフレーム画像内において特定のオブジェクトを自動的に拡大することができる。よって、ユーザの操作負担を軽減しつつ、特定のオブジェクトを拡大して視聴することができる。
【００６６】
また、そのフレーム位置での操作回数が多いほど、特定のオブジェクトを拡大するときの拡大率を向上させることができる。これにより、ユーザの注目度に比例して画面内における特定のオブジェクトを大きく表示させることができる。なお、巻き戻し再生中に通常再生指示が入力されたときのフレーム位置ではなく、動画像の再生（巻き戻し再生は除く）中に、拡大再生指示、スロー再生指示、もしくはコマ送り再生指示が入力されたときのフレーム位置についても、同様の議論があてはまる。
【００６７】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６８】
一つの変形例として、実施の形態２、３に係る画像処理装置２００、３００は、実施の形態１に係る画像処理装置１００の構成要素であるオブジェクト検出部１２、オブジェクト登録部１４およびオブジェクト追尾部１６を構成要素として備えてもよい。この場合、符号化側の機器で、特定のオブジェクトを追尾して上記追尾情報を符号化ストリーム内に含める必要がなくなる。上記追尾情報が含まれていない、既存の符号化ストリームに対しても、実施の形態２、３に係る処理を実施することができる。
【図面の簡単な説明】
【００６９】
【図１】実施の形態１に係る撮像装置の構成図である。
【図２】実施の形態２に係る画像処理装置の構成図である。
【図３】実施の形態２に係る画像処理装置の表示部に表示される動画像の一例を示す図である。図３（ａ）は巻き戻し再生中の動画像を示す。図３（ｂ）は通常再生が開始されたときの動画像を示す。
【図４】実施の形態３に係る画像処理装置の構成図である。
【図５】実施の形態３に係る画像処理装置の表示部に表示される動画像の第１例を示す図である。図５（ａ）は巻き戻し再生中の動画像を示す。図５（ｂ）は１回目の通常再生が開始されたときの動画像を示す。図５（ｃ）は２回目の通常再生が開始されたときの動画像を示す。
【図６】実施の形態３に係る画像処理装置の拡大率設定テーブルの一例を示す図である。
【図７】実施の形態３に係る画像処理装置の表示部に表示される動画像の第２例を示す図である。図７（ａ）は巻き戻し再生中の動画像を示す。図７（ｂ）は１回目の通常再生が開始されたときの動画像を示す。図７（ｃ）は２回目の通常再生が開始されたときの動画像を示す。
【符号の説明】
【００７０】
１０  符号化部、  １２  オブジェクト検出部、  １６  オブジェクト追尾部、  １４  オブジェクト登録部、  ２０  復号部、  ２２  表示部、  ２４  取得部、  ２６  操作部、  ２８  画像拡大部、  ３０  制御部、  ３２  再生モード制御部、  ３４  再生位置特定部、  ３６  再生開始位置移動部、  ３８  拡大率設定テーブル、  ４０  操作履歴管理部、  ５０  撮像部、  ６０  人物、  １００  画像処理装置、  ２００  画像処理装置、  ３００  画像処理装置、  ５００  撮像装置。  
【図１】
0004979623.tif 000002
【図２】
0004979623.tif 000003
【図３】
0004979623.tif 000004
【図４】
0004979623.tif 000005
【図５】
0004979623.tif 000006
【図６】
0004979623.tif 000007
【図７】
0004979623.tif 000008