(57)【特許請求の範囲】
【請求項１】
動画を複数のクリップ動画に区分するための画像処理装置であって、
動画の画像フレームを表す画像データから、前記画像フレーム内の顔の輪郭を表すワイヤフレームモデルとして、顔の外周形状を示す曲線と、顔の表面の中央を十字状に貫通する経線及び緯線と、目の外周形状を示す曲線とを含むワイヤフレームモデルを抽出するとともに、前記ワイヤフレームモデルの中央部分における勾配を示す輪郭方向ベクトルを抽出する輪郭抽出処理部と、
２つの画像フレーム同士における前記輪郭方向ベクトルの向きの変化量が所定の閾値以上の場合に、前記２つの画像フレームの間にシーン変更があると判定するシーン変更判定部と、
２つの画像フレームの間にシーン変更があるとの判定に応じて、前記２つの画像フレームの間で動画を区分することによって、複数のクリップ動画に区分された動画を表すクリップ済み動画データを作成するクリッピング処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１記載の画像処理装置であって、
前記輪郭抽出処理部は、前記経線と緯線のそれぞれに関して方向微分を求めるとともに、得られた方向微分を合成することによって前記輪郭方向ベクトルを求める、画像処理装置。
【請求項３】
請求項１又は２記載の画像処理装置であって、
前記特定の画像要素は人の顔領域であり、
前記クリッピング処理部は、顔正面を含む画像フレームを特定する情報を前記クリップ済み動画データに記述する、画像処理装置。
【請求項４】
請求項１ないし３のいずれかに記載の画像処理装置であって、
前記シーン変更判定部は、前記輪郭方向ベクトルの向きの変化量を利用したシーン変更判定に加えて、前記輪郭方向ベクトルの向きの変化量以外の所定のパラメータを用いてシーン変更があるか否かの判定を実行する、画像処理装置。
【請求項５】
動画を複数のクリップ動画に区分するための画像処理方法であって、
（ａ）動画の画像フレームを表す画像データから、前記画像フレーム内の顔の輪郭を表すワイヤフレームモデルとして、顔の外周形状を示す曲線と、顔の表面の中央を十字状に貫通する経線及び緯線と、目の外周形状を示す曲線とを含むワイヤフレームモデルを抽出するとともに、前記ワイヤフレームモデルの中央部分における勾配を示す輪郭方向ベクトルを抽出する工程と、
（ｂ）隣接する画像フレーム同士における前記輪郭方向ベクトルの向きの変化量が所定の閾値以上の場合に前記隣接する画像フレームの間をクリップ動画の境界と決定することによって、複数のクリップ動画に区分された動画を表すクリップ済み動画データを作成する工程と、
を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画を複数のクリップ動画に区分する技術に関する。
【背景技術】
【０００２】
動画の検索や再生を行い易くするために、元の動画を複数のクリップ動画に区分して利用する技術が知られている（例えば特許文献１）。
【０００３】
【特許文献１】特開２００５−２７１５９号公報
【０００４】
しかしながら、従来は、動画を区分する作業は主に人手で行われており、かなり手間の掛かる大変な作業であった。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、動画を複数のクリップ動画に容易に区分することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の画像処理装置は、
動画を複数のクリップ動画に区分するための画像処理装置であって、
動画の画像フレームを表す画像データから、前記画像フレーム内の顔の輪郭を表すワイヤフレームモデルとして、顔の外周形状を示す曲線と、顔の表面の中央を十字状に貫通する経線及び緯線と、目の外周形状を示す曲線とを含むワイヤフレームモデルを抽出するとともに、前記ワイヤフレームモデルの中央部分における勾配を示す輪郭方向ベクトルを抽出する輪郭抽出処理部と、
２つの画像フレーム同士における前記輪郭方向ベクトルの向きの変化量が所定の閾値以上の場合に、前記２つの画像フレームの間にシーン変更があると判定するシーン変更判定部と、
２つの画像フレームの間にシーン変更があるとの判定に応じて、前記２つの画像フレームの間で動画を区分することによって、複数のクリップ動画に区分された動画を表すクリップ済み動画データを作成するクリッピング処理部と、
を備えることを特徴とする。
【０００７】
この装置によれば、画像フレーム内の顔の輪郭における輪郭方向ベクトルの向きの変化量に基づいてシーン変更の有無を判定し、シーン変更があるところで動画を区切るようにしたので、自動的にかつ容易に動画を複数のクリップ動画に区分することが可能である。
【０００８】
前記輪郭抽出処理部は、前記経線と緯線のそれぞれに関して方向微分を求めるとともに、得られた方向微分を合成することによって前記輪郭方向ベクトルを求めるようにしてもよい。
【０００９】
この構成によれば、輪郭方向ベクトルの演算を容易に行うことが可能である。
【００１０】
前記特定の画像要素は人の顔領域であり、
前記クリッピング処理部は、顔正面を含む画像フレームを特定する情報を前記クリップ済み動画データに記述するようにしてもよい。
【００１１】
個人で撮影した動画では顔正面を含む画像フレームが特に重要な場合が多いので、このような画像フレームを特定する情報をクリップ済み動画データに記述しておくことによって、その画像フレームの検索や再生を素早く行うことができる。
【００１２】
前記シーン変更判定部は、前記輪郭の変化量を利用したシーン変更判定に加えて、前記輪郭の変化量以外の所定のパラメータを用いてシーン変更があるか否かの判定を実行するようにしてもよい。
【００１３】
この構成によれば、種々のシーン変更を用いて動画を容易に区分することができる。
【００１４】
なお、本発明は、種々の形態で実現することが可能であり、例えば、画像処理方法および装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
【発明を実施するための最良の形態】
【００１５】
次に、本発明の実施の形態を以下の順序で説明する。
A．第１実施例：
B．第２実施例：
C．変形例
【００１６】
A．第１実施例：
図１は、本発明の一実施例としての画像処理システムの構成を示す説明図である。この画像処理システムは、撮像装置を備えた監視ロボット１００と、プリンタ２００とを備えており、これらが有線又は無線で互いに接続されている。後述するように、監視ロボット１００で撮影された動画は、プリンタ２００の表示部で表示することが可能であり、また、動画内の一部の画像をプリンタ２００で印刷することも可能である。
【００１７】
図２は、監視ロボット１００の機能を示すブロック図である。監視ロボット１００は、目の位置に設けられた撮像部１１０と、画像処理モジュール１２０と、ハードディスク装置１３０と、ディスク記録装置１４０とを備えている。画像処理モジュール１２０は、顔輪郭追跡モジュール１２２と、シーン変更判定モジュール１２４と、クリッピング処理モジュール１２６と、を備えている。各モジュールの機能の詳細については後述する。これらのモジュールは、ハードウェアで実現してもよく、あるいは、ソフトウェアで実現してもよい。ディスク記録装置１４０は、ＣＤ−ＲやＤＶＤなどの書き込み可能なディスクにデータを記録するための装置である。
【００１８】
図３は、第１実施例におけるクリッピング処理の概要を示す説明図である。図３（Ａ）は、元の動画ＯＭＰがクリッピング処理によって複数のクリップ動画ＣＰ１，ＣＰ２，ＣＰ３…に区分されている様子を示している。なお、「クリップ動画」とは、元の動画ＯＭＰの一部のみを含む動画を意味しており、それぞれ複数の画像フレームで構成されている。「画像フレーム」又は「フレーム」とは、１画面分の画像を意味している。
【００１９】
図３（Ｂ）は、クリッピング処理によって作成されるクリッピング情報ＣＰＩの例を示している。クリッピング情報ＣＰＩは、複数のクリップ動画の境界を表しており、元動画ＯＭＰに関連づけられた情報である。元動画ＯＭＰとクリッピング情報ＣＰＩとの関連付けは、元動画ＯＭＰとクリッピング情報ＣＰＩのうちの一方又は双方に記述される。
【００２０】
図３（Ｂ）のクリッピング情報ＣＰＩには、各クリップ動画の識別子（id）と、先頭フレーム番号（startframe）と、後端フレーム番号（endframe）とが記述されている。なお、クリッピング情報ＣＰＩは、例えばＸＭＬで記述することが可能である。各クリップ動画に関する情報は、いわゆるメタ情報（メタデータ）として記述することが可能である。また、ＭＰＶ規格（Music Photo Video規格）を用いてクリッピング情報ＣＰＩを記述するようにしてもよい。
【００２１】
なお、クリッピング処理後の個々のクリップ動画は、別個の動画データとして構成する必要は無いが、別個の動画データとして構成することも可能である。複数のクリップ動画がそれぞれ別個の動画データとして構成されている場合にも、個々のクリップ動画とクリッピング情報ＣＰＩとが関連付けられていることが好ましい。さらに、クリッピング情報ＣＰＩを動画データと別個に設ける必要は無く、動画データの中にクリッピング情報ＣＰＩを記述するようにしてもよい。本明細書では、動画そのものを表すデータとクリッピング情報とを併せた全体を、「クリップ済み動画データ」と呼ぶ。また、クリッピング情報を含まない動画そのものを表すデータを、「動画データ」と呼ぶ。
【００２２】
図４は、第１実施例における処理の全体を示すフローチャートである。ステップＳ１０では、監視ロボット１００の撮像部１１０が、被写体の動画を撮影する。ステップＳ２０では、撮像した動画に関するクリッピング処理を開始するか否かが判定される。この判定は、例えば、監視ロボット１００のユーザによる処理開始の指示があるか否かに応じて行っても良く、あるいは、何らかの所定の事象の発生や所定のタイミングに応じて処理を開始するものと判定してもい。
【００２３】
クリッピング処理を行う際には、まず、ステップＳ３０において、顔輪郭追跡モジュール１２２が、個々の画像フレーム内の顔の輪郭と、その輪郭の方向を示す輪郭方向ベクトルとを抽出する。
【００２４】
図５（Ａ）〜（Ｅ）は、動画の複数のフレームＦ１〜Ｆ５における輪郭と輪郭方向ベクトルの例を示している。顔輪郭追跡モジュール１２２は、個々のフレームの中から、顔領域の輪郭ＯＬ１〜ＯＬ５を抽出する。この輪郭ＯＬj（jはフレーム番号）は、顔のワイヤフレームモデルの一種であり、顔の外周形状を示す曲線と、顔の表面の中央を十字状に貫通する経線及び緯線と、目の外周形状を示す曲線とを含んでいる。経線と緯線は、例えば、顔領域の外周形状と顔の部品（例えば目）の配置とに基づいて、顔を包含する曲面を推測することによって求めることができる。なお、輪郭ＯＬjは、これ以外の任意の曲線部分を含むものとして構成することが可能である。
【００２５】
図５（Ａ）〜（Ｅ）には、さらに、輪郭の方向を示す輪郭方向ベクトルＮＶ１〜ＮＶ５も示されている。輪郭方向ベクトルＮＶj（jはフレーム番号）は、輪郭ＯＬjの中央部分における勾配（gradient）を計算することによって得ることができる。より具体的には、例えば、輪郭の経線と緯線のそれぞれに関して方向微分（gradient）を求め、それらを合成することによって、輪郭方向ベクトルＮＶjを得ることができる。なお、本実施例ではベクトルの方向のみが重要なので、全てのベクトルの長さを単位長さに設定してもよい。図５（Ｆ）は、輪郭方向ベクトルＮＶをＸ−Ｙ座標平面上に表示したものである。ここで、Ｘ−Ｙ座標系は、顔領域（顔輪郭）の中心を原点とする座標系である。
【００２６】
図４のステップＳ４０では、シーン変更判定モジュール１２４が、シーン変更があったか否かを判定する。以下に説明するように、本実施例では、輪郭方向ベクトルＮＶjの向きの変化量に基づいてシーン変更の有無が判定される（図５（Ｆ））。具体的には、本実施例において、或るフレーム（「現行フレーム」と呼ぶ）でシーン変更があったか否かは、現行フレームの顔領域の輪郭方向ベクトルＮＶjの向きが、現行フレームの直前のフレーム（「直前フレーム」と呼ぶ）の顔領域の輪郭方向ベクトルＮＶj-1の向きから所定の閾値以上変化したか否かによって判定することができる。この判定の閾値は、例えば４５度に設定することができる。図５（Ａ）〜（Ｄ）に示す最初の４つのフレームでは輪郭方向ベクトルＮＶの方向の変化が小さいので、シーン変更は無いものと判断される。一方、図５（Ｅ）に示す５番目のフレームでは、その輪郭方向ベクトルＮＶ５の向きが直前フレームの輪郭方向ベクトルＮＶ４から４５度以上変化しているので、シーン変更があったものと判定される。
【００２７】
なお、シーン変更判定モジュール１２４は、顔領域の輪郭を用いる方法以外の他の判定方法を用いて（すなわち他の判定パラメータを用いて）シーン変更を判定することも可能である。他の判定方法としては、例えば、現行フレームと直前フレームの平均画素値の差が所定の閾値以上となった場合にシーン変更があったものと判定する方法を利用することができる。また、例えば、１つのクリップ動画の最大許容時間を設定しておき、その最大許容時間に達したらシーンを変更すべきもの（すなわちクリップ動画の境界を設定すべきこと）と判定してもよい。但し、シーン変更判定モジュール１２４は、顔領域の輪郭を用いる方法のみを用いてシーン変更を判断することも可能である。
【００２８】
図３のステップＳ４０においてシーン変更があったものと判定された場合には、ステップＳ５０において、クリッピング処理モジュール１２６が現行フレームと直前フレームとの間を、クリップ動画の区分として登録する。具体的には、例えば、図３（Ｂ）に示すクリッピング情報ＣＰＩにおいて、最初のクリップ動画の後端フレーム番号（endframe）と、次のクリップ動画の先端フレーム番号（startframe）とを登録する。
【００２９】
一方、ステップＳ４０においてシーン変更が無いものと判定された場合には、ステップＳ６０に移行し、動画の終端に達したか否かが判定される。そして、動画の終点に達していなければステップＳ３０に戻り、次の画像フレームに関して上述したステップＳ３０〜Ｓ６０の処理が繰り返される。
【００３０】
図６は、クリッピング処理によって区分された４つのクリップ動画ＣＰ１〜ＣＰ４の例を示している。第１と第２のクリップ動画ＣＰ１，ＣＰ２の境界は、上述したように、顔領域の輪郭方向ベクトルの変化量が閾値以上か否かによって決定されている。また、第２と第３のクリップ動画ＣＰ２，ＣＰ３の境界は、第３のクリップ動画ＣＰ３の先頭フレームにおいて顔領域が画面から消失したことに応じて決定されている。第３と第４のクリップ動画ＣＰ３，ＣＰ４の境界は、例えば、フレームの平均画素値の差が所定の閾値以上となったことによって決定されている。このように、顔領域の輪郭方向ベクトルの変化量を含む複数のパラメータを用いてシーン変更を判定するようにすれば、シーン変更をより適切に判定することができる。
【００３１】
図７は、クリップ動画の再生及び印刷を行うプリンタの例を示す説明図である。このプリンタ２００は、画像や操作用画面を表示するための表示部２１０と、各種の操作ボタン２２０とを有している。監視ロボット１００で作成されたクリップ済み動画データは、無線又は有線接続を経由するか、あるいは、ＣＤ−Ｒなどのディスクを介してプリンタ２００に提供される。
【００３２】
プリンタ２００は、クリップ済み動画データを利用して、個々のクリップ動画を再生することができ、あるいは、動画の中から選ばれた静止画を印刷することが可能である。図７の例では、操作ボタン２２０として、印刷ボタン（「Ｐ」と記載されたボタン）や、停止ボタン、一時停止ボタン、再生ボタン、早送りボタン、早戻しボタンなどが設けられている。ユーザは、これらのボタンを用いて所望のクリップ動画を再生することができる。例えば、早送りボタンや早戻しボタンを押すことによって、クリップ動画の先頭フレームを次々と表示することが可能である。また、動画を一時停止させた上で印刷ボタンを押すことによって、その静止画を印刷することが可能である。
【００３３】
このように、本実施例では、顔領域の輪郭方向ベクトルの変化量を含む複数のパラメータに基づいてシーン変更があるか否かを判定し、シーン変更がある箇所をクリップ動画同士の境界として設定したので、自動的にかつ容易にクリップ動画を作成することが可能である。
【００３４】
B．第２実施例：
図８は、第２実施例における画像処理の手順を示すフローチャートであり、第１実施例の図４に対応する図である。第２実施例は、図４のステップＳ３０とステップＳ４０の間にステップＳ１００、Ｓ１１０を追加した点だけが第１実施例と異なっており、他の処理手順や装置構成は第１実施例と同じである。
【００３５】
図８のステップＳ１００では、顔輪郭追跡モジュール１２２が、現行フレームが顔正面を含む画像であるか否かを判定する。そして、顔正面を含む画像である場合には、ステップＳ１１０において、クリッピング処理モジュール１２６が、現行フレームをベストフレームとしてクリッピング情報ＣＰＩに登録する。
【００３６】
図９は、第２実施例におけるクリッピング処理の概要を示す説明図であり、第１実施例の図３に対応する図である。図９（Ａ）は図３（Ａ）と同じものである。図９（Ｂ）に示すクリッピング情報ＣＰＩには、各クリップ動画に関してベストフレーム番号（bestframe）が登録されている。但し、第３のクリップ動画には顔正面を含む画像フレームが含まれていないので、ベストフレーム番号は登録されていない。なお、１つのクリップ動画に複数のベストフレーム番号を登録するようにしてもよい。図９（Ｂ）の例のように１つのクリップ動画に１つのベストフレームのみを登録する場合には、例えば、そのクリップ動画の中で最初（又は最後）に顔正面が検出されたフレームを登録しておくことが可能である。
【００３７】
このようなベストフレームが登録されたクリップ動画を再生する出力装置（例えばプリンタ２００）では、ベストフレームを選択するための操作手段が設けられていることが好ましい。例えば、表示部２１０にベストフレームにジャンプするための選択肢を表示し、その選択肢をボタンで選択することによってベストフレームを再生したり印刷したりできるようにプリンタ２００の操作部が構成されていることが好ましい。
【００３８】
このように、第２実施例では、人の顔正面の画像を含む画像フレームをベストフレームとして登録したので、人の顔を含む画像フレームの検索、再生、印刷を容易に行うことができる。
【００３９】
C．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【００４０】
C１．変形例１：
上記実施例では、顔領域の輪郭の輪郭方向ベクトルの変化量に基づいてシーン変更の有無を判定していたが、輪郭そのものの変化量に基づいてシーン変更の有無を判定することも可能である。例えば、現行フレームと直前フレームの輪郭のマッチングを行い、マッチング量が所定の閾値に達しない場合（すなわち輪郭の変化量が所定の閾値以上の場合）にシーン変更があるものと判定することが可能である。但し、輪郭方向ベクトルの変化量を利用した判定の方が、より少ない演算量でより高速に判定を行えるという利点がある。
【００４１】
C２．変形例２：
上記実施例では、顔領域の輪郭を利用してシーン変更を判定していたが、本発明は、顔領域以外の特定の画像要素の輪郭を利用してシーン変更を判定する方法にも適用可能である。例えば、画像フレーム内にある動体の全体の輪郭を用いてシーン変更を判定するようにしてもよい。なお、特定の画像要素を認識するために、その特定の画像要素を認識するための認識処理モジュールを画像処理モジュール１２０（図２）内に設けておくことが好ましい。
【００４２】
C３．変形例３：
上記実施例では、動画内のすべての画像フレームについて顔領域の輪郭を抽出してシーン変更の有無を判定するものとしたが、画像フレームをある程度間引きして選択し、複数フレーム分離れた２つの画像フレームの間でシーン変更の有無を判定するようにしてもよい。この場合に、２つの画像フレームの間でシーン変更があるものと判定された場合には、これらの２つの画像フレームの間の所定の箇所（例えば、先の画像フレームの直後、両者の中央、後の画像フレームの直前）にクリップ動画の境界を設定することが可能である。
【００４３】
C４．変形例４：
監視ロボットとしては、任意の形状や機能のロボットを使用することが可能である。例えば、動物の形状を有するペット用ロボットを使用するようにしてもよい。また、撮像装置としては、ロボット以外の任意のものを利用可能である。さらに、クリッピング処理を行う画像処理装置は、ロボットとして構成されている必要は無く、任意の形態の装置として実現可能である。
【図面の簡単な説明】
【００４４】
【図１】本発明の一実施例としての画像処理システムの構成を示す説明図である。
【図２】監視ロボットの機能を示すブロック図である。
【図３】第１実施例におけるクリッピング処理の概要を示す説明図である。
【図４】第１実施例における画像処理の手順を示すフローチャートである。
【図５】シーン変更判定処理の内容を示す説明図である。
【図６】クリッピング処理によって区分された４つのクリップ動画の例を示す説明図である。
【図７】クリップ動画の再生及び印刷を行うプリンタの例を示す説明図である。
【図８】第２実施例における画像処理の手順を示すフローチャートである。
【図９】第２実施例におけるクリッピング処理の概要を示す説明図である。
【符号の説明】
【００４５】
１００…監視ロボット
１１０…撮像部
１２０…画像処理モジュール
１２２…顔輪郭追跡モジュール
１２４…シーン変更判定モジュール
１２６…クリッピング処理モジュール
１３０…ハードディスク装置
１４０…ディスク記録装置
２００…プリンタ
２１０…表示部
２２０…操作ボタン
【図１】
0004434165.tif 000002
【図２】
0004434165.tif 000003
【図３】
0004434165.tif 000004
【図４】
0004434165.tif 000005
【図５】
0004434165.tif 000006
【図６】
0004434165.tif 000007
【図７】
0004434165.tif 000008
【図８】
0004434165.tif 000009
【図９】
0004434165.tif 000010