(57)【要約】【課題】動画像の内容を縮約した形の静止画像である索引画像を多種多様な方法で生成することができる画像生成装置および方法を提供する。【解決手段】索引画像生成手段（インデックス生成部８７）が、動画像を構成するように時系列的に並べられた複数の静止画像の一部分ずつを組み合わせて、動画像の内容を縮約した形で表す静止画像としての索引画像（ＶＤインデックス画像）を生成する。索引画像生成手段は、複数の異なる態様で複数の静止画像の各々から一部分を抽出し、抽出された部分を基に、各態様に応じた索引画像を生成することが可能な機能を有する。【選択図】図１
2009151798.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成するように時系列的に並べられた複数の静止画像の一部分ずつを組み合わせて、動画像の内容を縮約した形で表す静止画像としての索引画像を生成する索引画像生成手段を備えた画像生成装置であって、
前記索引画像生成手段は、複数の異なる態様で前記複数の静止画像の各々から一部分を抽出し、抽出された部分を基に、各態様に応じた索引画像を生成することが可能な機能を有し、
前記複数の異なる態様には、前記複数の静止画像の各々から垂直方向に細長い部分画像を、指定された任意の画素ライン数で抽出する態様が含まれる画像生成装置。
【請求項２】
前記複数の異なる態様には、前記複数の静止画像の各々における限定された領域から一部分ずつを抽出する態様が含まれ、
前記索引画像として、抽出元の静止画像よりも画像サイズの小さい画像を生成する請求項１記載の画像生成装置。
【請求項３】
前記限定された領域は、前記複数の静止画像の各々における中央領域である請求項２記載の画像生成装置。
【請求項４】
前記索引画像生成手段は、さらに、
前記複数の静止画像からいずれかの静止画像を抽出し、この抽出した静止画像をも索引画像として利用する機能を有する請求項１記載の画像生成装置。
【請求項５】
動画像を構成するように時系列的に並べられた複数の静止画像の一部分ずつを組み合わせて、動画像の内容を縮約した形で表す静止画像としての索引画像を生成する索引画像生成手段を備えた画像生成装置であって、
前記索引画像生成手段は、複数の異なる態様で前記複数の静止画像の各々から一部分を抽出し、抽出された部分を基に、各態様に応じた索引画像を生成することが可能な機能を有し、
前記複数の異なる態様には、前記複数の静止画像の各々から水平方向に細長い部分画像を、指定された任意の画素ライン数で抽出する態様が含まれる画像生成装置。
【請求項６】
前記複数の異なる態様には、前記複数の静止画像の各々における限定された領域から一部分ずつを抽出する態様が含まれ、
前記索引画像として、抽出元の静止画像よりも画像サイズの小さい画像を生成する請求項５記載の画像生成装置。
【請求項７】
前記限定された領域は、前記複数の静止画像の各々における中央領域である請求項６記載の画像生成装置。
【請求項８】
前記索引画像生成手段は、さらに、
前記複数の静止画像からいずれかの静止画像を抽出し、この抽出した静止画像をも索引画像として利用する機能を有する請求項５記載の画像生成装置。
【請求項９】
動画像を構成するように時系列的に並べられた複数の静止画像の一部分ずつを組み合わせて、動画像の内容を縮約した形で表す静止画像としての索引画像を、画像生成装置における索引画像生成手段によって生成するための画像生成方法であって、
前記索引画像生成手段が実行する手順として、
前記複数の静止画像の各々から一部分を抽出するための複数の態様の中から選択された態様に従って、前記複数の静止画像の各々から一部分を抽出するステップと、
抽出された部分を組み合わせて索引画像を生成するステップとを含み、
前記複数の異なる態様には、前記複数の静止画像の各々から垂直方向に細長い部分画像を、指定された任意の画素ライン数で抽出する態様が含まれる画像生成方法。
【請求項１０】
前記複数の異なる態様には、前記複数の静止画像の各々における限定された領域から一部分ずつを抽出する態様が含まれ、
前記索引画像として、抽出元の静止画像よりも画像サイズの小さい画像を生成する請求項９記載の画像生成方法。
【請求項１１】
前記限定された領域は、前記複数の静止画像の各々における中央領域である請求項１０記載の画像生成方法。
【請求項１２】
さらに、前記複数の静止画像からいずれかの静止画像を抽出し、この抽出した静止画像をも索引画像として利用する請求項９記載の画像生成方法。
【請求項１３】
動画像を構成するように時系列的に並べられた複数の静止画像の一部分ずつを組み合わせて、動画像の内容を縮約した形で表す静止画像としての索引画像を、画像生成装置における索引画像生成手段によって生成するための画像生成方法であって、
前記索引画像生成手段が実行する手順として、
前記複数の静止画像の各々から一部分を抽出するための複数の態様の中から選択された態様に従って、前記複数の静止画像の各々から一部分を抽出するステップと、
抽出された部分を組み合わせて索引画像を生成するステップとを含み、
前記複数の異なる態様には、前記複数の静止画像の各々から水平方向に細長い部分画像を、指定された任意の画素ライン数で抽出する態様が含まれる画像生成方法。
【請求項１４】
前記複数の異なる態様には、前記複数の静止画像の各々における限定された領域から一部分ずつを抽出する態様が含まれ、
前記索引画像として、抽出元の静止画像よりも画像サイズの小さい画像を生成する請求項１３記載の画像生成方法。
【請求項１５】
前記限定された領域は、前記複数の静止画像の各々における中央領域である請求項１４記載の画像生成方法。
【請求項１６】
さらに、前記複数の静止画像からいずれかの静止画像を抽出し、この抽出した静止画像をも索引画像として利用する請求項１３記載の画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の概要を縮約して静止画像としての索引画像を生成することが可能な
画像生成装置に係わり、例えば複数種類の動画像の中から所望の動画像を検索するシステ
ムに適用される画像生成装置に関する。
【背景技術】
【０００２】
文字を対象とした情報検索技術は、従来より広く行われているが、映像を対象とした検索技術については、実現例が少なく、現在もなお、様々な試みがなされている。中でも、動画像の検索方法に関しては、例えば画像認識技術やシーン抽出技術を用いた方法等、様々な観点から研究が行われている。
【０００３】
例えば、動画サーバとデータベースサーバとを組み合わせて構成したＶＯＤ(Video On Demand)システムでは、タイトル名等を対象としたキーワード検索により、コンテンツ（動画像の内容）の検索が可能である。ところが、タイトル名は、必ずしもコンテンツ全体の内容を適切に表現しているとは限らず、実際に再生してみないと内容を確認できない場合が多いのが現状である。
【０００４】
かかる問題点の解決を図るべく、本出願人は、特開平２−２６００７５号公報に開示されているように、動画像の一覧性に主眼を置いたビデオブラウザ技術を提案している。このビデオブラウザ技術は、動画像を構成する一連の静止画像の各々から移動スリット窓によってサンプリングした部分画像を基に、いわばダイジェスト静止画像としての索引画像を生成し、この索引画像を時間軸の下に一覧表示することによって、動画像の概略の内容を一目で確認できるようにした技術である。
【０００５】
このビデオブラウザ技術によれば、不可視の状態で記録されている膨大な量の動画像の内容が時間軸の下に圧縮された静止画像の形で表示されるので、動画像の内容を直ちに把握することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平２−２６００７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記のビデオブラウザ技術に関する公報では、動画像を構成する一連の静止画像の各々から移動スリット窓によって部分画像をサンプリングする方法として、垂直方向の移動スリット窓または水平方向の移動スリット窓を用いる方法が示されているのみであり、素材（動画像）の種類や用途、あるいはシステム構成の状況等に応じた適切かつ多様な方法で索引画像を生成できるようにはなっていなかった。
【０００８】
本発明はかかる問題点に鑑みてなされたもので、その目的は、動画像の内容を縮約した形の静止画像である索引画像を多種多様な方法で生成することができる画像生成装置および方法を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の第１および第２の観点に係る画像生成装置は、動画像を構成するように時系列的に並べられた複数の静止画像の一部分ずつを組み合わせて、動画像の内容を縮約した形で表す静止画像としての索引画像を生成する索引画像生成手段を備えた画像生成装置であって、索引画像生成手段が、複数の異なる態様で複数の静止画像の各々から一部分を抽出し、抽出された部分を基に、各態様に応じた索引画像を生成することが可能な機能を有するようにしたものである。
【００１０】
特に、本発明の第１の観点に係る画像生成装置は、上記の複数の異なる態様に、複数の静止画像の各々から垂直方向に細長い部分画像を、指定された任意の画素ライン数で抽出する態様が含まれるようにしたものである。
【００１１】
また、本発明の第２の観点に係る画像生成装置では、上記の複数の異なる態様に、複数の静止画像の各々から水平方向に細長い部分画像を、指定された任意の画素ライン数で抽出する態様が含まれるようにしたものである。
【００１２】
また、本発明の第１および第２の観点に係る画像生成装置では、上記の複数の異なる態様に、複数の静止画像の各々における限定された領域から一部分ずつを抽出する態様が含まれるようにすることが可能である。この場合には、限定された領域が、複数の静止画像の各々における中央領域であるようにするのが好適である。
【００１３】
また、本発明の第１および第２の観点に係る画像生成装置では、索引画像生成手段が、さらに、複数の静止画像からいずれかの静止画像を抽出し、この抽出した静止画像をも索引画像として利用する機能を有するようにすることが可能である。
【００１４】
本発明の第１および第２の観点に係る画像生成方法は、動画像を構成するように時系列的に並べられた複数の静止画像の一部分ずつを組み合わせて、動画像の内容を縮約した形で表す静止画像としての索引画像を、画像生成装置における索引画像生成手段によって生成するための画像生成方法であって、索引画像生成手段が実行する手順として、複数の静止画像の各々から一部分を抽出するための複数の態様の中から選択された態様に従って、複数の静止画像の各々から一部分を抽出ステップと、抽出された部分を組み合わせて索引画像を生成するステップとを含むようにしたものである。
【００１５】
特に、本発明の第１の観点に係る画像生成方法は、上記の複数の異なる態様に、複数の静止画像の各々から垂直方向に細長い部分画像を、指定された任意の画素ライン数で抽出する態様が含まれるようにしたものである。
【００１６】
また、本発明の第２の観点に係る画像生成方法では、上記の複数の異なる態様に、複数の静止画像の各々から水平方向に細長い部分画像を、指定された任意の画素ライン数で抽出する態様が含まれるようにしたものである。
【００１７】
また、本発明の第１および第２の観点に係る画像生成方法では、上記の複数の異なる態様に、複数の静止画像の各々における限定された領域から一部分ずつを抽出する態様が含まれるようにすることが可能である。ここで、上記の限定された領域は、複数の静止画像の各々における中央領域であるようにするのが好適である。
【００１８】
また、本発明の第１および第２の観点に係る画像生成方法では、さらに、複数の静止画像からいずれかの静止画像を抽出し、この抽出した静止画像をも索引画像として利用するようにすることが可能である。
【００１９】
本発明の第１または第２の観点に係る画像生成装置では、索引画像生成手段によって、動画像を構成するように時系列的に並べられた複数の静止画像の一部分ずつが組み合わされて、動画像の内容を縮約した形で表す静止画像としての索引画像が生成される。このような索引画像の生成処理は、複数の異なる態様で行われる。
【００２０】
本発明の第１または第２の観点に係る画像生成方法では、複数の静止画像の各々から一部分を抽出するための複数の態様の中から、いずれかの態様が選択され、この選択された態様に従って、複数の静止画像の各々から一部分を抽出し、抽出された部分を組み合わせて索引画像が生成される。
【発明の効果】
【００２１】
以上説明したように、請求項１ないし請求項８のいずれかに記載の画像生成装置、または請求項９ないし請求項１６のいずれかに記載の画像生成方法によれば、複数の静止画像の各々から一部分を抽出し、抽出された部分を基に、各態様に応じた索引画像を生成するという処理を、複数の異なる態様で行えるようにしたので、例えば、その生成の態様を適宜に変えることで、動画像素材の性質や用途等に応じた適切な態様の索引画像を得ることができるという効果を奏する。
【００２２】
特に、請求項２もしくは６記載の画像生成装置または請求項１０もしくは１４記載の画像生成方法によれば、複数の異なる態様に、複数の静止画像の各々における限定された領域から一部分ずつを抽出するという態様が含まれるようにしたので、この態様を利用することにより、コンパクトで簡易な索引画像を得ることができるという効果を奏する。
【００２３】
また、請求項４もしくは８記載の画像生成装置または請求項１２もしくは１６記載の画像生成方法によれば、複数の静止画像からいずれかの静止画像を抽出し、この抽出した静止画像をも索引画像として利用するようにしたので、索引画像だけでは元の動画像の内容が分かりにくいような場合であっても、付加された静止画像を見ることによって動画像の内容把握が容易になるという効果を奏する。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施の形態の画像生成装置が適用される動画像検索配信システムにおける各構成要素の機能構成を表すブロック図である。
【図２】この動画像検索配信システムのハードウェア構成を、その構成要素であるウェブサーバおよび端末装置のハードウェア構成と共に表すブロック図である。
【図３】動画像サーバのハードウェア構成を表すブロック図である。
【図４】端末装置のディスプレイ装置に表示されたインターネットブラウザ画面の一例を表す図である。
【図５】第５Ａ図〜第５Ｃ図は、一連の動画像から一群のＶＤインデックス画像を生成するための概略の手順の一例を表す説明図である。
【図６】第６Ａ図〜第６Ｄ図は、ある一区間の動画像から垂直抽出法によって１枚のＶＤインデックス画像を生成するための手順の一例を表す説明図である。
【図７】第７Ａ図〜第７Ｄ図は、ある一区間の動画像から水平抽出法によって１枚のＶＤインデックス画像を生成するための手順の一例を表す説明図である。
【図８】第８Ａ図〜第８Ｅ図は、ある一区間の動画像から部分抽出法によって１枚のＶＤインデックス画像を生成するための手順の一例を表す説明図である。
【図９】第９Ａ図〜第９Ｅ図は、一連の動画像からフレーム混在法によって一群のＶＤインデックス画像を生成するための概略の手順の一例を表す説明図である。
【図１０】第１０図は、図１に示したインデックス生成部がサポートしているインデックス生成モードの種類を表す説明図である。
【図１１】第１１図は、図１に示したインデックス生成部における処理内容を表す流れ図である。
【図１２】第１２図は、図１に示したインデックス生成部において行われる、ある生成モード（Ｍ７モード）でのインデックス生成処理の一例を表す流れ図である。
【図１３】第１３Ａ図〜第１３Ｃ図は、Ｍ１モードの下でフレーム当たりの抽出ライン数を変えて生成した３つの態様のＶＤインデックス画像の例を表す図である。
【図１４】第１４Ａ図〜第１４Ｃ図は、フレーム当たりの抽出ライン数を一定にしつつ、それぞれ、Ｍ２，Ｍ５，Ｍ３の各モード下で生成した３つの態様のＶＤインデックス画像の例を表す図である。
【図１５】第１５図は、ウェブサーバ、端末装置、動画像サーバおよびデータベースサーバにおける一連の動画像検索配信動作を、それぞれに区分して表す説明図である。
【図１６】第１６図は、第１５図に続く説明図である。
【発明を実施するための形態】
【００２５】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００２６】
第２図は、本発明の一実施の形態に係る画像生成装置を適用して構成した動画像検索配信システムのハードウェア構成を、その構成要素であるウェブサーバ３および端末装置４の内部構成と共に表すものである。本実施の形態の動画像検索配信システムは、インターネット上の情報へのアクセスを可能とするシステムであるワールド・ワイド・ウェブ（ＷＷＷ）を用いて、動画像の検索および配信を可能としたシステムである。
【００２７】
この図に示したように、この動画像検索配信システムは、ＷＷＷをサポートするウェブサーバ３と、クライアントとしての端末装置４と、動画像を蓄積している動画像サーバ５と、動画像サーバ５に蓄積された動画像に関するデータを蓄積しているデータベースサーバ６とを含んでいる。これらの各要素は、インターネットの一部を構成するネットワーク２に接続されている。なお、ネットワーク２に接続されるウェブサーバ３、端末装置４、動画像サーバ５およびデータベースサーバ６の数や、ネットワーク２に対する物理的接続形態に特に制限はない。
【００２８】
ウェブサーバ３は、主として、端末装置４からの要求に応じて、動画像に関する検索や、動画像から生成した静止画像としてのビジュアル・ダイジェスト・インデックス画像（以下、ＶＤインデックス画像という。）の検索および配信等を行うものである。このＶＤインデックス画像は、動画像の内容を静止画像の形に縮約したもので、これを見るだけで動画像の概略的内容を把握できるようにしたものである。その生成方法は後述する。ここで、ＶＤインデックス画像が本発明における「索引画像」に対応する。
【００２９】
第２図に示したように、ウェブサーバ３は、コンピュータ本体１１と、このコンピュータ本体１１に接続された、ディスプレイ装置１２、キーボード１３、マウス１４およびハードディスク装置１５とを備えている。コンピュータ本体１１は、ＣＰＵ（中央処理装置）２１と、ＲＯＭ（リード・オンリ・メモリ）およびＲＡＭ（ランダム・アクセス・メモリ）等を含むメモリ部２２と、ディスプレイ装置１２を制御するためのディスプレイコントローラ２３と、キーボード１３およびマウス１４に接続され、入出力（Ｉ／Ｏ）動作を制御するＩ／Ｏコントローラ２４と、ハードディスク装置１５を制御するためのハードディスクコントローラ２５と、ネットワーク２に接続され、通信の制御を行うネットワークコントローラ２６とを備えている。これらの各要素間は、バス２７によって相互に接続されている。ＣＰＵ２１は、メモリ部２２内のＲＡＭを作業用記憶領域として利用して、ハードディスク装置１５に格納されたアプリケーションプログラムを実行するようになっている。
【００３０】
端末装置４は、例えば通常のパーソナルコンピュータとして構成されたもので、インターネット上の情報を閲覧可能とするためのソフトウェアであるインターネットブラウザと、ネットワーク２を介して配信された動画像の再生を可能とするためのソフトウェアである動画像再生プログラムとを保有している。インターネットブラウザとしては、例えば、ネットスケープナビゲータ(Netscape Navigator(米国 Netscape Communications社の商標))等の一般的な商用ブラウザが使用可能である。
【００３１】
第２図に示したように、端末装置４は、コンピュータ本体３１と、このコンピュータ本体３１に接続された、ディスプレイ装置３２、キーボード３３、マウス３４、スピーカ３５ａ，３５ｂおよびハードディスク装置３６とを備えている。コンピュータ本体３１は、ＣＰＵ４１と、ＲＯＭおよびＲＡＭ等を含むメモリ部４２と、ディスプレイ装置３２を制御するためのディスプレイコントローラ４３と、ＭＰＥＧ(Moving Picture Experts Group)規格による画像データの圧縮・伸長処理を行うＭＰＥＧ処理部４４と、キーボード３３およびマウス３４に接続され、入出力動作を制御するＩ／Ｏコントローラ４５と、スピーカ３５ａ，３５ｂからの音声出力を制御するサウンドコントローラ４６と、ハードディスク装置３６を制御するためのハードディスクコントローラ４７と、ネットワーク２に接続され、通信の制御を行うネットワークコントローラ４８とを備えている。これらの各要素間は、バス４９によって相互に接続されている。ＣＰＵ４１は、メモリ部４２内のＲＡＭを作業用記憶領域として、ハードディスク装置３６に格納されたアプリケーションプログラムを実行するようになっている。なお、ＭＰＥＧ処理部４４は、ハードウェアで実現してもよいし、ソフトウェアで実現してもよい。
【００３２】
なお、端末装置４は、上記のようなインターネットブラウザ機能と動画像再生機能とを有するものであれば、ハードウェアとしての限定はない。
【００３３】
動画像サーバ５は、複数種類の動画像を蓄積し、要求に応じてこれをネットワーク２を介して提供したり、動画像からＶＤインデックス画像を生成するためのものである。
【００３４】
第３図は、動画像サーバ５のハードウェア構成を表すものである。この図に示したように、動画像サーバ５は、コンピュータ本体５１と、このコンピュータ本体５１に接続された、ディスプレイ装置５２、キーボード５３、マウス５４、および複数のハードディスクを用いて冗長に構成された大容量のＲＡＩＤ(Redundant Array of Inexpensive Disks)５５とを備えている。
【００３５】
コンピュータ本体５１は、ＣＰＵ６１と、ＲＯＭおよびＲＡＭ等を含むメモリ部６２と、ディスプレイ装置５２を制御するためのディスプレイコントローラ６３と、ＭＰＥＧ規格による画像データの圧縮・伸長処理を行うＭＰＥＧ処理部６４と、キーボード５３およびマウス５４に接続され、入出力動作を制御するＩ／Ｏコントローラ６５と、ＲＡＩＤ５５を制御するためのＲＡＩＤコントローラ６６と、ネットワーク２に接続され、通信の制御を行うネットワークコントローラ６７とを備えている。これらの各要素間は、バス６８によって相互に接続されている。ＣＰＵ６１は、メモリ部６２内のＲＡＭを作業用記憶領域として、ＲＡＩＤ５５に格納されたアプリケーションプログラムを実行するようになっている。なお、ＭＰＥＧ処理部６４は、ハードウェアで実現してもよいし、ソフトウェアで実現してもよい。
【００３６】
次に、本実施の形態の動画像検索配信システムの機能構成を説明する。
【００３７】
第１図は、第２図に示した動画像検索配信システムにおける各要素の機能構成を表すものである。この図に示したように、ウェブサーバ３は、インターネットサーバ部７１と、データベース検索部７２と、インデックス検索部７３と、インデックス格納部７４と、インデックス関連処理部７５と、インデックス関連情報格納部７６と、ＧＵＩ(Graphycal User Interface)データ生成部７７と、ＧＵＩデータ格納部７８と、静止画像格納部７９とを有している。
【００３８】
インターネットサーバ部７１は、インターネット上で公開される情報の管理や配信等を行うためのもので、具体的には、端末装置４、動画像サーバ５およびデータベースサーバ６等とのやり取りを行う。
【００３９】
データベース検索部７２は、端末装置４からの要求に応じて、データベースサーバ６に動画像検索要求を発し、得られた検索結果をインデックス検索部７３に渡すという処理を行うものである。この検索結果には、該当する動画像のタイトル、動画像データのファイル名、その動画像ファイルが格納されている動画像サーバの名前（ここでは動画像サーバ５）、動画像サーバ内における、その動画像ファイルの格納位置等が含まれる。
【００４０】
インデックス検索部７３は、データベース検索部７２から受け取ったデータベース検索結果を基に、インデックス格納部７４に格納されている複数のＶＤインデックスファイルの中から目的のファイルを検索するためのものである。ここで、ＶＤインデックスファイルとは、後述するように、動画像のタイトルごとに生成された画像データファイルであり、１または複数のＶＤインデックス画像データを含んでいる。
【００４１】
インデックス格納部７４は、動画像サーバ５から送られてきたＶＤインデックスファイルを格納するためのものである。
【００４２】
インデックス関連処理部７５は、ＧＵＩデータ生成部７７がＧＵＩデータを生成する際に必要な、ＶＤインデックス画像の表示態様に関する各種の表示パラメータ情報を求める処理等を行うためのものである。この表示パラメータ情報には、例えば、端末装置４のディスプレイ装置３２のインターネットブラウザ画面（以下、単にブラウザ画面という。）のサイズに応じたＶＤインデックス画像の表示可能数、生成されたＶＤインデックス画像の数が上記の表示可能数を越える場合に取捨選択すべきＶＤインデックス画像の番号、および動画像の長さに応じたＶＤインデックス画像表示形式等が含まれる。ここで、ＶＤインデックス画像表示形式とは、動画像の長さに応じ、ＶＤインデックス画像を表示し得る領域の一部を選択的に使用したり使用しないようにして、端末装置４のユーザがディスプレイ装置３２のブラウザ画面に表示されたＶＤインデックス画像の表示形式を見ただけで、それに対応した動画像の長さを判断できるようにするためのものである。
【００４３】
インデックス関連情報格納部７６は、動画像サーバ５から送られてきたインデックス関連情報を格納するためのものである。このインデックス関連情報は、動画像サーバ５のインデックス生成部８７によって生成されたＶＤインデックス画像の数や、ＶＤインデックス画像の生成に使用された各種の生成パラメータを含む情報である。ここで、生成パラメータには、例えば、１枚のＶＤインデックス画像の生成に用いたフレームの数、各フレームから抽出したラインの数、およびライン抽出の方向等が含まれる。その詳細は後述する。
【００４４】
ＧＵＩデータ生成部７７は、端末装置４等に対して提供される動画像検索用のホームページを構成するＧＵＩデータの生成または更新を行うためのものである。この動画像検索用のホームページを構成するデータは、通常、ＨＴＭＬ(Hypertext Markup Language)言語によって記述される。
【００４５】
ＧＵＩデータ格納部７８は、ＧＵＩデータ生成部７７によって生成されたＧＵＩデータを格納するための領域である。
【００４６】
静止画像格納部７９は、動画像サーバ５からＶＤインデックスファイルと共に送られてきた静止画像ファイルを格納するためのものである。この静止画像ファイルは、ＶＤインデックスファイルに含まれている各ＶＤインデックス画像ごとに１枚ずつ対応付けられた静止画像のデータで構成される。静止画像のデータとしては、例えばＧＩＦ(Graphics Interchange Format) 形式で圧縮されたデータが用いられる。
【００４７】
以上のウェブサーバ３における各機能部のうち、インターネットサーバ部７１、データベース検索部７２、インデックス検索部７３、インデックス関連処理部７５およびＧＵＩデータ生成部７７は、それぞれ、主として、第２図におけるハードディスク装置１５に格納されているアプリケーションプログラムおよびこれを実行するＣＰＵ２１によって実現される。また、インデックス格納部７４、インデックス関連情報格納部７６、ＧＵＩデータ格納部７８および静止画像格納部７９は、それぞれ、第２図におけるハードディスク装置１５の一部を用いて実現される。
【００４８】
端末装置４は、インターネットブラウザ部８１と、動画像再生部８２とを有している。
【００４９】
インターネットブラウザ部８１は、ＷＷＷを利用してインターネットにアクセスし、情報を受け取って表示するという機能を有するもので、上記したように、例えばネットスケープナビゲータ等の一般的な商用ブラウザにより実現される。
【００５０】
動画像再生部８２は、動画像サーバ５から配信された動画像データを伸長して表示するためのもので、主として第２図におけるＭＰＥＧ処理部４４によって実現される。但し、動画像再生部８２の機能は、動画像のコンテンツタイプ（例えば圧縮方式）に対応した動画像再生用プログラムによっても実現可能である。この動画像再生用プログラムは、例えば、インターネットブラウザのプラグイン・ソフトウェアとして提供される。
【００５１】
動画像サーバ５は、動画像格納部８５、動画像配信部８６およびインデックス生成部８７を有している。
【００５２】
動画像格納部８５は、動画像ファイルを格納する部分であり、主として、第３図におけるＲＡＩＤ５５によって実現される。動画像ファイルに含まれる動画像データは、ＭＰＥＧ形式で圧縮されたものである。
【００５３】
動画像配信部８６は、端末装置４等からの要求に応じて、動画像格納部８５から目的の動画像を取り出し、ネットワーク２を介して端末装置４に配信するという処理を行うものであり、主として、ネットワークコントローラ６７およびＣＰＵ６１によって実現される。
【００５４】
インデックス生成部８７は、動画像格納部８５に格納された動画像の内容を視覚的に縮約して静止画像としてのＶＤインデックス画像を生成し、これをＶＤインデックスファイルとして、ネットワーク２を介してウェブサーバ３に送信する機能を有する。インデックス生成部８７はまた、生成されたＶＤインデックス画像の数や、ＶＤインデックス画像の生成に使用された各種の生成パラメータ等を、インデックス関連情報としてウェブサーバ３に送信するという機能をも有している。ウェブサーバ３に送られたＶＤインデックスファイルおよびインデックス関連情報は、それぞれ、インデックス格納部７４およびインデックス関連情報格納部７６に格納されるようになっている。このインデックス生成部８７は、主として、図３におけるＣＰＵ６１およびＭＰＥＧ処理部６４によって実現される。なお、ＶＤインデックス画像の生成処理の詳細な内容は後述する。ここで、インデックス生成部８７が本発明における「索引画像生成手段」に対応する。
【００５５】
データベースサーバ６は、データベース９１と、検索処理部９２とを有している。
【００５６】
データベース９１は、動画像のタイトル、動画像ファイル名、その動画像ファイルが格納されている動画像サーバの名前（ここでは動画像サーバ５）、動画像サーバ内における、その動画像ファイルの格納位置等を含んでいる。
【００５７】
検索処理部９２は、ウェブサーバ３のデータベース検索部７２からの要求に応じて、与えられたキーワードに基づいてデータベース９１を検索し、その検索結果をデータベース検索部７２に送るという処理を行うようになっている。検索処理部９２は、例えば、サイベース(Sybase ; 米国Sybase Inc社の登録商標) 等のデータベース管理システム(DBMS;Database Management System) プログラムにより実現される。
【００５８】
第４図は、端末装置４のディスプレイ装置３２に表示されたインターネットブラウザ画面の一例を表すものである。このブラウザ画面は、インターネットブラウザ部８１の機能により実現されるものである。
【００５９】
このブラウザ画面は、ブラウザタイトルバー、メニューバーおよびツールバー等からなるシステム領域１０１と、検索結果としてのＶＤインデックス画像等を表示するためのインデックス表示領域１０２と、静止画像（正確には、後述するインデックス代表静止画像）を表示するための静止画像表示領域１０３と、動画像を再生表示するための動画像表示領域１０４とを含んでいる。
【００６０】
システム領域１０１のメニューバーには、‘ファイル’，‘編集’，‘表示’等のメニュー項目があり、それぞれをマウスクリックすることにより、プルダウンメニューが表示されるようになっている。ツールバーには、‘戻る’，‘再読み込み’等のツールアイコンが配置され、それぞれをマウスクリックすることにより、対応するブラウザ動作が行われるようになっている。ここで、マウスクリックとは、マウスポインタ１０９を対象のアイテムに合わせた状態でマウス３４の例えば左クリックをすることを意味する。以下の説明では、この操作を、単に、クリックする、と記するものとする。
【００６１】
インデックス表示領域１０２には、検索に用いられたキーワードおよび検索された動画像のタイトル数１０６と、検索された動画像についてのＶＤインデックス画像グループ１０７，１０８等とが表示されるようになっている。この図に示した例では、キーワード‘岡崎’に対して１１７個の動画像が検索され、このうち、‘桜どころ岡崎’、‘歴史と未来が息づく岡崎’、等のタイトルの動画像についてのＶＤインデックス画像グループ１０７，１０８が表示されている。ここで、１つのＶＤインデックス画像グループが、１つのタイトルの動画像に対応している。各ＶＤインデックス画像グループの下側には、それぞれ、対応する動画像の全体の長さ（全再生時間）に対応したインジケータバー１０７ａ，１０８ａが配置されている。これらのインジケータバー１０７ａ，１０８ａ等における黒塗のこま部分は、その上に表示されているＶＤインデックス画像が、すべてのＶＤインデックス画像のうちのどの位置のものであるかを示している。このインデックス表示領域１０２において、その右端部のスクロールバー１１０を操作することにより、複数のＶＤインデックス画像グループを上下方向にスクロールさせて順次表示することができるようになっている。
【００６２】
静止画像表示領域１０３には、インデックス表示領域１０２に表示されたＶＤインデックス画像のうちの選択されたものに対応した静止画像１０３ａが表示されるようになっている。この静止画像１０３ａが、後述するインデックス代表静止画像である。本実施の形態では、例えばマウス３４を操作してマウスポインタ１０９を所望のＶＤインデックス画像の上に移動させるだけで、そのＶＤインデックス画像が選択されるようになっている。
【００６３】
動画像表示領域１０４には、インデックス表示領域１０２に表示されたＶＤインデックス画像のうちの選択されたものに対応した動画像１０４ａが、タイトル名および動画像ファイル名１０４ｂと共に表示されるようになっている。本実施の形態では、例えばマウスポインタ１０９を所望のＶＤインデックス画像の上に移動させてクリックすることで、そのＶＤインデックス画像に対応した動画像が選択されるようになっている。この場合の再生開始点は、クリックされたＶＤインデックス画像に対応した動画像区間の先頭である。但し、動画像区間の先頭以外の位置を再生開始点としてもよい。ここで、動画像１０４ａの再生、停止、一時停止、高速再生、リバース再生および高速リバース再生等の操作は、操作部１０４ｃによって行うことが可能である。また、拡大表示アイコン１０４ｄをクリックすることで、動画像１０４ａをブラウザ画面いっぱいに拡大表示することができるようになっている。
【００６４】
次に、以上のような構成の動画像検索配信システムの動作を説明する。
【００６５】
ここでは、まず、第５Ａ図〜第９Ｃ図を参照して、動画像サーバ５のインデックス生成部８７が行うことが可能ないくつかのＶＤインデックス画像生成方法について説明する。ＶＤインデックス画像生成方法には、基本的に、垂直抽出法、水平抽出法、部分抽出法およびフレーム混在法の４つがある。以下、それぞれの方法について説明する。
【００６６】
第５Ａ図〜第５Ｃ図および第６Ａ図〜第６Ｃ図は、垂直抽出法によってＶＤインデックス画像を生成する処理内容を概念的に表すものである。ここで、第５Ａ図〜第５Ｃ図は、一連の動画像から複数のＶＤインデックス画像を生成する概略の手順を表し、第６Ａ図〜第６Ｃ図は、ある一区間の動画像から１枚のＶＤインデックス画像を生成する手順を表す。
【００６７】
まず、第５Ａ図および第６Ａ図に示したように、動画像を、２次元の静止画像Ｆが時間軸ｔに沿って並んだ直方体モデルとして定義する。以後、２次元の静止画像をフレームとも称するものとする。例えばＮＴＳＣ (National Television System Committee)方式の場合は、各フレームは、６０分の１秒の長さの２枚のフィールドによって構成されるので、１フレームは３０分の１秒という長さをもつ。
【００６８】
次に、第５Ｂ図に示したように、一連の動画像全体からなる直方体モデルを一定の時間間隔で複数の区間直方体Ｓｉ（この図では、ｉ＝１〜４）に分割する。そして、各区間直方体Ｓｉを、その上面の対角線Ａ１を通る対角面に沿って斜めに切断し、各切断面における帯状の画像情報（以下、スリット画像情報という。）を抽出する。実際には、図６Ｂに示したように、１つの区間直方体からフレームＦｊ（ｊ＝１，２，…）を取り出し、さらに、第６Ｃ図に示したように、これらの各フレームＦｊから、時間と共に水平方向に移動する縦長の移動スリット窓によって、スリット画像情報ＳＬＶｊを順次切り出す。
【００６９】
次に、第６Ｄ図に示したように、上記の切断面から抽出したスリット画像情報ＳＬＶｊを順次並べていき、一定サイズになったところで、これに所定の圧縮処理を行う。これにより、第５Ｃ図に示したように、各区間直方体Ｓｉごとに、それぞれ１枚のＶＤインデックス画像ＩＶｉ（ｉ＝１〜４）が生成され、動画像全体としては、複数枚（この図では４枚）のＶＤインデックス画像が生成される。このとき、各ＶＤインデックス画像ＩＶｉごとに、それの元となった区間直方体Ｓｉに含まれていたいずれか１枚のフレーム（すなわち、移動スリット窓による抽出処理が行われていない元のフレームＦｊ）を対応付け、これをインデックス代表静止画像ＳＰとして登録する。このインデックス代表静止画像ＳＰとしては、例えば、ＶＤインデックス画像ＩＶｉの中央部分の生成に供せられたフレーム（第６Ｄ図では、フレームＦ５）が選択される。但し、ＶＤインデックス画像における他の部分（例えば端部）の生成に供せられたフレームを選択するようにしてもよい。
【００７０】
このような垂直抽出法は、例えば、素材としての動画像が、カメラを水平方向にパンニングして撮影されたものである場合に、特に有効である。このような素材の場合には、動画像の各フレーム内容の移り変わりの方向と、生成されたインデックス代表静止画像を構成するスリット画像情報ＳＬＶｉの配列方向とが、共に水平方向となって一致し、ＶＤインデックス画像が、動画像の内容の変化を自然な形で表現したものとなるからである。
【００７１】
次に、水平抽出法について説明する。
【００７２】
第７Ａ図〜第７Ｄ図は、動画像を構成する静止画像から、水平方向（横方向）に細長い移動スリット窓によってスリット画像情報ＳＬＨｊを抽出してＶＤインデックス画像を生成するようにした水平抽出法を表すものである。
【００７３】
この方法では、第５Ｂ図に示した区間直方体Ｓｉを切断する切断面は、上記のように上面の対角線Ａ１を通る面ではなく、区間直方体Ｓｉにおける手前側の面の対角線Ａ２を通るような切断面である。
【００７４】
すなわち、第７Ａ図および第７Ｂ図に示したように、区間直方体Ｓｉ（第５Ｂ図）からフレームＦｊ（ｊ＝１，２，…）を取り出し、さらに、第７Ｃ図に示したように、これらの各フレームＦｊから、時間と共に垂直方向に移動する横長の移動スリット窓によって、スリット画像情報ＳＬＨｊを順次切り出す。
【００７５】
次に、第７Ｄ図に示したように、切り出したスリット画像情報ＳＬＨｊを順次並べていき、一定サイズになったところで、これに所定の圧縮処理を行う。これにより、各区間直方体ごとに、それぞれ１枚のＶＤインデックス画像ＩＨｉが生成され、動画像全体としては、複数枚のＶＤインデックス画像が生成される。このとき、各ＶＤインデックス画像ＩＨｉごとに、それの元となった区間直方体に含まれていたいずれかのフレームＦｊ（第７Ｄ図の例では、フレームＦ４）を対応付け、これをインデックス代表静止画像ＳＰとして登録する。
【００７６】
このような水平抽出法は、例えば、素材としての動画像が、カメラを上下方向にパンニングして撮影されたものである場合に、特に有効である。このような素材の場合には、動画像の各フレーム内容の移り変わりの方向と、生成されたインデックス代表静止画像を構成するスリット画像情報ＳＬｉの配列方向とが、共に垂直方向となって一致し、ＶＤインデックス画像が、動画像の内容の変化を自然な形で表現したものとなるからである。
【００７７】
次に、部分抽出法について説明する。
【００７８】
第８Ａ図〜第８Ｅ図は、動画像を構成するフレームＦｊから直接スリット画像情報ＳＬｊを抽出するのではなく、フレームＦｊのうちの要部（例えば中央領域）のみを抽出対象範囲とし、その他の領域（例えば周辺領域）は抽出対象から外すようにした部分抽出法を表すものである。
【００７９】
この方法では、まず、第８Ａ図および第８Ｂ図に示したように、区間直方体Ｓｉ（第５Ｂ図）からフレームＦｊ（ｊ＝１，２，…）を取り出し、さらに、第８Ｃ図に示したように、これらの各フレームＦｊの中央部分から、それぞれ、部分フレームＦｊ′を抽出する。ここで、部分フレームＦｊ′のサイズは、元のフレームＦｊのサイズの例えば７０％程度とする。但し、その値に限定されない。
【００８０】
次に、第８Ｄ図に示したように、各部分フレームＦｊ′から、時間と共に水平方向に移動する縦長の移動スリット窓によって、スリット画像情報ＳＬＶｊ′を順次切り出す。
【００８１】
次に、第８Ｅ図に示したように、切り出したスリット画像情報ＳＬＶｊを順次並べていき、一定サイズになったところで、これに所定の圧縮処理を行う。これにより、各区間直方体ごとに、それぞれ１枚のＶＤインデックス画像ＩＶｉ′が生成され、動画像全体としては、複数枚のＶＤインデックス画像が生成される。このとき、各ＶＤインデックス画像ＩＶｉ′ごとに、それの元となった区間直方体に含まれていたいずれかのフレームＦｊから抽出された部分フレームＦｊ′（第８Ｅ図では、部分フレームＦ５′）を対応付け、これをインデックス代表静止画像ＳＰ′として登録する。
【００８２】
このような部分抽出法では、移動スリット窓の幅が同じであったとしても、それによって抽出されるスリット画像情報ＳＬＶｊ′のサイズ（具体的には、画像データ量）は、第６Ｃ図のスリット画像情報ＳＬＶｊのサイズよりも小さく、その結果として、生成されるＶＤインデックス画像ＩＶｉ′のサイズは、第６Ｄ図のＶＤインデックス画像ＩＶｉのサイズよりも小さくなる。したがって、ＶＤインデックス画像の格納スペースを縮小できる点で有効である。
【００８３】
なお、第８Ａ図〜第８Ｅ図に示した例では、部分抽出法に垂直抽出法を組み合わせた場合について説明したが、後述するように、部分抽出法に水平抽出法を組み合わせることも可能である。
【００８４】
次に、フレーム混在法について説明する。
【００８５】
第９Ａ図〜第９Ｃ図は、生成されたＶＤインデックス画像グループの中に、インデックス代表静止画像とは別個に、元のフレームを混在させるようにしたフレーム混在法を表すものである。この図に示した例は、第５Ａ図〜第５Ｃ図に示した垂直抽出法をモディファイしたものである。
【００８６】
この方法では、各区間直方体Ｓｉを、その上面の対角線を通る対角面に沿って斜めに切断し、各切断面におけるスリット画像情報を抽出し、抽出したスリット画像情報を基にＶＤインデックス画像ＩＶｉを生成する。ここまでは、第５Ａ図〜第５Ｃ図の場合と同じである。
【００８７】
本方法では、さらに、このようにして生成されたＶＤインデックス画像の各間に、各区間直方体Ｓｉに含まれていたいずれかのフレームをそのままの形で（加工せずに）挿入する。以下、この挿入されるフレームを挿入用フレームと記するものとする。
【００８８】
挿入用フレームの定め方および挿入の仕方には種々の方法がある。例えば、各ＶＤインデックス画像の先頭部分に対応するフレーム（すなわち、ＶＤインデックス画像の左端部のスリット画像情報を提供したフレーム）を取り出し、その挿入用フレームを、そのＶＤインデックス画像の前側に挿入するという方法がある。この方法では、例えば第９Ｃ図に示したように、ＶＤインデックス画像ＩＶ２の左端部のスリット画像情報を提供したフレームＦα１を区間直方体Ｓ２（第９Ｂ図）から取り出し、このフレームＦα１を、ＶＤインデックス画像ＩＶ２とＩＶ１との間に挿入するようにする。同様に、ＶＤインデックス画像ＩＶ３の左端部のスリット画像情報を提供したフレームＦα２を区間直方体Ｓ３（第９Ｂ図）から取り出し、このフレームＦα２を、ＶＤインデックス画像ＩＶ３とＩＶ２との間に挿入するようにする。フレームＦα３についても同様である。
【００８９】
但し、挿入用フレームの定め方および挿入の仕方は上記に限定されない。例えば、一定時間間隔でフレームをサンプリングして、これを、ＶＤインデックス画像の配列における適当な位置に配置するようにしてもよい。
【００９０】
なお、本法において、各ＶＤインデックス画像ＩＶｉごとに、それの元となった区間直方体Ｓｉに含まれていたいずれか１枚のフレームを対応付け、これをインデックス代表静止画像ＳＰとして登録する点は、第５Ａ図〜第５Ｃ図の場合と同じである。
【００９１】
このようなフレーム混在法では、後述するように、ＶＤインデックス画像の配列の中に、未加工の静止画像が含まれることとなるので、動画像の内容の確認がさらに容易になる利点がある。
【００９２】
第１０図は、動画像サーバ５のインデックス生成部８７がＶＤインデックス画像生成時に取り得る生成モードの種類を表すものである。この図に示したように、本実施の形態では、上記した垂直抽出法、水平抽出法、部分抽出法およびフレーム混在法の４つを組み合わせてなるＭ１〜Ｍ８までの８つの生成モードが用意されている。各モードの意味は、次の通りである。
Ｍ１モード  ：フレーム全体を抽出対象として垂直抽出法のみを用いるモードである。
Ｍ２モード  ：フレーム全体を抽出対象として水平抽出法のみを用いるモードである。
Ｍ３モード  ：フレーム全体を抽出対象として垂直抽出法およびフレーム混在法を併用するモードである。
Ｍ４モード  ：フレーム全体を抽出対象として水平抽出法およびフレーム混在法を併用するモードである。
Ｍ５モード  ：部分フレームを抽出対象として垂直抽出法のみを用いるモードである。
Ｍ６モード  ：部分フレームを抽出対象として水平抽出法のみを用いるモードである。
Ｍ７モード  ：部分フレームを抽出対象として垂直抽出法およびフレーム混在法を併用するモードである。
Ｍ８モード  ：部分フレームを抽出対象として水平抽出法およびフレーム混在法を併用するモードである。
【００９３】
次に、第１１図および第１２図を参照して、動画像サーバ５の主としてインデックス生成部８７の動作を説明する。ここで、第１１図はインデックス生成部８７の全体動作を表し、第１２図はインデックス生成部８７における処理例として、Ｍ７モードでの処理を表すものである。
【００９４】
まず、第１１図を参照して、インデックス生成部８７の全体動作を説明する。
【００９５】
インデックス生成部８７は、例えば図３のキーボード５３等からの入力を監視し、インデックス生成コマンドが入力されると（ステップＳ１０１）、その入力されたコマンドから、動画像ファイル名、インデックス生成モード、抽出フレーム数、抽出ライン数ｎ、等を取り込む（ステップＳ１０２）。ここで、インデックス生成モードは、上記したＭ１〜Ｍ８のいずれかである。抽出フレーム数とは、１枚のＶＤインデックス画像の生成に使用するフレームの数である。抽出ライン数とは、各フレームから移動スリット窓によって切り出されるスリット画像情報ＳＬｊ（第６Ｃ図等）の垂直または水平方向の画素ライン数である。なお、以下の説明では、必要に応じて、スリット画像情報のことを、単に、ラインとも表記するものとする。
【００９６】
次に、インデックス生成部８７は、入力されたインデックス生成モードをチェックする。この結果、全体抽出モード、すなわち、部分抽出法を用いないモードであり（ステップＳ１０４；Ｙ）、かつフレーム混在法を用いないモードであった場合（ステップＳ１０５；Ｎ）には、インデックス生成部８７は、Ｍ１モードまたはＭ２モードのいずれかによってインデックス生成処理を実行する（ステップＳ１０６，Ｓ１０７）。具体的には、垂直抽出法による場合はＭ１モード、水平抽出法による場合にはＭ２モードでインデックス生成処理を行う。
【００９７】
また、全体抽出モードであり（ステップＳ１０４；Ｙ）、かつフレーム混在法を用いるモードであった場合には（ステップＳ１０５；Ｙ）、インデックス生成部８７は、さらに、挿入用フレーム（第９Ｃ図におけるフレームＦα１等）のサンプリング点を取り込む（ステップＳ１０８）。そして、インデックス生成部８７は、入力された抽出フレーム数、抽出ライン数ｎおよび挿入用フレームのサンプリング点のデータを基に、Ｍ３モードまたはＭ４モードのいずれかによってインデックス生成処理を実行する（ステップＳ１０９，Ｓ１１０）。具体的には、垂直抽出法による場合はＭ３モード、水平抽出法による場合にはＭ４モードでインデックス生成処理を行う。
【００９８】
一方、設定された生成モードが部分抽出法を用いるモードであった場合には（ステップＳ１０４；Ｎ）、インデックス生成部８７は、さらに、抽出対象領域（すなわち、第８Ｃ図に示した部分フレームＦｊ′のサイズおよびフレーム内位置）を指定するデータを取り込む（ステップＳ１１１）。次に、インデックス生成部８７は、設定された生成モードがフレーム混在法を用いるモードであるか否かをチェックする。この結果、フレーム混在法を用いるものでなかった場合には（ステップＳ１１２；Ｎ）、インデックス生成部８７は、入力された抽出フレーム数、抽出ライン数ｎおよび抽出対象領域のデータを基に、Ｍ５モードまたはＭ６モードのいずれかによってインデックス生成処理を実行する（ステップＳ１１３，Ｓ１１４）。具体的には、垂直抽出法による場合はＭ５モード、水平抽出法による場合にはＭ６モードでインデックス生成処理を行う。
【００９９】
また、フレーム混在法を用いるものであった場合には（ステップＳ１１２；Ｙ）、インデックス生成部８７は、さらに、挿入用フレームのサンプリング点を取り込む（ステップＳ１１５）。そして、インデックス生成部８７は、入力された抽出フレーム数、抽出ライン数ｎ、抽出対象領域および挿入用フレームのサンプリング点の各データを基に、Ｍ７モードまたはＭ８モードのいずれかによってインデックス生成処理を実行する（ステップＳ１１６，Ｓ１１７）。具体的には、垂直抽出法による場合はＭ７モード、水平抽出法による場合にはＭ８モードでインデックス生成処理を行う。
【０１００】
以上のようにして、インデックス生成部８７では、要求された生成モードに従って、ＶＤインデックス画像の生成処理が行われることとなる。
【０１０１】
次に、第１２図を参照して、インデックス生成部８７における実際の処理例として、Ｍ７モードでインデックス生成を行う場合の処理について説明する。なお、Ｍ７モードは、上記したように、部分フレームを抽出対象として垂直抽出法およびフレーム混在法を併用するモードである。
【０１０２】
インデックス生成部８７はまず、移動スリット窓を初期位置にセットしたのち、動画像ファイルからフレームを抽出し、ＭＰＥＧ処理部６４によって伸長処理を施す（ステップＳ２０１）。
【０１０３】
次に、インデックス生成部８７は、１つのフレームからライン抽出対象領域（第８Ｃ図における部分フレームＦｊ′）を抽出し（ステップＳ２０２）、その部分フレームＦｊから、移動スリット窓によって、指定数（ｎ本）の垂直ラインを抽出する（ステップＳ２０３）。次に、インデックス生成部８７は、移動スリット窓をｎ本分移動させる（ステップＳ２０４）。
【０１０４】
インデックス生成部８７は、それまでに抽出したラインの総数を監視し、この抽出ライン総数が、既定数（すなわち、１枚のＶＤインデックス画像を形成するのに用いられるラインの数）に達しない場合には（ステップＳ２０４；Ｎ）、再びステップＳ２０１に戻り、ステップＳ２０１〜Ｓ２０３の処理を行う。
【０１０５】
一方、総抽出ライン数が既定数に達すると（ステップＳ２０４；Ｙ）、インデックス生成部８７は、抽出したラインをつなぎ合わせて、１つの静止画像を生成し（ステップＳ２０６）、さらに、生成した静止画像を圧縮して１枚のＶＤインデックス画像ＩＶｉ′（第８Ｅ図）を生成し、これに対して、連番を付与する（ステップＳ２０７）。
【０１０６】
次に、インデックス生成部８７は、生成されたＶＤインデックス画像ＩＶｉ′の左端部分のラインを提供した部分フレームＦｊ′を、挿入用フレームＦα１等（第９Ｃ図）として登録し、これに対して、ＶＤインデックス画像ＩＶｉ′に続く連番を付与する（ステップＳ２０８）。
【０１０７】
さらに、インデックス生成部８７は、生成されたＶＤインデックス画像ＩＶｉ′の中央部分のラインを提供した部分フレームＦｊ′を、インデックス代表静止画像ＳＰ′（第８Ｅ図）として登録し、これに対して、ＶＤインデックス画像ＩＶｉ′と同一連番を付与する（ステップＳ２０９）。
【０１０８】
インデックス生成部８７は、動画像ファイルのすべてのフレームの処理がまだ終了していない場合には（ステップＳ２１０；Ｎ）、ステップＳ２０１に戻って、ステップＳ２０１〜Ｓ２０９の処理を繰り返す。
【０１０９】
動画像ファイルのすべてのフレームの処理が終了した場合には（ステップＳ２１０；Ｙ）、最後に生成されたＶＤインデックス画像のサイズが他のＶＤインデックス画像のサイズと同じくなるように、余白部分を黒く塗りつぶす処理を行う。さらに、インデックス生成部８７は、生成されたＶＤインデックス画像ファイルＩＶｉ′の数と、インデックス生成に使用した生成パラメータ（すなわち、１つのＶＤインデックス画像の生成に用いたフレームの数、フレーム当たりの抽出ライン数ｎ、抽出ラインの方向、抽出対象領域（部分フレーム）のサイズおよびフレーム内位置、および挿入用フレームのサンプリング点等）を、インデックス関連情報として登録し（ステップＳ２１１）、インデックス生成処理を終了する。
【０１１０】
このようにして、第１２図に示したＭ７モードの例では、１つのタイトルの動画像につき、ＶＤインデックス画像の各間に挿入用フレームが挿入された形の１つのＶＤインデックス画像グループが形成される。この生成されたＶＤインデックス画像グループおよびインデックス関連情報は、ネットワーク２を介してウェブサーバ３に送られ、それぞれ、インデックス格納部７４およびインデックス関連情報格納部７６に格納される。このＶＤインデックス画像グループを構成する各ＶＤインデックス画像および挿入用フレームは、それぞれの生成過程で付与された連番を有しており、この連番によって管理されるので、フレーム混在法を用いずに生成されたＶＤインデックス画像グループと同等に取り扱われる。
【０１１１】
なお、第１２図では、Ｍ７モードの場合についての例を取り上げて説明したが、その他のモードについても、部分抽出法やフレーム混在法を適用するための処理ステップの有無によって異なる点を除けば、それぞれの基本部分の処理は第１２図の場合とほぼ同様であり、その説明は省略する。
【０１１２】
第１３Ａ図〜第１３Ｃ図および第１４Ａ図〜第１４Ｃ図は、同一の動画像に基づいて各種の生成モードで生成されたＶＤインデックス画像の実例を表すものである。第１３Ａ図〜第１３Ｃ図はいずれも、Ｍ１モード（フレーム全体から垂直ラインを抽出し、挿入用フレームを混在させないモード）で生成されたＶＤインデックス画像グループを示している。これらのうち、第１３Ａ図はフレーム当たりの抽出ライン数を１とした場合であり、第１３Ｂ図はフレーム当たりの抽出ライン数を２とした場合であり、また、第１３Ｃ図はフレーム当たりの抽出ライン数を４とした場合である。
【０１１３】
これらの図から判るように、抽出ライン数が少ないほど、生成されるＶＤインデックス画像の数は少なくなるが、その反面、縮約度が大きくなるので、元の動画像の内容を把握するのは容易でなくなる。逆に、抽出ライン数が多いほど、生成されるＶＤインデックス画像の数は多くなるが、その反面、縮約度が小さいので、元の動画像の内容を把握することが容易となる。
【０１１４】
また、第１４Ａ図は、Ｍ２モード（フレーム全体から水平ラインを抽出し、挿入用フレームを混在させないモード）でフレーム当たりの抽出ライン数を２とした場合に生成されたＶＤインデックス画像グループを示し、第１４Ｂ図は、Ｍ５モード（部分フレームから垂直ラインを抽出し、挿入用フレームを混在させないモード）でフレーム当たりの抽出ライン数を２とした場合に生成されたＶＤインデックス画像グループを示している。この場合の部分フレームのサイズは元のフレームの７０％であり、部分フレームの抽出位置は元のフレームの中央部である。また、第１４Ｃ図は、Ｍ３モード（フレーム全体から垂直ラインを抽出し、挿入用フレームを混在させたモード）でフレーム当たりの抽出ライン数を２とした場合に生成されたＶＤインデックス画像グループを示している。この場合の挿入用フレームは、元の動画像のフレームから一定時間（この図の例では、５秒）ごとに抽出したものである。
【０１１５】
第１４Ａ図と第１３Ｂ図との比較から判るように、両者の生成条件はライン抽出方向（垂直または水平）を除いて等しいが、前者のＶＤインデックス画像の数は、後者よりも多くなっている。これは、フレーム内の垂直ラインの数と水平ラインの数とが異なるからである。また、第１４Ａ図と第１３Ｂ図とでは、ラインの抽出方向が異なるので、各ＶＤインデックス画像の内容は両者間で相当異なる様相を呈している。上記したように、例えば、素材としての動画像が水平方向にパンニングしながら撮影したものである場合には、第１３Ｂ図のように垂直ライン抽出によるのが好適であり、垂直方向にパンニングしながら撮影したものである場合には、第１４Ａ図のように水平ライン抽出によるのが好適である。
【０１１６】
また、第１４Ｂ図と第１３Ｂ図との比較から判るように、両者の生成条件はライン抽出対象領域を除いて等しいが、前者の各ＶＤインデックス画像のサイズは、後者よりも小さくなっている。これは、前者は部分フレームからラインを抽出しているのに対し、後者は元のフレーム全体からラインを抽出しているからである。ここで、第１４Ｂ図のように部分抽出とした場合には、上記したように、ＶＤインデックス画像のサイズが小さくデータ量が少なくなるので、これを保持するための記憶領域（具体的には、ウェブサーバ３のインデックス格納部７４等）のサイズが小さくてよい。
【０１１７】
また、第１４Ｃ図と第１３Ｂ図との比較から判るように、両者の生成条件はフレーム混在か否かの点を除いて等しいが、後者のＶＤインデックス画像グループに含まれる要素の数は、前者よりも多くなっている。これは、後者は、生成されたＶＤインデックス画像のほかに、挿入用フレームをも含んでいるからである。但し、上記したように、後者の場合には、元のフレームをそのまま含んでいるので、元の動画像の内容の把握がより容易となる。
【０１１８】
次に、第１５図および第１６図を参照して、以上のような構成の動画像検索配信システムの全体動作を説明する。なお、第１５図および第１６図は、ウェブサーバ３、端末装置４、動画像サーバ５およびデータベースサーバ６における一連の動作をそれぞれに区分して表すものである。ここでは、端末装置からの検索要求に応じて、ウェブサーバ３およびデータベースサーバ６によって、該当する動画像についてのＶＤインデックス画像を検索し、これを端末装置４のブラウザ画面に表示すると共に、表示されたＶＤインデックス画像のうちの選択されたものに対応するインデックス代表静止画像を表示し、さらに、選択されたＶＤインデックス画像に対応する動画像を再生表示するという一連の動作を説明する。なお、ここでは、既に、動画像サーバ５の動画像格納部８５に格納された動画像についてのＶＤインデックス画像およびインデックス代表静止画像が、それぞれ、ウェブサーバ３のインデックス格納部７４および静止画像格納部７９に格納されているものとする。
【０１１９】
端末装置４において、インターネットブラウザ部８１を起動すると（第１５図のＳ１）、インターネットブラウザ部８１は、ネットワーク２を介して、ウェブサーバ３にアクセスする（Ｓ２）。ウェブサーバ３のインターネットサーバ部７１は、端末装置４からのアクセスを受けると、ＧＵＩデータ格納部７８から動画検索用ホームページを記述したＧＵＩデータを読み出して、端末装置４に配信する（Ｓ３）。
【０１２０】
端末装置４のインターネットブラウザ部８１は、ウェブサーバ３から送られてきたＧＵＩデータを基に、ディスプレイ装置３２（第２図）のブラウザ画面に動画検索用ホームページの初期画面（図示せず）を表示する（Ｓ４）。
【０１２１】
ここで、動画像検索キーワード（以下、単に、キーワードという。）を入力すると（Ｓ５）、インターネットブラウザ部８１は、入力されたキーワードを、動画像検索要求と共にウェブサーバに送信する（Ｓ６）。
【０１２２】
ウェブサーバ３のインターネットサーバ部７１は、端末装置４から動画像検索要求およびキーワードを受けると、データベース検索部７２を起動する。データベース検索部７２は、インターネットサーバ部７１およびネットワーク２を介して、キーワードと共に動画像情報検索命令コードをデータベースサーバ６に送信する（Ｓ７）。
【０１２３】
データベースサーバ６の検索処理部９２は、受け取ったキーワードに基づいてデータベース９１を検索し、検索結果をウェブサーバ３に送信する（Ｓ８）。データベースサーバ６から検索結果を受け取ったウェブサーバ３は、インデックス検索部７３を起動する。インデックス検索部７３は、データベースサーバ６からの検索結果を基に、インデックス格納部７４を検索して、該当するＶＤインデックスファイルを抽出し（Ｓ９）、これをＧＵＩデータ生成部７７に渡す。
【０１２４】
ＧＵＩデータ生成部７７は、データベースサーバからの検索結果およびインデックス格納部の検索結果を基に、ＧＵＩデータを生成する（Ｓ１０）。このＧＵＩデータには、動画像のタイトル名、動画像ファイル名および動画像サーバ５における動画像ファイルの格納場所、ＶＤインデックス画像等が含まれる。
【０１２５】
なお、ＧＵＩデータの作成の際には、インデックス関連情報格納部７６に格納されている、ＶＤインデックス画像の表示形式、表示個数および配列等を含むインデックス関連情報が参照され、これにより、動画像の長さや端末装置４のディスプレイ装置３２のブラウザ画面サイズ等に応じた最適な画面レイアウトを実現し得る内容のＧＵＩデータが作成される。ここで、インデックス関連情報は、端末装置４からのアクセス要求と共に送られてきた、端末装置４のディスプレイ装置３２のブラウザ画面サイズを示すデータや、検索された動画像の長さを示すデータ等に基づいて、インデックス関連処理部７５によって生成され、インデックス関連情報格納部７６に格納されたものである。
【０１２６】
次に、ＧＵＩデータ生成部７７は、生成したＧＵＩデータをＧＵＩデータ格納部７８に格納すると共に、検索結果として端末装置４に送信する（Ｓ１１）。
【０１２７】
端末装置４のインターネットブラウザ部８１は、ウェブサーバ３から送られてきたＧＵＩデータを受信し、このデータに基づいて、第４図に示したように、検索結果表示画面のインデックス表示領域１０２に、検索結果の内容として、キーワードおよび該当する動画像の数１０６、ならびに動画像のタイトル名およびＶＤインデックス画像グループ１０７，１０８を表示する（Ｓ１２）。
【０１２８】
ここで、端末装置４のインターネットブラウザ部８１は、マウスポインタ１０９の位置およびクリックの有無を監視し、マウスポインタ１０９（第４図）がいずれかのＶＤインデックス画像の上に置かれており、かつ、クリックがされていないと判断した場合には、ＶＤインデックス画像を特定するための情報（以下、インデックス特定情報という。）を取得する（第１６図のＳ１３）。インデックス特定情報は、例えば、ＶＤインデックスファイル名およびＶＤインデックス画像に付された連続番号等を含む。そして、インターネットブラウザ部８１は、この取得したインデックス特定情報と共に、インデックス代表静止画像の送信を求める要求を、ウェブサーバ３に送信する（Ｓ１４）。
【０１２９】
ウェブサーバ３のインターネットサーバ部７１は、端末装置４から要求のあったインデックス代表静止画像を静止画像格納部７９から取得し、端末装置４に送信する（Ｓ１５）。
【０１３０】
端末装置４のインターネットブラウザ部８１は、ウェブサーバ３から送られてきたインデックス代表静止画像を受信し、ブラウザ画面の静止画像表示領域１０３（第４図）に表示する（Ｓ１６）。
【０１３１】
さらに、端末装置４のインターネットブラウザ部８１は、マウスポインタの位置およびクリックの有無を監視し、マウスポインタ１０９（第４図）がいずれかのＶＤインデックス画像の上に置かれている状態でクリックされたと判断した場合には、そのＶＤインデックス画像についてのインデックス特定情報を取得する（Ｓ１７）。そして、インターネットブラウザ部８１は、取得したインデックス特定情報と共に、動画像再生命令コードの送信を求める要求を、ウェブサーバ３に送信する（Ｓ１８）。
【０１３２】
ウェブサーバ３のインターネットサーバ部７１は、端末装置４から送られてきた動画像再生命令コードの送信要求およびインデックス特定情報を受信すると、このＶＤインデックス特定情報を基に、該当する動画像を特定して、動画像ファイル名、動画像ファイル格納位置および再生開始位置等を含む動画像再生命令コードを生成し、端末装置３に送信する（Ｓ１９）。
【０１３３】
端末装置４のインターネットブラウザ部８１は、ウェブサーバ３からの動画像再生命令コードを受信し、これを基に、動画像サーバ５に対して、動画像の配信を要求する（Ｓ２０）。
【０１３４】
動画像サーバ５の動画像配信部８６は、端末装置４から送られてきた動画像再生命令コードに基づいて、該当する動画像を動画像格納部８５から取り出し、これを端末装置４にリアルタイムで配信する（Ｓ２１）。このとき、動画像配信部８６は、動画像格納部８５内の動画像データを、動画像再生命令コードによって指定された再生開始位置から、圧縮状態のまま取り出して、配信する。
【０１３５】
端末装置４の動画像再生部８２は、動画像サーバ５から配信された動画像データに対して伸長処理等を行いながら、ブラウザ画面の動画像表示領域１０４（第４図）に動画像１０４ａを表示する（Ｓ２２）。このとき、動画像の再生開始位置は、例えば、選択されたＶＤインデックス画像の先頭部分に対応した位置とされる。
【０１３６】
この状態で、マウスポインタ１０９によって、操作部１０４ｃに対して、動画像１０４ａの再生、停止、一時停止、高速再生、リバース再生または高速リバース再生等の操作を行うと、インターネットブラウザ部８１は、各操作に対応した命令コードを動画像サーバ５に送信する。これらの命令コードを受けた動画像サーバ５の動画像配信部８６は、命令コードに応じた態様で動画像格納部８５の動画像を再生し、端末装置４に配信する。これらの動作はいずれも、ほぼリアルタイムで行われる。また、第４図の拡大表示アイコン１０４ｄをクリックすると、インターネットブラウザ部８１は、動画像１０４ａをブラウザ画面いっぱいに拡大表示する。
【０１３７】
以上のように、本実施の形態の動画像検索配信システムによれば、動画像の内容を縮約してＶＤインデックス画像を生成するに際し、複数の異なる手法によって生成処理を行うことができるようにしたので、素材の性質や用途等に応じて適切な態様のＶＤインデックス画像を生成することが可能となる。
【０１３８】
以上、実施の形態を挙げて本発明を説明したが、本発明はこの実施の形態に限定されず、種々の変形が可能である。
【０１３９】
例えば、上記実施の形態では、ラインの抽出方向を垂直または水平のいずれかとして説明したが、その他の方向（斜め方向）に抽出するようにしてもよい。また、ライン抽出には限定されず、時間的に移動する矩形またはその他の形状のブロック窓を用いて各フレームから画像データを抽出するブロック抽出を行うようにしてもよい。
【０１４０】
また、上記実施の形態では、第８Ａ図〜第８Ｃ図に示したように、部分フレームを元のフレームの中央部から抽出するようにしたが、本発明はこれに限定されず、他の部分、例えばフレームの左もしくは右半分、あるいは上もしくは下半分を部分フレームとして抽出するようにしてもよい。但し、一般に、フレームの中央部分に重要な画像が含まれていることが多いので、中央部分から部分フレームを抽出するのが好適である。
【０１４１】
また、上記の実施の形態では、第９Ａ図〜第９Ｃ図に示したように、生成されたＶＤインデックス画像の各間のすべてに挿入用フレームを挿入配置するようにしたが、本発明はこれに限定されず、例えば他の態様で挿入するようにしてもよい。例えば、ＶＤインデックス画像の各間のすべてではなく、間欠的に（飛び飛びに）挿入用フレームを挿入配置することも可能である。また、挿入用フレームのサンプリングは、動画像における任意にタイミングで行うようにしてよい。
【０１４２】
なお、上記実施の形態では、インデックス生成部８７を動画像サーバ５内に配置するようにしたが、ウェブサーバ３内に配置してもよい。あるいは、インデックス生成部８７のみを独立したサーバとして構成し、ネットワーク２に接続するようにしてもよい。
【０１４３】
また、上記実施の形態では、ウェブサーバ３、端末装置４、動画像サーバ５およびデータベースサーバ６を分散配置し、各間をネットワーク２によって相互に接続するようにした動画像検索配信システムについて説明したが、これらの要素をすべて同一の装置に内蔵させて、スタンドアローンタイプの動画像検索装置として構成することも可能である。
【符号の説明】
【０１４４】
３…ウェブサーバ、４…端末装置、５…動画像サーバ、６…データベースサーバ、７１…インターネットサーバ部、７２…データベース検索部、７３…インデックス検索部、７４…インデックス格納部、７５…インデックス関連処理部、７６…インデックス関連情報格納部、７７…ＧＵＩデータ生成部、７８…ＧＵＩデータ格納部、７９…静止画像格納部、８１…インターネットブラウザ部、８２…動画像再生部、８５…動画像格納部、８６…動画像配信部、８７…インデックス生成部。
【図１】
2009151798.tif 000003
【図２】
2009151798.tif 000004
【図３】
2009151798.tif 000005
【図４】
2009151798.tif 000006
【図５】
2009151798.tif 000007
【図６】
2009151798.tif 000008
【図７】
2009151798.tif 000009
【図８】
2009151798.tif 000010
【図９】
2009151798.tif 000011
【図１０】
2009151798.tif 000012
【図１１】
2009151798.tif 000013
【図１２】
2009151798.tif 000014
【図１３】
2009151798.tif 000015
【図１４】
2009151798.tif 000016
【図１５】
2009151798.tif 000017
【図１６】
2009151798.tif 000018
【手続補正書】
【提出日】平成21年2月12日(2009.2.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動画像を構成するように時系列的に並べられた複数の静止画像の一部分ずつを組み合わせて、動画像の内容を縮約した形で表す静止画像としての索引画像を生成する索引画像生成手段と、
索引画像の生成態様を指示する生成コマンドの入力を監視し、複数の異なる生成態様の中から、どの態様で索引画像を生成するかを識別する識別手段と、
前記識別手段によって識別された態様に応じて前記複数の静止画像の各々から一部分を抽出し、その抽出された部分を基に索引画像を生成するよう前記索引画像生成手段を制御する制御手段と
を備えた画像処理装置。
【請求項２】
前記識別手段が識別する生成態様には、前記複数の静止画像の各々における全体または限定された領域から一部分ずつを抽出する態様が含まれる請求項１記載の画像処理装置。
【請求項３】
前記限定された領域は、前記複数の静止画像の各々における中央領域である請求項２記載の画像処理装置。
【請求項４】
前記識別手段が識別する生成態様には、前記複数の静止画像からいずれかの静止画像を抽出し、この抽出した静止画像の全体または限定された領域をそのままの状態で前記索引画像としてフレーム混在させる態様が含まれる
請求項２記載の画像処理装置。
【請求項５】
前記識別手段が識別する生成態様には、前記複数の静止画像の各々から垂直方向または水平方向に画像を抽出する態様が含まれる
請求項２記載の画像処理装置。
【請求項６】
前記制御手段は、前記識別手段が識別した生成態様が、前記複数の静止画像の限定された領域から前記索引画像を生成する態様であった場合には、前記複数の静止画像の各々における限定された領域から一部分ずつを抽出し、その抽出された部分を基に索引画像を生成するよう前記索引画像生成手段を制御する
請求項２記載の画像処理装置。
【請求項７】
前記制御手段は、前記識別手段が識別した生成態様が前記フレーム混在させる態様であった場合には、前記複数の静止画像からいずれかの静止画像を抽出し、この抽出した静止画像の全体または限定された領域をそのままの状態で索引画像として混在させて索引画像を生成するよう前記索引画像生成手段を制御する
請求項４記載の画像処理装置。
【請求項８】
前記制御手段は、前記識別手段が識別した生成態様が、前記複数の静止画像の各々から垂直方向に画像を抽出する態様であった場合には、前記複数の静止画像の各々から垂直方向に細長い部分画像を抽出し、その抽出された部分画像を基に索引画像を生成するよう前記索引画像生成手段を制御する
請求項５記載の画像処理装置。
【請求項９】
前記制御手段は、前記識別手段が識別した生成態様が、前記複数の静止画像の各々から水平方向に画像を抽出する態様であった場合には、前記複数の静止画像の各々から水平方向に細長い部分画像を抽出し、その抽出された部分画像を基に索引画像を生成するよう前記索引画像生成手段を制御する
請求項５記載の画像処理装置。
【請求項１０】
索引画像生成手段、識別手段および制御手段を備えた画像生成装置の各手段が実行する手順として、
動画像を構成するように時系列的に並べられた複数の静止画像の一部分ずつを組み合わせて、動画像の内容を縮約した形で表す静止画像としての索引画像を、前記索引画像生成手段が生成するステップと、
索引画像の生成態様を指示する生成コマンドの入力を監視し、複数の異なる生成態様の中から、どの態様で索引画像を生成するかを、前記識別手段が識別するステップと、
前記識別手段によって識別された態様に応じて前記複数の静止画像の各々から一部分を抽出し、その抽出された部分を基に索引画像を生成するよう、前記制御手段が前記索引画像生成手段を制御するステップと
を含む画像処理方法。
【請求項１１】
前記識別手段が識別する生成態様には、前記複数の静止画像の各々における全体または限定された領域から一部分ずつを抽出する態様が含まれる請求項１０記載の画像処理方法。
【請求項１２】
前記限定された領域は、前記複数の静止画像の各々における中央領域である請求項１１記載の画像処理方法。
【請求項１３】
前記識別手段が識別する生成態様には、前記複数の静止画像からいずれかの静止画像を抽出し、この抽出した静止画像の全体または限定された領域をそのままの状態で前記索引画像としてフレーム混在させる態様が含まれる
請求項１１記載の画像処理方法。
【請求項１４】
前記識別手段が識別する生成態様には、前記複数の静止画像の各々から垂直方向または水平方向に画像を抽出する態様が含まれる
請求項１１記載の画像処理方法。
【請求項１５】
前記制御手段は、前記識別手段が識別した生成態様が、前記複数の静止画像の限定された領域から前記索引画像を生成する態様であった場合には、前記複数の静止画像の各々における限定された領域から一部分ずつを抽出し、その抽出された部分を基に索引画像を生成するよう前記索引画像生成手段を制御する
請求項１１記載の画像処理方法。
【請求項１６】
前記制御手段は、前記識別手段が識別した生成態様が前記フレーム混在させる態様であった場合には、前記複数の静止画像からいずれかの静止画像を抽出し、この抽出した静止画像の全体または限定された領域をそのままの状態で索引画像として混在させて索引画像を生成するよう前記索引画像生成手段を制御する
請求項１３記載の画像処理方法。
【請求項１７】
前記制御手段は、前記識別手段が識別した生成態様が、前記複数の静止画像の各々から垂直方向に画像を抽出する態様であった場合には、前記複数の静止画像の各々から垂直方向に細長い部分画像を抽出し、その抽出された部分画像を基に索引画像を生成するよう前記索引画像生成手段を制御する
請求項１４記載の画像処理方法。
【請求項１８】
前記制御手段は、前記識別手段が識別した生成態様が、前記複数の静止画像の各々から水平方向に画像を抽出する態様であった場合には、前記複数の静止画像の各々から水平方向に細長い部分画像を抽出し、その抽出された部分画像を基に索引画像を生成するよう前記索引画像生成手段を制御する
請求項１４記載の画像処理方法。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、動画像の概要を縮約して静止画像としての索引画像を生成することが可能な画像生成装置に係わり、例えば複数種類の動画像の中から所望の動画像を検索するシステムに適用される画像処理装置および方法に関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明はかかる問題点に鑑みてなされたもので、その目的は、動画像の内容を縮約した形の静止画像である索引画像を多種多様な方法で生成することができる画像処理装置および方法を提供することにある。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明による画像処理装置は、動画像を構成するように時系列的に並べられた複数の静止画像の一部分ずつを組み合わせて、動画像の内容を縮約した形で表す静止画像としての索引画像を生成する索引画像生成手段と、索引画像の生成態様を指示する生成コマンドの入力を監視し、複数の異なる生成態様の中から、どの態様で索引画像を生成するかを識別する識別手段と、識別手段によって識別された態様に応じて複数の静止画像の各々から一部分を抽出し、その抽出された部分を基に索引画像を生成するよう索引画像生成手段を制御する制御手段とを備えたものである。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明による画像処理装置において、識別手段が識別する生成態様には、複数の静止画像の各々から垂直方向に細長い部分画像を、指定された任意の画素ライン数で抽出する態様が含まれていても良い。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
また、本発明による画像処理装置において、識別手段が識別する生成態様には、複数の静止画像の各々から水平方向に細長い部分画像を、指定された任意の画素ライン数で抽出する態様が含まれていても良い。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
また、本発明による画像処理装置において、識別手段が識別する生成態様には、複数の静止画像の各々における限定された領域から一部分ずつを抽出する態様が含まれるようにすることが可能である。この場合には、限定された領域が、複数の静止画像の各々における中央領域であるようにするのが好適である。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
また、本発明による画像処理装置において、識別手段が識別する生成態様には、複数の静止画像からいずれかの静止画像を抽出し、この抽出した静止画像をそのままの状態で索引画像として利用してフレーム混在させる態様が含まれていても良い。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
本発明による画像処理方法は、索引画像生成手段、識別手段および制御手段を備えた画像生成装置の各手段が実行する手順として、動画像を構成するように時系列的に並べられた複数の静止画像の一部分ずつを組み合わせて、動画像の内容を縮約した形で表す静止画像としての索引画像を、索引画像生成手段が生成するステップと、索引画像の生成態様を指示する生成コマンドの入力を監視し、複数の異なる生成態様の中から、どの態様で索引画像を生成するかを、識別手段が識別するステップと、識別手段によって識別された態様に応じて複数の静止画像の各々から一部分を抽出し、その抽出された部分を基に索引画像を生成するよう、制御手段が索引画像生成手段を制御するステップとを含むようにしたものである。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
本発明による画像処理方法において、識別手段が識別する生成態様には、複数の静止画像の各々から垂直方向に細長い部分画像を、指定された任意の画素ライン数で抽出する態様が含まれていても良い。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
また、本発明による画像処理方法において、識別手段が識別する生成態様には、複数の静止画像の各々から水平方向に細長い部分画像を、指定された任意の画素ライン数で抽出する態様が含まれていても良い。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
また、本発明による画像処理方法において、識別手段が識別する生成態様には、複数の静止画像の各々における限定された領域から一部分ずつを抽出する態様が含まれるようにすることが可能である。ここで、上記の限定された領域は、複数の静止画像の各々における中央領域であるようにするのが好適である。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
また、本発明による画像処理方法において、識別手段が識別する生成態様には、複数の静止画像からいずれかの静止画像を抽出し、この抽出した静止画像をそのままの状態で索引画像として利用してフレーム混在させる態様が含まれていても良い。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
本発明による画像処理装置では、索引画像生成手段によって、動画像を構成するように時系列的に並べられた複数の静止画像の一部分ずつが組み合わされて、動画像の内容を縮約した形で表す静止画像としての索引画像が生成される。このような索引画像の生成処理は、複数の異なる態様で行われる。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
本発明による画像処理方法では、複数の静止画像の各々から一部分を抽出するための複数の態様の中から、いずれかの態様が選択され、この選択された態様に従って、複数の静止画像の各々から一部分を抽出し、抽出された部分を組み合わせて索引画像が生成される。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
以上説明したように、本発明の画像処理装置または方法によれば、複数の静止画像の各々から一部分を抽出し、抽出された部分を基に、各態様に応じた索引画像を生成するという処理を、複数の異なる態様で行えるようにしたので、例えば、その生成の態様を適宜に変えることで、動画像素材の性質や用途等に応じた適切な態様の索引画像を得ることができるという効果を奏する。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
特に、識別手段が識別する生成態様に、複数の静止画像の各々における限定された領域から一部分ずつを抽出するという態様が含まれるようにした場合には、この態様を利用することにより、コンパクトで簡易な索引画像を得ることができるという効果を奏する。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
また、識別手段が識別する生成態様に、複数の静止画像からいずれかの静止画像を抽出し、この抽出した静止画像をそのままの状態で索引画像として利用してフレーム混在させる態様が含まれるようにした場合には、索引画像だけでは元の動画像の内容が分かりにくいような場合であっても、付加された静止画像を見ることによって動画像の内容把握が容易になるという効果を奏する。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
第２図は、本発明の一実施の形態に係る画像生成装置（画像処理装置）を適用して構成した動画像検索配信システムのハードウェア構成を、その構成要素であるウェブサーバ３および端末装置４の内部構成と共に表すものである。本実施の形態の動画像検索配信システムは、インターネット上の情報へのアクセスを可能とするシステムであるワールド・ワイド・ウェブ（ＷＷＷ）を用いて、動画像の検索および配信を可能としたシステムである。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
インデックス生成部８７は、動画像格納部８５に格納された動画像の内容を視覚的に縮約して静止画像としてのＶＤインデックス画像を生成し、これをＶＤインデックスファイルとして、ネットワーク２を介してウェブサーバ３に送信する機能を有する。インデックス生成部８７はまた、生成されたＶＤインデックス画像の数や、ＶＤインデックス画像の生成に使用された各種の生成パラメータ等を、インデックス関連情報としてウェブサーバ３に送信するという機能をも有している。ウェブサーバ３に送られたＶＤインデックスファイルおよびインデックス関連情報は、それぞれ、インデックス格納部７４およびインデックス関連情報格納部７６に格納されるようになっている。このインデックス生成部８７は、主として、図３におけるＣＰＵ６１およびＭＰＥＧ処理部６４によって実現される。なお、ＶＤインデックス画像の生成処理の詳細な内容は後述する。ここで、インデックス生成部８７が本発明における「索引画像生成手段」、「識別手段」、および「制御手段」に対応する。