(57)【要約】【課題】  動画マニュアルにおいて、動画中で移動する対象物に対応する領域を簡易に判別する技術を提供する。【解決手段】  動画マニュアルにおける動画中に登場する説明対象物に対応する領域の識別方法であって、動画の再生中に、動画を再生している画面上の点の指示を受け付けるステップと、前記指示を受け付けた時刻情報と、前記指示に対応する位置情報とを取得するステップと、あらかじめ作成された領域情報であって、前記説明対象物に対応する領域についてその形状と位置とを時刻に関連付けて記録した領域情報を参照して、前記指示を受け付けた時刻における前記説明対象物に対応する領域の形状と位置とを算出するステップと、前記算出した前記説明対象物に対応する領域の形状と位置と、および、前記取得した指示に対応する位置情報から前記説明対象物に対応する領域が指示されたかどうかを判別するステップとを含むことを特徴とする動画マニュアルにおける移動領域の識別方法。【選択図】  図２
2005173716.tif 000002
【特許請求の範囲】
【請求項１】
動画を再生する情報処理装置において、動画マニュアルにおける動画中に登場する説明対象物に対応する領域の識別方法であって、
動画の再生中に、動画を再生している画面上の点の指示を受け付けるステップと、
前記画面上の点の指示を受け付けた時刻情報と、前記画面上の点の指示に対応する位置情報とを取得するステップと、
あらかじめ作成された領域情報であって、前記説明対象物に対応する領域についてその形状と位置とを時刻に関連付けて記録した領域情報を参照して、前記前記画面上の点の指示を受け付けた時刻における前記説明対象物に対応する領域の形状と位置とを算出するステップと、
前記算出した前記説明対象物に対応する領域の形状と位置と、および、前記取得した指示に対応する位置情報から前記説明対象物に対応する領域が指示されたかどうかを判別するステップとを含むことを特徴とする動画マニュアルにおける移動領域の識別方法。
【請求項２】
請求項１に記載の動画マニュアルにおける移動領域の識別方法であって、
前記領域情報には、複数の説明対象物に対応する領域についてその形状と位置とが時刻に関連付けて記録されていることを特徴とする動画マニュアルにおける移動領域の識別方法。
【請求項３】
請求項１または２に記載の動画マニュアルにおける移動領域の識別方法であって、
前記説明対象物に対応する領域の形状と位置とを算出するステップでは、前記前記画面上の点の指示を受け付けた時刻、あるいは、前記前記画面上の点の指示を受け付けた時刻の前後の時刻に関連付けて記録されている領域情報を参照することを特徴とする動画マニュアルにおける移動領域の識別方法。
【請求項４】
動画を再生する情報処理装置において、
動画の再生中に、動画を再生している画面上の点の指示を受け付ける手段と、
前記画面上の点の指示を受け付けた時刻情報と、前記画面上の点の指示に対応する位置情報とを取得する手段と、
あらかじめ作成された領域情報であって、前記説明対象物に対応する領域についてその形状と位置とを時刻に関連付けて記録した領域情報を参照して、前記前記画面上の点の指示を受け付けた時刻における前記説明対象物に対応する領域の形状と位置とを算出する手段と、
前記算出した前記説明対象物に対応する領域の形状と位置と、および、前記取得した指示に対応する位置情報から前記説明対象物に対応する領域が指示されたかどうかを判別する手段とを備えることを特徴とする情報処理装置。
【請求項５】
動画を再生する情報処理装置に以下の手段を機能させる情報処理装置で実行可能なプログラム：
動画の再生中に、動画を再生している画面上の点の指示を受け付ける手段と、
前記画面上の点の指示を受け付けた時刻情報と、前記画面上の点の指示に対応する位置情報とを取得する手段；
あらかじめ作成された領域情報であって、前記説明対象物に対応する領域についてその形状と位置とを時刻に関連付けて記録した領域情報を参照して、前記前記画面上の点の指示を受け付けた時刻における前記説明対象物に対応する領域の形状と位置とを算出する手段；
前記算出した前記説明対象物に対応する領域の形状と位置と、および、前記取得した指示に対応する位置情報から前記説明対象物に対応する領域が指示されたかどうかを判別する手段。
【請求項６】
動画を再生する情報処理装置において、動画マニュアルにおける動画中に登場する説明対象物に対応する領域を識別して、識別した領域に関する処理を制御する方法であって、
動画の再生中に、動画を再生している画面上の点の指示を受け付けるステップと、
前記画面上の点の指示を受け付けた時刻情報と、前記画面上の点の指示に対応する位置情報とを取得するステップと、
あらかじめ作成された領域情報であって、前記説明対象物に対応する領域についてその形状と位置とを時刻に関連付けて記録した領域情報を参照して、前記前記画面上の点の指示を受け付けた時刻における前記説明対象物に対応する領域の形状と位置とを算出するステップと、
前記算出した前記説明対象物に対応する領域の形状と位置と、および、前記取得した指示に対応する位置情報から前記説明対象物に対応する領域が指示されたかどうかを判別するステップと、
指示されたと判別された領域について、その領域にあらかじめ関連付けられていた処理動作を行なうステップとを含むことを特徴とする動画マニュアルにおける移動領域の制御方法。
【請求項７】
請求項６に記載の動画マニュアルにおける移動領域の制御方法において、
前記処理動作は、別の動画の再生、音声の再生、テキストの表示のいずれかが含まれることを特徴とする動画マニュアルにおける移動領域の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画を含む電子マニュアルにおいて、動画中の領域を判別する技術に関する。
【背景技術】
【０００２】
製品一般、特に、パーソナルコンピュータ、プリンタ等をはじめとした電子機器には、購入者にその使用方法等を知らしめるためにマニュアルが添付されている。
【０００３】
従来、マニュアルは冊子等の紙を媒体とした形態で頒布されていたが、近年では、電子情報化されてＣＤ−ＲＯＭ等を媒体として頒布されることも多くなっている。そして、このＣＤ−ＲＯＭ等をパーソナルコンピュータ等の再生装置で再生することによりマニュアルを閲覧できるようになっている。
【０００４】
電子情報化されたマニュアルは、従来の紙ベースのマニュアルと同様に、主としてテキストデータと写真、イラスト等の静止画像データとから構成されているが、所定のテキスト中の語句あるいは画像中の説明対象等をクリックすると、その語句、画像中の対象物等に関する説明が表示されたり、関連する他のページに移動等するようになっていて、マニュアルの使用勝手が高められている。
【０００５】
このため、電子マニュアルを作成する際には、あらかじめ画像中にオブジェクトを設定して動作等を関連付けておくようにする。特に静止画像中の対象物をオブジェクトとして設定する場合には、その対象物の輪郭に囲まれた領域をオブジェクトとして定義して他の領域と区別できるようにする。
【０００６】
近年では、静止画像に加え、動画を含んだ電子マニュアル（以下、「動画マニュアル」と称す）が実用化され、操作手順、説明対象物等を動画で示すことにより、マニュアルの内容が一層わかりやすくなっている。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
動画マニュアルにおいても、動画中の対象物をクリックするとその説明が表示されたり、関連する他のページに移動することができれば便利である。このためには、静止画と同様に動画中の対象物の輪郭に囲まれた領域をオブジェクトとして定義する必要がある。
【０００８】
ところが、動画では再生中に対象物が移動することが多いが、移動中の対象物がクリックされたことを認識するためには、対象物が移動する各時刻、各画面において対象物の輪郭に囲まれた領域をオブジェクトとして定義しておかなければならない。このため、動画マニュアルのデータ量が増えたり、動画マニュアルの作成の労力が増大する等の問題が生じている。
【０００９】
本発明は、動画マニュアルにおいて、動画中で移動する対象物に対応する領域を簡易に判別する技術を提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、本発明によれば、
動画を再生する情報処理装置において、動画マニュアルにおける動画中に登場する説明対象物に対応する領域の識別方法であって、
動画の再生中に、動画を再生している画面上の点の指示を受け付けるステップと、
前記画面上の点の指示を受け付けた時刻情報と、前記画面上の点の指示に対応する位置情報とを取得するステップと、
あらかじめ作成された領域情報であって、前記説明対象物に対応する領域についてその形状と位置とを時刻に関連付けて記録した領域情報を参照して、前記前記画面上の点の指示を受け付けた時刻における前記説明対象物に対応する領域の形状と位置とを算出するステップと、
前記算出した前記説明対象物に対応する領域の形状と位置と、および、前記取得した指示に対応する位置情報から前記説明対象物に対応する領域が指示されたかどうかを判別するステップとを含むことを特徴とする動画マニュアルにおける移動領域の識別方法が提供される。
【発明を実施するための最良の形態】
【００１１】
本発明の実施の形態について図面を参照して説明する。
【００１２】
図１は、本発明の実施に適した動画マニュアル閲覧システムのハードウェア構成の一例を示すブロック図である。
【００１３】
本図に示すように動画マニュアル閲覧システムは、情報処理装置１０、モニタ装置等の表示装置１１、キーボード、マウス等の入力装置１２、ハードディスク装置等の記憶装置１３を備えて構成される。情報処理装置１０は、パーソナルコンピュータ、ワークステーションその他の汎用的なコンピュータを用いることができる。ただし、動画マニュアル閲覧システムのハードウェア構成はこれに限られない。
【００１４】
記憶装置１３には、動画マニュアル２０の動画部分を構成する動画データ２００、領域情報２２０、動作定義情報２４０、動作データ２６０が格納されている。なお、図示していないが、記憶装置１３には、動画マニュアル２０の動画部分以外を構成するデータ、例えば、テキストデータ、静止画データ等が記録されている。これらのデータにより動画マニュアル２０が構成される。
【００１５】
動画データ２００は、動画マニュアル閲覧時等に動画として再生されるデータである。動画データ２００の記録フォーマットは問わない。
【００１６】
領域情報２２０は、動画データ２００に付随するデータであり、動画に登場する説明対象物の領域、すなわち輪郭を定義する情報が離散的な時刻に関連付けられて記録されている。
【００１７】
図３は、領域情報２２０の例を示す図である。ここでは、動画に登場する２つの説明対象物についての領域情報を例に説明する。
【００１８】
本図に示すように、領域情報は領域ＩＤにより識別され、本図の例では、領域ＩＤ：Ｒ００１で示される領域と領域ＩＤ：Ｒ００２で示される領域が定義されている。
【００１９】
それぞれの領域は、領域を示す情報が時刻に関連付けられている。すなわち、領域を示す情報は、ある時刻における領域の形状と位置とを定義している。ここで、領域を示す情報は種別情報とパラメータ情報とで示される。種別情報は、対象物の形状の種別を示すものであり、例えば、円、正方形、矩形、多角形等とすることができる。また、パラメータ情報は、その種別の具体的な形、大きさ、位置を表すもので、それぞれの個数・意味は、形状の種別に応じるものとする。例えば、領域の形状の種別が円の場合には、中心座標と半径とを表し、形状の種別が多角形の場合には、頂点の数とそれぞれの頂点座標とを表している。ただし、領域を示す情報の形式はこれに限られない。なお、時刻は動画データ２００の再生が開始してからの経過時刻を示している。
【００２０】
本図の例では、領域ＩＤ：Ｒ００１で示される領域は、時刻ｔ１において、多角形（Polygon）であり、パラメータｎ１，ｖａ，ｖ２，ｖ３，ｖ４…で示される形状と位置であるという具合である。この情報により、領域ＩＤ：Ｒ００１は、例えば、図４に示されるような連続的な変化をしていることが示される。ここで、時刻ｔ１と時刻ｔ５との間の領域ＩＤ：Ｒ００１の形状と位置、ｔ５とｔ８との間における領域ＩＤ：Ｒ００１の形状および位置は、領域情報としては記録されていない。
【００２１】
なお、図３において、領域ＩＤ：Ｒ００２で示される領域の時刻ｔ９における領域を示す情報が記録されていないが、これは、領域ＩＤ：Ｒ００２で示される領域が、時刻ｔ９において、動画の場面から消えることを示している。
【００２２】
また、各領域情報が記録している時刻は、共通である必要はない。説明対象物が移動する場合には、その対象物を示す領域について、移動開始時刻と移動終了時刻とにおける領域を示す情報が記録されていることが望ましい。
【００２３】
動作定義情報２４０には、動画データ２００の再生中に、領域情報で定義されている領域が動画マニュアルの閲覧者からマウスのクリック等により指示を受け付けた場合の動作が定義されている。
【００２４】
図５は、動作定義情報２４０の例を示す図である。本図に示すように動作定義情報２４０は、領域情報２２０で定義されている領域ＩＤに対応した動作が定義されている。例えば、領域ＩＤ：Ｒ００１で示される領域が指示を受け付けた場合には、動作としてテキストＸＸが画面に表示されることが規定されており、領域ＩＤ：Ｒ００２で示される領域が指示を受け付けた場合には、動作として動画マニュアルのＹＹページが画面に表示されることが規定されている。さらに本実施例では、動作定義として、動画データあるいは音声データ等を規定することもできる。例えば、領域ＩＤ：Ｒ００３で示される領域が指示を受け付けた場合には、動作として動画ＺＺが画面上で再生されることが規定されており、領域ＩＤ：Ｒ００４で示される領域が指示を受け付けた場合には、動作として音声データＵＵが再生されることが規定されている。
【００２５】
動作データ２６０は、動作定義情報２４０で動作として規定されている動画データ、音声データ等を格納する。
【００２６】
図２は、本実施例における動画マニュアル閲覧システムの機能構成を示すブロック図である。
【００２７】
本図に示すように、動画マニュアル閲覧システムは、動画再生部１１０、指示入力部１２０、領域情報処理部１３０を備えている。
【００２８】
動画再生部１１０は、記憶装置１３に格納された動画データ２００を再生して表示装置１１に表示する処理を行う。動画データ２００の再生は、指示入力部１２０を介したマニュアル閲覧者からの指示に基づいて開始する。
【００２９】
指示入力部１２０は、マニュアル閲覧者からの各種指示を受け付け、動画再生部１１０および領域情報処理部１３０に通知する。受け付ける指示は、例えば、動画再生開始の指示、表示装置１１の画面上のある点を特定するための指示等である。
【００３０】
領域情報処理部１３０は、動画再生中に画面上のある点のクリックをマニュアル閲覧者から受け付けると、その点に対応する領域を判別し、特定された領域に関連付けられている処理を行なう。
【００３１】
この処理を行なうために、領域情報処理部１３０は、座標情報取得部１３１と、領域判定部１３２と、動作処理部１３３とを備えている。
【００３２】
座標情報取得部１３１は、マウス等の入力装置１２で指示された表示装置１１の画面上の点の座標を取得し、取得した座標を動画データ２００の座標空間に変換する処理を行なう。なお、動画マニュアル閲覧システムにおいて動画データ２００の座標空間以外の基準となる座標空間を用いる場合には、その座標空間に変換する。なお、座標情報取得部１３１は、画面上の点の座標に加え、マウス等の入力装置１２で指示された時刻も取得する。
【００３３】
領域判定部１３２は、座標情報取得部１３１が取得した座標に対応する領域を判別する。動画において領域は時刻とともに変化するため、領域判定部１３２は、領域情報２２０に記録された情報に基づいて、以下のように判別処理を行なう。
【００３４】
すなわち、領域情報２２０に記録された各領域について、座標を取得した時刻における形状と位置とを推定して、取得した座標がどの領域に含まれるかを判別する。
【００３５】
座標を取得した時刻における形状と位置との推定は、その時刻における領域を示す情報が領域情報２２０に記録されている場合には、領域を示す情報によって示される領域の形状と位置とを推定結果とすることができる。
【００３６】
一方、その時刻における領域を示す情報が領域情報２２０に記録されていない場合には、その時刻の前後に記録されている時刻における領域を示す情報を領域情報２２０から取得する。
【００３７】
そして、前に記録されている時刻とその時刻における領域の形状および位置、および、後に記録されている時刻とその時刻における領域の形状および位置から、領域の形状および位置の変化の具合を算出することにより、座標を取得した時刻における領域の形状および位置を推定する。
【００３８】
例えば、座標を取得した時刻ｔ２の前後に記録されている領域を示す情報が時刻ｔ１と時刻ｔ３であったとする。
【００３９】
この場合、まず、ｔ１からｔ２までの経過時間（ｔ２−ｔ１）とｔ１からｔ３までの経過時間（ｔ３−ｔ１）とから、（ｔ２−ｔ１）／（ｔ３−ｔ１）を算出する。
【００４０】
また、時刻ｔ１における領域のある点、例えば、中心座標、ある頂点等がｖ１で表され、時刻ｔ３における対応する点がｖ３であったとする。すると、時刻ｔ２における対応する点の座標ｖ２は、ｖ１＋（ｖ３−ｖ１）×[（ｔ２−ｔ１）／（ｔ３−ｔ１）]で算出することができる。
【００４１】
これに準ずる計算を、領域を定める各点等に施すことにより時刻ｔ２における領域の形状および位置を推定することができる。
【００４２】
時刻ｔ２における領域の形状および位置の推定をすべての領域について行ない、時刻ｔ２において取得した座標がどの領域に含まれるかを判断することで、マニュアル閲覧者から指示された領域を判別することができる。なお、取得した座標が、いずれの領域にも含まれない場合には、対応する領域はないと判断する。
【００４３】
図６は、この処理の具体的な例を示す図である。本図の例では図５（ａ）に示すように、物体Ａと物体Ｂとが時刻ｔ１から時刻ｔ３の間に図に示すような移動を行なっている。そして、時刻ｔ２において、マニュアル閲覧者から図中の「ｘ」の位置でクリックを受け付けたものとする。ここで、領域情報２２０には、時刻ｔ１（同図（ｂ））および時刻ｔ３（同図（ｃ））における物体Ａと物体Ｂの形状および位置の情報が記録されているものとする。なお、説明を簡単にするために物体Ａと物体Ｂとの情報が記録されている時刻をｔ１およびｔ３として、両者を共通にしているが、これらは別々の時刻であってもかまわない。
【００４４】
この場合、領域判定部１３２は、物体Ａおよび物体Ｂの両方についてｔ２における形状と位置とを推定する。図５（ｄ）は、その推定結果を示す図である。本図より、マニュアル閲覧者が指示した位置は、時刻ｔ２において物体Ｂの推定領域に含まれることがわかるため、領域判定部１３２は、物体Ｂが指示されたものと判別する。
【００４５】
これにより、時刻ｔ２における各物体の領域情報が記録されていないにもかかわらず、時刻ｔ２に指示された領域に対応する物体を判別することができる。
【００４６】
図２に戻って、動作処理部１３３は、領域判定部１３２により、指示された領域に対応する動作を動作定義情報２４０を参照して特定し、必要に応じて動作データ２６０に記録されたファイルを実行する。これにより、マニュアル閲覧者が動画中の物体等の対象物をクリックすることで、テキストを表示したり、別のページに移動したり、別の動画を再生したり、音声を再生することができるようになる。
【００４７】
つぎに、動画マニュアル閲覧システムの処理について、図７のフロー図を参照して説明する。
【００４８】
動画マニュアル閲覧システムの動画再生部１１０は、マニュアル閲覧者の指示等に基づいて、動画データ２００の再生を開始する（Ｓ１０１）。これに合わせて、領域情報処理部１３０は、動画データ２００の再生を開始してからの経過時間を計測する。
【００４９】
そして、以下に説明する処理を動画データ２００が終了するまで、繰り返す（Ｓ１０２）。もちろん、マニュアル閲覧者の指示等による動画再生の中止、中断、再実行等は可能である。
【００５０】
指示入力部１２０は、マニュアル閲覧者がマウス等の入力装置１２で表示装置１１の画面上の点を指示したかどうかを監視する（Ｓ１０３）。
【００５１】
マニュアル閲覧者からの指示を検出すると（Ｓ１０３：Ｙ）、座標情報取得部１３１が指示を受け付けた画面上の点の座標を取得する（Ｓ１０４）。このとき必要に応じて座標変換を行なう。
【００５２】
そして、領域判定部１３２が、マニュアル閲覧者から指示を受け付けた時刻、座標情報取得部１３１が取得した座標、および、領域情報２２０に記録された情報に基づいて指示の対象となった領域を判定する（Ｓ１０５）。
【００５３】
この結果、対応する領域が存在している場合には（Ｓ１０６：Ｙ）、動作処理部１３３が、動作定義情報２４０を参照して、その領域に関連付けられた動作処理を行なう。このとき、必要に応じて、すなわち、他の動画データを再生したり、音声データを再生する場合等には、これらのデータファイルが記録された動作データ２６０を参照する。
【００５４】
前述のように、これらの処理を動画データ２００が終了するまで繰り返すことにより、動画において移動する対象物に対応する領域を判別することができるようになる。
【図面の簡単な説明】
【００５５】
【図１】動画マニュアル閲覧システムのハードウェア構成を示すブロック図である。
【図２】動画マニュアル閲覧システムの機能構成を示すブロック図である。
【図３】領域情報２２０の例を示す図である。
【図４】領域情報２２０で示される領域の変化を示す図である。
【図５】動作定義情報２４０の例を示す図である。
【図６】領域判定部１３２の処理の具体的な例を示す図である。
【図７】動画マニュアル閲覧システムの処理を示すフロー図である。
【符号の説明】
【００５６】
１０…情報処理装置
１１…表示装置
１２…入力装置
１３…記憶装置
２０…動画マニュアル
２２…領域情報
１１０…動画再生部
１２０…指示入力部
１３０…領域情報処理部
１３１…座標情報取得部
１３２…領域判定部
１３３…動作処理部
２００…動画データ
２２０…領域情報
２４０…動作定義情報
２６０…動作データ
【図１】
2005173716.tif 000003
【図２】
2005173716.tif 000004
【図３】
2005173716.tif 000005
【図４】
2005173716.tif 000006
【図５】
2005173716.tif 000007
【図６】
2005173716.tif 000008
【図７】
2005173716.tif 000009