(57)【要約】【課題】ユーザが未視聴であったり、関連情報を含まない映像コンテンツのシーン分類を行う情報処理装置を提供する。【解決手段】クライアント端末１０１は、ユーザによる指示を受け付けるユーザ入力部１１２と、ユーザによる指示を解析するユーザ入力解析部１２２と、ユーザによる指示に応じて映像コンテンツの再生を制御するデータ再生制御部１２１と、を備える。クライアント端末１０１は、メタデータ生成部１２３により、ユーザによる指示の解析結果に基づいて、映像コンテンツに関連するメタデータを生成する。重要シーン抽出部１３１は、メタデータに基づいて映像コンテンツの重要シーンを抽出する。分類器生成部１３０は、重要シーンに基づいて、ユーザにとっての重要シーンと非重要シーンとを分類するための分類器を生成する。【選択図】図１
2019186689.tif 000002
【特許請求の範囲】
【請求項１】
ユーザによる指示を受け付けるユーザ入力手段と、
前記ユーザによる前記指示を解析する入力解析手段と、
前記ユーザによる前記指示に応じて映像コンテンツの再生を制御する再生制御手段と、
前記映像コンテンツを表示する表示手段と、
前記入力解析手段による解析結果に基づいて、前記映像コンテンツに関連するメタデータを生成するメタデータ生成手段と、
前記メタデータに基づいて前記映像コンテンツの重要シーンを抽出する重要シーン抽出手段と、
前記重要シーンに基づいて、前記ユーザにとっての重要シーンと非重要シーンとを分類するための分類器を生成する分類器生成手段と、を備えることを特徴とする、
情報処理装置。
【請求項２】
複数の前記映像コンテンツを蓄積するサーバとの間で通信を行い、映像コンテンツ及び該映像コンテンツを生成した機器の機器情報を取得する通信手段をさらに備えており、
前記メタデータ生成手段は、取得した前記機器情報を含む前記メタデータを生成することを特徴とする、
請求項１記載の情報処理装置。
【請求項３】
前記通信手段は、同一のシーンを複数の視点から複数のカメラで撮影した複数の映像コンテンツを蓄積する前記サーバから、前記ユーザ入力手段で前記ユーザが指示したカメラで撮影した映像コンテンツを取得し、
前記メタデータ生成手段は、前記ユーザが指示したカメラを含む前記メタデータを生成することを特徴とする、
請求項２記載の情報処理装置。
【請求項４】
前記ユーザ入力手段は、前記ユーザの指示として、再生速度の変更、再生方向の変更、表示の拡大・縮小、表示解像度の切り替え、カメラの切り替え、の少なくとも１つを受け付け、
前記メタデータ生成手段は、前記ユーザの指示に応じて前記メタデータを生成することを特徴とする、
請求項１〜３のいずれか１項記載の情報処理装置。
【請求項５】
前記重要シーン抽出手段は、前記メタデータに基づいて、非重要シーンを抽出可能であり、
前記分類器生成手段は、前記重要シーン及び前記非重要シーンに基づいて、前記分類器を生成することを特徴とする、
請求項１〜４のいずれか１項記載の情報処理装置。
【請求項６】
前記重要シーン抽出手段は、前記ユーザによる編集が可能な前記重要シーンを抽出することを特徴とする、
請求項１〜５のいずれか１項記載の情報処理装置。
【請求項７】
前記重要シーン抽出手段は、抽出した前記重要シーンをクラスタリングして複数の重要シーンに分割することを特徴とする、
請求項１〜６のいずれか１項記載の情報処理装置。
【請求項８】
前記映像コンテンツから顔を認識して顔認識結果を生成する認識手段をさらに備えており、
前記メタデータ生成手段は、前記顔認識結果を含む前記メタデータを生成することを特徴とする、
請求項１〜７のいずれか１項記載の情報処理装置。
【請求項９】
前記認識手段は、前記ユーザ入力手段により前記ユーザが指定した領域を追尾して追尾結果を生成し、
前記メタデータ生成手段は、前記追尾結果を含む前記メタデータを生成することを特徴とする、
請求項８記載の情報処理装置。
【請求項１０】
前記重要シーンを使って前記分類器を学習する学習手段をさらに備えることを特徴とする、
請求項１〜９のいずれか１項記載の情報処理装置。
【請求項１１】
前記分類器を使って前記ユーザが未視聴の映像コンテンツから、重要シーン候補を抽出する候補抽出手段をさらに備えることを特徴とする、
請求項１〜１０のいずれか１項記載の情報処理装置。
【請求項１２】
映像コンテンツを蓄積するサーバと、前記サーバから取得した映像コンテンツを再生するクライアント端末と、を備え、
前記クライアント端末は、
ユーザによる指示を受け付けるユーザ入力手段と、
前記ユーザによる前記指示を解析する入力解析手段と、
前記ユーザによる前記指示に応じて映像コンテンツの再生を制御する再生制御手段と、
前記映像コンテンツを表示する表示手段と、
前記入力解析手段による解析結果に基づいて、前記映像コンテンツに関連するメタデータを生成するメタデータ生成手段と、
前記メタデータに基づいて前記映像コンテンツの重要シーンを抽出する重要シーン抽出手段と、を備え、
前記サーバは、
前記クライアント端末から前記重要シーンを取得し、取得した前記重要シーンに基づいて、前記ユーザにとっての重要シーンと非重要シーンとを分類するための分類器を生成する分類器生成手段を備えることを特徴とする、
システム。
【請求項１３】
映像コンテンツを蓄積するサーバから取得した映像コンテンツを再生する情報処理装置により実行される方法であって、
ユーザによる指示を受け付けて、前記ユーザによる前記指示を解析し、前記ユーザによる前記指示に応じて前記映像コンテンツの再生を制御して前記映像コンテンツを表示し、
前記ユーザにより前記指示の解析結果に基づいて、前記映像コンテンツに関連するメタデータを生成し、
前記メタデータに基づいて前記映像コンテンツの重要シーンを抽出し、
前記重要シーンに基づいて、前記ユーザにとっての重要シーンと非重要シーンとを分類するための分類器を生成することを特徴とする、
分析方法。
【請求項１４】
映像コンテンツを蓄積するサーバから取得した映像コンテンツを再生するコンピュータを、
ユーザによる指示を受け付けるユーザ入力手段、
前記ユーザによる前記指示を解析する入力解析手段、
前記ユーザによる前記指示に応じて映像コンテンツの再生を制御する再生制御手段、
前記映像コンテンツを表示する表示手段、
前記入力解析手段による解析結果に基づいて、前記映像コンテンツに関連するメタデータを生成するメタデータ生成手段、
前記メタデータに基づいて前記映像コンテンツの重要シーンを抽出する重要シーン抽出手段、
前記重要シーンに基づいて、前記ユーザにとっての重要シーンと非重要シーンとを分類するための分類器を生成する分類器生成手段、
として機能させるためのコンピュータプログラム。
【請求項１５】
請求項１４記載のコンピュータプログラムを記憶する、コンピュータにより読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識技術において、映像要約や画像分類のようなシーン分類を行う技術に関する。映像や画像は、静止画及び動画のいずれでも良い。
【背景技術】
【０００２】
近年、映像コンテンツの増加に伴って、映像の自動要約や自動編集のようなシーン分類に対する需要が高まっている。このような技術には、例えば以下に示す特許文献１〜３のような従来技術がある。
【０００３】
特許文献１は、電子番組表（ＥＰＧ：Electronic Program Guide）をメタデータとして利用し、放送映像を要約する記憶番組再生装置を開示する。この記憶番組再生装置は、映像再生時の各シーンへの視聴者の操作に基づいて、該シーンの関連情報についての嗜好ポイントを算出する。記憶番組再生装置は、嗜好ポイントに基づいた順序で各シーンを再生する。記憶番組再生装置は、まず、番組データのメタデータ（番組名、関連ＵＲＬ、出演者情報、曲名、歌手名、ＣＭなどの情報）をサーバから受信する。記憶番組再生装置は、再生のスキップ等の視聴者の操作に応じて、各シーンの嗜好ポイントを算出し、各シーンに対応するメタデータについての嗜好ポイントとして累積保存する。番組再生時には、記憶番組再生装置は、嗜好ポイントに基づいて嗜好の強いと想定されるシーンの順番で映像を再生する。
【０００４】
特許文献２は、ユーザの反応に基づいて、該ユーザの好みに応じたコンテンツのダイジェストを生成する情報処理装置を開示する。この情報処理装置は、コンテンツに対するユーザの反応からコンテンツに対するユーザの興味情報を取得する。情報処理装置は、興味情報に基づいてユーザの興味部分を解析し、興味部分に基づいてコンテンツのダイジェストを生成する。興味情報の取得方法には、例えば、コンテンツ視聴中の、視聴者によるキーボードやマウス等の入力インタフェースを用いた入力による取得と、カメラや生体モニタを用いた視聴者情報の観察による取得と、がある。
【０００５】
特許文献３は、過去の映像再生時のユーザ操作に基づいて、再生方法（通常再生、高速再生、スキップなど）を制御する記録再生装置を開示する。この記録再生装置は、ノーマル速度で映像を再生中に、ユーザが早送り再生操作ボタンやスキップ再生指示操作ボタンを操作した場合に、対応する再生信号区間を、ユーザにとって再生を要しないユーザ評価が負の方向である区間と判定する。記録再生装置は、判定結果をユーザ評価値として記録しておき、後の再生時にユーザ評価値に基づいて再生方法を制御する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１５−１１５８０３号公報
【特許文献２】特開２０１２−３９５５０号公報
【特許文献３】特開２００７−６６４０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
以上のような従来の映像コンテンツの自動要約や自動編集のようなシーン分類技術では、以下のような課題がある。例えば、特許文献１の記憶番組再生装置は、ユーザ自身が撮影した映像等のようにメタデータ等の関連情報を含まない映像に対して、自動要約を生成できない。
特許文献２の情報処理装置は、ユーザが視聴した映像についてのダイジェストの作成は可能であるが、未視聴の映像に対してはダイジェストを作成できない。
特許文献３の記録再生装置は、ユーザ評価値が記録された映像に対してのみ再生方法が制御でき、ユーザ評価値が記録されていない映像の再生方法は制御できない。また、ユーザにとって重要な映像区間は、同一映像であってもユーザ評価値の記録時とそれ以外の視聴時とで異なる可能性がある。しかし、記録再生装置は、一度の視聴で記録されるユーザ評価値に基づいて、その後の再生方法を制御する。
【０００８】
本発明は、上記課題に鑑みてなされたものであり、ユーザが未視聴であったり、関連情報を含まない映像コンテンツのシーン分類を行う情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の情報処理装置は、ユーザによる指示を受け付けるユーザ入力手段と、前記ユーザによる前記指示を解析する入力解析手段と、前記ユーザによる前記指示に応じて映像コンテンツの再生を制御する再生制御手段と、前記映像コンテンツを表示する表示手段と、前記入力解析手段による解析結果に基づいて、前記映像コンテンツに関連するメタデータを生成するメタデータ生成手段と、前記メタデータに基づいて前記映像コンテンツの重要シーンを抽出する重要シーン抽出手段と、前記重要シーンに基づいて、前記ユーザにとっての重要シーンと非重要シーンとを分類するための分類器を生成する分類器生成手段と、を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、ユーザが未視聴であったり、関連情報を含まない映像コンテンツであってもシーン分類が可能となる。
【図面の簡単な説明】
【００１１】
【図１】システム構成図。
【図２】クライアント端末の動作説明図。
【図３】分析処理における動作説明図。
【図４】「拡大・縮小設定」が指示された場合の動作説明図。
【図５】重要シーン抽出処理における動作説明図。
【図６】システム構成図。
【図７】分析処理における動作説明図。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、実施形態を詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
（第１実施形態）
図１は、第１実施形態のシステム構成図である。本実施形態のシステムは、いわゆるクライアントサーバシステムであり、クライアント端末１０１及びサーバ１００を備えている。ここでは、クライアント端末１０１及びサーバ１００がそれぞれ１台ずつ設けられる構成で説明するが、これらの装置の数はそれぞれ複数であってもよい。クライアント端末１０１は、サーバ１００からコンテンツを取得して再生する情報処理装置である。サーバ１００とクライアント端末１０１とは、通信回線１０２を介して通信可能に接続される。通信回線１０２は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット、公衆通信回線等で実現される。
【００１４】
サーバ１００は、コンテンツを蓄積する大容量記憶装置と、クライアント端末１０１との間で通信を行うための通信インタフェースとを備える。サーバ１００は、クライアント端末１０１へ大容量記憶装置に蓄積したコンテンツを通信インタフェースにより配信する機能を有する。サーバ１００は、大容量記憶装置と通信インタフェースとを備えれば、どのような機器であってもよい。例えばサーバ１００は、放送用機器や、通信機能を有するパーソナルコンピュータにより実現される。サーバ１００は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）を備えるコンピュータシステムである。ＣＰＵは、ＲＯＭに格納されるコンピュータプログラムを、ＲＡＭを作業領域に用いて実行することでコンテンツの配信機能を実現する。なお、コンテンツの配信機能は、少なくとも一部がハードウェアを用いて実現されてもよい。図１では、サーバ１００は、大容量記憶装置にＮ個のコンテンツ（コンテンツ１〜コンテンツＮ）を蓄積する。コンテンツは、例えばサッカーの試合などの映像コンテンツである。
【００１５】
クライアント端末１０１は、インタフェース部１１０、制御部１２０、分類器生成部１３０、出力部１４０、重要シーン候補抽出部１５０、及び記憶部１６０として機能する。このようなクライアント端末１０１は、例えば、ＣＰＵ、ＲＯＭ、及びＲＡＭを備えるコンピュータシステムである。ＣＰＵは、ＲＯＭに格納されるコンピュータプログラムを、ＲＡＭを作業領域に用いて実行することで上記の各機能ブロックを実現する。なお、クライアント端末１０１の各機能ブロックは、少なくとも一部がハードウェアを用いて実現されてもよい。
【００１６】
インタフェース部１１０は、通信部１１１とユーザ入力部１１２とを含む。通信部１１１は、通信回線１０２を介してサーバ１００との間で通信を行う通信インタフェースである。クライアント端末１０１は、通信部１１１を介してサーバ１００に映像コンテンツの取得要求を行い、要求した映像コンテンツをサーバ１００から取得する。ユーザ入力部１１２は、キーボード、マウス、ポインティングデバイス等の入力装置を用いたユーザからの指示を受け付ける。
【００１７】
制御部１２０は、データ再生制御部１２１、ユーザ入力解析部１２２、及びメタデータ生成部１２３を含む。
データ再生制御部１２１は、サーバ１００から取得した映像コンテンツの再生、再生速度の変更、再生方向の変更、表示の拡大縮小、表示解像度の切り替え等の、映像コンテンツの再生に関する制御を行う。ユーザ入力解析部１２２は、ユーザ入力部１１２が受け付けたユーザの指示を解析する。データ再生制御部１２１は、ユーザ入力解析部１２２によるユーザの指示の解析結果に応じて、映像コンテンツの再生に関する制御を行う。クライアント端末１０１は、この解析結果に応じて動作する。ユーザ入力解析部１２２は、必要に応じてユーザに提示する入力画面を生成し、後述の表示部１４１に表示させる。メタデータ生成部１２３は、再生中の映像コンテンツに関連する関連情報であるメタデータを生成して、記憶部１６０に蓄積する。
【００１８】
分類器生成部１３０は、重要シーン抽出部１３１及び学習部１３２を含み、分類器を生成する。重要シーン抽出部１３１は、ユーザ入力解析部１２２によるユーザの指示の解析結果に基づいて、映像コンテンツ中のユーザにとっての重要部分を判定して抽出する。学習部１３２は、分類器生成のための機械学習を行う。
【００１９】
出力部１４０は、表示部１４１、重要シーン出力部１４２、分類器出力部１４３、及び外部出力部１４４を含む。表示部１４１は、映像コンテンツの表示、映像コンテンツの再生に関する制御を行うためのメニュー画面の表示等を行う表示装置である。重要シーン出力部１４２は、重要シーン抽出部１３１が抽出した重要部分を表示部１４１に表示させる。分類器出力部１４３は、分類器生成部１３０で生成された分類器をサーバ１００や他のクライアント端末へ出力する。外部出力部１４４は、データの外部出力等を行う。
【００２０】
記憶部１６０は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の大容量記憶装置により実現される。記憶部１６０は、クライアント端末１０１が処理に用いるデータ、サーバ１００から取得した映像コンテンツ等を記憶する。
【００２１】
図２は、クライアント端末１０１の動作説明図である。クライアント端末１０１は、例えば表示部１４１に映像コンテンツの再生に関する操作を行うためのメニュー画面を表示する。ユーザは、メニュー画面に応じてユーザ入力部１１２により指示を入力することで、クライアント端末１０１に処理を実行させる。クライアント端末１０１は、通常モードと分析モードとの２つの動作モードで動作する。
【００２２】
クライアント端末１０１は、起動後にメニュー画面を表示部１４１に表示して、通常モードで動作する。クライアント端末１０１は、通常モードで、ユーザによるユーザ入力部１１２の操作を待機する（Ｓ２０１）。クライアント端末１０１は、ユーザの操作に応じた処理を実行する。図２では、ユーザは、メニュー画面からデータ選択、データ受信、設定、再生、一時停止、スキップ、早送り、巻き戻し、分析、重要シーン抽出、重要シーン編集、分類器生成、重要シーン候補抽出、及び終了を選択して指示することができる。これら通常モードにおける各機能は一般的な録画再生機器と同様の機能である。また、クライアント端末１０１は、１．３倍速再生等の視聴方法に関する他の機能を追加搭載しても良い。また、クライアント端末１０１は、これらの機能の一部を搭載するようにしても良い。
【００２３】
「データ選択」が指示された場合、制御部１２０は、ユーザの指示により、再生する映像コンテンツを選択する（Ｓ２０２）。ユーザは、サーバ１００から通信部１１１を介して表示部１４１に提示された映像コンテンツの中から、再生する映像コンテンツを選択する。これにより制御部１２０は、映像コンテンツの選択を行う。クライアント端末１０１は、選択された映像コンテンツのサムネイルをサーバ１００から受信し、表示部１４１に受信した映像サムネイルを表示しても良い。「データ受信」が指示された場合、制御部１２０は、通信部１１１により、選択された映像コンテンツをサーバ１００から取得する（Ｓ２０３）。「設定」が指示された場合、制御部１２０は、サムネイルの表示／非表示や、メニュー画面のカスタマイズなどのクライアント端末１０１に関する設定を行う（Ｓ２０４）。
【００２４】
「再生」が指示された場合、制御部１２０は、映像コンテンツを再生して表示部１４１に表示させる（Ｓ２０５）。「一時停止」が指示された場合、制御部１２０は、再生中の映像コンテンツの一時停止を行う（Ｓ２０６）。「スキップ」が指示された場合、制御部１２０は、再生中の映像コンテンツのスキップを行う（Ｓ２０７）。「早送り」が指示された場合、制御部１２０は、再生中の映像コンテンツの早送りを行う（Ｓ２０８）。「巻き戻し」が指示された場合、制御部１２０は、再生中の映像コンテンツの巻き戻しを行う（Ｓ２０９）。
【００２５】
「分析」が指示された場合、制御部１２０は、動作モードを分析モードに切り替えて、再生中の映像コンテンツに対するユーザ操作の分析を行う（Ｓ２１０）。「重要シーン抽出」が指示された場合、重要シーン抽出部１３１は、再生中の映像コンテンツの重要シーンを抽出する（Ｓ２１１）。「重要シーン編集」が指示された場合、重要シーン抽出部１３１は、抽出した重要シーンの編集を行う（Ｓ２１２）。「分類器生成」が指示された場合、分類器生成部１３０は、分類器を生成する（Ｓ２１３）。「重要シーン候補抽出」が指示された場合、重要シーン候補抽出部１５０は、未分析の映像コンテンツから重要シーンの候補を抽出する（Ｓ２１４）。
【００２６】
各処理が終了すると、クライアント端末１０１は、通常モードで表示部１４１にメニュー画面を表示し、ユーザによるユーザ入力部１１２の操作を待機する（Ｓ２０１）。「終了」が指示された場合、クライアント端末１０１は、処理を終了する。
【００２７】
（分析）
クライアント端末１０１は、Ｓ２１０の分析処理において、ユーザによる映像コンテンツの分析行動を記録する。図３は、分析処理におけるクライアント端末１０１の動作説明図である。クライアント端末１０１は、分析処理時に例えば表示部１４１に分析モード用のメニュー画面を表示して待機する。ユーザは、分析モード用のメニュー画面に応じてユーザ入力部１１２により指示を入力することで、クライアント端末１０１に処理を実行させる。
【００２８】
制御部１２０は、動作モードが分析モードに切り替わることで、クライアント端末１０１の初期化を行う（Ｓ３００）。本実施形態では、制御部１２０は、初期化により、メタデータ生成部１２３によるメタデータの記録準備を行う。
【００２９】
クライアント端末１０１は、初期化後に、ユーザによるユーザ入力部１１２の操作を待機する（Ｓ３０１）。クライアント端末１０１は、ユーザの操作に応じた処理を実行する。図３では、ユーザは、メニュー画面から再生（分析）、スロー再生、逆再生、一時停止（分析）、スキップ（分析）、早送り（分析）、巻き戻し（分析）、拡大・縮小設定、解像度切り替え、カメラ切り替え、及び通常モードに戻る、を選択することができる。クライアント端末１０１は、ユーザがメニュー画面から選択してユーザ入力部１１２により入力した指示に応じて処理を実行する。
【００３０】
再生（分析）、一時停止（分析）、スキップ（分析）、早送り（分析）、巻き戻し（分析）が選択されたときの処理（Ｓ３０２、Ｓ３０５〜Ｓ３０８）は、通常モード時の対応する処理（Ｓ２０５〜Ｓ２０９）と同じである。ただしメタデータ生成部１２３は、対応するフレームに対し、それぞれ再生カウント、スキップカウント、早送りカウント、巻き戻しカウントをインクリメントする。メタデータ生成部１２３は、「一時停止（分析）」が指示された場合、対応するフレームに対するメタデータとして一時停止時間を記録する。「スロー再生」及び「逆再生」が指示された場合、メタデータ生成部１２３は、対応するフレームに対し、それぞれスロー再生カウント及び逆再生カウントをインクリメントする。
【００３１】
「拡大・縮小設定」が指示された場合、データ再生制御部１２１は、表示する映像コンテンツの拡大・縮小及び表示領域の設定を行う（Ｓ３０９）。図４は、「拡大・縮小設定」が指示された場合のクライアント端末１０１の動作説明図である。
【００３２】
クライアント端末１０１は、「拡大・縮小設定」が指示されると、表示部１４１にユーザ操作を受け付けるための操作画面を表示して、ユーザによるユーザ入力部１１２の操作を待機する（Ｓ４０１）。クライアント端末１０１は、ユーザの操作に応じた処理を実行する。ユーザは、本実施形態の操作画面により、拡大、縮小、サイズ指定、リセット、表示領域設定、決定、及びキャンセルの選択が可能である。
【００３３】
「拡大」が指示された場合、データ再生制御部１２１は、拡大率ｒをｒ＊α（α＞１．０）に変更する（Ｓ４０２）。表示部１４１は、映像コンテンツの表示サイズをｒ倍に変更する（Ｓ４０７）。
「縮小」が指示された場合、データ再生制御部１２１は、拡大率ｒをｒ＊β（１．０＞β＞０）に変更する（Ｓ４０３）。表示部１４１は、映像コンテンツの表示サイズをｒ倍に変更する（Ｓ４０７）。
「サイズ指定」が指示された場合、データ再生制御部１２１は、ユーザにユーザ入力部１１２から拡大率ｒを入力させる（Ｓ４０４）。この際、表示部１４１は、拡大率の入力画面を表示する。表示部１４１は、映像コンテンツの表示サイズをｒ倍に変更する（Ｓ４０７）。拡大率ｒは、設定許容範囲が事前に設定されていてもよい。また、設定許容範囲から外れた値が入力された場合、クライアント端末１０１は、エラーや警告を出し、改めて拡大率ｒを入力させてもよい。
「リセット」が指示された場合、データ再生制御部１２１は、拡大率ｒを１．０にリセットする（Ｓ４０５）。データ再生制御部１２１は、フラグ付与設定の解除を行う（Ｓ４０６）。表示部１４１は、映像コンテンツの表示サイズをｒ倍に変更する（Ｓ４０７）。
【００３４】
「表示領域設定」が指示された場合、拡大率ｒ＞１．０であれば、データ再生制御部１２１は、表示部１４１が表示する映像コンテンツの部分領域を設定する（Ｓ４０８）。拡大率ｒ≦１．０であれば、表示部１４１の画面から映像コンテンツがはみ出ることはないため、データ再生制御部１２１は、Ｓ４０８の処理で何も行わない。あるいは、拡大率ｒ≦１．０であれば、クライアント端末１０１は、操作画面の「表示領域設定」を選択できないようにしても良い。
【００３５】
「決定」が指示された場合、データ再生制御部１２１は、映像コンテンツの拡大・縮小サイズ及び表示位置等の表示設定を確定する（Ｓ４０９）。メタデータ生成部１２３は、拡大・縮小フラグ付与設定をＯＮにする（Ｓ４１０）。メタデータ生成部１２３は、拡大・縮小フラグ付与設定がＯＮの間、表示されたフレームに対応するメタデータとして拡大・縮小フラグを記録する。データ再生制御部１２１は、「拡大・縮小設定」の処理を終了する。
【００３６】
「キャンセル」が指示された場合、データ再生制御部１２１は、拡大率ｒの値を変更前の値に戻す。表示部１４１は、映像コンテンツの表示サイズをｒ倍に変更する。データ再生制御部１２１は、「拡大・縮小設定」の処理を終了する。
【００３７】
図３の説明に戻り、本実施形態では単一解像度の映像コンテンツを分析対象としている。そのために分析モード用のメニュー画面では、「解像度切り替え」が無効或いは非表示になっている（Ｓ３１０）。本実施形態では単一のカメラで撮影された映像コンテンツを分析対象としている。そのために分析モード用のメニュー画面では、「カメラ切り替え」は無効或いは非表示になっている（Ｓ３１１）。
【００３８】
なお、Ｓ３０５の処理で所定時間を超える一時停止が行われる場合、クライアント端末１０１は、一時低時間を記録するか否かをユーザに確認しても良い。また、この場合、クライアント端末１０１は、一時停止時間を記録しないようにしたり、通常モードに戻るようにしても良い。
【００３９】
分析モード用のメニュー画面から「通常モードに戻る」が指示された場合（Ｓ３１２）、クライアント端末１０１は、分析結果を記録する（Ｓ３１３）。その後、クライアント端末１０１は、動作モードを通常モードに戻す。本実施形態では、分析結果の記録とは、Ｓ３０２〜Ｓ３１１の処理で記録したフラグや値等のメタデータを確定し、ユーザと分析日時とを特定できるような構造で記憶部１６０に記録することである。なお、分析結果の記録は、Ｓ３０２〜Ｓ３１１の処理時に適宜行うようにしても良い。
【００４０】
（重要シーン抽出）
クライアント端末１０１は、Ｓ２１１の重要シーン抽出処理において、Ｓ２１０の分析処理で記録した分析結果に基づいて、映像コンテンツのユーザにとっての重要部分を判定・抽出する。抽出した重要部分が重要シーンとなる。図５は重要シーン抽出処理におけるクライアント端末１０１の動作説明図である。
【００４１】
本実施形態では、重要シーン抽出部１３１は、最新の分析日時におけるメタデータを利用して重要シーン抽出を行う。また、重要シーン抽出部１３１は、同一の映像コンテンツに対して過去に記録済みのメタデータをマージすることで累積メタデータを生成し、累積メタデータにより重要シーン抽出を行っても良い。累積メタデータの生成時に、ユーザが、マージするメタデータを取捨選択できるようにしても良い。
メタデータとしては、上記の通り、映像コンテンツを構成するフレーム毎に再生、スキップ、早送り、巻き戻し、スロー再生、逆再生等が行われたカウント数が含まれる。また、一時停止操作が行われたフレームのメタデータは、一時停止時間を含む。拡大・縮小表示されたフレームのメタデータは、拡大・縮小フラグを含む。
【００４２】
重要シーン抽出部１３１は、一時停止フラグの付与を行う（Ｓ５０１）。本実施形態では、重要シーン抽出部１３１は、メタデータとして記録されている一時停止時間が所定の閾値以上となっているフレームと、該フレームに隣接する前後１５フレームずつに一時停止フラグを付与する。
【００４３】
重要シーン抽出部１３１は、コンテンツを構成する各フレームに対して、以下の式（１）により重要度評価値を取得する（Ｓ５０２）。ただし、拡大・縮小フラグ及び一時停止フラグは、フラグが立っている場合に「１」、フラグが立っていない場合に「０」の値を取る。
（重要度評価値）＝（スロー再生カウント値）＋（逆再生カウント値）＋（拡大・縮小フラグ）＋（一時停止フラグ）    …（１）
【００４４】
重要シーン抽出部１３１は、重要度評価値が所定の閾値以上となったフレームに対し、メタデータとして重要シーンラベルを付与することで重要シーンを抽出する（Ｓ５０３）。抽出された重要シーンは、「重要シーン編集」が指示される場合（Ｓ２１２）に、編集可能となる。重要シーンの編集は、ユーザがユーザ入力部１１２により指示を入力することで行われる。例えば、ユーザは、ＧＵＩ（Graphical User Interface）により、重要シーンラベルの追加や削除を行うことができる。
【００４５】
（分類器生成）
クライアント端末１０１は、Ｓ２１３の分類器生成処理において、抽出済みの重要シーンに基づいて、ユーザにとっての重要シーンとそれ以外のシーンとを分類するための分類器を生成する。本実施形態では、分類器生成部１３０は、最新の分析日時におけるメタデータを利用して抽出した重要シーンを用いて分類器を生成する。分類器生成部１３０は、重要シーンを任意に指定して用いることもできる。例えば、分類器生成部１３０は、上記の累積メタデータを用いて抽出した重要シーン、他の映像コンテンツから抽出した重要シーン、他のユーザの重要シーン等を用いて分類器を生成しても良い。また、分類器生成部１３０は、これらの重要シーンの組み合わせを用いて分類器を生成しても良い。
【００４６】
分類器生成部１３０は、機械学習により分類器を生成する。機械学習は、Ｒａｎｄｏｍ
Ｆｏｒｅｓｔ等の決定木を用いる方法、畳み込みニューラルネットワークを用いる方法、サポートベクターマシン（ＳＶＭ）を用いる方法等の様々な方法を用いることができる。本実施形態では、ＳＶＭを利用するＧＭＭ−ＳＶ（混合ガウス分布−Ｓｕｐｅｒｖｅｃｔｏｒ）方式を用いる。Ｒａｎｄｏｍ Ｆｏｒｅｓｔは、「Breiman, Leo, “Random Forests,” Machine Learning 45 (1): 5-32, 2001.」に開示される。畳み込みニューラルネットワークは、「Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton, “ImageNet Classification with Deep Convolutional Neural Networks,” Advances in
Neural Information Processing Systems 25: 1097-1105, 2012.」に開示される。ＳＶＭは、「V. Vapnik and A. Lerner, "Pattern recognition using generalized portrait method," Automation and Remote Control, 24, 1963.」に開示される。ＧＭＭ−ＳＶは、「井上 中順, 斉藤 辰彦, 篠田 浩一, 古井 貞熙, "大規模映像資源のためのマルチモーダル高次特徴検出," 電子情報通信学会論文誌, Vol. J93-D, No. 12, pp. 2633-2644, Dec., 2010.」に開示される。
【００４７】
分類器生成部１３０は、ユーザにとっての重要シーンとそれ以外のシーンとを分類できれば、他の機械学習の手法を用いて分類器を生成しても良い。また、分類器生成部１３０は、機械学習を用いた方法ではなく、例えばルールベースで分類器を生成しても良い。分類に用いる特徴には、画像特徴であるＳＩＦＴ特徴や音響特徴であるＭＦＣＣ（非特許文献６）など様々なものがあるが、ユーザにとって重要シーンとそれ以外のシーンとを分類可能な分類器を生成できれば、どの特徴を利用しても良い。ＳＩＦＴ特徴は、「D. G. Lowe, “Distinctive Image Features from Scale-Invariant Keypoints,” In International Journal of Computer Vision, vol.60(2), pp.91-110, Jan. 2004.」に開示される。ＭＦＣＣは、「B. P. Bogert, M. J. R. Healy, and J. W. Tukey,
"The quefrency alanysis of time series for echoes: cepstrum, pseudo-autocovariance, cross-cepstrum, and saphe cracking," Proceedings of the Symposium on Time Series Analysis (M. Rosenblatt, Ed) Chapter 15, 209-243. New York: Wiley, 1963.」に開示される。
【００４８】
ＧＭＭ−ＳＶ方式では、ＧＭＭを求めるためにＵＢＭ（Universal Background Model）を生成する必要がある。本実施形態では、分類器生成部１３０は、記憶部１６０に蓄積された全ての映像コンテンツを用いてＵＢＭを生成する。
【００４９】
（重要シーン候補抽出）
クライアント端末１０１は、Ｓ２１４の重要シーン候補抽出処理において、未分析のコンテンツから重要シーン候補の抽出を行う。クライアント端末１０１は、「データ選択」（Ｓ２０２）及び「データ受信」（Ｓ２０３）により未分析のコンテンツを取得する。
【００５０】
重要シーン候補抽出部１５０は、Ｓ２１３の分類器生成処理で生成した分類器を用いて、ＧＭＭ−ＳＶ方式で重要シーン候補を検出する。通常、ＧＭＭ−ＳＶ方式は、検出単位がショットである。本実施形態では、重要シーン候補抽出部１５０は、未分析の映像コンテンツを所定の時間単位で分割して分割未分析コンテンツを生成し、分割未分析コンテンツ単位で検出を行う。本実施形態では分割する単位を１秒とするが、これは１分でもよい。分割の単位は、処理の開始前にユーザによりユーザ入力部１１２から入力される、或いはＳ２０４の設定処理で設定される。多数のショットから構成される映像コンテンツに対しては、重要シーン候補抽出部１５０は、ショット単位で検出を行っても良い。
【００５１】
以上のように本実施形態のクライアント端末１０１は、取得した映像コンテンツに対するユーザの操作を分析して、該映像コンテンツのメタデータを生成する。クライアント端末１０１は、このメタデータを用いて、ユーザにとっての重要シーンを抽出する。重要シーンは、ユーザにより編集可能である。クライアント端末１０１は、重要シーンに基づいて分類器を生成し、この分類器により未分析の映像コンテンツから重要シーンを抽出することができる。
【００５２】
そのためにクライアント端末１０１は、ユーザが視聴していない映像コンテンツから、該ユーザにとっての重要映像区間を抽出することが可能になる。また、クライアント端末１０１は、ユーザが視聴していない映像コンテンツのダイジェストを、抽出した重要映像区間から生成することができる。さらに、クライアント端末１０１は、未知の映像コンテンツの再生方法を制御することも可能である。このようにクライアント端末１０１は、ユーザが未視聴であったり、メタデータ等の関連情報を含まない映像コンテンツのシーン分類を行うことが可能である。
【００５３】
本実施形態のメタデータ生成部１２３は、拡大・縮小フラグ付与設定がＯＮの間、メタデータとして拡大・縮小フラグを記録するが、メタデータとして拡大率ｒを記録してもよい。重要シーン抽出部１３１は、拡大率ｒを重要シーン抽出時に利用することになる。これにより、より柔軟かつ詳細に重要シーンの抽出条件を設定することが可能となる。
【００５４】
重要シーン抽出部１３１は、１以上の非重要シーンを抽出可能であっても良い。非重要シーンは、例えば早送りやスキップ操作されたシーンである。分類器生成部１３０は、分類器生成時に非重要シーンに重みを設定することで、より精度の高い分類器を生成することが可能となる。重要シーン抽出部１３１は、重要度評価値を用いて複数種類の重要シーンを抽出しても良い。重要シーン抽出部１３１は、例えば、複数の重要度評価値の算出式に基づいて複数の重要シーンを抽出する。或いは、重要シーン抽出部１３１は、抽出した重要シーンを画像特徴や音響特徴、本実施形態で抽出したカウント数等の情報に基づいてクラスタリングして、複数の重要シーンに分割しても良い。クラスタリングの方法は公知の方法を用いることが可能である。例えばクラスタリングは、画像特徴と本実施形態で抽出したカウント数を要素として持つ特徴ベクトルを生成し、ｋ近傍法やｋ平均法を用いて行われる。これにより、さらにユーザの観点を反映した重要シーンが抽出可能となるだけでなく、ユーザの観点をさらに反映した分類器を生成することが可能となる。
【００５５】
本実施形態はクライアント端末１０１側で分類器を生成する構成を説明したが、分類器がサーバ１００側で生成されても良い。この場合、サーバ１００は、学習部１３２を備え、クライアント端末１０１が抽出した重要シーンを取得して分類器を生成する。これにより、サーバ１００に蓄積されている多量の映像コンテンツを利用した学習が可能である。そのためにより精度の高い分類器を生成することができる。例えば、本実施形態で利用したＧＭＭ−ＳＶ方式の場合、多量の映像コンテンツを用いてＵＢＭを生成することで、分類器の性能が向上する。
【００５６】
クライアント端末１０１は、サーバ１００が高解像度の映像コンテンツを蓄積する場合に、必要に応じて高解像度の映像コンテンツを利用できるようにしても良い。例えば、サーバ１００に蓄積された映像コンテンツの高解像度を３，８４０×２，１６０ピクセル（４Ｋ映像）、通常の映像コンテンツの解像度を１，９２０×１，０８０ピクセル（フルＨＤ映像）とする。サーバ１００は、クライアント端末１０１から要求がない限り通常解像度の映像コンテンツをクライアント端末１０１へ送信する。
【００５７】
この場合、クライアント端末１０１は、Ｓ３１０の解像度切り替え処理が有効となる。ユーザがユーザ入力部１１２により解像度切り替えを選択すると、クライアント端末１０１は、サーバ１００から取得する映像コンテンツを高解像度の映像コンテンツに切り替える。或いは、ユーザは、解像度切り替え処理で、ユーザ入力部１１２により要求解像度を指定しても良い。この場合、サーバ１００がクライアント端末１０１からの指示により、要求解像度の映像コンテンツを適宜生成して送信する、或いはクライアント端末１０１が高解像度の映像コンテンツを取得して要求解像度の映像を生成する。
【００５８】
映像コンテンツの解像度は、拡大・縮小設定時に自動的に適切に切り替えられても良い。クライアント端末１０１は、Ｓ３０９の拡大縮小設定処理と同様に「高解像度フラグ」を付与し、重要シーン抽出部１３１の重要度評価値を、算出式に高解像度フラグを含めて算出する。メタデータ生成部１２３は、高解像度フラグを含むメタデータを生成することになる。これによりクライアント端末１０１は、高解像度化した映像部分を重要シーン抽出に反映可能となり、より柔軟かつ詳細に重要シーンの抽出条件を設定すること可能となる。また、クライアント端末１０１は、このように抽出した重要シーンを用いることで、より精度の高い分類器を生成することが可能となる。
【００５９】
クライアント端末１０１は、サーバ１００が同一のシーンを複数の視点から複数のカメラで撮影した映像コンテンツを蓄積する場合、必要に応じて異なるカメラの映像コンテンツを分析対象としても良い。例えば、サーバ１００は、１つのシーンに対して異なるカメラで撮影した複数の映像コンテンツ１−１〜映像コンテンツ１−Ｍを蓄積する。クライアント端末１０１から要求がない限り、サーバ１００は映像コンテンツ１−１をクライアント端末１０１へ送信する。クライアント端末１０１は、カメラ切り替え処理が有効となる。ユーザは、ユーザ入力部１１２でカメラ切り替えを選択し、カメラｉ（１≦ｉ≦Ｍ）を選択する。これによりクライアント端末１０１は、サーバ１００から取得する映像コンテンツを映像コンテンツ１−ｉに切り替える。クライアント端末１０１は、Ｓ３０９の拡大縮小設定処理と同様に「カメラ切り替えフラグ」を付与し、重要シーン抽出部１３１の重要度評価値を、算出式にカメラ切り替えフラグを含めて算出する。メタデータ生成部１２３は、カメラ切り替えフラグを含むメタデータを生成することになる。これによりクライアント端末１０１は、カメラを切り替えた映像部分を重要シーン抽出に反映可能となり、より柔軟かつ詳細に重要シーンの抽出条件を設定すること可能となる。また、クライアント端末１０１は、このように抽出した重要シーンを用いることで、より精度の高い分類器を生成することが可能となる。
【００６０】
クライアント端末１０１は、撮影時のカメラパラメータ等のコンテンツ取得機器の機器情報を利用して、分類器を生成しても良い。この場合、機器情報として、サーバ１００は、映像コンテンツと同期が取れた状態でカメラパラメータ情報を蓄積する。サーバ１００は、クライアント端末１０１への映像コンテンツ送信時にカメラパラメータ情報も同時に送信する。ここで、カメラパラメータは、例えばカメラを識別するカメラＩＤ、撮影時のパン・チルト角度、焦点距離、撮影距離等である。或いは、焦点距離と撮影距離とから撮影倍率を算出して、これをカメラパラメータとしてもよい。撮影倍率は、（焦点距離／（撮影距離−焦点距離））の式により概算値が算出される。
【００６１】
クライアント端末１０１は、メタデータ生成部１２３によりカメラパラメータ情報を含むメタデータを生成する。クライアント端末１０１は、このメタデータを重要シーン抽出や分類器生成に用いる。例えば、クライアント端末１０１は、Ｓ３１１のカメラ切り替え処理で選択した映像コンテンツの撮影倍率が所定倍率以上の場合に、Ｓ３０９の拡大縮小設定処理と同様に「高撮影倍率フラグ」を付与する。クライアント端末１０１は、重要シーン抽出部１３１の重要度評価値を、算出式に高撮影倍率フラグを含めて算出する。これによりクライアント端末１０１は、倍率の高い映像部分を重要シーン抽出に反映可能となり、より柔軟かつ詳細に重要シーンの抽出条件を設定すること可能となる。また、クライアント端末１０１は、分類器生成時の特徴ベクトルにカメラパラメータ情報を要素値として加えることで、より精度の高い分類器を生成することが可能になる。
【００６２】
（第２実施形態）
第２実施形態では、監視映像等の映像コンテンツに対してシーン分類を行う。この場合、ユーザには監視カメラ映像解析の専門家が想定される。ユーザにとっての重要シーンは、監視映像で着目すべき映像シーンとなる。
【００６３】
図６は、第２実施形態のシステム構成図である。第１実施形態のシステムとは、クライアント端末の構成が異なる。第２実施形態のクライアント端末６０１は、第１実施形態のクライアント端末１０１の制御部１２０に認識部６１１を追加した構成である。サーバ１００に蓄積される複数の映像コンテンツは、監視カメラ映像である。
【００６４】
図７は、分析処理におけるクライアント端末６０１の動作説明図である。クライアント端末６０１は、分析処理時に、図３の第１実施形態の動作に加え、顔認識処理（Ｓ７０１）及び追尾処理（Ｓ７０２）を行う。顔認識処理及び追尾処理について説明する。
【００６５】
「顔認識」が指示された場合、制御部１２０は、顔認識処理を行う（Ｓ７０１）。制御部１２０は、まず、映像コンテンツの再生を一時停止する。ユーザは、「顔認識」の指示後に、ユーザ入力部１１２により顔認識機能のＯＮ／ＯＦＦを選択する。顔認識機能のＯＮが選択される場合、制御部１２０は、ユーザに対して認識対象とする顔画像の登録を促す。ユーザが顔画像を登録することで、ユーザ入力解析部１２２は、顔認識機能をＯＮにする。制御部１２０は、映像コンテンツの一時停止を解除して再生する。なお、顔画像は同一人物の顔画像を複数枚登録しても良いし、異なる人物の顔画像を複数枚ずつ登録しても良い。
【００６６】
顔認識機能がＯＮになると、データ再生制御部１２１は、再生した映像コンテンツを表示部１４１に表示させる前に認識部６１１に渡す。認識部６１１は、再生された映像コンテンツの各フレームに対して、登録された顔画像と一致する顔の検出を行う。一致する顔が検出された場合、認識部６１１は、顔認識結果として、検出された顔を囲む矩形を顔矩形情報（矩形の左上座標、矩形の幅と高さ）として設定する。認識部６１１は、顔矩形情報をメタデータ生成部１２３に渡す。メタデータ生成部１２３は、顔が検出されたフレームに対応するメタデータとして、顔矩形情報を記録する。顔認識は、例えば特開２０１５−２３２７５９号公報に開示される公知の技術を用いて行われる。
【００６７】
「追尾」が指示された場合、制御部１２０は、追尾処理を行う（Ｓ７０２）。制御部１２０は、まず、映像コンテンツの再生を一時停止する。ユーザは、「追尾」の指示後に、ユーザ入力部１１２により追尾機能のＯＮ／ＯＦＦを選択する。追尾機能のＯＮを選択した場合、ユーザは、ユーザ入力部１１２により表示されているフレームから矩形の追尾領域を指定する。
【００６８】
追尾機能がＯＮになると、データ再生制御部１２１は、再生した映像コンテンツを表示部１４１に表示させる前に認識部６１１に渡す。認識部６１１は、再生された映像コンテンツの各フレームに対して指定された追尾領域の追尾を試みる。追尾は、例えば特開２０１５−５０６９７号公報に開示される公知の技術を用いて行われる。追尾が成功した場合、認識部６１１は、追尾結果として追尾領域を表す追尾矩形情報（矩形の左上座標、矩形の幅と高さ）を設定する。認識部６１１は、追尾矩形情報をメタデータ生成部１２３に渡す。メタデータ生成部１２３は、追尾領域が存在するフレームに対応するメタデータとして、追尾矩形情報を記録する。
【００６９】
重要シーン抽出部１３１の動作は、第１実施形態の場合と基本的に同じであるが、重要度評価値の算出方法が異なる。本実施形態では、重要シーン抽出部１３１は、Ｓ５０２に示した重要度評価値算出処理において、映像を構成する各フレームに対して以下の式（２）により重要度評価値を算出する。
（重要度評価値）＝（スロー再生カウント）＋（逆再生カウント）＋（拡大・縮小フラグ）＋（一時停止フラグ）＋（顔矩形情報の有無）＋（追尾矩形情報の有無）  …（２）
【００７０】
拡大・縮小フラグ及び一時停止フラグは、フラグが立っている場合に「１」、フラグが立っていない場合に「０」の値を取る。また、顔矩形情報の有無及び追尾矩形情報の有無は、有の場合に「１」、無の場合に「０」の値を取る。
【００７１】
以上のように、本実施形態のクライアント端末１０１、６０１は、映像コンテンツに対するユーザの分析操作をメタデータとして記録し、記録したメタデータを利用してそのユーザにとっての重要シーンを抽出する。抽出した重要シーンは、ユーザが編集を通じて修正可能である。クライアント端末１０１、６０１は、抽出した重要シーンを用いて分類器を生成し、生成した分類器を用いて未分析の映像コンテンツから重要シーン候補を抽出可能である。これにより、ユーザが視聴していない映像コンテンツから、そのユーザにとっての重要映像区間を抽出することが可能になる。未視聴映像からダイジェストを生成することも可能である。さらに、未知の映像の再生方法を制御することも可能となる。
【００７２】
第１、第２実施形態では、重要シーン抽出処理、重要シーン編集処理、分類器生成処理（Ｓ２１１〜Ｓ２１３）を通常モードで行う処理として説明した。これらの処理は、分析モードで行われてもよい。
以上のように本実施形態のシステムは、ユーザが視聴していない映像コンテンツから、該ユーザにとっての重要映像区間を抽出することが可能になる。また、このシステムは、未視聴の映像コンテンツからダイジェストを生成することも可能である。さらに、このシステムは、未知の映像の再生方法を制御することも可能である。
【００７３】
本発明は、上述の各実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2019186689.tif 000003
【図２】
2019186689.tif 000004
【図３】
2019186689.tif 000005
【図４】
2019186689.tif 000006
【図５】
2019186689.tif 000007
【図６】
2019186689.tif 000008
【図７】
2019186689.tif 000009