(57)【要約】【課題】録画機器等の電子機器が標準的に備えているリモコン機能と映像出力機能とを用いるのみで、操作方法が異なる複数の電子機器の操作を、一種類の統一した操作方法によってユーザに行なわせることが可能な電子機器の制御装置を提供する。【解決手段】電子機器毎のＧＵＩ情報とリモコンコード情報とを記憶する制御情報記憶手段と、ユーザが電子機器に対して実行させたい所望の操作の操作情報を、本制御装置が有するＧＵＩ機能によって入力させ記憶する操作情報入力記憶手段と、入力されるＧＵＩ画面を認識する映像認識手段と、ＧＵＩ画面を変更する操作等に対応するリモコン信号を送信するリモコン信号送信手段と、操作情報に基づいて、リモコン信号送信手段と映像認識手段とを用いて、前記電子機器のＧＵＩ機能を用いたＧＵＩ処理を逐次実行し、所望の操作を電子機器に実行させる制御手段とで構成する。【選択図】      図２
2010050792.tif 000002
【特許請求の範囲】
【請求項１】
第１のＧＵＩ(Graphical User Interface)機能とリモコン機能とを有する電子機器を制御する制御装置であって、
前記第１のＧＵＩ機能によって前記電子機器から出力される複数のＧＵＩ画面をそれぞれ認識するための情報であるＧＵＩ情報と前記リモコン機能に対応したリモコンコード情報とをそれぞれ記憶する制御情報記憶手段と、
ユーザが、本制御装置が有する１種類のみのＧＵＩ機能である第２のＧＵＩ機能を用いて入力した、前記電子機器に所望の動作を行なわせるための操作情報を記憶する操作情報入力記憶手段と、
前記電子機器に対応する前記ＧＵＩ情報を用いて、前記電子機器から出力されるＧＵＩ画面が前記複数のＧＵＩ画面のうちどのＧＵＩ画面なのかを認識し、この認識したＧＵＩ画面に含まれる選択可能な領域を認識し、更に、前記選択可能な領域のうち、現在選択されている１つの選択領域を認識する処理である映像認識処理を行う映像認識手段(117)と、
前記電子機器に対応する前記リモコンコード情報を用いて、前記ＧＵＩ画面を変更する操作と、前記選択領域を変更する操作と、前記選択領域を決定する操作とにそれぞれ対応するリモコン信号を、前記電子機器に送信する処理であるリモコン信号送信処理を行うリモコン信号送信手段と、
前記操作情報入力記憶手段に記憶されている前記操作情報に基づいて、前記リモコン信号送信手段と前記映像認識手段とを用いて、前記リモコン信号送信処理と前記映像認識処理とを前記第１のＧＵＩ機能で定まるシーケンスに沿って実行し、前記操作情報に対応する前記所望の操作を前記電子機器に実行させる制御手段と、
を有することを特徴とする電子機器の制御装置。
【請求項２】
前記第１のＧＵＩ機能と前記リモコン機能とは、複数の前記電子機器毎に異なった種類のものであり、
前記制御情報記憶手段は、複数の前記電子機器毎の前記ＧＵＩ情報と前記リモコンコード情報とを、それぞれ記憶することを特徴とする請求項１記載の電子機器の制御装置。
【請求項３】
前記映像認識手段は、前記第１のＧＵＩ機能が音声出力を伴う場合、この出力される音声を認識する音声認識処理も行ない、この音声認識処理で認識した情報を、前記映像認識処理で映像を認識する際の情報の１つとして用いることを特徴とする請求項１又は２記載の電子機器の制御装置。
【請求項４】
外部機器との通信手段を有し、
前記操作情報入力記憶手段は、前記外部機器から前記通信手段を介して送信される操作情報を記憶することを特徴とする請求項１乃至３のいずれか１項記載の電子機器の制御装置。
【請求項５】
前記外部機器は携帯電話であることを特徴とする請求項４記載の電子機器の制御装置。
【請求項６】
外部機器との通信手段を有し、
前記制御情報記憶手段は、前記ＧＵＩ情報と前記リモコンコード情報とを、前記通信手段を介して外部から取得することを特徴とする請求項１乃至３のいずれか１項記載の電子機器の制御装置。
【請求項７】
前記制御情報記憶手段は、前記ＧＵＩ情報と前記リモコンコード情報とを、前記通信手段を介して外部から取得することを特徴とする請求項４又は５項記載の電子機器の制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＧＵＩ(Graphical User Interface)機能とリモコン機能とを有する電子機器を制御するための制御装置に関するものである。
【背景技術】
【０００２】
ハードディスクや光ディスク等の記録媒体に、放送番組等のコンテンツを録画する録画機器が広く普及している。
また、近年、ＤＬＮＡ(Digital Living Network Alliance)ガイドラインが制定された。これは、ＬＡＮ(Local Area Network)を用いて、ＡＶ（Audio/Visual)機器、情報家電、パーソナルコンピュータ（以下、ＰＣと呼ぶ）等の電子機器を相互に接続し、連携して利用するための技術仕様である。このＤＬＮＡガイドラインに対応した電子機器（以下、ＤＬＮＡ対応機器と呼ぶ）同士であれば、ＬＡＮを介してデータの共有や他機の制御を行うことが可能となる。従って、所有している録画機器やテレビ等の電子機器がこのＤＬＮＡ対応機器であり、ＬＡＮの構築がなされていれば、ユーザは、テレビのリモコンを用いてテレビに対する操作を行うことで、ＬＡＮ接続されている録画機器に対して録画予約設定等を行うことが可能となる。
【０００３】
一方、特許文献１のように、上記で述べたようなＤＬＮＡガイドラインの技術を用いずに、携帯電話を用いて、録画機器に対して録画予約を設定するような技術もある。
【特許文献１】特開２００７-３２４７４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
現在の録画機器は、放送のデジタル化や高機能化等に対応した様々な機能を有している。また、番組を録画するための記録媒体も、ハードディスクや光ディスク、更にはメモリーカードなど多種多様になっている。従って、現在の録画機器は、上記の如く様々な機能や多種多様な記録媒体に対応するために複雑な操作が必要となる。更に、この複雑な操作は、録画機器のメーカによっても異なる。
【０００５】
従って、メーカの異なる複数の録画機器を所有するユーザは、録画機器毎にその複雑な操作方法を習得しなければならなかいという課題があった。
上記したＤＬＮＡ対応機器同士であれば、メーカが異なっていてもある程度は操作方法の統一が図れる。しかし、これを実現するには、ユーザは、所有する録画機器やテレビ等の電子機器を、このＤＬＮＡ対応機器に買い換えなければならないという課題があった。
【０００６】
上記した特許文献１の従来技術を用いれば、ＤＬＮＡガイドラインの技術を用いずに、録画機器に対して録画予約の操作を行うことができるが、この従来技術では、ＧＵＩを用いての対話形式による操作に関しては対応が困難であるという課題があった。
【０００７】
本発明は、このような課題に鑑みてなされたものであり、ＤＬＮＡガイドラインなどの複雑なネットワーク技術を用いることなく、録画機器等の電子機器が標準的に備えているＧＵＩ機能とリモコン機能とを用いるのみで、操作方法が異なる複数の電子機器の操作を、一種類の統一した操作方法によってユーザに行なわせることが可能な電子機器の制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
そこで上記課題を解決するために本発明は、下記の装置を提供するものである。
（１）第１のＧＵＩ(Graphical User Interface)機能とリモコン機能とを有する電子機器を制御する制御装置であって、
前記第１のＧＵＩ機能によって前記電子機器から出力される複数のＧＵＩ画面をそれぞれ認識するための情報であるＧＵＩ情報と前記リモコン機能に対応したリモコンコード情報とをそれぞれ記憶する制御情報記憶手段(126)と、
ユーザが、本制御装置が有する１種類のみのＧＵＩ機能である第２のＧＵＩ機能を用いて入力した、前記電子機器に所望の動作を行なわせるための操作情報を記憶する操作情報入力記憶手段(118,117,122,123,124)と、
前記電子機器に対応する前記ＧＵＩ情報を用いて、前記電子機器から出力されるＧＵＩ画面が前記複数のＧＵＩ画面のうちどのＧＵＩ画面なのかを認識し、この認識したＧＵＩ画面に含まれる選択可能な領域を認識し、更に、前記選択可能な領域のうち、現在選択されている１つの選択領域を認識する処理である映像認識処理を行う映像認識手段(117)と、
前記電子機器に対応する前記リモコンコード情報を用いて、前記ＧＵＩ画面を変更する操作と、前記選択領域を変更する操作と、前記選択領域を決定する操作とにそれぞれ対応するリモコン信号を、前記電子機器に送信する処理であるリモコン信号送信処理を行うリモコン信号送信手段(117,119,120,121)と、
前記操作情報入力記憶手段に記憶されている前記操作情報に基づいて、前記リモコン信号送信手段と前記映像認識手段とを用いて、前記リモコン信号送信処理と前記映像認識処理とを前記第１のＧＵＩ機能で定まるシーケンスに沿って実行し、前記操作情報に対応する前記所望の操作を前記電子機器に実行させる制御手段(117)と、
を有することを特徴とする電子機器の制御装置。
（２）前記第１のＧＵＩ機能と前記リモコン機能とは、複数の前記電子機器毎に異なった種類のものであり、
前記制御情報記憶手段は、複数の前記電子機器毎の前記ＧＵＩ情報と前記リモコンコード情報とを、それぞれ記憶することを特徴とする上記（１）記載の電子機器の制御装置。
（３）前記映像認識手段は、前記第１のＧＵＩ機能が音声出力を伴う場合、この出力される音声を認識する音声認識処理も行ない、この音声認識処理で認識した情報を、前記映像認識処理で映像を認識する際の情報の１つとして用いることを特徴とする上記（１）又は（２）記載の電子機器の制御装置。
（４）外部機器との通信手段(125)を有し、
前記操作情報入力記憶手段は、前記外部機器から前記通信手段を介して送信される操作情報を記憶することを特徴とする上記（１）乃至（３）のいずれか１項記載の電子機器の制御装置。
（５）前記外部機器は携帯電話であることを特徴とする上記（４）記載の電子機器の制御装置。
（６）外部機器との通信手段(125)を有し、
前記制御情報記憶手段は、前記ＧＵＩ情報と前記リモコンコード情報とを、前記通信手段を介して外部から取得することを特徴とする上記（１）乃至（３）のいずれか１項記載の電子機器の制御装置。
（７）前記制御情報記憶手段は、前記ＧＵＩ情報と前記リモコンコード情報とを、前記通信手段を介して外部から取得することを特徴とする上記（４）又は（５）項記載の電子機器の制御装置。
【発明の効果】
【０００９】
本発明によれば、ＤＬＮＡガイドラインなどの複雑なネットワーク技術を用いることなく、従来の録画機器等の電子機器が標準的に備えているＧＵＩ機能とリモコン機能とを用いるのみで、操作方法が異なる複数の電子機器の操作を、一種類の統一した操作方法によってユーザに行なわせることが可能となる。従って、ユーザは、現在所有している電子機器を買い換える必要が無い。
【００１０】
更に、本発明によれば、複数の録画機器に対する録画予約の履歴を一元的に集約することになるので、録画予約した番組の番組情報に含まれる出演者やジャンルなどの情報を用いて、ユーザの嗜好を分析し、お勧め番組をユーザに通知することも可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の一実施形態の制御装置について説明する。
＜全体システム構成＞
図１は、本発明の一実施形態の制御装置と、この制御装置によって制御される電子機器の一例である録画機器等との接続関係を示す図である。
【００１２】
制御装置（以下メディエータ１と呼ぶ）の映像音声入力端子と第一録画機器４及び第二録画機器５の映像音声出力端子とはＡＶケーブルで接続されている。そして、第一録画機器４及び第二録画機器５は、メディエータ１へ、このＡＶケーブルを介して映像音声信号を出力する。また、メディエータ１は、第一録画機器４及び第二録画機器５に対して、それぞれの録画機器が有するリモコン機能に対応した制御信号（以下リモコン信号と呼ぶ）を赤外線等の無線信号に変換して送信する。また、メディエータ１の映像音声出力端子と、テレビ３の映像音声入力端子とはＡＶケーブルで接続されている。そして、メディエータ１は、テレビ３へ、このＡＶケーブルを介して映像音声信号を出力する。
【００１３】
リモコン２は、ユーザが、メディエータ１を無線操作するための制御端末である。
また、メディエータ１は、付加機能としてＬＡＮ接続機能を有していても良い。この場合、メディエータ１は、ＬＡＮ６を介してパーソナルコンピュータ７（以下ＰＣ７と呼ぶ）７、第三録画機器１２、ブロードバンドルータ８等と接続される。従って、ユーザは、ＰＣ７を用いて、ＬＡＮ６を介してメディエータ１へ制御信号を送信することでもメディエータ１の操作が可能である。さらには、携帯電話１１を用いて、メールや、ブラウザおよびそれに類似した通信アプリケーションなどを用いて、携帯電話網１０、インターネット９、ブロードバンドルータ８、ＬＡＮ６を介してメディエータ１へ制御信号を送信することでもメディエータ１の操作が可能である。
【００１４】
第一録画機器４、第二録画機器５、及び第三録画機器１２は、それぞれ放送番組受信機能を有しており、図示しないアンテナ等から放送番組を受信し、録画する。なお、このうち、第一録画機器４、及び第二録画機器５は、ＬＡＮ接続機能を有していなくても構わない。
【００１５】
第三録画機器１２は、ＤＬＮＡ対応機器である。
ブロードバンドルータ８は、ＬＡＮ６とインターネット９との間に接続され、相互のネットワーク間の橋渡しを行う機器である。
＜内部構成＞
次に、メディエータ１の内部構成について、図２を用いて説明する。
【００１６】
同図中の破線で囲まれた部分がメディエータ１である。
メディエータ１は、第一映像音声入力部１１２、第二映像音声入力部１１３、映像音声入力切替部１１４、Ａ／Ｄ変換器１１５、映像メモリ１１６、制御ＣＰＵ１１７、赤外線受信部１１８、リモコン信号切替部１１９、第一赤外線送信部１２０、第二赤外線送信部１２１、グラフィクス生成部１２２、映像音声出力部１２３、出力端子１２４、ネットワークインタフェース部１２５、機器制御情報記憶部１２６を備える。なお、機器制御情報記憶部１２６には、第一録画機器４及び第二録画機器５、それぞれの録画機器が有するＧＵＩ機能で用いる各ＧＵＩ画面をそれぞれ認識するための情報であるＧＵＩ情報やリモコン機能に対応したリモコンコード情報等が予め記憶されている。
【００１７】
次に、本実施の形態のメディエータ１が各録画機器を制御する方法の詳細を、図面を参照しながら説明する。
［第１の実施形態（録画予約１）］
＜動作手順＞
メディエータ１が、第一録画機器４に対して録画予約を行う第１の実施形態の動作手順を、図２及び図３を用いて説明する。図３は、この第１実施形態の動作手順を示すシーケンス図である。なお、リモコン２は、メディエータ１を操作するものであり、第一録画機器４やテレビ３を操作するものではない。また、メディエータ１はテレビ３へ映像信号を出力する。
【００１８】
なお、メディエータ１内の各ブロックは、制御ＣＰＵ１１７によって制御される。従って、メディエータ１が行う動作の主体はメディエータ１内の制御ＣＰＵ１１７である。
まず、ユーザは、リモコン２を用いて、メディエータ１に対して、第一録画機器４への録画予約を行うための最初のＧＵＩ画面（録画機器選択画面）を表示させるためのメニュー要求を行う（ステップＳ１０１）。以下、このリモコン２によってメディエータ１を操作する処理を詳細に説明する。
【００１９】
ユーザが、リモコン２に設けられた所定のボタンを押下すると、リモコン２の赤外線送信部（図示せず）は、この所定のボタンに割り付けられた機能をメディエータ１に実行させるためのリモコン信号を赤外線信号に変換し、メディエータ１へ送信する。メディエータ１は、この送信された赤外線信号を赤外線受信部１１８で受信する。赤外線受信部１１８は、受信した赤外線信号を電気的な制御信号に変換して制御ＣＰＵ１１７へ出力する。制御ＣＰＵ１１７は、この制御信号に対応した処理を行う。なお、説明を簡単にするため、これ以降は、これら一連の制御信号の送受信処理を、単に「リモコン信号を送受信する」等と表現することにする。
【００２０】
ステップ１０１においては、ユーザは、録画機器選択画面を表示させるためのメニュー要求を行うので、押下するボタンは録画機器選択画面表示ボタンであり、メディエータ１は、このボタンに対応したリモコン信号を受信する。
【００２１】
メディエータ１は、この受信したリモコン信号に応じて、グラフィクス生成部１２２を用いて録画機器選択画面を生成する。
その後、メディエータ１は、生成した録画機器選択画面を、映像音声出力部１２３、出力端子１２４を介して、テレビ３へ出力する（ステップＳ１０２）。テレビ３は、入力された録画機器選択画面を表示部（図示せず）に表示する。このとき、テレビ３に表示される録画機器選択画面は、例えば図４に示すようなものであるとする。図４の録画機器選択画面４０においては、選択対象となる録画機器候補が一覧で表示されている。ここでは、“レコーダ１”の矩形領域４１が第一録画機器４に対応しており、“レコーダ２”の矩形領域４２が第二録画機器４に対応している。そして、第一録画機器４に対応する“レコーダ１”の矩形領域４１にフォーカスがあたっている状態である。
【００２２】
次に、ユーザは、この“レコーダ１”の矩形領域４１にフォーカスがあたっている状態で、リモコン２の決定ボタンを押下することで、第一録画機器４を選択決定する（ステップＳ１０３）。なお、「フォーカスをあてる」とは、ＧＵＩ操作にてユーザがＧＵＩ画面上の特定の領域を選択する操作のことである。また、フォーカスがあたった（選択された）領域は、通常の場合、フォーカスがあたっていない（選択されていない）状態から、輝度や色が変更される。これによって、その領域がフォーカスされたことをユーザに認識させることが可能となる。今回は、最初からフォーカスが“レコーダ１”にあたっている状態であったので、フォーカスを移動させる処理は行なわなかったが、例えば、第二録画機器５に対応した“レコーダ２”を選択決定する場合は、ユーザは、リモコン２のフォーカスを下側に移動させるためのボタンを押下してフォーカスを“レコーダ２”に移動させた後に、リモコン２の決定ボタンを押下する。
【００２３】
次に、メディエータ１は、入出力設定を、上記で選択された第一録画機器４に設定する。具体的には、映像音声入力切替部１１４を第一映像音声入力部１１２からの信号入力に切り替えるとともに、リモコン信号切替部１１９を第一赤外線送信部１２０への信号出力に切り替える（ステップＳ１０４）。
【００２４】
次に、メディエータ１は、第一録画機器４の電源をオンにするためのリモコン信号を、第一録画機器４へ送信する（ステップＳ１０５）。
第一録画機器４は、このリモコン信号を受信したら、自身の動作状態を、副電源のみが投入されているスタンバイ状態から主電源を投入して通常動作状態に切り替える。
【００２５】
次に、メディエータ１は、グラフィクス生成部１２２を用いて録画予約メニュー画面を生成する（ステップＳ１０６）。録画予約メニュー画面は、例えば番組表を用いた予約録画の画面でも良い。なお、番組表を構成するのに必要な番組毎の番組名や放送開始／終了時刻等の番組情報は、インターネットを介して電子番組表提供事業者が用意するサーバから取得しても良いし、メディエータ１自身が、図示しないチューナを備えて放送波に含まれる番組情報を取得しても良い。
【００２６】
次に、メディエータ１は、生成した録画予約メニュー画面を、映像音声出力部１２３、出力端子１２４を介して、テレビ３へ出力する（ステップＳ１０７）。テレビ３は、入力された録画予約メニュー画面を表示部（図示せず）に表示する。
【００２７】
次に、ユーザは、録画予約メニュー画面において、リモコン２を用いたＧＵＩ操作にて所定の番組の録画予約を行う（ステップＳ１０８）。なお、ここまでのユーザ操作に用いられるＧＵＩは、メディエータ１が提供するＧＵＩである点が本発明のポイントである。
【００２８】
なお、ユーザ操作を伴う処理は以上までであり、これ以降の処理はメディエータ１が自動で行う処理である。
まず、メディエータ１は、ユーザが行なった録画予約の妥当性を検証する（ステップＳ１０９）。録画予約の妥当性とは、その予約された番組の番組名や放送開始／終了時刻等の番組情報が、メディエータ１が取得した番組表の情報に存在するか否か等で判断する。
【００２９】
次に、メディエータ１は、上記検証において妥当性が有り録画予約可能と判断した場合、上記ステップＳ１０８においてユーザがメディエータ１に行なった録画予約を、第一録画機器４に対して行う。以下に、その具体的処理を説明する。
【００３０】
メディエータ１は、第一録画機器４に対して録画予約を行うため、この録画予約のための最初のＧＵＩ画面（録画予約メニュー画面）を表示させるためのリモコン信号を、機器制御情報記録部１２６に記憶されている、第一録画機器４用のリモコンコード情報を参照して取得する。そして、この取得したリモコン信号を第一録画機器４へ送信する（ステップＳ１１０）。
【００３１】
第一録画機器４は、このリモコン信号を受信したら、録画予約メニュー画面をメディエータ１の第一映像入力部１１２へ出力する（ステップＳ１１１）。
従来は、ユーザが、この第一録画機器４が提供する録画予約メニュー画面等のＧＵＩ画面を用いて録画予約を行う必要があった。これに対して、本実施形態においては、ユーザの替わりにメディエータ１が、機器制御情報記録部１２６に記憶されているＧＵＩ情報とリモコンコード情報とを用いて、第一録画機器４から入力されるＧＵＩ画面の認識（映像認識処理）と、その認識したＧＵＩ画面において次に行うべきリモコン操作に対応するリモコン信号の送信とを、第一録画機器４が有するＧＵＩ機能で定まるシーケンスに沿って交互に繰り返す対話形式で、第一録画機器４のＧＵＩを操作する。これにより、ステップＳ１０８で行なわれた録画予約の内容を第一録画機器４へ設定することを可能とするものである。
【００３２】
すなわち、機器制御情報記録部１２６に記憶されている第一録画機器４のＧＵＩ情報を用いて、第一録画機器４から入力される録画予約メニュー画面を始めとするＧＵＩ画面の種類を認識するとともに、この認識したＧＵＩ画面内においてＧＵＩで選択可能な領域を認識し、更に、この選択可能な領域のうちのフォーカスがあたっている領域を検出する（ステップ１１２）。また、必要に応じて、ＧＵＩ画面内の各領域に表示されている文字の認識を行う。
【００３３】
そして、この映像認識処理の結果により、次に実行すべき操作を判断し（ステップＳ１１３）、この判断ＧＵＩ画面をそれぞれ認識するための情報であるした操作に対応するリモコン信号を第一録画機器４へ送信する（ステップＳ１１４）。
【００３４】
なお、映像認識処理の詳細については後述する。
第一録画機器４は、送信されたリモコン信号に対応して更新した更新画面を出力する（ステップＳ１１５）。
【００３５】
メディエータ１は、入力される更新画面に対して再度、映像認識処理を行ない（ステップＳ１１６）、次に実行すべき操作を判断する（ステップＳ１１７）。この判断の結果、録画予約の途中段階で再度リモコン信号を送信する必要がある場合は、ステップＳ１１４に戻り、判断結果に対応したリモコン信号を送信する。このステップＳ１１４からステップＳ１１７までの処理を、ステップＳ１１７で録画予約が完了したと判断するまで繰り返す。
【００３６】
ステップＳ１１７で、第一録画機器４への録画予約が完了したと判断したら、メディエータ１は、第一録画機器４の主電源をオフするためのリモコン信号を送信する（ステップＳ１１８）。また、録画予約完了を示す画面をテレビ３へ出力する。テレビ３は、入力された録画予約完了を示す画面を表示部（図示せず）に表示する。
【００３７】
以上が、第一録画機器４に対して録画予約を行う第１の実施形態の動作手順である。
このように、メディエータ１は、映像認識処理とリモコン信号の送信処理とを第一録画機器４が有するＧＵＩ機能で定まるシーケンスに沿って実行することにより、ユーザが第一録画機器４に録画予約を行うのと同様の操作を実行することが可能となる。
【００３８】
以上の説明では、第一録画機器４に録画予約を設定する例を示したが、第一録画機器４には録画予約を設定せず、メディエータ１が、録画予約を受け付けた番組の放送開始時刻になったときに、第一録画機器４に対して、録画対象の番組を受信させて録画させるためのリモコン信号を送信しても良い。この方法によると、第一録画機器４が録画予約実行時の番組延長機能を有していない場合でも、メディエータ１がこの番組延長機能を有していれば、例えばスポーツ番組等延長される可能性のある番組の後の番組を予約した場合にも対応が可能である。
＜詳細説明＞
つぎに、上記で述べた録画予約の動作手順について、映像認識処理を中心にしてより詳細に説明する。
【００３９】
ここで、第一録画機器４からメディエータ１へ入力される録画予約用のＧＵＩ画面は、図５〜図８に示すようなデザインであるとする。そして、カレンダー予約によって録画予約する場合を一例として説明する。
【００４０】
図５（Ａ）に示すＧＵＩ画面５０は、第一録画機器４が“予約開始"に対応するリモコン信号をメディエータ１から受けたときに出力される録画予約用のＧＵＩ画面である。
第一録画機器４から入力されるＧＵＩ画面５０は、第一映像音声入力部１１２、映像音声切替部１１４を介して、Ａ／Ｄ変換器１１５に入力される。Ａ／Ｄ変換機器１１５は、入力されたＧＵＩ画面５０をデジタル画面データに変換し、映像メモリ１１６に保存する。以降、第一録画機器４から出力される各ＧＵＩ画面は、上記と同様の経路によって映像メモリ１１６に逐次デジタル画面データとして更新保存されるものとする。
【００４１】
次に、メディエータ１は、映像メモリ１１６に保存されたデジタル画面データに対して映像認識処理を行う。
以下、この映像認識処理の内容を、図９および図１０を用いて説明する。
【００４２】
図９は、図５（Ａ）（Ｂ）に示すＧＵＩ画面５０及びＧＵＩ画面５１における属性情報のリストを示す図である。
また、図１０は、映像認識処理を説明するための機能ブロック図である。
【００４３】
機器制御情報記憶部１２６内のＧＵＩ情報記憶部３１には、制御対象の録画機器が有するＧＵＩ機能で用いられる複数のＧＵＩ画面情報毎に、そのＧＵＩ画面を構成するボタン領域などの１つ以上の構成要素（領域）の属性を示す属性情報のリスト等で構成されるＧＵＩ情報が記憶されている。なお、このＧＵＩ情報は、メディエータ１が制御する対象の１台以上の録画機器毎に記憶されている。また、リモコンコード記憶部３２には、メディエータ１が制御する対象の１台以上の録画機器毎のリモコン機能に対応したリモコンコードのリストが記憶されている。
【００４４】
制御ＣＰＵ１１７内の色情報および形状抽出部３０は、上記したＧＵＩ情報記憶部３１及びリモコンコード記憶部３２に記憶されている各情報を用いて、映像メモリに一時保存されたデジタル画面データにおいて、色情報の値が大きく変化している領域を求め、その領域の形状を検出する。そして、その形状が矩形の場合には、その頂点座標位置を求める。
【００４５】
上記で述べた属性情報とは、各矩形領域を示す座標、その矩形領域の色、および名称等で構成される情報である。本実施の形態では、座標系として表示画面の左上端を原点座標（０，０）とする。そして、各矩形領域の左上の頂点座標を（Ｘ０，Ｙ０）、右下の頂点座標を（Ｘ１，Ｙ１）で示す。そして、図９に示すように、この二つの頂点座標の情報と、この二つの頂点座標で示される矩形領域内の通常状態時の色情報（通常色）、フォーカスされた時の色情報（選択色）、および、この矩形領域の名称情報（名前）を一組としてリスト化している。なお、リストにおける記載順（番号順）は、例えば、Ｙ０の値の小さいものから順に記載する。そして、Ｙ０の値が同じ場合は、次にＸ０の小さい順、同様に、Ｘ０の値が同じ場合はＹ１の小さい順、Ｙ１の値が同じ場合はＸ１の小さい順とする。
また、各色情報は、通常の場合、三原色である、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の大きさ（値）で表される。今回の場合は、各色の大きさを８ビット（２５５階調）で表現しており、図９においては、１６進数で２桁ずつ、左側からＲＧＢの順に記載している。例えば、番号３の予約一覧の選択色欄の記載“＃ｂ７ｆｃｃｄ”は、Ｒの値が“ｂ７”（十進数で１８３）、Ｇの値が“ｆｃ”（十進数で２５２）、Ｂの値が“ｃｄ”（十進数で２０５）であることを示している。
【００４６】
また、本実施例では説明を簡単にするため、検出する領域を矩形領域に限定しているが、記憶しておく頂点座標の数を増やせば、矩形以外のどのような形状の領域でも検出すること可能である。
【００４７】
そして、上記で述べた色情報および形状抽出部３０にて、デジタル画面データから検出した矩形領域の頂点座標及び色情報と、ＧＵＩ情報記憶部３１に記憶されている第一録画機器４のＧＵＩ情報のリストに含まれる各矩形領域の頂点座標及び色情報とを照合することで、ＧＵＩ画面５０が、このリストに記載されているＧＵＩ画面のうちのどれにあたるのか、更に、そのＧＵＩ画面の中のどの矩形領域にフォーカスされているのかを認識する。
【００４８】
以下、図５（Ａ）に示すＧＵＩ画面５０を例にして、より具体的に映像認識処理について説明する。
ＧＵＩ画面５０は、第一録画機器４において録画予約がなされる際に最初に表示されるＧＵＩ画面である。そして図５（Ａ）においては“予約一覧"の矩形領域にフォーカスされている。このとき“予約一覧"の矩形領域画面の色情報は、Ｒ＝１８０、Ｇ＝２５４、Ｂ＝２０１であったとする。
【００４９】
メディエータ１（の制御ＣＰＵ１１７）は、入力されたＧＵＩ画面５０に対して、色情報および形状抽出部３０を用いて、映像認識処理を行うことにより、このＧＵＩ画面５０が録画予約開始時のＧＵＩ画面であることを認識する。また、矩形領域の色情報から、どの矩形領域がフォーカスされているかを判断する。フォーカス領域の判断は、ＧＵＩ情報のリストに含まれる各矩形領域の選択色欄に記載されている各色情報の値を中心として、例えば±５レベルの範囲に、実際にＧＵＩ画面上から読み込んだ各色情報の値が、全て入っていることを確認することで行う。
【００５０】
図５（Ａ）においては、上記したとおり“予約一覧"の矩形領域がフォーカスされており、読み込んだ各色情報の値は、Ｒ＝１８０、Ｇ＝２５４、Ｂ＝２０１である。そして、リストに含まれる各矩形領域の選択色欄に記載されている各色情報の値は、“＃ｂ７ｆｃｃｄ”つまりＲ＝１８３、Ｇ＝２５２、Ｂ＝２０５である。従って、読み込んだ各色情報の値が、リストに含まれる“予約一覧"の矩形領域の各色情報の値の±５レベル以内に全て含まれている。従って、フォーカスされている矩形領域は“予約一覧"の矩形領域であると判断する。
【００５１】
なお、説明を簡単にするために上記においては“予約一覧"の矩形領域のみに関して説明したが、どの矩形領域がフォーカスされているかの判断は、ＧＵＩ情報のリストに記載されている全ての矩形領域の色情報に対して行なわなければならないのはもちろんである。
【００５２】
また、上記で比較する色情報の値は、矩形領域の所定座標における色情報の値でも良いし、矩形領域内の全ての座標における色情報の値の最頻値や平均値等でも良い。
なお、以上の説明は一例である。映像認識処理は、従来よりいくつもの種類の技術が提案されており、上記のようにＧＵＩ画面を認識できる技術であればどのような技術を用いても構わない。
【００５３】
次に、メディエータ１は、カレンダー予約をするために、フォーカスを右側に移動させるためのリモコン信号を第一録画機器４へ送信する。この処理により、フォーカスが“番組表"にあたるようになる。そして、上記と同様の判断処理によって“番組表"の矩形領域がフォーカスされたことを認識する。更に、フォーカスを下側に移動させるためのリモコン信号を送信する。この処理により、図５（Ｂ）に示すように、フォーカスが“カレンダー予約"の矩形領域にあたるようになる。そして、再度同様の判断処理によってカレンダー予約を実行させるための矩形領域がフォーカスされたことを認識する。
【００５４】
最後に、このカレンダー予約を実行させるための矩形領域を選択決定したことを示すリモコン信号を送信する。
以上が、人間に代わってメディエータ１が、映像認識処理によってＧＵＩ画面を認識し、リモコン信号によってＧＵＩを操作するための処理例である。
【００５５】
実際のカレンダー予約処理は、これ以降も操作が必要であるが、その基本動作は、上記した処理と同様の処理を繰り返すことで行われる。従って、これ以降のカレンダー処理の説明は、ＧＵＩ画面の遷移を中心に行う。
【００５６】
次に、第一録画機器４は、カレンダー予約を実行させるための矩形領域を選択決定したことを示すリモコン信号を受信したら、図６に示すカレンダー予約のＧＵＩ画面５２を出力する。
【００５７】
メディエータ１は、入力されたＧＵＩ画面５２がカレンダー予約のＧＵＩ画面であることを認識する。そして、メディエータ１は、映像認識処理とリモコン信号の送信とを繰り返し行って、ユーザによって設定された所定の日付の領域にフォーカスを遷移させたのち、この所定の日付の領域を選択決定したこと示すリモコン信号を送信する。
【００５８】
第一録画機器４は、このリモコン信号を受信したら、選択決定された所定の日付における録画開始／終了時間とチャンネルを入力させるための図７（Ａ）に示すようなＧＵＩ画面５３を出力する。
【００５９】
メディエータ１は、入力されたＧＵＩ画面５３が録画開始／終了時刻とチャンネルを入力するためのＧＵＩ画面であると認識する。そして、これまでと同様に映像認識処理とリモコン信号の送信とを繰り返し行い、録画開始／終了時刻とチャンネルとを設定する。次に、同様の処理を繰り返し、図７（Ｂ）に示すように“決定"の矩形領域にフォーカスを遷移させ、この矩形領域を選択決定したことを示すリモコン信号を送信する。
【００６０】
次に、第一録画機器４は、このリモコン信号を受信したら、カレンダー予約確認のための図８に示すようなＧＵＩ画面５５を出力する。
メディエータ１は、入力されたＧＵＩ画面５５がカレンダー予約確認のためのＧＵＩ画面であることを認識し、ユーザによって設定された録画モード等を設定する。そして、メディエータ１は、映像認識処理とリモコン信号の送信とを繰り返し行って、"予約決定"の矩形領域にフォーカスを遷移させたのち、この矩形領域を選択決定したこと示すリモコン信号を送信する。
【００６１】
第一録画機器４は、このリモコン信号を受信したら、図５（Ａ）のＧＵＩ画面５０を出力する。
メディエータ１は、映像認識処理を行なってＧＵＩ画面５０を認識し、録画予約が正常に終了したと判断する。
【００６２】
次に、メディエータ１は、ＧＵＩ画面５０を通常のテレビ画面へ戻すためのリモコン信号を送信する。
第一録画機器４は、このリモコン信号を受信したら、表示画面をＧＵＩ画面５０からテレビ放送の画面に切り替える。
【００６３】
メディエータ１は、入力される画面に特徴的な矩形領域がないことを認識することで、入力画面が、ＧＵＩ画面ではなくテレビ放送の画面に切替ったと判断し、処理を終了数する。
［第２の実施形態（録画予約２）］
次に、第２の実施形態の動作手順を、図１１を用いて説明する。図１１は、この第２実施形態の動作手順を示すシーケンス図である。第２の実施形態は、携帯電話１１から第一録画機器４に対して録画予約を行う場合の例である。
【００６４】
携帯電話１１は、携帯電話網１０、インターネット９、ブロードバンドルータ８、ＬＡＮ６を介してメディエータ１と通信可能であるとする。また、メディエータ１は、携帯電話１１からのメールを受信する機能、すなわちメールサーバ機能を持つものとする。もしくは、インターネット９上に存在する図示しないメールサーバに定期的にアクセスしてメールを確認し、このメールサーバに保存されたメールがある場合には、そのメールを受信する機能、すなわちＰＯＰクライアント機能を有しているものとする。
【００６５】
以下、詳細に説明する。
ユーザは、携帯電話１１での録画予約に先立ち、メディエータ１から番組情報を取得する。以下、具体的にその取得する処理について説明する。
【００６６】
ユーザは、携帯電話１１を操作し、メディエータ１への送付用としてあらかじめ決められた定型文で、希望の条件に合致する番組の番組情報を取得する番組情報取得メールを作成し、メディエータ１へ送信する（ステップＳ２０１）。定型文においては、例えば、放送開始時間の範囲、録画予約希望の番組のジャンル等の条件を指定する。
【００６７】
次に、メディエータ１は、インターネット上に存在する図示しないメールサーバから番組情報取得メールを受信し、あらかじめ決められた方法によって、そのメールの発信元が信頼できるものか否かを検証する（ステップＳ２０２）。検証方法としては、例えば、予め携帯電話１１とメディエータ１とに共通のパスワードを設定し、このパスワードをメール本文に埋め込むとともに、相互にメールアドレスを登録しあうなどの方法がある。
【００６８】
メディエータ１は、受信したメールが番組情報取得メールであることを認識したならば、そのメールに記載されている条件に合致する番組情報を有する番組を抽出するとともに、抽出した番組の番組情報を、あらかじめ決められた定型文に変換した番組案内メールを生成し（ステップＳ２０３）、この生成した番組案内メールを受信元の携帯電話１１へ返信する（ステップＳ２０４）。
【００６９】
次に、ユーザは、携帯電話１１に返信された番組案内メールを参照して、録画予約したい番組を選択し、第一録画機器４に対して、この選択した番組を録画予約させるための録画予約メールを作成し、メディエータ１へ送信する（ステップＳ２０５）。
【００７０】
次に、メディエータ１は、録画予約メールを受信し、その録画予約メールの内容が妥当か否かを検証する（ステップＳ２０６）。万一、妥当でないと判断した場合には、録画予約メールの送信元（携帯電話１１）に録画予約ができない理由等を記述したメールを返信する。一方、録画予約メールの内容が妥当であったならば次の処理に移行する。
【００７１】
これ以降のステップＳ１０４、Ｓ１０５、Ｓ１１０〜Ｓ１１８の第一録画機器４に対する録画予約設定の動作手順は、第１の実施形態と同様であるので説明は省略する。
なお、携帯電話１１から送信された録画予約メールに、録画予約完了の通知要求が記載されていた場合は、メディエータ１は、第一録画機器４に対する録画予約の設定が完了したら、録画予約完了メールを生成し、携帯電話１１に返信するようにしても良い（ステップＳ２０７）。
［第３の実施形態（再生）］
次に、第３の実施形態について説明する。第３の実施形態は、第一録画機器４に録画されている番組の再生を行う実施形態例である。
【００７２】
この第３の実施形態は、第一録画機器４に録画されている番組の番組情報がメディエータ１に記憶されており、かつ、第一録画機器４が、番組再生用のＧＵＩ機能を有している場合に実現可能である。なお、メディエータ１は、第一録画機器４に対して番組の録画行なった際に、これらの番組の番組情報をメディエータ１自身の記億部に記憶しておく。このようにすれば、ユーザは、改めて、これらの番組情報をメディエータ１に記憶させる手間が省ける。また、このように録画予約を行なった番組の番組情報を記憶しておくと、メディエータ１は、これらの番組情報に含まれる出演者やジャンルなどの情報を用いて、ユーザの嗜好を分析し、お勧め番組をユーザに通知することが可能となる。
【００７３】
以下、図１２、図１３を用いて、第一録画機器４に録画された番組を再生する動作手順説明する。
まず、ユーザは、メディエータ１が有している番組再生用ＧＵＩ機能とリモコン２とを用いて、メディエータ１に記憶している第一録画機器４に録画されている番組一覧から再生したい番組を選択決定する。
【００７４】
ユーザ操作を伴う処理は以上までであり、これ以降の処理はメディエータ１が自動で行う処理である。
メディエータ１は、第一録画機器４に対して、番組再生用の最初のＧＵＩ画面（再生ナビ画面）の表示を要求するためのリモコン信号を送信する。
【００７５】
第一録画機器４は、このリモコン信号を受信したら、図１２（Ａ）に示すような再生ナビ画面５６をメディエータ１へ出力する。
メディエータ1は、第１及び第２実施例で説明したものと同様の映像認識処理を用いて、第一録画機器４から入力されるＧＵＩ画面が再生ナビ画面５６であることを認識する。この再生ナビ画面５６においては、“オリジナル"の矩形領域にフォーカスがあたっている。
【００７６】
次に、メディエータ１は、フォーカスを下側に移動させるリモコン信号を２回送信し、
図１２（Ｂ）の再生ナビ画面５７に示すように“タイトル名一覧"の矩形領域にフォーカスを移動させる。
【００７７】
次に、メディエータ１は、“タイトル名一覧"の矩形領域を選択決定するためのリモコン信号を送信する。
第一録画機器４は、このリモコン信号を受信したら、図１３に示すような、タイトル名一覧画面５８をメディエータ１へ出力する。
【００７８】
メディエータ１は、第一録画機器４から入力されるＧＵＩ画面がタイトル名一覧画面５８であることを認識する。
次に、メディエータ１は、タイトル名一覧画面５８内において、文字認識処理を行い、ユーザが選択した番組に対応する番組名の文字列を抽出する。なお、文字認識処理は、従来よりいくつもの種類の技術が提案されており、どのような技術を用いても構わない。
【００７９】
そして、フォーカスを移動させるためのリモコン信号の送信と映像認識処理と繰り返して、ユーザが選択した番組に対応する番組名の文字列が表示されている矩形領域にフォーカスを移動させるとともに、この移動させた矩形領域において、選択決定を示すリモコン信号を送信する。
【００８０】
第一録画機器４は、このリモコン信号を受信したら、選択決定された矩形領域に表示されているタイトル名に対応する番組の再生を開始する。
なお、この場合、第一録画機器４の映像音声出力端子は、メディエータ１の映像音声入力端子だけではなく、テレビ３の、メディエータ１と接続されている映像音声入力端子とは別の映像音声入力端子へ接続させておく。また、メディエータ１は、テレビ３のリモコンコード情報も記憶しておく。
【００８１】
そして、メディエータ１は、番組の再生を開始したら、この別の映像音声入力端子に切り替るようためのテレビ３用のリモコン信号をテレビ３へ送信する。
テレビ３は、このリモコン信号を受信したら、映像音声入力端子を別の映像音声入力端子に切り替えて、この別の映像音声入力端子から入力される再生開始した番組の映像音声信号を表示する。
【００８２】
以上説明した各実施の形態は、メディエータ１が第一録画機器４を制御する例であったが、同様の処理を第二録画機器５など、リモコン機能とＧＵＩ機能とを有するとともに、このＧＵＩ機能によって生成されるＧＵＩ画面を外部機器へ出力するための映像出力端子を備える電子機器であれば、録画機器に限らず、どのような電子機器にも適用することが可能であることはもちろんである。例えば、光ディスク再生機器等にも対応可能である。
【００８３】
また、各実施の形態では、制御信号（リモコン信号）を送信するための無線通信手段として赤外線を用いる例を説明したが、他のどのような無線通信手段を用いても同様に実現できる。
【００８４】
さらに、メディエータ１に入力させる映像音声信号は、アナログ信号の場合を説明したが、これに限定しているわけではなく、ＨＤＭＩ規格やＤＶＩ規格等に沿ったデジタル信号でも構わない。デジタル信号の場合は、量子化ノイズを発生させる可能性のあるＡ／Ｄ変換器１１５を省略でき、映像認識処理を更に精度良く行うことができる。
【００８５】
また、機器制御情報記録部１２６に記録されているＧＵＩ情報とリモコンコード情報とは、インターネット９上にある図示しない外部の機器情報データベースサーバから、ブロードバンドルータ８、ＬＡＮ６を介してダウンロードすることで更新可能としても良い。これにより、ユーザが新たな録画機器を追加した場合でも、メディエータ１は、この追加された録画機器用のＧＵＩ情報とリモコンコード情報とをダウンロードすることで、この追加された録画機器に対応することが可能となる。
【００８６】
また、制御対象の電子機器が、リモコン操作に反応してチャイム音等などの音声を発する機能がある場合には、映像認識処理と併せてこの音声による音声認識処理も行ない、この音声認識した情報を前記映像認識のための情報の１つとして用いることで、より認識の精度を向上させたり、認識処理の負荷の軽減を図ったりすることが可能となる。
【００８７】
以上説明した実施形態の電子機器の制御装置においては、図２における、機器制御情報記憶部１２６で、前記第１のＧＵＩ機能によって前記電子機器から出力される複数のＧＵＩ画面をそれぞれ認識するための情報であるＧＵＩ情報と前記リモコン機能に対応したリモコンコード情報とをそれぞれ記憶する制御情報記憶手段を構成している。
【００８８】
赤外線受信部１１８と、制御ＣＰＵ１１７と、グラフィクス生成部１２２と、映像音声出力部１２３と、出力端子１２４とで、ユーザが、本制御装置が有する１種類のみのＧＵＩ機能である第２のＧＵＩ機能を用いて入力した、前記電子機器に所望の動作を行なわせるための操作情報を記憶する操作情報入力記憶手段を構成している。
【００８９】
制御ＣＰＵ１１７で、前記電子機器に対応する前記ＧＵＩ情報を用いて、前記電子機器から出力されるＧＵＩ画面が前記複数のＧＵＩ画面のうちどのＧＵＩ画面なのかを認識し、この認識したＧＵＩ画面に含まれる選択可能な領域を認識し、更に、前記選択可能な領域のうち、現在選択されている１つの選択領域を認識する処理である映像認識処理を行う映像認識手段を構成している。
【００９０】
制御ＣＰＵ１１７と、リモコン信号切替部１１９と、第一赤外線送信部１２０と、第二赤外線送信部１２１とで、前記電子機器に対応する前記リモコンコード情報を用いて、前記ＧＵＩ画面を変更する操作と、前記選択領域を変更する操作と、前記選択領域を決定する操作とにそれぞれ対応するリモコン信号を、前記電子機器に送信する処理であるリモコン信号送信処理を行うリモコン信号送信手段を構成している。
【００９１】
制御ＣＰＵ１１７で、前記操作情報入力記憶手段に記憶されている前記操作情報に基づいて、前記リモコン信号送信手段と前記映像認識手段とを用いて、前記リモコン信号送信処理と前記映像認識処理とを前記第１のＧＵＩ機能で定まるシーケンスに沿って実行し、前記操作情報に対応する前記所望の操作を前記電子機器に実行させる制御手段を構成している。
【００９２】
なお、本発明は上記した装置の機能をコンピュータに実現させるためのプログラムを含むものである。これらのプログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
【図面の簡単な説明】
【００９３】
【図１】本発明の一実施形態である制御装置と各録画機器等との接続図である。
【図２】本発明の一実施形態の構成図である。
【図３】一実施形態の制御フローを示すシーケンス図である。
【図４】一実施形態が出力するＧＵＩ画面の例である。
【図５】第一録画機器４のＧＵＩ画面の例である。
【図６】第一録画機器４のＧＵＩ画面の例である。
【図７】第一録画機器４のＧＵＩ画面の例である。
【図８】第一録画機器４のＧＵＩ画面の例である。
【図９】ＧＵＩ情報の例である。
【図１０】本発明の一実施形態の構成図である。
【図１１】一実施形態の制御フローを示すシーケンス図である。
【図１２】第一録画機器４のＧＵＩ画面の例である。
【図１３】第一録画機器４のＧＵＩ画面の例である。
【符号の説明】
【００９４】
１  メディエータ
２  リモコン
３  テレビ
４  第一録画機器
５  第二録画機器
６  ＬＡＮ
７  ＰＣ
８  ブロードバンドルータ
９  インターネット
１０  携帯電話網
１１  携帯電話
１２  第三録画機器
１１２  第一映像音声入力部
１１３  第二映像音声入力部
１１４  映像音声入力切替部
１１５  Ａ／Ｄ変換器
１１６  映像メモリ
１１７  制御ＣＰＵ
１１８  赤外線受信部
１１９  リモコン信号切替部
１２０  第一赤外線送信部
１２１  第二赤外線送信部
１２２  グラフィクス生成部
１２３  映像音声出力部
１２４  出力端子
１２５  ネットワークインタフェース部
１２６  機器制御情報記憶部
３０  色情報および形状抽出部
３１  ＧＵＩ情報記憶部
３２  リモコンコード記憶部
【図１】
2010050792.tif 000003
【図２】
2010050792.tif 000004
【図３】
2010050792.tif 000005
【図４】
2010050792.tif 000006
【図５】
2010050792.tif 000007
【図６】
2010050792.tif 000008
【図７】
2010050792.tif 000009
【図８】
2010050792.tif 000010
【図９】
2010050792.tif 000011
【図１０】
2010050792.tif 000012
【図１１】
2010050792.tif 000013
【図１２】
2010050792.tif 000014
【図１３】
2010050792.tif 000015