(57)【要約】【課題】本発明は、情報処理方法及び装置を提供する。【解決手段】かかる情報処理方法は、レイアウトが良好なユーザ・インターフェースを訓練集合として収集し；前記訓練集合中の各ユーザ・インターフェースから、ユーザ・インターフェース・レイアウトを示し且つ所定順序がある要素を抽出して要素シーケンスを形成し；及び、前記要素シーケンスをニューラル・ネットワークに入力して訓練を行い、ユーザ・インターフェース・レイアウト・モデルを得ることを含む。【選択図】図１
2019133647.tif 000002
【特許請求の範囲】
【請求項１】
情報処理方法であって、
レイアウトが良好なユーザ・インターフェースを訓練集合として収集し；
前記訓練集合中の各ユーザ・インターフェースから、ユーザ・インターフェース・レイアウトを示し且つ所定順序がある要素を抽出して要素シーケンスを形成し；及び
前記要素シーケンスをニューラル・ネットワークに入力して訓練を行い、ユーザ・インターフェース・レイアウト・モデルを得ることを含む、方法。
【請求項２】
請求項1に記載の方法であって、
レイアウトが良好なユーザ・インターフェースを含む訓練集合中の各ユーザ・インターフェースから、ユーザ・インターフェース・レイアウトを示し且つ所定順序がある要素を抽出して要素シーケンスを形成することは、
前記ユーザ・インターフェースを示すソース・コードを解析し、全ての要素の、前記ユーザ・インターフェースを示すソース・コード中の位置の前後の順序に従って、前記要素シーケンスを取得し；及び／又は
前記ユーザ・インターフェースの画像を一組の要素に分割し、予め設定された順序に従って、全ての要素を並び替えることで、前記要素シーケンスを取得し；及び／又は
要素の、前記ユーザ・インターフェースに対応するDOM（document  object  model）ツリー中で深さ優先又は幅優先捜索を行うことで得られた順序に従って、前記要素シーケンスを取得することを含む、方法。
【請求項３】
請求項2に記載の方法であって、
前記要素シーケンスをニューラル・ネットワークに入力して訓練を行い、ユーザ・インターフェース・レイアウト・モデルを得ることは、
前記要素シーケンス中の各要素を、各要素の特性に基づいて、ベクトルとしてエンコードすることであって、前記特性は、要素の種類、要素の高さ、及び要素の幅を含むこと；及び
全てのエンコードされた要素のベクトルからなるレイアウト・ベクトルを前記ニューラル・ネットワークの入力として訓練を行うことであって、各前記ベクトルは、該要素の種類を示すワン・ホット・ベクトル、並びに、該要素の高さ及び該要素の幅をそれぞれ示す２つの値を含むことを含む、方法。
【請求項４】
請求項1に記載の方法であって、
前記訓練集合から要素の順序規則を抽出することをさらに含み、
前記訓練集合から要素の順序規則を抽出することは、
前記訓練集合中の少なくとも一部のユーザ・インターフェースに対応する要素シーケンスから、全ての順序有りの、２つの要素又はそれよりも多くの要素を含む順序有り要素組を抽出し；及び
１つの順序有り要素組の出現の総回数が第一所定閾値よりも大きいときに、該順序有り要素組中の要素の順序を１つの順序規則として記録することを含む、方法。
【請求項５】
情報処理方法であって、
評価待ちユーザ・インターフェース・レイアウトを示す評価待ち要素シーケンスを予め訓練されたユーザ・インターフェース・レイアウト・モデルに入力して検出を行い、レイアウト確率ベクトルを取得し；及び
前記レイアウト確率ベクトル中の最大確率が第二所定閾値よりも大きいときに、評価待ち要素シーケンスが合理的と見なすことを含む、方法。
【請求項６】
請求項5に記載の方法であって、
前記評価待ち要素シーケンスは、評価待ちユーザ・インターフェース・レイアウトを示す一組の順序有りユーザ・インターフェース要素を含み、又は、評価待ちユーザ・インターフェース・レイアウトの画像を分割して得られた一組の順序有りユーザ・インターフェース要素を含み、又は、評価待ちユーザ・インターフェース・レイアウトに対応するDOM（document  object  model）ツリー中で深さ優先又は幅優先捜索を行うことで得られた一組の順序有りユーザ・インターフェース要素を含む、方法。
【請求項７】
請求項5に記載の方法であって、
評価待ちユーザ・インターフェースを示す評価待ち要素シーケンスを予め訓練されたユーザ・インターフェース・レイアウト・モデルに入力して検出を行い、レイアウト確率ベクトルを得ることは、
前記評価待ち要素シーケンス中の各要素を、各要素の特性に基づいて、ベクトルとしてエンコードすることであって、前記特性は、要素の種類、要素の高さ、及び要素の幅を含むこと；及び
全てのエンコードされた要素のベクトルからなるレイアウト・ベクトルを前記ユーザ・インターフェース・レイアウト・モデルに入力して検出を行うことであって、各前記ベクトルは、該要素の種類を示すワン・ホット・ベクトル、並びに、該要素の高さ及び該要素の幅をそれぞれ示す２つの値を含むことを含む、方法。
【請求項８】
請求項5に記載の方法であって、
前記レイアウト確率ベクトル中の全ての確率値が全て第二所定閾値よりも小さいときに、評価待ち要素シーケンスが不合理的と見なし、前記評価待ち要素シーケンスを予め確定された順序規則に従って再び並び替えることをさらに含む、方法。
【請求項９】
請求項8に記載の方法であって、
前記順序規則は、
前記訓練集合中の少なくとも一部のユーザ・インターフェースを表すユーザ・インターフェース・レイアウトの要素シーケンスから、全ての順序有りの、２つの要素又はそれよりも多くの要素を含む順序有り要素組を抽出し；及び
１つの順序有り要素組の出現の総回数が第一所定閾値よりも大きいときに、該順序有り要素組中の要素の順序を１つの順序規則として記録することにより確定され、
前記訓練集合中のユーザ・インターフェースは、前記ユーザ・インターフェース・レイアウト・モデルを訓練するためのものである、方法。
【請求項１０】
情報処理装置であって、
評価待ちユーザ・インターフェース・レイアウトを示す評価待ち要素シーケンスを予め訓練されたユーザ・インターフェース・レイアウト・モデルに入力して検出を行い、レイアウト確率ベクトルを得る検出ユニット；及び
前記レイアウト確率ベクトル中の最大確率が第二所定閾値よりも大きいときに、評価待ち要素シーケンスが合理的と見なす評価ユニットを含む、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理分野に関し、特に、ユーザ・インターフェース・レイアウト・モデル（user  interface  layout  model）の訓練方法及びユーザ・インターフェース・レイアウトの評価方法と装置に関する。
【背景技術】
【０００２】
ユーザ・インターフェース（UI）が、アプリケーション・プログラム（又は、ウェブ・サイト）にとって重要である。合理的なユーザ・インターフェースを設計することにより、ユーザがアプリケーション・プログラムを用いるようにさせることができる。ユーザ・インターフェースの設計の第一歩は、レイアウト（レイアウトとは、ユーザ・インターフェースの要素の相対位置、大小（サイズ）などを指す）の設計である。しかし、レイアウトの設計は、ゼロからスタートすることが容易でないので、かかる分野の専門家が長期の設計実践に基づいてまとめた設計規則（ルール）を参考にする必要がある。今まで、インターネット分野では、大量の優れたアプリケーション・プログラム又はウェブ・サイトが既に開発されている。ユーザ・インターフェースの設計者がこのようなインターフェース・レイアウトをもとに設計するのは、ゼロからスタートするよりも容易である。
【０００３】
よって、ユーザ・インターフェース・レイアウトの評価方法及び装置が望ましい。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、ユーザ・インターフェース・レイアウト・モデル（user  interface  layout  model）の訓練（training）方法及びユーザ・インターフェース・レイアウトの評価方法と装置を提供することにある。
【課題を解決するための手段】
【０００５】
本発明の一側面によれば、情報処理方法が提供され、該方法は、レイアウトが良好なユーザ・インターフェースを訓練集合として収集し；訓練集合中の各ユーザ・インターフェースから、ユーザ・インターフェース・レイアウトを示し且つ所定順序がある要素を抽出して要素シーケンスを形成し；及び、要素シーケンスをニューラル・ネットワークに入力して訓練を行い、ユーザ・インターフェース・レイアウト・モデルを得ることを含む。
【０００６】
本発明のもう１つの側面によれば、情報処理方法が提供され、該方法は、評価待ちユーザ・インターフェース・レイアウトを示す評価待ち要素シーケンスを、予め訓練されたユーザ・インターフェース・レイアウト・モデルに入力して検出を行い、レイアウト確率ベクトルを取得し；及び、レイアウト確率ベクトル中の最大確率が第二所定閾値よりも大きいときに、評価待ち要素シーケンスが合理的と見なすことを含む。
【０００７】
本発明の他の側面によれば、情報処理装置が提供され、該装置は、評価待ちユーザ・インターフェース・レイアウトを示す評価待ち要素シーケンスを、予め訓練されたユーザ・インターフェース・レイアウト・モデルに入力して検出を行い、レイアウト確率ベクトルを得る検出ユニット；及び、レイアウト確率ベクトル中の最大確率が第二所定閾値よりも大きいときに、評価待ち要素シーケンスが合理的と見なす評価ユニットを含む。
【０００８】
また、本発明の実施例は、さらに、上述の方法を実現するためのコンピュータ・プログラムを提供する。
【０００９】
また、本発明の実施例は、さらに、コンピュータ可読記憶媒体形式のコンピュータ・プログラム・プロダクトを提供し、その中には、上述の方法を実現するためのコンピュータ・プログラム・コードを記録している。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施例によるユーザ・インターフェース・レイアウト・モデルの訓練のための情報処理方法100のフローチャートである。
【図２】ユーザ・インターフェース・レイアウトの一例を示す図である。
【図３】本発明のもう１つの実施例によるユーザ・インターフェース・レイアウトの評価のための情報処理方法300のフローチャートである。
【図４Ａ】レイアウト・モデルにより順序が不合理的と評価されたユーザ・インターフェース・レイアウトの一例を示す図である。
【図４Ｂ】レイアウト・モデルにより出力された確率ベクトル中の最大確率に対応するユーザ・インターフェース・レイアウトの一例を示す図である。
【図５】本発明の他の実施例によるユーザ・インターフェース・レイアウトの評価のための情報処理装置500の構成図である。
【図６】本発明の他の実施例によるユーザ・インターフェース・レイアウトの評価のための情報処理装置600の構成図である。
【図７】本発明の他の実施例によるユーザ・インターフェース・レイアウトの評価のための情報処理装置700の構成図である。
【図８】ユーザ・インターフェースの合理性を評価し、ユーザ・インターフェース・レイアウトを推薦するシステムの一例を示す図である。
【図９】本発明による方法及び装置の実施に用いられ得る計算装置の例示的な構成図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、本発明の実施例によるユーザ・インターフェース・レイアウト・モデルの訓練方法及びユーザ・インターフェースの評価方法と装置を詳しく説明する。
【００１２】
なお、以下、次のような順序、即ち、
1．ユーザ・インターフェース・レイアウト・モデルの訓練のための情報処理方法
2．ユーザ・インターフェース・レイアウトの評価のための情報処理方法
3．ユーザ・インターフェース・レイアウトの評価のための情報処理装置
4．本発明によう方法及び装置の実施に用いられ得る計算装置
という順序に従って説明を行う。
＜1．ユーザ・インターフェース・レイアウト・モデルの訓練のための情報処理方法＞
図1は、本発明の一実施例におけるユーザ・インターフェース・レイアウト・モデルの訓練のための情報処理方法100のフローチャートである。以下、図1に基づいて、情報処理方法100のプロセスを詳細に説明する。
【００１３】
先ず、ステップS102では、レイアウトが良好なユーザ・インターフェースを訓練集合として収集する。
【００１４】
続いて、ステップS104では、訓練集合中の各ユーザ・インターフェースから、ユーザ・インターフェース・レイアウトを示し且つ所定順序がある要素を抽出して要素シーケンスを形成する。
【００１５】
例えば、ユーザ・インターフェースを表す（express）ソース・コードを解析し、全ての要素の、ユーザ・インターフェースを表すソース・コード中の位置の前後の順序に従って、要素シーケンスを得ることができる。
【００１６】
或いは、ユーザ・インターフェースの画像、例えば、スクリーン・ショット又はスナップ・ショットを一組の要素に分割し、そして、予め設定された順序に従って、全ての要素を並び替えることで、要素シーケンスを得ることができる。なお、当業者が理解すべきは、ユーザ・インターフェース・レイアウトの実際の状況に応じて、予め設定された順序は、例えば、「上から下へ、左から右へ」の順序であっても良く、「下から上、右から左へ」の順序であっても良い。
【００１７】
或いは、要素の、ユーザ・インターフェースに対応するドキュメント・オブジェクト・モデル（DOM）・ツリー（tree）中で深さ優先（depth-first）又は幅優先（breadth-first）探索を行うことで得られた順序に従って、要素シーケンスを得ることができる。
【００１８】
訓練集合中のユーザ・インターフェースの訓練サンプルは、上述の３種類のうちの任意の１つ又は複数であっても良い。
【００１９】
図2は、ユーザ・インターフェース・レイアウトの一例を示す図である。図2に示すユーザ・インターフェースから抽出された要素シーケンスは、Header->Body->Form->Form->CheckBox->Link->Button->Label->TextAreaである。
【００２０】
最後に、ステップS106では、要素シーケンスをニューラル・ネットワークに入力して訓練を行い、ユーザ・インターフェース・レイアウト・モデルを取得する。
【００２１】
一例では、要素シーケンスを得た後に、要素シーケンス中の各要素を、各要素の特性に基づいて、ベクトルとしてエンコードし、そのうち、要素の特性は、例えば、要素の種類、要素の高さ、及び要素の幅を含んでも良く、それから、全てのエンコードされた要素のベクトルからならレイアウト・ベクトルをニューラル・ネットワークの入力として訓練を行う。
【００２２】
エンコード後の要素シーケンスは、１つのユーザ・インターフェース・レイアウトを示し、そのうち、エンコード後の各要素は、２つの部分からなる。第一部分は、ワン・ホット（one-hot）・コード・ベクトルであり、該ベクトルの長さは、収集された全てのユーザ・インターフェース中の要素種類の総数であり、該ベクトル中には、該要素に対応する種類の所在位置のみの値が1であり、他の位置の値が0である。第二部分は、要素の高さ及び幅の２つの値からなる。この２つの部分をつなぎ合わせて１つのベクトルを成し、各要素の最終ベクトル表現（expression）とする。
【００２３】
このような表現方法に基づいて、図2のユーザ・インターフェース・レイアウトは、(1,0,0,0,0,0,0,0,0.3,1)->(0,1,0,0,0,0,0,0,0.7,1)->(0,0,1,0,0,0,0,0,0.1,0.4)->(0,0,1,0,0,0,0,0,0.1,0.3)->(0,0,0,1,0,0,0,0,0.1,0.3)->(0,0,0,0,1,0,0,0,0.1,0.2)->(0,0,0,0,0,1,0,0,0.1,0.2)->(0,0,0,0,0,0,1,0,0.1,0.2)->(0,0,0,0,0,0,0,1,0.4,0.9)と表すことができる。
【００２４】
具体的には、図2に示すユーザ・インターフェース・レイアウトは、8個の要素種類を含み、ここで、これを例とすると、ワン・ホット・ベクトルは、8次元になるが、理解すべきは、これは、例示に過ぎず、本発明は、これに限定されない。実際に、ワン・ホット・ベクトルの長さは、収集された全てのユーザ・インターフェース中の要素種類の総数である。Headerに対応するベクトル(1,0,0,0,0,0,0,0,0.3,1)には、Headerの要素種類に対応する第1個目の値が1であり、第2〜8個目の値が全て0であり、第9個目の値がHeaderの高さであり、第10個目の値がHeaderの幅であり、そのうち、高さ及び幅の値は、正規化されている。
【００２５】
要素シーケンス中の全ての要素のベクトルを組み合せ、例えば、要素シーケンスの順序に従ってつなぎ合わせることで、ユーザ・インターフェース・レイアウトに対応するレイアウト・ベクトルを形成することができる。
【００２６】
ユーザ・インターフェースの要素の相対位置には、要素の順序が含蓄されており、また、再帰型ニューラル・ネットワーク（RNN）が、順序有り対象の規則を明らかにすることができるモデリング・ツールである。よって、好ましくは、訓練集合中の全ての良好なユーザ・インターフェース・レイアウトの、エンコード後のレイアウト・ベクトルを、再帰型ニューラル・ネットワーク（RNN）に入力することで、レイアウト・モデルを訓練する。
【００２７】
各ユーザ・インターフェース・レイアウトについて、各時間ステップ（time  step）で、RNNのユニット（cell）が１つの要素を受け、最後の１つの要素を受けたら、１つのレイアウトに対しての処理が完了する。
【００２８】
RNNの最後の１つの時間ステップでの出力が非線形処理を経た後に、１つの確率ベクトルを予測ベクトルとして取得することができ、ベクトルの各位置の値は、１つのレイアウトの確率を表し、確率ベクトルの長さは、訓練のために用いられるユーザ・インターフェース・レイアウトの数である。
【００２９】
各ユーザ・インターフェース・レイアウトは、１つのベクトルに対応し、該ベクトルの長さは、訓練のために用いられるユーザ・インターフェース・レイアウトの数であり、そのうち、現在のレイアウトの所在位置のみの値が1であり、他の位置の値が0である。該ベクトルと予測ベクトルとの差がモデルの損失であり、数値最適化アルゴリズム（例えば、勾配降下法など）を用いて、該損失を最小化することで、モデルのパラメータを取得し、そして、レイアウト・モデルの数学表現（expression）を得ることができる。そのうち、本発明と直接関係がない具体的な処理は、当業者が実際のニーズに応じて、適切な従来技術を採用することで実現し得るので、ここでは、その詳しい説明を省略する。
【００３０】
一例では、訓練集合中から要素順序規則を抽出することができる。具体的には、要素シーケンス（例えば、図2に示す要素シーケンスHeader->Body->Form->Form->CheckBox->Link->Button->Label->TextArea）を得た後に、各順序有りシーケンスについて、順序有り要素の二元組（バイグラム（bigram））、例えば、Header->Body、Body->Form、Label->TextAreaなどを抽出する。訓練集合中の少なくとも一部のユーザ・インターフェース・レイアウトに含まれる全ての順序有り要素組について、抽出された順序有り要素バイグラムの出現の回数が所定閾値を超えた場合、該順序有り要素バイグラムを１つの要素順序規則として記録する。当業者が理解すべきは、２つの要素よりも多くの要素の順序有り要素組を抽出し、該順序有り要素組の出現の回数が所定閾値を超えたときに、該順序有り要素組を１つの要素順序規則として記録しても良い。また、理解すべきは、例えば、訓練集合中の全てのユーザ・インターフェース・レイアウトに対して上述の要素順序規則の抽出処理を行うことができる。
【００３１】
図1に示す情報処理方法によれば、１つの訓練されたユーザ・インターフェース・レイアウト・モデルを得ることができ、そして、該ユーザ・インターフェース・レイアウト・モデルを用いて、ユーザ入力の評価待ちユーザ・インターフェース・レイアウトが合理的であるかを評価することができる。
＜2．ユーザ・インターフェース・レイアウトの評価のための情報処理方法＞
図3は、本発明のもう１つの実施例におけるユーザ・インターフェース・レイアウトの評価のための情報処理方法300のフローチャートである。以下、図3に基づいて、情報処理方法300のプロセスを詳しく説明する。
【００３２】
ステップS302では、評価待ちユーザ・インターフェース・レイアウトを示す評価待ち要素シーケンスを、予め訓練されたユーザ・インターフェース・レイアウト・モデルに入力して検出を行い、レイアウト確率ベクトルを取得する。例えば、上述の図1〜図2に基づいて説明されている実施例で得られたユーザ・インターフェース・レイアウト・モデルを用いても良い。
【００３３】
そのうち、評価待ち要素シーケンスは、評価待ちユーザ・インターフェース・レイアウトを示す一組の順序有りユーザ・インターフェース要素を含み、或いは、評価待ちユーザ・インターフェース・レイアウトの画像（例えば、ユーザ・インターフェースのスクリーン・ショット又はスナップ・ショット）を分割して得られた一組の順序有りユーザ・インターフェース要素を含み、或いは、評価待ちユーザ・インターフェース・レイアウトに対応するDOMツリーにおいて深さ優先又は幅優先捜索を行うことで得られた一組の順序有りユーザ・インターフェース要素を含む。
【００３４】
一例では、評価待ち要素シーケンス中の各要素を、各要素の特性（例えば、要素の種類、要素の高さ、要素の幅など）に基づいて、ベクトルとしてエンコードし、そして、全てのエンコードされた要素のベクトルからなるレイアウト・ベクトルを、予め訓練されたユーザ・インターフェース・レイアウト・モデルに入力して検出を行う。
【００３５】
エンコード後の要素シーケンスは、１つのユーザ・インターフェース・レイアウトを示し、そのうち、エンコード後の各要素は、２つの部分からなる。第一部分は、１つのワン・ホット・エンコード・ベクトルであり、該ベクトルの長さは、収集されたユーザ・インターフェース・レイアウト・モデルの訓練のための全てのユーザ・インターフェース中の要素種類の総数であり、ベクトル中には、該要素に対応する種類の所在位置のみの値が1であり、他の位置の値が0である。第二部分は、要素の高さ及び幅の２つの値からなる。２つの部分をつなぎ合わせて１つのベクトルを成し、各要素の最終ベクトル表現とする。要素シーケンス中の全ての要素のベクトルを組み合せることで、評価待ちユーザ・インターフェース・レイアウトに対応するレイアウト・ベクトルを形成することができる。
【００３６】
上述した、評価待ちユーザ・インターフェース・レイアウトを示す評価待ち要素シーケンスを抽出し、評価待ち要素シーケンス中の各要素をエンコードしてレイアウト・ベクトルを形成する処理は、例えば、上述の図1〜図2に基づいて説明されている実施例中の対応する処理と同じ方法で実現することができるため、ここでは、その詳しい説明を省略する。
【００３７】
続いて、ステップS304では、レイアウト確率ベクトル中の最大確率が第二所定閾値よりも大きいときに、評価待ち要素シーケンスが合理的と見なす（認める）。
【００３８】
具体的には、評価待ちユーザ・インターフェースを表す評価待ち要素シーケンスをユーザ・インターフェース・レイアウト・モデルに入力し、モデルは、入力された評価待ちユーザ・インターフェース・レイアウトに対して評価を行うことができる。評価待ちユーザ・インターフェース要素シーケンスについて、レイアウト・モデルが出力したレイアウト確率ベクトルに基づいて、最大の確率の値を見つけ、該値が所定閾値（例えば、0.6）よりも大きい場合、入力されたユーザ・インターフェース要素シーケンスの順序が合理的と認め、これにより、評価待ちユーザ・インターフェース・レイアウトが合理的と見なすことができる。そのうち、所定閾値は、経験値又は有限回の試験に基づいて設定することができる。
【００３９】
一例では、さらに、最大確率に対応するユーザ・インターフェース・レイアウトを、ユーザに、推薦待ちユーザ・インターフェースとして推薦することができ、ユーザは、推薦されたユーザ・インターフェース・レイアウトに基づいて、この組の要素を配置することができる。
【００４０】
オプションとして、レイアウト確率ベクトル中の全ての確率が全て所定閾値よりも小さいときに、評価待ち要素シーケンスの順序が不合理的と見なす。この場合、さらに、評価待ち要素シーケンスに対して、予め設定された順序規則に従って、再び並び替えを行うことができる。再び並び替えられた後の要素シーケンスは、もう一回レイアウト・モデルに評価してもらうことができる。また、このような処理は、レイアウト・モデルにより出力されたレイアウト確率ベクトル中の最大確率が所定閾値よりも大きくなるまで行うことができる。
【００４１】
例えば、上述の図1〜図2に基づいて説明されている実施例における要素順序規則取得方法により、１つの要素順序規則集合を得ることができる。再び並び替えを行う必要がある評価待ち要素シーケンスについて、要素順序規則集合中の各規則を逐一チェックし、評価待ち要素シーケンスが規則に違反するかを判断し、違反した場合、規則に合致していない２つの要素の位置を交換する。一例として、Body->Header->Form->・・・->Link->・・・が規則Header->Bodyに違反している場合、再び並び替えられた後の要素シーケンスは、Header->Body->Form->・・・->Link->・・・になる。
【００４２】
図4Aは、レイアウト・モデルにより、評価待ち要素シーケンス中の要素の順序が不合理的と評価されたユーザ・インターフェース・レイアウトの一例を示す図である。要素順序規則に従って評価待ち要素シーケンスを再び並び替えた後に得られた要素シーケンスは、図4Bに示すように、レイアウト・モデルにより合理的と評価されている。さらに、合理的と評価された図4Bに示すユーザ・インターフェース・レイアウトの、レイアウト・モデルにより出力されたベクトル中の最大確率に対応するユーザ・インターフェース・レイアウトを推薦することができる。
【００４３】
以上、評価待ちユーザ・インターフェース・レイアウトを示す評価待ち要素シーケンスを入力するケースを例として説明を行っているが、１つの評価待ちのユーザ・インターフェースのスクリーン・ショット又はスナップ・ショットの入力の場合、先ず、それを分割する必要があり、そして、予め設定された順序（例えば、「上から下へ、左から右へ」の順序、又は、「下から上へ、右から左へ」の順序）に従って、分割後の要素を並び替え、ユーザ・インターフェース・レイアウトの評価待ち要素シーケンスを取得することができ、その後の処理は、上述の、評価待ちユーザ・インターフェース・レイアウトを示す評価待ち要素シーケンスを入力するときと同じである。
【００４４】
また、評価待ちユーザ・インターフェース・レイアウトに対応するDOMツリーを入力する場合、先ず、DOMツリー中で深さ優先又は幅優先捜索を行い、ユーザ・インターフェース・レイアウトの評価待ち要素シーケンスを取得することができ、その後の処理は、上述の、評価待ちユーザ・インターフェース・レイアウトを示す評価待ち要素シーケンスを入力するときと同じである。
【００４５】
本発明では、訓練により得られたレイアウト・モデルを用いて、ユーザ・インターフェースが合理的かを評価することができ、また、さらに設計が不合理的なユーザ・インターフェースに合理的なレイアウトを推薦することができる。レイアウト・モデルにより、設計者がゼロからスタートしてインターフェース・レイアウトを設計する必要がなく、また、再帰型ニューラル・ネットワークにより、ユーザ・インターフェース・レイアウトの明示的設計規則を暗示的規則と示した後に、規則抽出の手動操作への依存度を低減することもできる。
＜3．ユーザ・インターフェース・レイアウトの評価のための情報処理装置＞
図5は、本発明の他の実施例におけるユーザ・インターフェース・レイアウトの評価のための情報処理装置500の構成図である。
【００４６】
図5に示すように、情報処理装置500は、検出ユニット502及び評価ユニット504を含む。
【００４７】
検出ユニット502は、評価待ちユーザ・インターフェース・レイアウトを示す評価待ち要素シーケンスを、予め訓練されたユーザ・インターフェース・レイアウト・モデルに入力して検出を行い、レイアウト確率ベクトルを得るために構成される。
【００４８】
評価ユニット504は、レイアウト確率ベクトル中の最大確率が第二所定閾値よりも大きいときに、評価待ち要素シーケンスが合理的と見なすように構成される。
【００４９】
そのうち、評価待ち要素シーケンスは、評価待ちユーザ・インターフェース・レイアウトを示す一組の順序有りのユーザ・インターフェース要素を含み、或いは、評価待ちユーザ・インターフェース・レイアウトの画像を分割して得られた一組の順序有りのユーザ・インターフェース要素を含み、或いは、評価待ちユーザ・インターフェース・レイアウトに対応するDOMツリー中で深さ優先又は幅優先捜索を行うことで得られた一組の順序有りのユーザ・インターフェース要素を含む。
【００５０】
一例では、検出ユニットは、さらに、評価待ち要素シーケンス中の各要素を、各要素の特性（例えば、要素の種類、要素の高さ、要素の幅など）に基づいて、ベクトルとしてエンコードし、そして、全てのエンコードされた要素のベクトルからなるレイアウト・ベクトルを、予め訓練されたユーザ・インターフェース・レイアウト・モデルに入力するように構成される。そのうち、各要素に対応するベクトルは、該要素の種類を示すワン・ホット・ベクトル、及び、該要素の高さと該要素の幅をそれぞれ示す２つの値を含む。
【００５１】
図6は、本発明の他の実施例におけるユーザ・インターフェース・レイアウトの評価のための情報処理装置600の構成図である。
【００５２】
図6に示す例では、情報処理装置600は、検出ユニット602、評価ユニット604、並び替えユニット606、及び順序確定ユニット608を含む。検出ユニット602及び評価ユニット604は、図5に基づいて説明されている検出ユニット502及び評価ユニット504の機能と同様であるため、ここでは、その詳しい説明を省略する。
【００５３】
図6に示す並び替えユニット606は、次のように構成され、即ち、レイアウト確率ベクトル中の全ての確率値が全て所定閾値よりも小さいときに、評価待ち要素シーケンスが不合理的と認め、そして、評価待ち要素シーケンスを、予め確定された順序規則に従って、再び並び替える。例えば、次のような順序規則確定ユニット608により、順序規則集合を生成することができる。
【００５４】
順序規則確定ユニット608は、次のように構成され、即ち、訓練集合中の少なくとも一部のユーザ・インターフェースのユーザ・インターフェース・レイアウトを示す要素シーケンスのうちから、全ての順序有りの、２つの要素又はそれよりも多くの要素を含む順序有り要素組を抽出し；及び、１つの順序有り要素組の出現の総回数が第一所定閾値よりも大きいときに、該順序有り要素組中の要素の順序を１つの順序規則として記録し、そのうち、訓練集合中のユーザ・インターフェースは、上記ユーザ・インターフェース・レイアウト・モデルを訓練するためのものである。理解すべきは、例えば、訓練集合中の全てのユーザ・インターフェース・レイアウトに対して、上述の要素順序規則の抽出処理を行うことができる。
【００５５】
図7は、本発明の他の実施例におけるユーザ・インターフェース・レイアウトの評価のための情報処理装置700の構成図である。
【００５６】
図7に示す例では、情報処理装置700は、検出ユニット702、評価ユニット704、並び替えユニット706、順序確定ユニット708、及び推薦ユニット710を含む。検出ユニット702、評価ユニット704、並び替えユニット706、及び順序確定ユニット708は、図5に基づいて説明されている検出ユニット502、評価ユニット504、及び、図6に基づいて説明されている並び替えユニット606、順序確定ユニット608の機能と同様であるため、ここでは、その詳しい説明を省略する。
【００５７】
図7に示す推薦ユニット710は、次のように構成され、即ち、レイアウト確率ベクトル中の最大確率に対応するユーザ・インターフェース・レイアウトを、推薦待ちユーザ・インターフェース・レイアウトとして確定し、ユーザに推薦する。
【００５８】
当業者が理解すべきは、本発明の他の実施例では、情報処理装置700は、並び替えユニット及び順序確定ユニットを含まず、検出ユニット、評価ユニット、及び推薦ユニットのみを含んでも良いが、ここでは、その詳しい説明を省略する。
【００５９】
情報処理装置500、600、700の各部分の操作及び機能の細部は、例えば、図1〜図4に基づいて説明されている、本発明のユーザ・インターフェース・レイアウト・モデルの訓練のための情報処理方法、及び、ユーザ・インターフェース・レイアウトの評価のための情報処理方法の実施例中の関連部分と同じであり又は類似したので、ここでは、その詳しい説明を省略する。
【００６０】
なお、図5〜図7に示す情報処理装置500、600、700及びその構成ユニットの構造は、例示に過ぎず、当業者は、ニーズに応じて、図5〜図7に示す構造に対して適切に変更を行っても良い。
【００６１】
図8は、本発明の実施例による、ユーザ・インターフェース・レイアウト・モデルの訓練、ユーザ・インターフェースの合理性の評価、及びユーザ・インターフェース・レイアウトの推薦の三者を統合するシステムの１つの具体例を示す図である。本例では、ユーザ・インターフェース・レイアウト又は一組のユーザ・インターフェース・レイアウト要素の順序の合理性の評価、及び、合理的なユーザ・インターフェース・レイアウトの推薦を実現することができる。
【００６２】
図8に示す例では、先ず、レイアウトが良好なユーザ・インターフェースを含む訓練集合を取得し；訓練集合中のユーザ・インターフェースについて、要素の、ユーザ・インターフェースを示すソース・コード中の位置の前後の順序、或いは、ユーザ・インターフェースの画像を一組の要素に分割して予め設定された順序（例えば、「左から右へ、上から下へ」の順序、又は、「右から左へ、下から上へ」の順序）、或いは、要素の、ユーザ・インターフェースに対応するドキュメント・オブジェクト・モデル（DOM）・ツリー中で深さ優先又は幅優先捜索を行うことで得られた順序に従って要素を並び替え、そして、全てのユーザ・インターフェース・サンプルに対応する順序有りの要素シーケンスを、例えば、上述の図1〜図2に基づいて説明されている実施例中の方法を用いてエンコードし、その後、ニューラル・ネットワークに入力して訓練を行い、ユーザ・インターフェース・レイアウト・モデルを取得する（802中の処理）。
【００６３】
訓練によりユーザ・インターフェース・レイアウト・モデルを得た後に、例えば、上述の図1〜図2に基づいて説明されている実施例中の方法により、訓練集合が格納されているレイアウト・データベースから、訓練集合中の少なくとも一部のユーザ・インターフェース・レイアウト又は訓練集合中の全てのユーザ・インターフェース・レイアウトについて、要素順序規則を抽出する（804中の処理）。
【００６４】
評価待ちユーザ・インターフェース・レイアウトに対しての評価の処理では、評価待ちユーザ・インターフェース・レイアウトを示す評価待ち要素シーケンスを、ユーザ・インターフェース・レイアウト・モデルに入力し、該入力が合理的であるかに関する評価結論を得ることができ、合理的である場合、ユーザ・インターフェース・レイアウト・モデルが出力したユーザ・インターフェース・レイアウトを推薦する（806中の処理）。
【００６５】
評価結果が不合理的である場合、該要素シーケンスに対して再び並び替えを行い（808中の処理）、そして、再び並び替えられた後の要素シーケンスがユーザ・インターフェース・レイアウト・モデルにより合理的と判断された後に、806のところでユーザ・インターフェース・レイアウトを推薦する。
【００６６】
また、１つの評価待ちユーザ・インターフェース画像（スクリーン・ショット又はスナップ・ショット）を入力する場合、先ず、それを分割する必要があり、そして、予め設定された順序（例えば、「上から下へ、左から右へ」の順序、或いは、「下から上へ、右から左へ」の順序）に従って、分割後の要素を並び替え、評価待ち要素シーケンスを取得することができ、その後の処理は、上述の、評価待ちユーザ・インターフェース・レイアウトを示す評価待ち要素シーケンスを入力するときと同じであるため、ここでは、その詳しい説明を省略する。
【００６７】
理解すべきは、入力が、評価待ちユーザ・インターフェース・レイアウトに対応するDOMツリーの場合、先ず、DOMツリー中で深さ優先又は幅優先捜索を行い、ユーザ・インターフェース・レイアウトの評価待ち要素シーケンスを取得することができ、その後の処理は、上述の、評価待ちユーザ・インターフェース・レイアウトを示す評価待ち要素シーケンスを入力するときと同じであるため、ここでは、その詳しい説明を省略する。
【００６８】
図8に示す例は、ユーザ・インターフェース・レイアウト・モデルの訓練、評価待ちユーザ・インターフェース・レイアウトの合理性の確定、及びレイアウトが良好なユーザ・インターフェース・レイアウトの推薦を統合したものであるが、当業者が理解すべきは、これらの機能は、独立して存在し実施することもできる。
＜4．本発明による方法及び装置の実施に用いられ得る計算装置＞
以上、具体的な実施例に基づいて本発明の基本原理を説明したが、当業者は、本発明による方法及び装置の全部或いは任意のテップ又は部品は、任意の計算装置（処理器、記憶媒体などを含む）或いは計算装置のネットワーク中で、ハードウェア、ファームウェア、ソフトウェア或いはそれらの組み合わせにより実現することができる。これは、当業者が本発明の説明を読んだ上で基本プログラミング・スキーを発揮することで実現することができる。
【００６９】
よって、本発明の目的は、さらに、任意の計算装置上で１つのプログラム或いは一組のプログラムを行うことにより実現されることにある。このような計算装置は、公知の汎用装置であっても良い。また、本発明の目的は、上述の方法或いは装置を実現するためのプログラム・コードを含むプログラム・プロダクトにより実現されることにある。言い換えると、このようなプログラム・プロダクトも本発明を構成し、また、このようなプログラム・プロダクトを記憶した記憶媒体も本発明を構成する。もちろん、このような記憶媒体は、公知の任意の記憶媒体或いは将来に開発される任意の記憶媒体であっても良い。
【００７０】
ソフトウェア及び／又はファームウェアにより本発明の実施例を実現する場合、記憶媒体又はネットワークから、専用ハードウェア構造を有するコンピュータ、例えば、図9に示す汎用コンピュータ900に、該ソフトウェアを構成するプログラムをインストールし、該コンピュータは、各種のプログラムがインストールされているときに、各種の機能などを実行することができる。
【００７１】
図9では、中央処理装置（CPU）901は、ROM  902に記憶されているプログラム、又は、記憶部908からRAM  903にロードされているプログラムに基づいて、各種の処理を行う。RAM  903には、必要に応じて、CPU  901が各種の処理を実行する時に必要なデータを記憶しても良い。なお、CPU  901、ROM  902、及びRAM  903は、バス904を経由して接続される。また、入力／出力インターフェース905も、バス904に接続される。
【００７２】
また、次のような部品は、入力／出力インターフェース905に接続され、即ち、入力部906（キーボード、マウスなどを含む）、出力部907（表示器、例えば、CRT、LCDなど、及びスピーカーなどを含む）、記憶部908（ハードディスクなどを含む）、及び通信部909（ネットワーク・インターフェース・カード、例えば、LANカード、モデムなどを含む）というような部品である。通信部909は、ネットワーク、例えば、インターネットを経由して通信処理を行う。なお、必要に応じて、ドライブ910を入力／出力インターフェース905に接続させても良い。取り外し可能な媒体911、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶器などは、必要に応じて、ドライブ910にセットされ、その中から読み出されたコンピュータ・プログラムが必要に応じて記憶部908にインスタールされるようにさせることができる。
【００７３】
ソフトウェアにより上述の一連の処理を実現する場合、ネットワーク、例えば、インターネット、又は記憶媒体、例えば、取り外し可能な媒体911から、ソフトウェアを構成するプログラムをインストールすることができる。
【００７４】
なお、当業者が理解すべきは、このような記憶媒体は、図9に示すような取り外し可能な911に限定されない。取り外し可能な媒体911は、例えば、磁気ディスク（フロッピーディスク（登録商標）を含む）、ディスク（CD-ROM及びDVDを含む）、光磁気ディスク（MD（登録商標）を含む）、及び半導体記憶器を含む。或いは、記憶媒体は、ROM  902、記憶部分908中のハードディスクなどであっても良い。
【００７５】
本発明は、さらに、マシン可読指令コードを含むプログラムプロダクト（プログラム）に関する。指令コードは、マシン（例えば、コンピュータ）により読み出されて実行されるときに、前述の実施例における方法を実行することができる。
【００７６】
それ相応に、前述のようなマシン可読取指令コードを含むプログラムプロダクトを記憶した記憶媒体も本発明の開示に含まれる。該記憶媒体は、フロッピーディスク、光ディスク、光磁気ディスク、メモリカードなどを含むが、これらに限定されない。
【００７７】
また、上述の実施例などに関し、さらに次のように付記を開示する。
【００７８】
（付記1）
情報処理方法であって、
レイアウトが良好なユーザ・インターフェースを訓練集合として収集し；
前記訓練集合中の各ユーザ・インターフェースから、ユーザ・インターフェース・レイアウトを示し且つ所定順序がある要素を抽出して要素シーケンスを形成し；及び
前記要素シーケンスをニューラル・ネットワークに入力して訓練を行い、ユーザ・インターフェース・レイアウト・モデルを得ることを含む、方法。
【００７９】
（付記2）
付記1に記載の方法であって、
レイアウトが良好なユーザ・インターフェースを含む訓練集合中の各ユーザ・インターフェースから、ユーザ・インターフェース・レイアウトを示し且つ所定順序がある要素を抽出して要素シーケンスを形成することは、
前記ユーザ・インターフェースを示すソース・コードを解析し、全ての要素の、前記ユーザ・インターフェースを示すソース・コード中の位置の前後の順序に従って、前記要素シーケンスを取得し；及び／又は
前記ユーザ・インターフェースの画像を一組の要素に分割し、予め設定された順序に従って、全ての要素を並び替えることで、前記要素シーケンスを取得し；及び／又は
要素の、前記ユーザ・インターフェースに対応するDOMツリー中で深さ優先又は幅優先捜索を行うことで得られた順序に従って、前記要素シーケンスを取得することを含む、方法。
【００８０】
（付記3）
付記2に記載の方法であって、
前記要素シーケンスをニューラル・ネットワークに入力して訓練を行い、ユーザ・インターフェース・レイアウト・モデルを得ることは、
前記要素シーケンス中の各要素を、各要素の特性に基づいて、ベクトルとしてエンコードすることであって、前記特性は、要素の種類、要素の高さ、及び要素の幅を含むこと；及び
全てのエンコードされた要素のベクトルからなるレイアウト・ベクトルを前記ニューラル・ネットワークの入力として訓練を行うことであって、各前記ベクトルは、該要素の種類を表すワン・ホット・ベクトル、並びに、該要素の高さ及び該要素の幅をそれぞれ示す２つの値を含むことを含む、方法。
【００８１】
（付記4）
付記3に記載の方法であって、
前記ワン・ホット・ベクトルの長さは、収集された全てのユーザ・インターフェース中の要素種類の総数である、方法。
【００８２】
（付記5）
付記1に記載の方法であって、
前記ニューラル・ネットワークは、再帰型ニューラル・ネットワークである、方法。
【００８３】
（付記6）
付記1に記載の方法であって、
前記訓練集合から要素順序規則を抽出することをさらに含み、
前記訓練集合から要素順序規則を抽出することは、
前記訓練集合中の少なくとも一部のユーザ・インターフェースに対応する要素シーケンスから、全ての順序有りの、２つの要素又はそれよりも多くの要素を含む順序有り要素組を抽出し；及び
１つの順序有り要素組の出現の総回数が第一所定閾値よりも大きいときに、該順序有り要素組中の要素の順序を１つの要素順序規則として記録することを含む、方法。
【００８４】
（付記7）
情報処理方法であって、
評価待ちユーザ・インターフェース・レイアウトを示す評価待ち要素シーケンスを予め訓練されたユーザ・インターフェース・レイアウト・モデルに入力して検出を行い、レイアウト確率ベクトルを取得し；及び
前記レイアウト確率ベクトル中の最大確率が第二所定閾値よりも大きいときに、評価待ち要素シーケンスが合理的と見なすことを含む、方法。
【００８５】
（付記8）
付記7に記載の方法であって、
前記評価待ち要素シーケンスは、評価待ちユーザ・インターフェース・レイアウトを示す一組の順序有りユーザ・インターフェース要素を含み、又は、評価待ちユーザ・インターフェース・レイアウトの画像を分割して得られた一組の順序有りユーザ・インターフェース要素を含み、又は、評価待ちユーザ・インターフェース・レイアウトに対応するDOMツリー中で深さ優先又は幅優先捜索を行うことで得られた一組の順序有りユーザ・インターフェース要素を含む、方法。
【００８６】
（付記9）
付記7に記載の方法であって、
評価待ちユーザ・インターフェースを表す評価待ち要素シーケンスを予め訓練されたユーザ・インターフェース・レイアウト・モデルに入力して検出を行い、レイアウト確率ベクトルを得ることは、
前記評価待ち要素シーケンス中の各要素を、各要素の特性に基づいて、ベクトルとしてエンコードすることであって、前記特性は、要素の種類、要素の高さ、及び要素の幅を含むこと；及び
全てのエンコードされた要素のベクトルからなるレイアウト・ベクトルを前記ユーザ・インターフェース・レイアウト・モデルに入力して検出を行うことであって、各前記ベクトルは、該要素の種類を示すワン・ホット・ベクトル、並びに、該要素の高さ及び該要素の幅をそれぞれ示す２つの値を含むことを含む、方法。
【００８７】
（付記10）
付記7に記載の方法であって、
前記レイアウト確率ベクトル中の全ての確率値が全て第二所定閾値よりも小さいときに、前記評価待ち要素シーケンスが不合理的と認め、前記評価待ち要素シーケンスを、予め確定された要素順序規則に従って再び並び替えることをさらに含む、方法。
【００８８】
（付記11）
付記10に記載の方法であって、
前記要素順序規則は、
訓練集合中の少なくとも一部のユーザ・インターフェースを示すユーザ・インターフェース・レイアウトの要素シーケンスから、全ての順序有りの、２つの要素又はそれよりも多くの要素を含む順序有り要素組を抽出し；及び
１つの順序有り要素組の出現の総回数が第一所定閾値よりも大きいときに、該順序有り要素組中の要素の順序を１つの要素順序規則として記録することにより確定され、
前記訓練集合中のユーザ・インターフェースは、前記ユーザ・インターフェース・レイアウト・モデルを訓練するためのものである、方法。
【００８９】
（付記12）
付記7に記載の方法であって、
前記レイアウト確率ベクトル中の最大確率に対応するユーザ・インターフェース・レイアウトを推薦待ちユーザ・インターフェースとして確定することをさらに含む、方法。
【００９０】
（付記13）
情報処理装置であって、
評価待ちユーザ・インターフェース・レイアウトを示す評価待ち要素シーケンスを予め訓練されたユーザ・インターフェース・レイアウト・モデルに入力して検出を行い、レイアウト確率ベクトルを得る検出ユニット；及び
前記レイアウト確率ベクトル中の最大確率が第二所定閾値よりも大きいときに、評価待ち要素シーケンスが合理的と見なす評価ユニットを含む、装置。
【００９１】
（付記14）
付記13に記載の装置であって、
前記評価待ち要素シーケンスは、評価待ちユーザ・インターフェース・レイアウトを表す一組の順序有りユーザ・インターフェース要素を含み、又は、評価待ちユーザ・インターフェース・レイアウトの画像を分割して得られた一組の順序有りユーザ・インターフェース要素を含み、又は、評価待ちユーザ・インターフェース・レイアウトに対応するDOMツリー中で深さ優先又は幅優先捜索を行うことで得られた一組の順序有りユーザ・インターフェース要素を含む、装置。
【００９２】
（付記15）
付記13に記載の装置であって、
前記検出ユニットは、さらに、
前記評価待ち要素シーケンス中の各要素を、各要素の特性に基づいて、ベクトルとしてエンコードすることであって、前記特性は、要素の種類、要素の高さ、及び要素の幅を含むこと；及び
全てのエンコードされた要素のベクトルからなるレイアウト・ベクトルを前記ユーザ・インターフェース・レイアウト・モデルに入力して検出を行うことであって、各前記ベクトルは、該要素の種類を表すワン・ホット・ベクトル、並びに、該要素の高さ及び該要素の幅をそれぞれ表す２つの値を含むことを行う、装置。
【００９３】
（付記16）
付記13に記載の装置であって、
並び替えユニットをさらに含み、
前記並び替えユニットは、前記レイアウト確率ベクトル中の全ての確率値が全て第二所定閾値よりも小さいときに、前記評価待ち要素シーケンスが不合理的と見なし、前記評価待ち要素シーケンスを予め確定された要素順序規則に従って再び並び替える、装置。
【００９４】
（付記17）
付記16に記載の装置であって、
順序規則確定ユニットをさらに含み、
前記順序規則確定ユニットは、
訓練集合中の少なくとも一部のユーザ・インターフェースを表すユーザ・インターフェース・レイアウトの要素シーケンスから、全ての順序有りの、2つの要素又はそれよりも多くの要素を含む順序有り要素組を抽出し；及び
１つの順序有り要素組の出現の総回数が第一所定閾値よりも大きいときに、該順序有り要素組中の要素の順序を１つの要素順序規則として記憶することを行い、
前記訓練集合中のユーザ・インターフェースは、前記ユーザ・インターフェース・レイアウト・モデルを訓練するためのものである、装置。
【００９５】
（付記18）
付記13に記載の装置であって、
推薦ユニットをさらに含み、
前記推薦ユニットは、前記レイアウト確率ベクトル中の最大確率に対応するユーザ・インターフェース・レイアウトを推薦待ちユーザ・インターフェースとして確定する、装置。
【００９６】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。
【図１】
2019133647.tif 000003
【図２】
2019133647.tif 000004
【図３】
2019133647.tif 000005
【図４Ａ】
2019133647.tif 000006
【図４Ｂ】
2019133647.tif 000007
【図５】
2019133647.tif 000008
【図６】
2019133647.tif 000009
【図７】
2019133647.tif 000010
【図８】
2019133647.tif 000011
【図９】
2019133647.tif 000012