 電子マニュアルの構造を利用した文書評価メトリクス
川口真司 ÝÝ

谷口真也 Þ

Þ

大阪大学大学院基礎工学研究科

 はじめに近年 一般社会におけるソフトウェアの重要性が認識されてきている それに伴い ソフトウェアの開発・利用を容易に行うために高品質なマニュアルが必要とされている 一方，効率のよい情報の保存と配布を行うために，様々な局面で，文書を電子化する動きが急速に広がっている
これまでに 文献  において 電子マニュアルの構造の良さを定量的に評価することを目的としたメトリクスが提案されている しかし 本メトリクスでは，統計的手法に基づいて文書構造評価メトリクスを定義しているため，大量のサンプルデータに対して統計的分析を行う必要がある．
そこで 本研究では，統計的分析やその後のメトリクス算出を行うために， マニュアルを対象にした評価メトリクス計測ツールを試作して 実際の  マニュアルから算出される計測値に対する分析を行った．
その結果，各計測項目について異常な値を示した
文書は構造的な欠陥を持っていること すなわち各計測項目が文書構造の評価に有用であることが確認できた松下誠 Ý

構造化文書

本節では 文献  において定義されている 構造化文書とその構成要素の概略を述べる
構造化文書とは 学術論文，マニュアルのように，意識して文書構造を作成し，それを明示した文書である．構造化文書は 基本的構成要素であるモジュール 情報ブロックと 構成要素間の関係を表す階層
参照から成り立っている  
モジュールとは，ユーザに対して一度に提供することが可能な情報量を表す単位であり，構造化文書の基本的構成要素である  マニュアルにおいては モジュールは見出しタグ  ，．
．
．
，  によって分割可能な一連の情報と定義する．
各モジュール内は情報ブロックと呼ばれるさらに     Ý      Þ      Ý     Ý    Ý            Þ   井上克郎 ÝÆÌÌ ソフトウェア

細かな情報量の単位で構造化される．ここでは 段
落タグ  により記述された段落を情報ブロックと定義する
階層とは モジュール間の上下関係を示すものである． マニュアルにおける階層は次の二つのパターンで定義される．一つ目は同一ファイル間のモジュールの階層関係で，見出しタグ  はから の整数 の大小 整数  の大小 によって表されるものとする．もう一つは複数のファイル間のモジュールの階層関係で，ファイル間のリンクによって表されるものとする
また，文書には階層関係以外のモジュール間の関係を示すものとして，参照 が存在する． における参照はリンクによって表される

 構造評価手法
文献  では 構造化文書を評価するための基準として以下の  個をあげている
モジュールのサイズは ウィンドウ程度
 各モジュールのサイズは均等 モジュールは複数の情報ブロックから構成
 モジュールが構成する階層は基本的に階層にする
 各モジュールの子供は適切な数にする
ファイルに記述されるのは モジュール

モジュールにつき つのページ内参照リンク
 関連のあるモジュール間にはページ外参照リンクをはる

本研究では これら評価基準を定量的に評価するために 次のような作業を行なった
サンプルデータの収集
 評価基準を定量的に評価するための計測項目の定義
 データ計測および統計的手法を用いた項目数の絞り込み 異常な値を示したファイルの抽出
 抽出されたファイルの分析

まず サンプルとして  個の  ドキュメ
ントを検索サイトを用いて集め 評価基準を元に定めた個の計測項目の実際の値を計測した そののち 主成分分析   を用いて余分な計測項目を削除した 結果として 以下の  項目について分析を行った

計測項目




              表

平均               
         

標準偏差

計測項目

                
           閾値  
 
 
 
    
 
         

文書数




各計測項目の平均 標準偏差表  各計測項目の異常値とそれを越える文書の数

階層の深さ  構造リンク数   ページ内参照リンク数   ページ外参照リンク数   文字数モジュール 情報ブロックの数モジュール 
 子供の数モジュール

文字数ファイル平均 ! "#$
モジュール数ファイル平均 ! "#$

文字数モジュール，情報ブロック数モジュール，子供の数モジュールについては，平均 "#$，標準偏差 ，変動係数  についてそれぞれ計測する．
本研究では  シグマを越える値を異常値とした
これは 構造的な欠陥がない文書ならば全体の平均からそれほど離れた値を示すことはないだろう という仮定に基づいている
各項目の平均 標準偏差を表 に 閾値と異常な値をとったマニュアルの数を表  に示す このように様々なマニュアルが異常な値を示すものとして検出された 検出されたマニュアルの累計は  個であるが 重複を取り除くと  個となった
これら異常な値を示したマニュアルを調査したところ 複数のファイルに分割するべきであると思われるマニュアルや リンク構造が木構造ではなく直線的につながっている部分があったり 何らかの構から 上記計測項目が構造に欠陥のあるマニュアルの検出に効力を持つものと考える
しかし 「ページ外参照リンク数」では読み手の便宜のために各モジュールにリンクをつけているだけで 構造的欠陥を抱えているとはいえないマニュア
ルが異常値を示した この項目については 平均よりかけはなれた値を持つマニュアルは構成上問題があるという最初の仮定があてはまらないものと思われる



まとめ

評価基準に基づいて計測項目を定義し 多数のマニュアルに対して各項目の計測と分析を行なった その結果 一部項目を除いて 各計測値において平均から極端に離れた値を示した文書はなんらかの構造的欠陥をかかえていることがわかった これにより 各計測項目は文書構造の品質評価に有用であると考えられる
今後の課題としては  以外の構造化文書
フォーマット 特に % への対応が考えられる

参考文献
多変量解析の徹底研究. 西田俊夫訳 現代数学社    " &'(  ) )*+', -

谷口，川口，松下，井上 -電子マニュアルの文
書構造に対する評価メトリクス. 電子情報通信学会ソフトウェアサイエンス研究会 // ．

 

横河電気 01,+ プロジェクト -デジタル時
代のドキュメント企画と設計.，日本理工出版会 ///

造上の不具合が確認できた

考察「階層の深さ」や「文字数モジュール平均」などほとんどの計測項目において 構造に問題のあるマニュアルが異常な値を示していた これらのこと