(57)【特許請求の範囲】
【請求項１】
擬似故障の内容と疑似故障を発生させる対象回路の情報である対象回路情報とを保持するグローバル擬似故障内容保持レジスタを備え、前記グローバル擬似故障内容保持レジスタが保持する対象回路情報に基づき、疑似故障を発生する対象回路を選択して、前記グローバル擬似故障内容保持レジスタが保持する擬似故障の内容と擬似故障の発生とを指示する擬似故障制御回路と、
データを読み書きできる第１の故障発生対象回路と、
前記擬似故障制御回路から指示された、前記グローバル擬似故障内容保持レジスタが保持する擬似故障の内容を反映して保持する第１の擬似故障内容保持レジスタを備え、前記グローバル擬似故障内容保持レジスタが保持する対象回路情報に基づき、前記擬似故障制御回路から擬似故障の発生を指示された場合、前記第１の擬似故障内容保持レジスタに保持した擬似故障の内容に対応する擬似故障を、前記第１の故障発生対象回路への書き込みデータまたは前記第１の故障発生対象回路からの読み出しデータのいずれかに対して発生させる第１の擬似故障発生回路と
データを読み書きできる第２の故障発生対象回路と、
前記擬似故障制御回路から指示された、前記グローバル擬似故障内容保持レジスタが保持する擬似故障の内容を反映して保持する第２の擬似故障内容保持レジスタを備え、前記グローバル擬似故障内容保持レジスタが保持する対象回路情報に基づき、前記擬似故障制御回路から擬似故障の発生を指示された場合、前記第２の擬似故障内容保持レジスタに保持した擬似故障の内容に対応する擬似故障を、前記第２の故障発生対象回路への書き込みデータまたは前記第２の故障発生対象回路からの読み出しデータのいずれかに対して発生させる第２の擬似故障発生回路と
を有することを特徴とする故障制御装置。
【請求項２】
前記第１の擬似故障発生回路又は前記第２の擬似故障発生回路は、
前記擬似故障の内容に示された擬似故障の発生対象となる事象の発生を検知して選択された前記擬似故障制御回路に通知し、通知された前記擬似故障制御回路は、通知された通知回数を計数し、計数された通知回数が所定回数になった場合、擬似故障の発生を指示する
ことを特徴とする請求項１に記載の故障制御装置。
【請求項３】
前記擬似故障制御回路は、
擬似故障の発生を指示した後、所定時間の間、前記通知回数の計数を停止する
ことを特徴とする請求項２に記載の故障制御装置。
【請求項４】
前記擬似故障制御回路は、
擬似故障の発生を指示した回路が故障復旧処理を行なっている間、前記通知回数の計数を停止する
ことを特徴とする請求項２または３に記載の故障制御装置。
【請求項５】
前記第１の擬似故障発生回路または前記第２の擬似故障発生回路は、
擬似故障を発生させるごとに擬似故障の発生対象位置を変更する
ことを特徴とする請求項１〜４のいずれか１項に記載の故障制御装置。
【請求項６】
前記擬似故障制御回路は、選択する前記擬似故障発生回路を順次変更する
ことを特徴とする請求項１に記載の故障制御装置。
【請求項７】
擬似故障の内容と疑似故障を発生させる対象回路の情報である対象回路情報とを保持するグローバル擬似故障内容保持レジスタを備え、前記グローバル擬似故障内容保持レジスタが保持する対象回路情報に基づき、疑似故障を発生する対象回路を選択して、前記グローバル擬似故障内容保持レジスタが保持する擬似故障の内容と擬似故障の発生とを指示する擬似故障制御回路と、
第１の１次キャッシュメモリと、
前記擬似故障制御回路から指示された、前記グローバル擬似故障内容保持レジスタが保持する擬似故障の内容を反映して保持する第１の擬似故障内容保持レジスタを備え、前記グローバル擬似故障内容保持レジスタが保持する対象回路情報に基づき、前記擬似故障制御回路から擬似故障の発生を指示された場合、前記第１の擬似故障内容保持レジスタに保持した擬似故障の内容に対応する擬似故障を、前記第１の１次キャッシュメモリへの書き込みデータまたは前記第１の１次キャッシュメモリからの読み出しデータのいずれかに対して発生させる第１の擬似故障発回路と、
第２の１次キャッシュメモリと、
前記擬似故障制御回路から指示された、前記グローバル擬似故障内容保持レジスタが保持する擬似故障の内容を反映して保持する第２の擬似故障内容保持レジスタを備え、前記グローバル擬似故障内容保持レジスタが保持する対象回路情報に基づき、前記擬似故障制御回路から擬似故障の発生を指示された場合、前記第２の擬似故障内容保持レジスタに保持した擬似故障の内容に対応する擬似故障を、前記第２の１次キャッシュメモリへの書き込みデータまたは前記第２の１次キャッシュメモリからの読み出しデータのいずれかに対して発生させる第２の擬似故障発生回路と
有することを特徴とするプロセッサコア。
【請求項８】
第１のプロセッサコアと第２のプロセッサコアと前記第１及び第２のプロセッサコアから共有される２次キャッシュメモリを有する演算処理装置において、
前記第１及び第２のプロセッサコアは、
擬似故障の内容と疑似故障を発生させる対象回路の情報である対象回路情報とを保持するグローバル擬似故障内容保持レジスタを備え、前記グローバル擬似故障内容保持レジスタが保持する対象回路情報に基づき、疑似故障を発生する対象回路を選択して、前記グローバル擬似故障内容保持レジスタが保持する擬似故障の内容と擬似故障の発生とを指示する擬似故障制御回路と、
前記２次キャッシュメモリが記憶するデータの一部を保持する第１の１次キャッシュメモリと、
前記擬似故障制御回路から指示された、前記グローバル擬似故障内容保持レジスタが保持する擬似故障の内容を反映して保持する第１の擬似故障内容保持レジスタを備え、前記グローバル擬似故障内容保持レジスタが保持する対象回路情報に基づき、前記擬似故障制御回路から擬似故障の発生を指示された場合、前記第１の擬似故障内容保持レジスタに保持した擬似故障の内容に対応する擬似故障を、前記第１の１次キャッシュメモリへの書き込みデータまたは前記第１の１次キャッシュメモリからの読み出しデータのいずれかに対して発生させる第１の擬似故障発生回路と、
前記２次キャッシュメモリが記憶するデータの一部を保持する第２の１次キャッシュメモリと、
前記擬似故障制御回路から指示された、前記グローバル擬似故障内容保持レジスタが保持する擬似故障の内容を反映して保持する第２の擬似故障内容保持レジスタを備え、前記グローバル擬似故障内容保持レジスタが保持する対象回路情報に基づき、前記擬似故障制御回路から擬似故障の発生を指示された場合、前記第２の擬似故障内容保持レジスタに保持した擬似故障の内容に対応する擬似故障を、前記第２の１次キャッシュメモリへの書き込みデータまたは前記第２の１次キャッシュメモリからの読み出しデータのいずれかに対して発生させる第２の擬似故障発生回路と
を有することを特徴とする演算処理装置。
【請求項９】
第１のプロセッサコアと第２のプロセッサコアと前記第１及び第２のプロセッサコアから共有されるとともに２次キャッシュメモリを備える演算処理装置と、前記演算処理装置に接続されるとともに前記２次キャッシュメモリにデータを供給する記憶装置を有する情報処理装置において、
前記演算処理装置が有する前記第１及び第２のプロセッサコアは、
擬似故障の内容と疑似故障を発生させる対象回路の情報である対象回路情報とを保持するグローバル擬似故障内容保持レジスタを備え、前記グローバル擬似故障内容保持レジスタが保持する対象回路情報に基づき、疑似故障を発生する対象回路を選択して、前記グローバル擬似故障内容保持レジスタが保持する擬似故障の内容と擬似故障の発生とを指示する擬似故障制御回路と、
前記２次キャッシュメモリが記憶するデータの一部を保持する第１の１次キャッシュメモリと、
前記擬似故障制御回路から指示された、前記グローバル擬似故障内容保持レジスタが保持する擬似故障の内容を反映して保持する第１の擬似故障内容保持レジスタを備え、前記グローバル擬似故障内容保持レジスタが保持する対象回路情報に基づき、前記擬似故障制御回路から擬似故障の発生を指示された場合、前記第１の擬似故障内容保持レジスタに保持した擬似故障の内容に対応する擬似故障を、前記第１の１次キャッシュメモリへの書き込みデータまたは前記第１の１次キャッシュメモリからの読み出しデータのいずれかに対して発生させる第１の擬似故障発生回路と、
前記２次キャッシュメモリが記憶するデータの一部を保持する第２の１次キャッシュメモリと、
前記擬似故障制御回路から指示された、前記グローバル擬似故障内容保持レジスタが保持する擬似故障の内容を反映して保持する第２の擬似故障内容保持レジスタを備え、前記グローバル擬似故障内容保持レジスタが保持する対象回路情報に基づき、前記擬似故障制御回路から擬似故障の発生を指示された場合、前記第２の擬似故障内容保持レジスタに保持した擬似故障の内容に対応する擬似故障を、前記第２の１次キャッシュメモリへの書き込みデータまたは前記第２の１次キャッシュメモリからの読み出しデータのいずれかに対して発生させる第２の擬似故障発生回路と
を有することを特徴とする情報処理装置。
【請求項１０】
擬似故障制御回路が、擬似故障の内容と疑似故障を発生させる対象回路の情報である対象回路情報とを保持するグローバル擬似故障内容保持レジスタを備え、前記グローバル擬似故障内容保持レジスタが保持する対象回路情報に基づき、疑似故障を発生する対象回路を選択して、前記グローバル擬似故障内容保持レジスタが保持する擬似故障の内容と擬似故障の発生とを指示し、
第１の擬似故障発生回路が、前記擬似故障制御回路から指示された、前記グローバル擬似故障内容保持レジスタが保持する擬似故障の内容を反映して保持する第１の擬似故障内容保持レジスタを備え、前記グローバル擬似故障内容保持レジスタが保持する対象回路情報に基づき、前記擬似故障制御回路から擬似故障の発生を指示された場合、前記第１の擬似故障内容保持レジスタに保持した擬似故障の内容に対応する擬似故障を、データを読み書きできる第１の故障発生対象回路への書き込みデータまたは前記第１の故障発生対象回路からの読み出しデータのいずれかに対して発生させ、
第２の擬似故障発生回路が、前記擬似故障制御回路から指示された、前記グローバル擬似故障内容保持レジスタが保持する擬似故障の内容を反映して保持する第２の擬似故障内容保持レジスタを備え、前記グローバル擬似故障内容保持レジスタが保持する対象回路情報に基づき、前記擬似故障制御回路から擬似故障の発生を指示された場合、前記第２の擬似故障内容保持レジスタに保持した擬似故障の内容に対応する擬似故障を、データを読み書きできる第２の故障発生対象回路への書き込みデータまたは前記第２の故障発生対象回路からの読み出しデータのいずれかに対して発生させる
各処理を含んだことを特徴とする擬似故障制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、故障制御装置、プロセッサコア、演算処理装置、情報処理装置および擬似故障制御方法に関する。
【背景技術】
【０００２】
従来、情報処理装置には故障が発生した場合に故障を解消する機構が設けられる場合があった。特に、故障が発生した状況にあっても誤った結果を出力せずに動作を継続するような高い信頼性が求められる情報処理装置としての基幹サーバに組み込まれる演算処理装置としてのサーバ用プロセッサでは、従来から故障を検出する機構と故障から回復する機構が備えられていた。
【０００３】
情報処理装置に発生する故障には、例えばハードウェアの製造不良や経年劣化に起因する半導体部品の固定的な故障や、宇宙線や放射線に起因する半導体部品の間欠的な故障などがある。
【０００４】
故障を検出し回復する機構、所謂ＲＡＳ(Reliability, Availability and Serviceability：信頼性・可用性・保守性)機構を設けた情報処理装置では、ＲＡＳ機構の動作を検証することが求められる。ＲＡＳ機構が正しく動作するかどうかを実際に故障が発生してから確認するのでは動作確認が困難になるため、ＲＡＳ機構の動作確認のために擬似故障を埋め込む回路が知られている。
【０００５】
擬似故障を埋め込む回路は、従来発生してきた故障モードに応じて擬似故障発生パターンを逐次増やしてきており、そこには様々な擬似故障発生機構が考えられてきている。具体的には、擬似故障発生開始の指示から擬似故障発生終了の指示までの間、または開始の指示から所定時間の間に複数の故障を仕込む技術が知られている。また、指定した回数の擬似故障を発生させる技術も知られている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開昭５６−０２１２５３号公報
【特許文献２】特開昭６４−０８２１４０号公報
【特許文献３】特開平０１−２６１７３２号公報
【特許文献４】特開昭５８−０３９３５１号公報
【特許文献５】特開昭５９−０８７５６０号公報
【特許文献６】特開平０４−３６９０４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、集積回路の大規模化と高速化に伴い、ＲＡＳ機構の配置に問題が発生していた。擬似故障を発生する機構から擬似故障の発生対象となる回路までは、１サイクルで到達可能であることが求められるが、集積回路の大規模化と高速化によって擬似故障の発生にかかる信号の伝播遅延が無視できなくなってきたためである。
【０００８】
開示の技術は、上記に鑑みてなされたものであって、擬似故障の発生にかかる信号の伝播遅延を考慮した故障制御装置、プロセッサコア、演算処理装置、情報処理装置および擬似故障制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本願の開示する故障制御装置、プロセッサコア、演算処理装置、情報処理装置および擬似故障制御方法は、２以上の故障発生対象回路のそれぞれについて、１サイクルに対応する距離の範囲内に擬似故障発生装置を配置する。擬似故障発生装置は、擬似故障制御装置から指示された擬似故障の内容を保持する擬似故障内容保持レジスタを備え、擬似故障制御装置から擬似故障の発生を指示された場合に擬似故障内容保持レジスタの内容に対応する擬似故障を発生させる。
【発明の効果】
【００１０】
本願の開示する故障制御装置、プロセッサコア、演算処理装置、情報処理装置および擬似故障制御方法によれば、擬似故障の発生にかかる信号の伝播遅延を考慮した故障制御装置、プロセッサコア、演算処理装置、情報処理装置および擬似故障制御方法を得ることができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施例にかかる故障制御装置の概要構成図である。
【図２】図２は、本実施例に係る故障制御装置の配置例についての説明図である。
【図３】図３は、ＪＴＡＧコマンドに含まれる情報についての説明図である。
【図４】図４は、擬似故障制御装置２０の処理動作を説明するフローチャートである。
【図５】図５は、図４に示した単独故障発生処理のフローチャートである。
【図６】図６は、図４に示した単装置故障発生処理のフローチャートである。
【図７】図７は、図４に示した複数装置故障発生処理のフローチャートである。
【図８】図８は、擬似故障発生装置３０＿１の処理動作を説明するフローチャートである。
【図９】図９は、カウンタを停止する構成を有する故障制御装置についての説明図である。
【図１０】図１０は、サーバの構成を示す図である。
【発明を実施するための形態】
【００１２】
以下に、本願の開示する故障制御装置、プロセッサコア、演算処理装置、情報処理装置および擬似故障制御方法の実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。
【実施例】
【００１３】
図１は、実施例にかかる故障制御装置の概要構成図である。図１に示した故障制御装置は、ｎ個の故障発生対象回路４０＿１〜４０＿ｎに擬似故障を発生させる装置であり、擬似故障制御装置２０、擬似故障発生装置３０＿１〜３０＿ｎを有する。
【００１４】
擬似故障発生装置３０＿１は、故障発生対象回路４０＿１から１サイクルに対応する距離の範囲内に配置され、故障発生対象回路４０＿１に擬似故障を発生させる。故障発生対象回路４０＿１は、その内部に故障発生対象部品としてデータを読み書き可能な部品を有する。擬似故障発生装置３０＿１は、故障発生対象部品４２に対する書き込みデータ４１や故障発生対象部品４２からの読み出しデータ４３に故障を発生させる。
【００１５】
同様に、擬似故障発生装置３０＿２〜３０＿ｎは、それぞれ故障発生対象回路４０＿２〜４０＿ｎから１サイクルに対応する距離の範囲内に配置され、故障発生対象回路４０＿２〜４０＿ｎに擬似故障を発生させる。故障発生対象回路４０＿２〜４０＿ｎは、その内部に故障発生対象部品としてデータを読み書き可能な部品を有する。擬似故障発生装置３０＿２〜３０＿ｎは、故障発生対象部品に対する書き込みデータや故障発生対象部品からの読み出しデータに故障を発生させる。
【００１６】
擬似故障制御装置２０は、擬似故障発生装置３０＿１〜３０＿ｎに対し、擬似故障の内容と擬似故障の発生とを指示する装置である。このように、本実施例に示した故障制御装置は、擬似故障制御装置と擬似故障発生装置を分離している。擬似故障発生装置３０＿１〜３０＿ｎ側では、擬似故障制御装置２０から通知された擬似故障の内容を保持し、擬似故障制御装置２０から故障発生指示を受けた場合に擬似故障を発生させる。
【００１７】
擬似故障の発生を担う擬似故障発生装置３０＿１〜３０＿ｎは、故障発生対象回路４０＿１〜４０＿ｎから１サイクル内に配置されている。擬似故障制御装置２０と擬似故障発生装置３０＿１〜３０＿ｎの間は、本実施例の方式によって伝播時間は１サイクルに限定されない。そのため、擬似故障制御装置の配置場所ついては信号の遅延を考慮する必要が無くなり、配置の自由度が高まる。
【００１８】
図２は、本実施例に係る故障制御装置の配置例についての説明図である。図２に示したＣＰＵ（Central Processing Unit）チップ１は、８つのプロセッサコアＣ１〜Ｃ８とＬ２キャッシュメモリ(Level 2 Cache：２次キャッシュメモリ)３，４およびＬ２制御部２を有する。プロセッサコアＣ１〜Ｃ８は、それぞれ内部に演算器と命令処理装置、Ｌ１キャッシュメモリ(Level 1 Cache：１次キャッシュメモリ)を有する。プロセッサコアＣ１〜Ｃ８は、Ｌ２キャッシュメモリ３，４を共有する。Ｌ２制御部２は、プロセッサコアＣ１〜Ｃ８によるＬ２キャッシュメモリ３，４の使用状態を管理する。
【００１９】
図２では、プロセッサコアＣ１〜Ｃ８のうちプロセッサコアＣ１の構成を例示し、同様の構成を有するプロセッサコアＣ２〜Ｃ８については図示を省略する。プロセッサコアＣ１は、内部に演算器５、命令処理装置６、Ｌ１キャッシュ制御部７、Ｌ１命令キャッシュメモリ８、Ｌ１オペランドキャッシュメモリ９を有する。
【００２０】
Ｌ１オペランドキャッシュメモリ９は、データを読み書き可能なメモリを有し、Ｌ１−ＤＡＴＡ−ＲＡＭ（Level 1 DATA Random Access Memory）として使用する。このＬ１−ＤＡＴＡ−ＲＡＭが故障発生対象回路４０＿１となる。故障発生対象回路４０＿１に擬似故障を発生させる擬似故障発生装置３０＿１は、故障発生対象回路４０＿１から１サイクルで届く距離ｄ以内に配置する。
【００２１】
Ｌ１命令キャッシュメモリ８は、データを読み書き可能なメモリを有し、Ｌ１−ＩＮＳＴ−ＲＡＭとして使用する。このＬ１−ＩＮＳＴ−ＲＡＭが故障発生対象回路４０＿２となる。故障発生対象回路４０＿２に擬似故障を発生させる擬似故障発生装置３０＿２は、故障発生対象回路４０＿２から１サイクルで届く距離ｄ内に配置する。
【００２２】
Ｌ１キャッシュ制御部７は、Ｌ１命令キャッシュメモリ８、Ｌ１オペランドキャッシュメモリ９の使用状態を管理する制御部であり、管理用のタグを保持するメモリとしてＴＡＧ−ＲＡＭを有する。このＴＡＧ−ＲＡＭが故障発生対象回路４０＿３となる。故障発生対象回路４０＿３に擬似故障を発生させる擬似故障発生装置３０＿３は、故障発生対象回路４０＿３から１サイクルで届く距離ｄ内に配置する。
【００２３】
また、Ｌ１キャッシュ制御部７は、擬似故障制御装置２０を有する。擬似故障制御装置２０は、擬似故障発生装置３０＿１〜３０＿３と接続する。擬似故障制御装置２０と擬似故障発生装置３０＿１〜３０＿３との距離は、距離ｄより大きくとも良い。
【００２４】
図１に戻り、擬似故障制御装置２０と擬似故障発生装置３０＿１〜３０＿ｎの構成についてさらに説明する。なお、擬似故障発生装置３０＿１〜３０＿ｎは同一の構成であるので、擬似故障発生装置３０＿１を例として説明を行なう。
【００２５】
擬似故障制御装置２０は、故障モード設定レジスタ２１、グローバル故障モードレジスタ２２、カウンタ２３、カウンタラウンドアップラッチ２４、切替部２５、単独故障指示部２６および選択部２７を有する。擬似故障制御装置２０は、ＩＥＥＥ１１４９．１で規格されるＪＴＡＧ（Joint Test Action Group）コマンド制御部１０からＪＴＡＧコマンドを受け付ける。
【００２６】
ＪＴＡＧコマンドは、発生させる擬似故障の内容について示している。図３は、ＪＴＡＧコマンドに含まれる情報についての説明図である。ＪＴＡＧコマンド制御部１０が擬似故障制御装置２０に送るＪＴＡＧコマンドは、故障発生対象装置、擬似故障発生回数、擬似故障発生対象ビット、擬似故障を書き込みと読み出しのいずれで発生させるかの情報を含む。
【００２７】
また、後述するように、ＪＴＡＧコマンド制御部１０は、擬似故障発生装置３０＿１〜３０＿ｎに対してもＪＴＡＧコマンドを送る。ＪＴＡＧコマンド制御部１０が擬似故障発生装置３０＿１〜３０＿ｎに送るＪＴＡＧコマンドは、擬似故障を発生させるアドレス、擬似故障を発生させる装置のＷＡＹ番号、擬似故障を発生させるイベントの情報を含む。
【００２８】
擬似故障を発生させるアドレスは、故障発生対象装置がＲＡＭである場合に、故障を発生させるアドレスを特定する情報である。また、擬似故障を発生させる装置のＷＡＹ番号は、故障発生対象回路がセットアソシアティブＲＡＭの場合にＷＡＹを特定する情報である。擬似故障を発生させるイベントは、パイプラインリクエストの種別を特定する情報である。
【００２９】
図１に戻って擬似故障制御装置２０の説明を続ける。故障モード設定レジスタ２１は、ＪＴＡＧコマンドに示された情報を保持するレジスタである。グローバル故障モードレジスタ２２は、故障を発生させる対象となる故障発生対象装置のうち、いずれか一つを選択する情報と、擬似故障発生対象ビット、擬似故障を書き込みと読み出しのいずれで発生させるかを保持する。擬似故障制御装置２０は、グローバル故障モードレジスタ２２によって選択された故障発生対象装置に、擬似故障発生対象ビット、擬似故障を書き込みと読み出しのいずれで発生させるかを通知する。
【００３０】
単独故障指示部２６は、擬似故障を１回だけ発生させる場合に、故障発生の実行指示を行なう処理部である。具体的には、単独故障指示部２６は、グローバル故障モードレジスタ２２の内容が擬似故障発生装置３０＿１に通知された後、モード設定レジスタ２１に保持された擬似故障発生回数が１である場合に、選択された故障発生対象装置に実行指示を出力する。
【００３１】
選択部２７は、擬似故障発生装置３０＿１〜３０＿ｎからイベント発生通知を受け、グローバル故障モードレジスタ２２に登録された擬似故障発生装置からのイベント発生通知を選択してカウンタ２３に出力する。カウンタ２３は、選択部２７から出力を受けるたびに値をインクリメントする。
【００３２】
カウンタラウンドアップラッチ２４は、カウンタ２３の値が第１の規定値になった場合に１サイクルの間だけ１となる。そして、カウンタラウンドアップラッチ２４が１となった場合に、グローバル故障モードレジスタ２２に示された故障発生対象装置に実行指示を出力する。なお、第１の規定値は例えばカウンタ２３の最大値とすればよい。カウンタ２３は、例えば最大値が２５５であり、値が２５５になった場合にリセットされて０に戻る。
【００３３】
カウンタ２３は、対象の装置に対象のイベントが発生する度にインクリメントされるので、カウンタ２３の最大値が２５５であるならば、対象の装置に対象のイベントが２５６回発生する度にカウンタラウンドアップラッチ２４が１となる。この結果、対象の装置に対象のイベントが２５６回発生する度に故障発生対象装置に対する実行指示が出力されることとなる。また、カウンタの規定値に最小値を指示した場合には、毎サイクルカウンタ２３が規定値に達したとして、常にカウンタラウンドアップラッチがセットされるように制御されるため、カウンタラウンドアップラッチがオンになり続けるように指示することも可能である。
【００３４】
切替部２５は、カウンタ２３の値が第２の規定値となった場合に、グローバル故障モードレジスタ２２が選択する擬似故障発生装置を切り替える処理を行なう。具体的には切替部２５は、故障モード設定レジスタに複数の故障発生装置が故障発生の対象として指定されている場合に、カウンタ２３が規定値となった時点でグローバル故障モードレジスタ２２により指定されていた擬似故障発生装置を示す情報を、次の擬似故障発生装置を指定する情報に設定する。それによって、グローバル故障モードレジスタ２２が擬似故障発生装置指定された複数の故障発生装置から選択する故障発生装置を順次切り替える。
【００３５】
また、擬似故障の対象となるグループ内の最後の故障対象がグローバル故障モードレジスタ２２で指示されている状態でカウンタ２３が第２の規定値に達した場合、指定された装置グループの最初の装置を示す情報を、グローバル故障モードレジスタ２２に設定する。こうして、故障対象を順次切り替えながら、切り替えた先の故障対象へと擬似故障を注入していくことで、複数の擬似故障発生装置に対して、擬似故障の注入を指示することが可能となる。
【００３６】
したがって、例えばカウンタ２３の最大値が２５５であり、第２の規定値が１２７であるならば、対象の装置に対象のイベントが２５６回発生する度に選択する故障発生装置を切り替えることとなる。
【００３７】
擬似故障発生装置３０＿１は、ローカル故障モードレジスタ３１、故障発生フラグ３２、ライトエラージェネレータ（ＷＥＧ）３３、リードエラージェネレータ（ＲＥＧ）３４、ポインタ３５を有する。
【００３８】
ローカル故障モードレジスタ３１は、擬似故障制御装置２０からの通知を受け、その内容を保持する。具体的には、ローカル故障モードレジスタ３１は、グローバル故障モードレジスタ２２に保持されていた内容のうち、擬似故障発生対象ビットと擬似故障を書き込みと読み出しのいずれで発生させるかを保持する。
【００３９】
また、ローカル故障モードレジスタ３１は、故障発生対象回路から、故障対象のイベントが発生した場合に、擬似故障発生装置２０に通知する。具体的には、ローカル故障モードレジスタ３１は、擬似故障を書き込みで発生させることを示されている状態で故障発生対象回路において書き込み処理が発生した場合に、擬似故障制御装置２０の選択部２７に通知する。同様に、ローカル故障モードレジスタ３１は、擬似故障を読み出しで発生させることを示されている状態で故障発生対象回路において読み出し処理が発生した場合に、擬似故障制御装置２０の選択部２７に通知する。なお、ＪＴＡＧコマンド制御部１０から擬似故障を発生させるイベントとしてパイプラインリクエストの種別が指定されている場合、指定されたパイプラインリクエストが発生した場合に擬似故障制御装置２０に通知する。
【００４０】
ライトエラージェネレータ３３は、故障発生対象装置の書き込みデータに発生させるエラーを生成する処理部である。また、リードエラージェネレータ３４は、故障発生対象装置からの読み出しデータに発生させるエラーを生成する処理部である。
【００４１】
ポインタ３５は、故障発生対象回路４０＿１内に複数の故障発生対象部品を持つときに、故障発生対象部品を指示するために使用される。故障発生対象部品が一つであっても、擬似故障発生対象ビットを切り替えるために使用されることもある。例えば、６４ビット幅の情報を保持する故障発生対象部品に対してポインタを使用することにより、６４ビット中の擬似故障注入位置を順次切り替えながら擬似故障を仕込んでいくことにより、６４ビット全ビットに擬似故障を発生させることができる。
【００４２】
具体的には、ポインタ３５は、ＪＴＡＧコマンド制御部１０からＪＴＡＧコマンドで指定された擬似故障を発生させるアドレス、擬似故障を発生させる装置のＷＡＹ番号などによってポインタの初期値を定められる。そして、故障発生フラグ３２のセットごとにポインタ３５の値は更新され、全故障発生対象部品を逐次指示していくことが可能となる。
【００４３】
故障発生フラグ３２は、カウンタラウンドアップラッチ２４もしくは単独故障指示部２６から実行指示を受けた場合にセットされるフラグである。擬似故障発生装置３０＿１は、故障発生フラグ３２がセットされた後、つぎに故障発生対象のイベントが発生した場合にそのイベントに故障を発生させる。
【００４４】
すなわち、故障発生装置内の故障発生フラグ３２が１であるとき、ローカル故障モードレジスタ３１に格納された情報に従って、書き込み故障が指示されているときは故障発生対象部品への書き込みデータに擬似故障を仕込み続ける。擬似故障を仕込んだら、即ち、故障発生対象回路から書き込み通知を受け取ったときに、ローカル故障モードレジスタ３１で書き込み故障が指示されていたら、故障発生フラグ３２をリセットして０にする。故障発生フラグ３２はセット優先であり、このフラグを１に設定する条件と０に設定する条件が同時に発生した場合は、１にセットされる。こうすることで、故障発生フラグ３２を１にセットしてから、１回だけ故障発生対象部品に擬似故障データを書き込むことが可能となる。
【００４５】
図４は、擬似故障制御装置２０の処理動作を説明するフローチャートである。擬似故障制御装置２０は、ＪＴＡＧコマンド制御部１０から受信したＪＴＡＧコマンドの内容を故障モード設定レジスタ２１にセットする（Ｓ１０１）。そして、擬似故障制御装置２０は、故障モード設定レジスタ２１から故障発生対象装置と故障発生回数を読み出す（Ｓ１０２）。
【００４６】
擬似故障発生回数が１回である場合（Ｓ１０３，Ｙｅｓ）、擬似故障制御装置２０は、単独故障発生処理を実行して（Ｓ１０４）、処理を終了する。擬似故障発生回数が２回以上である場合（Ｓ１０３，Ｎｏ）、擬似故障制御装置２０は、故障発生の対象となる装置の数が１つであるかを判定する（Ｓ１０５）。
【００４７】
故障発生の対象となる装置が１つである場合（Ｓ１０５，Ｙｅｓ）、擬似故障制御装置２０は、単装置故障発生処理を実行して（Ｓ１０６）、処理を終了する。そして、故障発生の対象となる装置が複数である場合（Ｓ１０５，Ｎｏ）、複数装置故障発生処理を実行して（Ｓ１０７）、処理を終了する。
【００４８】
図５は、図４に示した単独故障発生処理のフローチャートである。単独故障発生処理が開始されると、擬似故障制御装置２０は、まず、グローバル故障モードレジスタ２２を設定する（Ｓ２０１）。グローバル故障モードレジスタ２２には、故障を発生させる対象として指定された１つの装置を示す情報と、擬似故障発生対象ビット、擬似故障を書き込みと読み出しのいずれで発生させるかがセットされる。
【００４９】
擬似故障制御装置２０は、グローバル故障モードレジスタ２２によって指定された装置に対して、擬似故障発生対象ビットと擬似故障を書き込みと読み出しのいずれで発生させるかを通知し、ローカル故障モードレジスタ３１を設定させる（Ｓ２０２）。
【００５０】
ローカル故障モードレジスタ３１の設定の後、単独故障指示部２６がグローバル故障モードレジスタ２２に設定された装置に故障発生の実行指示を出力して（Ｓ２０３）、処理を終了する。
【００５１】
図６は、図４に示した単装置故障発生処理のフローチャートである。単装置故障発生処理が開始されると、擬似故障制御装置２０は、まず、グローバル故障モードレジスタ２２を設定する（Ｓ３０１）。グローバル故障モードレジスタ２２には、故障を発生させる対象として指定された１つの装置を示す情報と、擬似故障発生対象ビット、擬似故障を書き込みと読み出しのいずれで発生させるかがセットされる。
【００５２】
擬似故障制御装置２０は、グローバル故障モードレジスタ２２によって指定された装置に対して、擬似故障発生対象ビットと擬似故障を書き込みと読み出しのいずれで発生させるかを通知し、ローカル故障モードレジスタ３１を設定させる（Ｓ３０２）。
【００５３】
ローカル故障モードレジスタ３１の設定の後、選択部２７は、対象装置から対象イベントの発生通知を受信したかを監視し（Ｓ３０３）、対象装置から対象イベントの発生通知を受信した場合に（Ｓ３０３，Ｙｅｓ）、カウンタ２３をインクリメントする（Ｓ３０４）。
【００５４】
カウンタ２３の値が第１の規定に達すると（Ｓ３０５，Ｙｅｓ）、擬似故障制御装置２０は、カウンタラウンドアップラッチ２４をセットし（Ｓ３０６）、グローバル故障モード設定レジスタ２２に設定された装置に故障発生の実行指示を出力する（Ｓ３０７）。実行指示の後、擬似故障制御装置２０は、カウンタラウンドアップラッチ２４をリセットし（Ｓ３０８）、カウンタ２３をリセットして（Ｓ３０９）、対象装置の対象イベント発生通知の監視に戻る（Ｓ３０３）。また、擬似故障制御装置２０は、ＪＴＡＧコマンド制御部１０から擬似故障の発生終了を指示するコマンドを受けた場合に、単装置故障発生処理を終了する。
【００５５】
図７は、図４に示した複数装置故障発生処理のフローチャートである。複数装置故障発生処理が開始されると、擬似故障制御装置２０は、まず、グローバル故障モードレジスタ２２を設定する（Ｓ４０１）。グローバル故障モードレジスタ２２には、故障モード設定レジスタ２１に故障を発生させる対象として指定された装置グループのうち最初の装置を示す情報と、擬似故障発生対象ビット、擬似故障を書き込みと読み出しのいずれで発生させるかがセットされる。
【００５６】
擬似故障制御装置２０は、グローバル故障モードレジスタ２２によって指定された装置に対して、擬似故障発生対象ビットと擬似故障を書き込みと読み出しのいずれで発生させるかを通知し、ローカル故障モードレジスタ３１を設定させる（Ｓ４０２）。
【００５７】
ローカル故障モードレジスタ３１の設定の後、選択部２７は、対象装置から対象イベントの発生通知を受信したかを監視し（Ｓ４０３）、対象装置から対象イベントの発生通知を受信した場合に（Ｓ４０３，Ｙｅｓ）、カウンタ２３をインクリメントする（Ｓ４０４）。
【００５８】
カウンタ２３の値が第２の規定に達すると（Ｓ４０５，Ｙｅｓ）、切替部２５はグローバル故障モードレジスタ２２が指定する装置を切り替える（Ｓ４０６）。具体的には、切替部２５は、故障モード設定レジスタ２１によって故障の発生対象として指定された装置グループのうち、現在グローバル故障モードレジスタ２２が指定している装置の次の装置に切り替える。
【００５９】
グローバル故障モードレジスタ２２が指定する装置を切り替えた（Ｓ４０６）後、もしくはカウンタが第２の規定値ではない場合（Ｓ４０５，Ｎｏ）、擬似故障制御装置２０は、カウンタと第１の規定値とを比較する（Ｓ４０７）。
【００６０】
カウンタ２３の値が第１の規定に達すると（Ｓ４０７，Ｙｅｓ）、擬似故障制御装置２０は、カウンタラウンドアップラッチ２４をセットし（Ｓ４０８）、グローバル故障モード設定レジスタ２２に設定された装置に故障発生の実行指示を出力する（Ｓ４０９）。実行指示の後、擬似故障制御装置２０は、カウンタラウンドアップラッチ２４をリセットし（Ｓ４１０）、カウンタ２３をリセットして（Ｓ４１１）、対象装置の対象イベント発生通知の監視に戻る（Ｓ４０３）。また、擬似故障制御装置２０は、ＪＴＡＧコマンド制御部１０から擬似故障の発生終了を指示するコマンドを受けた場合に、複数装置故障発生処理を終了する。
【００６１】
図８は、擬似故障発生装置３０＿１の処理動作を説明するフローチャートである。擬似故障発生装置３０＿１は、ＪＴＡＧコマンド制御部１０から受信したＪＴＡＧコマンドに基づいて、擬似故障を発生させるアドレス、ＷＡＹ番号、イベントリクエストの種類などの故障動作をセットする（Ｓ５０１）。また、擬似故障発生装置３０＿１は、擬似故障制御装置２０からの通知を受けて、ローカル故障モードレジスタ３１をセットする（Ｓ５０２）。ローカル故障モードレジスタ３１には、擬似故障発生対象ビットと擬似故障を書き込みと読み出しのいずれで発生させるかがセットされる。
【００６２】
擬似故障発生装置３０＿１は、ローカル故障モードレジスタ３１に基づいて対象イベントを決定し（Ｓ５０３）、故障発生対象回路４０＿１で対象のイベントが発生したかを監視する。具体的には、ローカル故障モードレジスタ３１に擬似故障を書き込みで発生させることが示されている場合、擬似故障発生装置３０＿１は故障発生対象回路４０＿１の書き込み通知を監視する。同様に、ローカル故障モードレジスタ３１に擬似故障を読み出しで発生させることが示されている場合、擬似故障発生装置３０＿１は故障発生対象回路４０＿１の読み出し通知を監視する。
【００６３】
擬似故障発生装置３０＿１は対象イベントを検知すると（Ｓ５０４，Ｙｅｓ）、故障発生フラグ３２が１にセットされているかを判定する（Ｓ５０５）。故障発生フラグ３２が１にセットされていなければ（Ｓ５０５，Ｎｏ）、擬似故障発生装置３０＿１は対象イベントが発生したことを擬似故障制御装置２０に通知して（Ｓ５０６）、対象イベントの検知に戻る（Ｓ５０３）。
【００６４】
一方、故障発生フラグ３２が１にセットされていれば（Ｓ５０５，Ｙｅｓ）、擬似故障発生装置３０＿１は対象データに擬似故障を仕込んで（Ｓ５０７）、故障発生フラグ３２を０にリセットし（Ｓ５０８）、処理を終了する。
【００６５】
カウンタによって故障発生のタイミングを制御する構成については既に説明したが、カウンタの更新を停止する機能を設ける場合について説明する。図９はカウンタを停止する構成を有する故障制御装置についての説明図である。
【００６６】
図９に示した構成では、擬似故障制御装置５０は、ゼロクリア指示部５１を備える。ゼロクリア指示部５１は、エラー処理ステートフラグ１１を監視し、カウンタ５２をリセットする処理部である。その他の構成および動作については図１に示した故障制御装置と同様であるので同一の構成要素には同一の符号を付して説明を省略する。
【００６７】
カウンタ５２は、所定の条件が満たされた場合に更新を停止する機能を有する。例えば、カウンタラウンドアップラッチ２４が１、すなわちオン状態になったことを契機として、時間監視を行なって、既定時間の間カウンタの更新を停止する。このように所定時間カウンタを停止することで、カウンタラウンドアップラッチ２４が必要以上の頻度でオンになることを防止し、擬似故障発生装置に対して故障発生の実行指示を出す頻度を落とすことが出来る。故障発生の指示の頻度が高すぎるために装置がハングアップする場合には、この機能を有効にする。
【００６８】
また、装置が故障復旧処理に入った場合、故障復旧処理中であることを示すエラー処理ステートフラグ１１をオンにする。この故障復旧中であることを示すステートフラグがオンである場合は、ゼロクリア指示部５１がカウンタ５２を０にリセットし続ける。この機能によって、故障の復旧処理中にカウンタが回りきってしまい、故障復旧直後にカウンタラウンドアップラッチ２４が再びオンになる状態を回避する。このため、正常動作中に連続的に故障復旧処理が動作することによって、装置がハングアップする場合を回避することが出来る。なお、ここではゼロクリア指示部５１がカウンタ５２をリセットする場合について説明したが、エラー処理ステートフラグ１１がオンの間、カウンタ５２を停止する構成としても良い。
【００６９】
さらに、故障発生対象部品で擬似故障が頻発したために、故障発生対象部品の一部切り離し処理が行われたことを契機として、カウンタ更新を毎サイクル指示するモードを抑止することとしてもよい。かかる構成により、故障モード設定レジスタ２１に設定された擬似故障発生頻度で毎サイクルの故障注入が指示されていた場合、故障が発生し続けるため装置がハングアップしてしまう状態を回避することができる。具体的には、擬似故障対象部品での故障部分切り離し処理が実行されたあとは、故障発生頻度を通常の規定値に切り替える。このことにより、毎サイクルの故障発生を指示した場合であっても、故障部品の切り離しが発生すれば、装置の動作を継続するように制御することが可能となる。
【００７０】
（サーバの構成）
本実施の形態で開示するプロセッサが組み込まれたサーバの構成を図１０に示す。図１０は、サーバの構成を示す図である。図１０に示すように、サーバは、バックプレーン１００に複数のクロスバスイッチとしてＸＢ１０１、ＸＢ１０２などを有し、クロスバスイッチそれぞれにシステムボードとしてＳＢ１１０〜ＳＢ１１３と入出力システムボード（ＩＯＳＢ）とを有する。なお、クロスバスイッチ、システムボード、入出力システムボードの数はあくまで例示であり、これに限定されるものではない。
【００７１】
バックプレーン１００は、複数のコネクタ等を相互接続するバスを形成する回路基板である。ＸＢ１０１、ＸＢ１０２は、システムボードと入出力システムボードとの間でやり取りされるデータの経路を動的に選択するスイッチである。
【００７２】
また、ＸＢ１０１、ＸＢ１０２それぞれに接続されるＳＢ１１０、ＳＢ１１１、ＳＢ１１２、ＳＢ１１３は、電子機器を構成する電子回路基板であり同様の構成を有するので、ここではＳＢ１１０についてのみ説明する。ＳＢ１１０は、システムコントローラ（System  Controller：SC）１１０ａと、４台のＣＰＵと、メモリアクセスコントローラ（Memory  Access  Controller：MAC）と、ＤＩＭＭ（Dual  Inline  Memory  Module）とを有する。
【００７３】
ＳＣは、ＳＢ１１０に搭載されるＣＰＵ１１０ｂ〜１１０ｅとＭＡＣ１１０ｆ、ＭＡＣ１１０ｇとの間におけるデータ転送などの処理を制御し、ＳＢ１００全体を制御する。ＣＰＵ１１０ｂ〜１１０ｅそれぞれは、ＳＣを介して他の電子機器と接続され、本実施例で開示した故障制御装置を有するプロセッサである。ＭＡＣ１１０ｆは、ＤＩＭＭ１１０ｈとＳＣとの間に接続され、ＤＩＭＭ１１０ｈへのアクセスを制御する。ＭＡＣ１１０ｇは、ＤＩＭＭ１１０ｉとＳＣとの間に接続され、ＤＩＭＭ１１０ｉへのアクセスを制御する。ＤＩＭＭ１１０ｈは、ＳＣを介して他の電子機器と接続され、メモリを装着してメモリ増設などを行うメモリモジュールである。ＤＩＭＭ１１０ｉは、ＳＣを介して他の電子機器と接続され、メモリを装着してメモリ増設などを行うメモリモジュールである。
【００７４】
ＩＯＳＢ１５０は、ＸＢ１０１を介してＳＢ１１０〜ＳＢ１１３それぞれと接続されるとともに、ＳＣＳＩ（Small  Computer  System  Interface）、ＦＣ（Fibre  Channel）、イーサネット（登録商標）などを介して入出力デバイスと接続される。ＩＯＳＢ１５０は、入出力デバイスとＸＢ１０１との間におけるデータ転送などの処理を制御する。なお、ＳＢ１１０に搭載されるＣＰＵ、ＭＡＣ、ＤＩＭＭなどの電子機器はあくまで例示であり、電子機器の種類又は電子機器の数が図示したものに限定されるものではない。
【００７５】
上述してきたように、本実施例にかかる故障制御装置、プロセッサコア、演算処理装置、情報処理装置および擬似故障制御方法は、擬似故障を発生させる擬似故障発生装置を故障発生対象回路の近傍に配置し、擬似故障制御装置を擬似故障発生装置から分離して配置する。このため、擬似故障の発生にかかる信号の伝播遅延を考慮した故障制御装置、プロセッサコア、演算処理装置、情報処理装置および擬似故障制御方法を得ることができる。
【００７６】
従来の技術では、故障制御装置と故障発生装置とを一体化した故障制御装置として設計していた。故障制御装置と故障発生装置とを一体化した構成では、大規模ＬＳＩで故障発生方式を設計するにあたって、故障制御装置と故障発生対象回路との距離が遠いことによる制御信号の伝播遅延の考慮した設計が必要となり故障発生回路の設計が困難であった。
【００７７】
これに対し、開示の構成では、故障発生制御装置と故障発生装置を分離し、故障モードレジスタを両方に実装し、故障発生はフラグで実行するように設計している。そして、故障発生対象イベントと故障発生指示を１サイクルのみ有効となる信号で伝達するように制御することにより、故障制御装置と故障発生対象回路の間に存在する時間的遅延を考慮する必要がなくなり、擬似故障発生装置の設計が容易になった。
【００７８】
また、従来の技術では、回路検証能力を向上させるために、故障発生モードを増やすことによって様々な故障モードを発生させることができるようになったが、回路検証に要する時間が延びていた。
【００７９】
これに対し、開示の構成では、擬似故障制御装置内の故障モード用のレジスタを、ＪＴＡＧコマンドから故障モードを指示する故障モード設定レジスタと故障発生装置に対して故障モードを指示する故障モードレジスタとに分離している。そして、故障モード設定レジスタが故障モードの自動切り換えを指示し、故障発生イベントのカウンタが既定の値に達したら、故障モードレジスタを更新し、別の故障モードを故障発生装置に指示するよう故障モードを切り替える。
【００８０】
このようにＪＴＡＧコマンドから複数故障指示を故障モードとして指示することにより、複数の故障モードを自動的に切り替えて実行するようになったため、擬似故障発生装置を用いた装置試験にかかる時間と手順を短縮することが可能となる。
【００８１】
また、擬似故障を発生させることにより発生するハングアップ動作のうち、ハードバグ起因でないものは、ハングアップしないように制御することが求められる。そこで、開示の構成では、ハードバグに起因しない、故障発生によるハングアップ条件にしたがって、ハングアップ防止回路を導入する。具体的には、故障回復処理中は故障発生イベントカウンタの更新を抑止する。もしくは、故障発生直後の一定期間故障発生イベントカウンタの更新を抑止する。このようにカウンタの動作を抑止することで、故障回復処理中に故障発生イベントカウンタが回り切ってしまい、故障回復終了後命令の再実行を試みたところ再び故障を踏むことを繰り返してハングアップすることを避けることができる。したがって、擬似故障発生装置によって、正常に動作しているシステムのハングアップが発生することを防止することが可能となる。
【符号の説明】
【００８２】
１  ＣＰＵチップ
２  Ｌ２制御部
３，４  Ｌ２キャッシュメモリ
５  演算器
６  命令処理装置
７  Ｌ１キャッシュ制御部
８  Ｌ１命令キャッシュメモリ
９  Ｌ１オペランドキャッシュメモリ
１０  ＪＴＡＧコマンド制御部
１１  エラー処理ステートフラグ
２０，５０  擬似故障制御装置
２１  故障モード設定レジスタ
２２  グローバル故障モードレジスタ
２３，５２  カウンタ
２４  カウンタラウンドアップラッチ
２５  切替部
２６  単独故障指示部
２７  選択部
３０＿１〜３０＿ｎ  擬似故障発生装置
３１  ローカル故障モードレジスタ
３２  故障発生フラグ
３３  ライトエラージェネレータ
３４  リードエラージェネレータ
３５  ポインタ
４０＿１〜４０＿ｎ  故障発生対象回路
４１  書き込みデータ
４２  故障発生対象部品
４３  読み出しデータ
５１  ゼロクリア指示部
Ｃ１〜Ｃ８  プロセッサコア
１００  バックプレーン
１０１，１０２  ＸＢ
１１０  システムボード
１１０ａ  ＳＣ
１１０ｂ〜ｅ  ＣＰＵ
１１０ｆ，ｇ  ＭＡＣ
１１０ｈ，ｉ  ＤＩＭＭ
１５０  ＩＯＳＢ
【図１】
0005544878.tif 000002
【図２】
0005544878.tif 000003
【図３】
0005544878.tif 000004
【図４】
0005544878.tif 000005
【図５】
0005544878.tif 000006
【図６】
0005544878.tif 000007
【図７】
0005544878.tif 000008
【図８】
0005544878.tif 000009
【図９】
0005544878.tif 000010
【図１０】
0005544878.tif 000011