6. 各会合の議事録
第 1 回会合から第 5 回会合までの議事録を以下に掲載する。

■第1回会合 議事録
I. 日時：2011 年 8 月 23 日(火) 13:30-17:00
II. 場所：富士通トラステッド・クラウド・スクエア 30 階 セミナールーム 3
III. 出席者/欠席者：[出席]村上 和彰 (九州大学)※担当幹事
青柳 睦 (九州大学)<まとめ役>
松尾 裕一 (宇宙航空研究開発機構)
町田 昌彦 (日本原子力研究開発機構)
井口 寧 (北陸先端科学技術大学院大学)
野田 茂穂 (理化学研究所)
姫野龍太郎 (理化学研究所)
金澤 宏幸 (富士通 TC ソリ事本) <FJ まとめ役>
堀田 普介 (富士通 TC ソリ事)
臼井 徹三 (富士通 ミドル事本)R. Nobes (欧州富士通研究所)
J. Southern(欧州富士通研究所)
R. Saksena (欧州富士通研究所)
西一成(事務局)、簗瀬(同)、城和(同)、千田(同)[欠席]
奥田 基 (富士通 TC ソリ事本) ※オブザーバ
林
正和 (富士通 ミドル事本)IV. 配布資料
・当日アジェンダ
・資料 1 SS 研 ペタスケール数値計算ライブラリ WG 活動計画、SS 研活動体制
・資料 2 Open Petascale Libraries : Application Requirements
V. 議事内容(★はアクションアイテム)
1.自己紹介、現在の担当業務
メンバの皆様より日本語および英語で、氏名と現在の担当業務をご紹介いただいた。
2.活動計画、SS 研活動体制の確認
全員で本 WG の活動計画(活動方針、活動内容、活動期間など)を確認した。
SS 研では現在、次世代スパコンを対象とした本 WG および「マルチコアクラスタ性能 WG」、次々世代スパコンを対象とした「エクサスケール技術検討 WG」が活動している。
3.オープン・ペタスケール・ライブラリ(OPL)の活動状況とアプリ要件(ア)OPL の活動状況報告(R. Nobes, J. Southern, R. Saksena)□主な紹介項目
・英国を中心に活動している OPL の開発状況の紹介。
・OPL 内の各プロジェクトの詳細。

□主な説明・提案
・アプリケーション起点で高速化の必要なライブラリの種類を決定し、最も広く使用されているものを対象としている。現在は、密行列、大規模偏微分方程式、高速フーリエ変換（以下 FFT）
、乱数生成のプロジェクトを開始している。
・Jack Dongarra 氏の開発した密行列ライブラリ PLASMA は、高並列、大規模計算の場合に従来のライブ
ラリ（当社 SSL II、Intel MKL）よりも高速な結果が得られる。
・米 Argonne 国立研究所で開発されている疎行列ライブラリ PETSc のハイブリッド並列（MPI 並列＋ス
レッドスレッド並列）化を開発元とともに推進している。
・FFT ライブラリは、高橋氏（筑波大）の開発している FFTE と NAG 社の開発している 2DECOMP&FFT を提供していく。ともに良いスケーラビリティが得られている。特に、FFTE は著名な FFTW の性能を凌駕する。ノンブロッキング・非同期な集団通信や自動チューニング技術を使用して、チューニングを行っていく。
□主なコメント
特になし□主な Q&A
・Q:OPL はどれも Fortran 向けか。
A:Fortran も C もある。
■決定事項
特になし
(イ)アプリケーションからの要件:ライフサイエンス分野(姫野氏)□主な紹介項目・理化学研究所での京コンピュータ向けライフサイエンス分野への取組みについて紹介。
□主な説明・提案
・ライフサイエンスのグランドチャレンジを 2006 年度より開始、来年度まで実施する。
・最終的には人体まるごとシミュレーションを行いたい。これにより、ドラッグデザインに役立つようになる。
・来年度中に 31 個のアプリケーションが利用可能となる予定。
□主なコメント・cppmd は分子動力学向けのライブラリという位置付け。バイナリツリーを応用して 3 ペタフロップスを達成した。
・FFT や GSL がボトルネックとなる。
□主な Q&A
・Q:cppmd は第一原理か。
A:通常の分子動力学である。
・Q:cppmd は FFT を使用しているのか、カットオフか。
A:カットオフ。
■決定事項
特になし(ウ)アプリケーションからの要件:ナノテクノロジー分野(青柳氏)□主な紹介項目
・九州大学での京コンピュータ向けナノテクノロジー分野への取組みとして、分子軌道法プログラム
OpenFMO の紹介。
□主な説明・提案
・タスクパラレルによる並列化と各タスク内の通常の MPI 並列化により高速化を実現している。
・細胞内物質リボゾームの計算を行った。水は分子として配置。200 万原子、2**16 フラグメントの計算。
・小規模なケースとして、水分を透過するタンパク質アクアポリンの計算も行った。
□主なコメント・各フラグメントの固有値計算のサイズは小さいが、京コンピュータで無視できない負荷となっている。

・2 電子積分はハイブリッド並列化されているため計算効率が良い。
□主な Q&A
・Q:(同様の計算を行うプログラム)GAMESS との違いは何か。
A:GAMESS は汎用的なプログラムだが、OpenFMO は FMO 計算に特化している。
・Q:GAMESS を参考にしたのか。
A:スクラッチから作った。
・Q:ハイブリッドで動作するのか。
A:そうだ。京コンピュータ上で 8 スレッドで動作している。
・Q:ScaLAPACK は使用しているのか。
A:性能的な観点で使用していない。
・Q:スケーラビリティはどうか。
A:第 1 レイヤーについては 99.99%の効率が出ている。細粒度の対角化に問題。
■決定事項
特になし
(エ)各自の取り組み紹介□主な説明・提案
町田氏
・研究内容：
材料・核燃料（炉内の状態）
・課題：
1.行列の対角化は課題。
大規模疎行列（固有ベクトルは 1～30）と小規模密行列の計算。
今はオープンコードで行っている。
2.FFT も課題。
プラズマコードで使用。
松尾氏
・研究内容：
流体解析。
・課題：
1.FFT
2.固有ベクトル
3.非構造
並列化が難しい（内側が再帰的ループ、外側は領域分割時の並べ替え）。
井口氏
・研究内容：
トモグラフィー(断層撮影)画像の研究。
・課題：
密行列の逆行列計算（計算の 95%以上を占める、サイズは 12 万超）□主なコメント・FFTE など適用できそうな分野がある。
□主な Q&A
・Q:(松尾氏に対し)Adaptive Mesh は使用しているのか。
A:JAXA 内で使用している人はいる。
■決定事項
特になし
(オ)議論
□主なコメント・9 月に OPL V.1 がリリースされる。FFT, PETSc などが利用可能となる。

□主な Q&A
・Q:OPL のアベーラビリティはどうなっているのか。
A:OPL でソースコードを公開、ライセンスによっては開発元へのリンクという形にしている。
・Q:(OpenFMO の課題として)データのフレキシブルな配置に関して、良いアイデアはないか。ScaLAPACK
はフレキシブルでない。
A:フラグメントごとに固有値ソルバのパラメータを変える方法はどうか。
・Q:(姫野氏に対し)ライフサイエンスプログラムはソースが公開されるのか。
A:第1 ステージは 10/1、第2 ステージは2012/10、第 3 ステージは 2012 年度末にそれぞれ公開予定。
Q:cppmd の言語は何を使用しているか。
A:Fortran と C++を使用しているが、C++コンパイラが未熟なので Fortran に書き換えた。
・Q:(姫野氏に対し)SPHERE の機能はどのようなものか。
A:Fortran,C,C++用の言語拡張であり、1 ノード用のプログラムに対しメモリ確保・配置等を行つツールである。
・Q:マルチグリッドに関して良いアイデアはないか。全般的に高速化したい。
A:Hypre の前処理を使用してみてはどうか。
・Q:OpenFMO 向けの良いアイデアはないか。
A:自動チューニングを使用してみてはどうか。
■決定事項
・OPL の成果を使用する候補として、密行列ライブラリと FFT を OpenFMO に適用する。
4.WG の進め方の検討 (活動計画、年間スケジュール、会合の進め方など)
・WG 会合は、今後、3 ヶ月に 1 回程度の間隔で開催する。
・今後、OpenFMO のアプリをライブラリとつないで評価していく。OpenFMO を本 WG に提供することをご検討いただく。★青柳氏
・次回、マルチプレシジョン(多倍長精度)について、理研の中田氏に WG にご参加いただき、発表していただく。(野田氏経由でご依頼いただく。)★野田氏・次回、原研からも 1 名ご参加いただき、同じくマルチプレシジョンについて発表していただく。(町田氏経由でご依頼いただく。)★町田氏
・アプリリンクしたもので既に結果が出ているものについては、次回、富士通から情報提供を行う。★金澤
5.次回会合の設定
・次回の会合は、11 月 14-17 日に実施される SC の前に開催する。
・10 月 24 日-11 月 10 日の間で日程調整を行う。日程が合わない場合は、次回役割がある方を優先して日程を決める。★事務局
以上■第2回会合 議事録
I. 日時：2011 年 10 月 28 日(金) 14:00-17:15
II. 場所：富士通汐留本社 6 階 エグゼクティブルーム C
III. 出席者/欠席者：[出席]村上 和彰 (九州大学)<担当幹事>
青柳 睦 (九州大学)<まとめ役>
松尾 裕一 (宇宙航空研究開発機構)
町田 昌彦 (日本原子力研究開発機構)

野田 茂穂 (理化学研究所)
姫野龍太郎 (理化学研究所)
今村 俊幸 (電気通信大学)<情報提供者>
中田 真秀 (理化学研究所)<情報提供者>
奥田 基 (富士通 TC ソリ事本) <オブザーバ>
金澤 宏幸 (富士通 TC ソリ事本) <FJ まとめ役>
堀田 普介 (富士通 TC ソリ事本)林
正和 (富士通 ミドル事本)臼井 徹三 (富士通 ミドル事本)西一成(事務局)、簗瀬(同)、城和(同)、千田(同)[欠席]
井口 寧 (北陸先端科学技術大学院大学)
IV. 配布資料
・当日アジェンダ
・資料 1 第 1 回会合議事録
・資料 2 情報提供資料(今村氏)-多倍長計算の紹介と K-computer 向け固有値ソルバ「Eigen-K」について
・資料 3 情報提供資料(中田氏)-高精度線形代数演算ライブラリ MPACK の紹介
・資料 4 情報提供資料(堀田委員)-FFTE ライブラリ適用事例(Quantum ESPRESSO)
・資料 5 情報提供資料(金澤委員)-OPL プロジェクトの状況
・資料 6 活動の進め方の確認(案)・資料 7 SS 研 ペタスケール数値計算ライブラリ WG 活動計画、SS 研活動体制
V. 議事内容(★はアクションアイテム)
1.前回の議事録確認事務局より、前回の議事録の確認を行った。
2.情報提供(1)マルチプレシジョン(多倍長精度)について(今村氏)「多倍長計算の紹介と K-computer 向け固有値」についてご講演いただいた。
□主な説明
・多倍長のソフトウェア開発-多倍長のソフトを戦略的に整備する必要がある。
範囲が広いため、ターゲットは行列計算に絞っている。
-DD-BLAS は 2011 年 12 月を目標に公開を準備している。
-アプリケーションユーザに必要性を認識してもらうことが重要である。
-多倍長ソフトの整備は、HPC の視点がわかる SS 研による率先した整備体制が望まれる。
・密行列版固有値ソルバ Eigen シリーズ
-近代的なマルチコアプロセッサは計算能力に対してデータ供給能力が低いということが問題点。これを解決するようなアルゴリズムの改良が必要である。
□主なコメント・Q&A
Q:全部を DD-BLAS にするのが望ましいが難しいため、センシティブなものだけ置き換えたいと思うがその指針はあるか。それはアプリケーション側の人が考えるべきなのか。(青柳委員)
A:丸め誤差が非常に蓄積するので、精度を上げたいという時には合う。行列の世界でも内積計算などはできるだけ桁を増やして桁落ちさせないようにするのが戦略としてある。そこだけ部分的に 4 倍精度にするなどが必要だと思う。(今村氏)
Q:「京」やポストペタへの展開について、富士通の対応は。(今村氏)
A:京では、double-double 形式 4 倍精度演算のためのライブラリを用意している。基本的な代入、四則演
算、比較の他、sqrt,sin,cos,exp,log 関数などの機能がある。BLAS/LAPACK 機能については現時点では対応の予定はない。(林委員)
Q:多倍長計算は公開予定か。(金澤委員)A:公開予定である。開発者の数が多いので、ソフトウェアの書き方を整理しフォーマットにして公開する必要がある。(今村氏)
Q:EIGEN は ScaLAPACK と比較して早さはどのくらいなのか。(臼井委員)
A:環境に依存するが、筑波大学のグループが計算結果を比較したときは 3 倍くらい早かった。東京大学の環境では 2 倍早かった。我々の方が早い。ScaLAPACK は 15 年程前のものなので、それより早いのは当然かもしれないが。(今村氏)(2)マルチプレシジョン(多倍長精度)について(中田氏)「高精度線形代数演算ライブラリ MPACK の紹介」についてご講演いただいた。
□主な説明
・ペタ、エクサフロップスマシンでの高精度の必要性について。
・浮動小数点のコンピュータ上での計算について。
・MPACK0.6.7:BLAS、LAPACK の高精度版について。
・GPU での行列-行列積の加速について。
□主なコメント・Q&A
Q:C++で書くと遅いのではないか？
A:本質的な問題ではない。(中田氏)
Q:クリロフ法計算は含まれるか？
A:含まれない。(中田氏)
Q:どの場面で必要となるか？(青柳委員)
A:疎行列を扱っている研究者は自分でプログラムするため、どこで高精度計算が必要になるか分かっているはずである。(中田氏)(3)実アプリ(Quantum ESPRESSO(QE))によるライブラリ評価の試み(堀田委員)「FFTE ライブラリ適用事例(Quantum ESPRESSO)」の紹介があった。
□主な説明
・QE の概要。
・QE の費用面について。
・QE への FFTE ライブラリ適用について。
・PFX1 での性能比較。
□主なコメント・Q&A
Q:ある程度意味があって大きめのデータでないと計算自体が不安定になるのではないか。(中田氏)
A:指摘の通りだ。(堀田委員)
Q:FFTW と FFTE を利用した場合の比較グラフにおいて、FFTW のバージョンは Version1.2 か？(臼井委員)
A:はい。internal FFTW 版なので Version1.2。(堀田委員)
C:京向けには現在、
SPARC64VIIIfx の SIMD 命令を利用できるように修正した FFTW-3.2.2 を用意している。
(臼井委員)
C:ノード内で使われる FFT を置き換えただけでは、ノード数を横軸にとったグラフには意味が無い。筑波大学 高橋先生のライブラリで行っている MPI 並列化の処理の評価にはなっていない。(青柳委員)
C:このプログラムでは、MPI インタフェースの FFT を呼ぶ仕組みは無い。 (堀田委員)
C:アプリ側が使っている機能とライブラリ側が提供している機能が噛み合わずに有効に使われていないという現状は、その摺り合わせを議論する べきこの WG にとって教訓的に思える。(臼井委員)(4)OPL プロジェクトの状況(金澤委員)「OPL プロジェクトの状況」の紹介があった。
□主な説明
・現在、ライブラリ初版の公開準備中である。
・11 月 16 日(水)に SC BoF(Birds of Feather)セッションを開催するので、ぜひご参加いただきたい。
□主なコメント・Q&A
・筑波大様も OPL に加入予定である。(金澤委員)

3.今後の活動の進め方について確認■主な決定事項
・「活動の進め方の確認(案)」の資料を基に、本 WG の活動スケジュール、実施内容の詳細(実施項目/担当/
今後の展開等)、成果物、成果報告について意識合わせを行った。当面は案に沿って活動を進めることで合意した。
□主なコメント・ペタスケールでは当然分散並列になって、データの持ち方やインターフェースをどうするかの検討が重要である。(青柳委員、奥田オブザーバ)
・流体のソルバなどでは係数行列を持っていないようなケースもあり、ライブラリとアプリの境界の区別が難しい。ほぼ自作している。(姫野委員)
4.検討事項/アクションアイテムなど
・町田委員に、原子力関係のアプリについて次回に情報提供が可能かどうかをご検討いただく。★町田委員
・松尾委員に、ご紹介いただけるアプリについてご検討いただく。
→次回は難しいため、次々回以降に可能かご確認いただく。★松尾委員
・次回の富士通からの情報提供内容について検討する。★林委員
・OpenFMO の本 WG への提供については、引き続き青柳委員と富士通とで調整する。★青柳委員、金澤委員
・OPL のライブラリ初版は公開準備中のため、公開されたら通知する。★金澤委員
・前回の議事録で青柳委員からご指摘のあった箇所を修正する。★事務局
・ライブラリに対する提案/課題などをこの場で出し合って議論するなどの試みについては、今後検討していく。
5.次回会合の設定
・WG の会合は 3 ヶ月に 1 回程度の開催ということで、次回は 2 月頃に開催する。
・2 月 20 日～2 月末の間で日程調整を行う。★事務局
・次回の具体的な議題は、別途メーリングリスト等で検討する。★全員
以上■第3回会合 議事録
I. 日時：2012 年 3 月 1 日(木) 14:00-17:35
II. 場所：富士通汐留本社 6 階 エグゼクティブルーム B
III. 出席者/欠席者：[出席]村上 和彰 (九州大学)<担当幹事>
青柳 睦 (九州大学)<まとめ役>
松尾 裕一 (宇宙航空研究開発機構)
町田 昌彦 (日本原子力研究開発機構)
井口 寧 (北陸先端科学技術大学院大学)
野田 茂穂 (理化学研究所)
姫野龍太郎 (理化学研究所)
深沢圭一郎 (九州大学)<情報提供者>
金澤 宏幸 (富士通 TC ソリ事本) <FJ まとめ役>
堀田 普介 (富士通 TC ソリ事本)林
正和 (富士通 ミドル事本)臼井 徹三 (富士通 ミドル事本)西一成(事務局)、城和(同)、盛(同)、千田(同)IV. 配布資料
・当日アジェンダ
・資料 1 情報提供資料(町田委員)-ペタスケールのアプリケーションへ向けて:シミュレーション技術開発
室の取り組み資料2 情報提供資料(九大 深沢氏)-宇宙プラズマでのペタスケール数値計算(惑星磁気圏シミュレーショ
ン)
資料 3 情報提供資料(臼井委員)-大規模数値計算における数学ライブラリの取り組みについて
資料 4 本 WG の進め方
資料 5 第 2 回会合議事録
資料 6 SS 研ペタスケール数値計算ライブラリ WG 活動計画、SS 研活動体制
V. 議事内容(★はアクションアイテム)
1.情報提供(1)固有値ソルバが重要なアプリケーションについて(町田委員)「ペタスケールのアプリケーションへ向けて:シミュレーション技術開発室の取り組み」についてご講演い
ただいた。
□主な説明
・原子力機構の主たるアプリケーション- いくつかのシミュレーション事例の紹介- シミュレーションコードをベクトル機向けからスカラ機向けに適用中- (材料劣化メカニズムの研究について)原子炉内の材料に不純物が付着することで脆くなる現象を第一原理シミュレーションで予測する研究を行っている。大きな系を用いており、原子配置も計算している。
・(ペタスケール)ライブラリー開発への取り組み- SC2006 で発表した固有値ソルバーEigen_S をベースに京向けの固有値ソルバーEigen_K, Eigenh_K を開発中。
- strong scaling で、100000 次元ではほぼリニアになる。
- 昨年ゴードンベル賞を受賞した RSDFT にも利用された。
- 間もなく公開予定。
・福島事故後の計算科学の取り組み- 放射性セシウムを除去する手法を第一原理計算等によるシミュレーションにより開発中。
- 動植物が放射性セシウムイオンをカリウムイオンと間違えて取り込んでしまう現象に関するシミュレ
ーションも研究中。
□主なコメント・Q&A
Q:Householder 法で通信時間が計算時間の 5 倍かかっているのは何故か。
(青柳委員)
A:Alltoall を使用しているため。計算部分の最適化を行った結果でもある。(町田委員)
C:セシウムの周りに水が存在しないとアンモニウムイオンが作用しないのではないか。アンモニア分子では機能しないと思う。(青柳委員)
Q:使用しているアプリでライブラリを使っているか。(松尾委員)
A:使用していない。(町田委員)
Q:ライブラリを使用していない理由は何か。(村上幹事)
A:適用するのに手間がかかる。また、まだ当該箇所が高速である必要がないため。(町田委員)
Q:(ライブラリは使っていないものの、各種コードでソルバー相当の処理がある点に関して)行列の渡し方はどうやっているのか、何か工夫していることはないか。(青柳委員)
A:2次元サイクリックで渡す場合に、サイズなどのパラメタについて最適に調整するような工夫はある。
(町田委員)
C:行列を作る処理と、その行列を使って行う計算では、適した分散方法が異なる可能性もあり難しい。(姫野委員)(2)宇宙プラズマシミュレーションについて(深沢氏)「宇宙プラズマでのペタスケール数値計算(惑星磁気圏シミュレーション)」についてご講演いただいた。
□主な説明
・研究概要
- 太陽からの磁気の影響について、身近な例として、磁気による誘導電流が引き起こす鉄道・衛星・GPSの故障などが挙げられる。
- 木星・土星の磁気圏をシミュレーションして、観測結果と合わせる。
・土星磁気圏のシミュレーション- 非常に大規模な計算になるため、京レベルの資源が必要。但し、並列数を上げた際の並列化効率が課題。
- 1000 コアで 2000x1500x1500x8 の MHD 方程式を解いた結果、観測では分からなかった渦を発見。
・MHD コードの性能測定- キャッシュ入れ替えをするとキャッシュ効率は上がるが、入れ替えない方が SSE 命令効果により高性能な結果になった。
- PRIMERGY(Westmere CPU)を使用することで、ベクトル機に匹敵する性能になった。
□主なコメント・Q&A
Q:MHD コードは weak scaling か。(松尾委員)
A:その通り。(深沢氏)
Q:ハイパースレッディングは使用しているか。(青柳委員)
A:IBM 機では使用していないが、PRIMERGY では使用している。(深沢氏)
Q:差分法ライブラリがあれば使用するか。(青柳委員)
A:高速化されるなら使用したい。(深沢氏)
Q:明には連立一次方程式を解いていないのか。(青柳委員)
A:解いていない。(深沢氏)
C:富士通コンパイラの次元入れ替えオプションが効果的だった。Flat MPI の方が高速であるが、ハイブリッド並列化したい。
IMPACT が効かない問題がある。(深沢氏)(3)富士通の数学ライブラリ取り組みについて(臼井委員)「大規模数値計算における数学ライブラリの取り組みについて」の紹介があった。
□主な説明
・当社数学ライブラリ紹介- 55000 ノードを使用して、分散並列 3D FFT(サイズ:8192x8192x8192)が 64TFlops 出ている。
- FX10 上の LAPACK のスレッド並列について、16 スレッド時に実行列固有値問題では 1 スレッド時の 6倍程度だが、複素行列固有値問題では 8 倍くらいになる。
□主なコメント・Q&A
Q:ScaLAPACK 呼び出しを置き換えるようなラッパーを作って、中で eigen_K を使うようにできる可能性もあるのではないか。(青柳委員)
A:たぶん使えるが、必要な情報が落ちる可能性がある。(町田委員)
C:その不足する情報については(コンパイラにサポートしてもらうことで)、ユーザービューとしては最適化制御行と同様な方法によって、ライブラリまで渡すような方式も考えられるかもしれない。
(井口委員)
C:ライブラリ(特にハードベンダが提供するライブラリ)を使用するデメリットは、ライブラリごとにインターフェースが異なるため、マシンが変わると動かないことである。(姫野委員)
2.WG の今後の進め方□主なコメント[全体]
・ペタスケール数学ライブラリに対するアプリ側からの要件を明確にするという WG として挙げたミッション

については、思っていたよりも難しいとわかってきた。
・当初、戦略 5 分野ごとにまとめようと想定していたが、その切り口でまとめるのは難しい。
・これまで紹介いただいたアプリの中から、成功事例を出せるとよい。いくつか選んで性能を測り、そのラ
イブラリが使えるか、機能が足りているか等について分析/評価する。
・性能が出そうなアプリ、特に効果の大きそうなもので試してみてはどうか。
・外部には成功事例を出すが、内部的には効果が出なかったものもきちんと評価すること。
・ターゲットは PC クラスタ、京コンピュータ。
・ノウハウはライブラリに組み込んでいく。
・この WG のまとめに関しては、できたところまでをまとめればよい。アプリが早く動くようになればそれが成果になる。適用したら問題点が改善した等が言えればよい。
[OPLN との連携]
・OPLN と連携していくために、SS 研は窓口として何か成果を出す必要がある。SS 研が働きかけることで、これができたと言えるとよいが。
・町田委員の取り組みを成功事例として出せないか。
→別途、町田委員と相談する。★町田委員、金澤委員[中間報告について]
・中間報告は必須という訳ではない。なにかまとめられるものがあれば出せると良い。
・Web 上で中間報告のまとめを掲載するとか、10 月頃に講演形式で行うという方法もある。
・理研では、10 月 9 日前後の数日間、テネシー大学/オークリッジ国立研究所の Jack Dongarra 氏に来日してもらうことになっている。神戸や和光で講演してもらう予定なので、日程を合わせてこの WG にも参加してもらってはどうか。(なお、Dongarra 氏は 4 月 11～13 日にも神戸に来る予定だが、こちらは IESP にのみ参加する予定。)
・Dongarra 氏や欧州富士通研究所(FLE)を招いて、オープンな会合を企画してもよいのでは。
・この分野で将来をどう考えたらよいのかについて、他の SS 研 WG と一緒に 10 月の合同分科会で 1 セション
設けてもよい。
3.次回の内容/アクションアイテムなど
・松尾委員からアプリをご紹介いただく。★松尾委員→FFT しか利用していないが、それは報告できる。ライブラリの利用状況を調べたところ、ほとんど利用
されていない。なぜ利用されていないのかについても話題として挙げたい。(松尾委員)・筑波大)桜井先生または高橋先生に、ライブラリの提供者側の観点で情報提供していただく。★金澤委員
・OpenFMO の評価については、次回報告する予定。★青柳委員、金澤委員
4.次回会合の日程
・次回は 5 月 18 日(金)に開催する。時間は 14:00～17:00(予定)。
・場所は調整でき次第連絡する。★事務局
以上■第4回会合 議事録
I. 日時：2012 年 7 月 23 日(月) 14:00-17:30
II. 場所：富士通汐留本社 6 階 エグゼクティブルーム B
III. 出席者/欠席者：[出席]村上 和彰 (九州大学)<担当幹事>

青柳 睦 (九州大学)<まとめ役>
松尾 裕一 (宇宙航空研究開発機構)
町田 昌彦 (日本原子力研究開発機構)
高橋 大介 (筑波大学)<情報提供者>
三浦 謙一 (国立情報学研究所)<情報提供者>
奥田 基 （富士通 TC ソリ事本） ※オブザーバ
金澤 宏幸 (富士通 TC ソリ事本) <富士通まとめ役>
堀田 普介 (富士通 TC ソリ事本)林
正和 (富士通 ミドル事本)臼井 徹三 (富士通 ミドル事本)西一成(事務局)、千田(同)[欠席]
井口 寧 (北陸先端科学技術大学院大学)
野田 茂穂 (理化学研究所)
姫野龍太郎 (理化学研究所)
IV. 配布資料
・当日アジェンダ
資料 1 情報提供資料(筑波大 高橋氏) - FFTE について
資料 2 情報提供資料(NII 三浦氏) - 並列擬似乱数発生アルゴリズムとペタスケール時代のモンテカルロ
法の展望
資料 3 情報提供資料(松尾委員) - JAXA における数値計算ライブラリの利用状況と OPL 適用評価
資料 4 情報提供資料(堀田委員) - Open Petascale Libraries 状況
資料 5 本 WG の進め方
資料 6 第 3 回会合議事録
資料 7 SS 研ペタスケール数値計算ライブラリ WG 活動計画、SS 研活動体制
V. 議事内容(★はアクションアイテム)
1.情報提供(1)FFTE について(高橋氏)
FFTE の概要と二次元分割の分散並列 3 次元 FFT についてご講演いただいた。
□主な説明
・FFTE ライブラリの概要- 1～3 次元の複素 FFT および 1,2 次元の実 FFT(2,3,5 基底)。
- OpenMP,MPI に対応。
- 二次元分割の三次元複素 FFT にも対応。
・二次元分割を用いた並列三次元 FFT アルゴリズム- 全プロセッサ数が大きく、レイテンシが無視できない程度の問題サイズの場合には、二次元分割の方が通信時間が短くなる。
- 演算部分時間については変わらない。
□主なコメント・Q&A
Q:実行効率でマシンピークの 1％程度ということだとすると、直接法(FFT でなく DFT)で扱ってしまった方がよい可能性があるのではないか。(三浦氏)
A:その通りで、
問題規模やマシンアーキによっては最適な方法が別に出てくるかもしれない。
ただしlog(N)の項に打ち勝つのは難しい面もあり、考えたことはあるが結論は出ていない。(高橋氏)
Q:通信時間の計算式で、一対一通信性能を指標に用いているように見えるけれども、集団通信の場合はノード形状も考慮してバイセクションバンド幅比などで扱う方が適切ではないか。(臼井委員)
A:たしかに通信トポロジなども考慮するともう少し複雑になる。(高橋氏)
Q:FFT カーネルの高速化にあたっては、SIMD 化や 4,8,16 基底利用なども考慮されているのか。(臼井委員)
A:Yes。
SIMD 化にあたっては、
コンパイラがSIMD 化可能であることを認識できるソース記述にすることで、

SIMD 化とソースポータビリティを両立している。
Q:今後ノードあたりの搭載メモリが小さくなる方向に進むことが考えられるが、それに対して問題規模が大きくなっていくと分散並列 FFT アルゴリズムで対策が必要になることはないか。(青柳委員)
A:ノード数が増える分だけ各ノードが担当するデータは小さくなっていくので大丈夫。(高橋氏)
Q:GPU 対応も考えているのか。(青柳委員)
A:Yes。京向けの開発が一段落ついたので着手する。(高橋氏)
Q:低レベル通信関数を用いて高速化するとはどのような意味か。(金澤委員)
A:例えばIBM がBlueGene でやっているような、下層通信ルーチンを直接扱うことを考えている。(高橋氏)
Q:通信と演算のオーバーラップとは別の話か。(金澤委員)
A:別の話。オーバーラップ自体は京でも実現が難しい。(高橋氏)
Q:sine,cosine 係数の計算はどうやっているのか。(三浦氏)
A:初期化ルーチンで作成している。全ノードで重複して持っていることになる。ただし一次元 FFT の分散
並列の場合は分散して持つ。(高橋氏)
Q:FFT だと通信ネックが厳しく格子点法を用いるような傾向もあるが、精度の観点ではどうだろうか。(松尾委員)
A:ハイブリッド型で両者の長所を活かすこともできる。(高橋氏)(2)乱数生成について(三浦氏)「並列擬似乱数発生アルゴリズムとペタスケール時代のモンテカルロ法の展望」についてご講演いただいた。
□主な説明
・擬似乱数生成について- 長周期・統計的品質・高速生成・超並列化の初期化コストが軽いことが乱数に求められる性質。
- Mersenne Twister は長周期だが超並列化に難あり。
- Multiple Recursive Generator の MRG8 が気に入っている。
- Recurrence 次数と生成率は相反関係がある。
- 参照次数が小さいと高次元空間で超平面にのってしまう。
・モンテカルロ法の再認識- 偏微分方程式などへの応用ができる。
・物理乱数生成について□主なコメント・Q&A
Q:統計的クオリティに関して、モンテカルロでは高次元で均一な乱数生成が望ましいということだと思うが、例えば物理乱数との相関を取るような評価方法も考えられるのか。(青柳委員)
A:検定プログラムに頼るしかない。それによって採点できるが、世間で出回っている簡便な乱数生成には落第のものがあるので注意した方がよい。(三浦氏)□補足
・MRG は、SS 研 Web のユーティのページに掲載されている。(三浦氏)「8 次の Multiple Recursive Method による擬似乱数ルーチン」
http://www.ssken.gr.jp/MAINSITE/download/ssken_uty/pre/index.html(3)JAXA におけるライブラリ利用状況について(松尾委員)
JAXA における数値計算ライブラリ利用状況と OPL 適用評価についてご紹介いただいた。
□主な説明
・ライブラリの利用状況- 用途は限られ、プロセス並列版などの高度利用は見られない
・OPL の適用評価- CHANL・・・FFT について OPL(FFTE)を適用- Crux・・・複素連立一次方程式に OPL(PLASMA)を適用
・ライブラリが使われない理由について- 移植性が保証されていないと使い難い- 手間がかかる割に益が少ない□主なコメント・Q&A
C:FFTE を利用した場合の正変換が遅くみえているが、三角関数 table 作成処理を抜けば逆変換と同等程度の時間になるはず。(高橋氏)
C:SSL II を利用した場合の例で用いているDCFTM は古いルーチンで詳細を把握できていないが、多次元 FFT用のはず。table 保存用配列をパラメタに持つ 1 次元 FFT ルーチンは別に用意している。(臼井委員)
Q:OpenFOAM は評判が良くないのか。(三浦氏)
A:並列化スケーラビリティだけが良くても、実は C++で書いたプログラムだとそもそもの実効効率が非常に悪かったようなケースを経験している。OpenFOAM は C++コード。(松尾委員)
Q:PLASMA を試してみてどうだったか。依存関係のある処理を展開して扱うようなやり方で、途中でパンクしないのか心配に思える。(三浦氏)
A:エラーが出た部分を回避して走行させたが、答えの検証はできていない。(松尾委員)
Q:JAXA では PETSc の需要は無いのか。欧州では分野によっては使われているらしい。(三浦氏)
A:わからない。そもそもライブラリを使用して成功した例が無い。(松尾委員)
Q:前処理を使わない緩和計算で済むなら matrix を疎で保存するメリットが無いということか。
(青柳委員)
A:MHD や有限要素法の人なら使うかもしれない。(松尾委員)
C:ライブラリを使わないという点では原研も同じ状況。(町田委員)
Q:FLE なら、適用例の情報があるのではないか。(三浦氏)
A:聞いていない。確認してみる。(金澤委員)(4)Open Petascale Libraries について(堀田委員(富士通))
OPL の現状報告の紹介があった。
□主な説明
・OPL サポートライブラリ状況- 2DECOMP&FFT- FFTE・・・京向け最適化あり- spBLAS- PLASMA・・・オリジナルで開発中機能以外は移植。DPLASMA は未。
- PETSc・・・OpenMP サポート拡張を検討中。
- PRAgMaTIc・・・移植未□主なコメント・Q&A
Q:PLASMA は富士通と直接やりとりしているのか。Tennessee で何人ぐらいのメンバーなのか。(三浦氏)
A:直接やりとりがある。人数についてはわからない。機能別に人があたっており、Manchester にポスドクがいてやっているらしい。(金澤委員)
Q:コードに C++があるが、性能的にどうだろうか。使ってみて信用できない印象を持っている。(松尾委員)
A:性能データは今データが無い。使用に問題があったならその内容を富士通側で検証する必要があるかもしれない。(金澤委員)
Q:ISC で meeting をやったと聞いている。(三浦氏)
A:新しいものをやってほしいという議論は出たが、ぜひやろうという話にまではなっていない。
(金澤委員)
C:アルゴンヌはPETScに直接OpenMPディレクティブを入れた方がよいとアドバイスしてくれたとのことだ
が、一人で全並列階層を扱うことが大変になることを考慮すると、今後の方向性にも影響するので注意が必要。例えばメニーコアになってきたときに、ノード内並列は SpBLAS 層でという役割分担ができるのかどうか。(青柳委員)
C:SC の時にはライブラリに興味のある人がいた。ISC の時は内部だけだった。次の SC も BoF に出すのがよい。NAG や ANU は熱心にやっている。(三浦氏)
Q:OPL は京の正式なライブラリとして入るのか？(松尾委員)
A:フリーソフトとして入れる形。オフィシャルな扱いではない。(金澤委員)
C:SSL II の分散並列ライブラリには無い分野をカバーしていることは言っておいたほうがよい。(三浦氏)
2.WG の今後の進め方□主なコメント[全体]・OPL の活動の中で、SS 研が受け皿としての機能を果たせていない理由について考えてみる必要がある。(青柳委員)・プラットフォームに依存するのか非依存なのか、色を付けた方がよい。ライブラリだと一般的な話しになってしまう。(村上幹事)
・OPL とこのWG がどこまで同じ方向性でいけるか。富士通に特化するのはこの WG の役割ではない。(三浦氏)・この WG の位置づけをどうするか。このテーマは外の開かれたところで議論した方がよいという考え方もある。(青柳委員)
・OPL を富士通としてどう活用するか。日本の数値計算ライブラリを OPL にどう入れさせるか。SS 研なら FX10に特化するとか富士通のプラットフォームに特化するとか。当初、この WG は OPL の日本リエゾンだと想定していた。(村上幹事)
・まさにリエゾン的に発足させた。SS 研は任意団体なので理研/東大/九大の枠や戦略 5 分野、HPCI の枠を使って OPL に申し込み、課金無料でチューニングできるのではないか。(青柳委員)
・SS 研でアウトリーチ活動ができないか。(村上幹事)
・SS 研の WG のように対象の広い活動も必要。
ライブラリを広めるような活動を SS 研でおこなってはどうか。
(青柳委員)
・啓蒙、評価活動をおこなう会という位置づけも考えられる。(村上幹事)
3.次回の内容/アクションアイテムなど
・WG の位置づけや今後の進め方をまとめ役の青柳委員と相談する。★金澤委員
4.次回会合の日程
・次回開催は調整でき次第連絡する。★事務局
以上■第5回会合 議事録
I. 日時：2013 年 2 月 22 日(金) 14:00-17:00
II. 場所：富士通汐留本社 6 階 エグゼクティブルーム B
III. 出席者/欠席者：[出席]
青柳 睦 (九州大学)<まとめ役>
松尾 裕一 (宇宙航空研究開発機構)
野田 茂穂 (理化学研究所)
姫野龍太郎 (理化学研究所)
稲富 雄一 (九州大学)<情報提供者>
金澤 宏幸 (富士通 TC ソリ事本) <富士通まとめ役>
堀田 普介 (富士通 TC ソリ事本)林
正和 (富士通 ミドル事本)臼井 徹三 (富士通 ミドル事本)西一成(事務局)、千田直美(同)[欠席]村上 和彰 (九州大学)<担当幹事>
町田 昌彦 (日本原子力研究開発機構)
井口 寧 (北陸先端科学技術大学院大学)
須川朋司(事務局)

IV. 配布資料
・当日アジェンダ
資料 1 情報提供資料(九大 稲富氏)-フラグメント分子軌道（FMO）法と並列 FMO プログラム OpenFMO について
資料 2 情報提供資料(堀田委員)-Application of PLASMA to OpenFMO code
資料 3 本 WG の進め方
資料 4 第 4 回会合議事録
資料 5 SS 研ペタスケール数値計算ライブラリ WG 活動計画、SS 研活動体制
V. 議事内容(★はアクションアイテム)
1.情報提供(1)フラグメント分子軌道(FMO)法と並列 FMO プログラム OpenFMO について
(稲富氏)
OpenFMO による量子化学計算についてご講演いただいた。
□主な説明
・分子軌道法の概要- 目標：大規模生体分子に対する第一原理計算- Hartree-Fock 法- フラグメント分子軌道法
・OpenFMO- MPI/OpenMP ハイブリッド並列化- 中間データへのアクセス方法改良- 動的負荷分散による負荷均等化- 対角化計算部分についての性能向上の困難□主なコメント・Q&A
Q:MPI/OpenMPによる並列化に関して、
プロセス分割とスレッド分割の役割分担はどのように考えているか。
(松尾委員)
A:処理的には一番外側のループをプロセス数×スレッド数で分割したようになっている。8 コア Xeon の 2チップから構成されたマシンだったので1ノードあたり8スレッド×2プロセスとするのが良かった。
(稲富氏)
Q:実行ソフトウェア環境によっては処理割り振りの Bind が問題になることはなかったか。(姫野委員)
A:その 2 プロセスがそれぞれ 1 チップに収まっていたかはわからない。(稲富氏)
Q:ダイナミック負荷分散のコストは高いのか。(野田委員）
A:コストは通信のみである。(稲富氏)
C:I/O の工夫も奏功している。(青柳委員)
C:MPI の実装によっては、方法 1(MPI2 を使用する)の方が遅い。(青柳委員)
C:スレッドサポートのある MPI1 があれば、現状では MPI2 は不要。京でも動作させることを想定して、京でも実装されている MPI スレッド(スレッドシリアライズド)による実装とした。(稲富氏)
Q:方法 2 を採用するなら、ARMCI(並列通信ライブラリ)を使用しても良かったのではないか。(青柳委員)
A:京の ARMCI の実装では、1 コアを制御用に使い残りの 7 コアでの並列になる。1 万ノード並列では 1 万コ
ア無駄にすることになる。一方、方法 2 ならば、記憶グループ用に数ノード用意するだけで済む。(稲富氏)
Q:対角化処理部分の並列化は難しいのか。(金澤委員)
A:行列サイズが小さいのでノード跨ぎの並列化はおそらく意味がない。Intel の Math Kernel Library を使っているので、その中でスレッド並列動作しているかもしれない。(稲富氏)
C:補足的な話として、FMO 計算のあと、全 MO を最後に解く方法もある。その場合は 1 千万次元ぐらいのブ
ロック疎な固有値問題になり、
PLASMAがターゲットとするような問題サイズも越えてしまっているので、また別の話になる。(青柳委員)
Q:集団通信はあるか。(松尾委員)
A:フラグメント内の集団通信のみ。全体に対する集団通信はない。(稲富氏)

Q:C 言語で書いている理由は何か。(松尾委員)
A:開発を始めた当時 GPGPU が流行していたため、それも視野に入れた。当時、GPGPU は C 言語からしか使用できなかった。(稲富氏)
C:2 電子積分の式が煩雑になってバグが多くなることを避けるために稲富氏はソースコードジェネレータ
を開発した。30000 行の 2 電子積分の式を効率よく記述することに成功した。(青柳委員)
C:ソースコードジェネレータとの相性からも C 言語の方が都合が良かった。Fortran ではインデントや継続行等の考慮が面倒。(稲富氏)(2)Application of PLASMA to OpenFMO code(堀田委員)
OpenFMO への PLASMA 適用結果の紹介があった。
□主な説明
・OPL の一つとして研究開発が進む PLASMA の OpenFMO への適用
- OpenFMO で扱う固有値問題サイズ- 高速スレッドライブラリ FASTOMP が PLASMA で使えない不都合- FX10 と PRIMAGY での結果
□主なコメント・Q&A
C:OpenMP-pthread の混合コードにできないというのは、pthread を使う PLASMA、すなわち Open Petascale
Library と FX10 の関係が良くないことを意味してしまう。(青柳委員)
A:現状としてはスレッド処理の初期化時に、スレッド数が固定であることを前提とすることでハードバリ
ア資源などを有効に活用できる方式になっている。
今後これでいいのか、という状況は認識している。
(林委員)
C:そういったものはこれからも出てくると思われる。流体分野でも、Adaptive Mesh Refinement とかそういう傾向。(松尾委員)
C:ただ、MIC,GPGPU,CPU の処理が混在してくる中で pthread でコーディングを続けていくというのはない
気もするが。(青柳委員)
C:PLASMA にすることで性能改善効果が出るような問題設定としては、化学的に意味のある大フラグメントを用いるという可能性がある。(青柳委員)
A:アミノ酸 2～3 個を 1 フラグメントとしているが、例えば薬の分子は切れないので、そういうケースはあり得る。ただ、どちらかというと逆にフラグメント展開していくという傾向もある。(稲富氏)
C:CI 法など近似を良くする方法によって、行列サイズを大きくすることができる。その場合は簡単に何百万次元になる。(青柳委員)
C:フラグメントを用いない DFT 法も大きい計算ができる。しかも計算コストはハートリーフォック計算並で済む。(稲富氏)
2.今後の WG 活動について■決定事項
・本 WG 活動は、一定の役割を終えたため終息させる。
・これまでの活動をまとめた活動成果報告書を作成する。
・活動成果は、SS 研合同分科会(今年 10 月開催)にて、ポスター展示という形式で報告する。活動成果報告会(セミナー形式)は実施しない。
(1)WG 活動の方向性□主なコメント・現在 OPL に参加している日本の大学で、SS 研の WG をきっかけに加入したところはあるか。(青柳委員)→筑波大学には WG 活動をきっかけに参加してもらえることになった。
それ以外は他の要因で加入した。
(金澤委員)
・SS 研でエクサスケール WG を立ち上げたが、その後、石川氏(東大)や国全体の動きとして作業部会の発足、
オールジャパンで若手を引き入れての議論、米澤 CREST の立ち上げなどにより、SS 研という一つの組織だ
けでなくもっと開かれたところで議論した方がよいということで、WG を終息させた。この WG も同じような流れになってきた。(青柳委員)

・富田氏(理研 AICS)がアプリケーション作業部会でライブラリについても議論している。米澤 CREST でライブラリ開発プロジェクトが 3 つある[櫻井氏(筑波大)、高橋氏(筑波大)、中島氏(東大)の各プロジェクト]。
(青柳委員)・OPL の活動は SS 研に閉じたものではない。WG だと内輪の話に見えてしまう可能性があるため、広く活動した方がよいかもしれない。もっと性能の出る領域で活用してもらいたい。(姫野委員)
・WG ではアプリやライブラリ開発について情報共有してきた。事例の数は少ないが、活かせるものはあったと思う。(青柳委員)
・松尾委員の言うとおり、ライブラリをあまり利用しない人は確かにいる。(青柳委員)→移植性が悪くなるからだろう。(姫野委員)・ライブラリはフィットするアプリと、そうではないアプリがある。最先端のライブラリとフィットするア
プリを仲介するものがない。(松尾委員)
・分子科学では、ライブラリとコードがセットになっている。(青柳委員)(2)活動成果報告書の作成[全体]
・活動成果報告書の構成/役割分担は以下に記載のとおりとする。
・報告書は紙媒体で発行する。白黒印刷でよい。
・データの第 1 版完成は 4 月初旬を予定。印刷は 10 月の合同分科会での配付に間に合えばよい。5 月の総会では配付しない。
[各回で行った情報提供の資料]・情報提供者には、発表資料 PPT の最初に概要を 1 枚追加で付けてもらうように依頼する。★千田・情報提供資料は富士通からの資料も含めて掲載する。分量が多いため、1 ページ 4 画面で印刷する。
★千田[今後のライブラリについての提言など]
・メンバー、情報提供者、OPL にそれぞれ提言を 3～4 行程度書いてもらう。
・内容は、今後のライブラリについてのご意見などでよい。
・開発側の方には、その視点で書いてもらう。
・OPL にはメタな視点で書いてもらう。
・OPL には金澤委員から依頼状を英訳のうえ依頼する。★金澤委員[その他]
・OPL の概要は、別章立てで入れてもよい。(別途、検討する。)
・報告書をまとめる際、データの確認などを行なうために ProjectWEB を立ち上げる。★千田・SS 研として、WG の活動成果報告書の印刷物を今後も発行するのか、データでの提供としていくのか、検討が必要。WG 毎に決めるのではなく、会として統一が必要ではないか。(青柳委員、松尾委員、姫野委員など)【活動成果報告書の構成/役割分担】--------------・まえがき：★青柳委員
・活動概要：★金澤(執筆)、★青柳(中身確認)
・各回で行った情報提供の資料：★千田・今後のライブラリについての提言など-メンバーから：★各自-情報提供者から：★千田-OPL から：★金澤・議事録 ：★千田・あとがき：★金澤---------------------------------------------(3)活動報告会の開催[開催形式]

・報告会開催(セミナー形式)は必須ではない。(金澤委員)
・単独での開催は難しいかもしれない。(姫野委員)
・WG の成果報告は他の会合の中で時間をとって行なうことが多いが、なかなか適したイベントがない。8 月の HPC フォーラムは一般公開なので、適していない。(西)・10 月の合同分科会でポスター展示を行なうという方法もある。SS 研会員に活動を伝えるということで実施
してはどうか。(野田委員)[備考]
・ポスター展示の対応者は青柳委員、金澤委員および可能なメンバーで交代で行なう。
・合同分科会でポスター展示をした時に、展示の前に報告書を積んでおく。
(4)OPL の広報について・OPL の広報については、以下を実施する。
-SS 研公開 Web から OPL の Web ページにリンクする。★千田-合同分科会のポスター展示にて、SS 研会員に広報する。
3.今後のスケジュール
・2 月～3 月末 ：活動成果報告書の執筆
・4 月初旬：活動成果報告書の完成
・4 月中旬～下旬：活動成果報告書のレビュー
・5 月：必要あれば報告書レビュー会の実施
・7 月：活動成果報告書の印刷
・10 月 23 日-24 日：SS 研合同分科会にて WG ポスター展示の実施※SS 研秋イベントは、10 月 23 日-25 日にホテルオークラ神戸で開催する。
そのうちの 24 日-25 日が合同分科会の開催で、デモ/ポスター展示は 24 日のみ実施する予定。
4.当面の活動について
・3 月末までに、分担した活動成果報告書の執筆を完了させる。
・ProjectWEB による活動成果報告書のレビュー方法については、別途事務局より連絡する。★千田・報告書レビュー会の実施については、まとめ役と相談のうえ、必要があれば実施する。開催する際は別途連絡する。★千田以上