（様式第 20）成果報告書

共同利用（産業利用トライアルユース：先端研究施設共用促進事業 『みんなのスパコン』TSUBAME によるペタスケールへの飛翔） 成果報告書 平成 21 年度 課題種別

利用課題名 電磁場中大規模粉体挙動シミュレーションによる電子写真設計プロセス革新
英文：Challenge to process innovation in design of electrophotography using large scale numericalanalysis of powder behavior under electromagnetic field
利用課題責任者
渡邊 孝宏
Takahiro Watanabe
株式会社リコーRICOH Company,Ltd
URL http://www.ricoh.co.jp

電子写真機器における画像形成プロセスを担う現像ユニットの設計は，製品の品質を左右する重要かつ困難な作業であり，その負担軽減のため，計算機シミュレーションへの期待は大きい．しかし，画像形成プロセスのシミュレーションは，電磁気的な場にある粉体流動を離散要素法で計算する必要があるため，計算量が膨大となり，その実用性を確保することが困難である．この問題を解決するための有力な手段として，大規模なハイパフォーマンスコンピューティング環境の利用が考えられる．本プロジェクトでは，国内でもトップクラスの大規模ハイパフォーマンスコンピューティング環境である TSUBAME を用いて，差分法による電界計算と離散要素法による粒子挙動計算との連成計算を実現するとともに，その並列化による計算速度の向上を図った．これによって，実用レベルの画像形成プロセスシミュレーション実現に向けて，大きく前進することができた．
Design supporting simulator for developer unit in electrophotography has been being developed.
The simulator, which is based on the Discrete Element Method and executable under theTSUBAME Grid Cluster environment, will be very useful and valuable tool therefore the developer
unit design work is the most important and the most difficult task for developing theelectrophotography system. Coupling simulation of electrostatic field and powder flow is now
available on the TSUBAME Grid Cluster system and its performance indicates that the simulator
is a promising practical tool for design supporting of the developer unit in electrophotography.
Keywords: Finite Difference Method, Discrete Element Method, 粉流体，電子写真

背景と目的デルを構築し，機器の強度計算や熱流体計算といったシミュレーション結果を設計に反映させることが可

電子写真システムの画像形成プロセスは，電子写能となっている．しかし，電子写真の現像プロセスで真システムの画質を決定する上で最も重要なプロセは ， 離 散 要 素 法 （ Discrete Element Method :スである．その現象は粉体挙動として捉えることがでDEM）を用いた解析例[1]が報告されているものの，きるが，電磁気的な相互作用，表面の付着力，さら計算時間・計算規模などの制約から，実際の設計へに気流の影響まで受ける複雑な現象である上に観の反映はごく限らているのが現状である．

察も困難な現象である．このような理由により，画像

本プロジェクトでは，実用上の制約となっている計

形成プロセスを担う現像ユニット設計は，電子写真算時間・計算規模の問題を解決するため，大規模ハシステム設計の中でも，最も重要かつその最適化がイパフォーマンスコンピューティング環境である

非常に困難なものとなっている．

TSUBAME の計算性能を活用した，画像形成プロ近年，最適設計を支援するコンピュータシミュレーセスシミュレータの開発を試みる．このシミュレータのションの利用が進んでおり，CAD データから計算モ完成により，現像ユニット設計者の負担軽減だけで（様式第 20）成果報告書なく，従来の電子写真設計プロセスに革新をもたら成しており，当初の数値目標を達成できる見通しがすことも大いに期待される．

得られている．

本プロジェクトで開発したシミュレータは，電界と粒子挙動の連成計算および MPI，SMP を用いたハイ

次に，粒子計算とともに，画像形成プロセスシミュブリッド並列計算が可能であり， TSUBAME に代レータに必要不可欠な電界計算プログラムの開発に表される大規模ハイパフォーマンスコンピューティンついて説明する．ここでは，差分法を用いた電界計グシステムを利用することで，実用的な画像形成シミ算を行った．
粒子計算との連成計算を考えるとき，差分計算にュレータ実現の見通しを得ることができた．

おけるメッシュサイズは，最小粒子径以下にしないと十分な計算精度は得られない．しかし，メッシュサイ

概要

ズを小さくすれば，メッシュ数が増加し，それにととも画像形成プロセスシミュレータ開発において，そのに，計算時間も増大してしまう．例えば，計算領域を実用性を確保するためには，大規模な粒子挙動計4mm×0.5mm×2mm，メッシュ幅を 10μm とした算の計算時間が問題となる．そこで，粒子挙動計算場合の粒子挙動と電界の連成計算を，一般の PCの具体的な数値目標を『粒子数 1 億個の１秒間の挙（1CPU：Pentium4,3.0GHz）で実行した場合では，動を１週間で計算する』と定めた．

電界計算部分だけでも約 9000 時間（12 ヶ月以上）

この数値目標達成には，256 ノードの MPI 並列計を要するものと推定される．目標値（1 秒間の挙動を算を仮定した場合で，１ノード当たり約４０万粒子を１1 週間で計算する）を達成するためには，電界計算週間以内で計算することが要求される．一方，過去の高速化も必須であることが分かる．そこで，電界計に発表された論文等で確認できる DEM プログラム

算についても，粒子計算と同様に，大規模並列化にの計算速度は， 0.416[SPKK]である[2]．ここで，よる高速化を試行した．

SPKK は，1,000 粒子を 1,000 ステップ計算するの電界計算の並列化手段は，SMP と MPI を組み合に要する時間（秒）を表す単位である．いま，DEMわせたハイブリッド型とし，電界計算アルゴリズムに計算の時間ステップを 0.2μ秒として，粒子数 1 億個は，SOR 法を採用した．これまでのところ，１２８スレの挙動を１秒間計算することを考える．このとき，ッドを用いた並列計算で，２０倍近い高速化を達成し

SPKK 値 0.416 の計算速度では，ノード数 256 のている．

MPI 並列計算を実施したとして，約 10 日の計算時間を要する．目標値を実現するためには最低でもSPKK 値 0.3 以下を達成する必要がある．

これまでに，並列化により高速化した粒子挙動計算プログラムと電界計算プログラムとを融合し，電界―粒子挙動の連成計算可能なプログラムができている．最表 1

40 万粒子の挙動計算に必要な計算時間の試算

終的な目標達成までには，粒子計算・電界計算ともに，（＊通信によるオーバーヘッドなし）.

さらなる高速化を図ることが必要であるが，電子写真機

MPI 並列計算のノード数

１ノード当たりの粒子数（千個）

256256256391391391

SPKK 値

0.416
0.30.15

時間 step[μ秒]

0.20.20.2

計算時間
[day]

9.416.83.4

TSUBAME では，１ノード当たり１６スレッドの並器設計プロセスに革新をもたらす画像形成シミュレータの完成に大きく近づくことができた．

結果および考察列計算が可能である．まずは,その性能を最大限に活用する DEM プログラムの開発に取り組んだ．現時点で， SPKK 値 0.163（１６スレッド並列時）を達

電界計算プログラムおよび粒子挙動計算プログラム開発について説明する．

（様式第 20）成果報告書
界計算の収束性悪化が原因と考えられる．MPI に
まず，電界計算プログラムの並列化について説明する．電界計算の並列化は，MPI 並列と OpenMP によよる領域分割を 2 次元あるいは 3 次元で行うことにより，より高速化できると考えられる．

る SMP 並列の２つの方式を用いているが，はじめに，SMP による並 列化 より 開発を 行っ た ．差分法 の4mm2mm0.5m

SMP 並列化アルゴリズムの中で，Red-Black 法[4]が広く用いられているが，差分法の領域分割数が多SMP 分割くなると，期待したパフォーマンスは得られなかった．

MPI 分割原因として，キャッシュミスの増加が考えられる．そこで，本課題では，パラレル・ブロック・オーダリング法

図 2[5]を採用した．パフォーマンスチェックは，1000 ステ

30.0ップに要する計算時間を測定し，並列化していない化による計算効率は低く，さらに高速化できる可能性があると考える．
4.020.0
15.0
10.0
5.03.5
計算速度倍率[-]25.0
計算速度倍率[-]時の計算時間に対する比を用いた．図 1 から，並列領域分割方向（MPI：6, SMP：3）

3.00.002.564128

192

256

スレッド数[-]

2.01.5

図 3

ハイブリッド型並列化による計算速度

1.00.5次に，粒子挙動計算の高速化結果ついて述べる．

0.00246810スレッド数[-]

図 1

電界計算の SMP 並列化による計算速度

OpenMP により SMP 並列化した粒子挙動計算プログラムを用い，ベンチマーク条件[3]にしたがい計算を実行させることで，SPKK 値を算出した．これまでに，並列化とプログラムの改良によって， SPKK 値

次に，SMP 並列プログラムをさらに MPI によって0.163（１６スレッド並列時）を達成することができた．

並列化し，ハイブリッド並列化した．MPI 並列化は差分法で一般的に用いられている方法[6]を採用した．

SMP並列による計算時間変化

3 次元の領域（4mm×0.5mm×2mm）に対し、最も0.8長い方向（4mm）に MPI の領域に分割し、次に長い0.6

また、並列化電界計算の収束性向上のため，SOR法の加速係数のチューニングも実施した．図 3 に示
すように，128 スレッド（MPI：16,SMP：8）まではスレッド数に対応した計算速度の向上が見られるが，SPKK方向（2mm）に SMP の領域に分割を行った（図 2）．

0.7

SPKK
SPKKは， 1000粒子,１０００ステップの計算時間（秒）↓論文レベルの最速値

0.5
0.4
0.3
0.2
0.1005

図４10
スレッド数1520

スレッド数による計算時間変化

256 スレッド（MPI：32,SMP：8）では，計算速度が減少している．これは，MPI による領域分割を 1 次元で行ったため，通信によるオーバーヘッドの増加，電今後，SMP 並列に加え，MPI 並列化することで，当初の目標値を達成できる見通しが得られた．

（様式第 20）成果報告書
まとめ、今後の課題

大規模ハイパフォーマンスコンピューティング環境
である TSUBAME を利用し，電子写真の現像ユニット設計で実際に利用できる画像形成プロセスシミュレータの開発を実施してきた．これまでに，電界計算と粒子挙動計算それぞれのプログラムの並列化・高速化を図るとともに，それらを組み合わせた連成計算も実行できるところまで，開発が進んでいる．最終
目標達成までには，もう少し開発期間が必要であるが，電子写真機器設計プロセスに革新をもたらす画像形成シミュレータの実現に向けて大きく前進することができた．
今後，さらなる大規模化・高速化を実現するためのプログラム改良を実施するなど，画像形成シミュレータの開発を進めていく．

参考文献[1] 渡邊孝宏： 電子写真の二成分現像剤挙動シミュ レ ー タ の 開 発 ， 日 本 画 像 学 会 誌 ， Vol45,No.5,pp424-428(2006)[2] 三尾浩： Discrete Element Method の高速化，粉体と工業，Vol40, No.10, pp69-74 (2008)[3] 三尾浩： ベンチマークテスト計算条件，
http://powder.doshisha.ac.jp/~mio/jpp/bncint.ht
ml[4] 牛島省:「OpenMP による並列プログラミングと数値計算法」,丸善株式会社,P.72-73[5] 「並列プログラミング(MPI)講習会」テキスト,理化学研究所 情報基盤センター,5 章-63
http://accc.riken.jp/HPC/training.html[6] 樫山和男,西村直志,牛島省:「並列計算法入門」,
丸善株式会社,3 章-2