密度汎関数法コードDFTBの分析から通信スキーム改善の可能性を示唆
Software for Chemistry & Materials (SCM)は、アムステルダム自由大学からスピンアウトしたアムステルダムに拠点を置く計算化学ソフトウェア企業です。SCM社はADF Modelling Suiteの開発とサポートを行っています。その中心となるフラグシップソフトが、1970年代に開発されたAmsterdam Density Functional (ADF)です。
このモデリングスイートのスタンドアローン部がDFTBと呼ばれ、分子と周期系に対して高速な近似を用いた密度汎関数アプローチを採用しています。
DFTBとは
密度汎関数タイトバインディング法は、デスクトップコンピュータを用いた長い時間スケールの大規模系の計算を可能にします。最小基底を使用し、最隣接の相互作用のみを含み、あらかじめ計算されたパラメータ(Slater-Kosterファイル)を読み込むことで、完全なDFTBの部分的なコストのみで比較的正確な結果が得られます。長距離相互作用は経験的な分散補正で記述されており、3次補正は荷電系を正確に処理します。
SCMによるDFTB実装は、一点計算、座標最適化、遷移状態探索、周波数計算、および分子動力学を実行することができます。分子および周期系を扱うこができることから、完全なDFTコードとのスムーズな連携が保証されます。これは、スタンドアロンのコマンドラインプログラムとしても、GUIからも使用できます。
目的
この作業の目的は、大規模システムの分散メモリマシンでDFTBアプリケーションの性能向上の可能性を調査することでした。
方法
分析:コードの初期分析ではDFTBの密度行列purification法に焦点を当て、作業に2ヶ月を費やしました。性能の評価と制限事項を特定するために一連の性能指標を使用しました。これらの指標は、計算スケーリング性、負荷バランス、および通信に関連するものです。この方法はいくつかの興味深い結果をもたらし、行列乗算カーネルの改善の可能性を特定しました。
レポート:分析結果はDFTB開発グループに引き渡されました。このアプリケーションは非常に優れた計算負荷バランスを持つことが示されていましたが、MPIベースの通信コードの領域でいくつかの改善が推奨されました。この変更により、分散メモリHPCプラットフォームのスケーラビリティを改善することが期待されます。特に示唆されたのは、計算と通信を同時に行う方式の検討です。
命令の分布と計算時間(useful duration)の分析から、計算負荷はプロセス全体で
バランスがとれていることが分かる。よって、主な改善の対象は通信スキームである。
コードの改善:このプロジェクトでは、nAGがSCM開発者からの指示を受けて、提案された機能強化を概念実証(POC)として実装しました。POCの完成には4か月かかり、大規模HPCマシンによりテストされました。MPIライブラリの最新バージョンがアプリケーションのパフォーマンスを向上させる可能性があることは明らかでしたが、残念ながらその時点で使用されていた開発マシンでテストすることはできませんでした。
今後:最新のMPIバージョンでのテストはできませんでしたが、こうした結果は将来の開発の継続を促す動機となりました。スケーラビリティ改善のためのさらなる調査が期待されます。
この分析の詳細はPOPプロジェクトレポートを参照してください。
注:この作業はPOPの任務として担当したnAGのスタッフが実施しました。
EUのHPCプロジェクトPerformance Optimisation and Productivity (POP)は、科学技術研究に対するHPC技術の利用を促進を目的として欧州委員会によって推進されているHPC領域の8つのセンターオブエクセレンスの1つです。POPは2015年に開始され、バルセロナ・スーパーコンピューティングセンターに設置されました。POPプロジェクトには、nAG、ユリッヒおよびシュツットガルト・スーパーコンピューティングセンター、アーヘン大学、Teratecがパートナーとして選ばれました。
POPは、EU内の組織に無料でサービスを提供しており、並列ソフトウェアのパフォーマンスを分析かつ問題を特定してパフォーマンスの改善を提案するプロジェクトです。性能分析ツールとして、バルセロナ・スーパーコンピューティングセンターで開発されたExtraeとParaverが主に用いられています。