sibsutisВестник СибГУТИThe Herald of the Siberian State University of Telecommunications and Information Science1998-6920СибГУТИsibsutis-33Research ArticleСтатьиОптимизация доступа к общей памяти для реализации стандарта PMIxShared memory access optimization for PMIx standard implementationЕфимовА. В.EfimovA. V.alexandr .v.efimov@gmail.comПоляковА. Ю.PolyakovA. Y.artemp@nvidia.comКрамаренкоК. Е.KramarenkoK. E.kostya.kram@gmail.comБочкаревБ. В.BochkarevB. V.boris-bochkaryov@yandex.ruСибГУТИ; ИФП СО РАНRussian FederationNVIDIA CorporationRussian FederationСибГУТИ ; ИФП СО РАНRussian FederationСибГУТИRussian Federation202018042022042838Copyright © Ефимов А.В., Поляков А.Ю., Крамаренко К.Е., Бочкарев Б.В., 20222022Ефимов А.В., Поляков А.Ю., Крамаренко К.Е., Бочкарев Б.В.Efimov A.V., Polyakov A.Y., Kramarenko K.E., Bochkarev B.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vestnik.sibsutis.ru/jour/article/view/33

Получены результаты в области оптимизации стеков системного программного обеспечения распределенных вычислительных систем, основанных на интерфейсе управления процессами (Process Management Interface, PMI). Рассмотрены алгоритмы синхронизации доступа к общей памяти с преобладанием операций чтения, которые характерны для реализаций PMIx. Предложены схемы синхронизации N(mutex+signal) и N-MCS. Экспериментальные оценки показали снижение накладных расходов как операций чтения, так и записи.

The results in the field of optimization of system software stacks for distributed computing systems based on the process management Interface (PMI) are obtained. Algorithms for synchronizing access to shared memory with a predominance of reading operations, which are typical for PMIx implementations, are considered. The locking schemes N(mutex+signal) and N-MCS are proposed. Experimental estimates have shown a reduction in the overhead of both read and write operations.

распределенные вычислительные системыинтерфейс управления процессамиобщая памятьсинхронизация доступаPMIPMIxReferencesХорошевский В.Г. Архитектура вычислительных систем. М.: МГТУ им. Баумана, 2008. 520 с.Хорошевский В.Г. Архитектура вычислительных систем. М.: МГТУ им. Баумана, 2008. 520 с.Yu W., Wu J., Panda D. K. Fast and Scalable Startup of MPI Programs in InfiniBand Clusters // Proc. 11th International Conference on High Performance Computing (HiPC), Bangalore, India, December 19-22, 2004. P. 440-449.Yu W., Wu J., Panda D. K. Fast and Scalable Startup of MPI Programs in InfiniBand Clusters // Proc. 11th International Conference on High Performance Computing (HiPC), Bangalore, India, December 19-22, 2004. P. 440-449.Balaji P., Buntinas D., Goodell D., at. al. PMI: A Scalable Parallel Processmanagement Interface for Extreme-scale Systems // Proc. 17th European MPI Users’ Group Meeting Conference on Recent Advances in the Message Passing Interface (EuroMPI’10). Springer-Verlag, Berlin, Heidelberg. P. 31-41.Balaji P., Buntinas D., Goodell D., at. al. PMI: A Scalable Parallel Processmanagement Interface for Extreme-scale Systems // Proc. 17th European MPI Users’ Group Meeting Conference on Recent Advances in the Message Passing Interface (EuroMPI’10). Springer-Verlag, Berlin, Heidelberg. P. 31-41.Castain R. H., Solt D., Hursey J., Bouteiller A. PMIx: Process Management for Exascale Environments // Proc. 24th European MPI Users’ Group Meeting (EuroMPI ’17). ACM, New York, NY, USA, Article № 14, 10 p.Castain R. H., Solt D., Hursey J., Bouteiller A. PMIx: Process Management for Exascale Environments // Proc. 24th European MPI Users’ Group Meeting (EuroMPI ’17). ACM, New York, NY, USA, Article № 14, 10 p.Polyakov A., Karasev B., Hursey J. et. al. A Performance Analysis and Optimization of PMIx-based HPC Software Stacks. EuroMPI '19: Proceedings of the 26th European MPI Users' Group Meeting. September 2019. Article № 9. P. 1-10.Polyakov A., Karasev B., Hursey J. et. al. A Performance Analysis and Optimization of PMIx-based HPC Software Stacks. EuroMPI '19: Proceedings of the 26th European MPI Users' Group Meeting. September 2019. Article № 9. P. 1-10.PMIx Consortium. 2017-2020. Process Management Interface for Exascale (PMIx) Standard (version 3.1). [Электронный ресурс]. URL: https://github.com/pmix/pmix-stand-ard/releases/download/v3.1/pmix-standard-3.1.pdf (дата обращения: 10.04.2020).PMIx Consortium. 2017-2020. Process Management Interface for Exascale (PMIx) Standard (version 3.1). [Электронный ресурс]. URL: https://github.com/pmix/pmix-stand-ard/releases/download/v3.1/pmix-standard-3.1.pdf (дата обращения: 10.04.2020).Open PMIx master repository [Электронный ресурс]. URL: https://github.com/open-pmix/openpmix (дата обращения: 10.04.2020).Open PMIx master repository [Электронный ресурс]. URL: https://github.com/open-pmix/openpmix (дата обращения: 10.04.2020).Message Passing Interface Forum. 2015. MPI-3.1: Official document. [Электронный ресурс]. URL: http://www.mpi-forum.org/docs (дата обращения: 10.04.2020).Message Passing Interface Forum. 2015. MPI-3.1: Official document. [Электронный ресурс]. URL: http://www.mpi-forum.org/docs (дата обращения: 10.04.2020).Argonne National Laboratory. 2014. Hydra Process Management Framework. [Электронный ресурс]. URL: https://wiki.mpich.org/mpich/index.php/ Hydra Process Management Framewor k (дата обращения: 10.04.2020).Argonne National Laboratory. 2014. Hydra Process Management Framework. [Электронный ресурс]. URL: https://wiki.mpich.org/mpich/index.php/ Hydra Process Management Framewor k (дата обращения: 10.04.2020).PMIx Reference RunTime Environment (PRRTE). [Электронный ресурс]. URL: https://github.com/openpmix/prrte (дата обращения: 10.04.2020).PMIx Reference RunTime Environment (PRRTE). [Электронный ресурс]. URL: https://github.com/openpmix/prrte (дата обращения: 10.04.2020).Sched M.D., LLC. 2017. SLURM Workload Manager. [Электронный ресурс]. URL: https://slurm.schedmd.com/ (дата обращения: 10.04.2020).Sched M.D., LLC. 2017. SLURM Workload Manager. [Электронный ресурс]. URL: https://slurm.schedmd.com/ (дата обращения: 10.04.2020).Chakraborty S., Subramoni H., Perkins J., Panda D. K. SHMEMPMI - Shared Memory Based PMI for Improved Performance and Scalability // Proc. 24th IEEE European MPI Users’ Group Meeting (CCGrid). P. 60-69.Chakraborty S., Subramoni H., Perkins J., Panda D. K. SHMEMPMI - Shared Memory Based PMI for Improved Performance and Scalability // Proc. 24th IEEE European MPI Users’ Group Meeting (CCGrid). P. 60-69.Calciu I., Dice D., Lev Y., Luchangco V. et. al. NUMA-aware reader-writer locks // Proc. 18th ACM SIGPLAN symposium on Principles and practice of parallel programming. ACM, New York, NY, USA, 2013. P. 157-166.Calciu I., Dice D., Lev Y., Luchangco V. et. al. NUMA-aware reader-writer locks // Proc. 18th ACM SIGPLAN symposium on Principles and practice of parallel programming. ACM, New York, NY, USA, 2013. P. 157-166.IEEE Standard for Information Technology-Portable Operating System Interface (POSIX(R)) Base Specifications, Issue 7. IEEE Std 1003.1-2017 (Revision of IEEE Std 1003.1-2008) (Jan 2018). P. 1-3951.IEEE Standard for Information Technology-Portable Operating System Interface (POSIX(R)) Base Specifications, Issue 7. IEEE Std 1003.1-2017 (Revision of IEEE Std 1003.1-2008) (Jan 2018). P. 1-3951.Hsieh W. C., Weihl W. E. Scalable Reader-Writer Locks for Parallel Systems // Proc. Sixth IEEE International Parallel Processing Symposium. 1992. P. 656-659.Hsieh W. C., Weihl W. E. Scalable Reader-Writer Locks for Parallel Systems // Proc. Sixth IEEE International Parallel Processing Symposium. 1992. P. 656-659.IEEE Standard for Information Technology-Portable Operating System Interface (POSIX(R)) Base Specifications, Issue 7. IEEE Std 1003.1-2017 (Revision of IEEE Std 1003.1-2008) (Jan 2018). P. 1-3951. [Электронный ресурс]. URL: https://doi.org/10.1109/ ieeestd.2018.8277153 (дата обращения: 01.09.2020).IEEE Standard for Information Technology-Portable Operating System Interface (POSIX(R)) Base Specifications, Issue 7. IEEE Std 1003.1-2017 (Revision of IEEE Std 1003.1-2008) (Jan 2018). P. 1-3951. [Электронный ресурс]. URL: https://doi.org/10.1109/ ieeestd.2018.8277153 (дата обращения: 01.09.2020).Mellor-Crummey J., Scott M. Algorithms for scalable synchronization on shared-memory multiprocessors // ACM Trans. Comput. Syst. 1991. № 9. P. 21-65.Mellor-Crummey J., Scott M. Algorithms for scalable synchronization on shared-memory multiprocessors // ACM Trans. Comput. Syst. 1991. № 9. P. 21-65.Mellor-Crummey J. Algorithms for Scalable Lock Synchronization on Shared-memory Multiprocessors. Department of Computer Science Rice University. Lecture 18. 17 March 2009. P. 1-49. [Электронный ресурс]. URL: https://cs.anu.edu.au/courses/comp8320/lectures/aux/comp422-Lecture18-HWLocks.pdf (дата обращения: 10.04.2020).Mellor-Crummey J. Algorithms for Scalable Lock Synchronization on Shared-memory Multiprocessors. Department of Computer Science Rice University. Lecture 18. 17 March 2009. P. 1-49. [Электронный ресурс]. URL: https://cs.anu.edu.au/courses/comp8320/lectures/aux/comp422-Lecture18-HWLocks.pdf (дата обращения: 10.04.2020).Микробенчмарк. [Электронный ресурс]. URL: https://bitly.su/Wtxe0Z (дата обращения: 01.09.2020).Микробенчмарк. [Электронный ресурс]. URL: https://bitly.su/Wtxe0Z (дата обращения: 01.09.2020).

The authors declare that there are no conflicts of interest present.