Просмотр статьи


Номер журнала: 2020.4

Заголовок статьи: Оптимизация доступа к общей памяти для реализации стандарта PMIx

Резюме

Получены результаты в области оптимизации стеков системного программного обеспечения распределенныx вычислительныx систем, основанных на интерфейсе управления процессами (Process Management Interface, PMI). Рассмотрены алгоритмы синхронизации доступа к общей памяти с преобладанием операций чтения, которые характерны для реализаций PMIx. Предложены схемы синхронизации N(mutex+signal) и N-MCS. Экспериментальные оценки показали снижение накладных расходов как операций чтения, так и записи.

Авторы

А. В. Ефимов, А. Ю. Поляков, К. Е. Крамаренко, Б. В. Бочкарев

Библиография

1. Хорошевский В. Г. Архитектура вычислительных систем. М.: МГТУ им. Баумана, 2008, 520 с.
2. Yu W., Wu J., Panda D. K. Fast and Scalable Startup of MPI Programs in InfiniBand Clusters. In High Performance Computing - HiPC 2004, 11th International Conference, Bangalore, India, December 19-22, 2004, Proceedings. p. 440–449.
3. Balaji P., Buntinas D., Goodell D., at. al. PMI: A Scalable Parallel Processmanagement Interface for Extreme-scale Systems. In Proceedings of the 17th European MPI Users’ Group Meeting Conference on Recent Advances in the Message Passing Interface (EuroMPI’10). Springer-Verlag, Berlin, Heidelberg, p. 31–41.
4. Castain R. H., Solt D., Hursey J., Bouteiller A. PMIx: Process Management for Exascale Envi-ronments. In Proceedings of the 24th European MPI Users’ Group Meeting (EuroMPI ’17). ACM, New York, NY, USA, Article 14, 10 pр.
5. Polyakov A., Karasev B., Hursey J. et. al. A Performance Analysis And Optimization Of PMIx-based HPC Software Stacks. EuroMPI '19: Proceedings of the 26th European MPI Users' Group Meeting. September 2019. Article No.: 9. p. 1–10.
6. PMIx Consortium. 2017-2020. Process Management Interface for Exascale (PMIx) Standard (version 3.1). [Электронный ресурс]. URL: https://github.com/pmix/pmix-standard/releases/download/v3.1/pmix-standard-3.1.pdf (дата обращения: 10.04.2020).
7. Open PMIx master repository [Электронный ресурс]. URL: https://github.com/openpmix/openpmix (дата обращения: 10.04.2020)
8. Message Passing Interface Forum. 2015. MPI-3.1: Official document.
[Электронный ресурс]. URL: http://www.mpi-forum.org/docs (дата обращения: 10.04.2020)
9. Argonne National Laboratory. 2014. Hydra Process Management Framework.
[Электронный ресурс]. URL: https://wiki.mpich.org/mpich/index.php/
Hydra_Process_Management_Framework (дата обращения: 10.04.2020).
10. PMIx Reference RunTime Environment (PRRTE). [Электронный ресурс]. URL: https://github.com/openpmix/prrte (дата обращения: 10.04.2020)
11. SchedMD, LLC. 2017. SLURM Workload Manager. [Электронный ресурс]. URL: https://slurm.schedmd.com/ (дата обращения: 10.04.2020)
12. Chakraborty S., Subramoni H., Perkins J., Panda D. K. SHMEMPMI – Shared Memory Based PMI for Improved Performance and Scalability. In Proceedings of the 24th European MPI Us-ers’ Group Meeting (CCGrid). IEEE, p. 60–69.
13. Calciu I., Dice D., Lev Y., Luchangco V. et. al. NUMA-aware reader-writer locks. In Proceedings of the 18th ACM SIGPLAN symposium on Principles and practice of parallel programming. ACM, New York, NY, USA, 2013. p. 157–166.
14. IEEE Standard for Information Technology–Portable Operating System Interface (POSIX(R)) Base Specifications, Issue 7. IEEE Std 1003.1-2017 (Revision of IEEE Std 1003.1-2008) (Jan 2018), p. 1–3951.
15. Hsieh W.C., Weihl W.E. Scalable Reader-Writer Locks for Parallel Systems.
In Proceedings of the Sixth International Parallel Processing Symposium. 1992. IEEE, p. 656–659.
16. IEEE Standard for Information Technology–Portable Operating System Interface (POSIX(R)) Base Specifications, Issue 7. IEEE Std 1003.1-2017 (Revision of IEEE Std 1003.1-2008) (Jan 2018), 1–3951. [Электронный ресурс]. URL: https://doi.org/10.1109/ IEEESTD.2018.8277153 (дата обращения: 01.09.2020).
17. Mellor-Crummey J., Scott M. Algorithms for scalable synchronization on shared-memory multi-processors. ACM Trans. Comput. Syst. 9 (1991): 21-65.
18. J. Mellor-Crummey Algorithms for Scalable Lock Synchronization on Shared-memory Multi-processors. Department of Computer Science Rice University. Lecture 18. 17 March 2009. PP. 1-49 [Электронный ресурс]. URL: https://cs.anu.edu.au/courses/comp8320/lectures/aux/comp422-Lecture18-HWLocks.pdf (дата обращения: 10.04.2020).
19. Микро-бенчмарк. [Электронный ресурс]. URL: https://bitly.su/Wtxe0Z (дата обращения: 01.09.2020).

Ключевые слова

распределенные вычислительные системы, интерфейс управления процессами, PMI, PMIx, общая память, синхронизация доступа

Скачать полный текст