sibsutisВестник СибГУТИThe Herald of the Siberian State University of Telecommunications and Information Science1998-6920СибГУТИ10.55648/1998-6920-2021-15-1-36-49sibsutis-42Research ArticleСтатьиОптимизация барьерной синхронизации на асимметричных NUMA-подсистемах процессорных ядерBarrier Optimization on Asymmetrical NUMA SubsystemsКурносовМ. Г.KurnosovM. ..mkurnsov@isp .nsc.ruТокмашеваЕ. И.TokmashevaE. ..eliz_tokmasheva@sibguti.ruСибирский государственный университет телекоммуникаций и информатики; Институт физики полупроводников им. А. В. Ржанова Сибирского отделения Российской академии наукRussian FederationСибирский государственный университет телекоммуникаций и информатикиRussian Federation202118032021013649Copyright © Курносов М.Г., Токмашева Е.И., 20212021Курносов М.Г., Токмашева Е.И.Kurnosov M..., Tokmasheva E...Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vestnik.sibsutis.ru/jour/article/view/42

Предложен алгоритм MinNumaDist динамического выбора MPI-процесса, в памяти NUMA-узла которого размещаются совместно используемые флаги и счетчики алгоритмов барьерной синхронизации (MPI_Barrier). В качестве минимизируемого показателя используется суммарное расстояние до NUMA-узлов всех процессов (минимум степени близости). Экспериментально показано, что MinNumaDist позволяет сократить на 10-35 % время выполнения алгоритмов операции MPI_Barrier на асимметричных подсистемах процессорных ядер при различном числе процессов на NUMA-узлах или при использовании разного числа NUMA-узлов на нескольких процессорах.

Algorithm MinNumaDist for barrier’s root selection is proposed. A root process allocates memory pages for shared counters and flags from its NUMA node. Total distance is minimized to all NUMA nodes (closeness centrality) by the algorithm. MinNumaDist reduces barrier’s time by 1035% for asymmetrical NUMA subsystems - for different number of processes on NUMA nodes or different number of NUMA nodes used from each socket.

барьерная синхронизацияbarrierMPINUMAReferencesGraham R., Gorentla M., Ladd J., Shami P., Rabinovitz I., Filipov V., Shainer G. Cheetah: A Framework for Scalable Hierarchical Collective Operations // Proc. IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing (CCGRID11), 2011. P. 73-83.Graham R., Gorentla M., Ladd J., Shami P., Rabinovitz I., Filipov V., Shainer G. Cheetah: A Framework for Scalable Hierarchical Collective Operations // Proc. IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing (CCGRID11), 2011. P. 73-83.Zhu H., Goodell D., Gropp W., Thakur R. Hierarchical Collectives in MPICH2 // Proc. European PVM/MPI, 2009. LNCS, V. 5759. P. 325-336.Zhu H., Goodell D., Gropp W., Thakur R. Hierarchical Collectives in MPICH2 // Proc. European PVM/MPI, 2009. LNCS, V. 5759. P. 325-336.Graham R L., Shipman G. MPI Support for Multi-core Architectures: Optimized Shared Memory Collectives // Proc. 15th European PVM/MPI Users' Group Meeting, 2008. P. 130-140.Graham R L., Shipman G. MPI Support for Multi-core Architectures: Optimized Shared Memory Collectives // Proc. 15th European PVM/MPI Users' Group Meeting, 2008. P. 130-140.Jain S., Kaleem R., Balmana M., Langer A., Durnov D., Sannikov A. and Garzaran M. Framework for Scalable Intra-Node Collective Operations using Shared Memory // Proc. International Conference for High Performance Computing, Networking, Storage, and Analysis (SC-2018), 2018. P. 374-385.Jain S., Kaleem R., Balmana M., Langer A., Durnov D., Sannikov A. and Garzaran M. Framework for Scalable Intra-Node Collective Operations using Shared Memory // Proc. International Conference for High Performance Computing, Networking, Storage, and Analysis (SC-2018), 2018. P. 374-385.Yew P. C., Tzeng N. F., Lawrie D. H. Distributing Hot Spot Addressing in Large Scale Multiprocessors // IEEE Transactions on Computers. 1987. V. C-36, Is. 4. P. 388-395.Yew P. C., Tzeng N. F., Lawrie D. H. Distributing Hot Spot Addressing in Large Scale Multiprocessors // IEEE Transactions on Computers. 1987. V. C-36, Is. 4. P. 388-395.Mellor-Crummey J. M., Scott M. L. Algorithms for Scalable Synchronization on Shared-memory Multiprocessors // ACM Transactions on Computer Systems. 1991. V. 9 (1). P. 21-65.Mellor-Crummey J. M., Scott M. L. Algorithms for Scalable Synchronization on Shared-memory Multiprocessors // ACM Transactions on Computer Systems. 1991. V. 9 (1). P. 21-65.Tzeng N.-F., Kongmunvattana A. Distributed Shared Memory Systems with Improved Barrier Synchronization and Data Transfer // Proc. 11th International Conference on Supercomputing, 1997. P.148-155.Tzeng N.-F., Kongmunvattana A. Distributed Shared Memory Systems with Improved Barrier Synchronization and Data Transfer // Proc. 11th International Conference on Supercomputing, 1997. P.148-155.Hengsen D., Finkel R., Manber U. Two Algorithms for Barrier Synchronization // Int. Journal of Parallel Programming. 1988. V. 17, Is. 1. P. 1-17.Hengsen D., Finkel R., Manber U. Two Algorithms for Barrier Synchronization // Int. Journal of Parallel Programming. 1988. V. 17, Is. 1. P. 1-17.Brooks E. The butterfly barrier // Journal of Parallel Programming. 1986. V. 15, Is. 4. P. 295-307.Brooks E. The butterfly barrier // Journal of Parallel Programming. 1986. V. 15, Is. 4. P. 295-307.

The authors declare that there are no conflicts of interest present.