sibsutisВестник СибГУТИThe Herald of the Siberian State University of Telecommunications and Information Science1998-6920СибГУТИ10.55648/1998-6920-2023-17-3-57-69sibsutis-764Research ArticleСтатьиАлгоритмы редукции и широковещательной передачи для вычислительных кластеров с многоуровневыми сетямиMPI reduction and broadcast algorithms for computer clusters with multistage interconnection networkshttps://orcid.org/0000-0002-7808-1635КурносовМ. Г.KurnosovM. G.

Курносов Михаил Георгиевич - доктор технических наук, профессор кафедры вычислительных систем, СибГУТИ, старший научный сотрудник, Институт физики полупроводников им. А. В. Ржанова СО РАН.

630102, Новосибирск, ул. Кирова, 86, тел. +7 383 2698 382; 630090, Новосибиpск, пpосп. Ак. Лавpентьева, 13), тел. +7 383 3305 626

Mikhail G. Kurnosov - Dr. of Sci. (Engineering), Professor; Professor of the Department of Computer Systems SibSUTIS; Senior Research Scientist, ISP SB RAS.

630102, Novosibirsk, Kirov St. 86), phone: +7 383 2698 272; 630090, Novosibirsk, Lavrenteva ave. 13, phone: +7 383 3305 626

mkurnosov@gmail.comСибирский государственный университет телекоммуникаций и информатики (СибГУТИ)РоссияSiberian State University of Telecommunications and Information Science (SibSUTIS)Russian Federation2023280920231735769Copyright © Курносов М.Г., 20232023Курносов М.Г.Kurnosov M.G.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vestnik.sibsutis.ru/jour/article/view/764

Разработаны алгоритмы коллективных операций Allreduce, Bcast, Reduce стандарта MPI, основанные на динамическом формировании групп процессов на всех уровнях иерархии памяти в пределах вычислительного узла и уровнях коммуникационной сети, заданных описанием во внешнем конфигурационном файле. Алгоритмы реализованы на базе библиотеки Open MPI. Эксперименты на вычислительном кластере с двухуровневой сетью стандарта InfiniBand EDR показали эффективность текущей версии для сообщений до 16 КБ.

Algorithms for MPI Allreduce, Bcast and Reduce collective operations have been developed. They are based on the dynamic construction of process groups at all levels of the memory hierarchy within the computing node and levels of the multistage interconnection network. The description of the network topology is loaded from an external file. Аlgorithms are implemented on the basis of the Open MPI library in an isolated collective component. Experiments on a cluster with a two-tier InfiniBand EDR network have shown the effectiveness of the algorithms for messages up to 16KB.

коллективные операцииредукцияallreducebroadcastMPIcollective communicationallreducebroadcastMPIРабота выполнена в рамках государственного задания № 071-03-2023-001 от 19.01.2023ReferencesThakur R., Rabenseifner R., Gropp W. Optimization of collective communication operations in MPICH // Int. Journal of High Performance Computing Applications. 2005. V. 19 (1). P. 49-66.Thakur R., Rabenseifner R., Gropp W. Optimization of collective communication operations in MPICH. Int. Journal of High Performance Computing Applications, 2005, vol. 19 (1), pp. 49-66.Balaji P., Buntinas D., Goodell D., Gropp W., Hoefler T., Kumar S., Lusk E., Thakur R., Traff J. MPI on Millions of Cores // Parallel Processing Letters. 2011. V. 21, Is. 1. P. 45–60.Balaji P., Buntinas D., Goodell D., Gropp W., Hoefler T., Kumar S., Lusk E., Thakur R., Traff J. MPI on Millions of Cores. Parallel Processing Letters, 2011, vol. 21, iss. 1, pp. 45-60.Graham R. Cheetah: A Framework for Scalable Hierarchical Collective Operations // Proc. IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing, 2011. P. 73–83.Graham R. Cheetah: A Framework for Scalable Hierarchical Collective Operations. Proc. of the IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing, 2011, pp. 73-83.Jain S., Kaleem R., Balmana M., Langer A., Durnov D., Sannikov A. and Garzaran M. Framework for Scalable Intra-Node Collective Operations using Shared Memory // Proc. International Conference for High Performance Computing, Networking, Storage, and Analysis (SC-2018), 2018. P. 374–385.Jain S., Kaleem R., Balmana M., Langer A., Durnov D., Sannikov A. and Garzaran M. Framework for Scalable Intra-Node Collective Operations using Shared Memory. Proc. of the International Conference for High Performance Computing, Networking, Storage, and Analysis (SC-2018), 2018, pp. 374-385.Zhu H., Goodell D., Gropp W., Thakur R. Hierarchical Collectives in MPICH2 // Proc. EuroPVM/MPI, 2009. P. 325–326.Zhu H., Goodell D., Gropp W., Thakur R. Hierarchical Collectives in MPICH2. Proc. of EuroPVM/MPI, 2009, pp. 325–326.Luo X. HAN: a Hierarchical AutotuNed Collective Communication Framework // Proc. IEEE International Conference on Cluster Computing (CLUSTER), 2020. P. 23–34.Luo X. HAN: a Hierarchical AutotuNed Collective Communication Framework. Proc. of the IEEE International Conference on Cluster Computing (CLUSTER), 2020, pp. 23-34.Kurokawa M. The K computer: 10 Peta-FLOPS supercomputer // Proc. 10th International Conference on Optical Internet (COIN2012), 2012. P. 1.Kurokawa M. The K computer: 10 Peta-FLOPS supercomputer. Proc. of the 10th International Conference on Optical Internet (COIN2012), 2012, pp. 1.Kumar S., Mamidala A., Heidelberger P., Chen D., Faraj D. Optimization of MPI Collective Operations on the IBM Blue Gene/Q Supercomputer // Journal of High Performance Computing Applications. 2014. № 28 (4). P. 450–464.Kumar S., Mamidala A., Heidelberger P., Chen D., Faraj D. Optimization of MPI Collective Operations on the IBM Blue Gene/Q Supercomputer. Journal of High Performance Computing Applications, 2014, no. 28(4), pp. 450-464.Venkata M., Bloch G., Shainer G., Graham R. Accelerating OpenSHMEM Collectives Using In-Network Computing Approach // Proc. International Symposium on Computer Architecture and High Performance Computing (SBAC-PAD), 2019. P. 212–219.Venkata M., Bloch G., Shainer G., Graham R. Accelerating OpenSHMEM Collectives Using InNetwork Computing Approach. Proc. of the International Symposium on Computer Architecture and High Performance Computing (SBAC-PAD), 2019, pp. 212-219.Курносов М. Г. Иерархический алгоритм барьерной синхронизации для многопроцессорных систем с общей памятью // Вестник СибГТУИ. 2022. Т. 16, № 2 (58). С. 3–11.Kurnosov M. G. Ierarhicheskij algoritm bar'ernoj sinhronizacii dlya mnogoprocessornyh sistem s obshchej pamyat'yu [Barrier synchronization hierarchical algorithm for multicore shared-memory systems]. Vestnik SibGUTI, 2022, vol. 16, no. 2(58), pp. 3-11.

The authors declare that there are no conflicts of interest present.