Алгоритмы редукции и широковещательной передачи для вычислительных кластеров с многоуровневыми сетями
https://doi.org/10.55648/1998-6920-2023-17-3-57-69
Аннотация
Разработаны алгоритмы коллективных операций Allreduce, Bcast, Reduce стандарта MPI, основанные на динамическом формировании групп процессов на всех уровнях иерархии памяти в пределах вычислительного узла и уровнях коммуникационной сети, заданных описанием во внешнем конфигурационном файле. Алгоритмы реализованы на базе библиотеки Open MPI. Эксперименты на вычислительном кластере с двухуровневой сетью стандарта InfiniBand EDR показали эффективность текущей версии для сообщений до 16 КБ.
При поддержке: Работа выполнена в рамках государственного задания № 071-03-2023-001 от 19.01.2023
Об авторе
М. Г. Курносов
Сибирский государственный университет телекоммуникаций и информатики (СибГУТИ)
Россия
Россия
Курносов Михаил Георгиевич - доктор технических наук, профессор кафедры вычислительных систем, СибГУТИ, старший научный сотрудник, Институт физики полупроводников им. А. В. Ржанова СО РАН.
630102, Новосибирск, ул. Кирова, 86, тел. +7 383 2698 382; 630090, Новосибиpск, пpосп. Ак. Лавpентьева, 13), тел. +7 383 3305 626
Список литературы
1. Thakur R., Rabenseifner R., Gropp W. Optimization of collective communication operations in MPICH // Int. Journal of High Performance Computing Applications. 2005. V. 19 (1). P. 49-66.
2. Balaji P., Buntinas D., Goodell D., Gropp W., Hoefler T., Kumar S., Lusk E., Thakur R., Traff J. MPI on Millions of Cores // Parallel Processing Letters. 2011. V. 21, Is. 1. P. 45–60.
3. Graham R. Cheetah: A Framework for Scalable Hierarchical Collective Operations // Proc. IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing, 2011. P. 73–83.
4. Jain S., Kaleem R., Balmana M., Langer A., Durnov D., Sannikov A. and Garzaran M. Framework for Scalable Intra-Node Collective Operations using Shared Memory // Proc. International Conference for High Performance Computing, Networking, Storage, and Analysis (SC-2018), 2018. P. 374–385.
5. Zhu H., Goodell D., Gropp W., Thakur R. Hierarchical Collectives in MPICH2 // Proc. EuroPVM/MPI, 2009. P. 325–326.
6. Luo X. HAN: a Hierarchical AutotuNed Collective Communication Framework // Proc. IEEE International Conference on Cluster Computing (CLUSTER), 2020. P. 23–34.
7. Kurokawa M. The K computer: 10 Peta-FLOPS supercomputer // Proc. 10th International Conference on Optical Internet (COIN2012), 2012. P. 1.
8. Kumar S., Mamidala A., Heidelberger P., Chen D., Faraj D. Optimization of MPI Collective Operations on the IBM Blue Gene/Q Supercomputer // Journal of High Performance Computing Applications. 2014. № 28 (4). P. 450–464.
9. Venkata M., Bloch G., Shainer G., Graham R. Accelerating OpenSHMEM Collectives Using In-Network Computing Approach // Proc. International Symposium on Computer Architecture and High Performance Computing (SBAC-PAD), 2019. P. 212–219.
10. Курносов М. Г. Иерархический алгоритм барьерной синхронизации для многопроцессорных систем с общей памятью // Вестник СибГТУИ. 2022. Т. 16, № 2 (58). С. 3–11.
Дополнительные файлы
Рецензия
Для цитирования:
Курносов М.Г. Алгоритмы редукции и широковещательной передачи для вычислительных кластеров с многоуровневыми сетями. Вестник СибГУТИ. 2023;17(3):57-69. https://doi.org/10.55648/1998-6920-2023-17-3-57-69
For citation:
Kurnosov M.G. MPI reduction and broadcast algorithms for computer clusters with multistage interconnection networks. The Herald of the Siberian State University of Telecommunications and Information Science. 2023;17(3):57-69. (In Russ.) https://doi.org/10.55648/1998-6920-2023-17-3-57-69
Просмотров:
415
Послать статью по эл. почте 