sibsutisВестник СибГУТИThe Herald of the Siberian State University of Telecommunications and Information Science1998-6920СибГУТИsibsutis-670Research ArticleСтатьиАрхитектура и программное обеспечение пространственно-распределенных вычислительных систем*)Architecture and software of geographically-distributed computer systemsХорошевскийВ. Г.V.g. Khoroshevskynoemail@neicon.ruКурносовМ. Г.M.g. Kurnosovnoemail@neicon.ruМамойленкоС. Н.S.n. Mamoilenkonoemail@neicon.ruПоляковА. Ю.A.yu. Polyakovnoemail@neicon.ruСибирский государственный университет телекоммуникаций и информатикиRussian Federation20101601202302112122Copyright © Хорошевский В.Г., Курносов М.Г., Мамойленко С.Н., Поляков А.Ю., 20232023Хорошевский В.Г., Курносов М.Г., Мамойленко С.Н., Поляков А.Ю.Хорошевский В.Г., Курносов М.Г., Мамойленко С.Н., Поляков А.Ю.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vestnik.sibsutis.ru/jour/article/view/670

Рассматриваются архитектурные принципы и программное обеспечение пространственно-распределенных вычислительных систем. Описывается конфигурация пространственно-распределенной мультикластерной вычислительной системы, созданная и развиваемая Центром параллельных вычислительных технологий ГОУ ВПО "СибГУТИ" совместно с Институтом физики полупроводников им. А.В. Ржанова СО РАН. Приводится описание программного обеспечения системы, включающее средства, разработанные коллективом ведущей научной школы НШ-5176.2010.9.

Architecture principles and software of geographically-distributed computer systems are described. A real configuration of geographically-distributed multicluster computer system is presented. This system has been created and developed by the Computer centre for parallel technologies of Siberian State University for Telecommunication technologies and Information techniques in conjunction with A.V. Rzhanov Institute of semiconductor physics of Siberian Branch of Russian Academy of Science. The description of the system software (including open source components and extensions developed by collective of the author's scientific school on distributed computer systems) is resulted.

пространственно-распределенные вычислительные системыпрограммное обеспечениеgeographically-distributed computer systemssystem softwareReferencesХорошевский В.Г. Архитектура вычислительных систем. - М.: МГТУ им. Н.Э. Баумана, 2008. - 520 с.Хорошевский В.Г. Архитектура вычислительных систем. - М.: МГТУ им. Н.Э. Баумана, 2008. - 520 с.Short History of Metacomputer: Past to Present, сайт NCSA, http://archive.ncsa.illinois.edu/Cyberia/MetaComp/MetaHistory.html (дата обращения 12.04.2010).Short History of Metacomputer: Past to Present, сайт NCSA, http://archive.ncsa.illinois.edu/Cyberia/MetaComp/MetaHistory.html (дата обращения 12.04.2010).Computational Grids., I. Foster, C. Kesselman. Chapter 2 of "The Grid: Blueprint for a New Computing Infrastructure", Morgan-Kaufman, 1999. URL: http://www.globus.org/alliance/publications/papers.php (дата обращения: 12.04.2010)Computational Grids., I. Foster, C. Kesselman. Chapter 2 of "The Grid: Blueprint for a New Computing Infrastructure", Morgan-Kaufman, 1999. URL: http://www.globus.org/alliance/publications/papers.php (дата обращения: 12.04.2010)Хорошевский В.Г., Мамойленко С.Н., Курносов М.Г. Архитектурные концепции, анализ и организация функционирования вычислительных систем с программируемой структурой// Труды Международной научно-технической конференции "Информационные технологии и математическое моделирование систем". - М.: "Радиотехника", 2009, с.74-79. ISBN: 978-5-88070-230-5Хорошевский В.Г., Мамойленко С.Н., Курносов М.Г. Архитектурные концепции, анализ и организация функционирования вычислительных систем с программируемой структурой// Труды Международной научно-технической конференции "Информационные технологии и математическое моделирование систем". - М.: "Радиотехника", 2009, с.74-79. ISBN: 978-5-88070-230-5Cray XT Programming Environment User's Guide. URL: http://docs.cray.com/books/S-2396-21/S-2396-21.pdf (дата обращения 12.04.2010).Cray XT Programming Environment User's Guide. URL: http://docs.cray.com/books/S-2396-21/S-2396-21.pdf (дата обращения 12.04.2010).IBM System Blue Gene Solution: Blue Gene/P Application Development. URL: http://www.redbooks.ibm.com/redbooks/pdfs/sg247287.pdf (дата обращения 12.04.2010).IBM System Blue Gene Solution: Blue Gene/P Application Development. URL: http://www.redbooks.ibm.com/redbooks/pdfs/sg247287.pdf (дата обращения 12.04.2010).ZeptoOS: The small Linux for big computers. URL: http://www.mcs.anl.gov/research/projects/zeptoos/ (дата обращения 12.04.2010)ZeptoOS: The small Linux for big computers. URL: http://www.mcs.anl.gov/research/projects/zeptoos/ (дата обращения 12.04.2010)Kitten Lightweight Kernel. ULR: https://software.sandia.gov/trac/kitten (дата обращения 12.04.2010)Kitten Lightweight Kernel. ULR: https://software.sandia.gov/trac/kitten (дата обращения 12.04.2010)MPICH2: High-performance and Widely Portable MPI. URL: http://www.mcs.anl.gov/research/projects/mpich2 (дата обращения 12.04.2010)MPICH2: High-performance and Widely Portable MPI. URL: http://www.mcs.anl.gov/research/projects/mpich2 (дата обращения 12.04.2010)Open MPI: Open Source High Performance Computing. URL: http://www.open-mpi.org (дата обращения 12.04.2010)Open MPI: Open Source High Performance Computing. URL: http://www.open-mpi.org (дата обращения 12.04.2010)X10 Programming Language. ULR: http://x10-lang.org (дата обращения 12.04.2010)X10 Programming Language. ULR: http://x10-lang.org (дата обращения 12.04.2010)Chapel Programming Language Homepage: Overview. URL: http://chapel.cray.com (дата обращения 12.04.2010)Chapel Programming Language Homepage: Overview. URL: http://chapel.cray.com (дата обращения 12.04.2010)Titanium Project Home Page. URL: http://titanium.cs.berkeley.edu (дата обращения 12.04.2010)Titanium Project Home Page. URL: http://titanium.cs.berkeley.edu (дата обращения 12.04.2010)Berkeley Unified Parallel C (UPC) Project. URL: http://upc.lbl.gov (дата обращения 12.04.2010)Berkeley Unified Parallel C (UPC) Project. URL: http://upc.lbl.gov (дата обращения 12.04.2010)Co-Array Fortran. URL: http://www.co-array.org (дата обращения 12.04.2010)Co-Array Fortran. URL: http://www.co-array.org (дата обращения 12.04.2010)The Fortress Language Specification. URL: http://research.sun.com/projects/plrg/fortress.pdf (дата обращения 12.04.2010)The Fortress Language Specification. URL: http://research.sun.com/projects/plrg/fortress.pdf (дата обращения 12.04.2010)TotalView Technologies − Linux Debugger and Memory Leak Detection Tool for Multi-Threaded C/C++ and Fortran. URL: http://www.totalviewtech.com (дата обращения 12.04.2010)TotalView Technologies − Linux Debugger and Memory Leak Detection Tool for Multi-Threaded C/C++ and Fortran. URL: http://www.totalviewtech.com (дата обращения 12.04.2010)Allinea DDT. URL http://www.allinea.com (дата обращения 12.04.2010)Allinea DDT. URL http://www.allinea.com (дата обращения 12.04.2010)Valgrind Home. URL: http://valgrind.org (дата обращения 12.04.2010)Valgrind Home. URL: http://valgrind.org (дата обращения 12.04.2010)Intel® Debugger 9.1. URL: http://www.intel.com/cd/00/00/21/92/219299_intel_debugger.pdf (дата обращения 12.04.2010)Intel® Debugger 9.1. URL: http://www.intel.com/cd/00/00/21/92/219299_intel_debugger.pdf (дата обращения 12.04.2010)Intel® Parallel Composer - расширение для отладки параллельных программ. URL: http://software.intel.com/ru-ru/articles/intel-parallel-composer (дата обращения 12.04.2010)Intel® Parallel Composer - расширение для отладки параллельных программ. URL: http://software.intel.com/ru-ru/articles/intel-parallel-composer (дата обращения 12.04.2010)GDB: The GNU Project Debugger. URL: http://www.gnu.org/software/gdb (дата обращения 12.04.2010)GDB: The GNU Project Debugger. URL: http://www.gnu.org/software/gdb (дата обращения 12.04.2010)VAMPIR. URL: http://www.vampir.eu (дата обращения 12.04.2010)VAMPIR. URL: http://www.vampir.eu (дата обращения 12.04.2010)VampirTrace. URL: http://www.vampir.eu/flyer/Flyer_VampirTrace_SC09.pdf (дата обращения 12.04.2010)VampirTrace. URL: http://www.vampir.eu/flyer/Flyer_VampirTrace_SC09.pdf (дата обращения 12.04.2010)Intel® Trace Analyzer и Intel® Trace Collector версии 7.2 для Linux или Windows URL: http://www.intel.com/cd/software/products/emea/rus/379896.htm (дата обращения 12.04.2010)Intel® Trace Analyzer и Intel® Trace Collector версии 7.2 для Linux или Windows URL: http://www.intel.com/cd/software/products/emea/rus/379896.htm (дата обращения 12.04.2010)TAU - Tuning and Analysis Utilities. URL: http://www.cs.uoregon.edu/research/tau/home.php (дата обращения 12.04.2010)TAU - Tuning and Analysis Utilities. URL: http://www.cs.uoregon.edu/research/tau/home.php (дата обращения 12.04.2010)KOJAK. URL: www.fz-juelich.de/zam/kojak (дата обращения 12.04.2010)KOJAK. URL: www.fz-juelich.de/zam/kojak (дата обращения 12.04.2010)mpiP: Lightweight, Scalable MPI Profiling. URL: http://mpip.sourceforge.net (дата обращения 12.04.2010)mpiP: Lightweight, Scalable MPI Profiling. URL: http://mpip.sourceforge.net (дата обращения 12.04.2010)Cluster resources :: Products − TORQUE Resource Manager. URL: http://www.clusterresources.com/ (дата обращения 12.04.2010)Cluster resources :: Products − TORQUE Resource Manager. URL: http://www.clusterresources.com/ (дата обращения 12.04.2010)PBS Works - Enabling On-Demand Computing. URL: http://www.openpbs.org (дата обращения 12.04.2010)PBS Works - Enabling On-Demand Computing. URL: http://www.openpbs.org (дата обращения 12.04.2010)Grid Computing | Oracle Grid Engine | Software | Sun Microsystems. URL: http:// www.sun.com/software/sge (дата обращения 12.04.2010)Grid Computing | Oracle Grid Engine | Software | Sun Microsystems. URL: http:// www.sun.com/software/sge (дата обращения 12.04.2010)IBM Redbooks | Workload Management with LoadLeveler. URL: http://www.redbooks.ibm.com/abstracts/sg246038.html (дата обращения 12.04.2010)IBM Redbooks | Workload Management with LoadLeveler. URL: http://www.redbooks.ibm.com/abstracts/sg246038.html (дата обращения 12.04.2010)Ganglia Monitoring System. URL: http://ganglia.sourceforge.net (дата обращения 12.04.2010)Ganglia Monitoring System. URL: http://ganglia.sourceforge.net (дата обращения 12.04.2010)Nagios - The Industry Standard in IT Infrastructure Monitoring. URL: http://www.nagios.org (дата обращения 12.04.2010)Nagios - The Industry Standard in IT Infrastructure Monitoring. URL: http://www.nagios.org (дата обращения 12.04.2010)MonALISA. URL: http://monalisa.caltech.edu (дата обращения 12.04.2010)MonALISA. URL: http://monalisa.caltech.edu (дата обращения 12.04.2010)CEMon. URL: http://vdt.cs.wisc.edu/components/cemon.html (дата обращения 12.04.2010)CEMon. URL: http://vdt.cs.wisc.edu/components/cemon.html (дата обращения 12.04.2010)Paul H. Hargrove and Jason C. Duell Berkeley Lab Checkpoint/Restart (BLCR) for Linux Clusters In Proceedings of SciDAC 2006: June 2006.Paul H. Hargrove and Jason C. Duell Berkeley Lab Checkpoint/Restart (BLCR) for Linux Clusters In Proceedings of SciDAC 2006: June 2006.J. Ansel, K. Arya, G. Cooperman, DMTCP: Transparent Checkpointing for Cluster Computations and the Desktop // Proc. of IEEE International Parallel and Distributed Processing Symposium (IPDPS'09) . IEEE Press, 2009.J. Ansel, K. Arya, G. Cooperman, DMTCP: Transparent Checkpointing for Cluster Computations and the Desktop // Proc. of IEEE International Parallel and Distributed Processing Symposium (IPDPS'09) . IEEE Press, 2009.The Globus Alliance. URL: http://www.globus.org (дата обращения 12.04.2010)The Globus Alliance. URL: http://www.globus.org (дата обращения 12.04.2010)EGEE Technical: Middleware. URL: http://technical.eu-egee.org/index.php?id=149 (дата обращения 12.04.2010)EGEE Technical: Middleware. URL: http://technical.eu-egee.org/index.php?id=149 (дата обращения 12.04.2010)UNICORE - Distributed computing and data resources. URL: http://www.unicore.eu (дата обращения 12.04.2010)UNICORE - Distributed computing and data resources. URL: http://www.unicore.eu (дата обращения 12.04.2010)Grid Brokers and Metaschedulers Market Overview. URL: http://www.gridwisetech.com/metaschedulers (дата обращения 12.04.2010)Grid Brokers and Metaschedulers Market Overview. URL: http://www.gridwisetech.com/metaschedulers (дата обращения 12.04.2010)Вычислительные ресурсы Центра параллельных вычислительных технологий ГОУ ВПО "СибГУТИ" // Сайт ЦПВТ ГОУ ВПО "СибГУТИ", URL: http://cpct.sibsutis.ru/wiki/index.php/Main/Resources (дата обращения: 12.04.2010).Вычислительные ресурсы Центра параллельных вычислительных технологий ГОУ ВПО "СибГУТИ" // Сайт ЦПВТ ГОУ ВПО "СибГУТИ", URL: http://cpct.sibsutis.ru/wiki/index.php/Main/Resources (дата обращения: 12.04.2010).Институт системного программирования РАН - программа "Университетский кластер", URL: http://www.ispras.ru/ru/unicluster/ (дата обращения: 12.04.2010).Институт системного программирования РАН - программа "Университетский кластер", URL: http://www.ispras.ru/ru/unicluster/ (дата обращения: 12.04.2010).Курносов М.Г. Алгоритмы вложения параллельных программ в иерархические распределённые вычислительные системы // Вестник СибГУТИ. − 2009. − № 2 (6). − С. 20-45.Курносов М.Г. Алгоритмы вложения параллельных программ в иерархические распределённые вычислительные системы // Вестник СибГУТИ. − 2009. − № 2 (6). − С. 20-45.Khoroshevsky V., Kurnosov M. Mapping Parallel Programs into Hierarchical Distributed Computer Systems // Proceedings of 4th International Conference "Software and Data Technologies (ICSOFT 2009)". − Sofia: INSTICC, 2009. − Vol. 2. − P. 123-128.Khoroshevsky V., Kurnosov M. Mapping Parallel Programs into Hierarchical Distributed Computer Systems // Proceedings of 4th International Conference "Software and Data Technologies (ICSOFT 2009)". − Sofia: INSTICC, 2009. − Vol. 2. − P. 123-128.Поляков А.Ю. О восстановлении программ из контрольной точки // Параллельные вычислительные технологии (ПаВТ'2010): Труды международной научной конференции (Уфа, 29 марта - 2 апреля 2010 г.) [Электронный ресурс] - Челябинск: Издательский центр ЮУрГУ, 2010. - C. 299-310.- ISBN 978-5-696-03987-9. URL: <http://omega.sp.susu.ac.ru/books/conference/PaVT2010/full/155.pdf>Поляков А.Ю. О восстановлении программ из контрольной точки // Параллельные вычислительные технологии (ПаВТ'2010): Труды международной научной конференции (Уфа, 29 марта - 2 апреля 2010 г.) [Электронный ресурс] - Челябинск: Издательский центр ЮУрГУ, 2010. - C. 299-310.- ISBN 978-5-696-03987-9. URL: <http://omega.sp.susu.ac.ru/books/conference/PaVT2010/full/155.pdf>Поляков А.Ю. Об алгоритме восстановления структуры процессов из контрольной точки // Материалы Международной научно-технической конференции "Многопроцессорные вычислительные и управляющие системы (МВУС-2009)".- Таганрог: ТТИ ЮФУ.- 2009.- Т. 2.- C. 71−73.- ISBN 978-5-8327-0341-1.Поляков А.Ю. Об алгоритме восстановления структуры процессов из контрольной точки // Материалы Международной научно-технической конференции "Многопроцессорные вычислительные и управляющие системы (МВУС-2009)".- Таганрог: ТТИ ЮФУ.- 2009.- Т. 2.- C. 71−73.- ISBN 978-5-8327-0341-1.G. Cooperman, K. Arya, P. Keller, A.Y. Polyakov DMTCP and Condor: a New Checkpointing Mechanism // Condor Week 2010. - Режим доступа: http://www.cs.wisc.edu/condor/CondorWeek2010/condor-presentations/cooperman-dmtcp.pdfG. Cooperman, K. Arya, P. Keller, A.Y. Polyakov DMTCP and Condor: a New Checkpointing Mechanism // Condor Week 2010. - Режим доступа: http://www.cs.wisc.edu/condor/CondorWeek2010/condor-presentations/cooperman-dmtcp.pdfAna Maria Visan, Artem Polyakov, Praveen S. Solanki, Kapil Arya, Tyler Denniston, Gene Cooperman Temporal Debugging using URDB. − Режим доступа: http://arxiv.org/abs/0910.5046v1Ana Maria Visan, Artem Polyakov, Praveen S. Solanki, Kapil Arya, Tyler Denniston, Gene Cooperman Temporal Debugging using URDB. − Режим доступа: http://arxiv.org/abs/0910.5046v1

The authors declare that there are no conflicts of interest present.