Нормативные ссылки
В настоящем отчете о НИР использованы ссылки на следующие стандарты:
ГОСТ Р 15.011-96 Патентные исследования.
Определения
Грид – (от английского grid – сеть) собирательное название вычислительных технологий, рассматривающих произвольное объединение отдельных вычислительных ресурсов в качестве единого вычислительного ресурса.
Грид-сервис – программное приложение, выполняемое на вычислительном грид-ресурсе.
Используемые сокращения
СОЗ – Система очередей задач.
EGEE – Enabling Grid in Escience in Europe.
РДИГ – Российский грид для интенсивных операций с данными.
ОС – Операционная система.
PBS – Portable Batch System
ППО – Промежуточное программное обеспечение.
ВЭ – Вычислительный элемент.
JDL – Job Description Language
РУ – рабочий узел
MPI – Message Passing Interface
PVM – Parallel Virtual Machine.
СК - суперкомпьютер
МГУ Московский Государственный Университет им. М.В.Ломоносова
НИИЯФ МГУ Научно-исследовательский институт ядерной физики МГУ
НИР научно-исследовательские работы
ТЗ техническое задание
MPI – сокращение от английского
Message Passing Interface - дословно "интерфейс
передачи сообщений". Протокол обмена данными с многопроцессорными системами.
1 Введение
Согласно Календарному плану на Этапе 2 в период с 01 октября по 31 декабря 2007 г. запланировано выполнение следующих работ:
Разработка рабочих вариантов архитектуры сопряжения РДИГ и СКИФ.
Взаимная адаптация информационных систем gLite (EGEE) и СКИФ.
Проведение необходимых расчетов и математического моделирования.
Разработка спецификаций дополнительных компонент системы распределения и загрузки заданий gLite (EGEE) обеспечивающих учет СКИФ-ресурсов при запуске заданий из РДИГ.
Составление промежуточного отчета.
2 Разработка рабочих вариантов архитектуры сопряжения РДИГ и СКИФ
На первом этапе контракта был продолжен анализ научно-технической литературы, нормативно-технической документации и других материалов, относящихся к теме контракта, изучение характеристик существующего и разрабатываемого ПО и протоколов интерфейсов.
Для достижения целей проекта проводилась разработка рабочих вариантов архитектуры взаимодействия грид инфраструктуры EGEE/РДИГ и суперкомпьютерных центров СКИФ - детально выяснялись принципы построения и организации вычислительного процесса с помощью кластерных решений СКИФ.
2.1 Грид-среда и суперкомпьютеры СКИФ
Концепция грид-технологий появилась как ответ на возросшие потребности в крупных информационно-вычислительных ресурсах, динамически выделяемых для решения громоздких задач, в научной, индустриальной, административной и коммерческой областях деятельности. Создание грид-среды подразумевает объединение вычислительных ресурсов географически разделенных ресурсных центров при помощи специализированного программного обеспечения (промежуточное программное обеспечение, ППО). Это программное обеспечение позволяет распределять задания по таким центрам, возвращать результаты пользователю, контролировать права пользователей на доступ к тем или иным ресурсам, осуществлять мониторинг ресурсов.
Если посмотреть на уже действующие грид-инфраструктуры (в основном, в США и Европе), в том числе и обслуживающие коммерческие приложения, то в настоящее время основным классом задач, решаемых с их помощью, являются задачи, которые можно разделить на большое число независимых подзадач. Такие подзадачи распределяются по грид-ресурсам (которые чаще всего являются кластерами ПК) по принципу: одна подзадача – один процессор. Затем результаты обработки отдельных подзадач собираются вместе и формируется результат задачи в целом. Однако существует весьма обширный класс актуальных прикладных задач, которые невозможно полностью разделить на независимые подзадачи. Эффективное решение таких подзадач требует межпроцессорного обмена информацией в ходе решения (существенно параллельные вычисления). Поэтому исключительно важной составной частью создания эффективной грид-среды является включение в нее, наряду с кластерами, суперкомпьютеров в качестве вычислительных ресурсов (гетерогенная грид-среда). При этом грид-среда обеспечивает, в частности, возможность удаленного запуска параллельных вычислений на суперкомпьютере, входящем в грид-инфраструктуру, и выравнивание (распределение) нагрузки между суперкомпьютерами в грид-среде.
Особенно привлекательным является использование в качестве вычислительных грид-ресурсов суперкомпьютеров семейства СКИФ, поскольку они обладают рядом существенных достоинств по сравнению с другими решениями для высокопроизводительных вычислительных систем с параллельной архитектурой. В частности, к достоинствам семейства СКИФ относятся:
- открытая и масштабируемая архитектура;
- модульная схема исполнения, что позволяет создавать вычислительных системы самой разной производительности (от десятков миллиардов до нескольких триллионов операций в секунду) и делать их специализированными - в зависимости от конкретного назначения;
- программное обеспечение СКИФ использует стандартные языки (параллельного) программирования, а также оригинальную российскую разработку (Т-система);
- по соотношению производительности и стоимости семейство СКИФ превосходит все существующие аналоги.
Опыт по созданию распределенных вычислительных комплексов на базе суперкомпьютеров семейства СКИФ может быть применим и к другим системам с параллельной архитектурой.
С функциональной точки зрения работа по созданию и эксплуатации территориально-распределенных вычислительных комплексов подразделяется на разработку компонент ППО и разработку специализированного инструментария для решения прикладных задач.
На суперкомпьютерах СКИФ используется свободно распространяемая ОС Линукс. Ядро ОС Линукс специально адаптированно для работы на суперкомпьютерах семейства "СКИФ". Это позволило обеспечить надежную и безопасную работу аппаратных и программных средств суперкомпьютеров семейства "СКИФ". Функциональные характеристики соответствуют актуальным версиям официальных стабильных дистрибутивов ОС Линукс.
2.2 Система очередей суперкомпьютеров СКИФ и ППО gLite PBS и TORQUE
Система очередей задач (СОЗ) для кластерного уровня суперкомпьютеров семейства "СКИФ" предназначена для обеспечения распределения задач пользователей между базовыми вычислительными модулями (узлами) кластерного уровня для достижения большей производительности, получаемой в силу более равномерной загрузки вычислительных узлов и более равномерного распределения вычислительных ресурсов между пользователями.
В качестве СОЗ в суперкомпьютерах СКИФ применена система PBS – хорошо известное решение, основанное на открытых кодах.
Использование PBS позволит заметно сократить объем кода, требуемый для стыковки ВЭ основанного на ППО gLite и СОЗ, используемого в СК СКИФ.
В настоящее время разработчиками ПО СКИФ ведутся также работы по внедрению также широко используемого в gLite ППО TORQUE.
Промежуточное программное обеспечение gLite [25] – базовое ППО для построения, на котором строится грид-инфраструктура EGEE/РДИГ [2,3].
2.3 Высоко-эффективная библиотека обмена сообщениями MPI
Существующее промежуточное программное обеспечение (ППО), обеспечивающее работу грида в целом (распределение заданий по грид-ресурсам, сбор результатов, мониторинг выполнения и так далее) в настоящее время само по себе не позволяет эффективно обрабатывать задачи, требующие параллельных вычислений с межпроцессорным обменом поскольку разрабатывалось в рамках парадигмы одно задание – один процессор. Для широкого внедрения многопроцессорных технологий в мировой практике широко используется ППО на базе интерфейса обмена сообщениями MPI и его более поздней версии MPI-2 и их реализациями MPICH и MPICH-2 соответственно (http://www-unix.mcs.anl.gov/mpi/mpich/).
MPICH-2 – реализация Интерфейса передачи сообщений (MPI). Цели MPICH-2 состоят в том, чтобы обеспечить реализацию MPI для важных платформ, включая кластеры, SMPs, и процессоры с массовым параллелизмом.
MPICH-2 выполнена в Аргоннской национальной лаборатории (США) и обладает богатым набором возможностей, которые включают:
Безопасность потока и параллелизм
Динамическое порождение процесса
Сетевая отказоустойчивость процесса
Поддержка различных платформ (32 и 64 бита) и операционных систем (включая MS Windows и многие разновидности Linux)
Высокая эффективность на всех платформах
Работа в рамках данного протокола обеспечивает совместимость ППО gLite, под управлением которого работает грид-инфраструктура EGEE/РДИГ (http://www.eu-egee.org, http://egee-rdig.ru) и суперкомпьютерных кластеров грид-систем.
2.4 Рабочие варианты архитектуры сопряжения РДИГ и СКИФ
Структура кластера СКИФ и используемая на нем операционная система Линукс, системы управления очередями заданий PBS и TORQUE, близки к структуре и ПО используемым на кластерах и рабочих узлах в грид инфраструктуре EGEE/РДИГ. Близость этого ПО облегчает проблему стыковки кластера СКИФ и грид шлюза EGEE/РДИГ.
EGEE грид предоставляет развитую инфраструктуру и программные средства для удаленного запуска заданий и централизованного мониторинга состояния заданий, что позволяет обеспечить эффективный доступ пользователей к вычислительным ресурсам СКИФ.
На основе вышесказанного можно сформулировать следующие варианты решений архитектурных решений подключения СКИФ-кластера.
1. Интегрирование ППО gLite в кластер архитектуру СКИФ.
Интегрированное решение, которое состоит в реализации компьютерного элемента EGEE-ГРИД на компьютере, входящем в кластер. В этом случае вычислительный элемент будет жестко привязан к ПО стоящему на кластере СКИФ. Это потребует выполнения большого объема программирования связанного с адаптацией ППО gLite к программной среде СКИФ. Учитывая, что часть кластеров СКИФ работают под управлением ОС MS Windows, работа по адаптации будет практически эквивалентна написанию соответствующего ППО заново, что является нецелесообразным.
2. Грид-шлюз к СК СКИФ.
В этом варианте предлагается установить ППО gLite на отдельном сервере (front-end компьютер), который будет выполнять роль грид-шлюза (gateway), через который будет осуществляться взаимодействие с остальной грид- инфраструктурой EGEE/РДИГ.
В предложенном варианте можно рассмотреть два варианта:
- использования серверов кластера СКИФ в качестве рабочих узлов грида;
- установка отдельного сервера в качестве рабочего узла, через который задания будут передаваться на выполнение в СК СКИФ.
Использование серверов кластера СКИФ в качестве рабочих узлов потребует большого объема программирования по адаптации ППО рабочего узла (РУ) к среде СК КСИФ. Более приемлемым вариантом, по нашему мнению, является вариант с установкой отдельного рабочего узла как front-end компьютер к СК СКИФ (рис. 1). Учитывая небольшую нагрузку на этот узел (так как фактическое вычисление будет производиться на самом кластере), то можно запустить РУ на грид-шлюзе под управлением виртуальной машины Xen, что, в свою очередь, позволит значительно сократить объем программирования при адаптации ППО gLite.
Рис.1. Предлагаемая архитектура подключения СК СКИФ
к грид инфраструктуре EGEE/РДИГ.
Все это позволит существенно расширить класс задач, решаемых с помощью грид-технологий.
3 Взаимная адаптация информационных систем gLite (EGEE) и СКИФ
В настоящее время потребность адаптации ППО для решения класса параллельных задач общепризнанна мировым сообществом разработчиков и пользователей грид-систем. Различные подходы к решению этой проблемы обсуждаются на различных международных и российских конференциях, посвященных технологиям распределенных вычислений и обработки данных. Однако готовых разработок пока нет. Существуют некоторые частные решения для более узкого класса задач. Например, для ППО gLite (в рамках международного проекта EGEE, http://www.eu-egee.org) разработаны модули, которые позволяют обрабатывать подзадачи, обмен информацией между которыми в процессе решения описывается направленным графом без петель. В настоящее время эти модули проходят предварительное тестирование. Некоторые предварительные разработки проводятся также в рамках проекта Interactive Grid (
http://www.interactive-grid.eu).
Кластеры СКИФ являются суперкомпьютерными кластерами ориентированными на решение параллельных задач с использованием соответствующих библиотек MPI. Несмотря на наличие со стороны грид-инфраструктуры EGEE/РДИГ некоторых примитивных средств поддержки параллельных заданий с использованием MPI, полноценной поддержки таких вычисление гридовское ППО не содержит, что не позволяет эффективно обрабатывать задачи, требующие параллельных вычислений с межпроцессорным обменом.
Для организации полноценной поддержки параллельных вычислений в грид-инфраструктуре EGEE/РДИГ под управлением ППО gLite, необходимо провести адаптацию ППО с учетом особенностей архитектуры кластерных решений СКИФ-ГРИД и с учетом требований со стороны технологии MPI.
Включение СКИФ-кластера в EGEE ГРИД может быть осуществлено разными способами, рассмотренными ниже. При этом, вообще говоря, может понадобиться адаптация Glue – схемы (системы публикуемых параметров, используемых в EGEE ГРИД для выбора кластера для выполнения задания) и языка описания заданий JDL.
Существенно, что имеется переносимый модуль библиотеки MPICH (http://grid.ie/mpi/wiki/JobSubmission), позволяющий локально развернуть эту библиотеку при выполнении отдельно взятого задания на кластере где не смонтирован MPI-старт. К сожалению, для версии MPICH-2 такого модуля нет. Разворачивается такой модуль добавлением в задание строк:
# untar mpi-start and set up variables
tar xzf mpi-start-0.0.46.tar.gz
export I2G_MPI_START=bin/mpi-start
MPIRUN=`which mpirun`
export MPI_MPICH_PATH=`dirname $MPIRUN`
Файл mpi-start-0.0.46.tar.gz может быть получен по адресу: http://grid.ie/mpi/wiki/JobSubmission?action=AttachFile&do=get&target=mpi-start-0.0.46.tar.gz
Одной из главных задач по взаимодействию грид-инфраструктуры EGEE/РДИГ и суперкомпьютеров СКИФ является сопряжение информационной системы грид и системой параметров, используемых пользователями суперкомпьютеров СКИФ для запуска заданий.
В настоящее время поддержка MPI задач в грид инфраструктуре EGEE/РДИГ находится на начальном уровне.
Для информирования о возможности работы сайта с MPI приложениями сайт публикует "MPICH" в качестве значения атрибута Glue-схемы GlueHostApplicationSoftwareRunTimeEnvironment. Пользователь в JDL файле указывает JobType="MPICH"; и задает обязательный в этом случае атрибут NodeNumber, задающий в этом случае необходимое для выполнения задания количество CPU. Таким образом, единственным специфичным для MPI сайтов параметром GLUE схемы является значение "MPICH" в атрибуте GlueHostApplicationSoftwareRunTimeEnvironment.
Вся дальнейшая работа ложится на пользователя. Он должен кроме собственно приложения написать специальный обертывающий скрипт-wrapper, который и адаптируется к конкретным условиям сайта, на который запущено задание (анализирует конфигурацию и параметры системы, вызывает нужные компиляторы и т.д.). При таком подходе, важно только чтобы скрипт-wrapper мог получить достаточно полную информацию о MPI системе, установленной на сайте.
Таким образом, существующий механизм автоматического выбора целевого сайта для MPI приложений довольно примитивен, но оставляет пользователю (точнее разработчику приложений) много возможностей запускать задания самостоятельно. Например, можно задать список подходящих MPI сайтов и разработать специализированные системы для анализа их состояний, то есть, сделать по-существу собственный специализированный ресурс-брокер, как это сейчас и практикуется.
Для использования более тонких механизмов распределения MPI ресурсов в грид позднее могут понадобиться более тонкие параметры, чем количество CPU, но для их разработки необходима более детальная, чем имеющаяся сейчас, информация о структуре СК СКИФ и способов использования ни них MPI. Это будет особенно актуально, когда в грид будет реализовано унифицированное и централизованное распределение MPI ресурсов. На первом этапе, возможно, следует отдать распределение этих ресурсов на усмотрение разработчиков приложений для виртуальных организаций.
4 Проведение необходимых расчетов и математического моделирования.
На основании проведенного анализа в качестве способа решения поставленной задачи – обеспечения взаимодействия грид-инфраструктуры EGEE/РДИГ с СК СКИФ – была разработана модель инфраструктуры, опирающаяся на действующий макет кластера СКИФ из 4-х двухпроцессорных двухядерных процессоров фирмы Интел в составе:
- грид-шлюза для обеспечения доступа из грид-инфраструктуры к ресурсам MPI-кластера. В грид-инфраструктуре таким шлюзом служит вычислительный элемент (ВЭ), реализован на базе отдельческого компьютера lcg85;
- адаптированный для работы с кластером, специально сконфигурированный рабочий узел (РУ) в качестве front-end машины, обеспечивающей передачу заданий в кластер на выполнение. С точки зрения ГРИД это - рабочее узел (РУ), реализованное на базе машины lcg42. На нем также установлена библиотека MPICH.
Важным преимуществом такого подхода является возможность обеспечить доступ к СК ресурсам СКИФ не только под управлением ОС Линукс, но и работающих под другими ОС, например MS Windows.
Макет кластера подключен к инфраструктуре EGEE/РДИГ, что позволяет отработать работу всей цепочки прохождения заданий, начиная от этапа запуска задания пользователем до получения конечного результата.
В настоящее время в порядке эксперимента на базе отдельческого кластера "FUSION" ведется также создание рабочего макета суперкомпьютера, где MPICH - библиотека установлена непосредственно на РУ кластера и взаимодействие с ВЭ происходит напрямую, т.е. без использования промежуточного шлюза.
Таким образом, основой общей методики проведения исследований является использование макета, включенного в реально действующую глобальную грид-инфраструктуру.
По мере отработки технологии включения кластеров СКИФ кластеров в грид инфраструктуру EGEE/РДИГ предполагается переход к натурным испытаниям с использованием реальных кластеров СКИФ.
5 Разработка спецификаций дополнительных компонент системы распределения и загрузки заданий gLite (EGEE) обеспечивающих учет СКИФ-ресурсов при запуске заданий из РДИГ.
Для реализации широких возможностей разработанной для СКИФ Т-системы с открытой архитектурой (OpenTS), таких как PVM-системы и MPI-кластеры, может понадобиться разработка соответствующего расширения языка управления заданиями ГРИД (JDL) с учетом возможного расширения Glue схемы.
В частности, для возможности автоматического распознавания вычислительных свойств ресурсного центра со СКИФ-кластером, разрабатывается соответствующая система публикуемых параметров. Эти параметры должны быть совместимыми с существующими протоколами грид ресурс-брокеров и информационной системы грида.
На настоящий момент в качестве основных параметров выбраны:
общее число процессоров кластера;
число процессоров, необходимое запускаемому заданию;
число реально загруженных на данный момент процессоров;
ориентировочное время выполнения задания (длинная - короткая очереди).
6 Заключение.
На базе созданного в НИИ ядерной физики действующего макета проведено теоретическое исследование взаимодействия грид-инфраструктуры EGEE/РДИГ и суперкомпьютеров СКИФ. Результатом исследования явилось доказательство возможности:
осуществлять запуск заданий пользователей на СК СКИФ;
обеспечить мониторирование процесса прохождения задания со стороны пользователей;
оптимально использовать ресурсы суперкомпьютеров СКИФ.
7 Литература
Enabling Grids for E-science in Europe,
http://eu-egee.org/
LCG User Developer Guide, http://grid-deployment.web.cern.ch/grid-deployment/cgi-bin/index.cgi?var=eis/docs
LCG Middleware Developers Guide, http://grid-deployment.web.cern.ch/grid-deployment/cgi-bin/index.cgi?var=documentation
The Anatomy of the Grid. Enabling Scalable Virtual Organizations Ian Foster, Carl Kesselman, Steven Tuecke, http://www.globus.org/research/papers/anatomy.pdf
Overview of the Grid Security Infrastructure, http://www-unix.globus.org/security/overview.html
Resource Management, http://www-unix.globus.org/developer/resource-management.html
GSIFTP Tools for the Data Grid http://www.globus.org/datagrid/deliverables/gsiftp-tools.html
RFIO: Remote File Input/Output, http://doc.in2p3.fr/doc/public/products/rfio/rfio.html
The GLUE schema, http://www.cnaf.infn.it/~sergio/datatag/glue/
MDS 2.2 Features in the Globus Toolkit 2.2 Release, http://www.globus.org/mds/
European DataGrid Project, http://eu-datagrid.web.cern.ch/eu-datagrid/
WP1 Workload Management Software - Administrator and User Guide. Nov 24th, 2003, http://server11.infn.it/workload-grid/docs/DataGrid-01-TEN-0118-1_2.pdf
LCG-2 Manual Installation Guide, https://edms.cern.ch/file/434070//LCG2Install.pdf
Job Description language HowTo. December 17th, 2001, http://server11.infn.it/workload-grid/docs/DataGrid-01-TEN-0102-0_2-Document.pdf
JDL Attributes - Release 2.x. Oct 28th, 2003, http://server11.infn.it/workload-grid/docs/DataGrid-01-TEN-0142-0_2.pdf
The EDG-Brokerinfo User Guide - Release 2.x. 6th August 2003, http://server11.infn.it/workload-grid/docs/edg-brokerinfo-user-guide-v2_2.pdf
Workload Management Software - GUI User Guide. Nov 24th, 2003, http://server11.infn.it/workload-grid/docs/DataGrid-01-TEN-0143-0_0.pdf
GridICE: a monitoring service for the Grid, http://server11.infn.it/gridice/
TOP500 Supercomputer Sites — мировой рейтинг пятисот самых мощных компьютеров мира // Информационный ресурс в сети Интернет, http://www.top500.org/
Операционная система Linux, адаптированная для работы на суперкомпьютерах семейства "СКИФ", http://skif.pereslavl.ru/skif/index.cgi?module=chap&action=getpage&data=documents\..\CD_new\linux-skif\linux_tekst_programmy.html
Руководство оператора, http://skif.pereslavl.ru/skif/index.cgi?module=chap&action=getpage&data=documents\..\CD_new\linux-skif\linux_ruk_operatora.html
Руководство программиста, http://skif.pereslavl.ru/skif/index.cgi?module=chap&action=getpage&data=documents\..\CD_new\linux-skif\linux_ruk_programmista.html
Руководство системного программиста, http://skif.pereslavl.ru/skif/index.cgi?module=chap&action=getpage&data=documents\..\CD_new\linux-skif\linux_ruk_sys_programmista.html
Система очередей задач для кластерного уровня суперкомпьютеров семейства “скиф”, http://skif.pereslavl.ru/skif/index.cgi?module=chap&action=getpage&data=documents\..\CD_new\pbs\pbs-rtf.zip
gLite, http://glite.web.cern.ch/glite
Абрамов С.М., Адамович А.И., Инюхин А.В., Московский А.А., Роганов В.А., Шевчук Е.В., Шевчук Ю.В. Т-система с открытой архитектурой // Труды Международной научной конференции «Суперкомпьютерные системы и их применение. SSA'2004», 26-28 октября 2004 г. Минск, ОИПИ НАН Беларуси, с. 18-22
Список 50 наиболее мощных компьютеров СНГ // Информационный ресурс в сети Интернет, http://www.supercomputers.ru
Абламейко С.В., Абрамов С.М., Анищенко В.В., Парамонов Н.Н., Чиж О.П. Суперкомпьютерные конфигурации СКИФ. Мн.: ОИПИ, 2005. — 170 с.
Абрамов С. М., Анищенко В. В., Парамонов Н. Н., Чиж О. П. Разработка и опыт эксплуатации суперкомпьютеров семейства «СКИФ» // Материалы I международной конференции «Информационные системы и технологии» (IST'2002), Минск, 5–8 ноября 2002 г. Часть 2, стр. 115–117.
Абрамов С. М., Васенин В. А., Мамчиц Е. Е., Роганов В. А., Слепухин А. Ф. Динамическое распараллеливание программ на базе параллельной редукции графов. Архитектура программного обеспечения новой версии Т-системы // Высокопроизводительные вычисления и их приложения: Труды Всероссийской научной конференции (30 октября–2 ноября 2000 г., г. Черноголовка).—М.: Изд-во МГУ, 2000, стр. 261–264.
Абрамов С. М., Адамович А. И., Коваленко М. Р. Т-система—среда программирования с поддержкой автоматического динамического распараллеливания программ. Пример реализации алгоритма построения изображений методом трассировки лучей // Программирование, 1999, 99, № 25 (2), стр. 100–107.
