Краткое описание

В настоящее время вычислительные системы кластерного типа получают все большее распространение. Это обусловлено различными факторами, главным из которых является насущная потребность в решении актуальных задач фундаментальной и прикладной науки, для анализа и исследования которых производительности существующих средств вычислительной техники оказывается недостаточно. Однако при развертывании систем такого рода возникает ряд проблем. Заметное место в этом ряду занимает проблема эффективного управления кластерной системой. Для того чтобы вычислительная система успешно функционировала необходимо, по крайней мере, реализовать систему, обеспечивающую возможность запуска задач на кластере (систему доступа), систему, обеспечивающую планирование выполнения задач на кластере (диспетчер заданий), и систему мониторинга узлов, составляющих кластер. В случае отсутствия систем такого рода возможны конфликты в процессе запроса вычислительных мощностей во время проведения экспериментов, что приведет к падению общей пропускной способности системы. Таким образом, разработка программных систем, решающих эти задачи, является необходимым условием успешного развития вычислительных систем рассматриваемого класса.

Поскольку рассматриваемые программные системы являются критически-важными для обеспечения работы вычислительного кластера, работы по созданию подобных систем ведутся уже долгое время, многими коллективами. Следует, однако, отметить, что традиционно большая часть подобных систем была ориентирована на использование с кластерами, работающими под управлением ОС семейства UNIX. Появляющиеся в настоящее время общедоступные системы для ОС семейства Windows являются, большей частью, результатом портирования соответствующих UNIX-систем. Системы, созданные специально для ОС семейства Windows, а также системы, позволяющие работать с гетерогенными кластерами, являются, большей частью, коммерческими.

Дополнительная информация - на сайте интегрированной среды высокопроизводительных вычислений ННГУ.

Цели проекта           

Целью настоящего проекта является разработка программной системы, способствующей эффективному использованию вычислительных кластеров. Подобная система должна решать, по меньшей мере, следующие классы задач:

• Задачи обеспечения доступа пользователей к кластеру и создание благоприятной среды для их работы.
• Административные задачи управления ресурсами кластера (такими как узлы, пользователи и т.д.), мониторинга используемых ресурсов, ведение и анализ журналов событий различного типа.
• Планирование выполнение задач на кластере, а именно распределение задач по времени начала выполнения и по используемым узлам (в общем случае - используемым ресурсам) с целью оптимизации выбранного показателя производительности (в качестве такого показателя обычно выбирается пропускная способность системы).

Файлы

1. Презентация проекта
2. Презентация для 8-ой международной конференции «Высокопроизводительные параллельные вычисления на кластерных системах»: «Разработка средств управления высокопроизводительными вычислениями в среде «Метакластер»: интеграция с планировщиком Maui», Казань, 2008
3. Презентация для всероссийской научной конференции «Научный сервис в сети Интернет: решение больших задач»: «Использование системы мониторинга Ganglia в рамках среды управления высокопроизводительными вычислениями «Метакластер», Новороссийск, 2008
4. Презентации для конференции "Технологии Microsoft в теории и практике программирования" (21.03.2006)
5. Тезисы для конференции "Технологии Microsoft в теории и практике программирования": "Обзор Microsoft Compute Cluster Server 2003", "Новый проект системы управления "Метакластер"
6. Архитектура разрабатываемой системы

Коллектив

1. Гергель Виктор Павлович, д.т.н, проф., научный руководитель проекта
2. Сенин Андрей, аспирант кафедры МО ЭВМ, исследователь, технический руководитель проекта
3. Кустикова Валентина, студент, исследователь
4. Лозгачев Иван, студент, исследователь
5. Коршунова Анна, студент, разработчик
6. Постникова Екатерина, студент, разработчик
7. Федоров Сергей, студент, разработчик

Ранее в проекте участвовали

1. Свистунов Алексей, в роли технического руководителя проекта
2. Лабутин Дмитрий, разработка веб-приложения
3. Лопатин Игорь
4. Корняков Кирилл
5. Шишков Александр
6. Домрачев Виталий
7. Чернигин Алексей

Основные (ожидаемые) результаты

В качестве основного результата предполагается получить систему управления, удовлетворяющую заявленным требованиям, а именно:

• Обеспечивающую возможность удаленного доступа к кластеру, в том числе без использования специализированных клиентов (доступ через Web).
• Создать для пользователя интегрированную среду для работы на кластере,  обеспечивающую возможность выполнения всех необходимых пользователю для работы операций из единого центра.
• Обеспечить администратора удобным инструментарием для решения задач, связанных с администрированием вычислительной системы. В том числе средствами для сбора и анализа статистических данных.
• Обеспечить эффективную стратегию планирования выполнения задач, оптимизирующую производительность вычислительной системы.
• Позволить управлять вычислительными кластерами, состоящими из узлов, управляемых ОС различных семейств.

В качестве дополнительного результата предполагается провести работу по сравнению эффективности работы планировщиков различного типа применительно для различных классов задач и выработать соответствующие рекомендации по их использованию

Текущие исследования

В настоящее время коллективом разработчиков разработана система управления кластером, обладающая подобной функциональностью. Эта система внедрена на кластере Нижегородского государственного университета. Система выполнена в архитектуре клиент-сервер, для нее реализован как тонкий клиент (клиентом является браузер), так и клиент в виде обычного приложения. Предлагаемую к реализации систему предполагается строить на базе уже разработанной, в виде Web-сервиса - такой подход позволит обеспечить более простую интеграцию с внешними приложениями, в том числе облегчит создание специализированных клиентов системы. Кроме того, в существующем виде система управления может работать только с кластерам, работающими под управлением ОС семейства Windows. Предполагается в разрабатываемой системе обеспечить возможность работы с кластерами, работающими под управлением ОС семейства UNIX, а также с гетерогенными кластерами, включающими узлы обоих типов.

Некоторые публикации

1. Кустикова В.Д., Сенин А.В. «Разработка средств управления высокопроизводительными вычислениями в среде «Метакластер»: интеграция с планировщиком Maui»// Труды 8-ой международной конференции «Высокопроизводительные параллельные вычисления на кластерных системах» (11-19 ноября 2008 г., г. Казань). Казань: изд. КГТУ, 2008.
2. Лозгачев И.Н., Сенин А.В. «Использование системы мониторинга Ganglia в рамках среды управления высокопроизводительными вычислениями «Метакластер»// Труды Всероссийской научной конференции «Научный сервис в сети Интернет: решение больших задач» (22-27 сентября 2008 г., г. Новороссийск). М.: Изд-во МГУ, 2008. - 468 с.
3. Корняков К.В., Сенин А.В., Шишков А.В. Интегрированная среда управления высокопроизводительными вычислениями «Метакластер». В сборнике материалов 12-ой Нижегородской сессии молодых ученых (математические науки).  "Красный плес" Семеновского р-на Нижегородской области, Семенов, 23-25 мая 2007
4. Свистунов А.Н., Лабутин Д.Ю., Лопатин И.В., Сенин А.В. "Разработка интегрированной среды высокопроизводительных вычислений для кластера Нижегородского университета". Материалы 6-ой международной научно-практический конференции «Высокопроизводительные параллельные вычисления на кластерных системах», Санкт Петербург, 12-17 декабря 2006 г.
5. Лопатин И.Б., Свистунов А.Н. JOB SCHEDULING METHODS FOR GENERAL-PURPOSE COMPUTATIONAL CLUSTERS      // Сборник тезисов докладов  VI Международного конгресса по математическому моделированию. г. Нижний Новгород: Издательство Нижегородского госуниверситета, 2005
6. Лабутин Д.Ю., Лопатин И.Б., Свистунов А.Н., Сенин А.В. Разработка системы управления вычислительным кластером // Технологии Microsoft в теории и практике программирования: Труды Всероссийской конференции студентов, аспирантов и молодых ученых. Центральный регион. Москва,17-18 февраля 2005г.  М.: Издательство МГТУ им. Н.Э. Баумана, 2005 
7. Гергель В.П., Свистунов А.Н. Интегрированная среда высокопроизводительных вычислений для кластера Нижегородского университета // Высокопроизводительные параллельные вычисления на кластерных системах: Материалы Международного научно-практического семинара. г.Нижний Новгород: Издательство Нижегородского госуниверситета, 2004

Некоторые конференции и семинары

1. 8-ой международная конференция «Высокопроизводительные параллельные вычисления на кластерных системах» (11-19 ноября 2008 г., г. Казань)
2. Всероссийская научная конференция «Научный сервис в сети Интернет: решение больших задач» (22-27 сентября 2008 г., г. Новороссийск)
3. 12-ая Нижегородская сессия молодых ученых (математические науки).  "Красный плес" Семеновского р-на Нижегородской области, Семенов, 23-25 мая 2007
4. 6-ая международная научно-практическая конференция «Высокопроизводительные параллельные вычисления на кластерных системах», Санкт Петербург, 12-17 декабря 2006 г.
5. Высокопроизводительные параллельные вычисления на кластерных системах. Международный научно-практический семинар. . г.Нижний Новгород, 2005
6. VI Международный конгресс по математическому моделированию. г. Нижний Новгород, 2005
7. Высокопроизводительные параллельные вычисления на кластерных системах. Международный научно-практический семинар. . г.Нижний Новгород, 2004

Программное обеспечение

1. Microsoft Visual Studio 2005
2. Microsoft Sql Server 2005
3. Internet Information Server 7

Для корректного отображения страницы необходим браузер Microsoft Internet Explorer 6.