Университетский кластер

История

В 2009г. компания Hewlett-Packard и национальный оператор связи ЗАО «Синтерра» совместно с учреждениями Российской академии наук (институт системного программирования РАН и межведомственный суперкомпьютерный центр РАН) провели программу «Университетский кластер», в ходе которой среди Российских вузов был проведен конкурс и 12 победителей получили в безвозмездное пользование вычислительные кластеры производства HP. В числе победителей оказался и Кемеровский Государственный Университет. 
В июне 2009г. оборудование было доставлено в центр новых информационных технологий КемГУ. Вначале это был вычислительный ресурс небольшой производительности (~0.3 Tflops) на основе блейд-шасси HP Blade System c3000 c четырьмя вычислительными узлами HP BL220c G5 и управляющим HP BL260c G5.

Впоследствии в рамках программы развития инновационной инфраструктуры на 2010-2012 гг., реализуемой в КемГУ, кластер был доукомплектован еще пятью вычислительными модулями HP BL280c G6 и сетью Infiniband DDR, в результате чего пиковая производительность увеличилась до 1.5 Tflops.

В 2016г. в КемГУ началась работа по проекту создания центра компьютерного инжиниринга. Важную роль в проекте было решено отвести развитию в университете тематики суперкомпьютерных технологий и, соответственно, нарастить мощность вычислительного кластера. Ввиду того, что в существующем шасси HP Blade System c3000не осталось свободных слотов, была закуплена новая блейд-корзина Dell PowerEdge M1000e c пятью серверами Dell PowerEdge M630 и двумя коммутаторамиDellForce10 MXL10/40 GbE.

 

Текущее состояние

На сегодняшний день вычислительный кластер состоит из 12 вычислительных узлов и одного управляющего.
Пиковая производительность кластера составляет 6.9 Tflop/s. По протоколу FCoEк вычислительному кластеру подключена система хранения данных HP MSA 2040(размер раздела 6Тб).

Технические характеристики узлов:

 

 Управляющий узел

 Узлы первой
 очереди
(2009)

 Узлы второй
 очереди (2011)

 Узлы третьей
  очереди (2016)

 Наименование

 HP BL260c G5

 HP BL220c G5

 HP BL280c G6

 Dell PowerEdge M630

 Кол-во узлов

 1

 2

 5

 5

 Блейд-шасси

 HP Blade System
 c3000

 HP Blade System
 c3000

 HP Blade System
 c3000

 Dell PowerEdge M1000e

 Процессоры

 IntelXeon E5410 (1 шт)

 Intel Xeon E5410 (2 шт)

 Intel Xeon E5630 (2 шт)

Intel Xeon E5-2683v4 (2 шт)

 2.33 Ггц

 2.33 Ггц

 2.53 Ггц

 2.1 Ггц

 4 ядра (4 потока)

 8 ядер (8 потоков)

 8ядер (8 потоков)

 32 ядра (64 потока)

 Оперативная
 память

 10 Гб DDR2

 8 Гб DDR2

 24 Гб DDR3

 192 Гб DDR4

 Жесткие
 диски

 120 Гб(SSD) +
 2 Тб(SATA)

 120 Гб (SATA)

 250 Гб (SATA)

 300 Гб (SAS 10K rpm)

 Интерконнект

 Gigabit Ethernet

 Gigabit Ethernet,
 Infiniband DDR (10
 Гб/с)

 Gigabit Ethernet,
 Infiniband DDR (10
 Гб/с)

 10 Gigabit Ethernet

 Система
 хранения
 данных

HP MSA 2040 (диски SAS 900 Гб, 10K rpm). Раздел для кластера составляет 6 Тб

 

Программное обеспечение кластера:

 Пакет управления

 Rocks 6.2

 Операционная система

 Linux CentOS (6.9)

 Коммуникационные библиотеки

 Intel MPI (4.0.1.007),
 MPICH 1.4.1p1,
 Open MPI 1.6.2

 Система пакетной обработки

 Open Torque 4.2.7

 Компиляторы

 Intel C Compiler 12.0,
 Intel Fortan 12.0,
 gcc compiler 4.4.7