1. Характеристики оборудования
|
Наименование |
Комплектация |
Количество |
|
Стойка |
NetShelter AR3100 SX 42U 600mm Wide x1070mm Deep |
1 |
|
Головной узел |
Материнская плата: Tyan S2915A2NRF-E |
1 |
|
Шлюзовой узел |
Материнская плата: Tyan S2915A2NRF-E |
|
|
Вычислительный узел 1 |
Материнская плата: Tyan S2915A2NRF-E |
3 |
|
Вычислительный узел 2 |
Материнская плата: Tyan S2915A2NRF-E |
2 |
|
ИБП |
APC Smart-UPS XL 3000VA RM 3U 230V |
2 |
|
Коммутатор Infiniband |
QDR 36 QSFP ports, IB Switch, Mellanox InfiniScale® IV, MTS3600Q-1BNC, 1U, 1PS, mngd, RoHS R5 |
1 |
|
Коммутатор |
Allied Telesyn AT-GS950/24 24x10/100/1000T, 2*SFP slots Smart Switch, Web Mngd |
1 |
2. Топология сети
Для кластера был получен внешний сетевой адрес 81.5.64.202, используя его в качестве единственного внешнего канала, была собрана следующая топология сети:
- Telesis switch 1 предназначен для разделения входящего оптического кабеля на две стойки. И для коммутации узлов внутри стойки ФМБФ. Имеет статический ip: 10.4.1.1
Назначение портов:
|
1 LAN |
3 LAN |
5 LAN |
7 LAN |
9 LAN |
11 LAN |
13 LAN |
15 LAN |
17 LAN |
19 LAN |
21 WAN |
23 WAN |
23 WAN opt |
|
2 LAN |
4 LAN |
6 LAN |
8 LAN |
10 LAN |
12 LAN |
14 LAN |
16 LAN |
18 LAN |
20 Управ. |
22 WAN |
24 WAN |
24 WAN opt |
- Telesis switch 2 предназначен для связи с 609 КПМ. И для коммутации узлов внутри стойки Холодова. Имеет статический ip: 10.3.1.1
Назначение портов:
|
1LAN |
3LAN |
5 LAN |
7 LAN |
9 LAN |
11 LAN |
13 LAN |
15 LAN |
17 LAN |
19 LAN |
21 LAN |
23 LAN |
23 LAN opt |
|
2 LAN |
4 LAN |
6 LAN |
8 LAN |
10 LAN |
12 LAN |
14 LAN |
16 LAN |
18 LAN |
20 LAN |
22 LAN |
24 LAN |
24 LAN opt |
- Шлюзовая машина выполняет функции роутера для стойки ФМБФ, выдает сетевой IP для головной машины кластера ФМБФ. Является веб-сервером для сайта hpc.mipt.ru.
- Головная машина предназначена для авторизациии и хранения данных пользователей, раздает сетевые адреса для узловых машин.
- Датацентр выполняет функции датацентра, cvs-сервера и роутера стойки Кафедры вычистительной математики.
- InfiniBand коммутатор соединяет в единую сеть все вычислительные узлы стойки ФМБФ
Схема топологии сети
3. Программное обеспечение.
На кластер установлено следующее ПО:
- Операционная система CentOs 5.4
- Пакет OFED для эффективной работы с InfiniBand
- MPI: OpenMPI, Mvapich, Mvapich2
- CUDA: CudaDriver, CudaSDK 2.3, CudaToolkit 2.3.
- Пакет Lammps для MD моделирования.
- Пакет NAMD для MD моделирования белков.
- Пакет linpack, blas, lapack для тестирования производительности.
- Пакет boost.
4. Web-сервер
- На шлюзовой машине установлены Apache, php, mysql, сиcтема управления контентом WordPress.
- Получено доменное имя hpc.mipt.ru, имя привязано к ip 81.5.64.202.
- Запущена двуязычная версия сайта hpc.mipt.ru.
3. Результаты тестирования
Проведено первичное тестирование гибридного вычислительного кластера:
После запуска вычислительного кластера был проведен ряд тестов производительности системы.
Тест 1 CPU Linpack
График зависимости производительности системы от количества используемых ядер.
При полном использовании трех запущенных вычислительных узлов итоговая производительность получилась 169 GFlops.
Тест 2 NAMD perfomance
График зависимости производительности системы от количества используемых вычислительных модулей (Целиком процессоров Istambul или Tesla C1060).
График зависимости отношения производительности GPU к CPU реализации от количества используемых вычислительных модулей.