RoCEv2 применяют там, где задержка сетевого обмена и нагрузка на процессор становятся ограничением для серверных приложений и систем хранения. В коммутаторах QTECH серий QSW-6900 и QSW-6700 эта технология рассматривается не как отдельный порт или режим, а как часть сетевой фабрики ЦОД: коммутатор должен предсказуемо передавать трафик между серверами, сетевыми адаптерами и вышестоящими узлами. Поэтому результат зависит не только от включения функций RoCEv2, но и от архитектуры Leaf–Spine, параметров конечных узлов, кабельной инфраструктуры и контроля перегрузок.
Что именно дает RoCEv2
RDMA, или Remote Direct Memory Access, позволяет одному узлу обращаться по сети к системной памяти другого узла с минимальным участием центрального процессора. Это сокращает объем работы, связанной с обработкой сетевого обмена, и уменьшает задержки по сравнению с обычной моделью передачи данных, где сетевой стек активно задействует CPU.
RoCE переносит RDMA поверх Ethernet. Версия RoCEv2 использует сетевой стек, рассчитанный на передачу между узлами через маршрутизируемую IP-инфраструктуру, поэтому технология подходит не только для одного коммутатора или изолированного сегмента. Для ЦОД это важно: фабрика может включать несколько уровней коммутации, а серверный трафик — проходить через Leaf и Spine.
Практический эффект проявляется только при согласованной работе всей цепочки. Серверный адаптер и программное обеспечение должны поддерживать RDMA и RoCEv2, коммутаторы — корректно обрабатывать соответствующий трафик, а проект сети — учитывать задержки, очереди и вероятность перегрузки. Если хотя бы один участок остается обычным неподготовленным Ethernet-сегментом, преимущества RDMA могут уменьшиться или исчезнуть.
Роль QSW-6900 и QSW-6700 в фабрике ЦОД
Обе серии QTECH используются в сетевых фабриках в роли Spine и Leaf и поддерживают функционал, необходимый для применения в сетях ЦОД. Это позволяет строить фабрику на согласованном наборе оборудования, но не отменяет необходимости определить роль каждого устройства до закупки и настройки.
Leaf-коммутаторы подключают серверы, системы хранения и другие конечные узлы. На этом уровне особенно важны плотность портов, типы интерфейсов, совместимость с серверными адаптерами и понятное разделение сервисного и высокопроизводительного трафика. Spine-коммутаторы формируют транспортный слой фабрики. Их задача — обеспечить связность между Leaf без превращения одного узла в единственную точку отказа или узкое место.
Конкретный выбор между QSW-6900 и QSW-6700 нельзя делать только по названию серии. Сначала фиксируют число серверных подключений, требуемую скорость линков, количество uplink-портов, запас по расширению, физическую схему размещения и поддерживаемые режимы программного обеспечения. Если эти данные не собраны, сравнение серий превращается в формальный выбор модели по максимальной скорости порта, который не гарантирует рабочий RoCEv2.
При выборе оптических или медных соединений нужно проверять не только разъемы и скорость, но и совместимость конкретных трансиверов, кабелей и сетевых адаптеров. Практические различия между DAC, AOC и оптическими трансиверами разобраны в материале о выборе решений для стойки и ЦОД. Для коротких внутристоечных соединений это помогает избежать избыточной сложности, а для межстоечных линий — заранее учесть длину и требования к трассе.
Как спроектировать RoCEv2-сегмент
Начинать нужно с потоков, а не с команд конфигурации. Опишите, какие серверы обмениваются данными, какие узлы работают с системами хранения, через какие Leaf проходит трафик и где находятся границы отказоустойчивости. После этого определите, какие соединения должны быть прямыми, а какие проходят через Spine.
- Составьте карту узлов. Зафиксируйте серверы, сетевые адаптеры, коммутаторы QSW-6900 или QSW-6700, линии между уровнями и назначение каждого подключения.
- Разделите типы трафика. Отдельно опишите RoCEv2, управление, обычный Ethernet и, если используется, трафик хранения. Смешивание потоков без политики приоритизации усложняет поиск перегрузок.
- Определите границы L2 и L3. RoCEv2 допускает работу через IP-маршрутизацию, но конкретная схема адресации и маршрутизации должна соответствовать архитектуре фабрики. Не расширяйте один широковещательный домен без необходимости.
- Проверьте физический слой. Сверьте типы портов, скорость, длину и вид кабеля, совместимость оптики и требования серверных адаптеров. Ошибка на этом уровне выглядит как проблема протокола, хотя причина находится в линии.
- Заложите резерв. Определите, что произойдет при отказе одного линка, Leaf или Spine, и как будут перераспределяться потоки. Резервная линия без проверенного сценария переключения не является гарантией доступности.
Для каждой линии полезно заранее указать назначение, VLAN или иной логический сегмент, IP-подсеть, допустимый класс трафика и ожидаемый путь. Такая ведомость сокращает риск, что серверный адаптер окажется подключен к порту с другой политикой или что один и тот же поток будет классифицироваться по-разному на разных участках.
Какие настройки нужно согласовать
Точные имена команд и доступные параметры зависят от версии программного обеспечения коммутатора и серверной платформы, поэтому переносить конфигурацию между моделями без сверки документации рискованно. Универсальный принцип — сначала одинаково определить сетевую модель на конечных узлах и коммутаторах, затем включать функции поэтапно.
В проекте необходимо согласовать:
- адресацию и маршрутизацию RoCEv2-трафика;
- логическое разделение RDMA-потоков и служебного обмена;
- правила классификации трафика по VLAN, IP-параметрам или другим признакам, доступным в конкретной конфигурации;
- политику очередей и обработки перегрузки;
- MTU на серверных адаптерах, коммутаторах и маршрутизируемых интерфейсах;
- агрегацию, резервирование и порядок переключения при отказе линии;
- мониторинг ошибок, потерь, загрузки портов и состояния очередей.
Наиболее опасная ошибка — включить RoCEv2 только на коммутаторе и считать задачу завершенной. RDMA-приложение и адаптер должны использовать согласованные параметры, а все участки пути — одинаково обрабатывать соответствующий класс трафика. Несовпадение MTU, разная классификация или отсутствие контроля перегрузки приводят к нестабильной производительности даже при физически исправных линках.
Не стоит автоматически переносить в RoCEv2 все сетевые потоки. Сначала определите приложения, которым действительно нужны низкая задержка и малое участие CPU. Остальной обмен оставляйте в обычных классах обслуживания, чтобы интенсивный RDMA-трафик не вытеснял управление и мониторинг.
Проверка работоспособности: от порта к приложению
Тестирование нужно проводить слоями. Проверка только доступности IP-адресов показывает, что базовая связность есть, но не подтверждает работоспособность RDMA или устойчивость фабрики при нагрузке.
- Физический уровень. Проверьте состояние портов, согласование скорости, ошибки интерфейсов и корректность модулей или кабелей. Повторяющиеся ошибки на одном соединении сначала устраняют физически.
- Сетевой уровень. Проверьте адресацию, маршруты, MTU и прохождение трафика между требуемыми узлами. Отдельно протестируйте путь через каждый Leaf–Spine-участок.
- Уровень RDMA. Убедитесь, что серверный адаптер виден операционной системе, драйвер поддерживает нужный режим, а приложение может создать RDMA-соединение.
- Нагрузка. Сравните поведение при малом и интенсивном обмене. Наблюдайте задержку, пропускную способность, потери, ошибки и состояние очередей, а не только среднее значение скорости.
- Отказоустойчивость. Поочередно отключите предусмотренные резервные линии и проверьте, восстанавливается ли связь в ожидаемый срок. Результат фиксируйте для каждого направления трафика.
Если тест не проходит, меняйте один параметр за раз. Сначала исключите кабель, порт и трансивер, затем проверяйте MTU и адресацию, после этого — классификацию и политику перегрузки. Одновременное изменение нескольких настроек лишает диагностику причинности.
Типичные ошибки при внедрении
Путаница между RoCEv1 и RoCEv2
RoCEv2 выбирают, когда требуется передача RDMA через IP-сеть фабрики. Нельзя описывать такой проект только как «RDMA по Ethernet»: необходимо явно проверить версию протокола, адресную схему и прохождение трафика между уровнями Leaf и Spine.
Непроверенная совместимость компонентов
Коммутатор, серверный адаптер, трансивер и кабель образуют единую цепочку. Если подобрать компоненты только по номинальной скорости, можно получить нестабильный линк или неработающий режим. Для медных и оптических патч-кордов критерии различаются; базовые отличия вариантов рассмотрены в материале о выборе патч-корда.
Отсутствие контроля перегрузки
Высокая скорость порта не означает отсутствие очередей. При всплеске трафика задержки растут, а потери нарушают ожидаемое поведение RDMA-приложений. До запуска нагрузки нужно определить, какие средства контроля перегрузки доступны в конкретной версии ПО QSW и как они согласуются с настройками серверных адаптеров.
Неверная граница между L2 и L3
Слишком крупный L2-домен усложняет локализацию проблем и увеличивает область воздействия ошибки. Слишком ранняя маршрутизация может потребовать дополнительной проверки параметров RoCEv2 на каждом переходе. Решение принимают по топологии, числу узлов и требованиям приложений, а не по универсальному шаблону. Общие критерии выбора между L2 и L3-коммутацией приведены в материале о выборе L2 или L3-коммутатора.
Чек-лист перед вводом в эксплуатацию
- Определены роли QSW-6900 и QSW-6700 в фабрике: Leaf, Spine или обе роли в разных сегментах.
- Составлена карта физических соединений и проверена совместимость каждого кабеля, порта и трансивера.
- Согласованы версия RoCE, IP-адресация, MTU и логическое разделение трафика.
- Серверные адаптеры и драйверы поддерживают выбранный режим, а параметры конечных узлов документированы.
- Проверены классификация, очереди и обработка перегрузки на всех участках пути.
- Есть результаты тестов при штатной нагрузке и при отказе резервного соединения.
- Настроен мониторинг интерфейсов, ошибок, загрузки и задержек; определены ответственные за реакцию на отклонения.
- Конфигурации сохранены, а процедура отката проверена до подключения рабочих приложений.
Практический план внедрения
Для нового сегмента разумно начать с небольшой тестовой пары серверов и одного проверяемого пути через фабрику. Сначала подтвердите физику и базовую связность, затем включите RoCEv2 для ограниченного набора узлов, проверьте нагрузку и только после этого расширяйте конфигурацию.
QSW-6900 и QSW-6700 подходят для построения Leaf–Spine-фабрик ЦОД с использованием RoCEv2, но сами по себе не заменяют проектирование. Рабочий план выглядит так: определить приложения и потоки, выбрать роли коммутаторов, согласовать параметры адаптеров и сети, проверить физические линии, провести поэтапные тесты и документировать отказоустойчивость. Если тесты показывают потери или нестабильную задержку, не увеличивайте число узлов — сначала локализуйте участок, где расходятся параметры или возникает перегрузка.