Знания

Дезагрегация центров обработки данных разделяет вычислительные ресурсы, память, хранилище и сеть на независимые объединенные ресурсы вместо того, чтобы блокировать их внутри фиксированных границ сервера. Такое разделение создает новую архитектурную зависимость: уровень межсоединений между этими пулами должен обеспечивать достаточную пропускную способность, достаточно низкую задержку и достаточную дальность действия, чтобы вся система работала как одна скоординированная структура. Оптическое соединение — это транспортная технология, которая все чаще выполняет эту роль -, особенно там, где медные каналы сталкиваются с физическими ограничениями по расстоянию, мощности и целостности сигнала.

В этой статье объясняется, как оптические межсоединения поддерживают дезагрегированные архитектуры, в чем они превосходят медные, как они связаны с CXL и совместной оптикой и когда их внедрение имеет практический смысл.

Что такое дезагрегирование центров обработки данных?

В традиционной серверной-ориентированной модели ЦП, память, хранилище и сеть объединены в одном корпусе. Вы покупаете сервер и получаете фиксированное соотношение всех четырех - независимо от того, нужно это соотношение вашей рабочей нагрузке или нет. Дезагрегация центров обработки данных позволяет разбить эту связку на части. Каждый тип ресурсов организован в отдельный пул, и рабочие нагрузки извлекают из каждого пула только то, что им необходимо, через общую структуру.

Это важно, поскольку современные рабочие нагрузки редко бывают сбалансированными. Большая задача по обучению языковой модели может перегрузить память графического процессора и пропускную способность востока-запада, практически не затрагивая локальное хранилище. Конвейеру анализа в реальном времени-может потребоваться большой объем памяти, но лишь умеренные вычислительные мощности. В серверной-ориентированной конструкции такое несоответствие приводит к нехватке ресурсов: простаивающие циклы ЦП сопровождаются нехваткой памяти или емкостью хранилища, которую не использует никакая рабочая нагрузка.

Открытый вычислительный проект (OCP)с середины 2010-х годов разрабатывает дезагрегированные конструкции стоек, а гипермасштабирующие компании, такие как Meta и Microsoft, развернули дезагрегированные системы хранения и сети в большом масштабе. ПоявлениеВычислительная экспресс-ссылка (CXL)расширил это видение до дезагрегации памяти, сделав архитектуру все более практичной для более широкого спектра сред.

Почему традиционные серверные-ориентированные конструкции терпят неудачу

Две силы подталкивают инфраструктурные команды к дезагрегации: давление использования и давление на полосу пропускания.

Что касается использования, пакеты фиксированных серверов создают значительные потери. Отраслевые исследования показывают, что примерно 25% емкости DRAM в обычных серверах в среднем не используется, хотя на память приходится почти половина общей стоимости сервера. Умноженная на тысячи узлов, эта неиспользуемая мощность представляет собой значительную нагрузку по капиталу и мощности.

Что касается пропускной способности, обучающие кластеры искусственного интеллекта и высокопроизводительная аналитика генерируют модели трафика, резко отличающиеся от традиционных нагрузок, обслуживающих сеть «север-юг»-. Эти рабочие нагрузки создают большой объем трафика с востока-запада - GPU-к-GPU, от ускорителя-к-памяти и от узла-к-узлу - через сотни или тысячи конечных точек. Традиционные топологии,-ориентированные на серверы, с короткими медными проводами между фиксированными блоками не были разработаны для этой схемы. По мере того, как скорость соединения возрастает с 400G до 800G и выше, электрические ограничения меди становится все труднее обойти.

Как работает оптическое соединение в дезагрегированном центре обработки данных?

Когда вычислительные ресурсы, память и ресурсы ускорителя располагаются в отдельных пулах, структура, соединяющая эти пулы, становится-критичным уровнем производительности. Оптическое соединение обслуживает этот уровень, преобразуя электрические сигналы в свет и передавая данные поодиночный-режимилимногомодовое волокнои преобразование обратно в электрический на принимающей стороне.

Физика оптического транспорта дает ему структурные преимущества для этой работы. Световые сигналы в оптоволокне затухают гораздо меньше на метр, чем электрические сигналы в медных кабелях. Это означает, что оптические каналы могут поддерживать качество сигнала на больших расстояниях без энергоемкого преобразования сигнала (повторные таймеры, DSP, эквалайзеры), которое требуется медному кабелю на более высоких скоростях. При скорости 800 Гбит/с пассивная медь практична на расстоянии примерно до 3–5 метров. Активные электрические кабели увеличивают длину примерно до 7 метров. Оптические линии связи обычно охватывают расстояние от 100 метров до 2 километров с одинаковой скоростью передачи данных, а когерентная оптика может достигать десятков километров.

В дезагрегированной архитектуре это преимущество не является абстрактным. Он напрямую определяет, насколько далеко друг от друга могут располагаться пулы ресурсов, при этом ведя себя как единая система. Конкретно:

• Внутри стойки:Медь по-прежнему доминирует для очень коротких соединений -сервера-с-верхней-коммутатором-стойки, графического процессора-с-графическим процессором в лотке. На расстояниях менее 2–3 метров медь проще, дешевле и имеет меньшую-задержку.
• Стойка-к-стойке (2–100 м):Именно здесь оптическое соединение становится практическим стандартом по умолчанию на скорости 400G и выше. Подключение вычислительной стойки к пулу памяти в соседней стойке или соединение лотков графических процессоров в ряду обычно требует плотности полосы пропускания и дальности действия, которые обеспечивает оптоволокно.Волоконно-оптические кабельные сборкииВозможность подключения MPO/MTPявляются стандартными для этих путей.
• Комната-к-помещениям и зданиям-к-зданиям (100 м–10+ км):На таких расстояниях и скоростях возможен только оптический транспорт. Этот объем имеет значение для дезагрегирования в масштабе-кампуса, когда пулы хранения, вычислительные ресурсы резервного копирования или ресурсы-аварийного восстановления располагаются в отдельных зданиях.

Оптическое соединение по сравнению с медным соединением в дезагрегированных центрах обработки данных

Выбор между оптическим и медным кабелем не является двоичным, - он зависит от области применения-. Вот как эти два показателя сравниваются по наиболее важным факторам в дезагрегированном дизайне:

Практический вывод: используйте медь там, где простота передачи данных на короткие-расстояния по-прежнему имеет преимущество. Используйте оптический кабель там, где ограничениями становятся дальность действия, плотность полосы пропускания, энергоэффективность или организация прокладки кабелей. В дезагрегированной среде доля оптических соединений в общем объеме межсоединений увеличивается, поскольку сама архитектура создает более длинные пути с более высокой-пропускной способностью между отдельными пулами ресурсов. Более глубокое сравнение типов носителей см.оптоволоконный или медный кабели: какой вариант подходит для вашего применения.

Ключевые преимущества оптического межсоединения для дезагрегации

Более высокая плотность полосы пропускания для отдельных пулов ресурсов

Дезагрегация увеличивает объем трафика, проходящего через уровень межсоединений, поскольку ресурсы, которые когда-то располагались совместно, теперь обмениваются данными по фабрике. Оптическое волокно удовлетворяет этим требованиям благодаря более высокой пропускной способности-волокна и большему количеству волокон на кабель. Одиночныйленточный оптоволоконный кабельможет передавать сотни волокон в компактном-поперечном сечении, обеспечивая ту плотность портов, которая требуется для дезагрегированных кластеров графических процессоров и пулов памяти.

Снижение энергопотребления и тепловой нагрузки при масштабировании

Энергоэффективность имеет большее значение в дезагрегированной схеме, поскольку уровень межсоединений передает большую долю общего системного трафика. При скорости 800G и выше медные каналы связи на умеренных расстояниях требуют энергоемкой обработки DSP на обоих концах. Оптические каналы связи при одинаковых скоростях и расстояниях потребляют меньше энергии на бит. В технической документации NVIDIA на ее со-платформу коммутации оптики сообщаетсяСнижение энергопотребления в 3,5 разапо сравнению с традиционными подключаемыми трансиверами. В масштабах центров обработки данных эта разница напрямую приводит к снижению счетов за электроэнергию и уменьшению инфраструктуры охлаждения.

Модульное независимое масштабирование

Одно из основных обещаний дезагрегации заключается в том, что вычисления, память и хранилище могут масштабироваться с разной скоростью. Оптическое соединение поддерживает это обещание, поскольку добавление мощности в один пул ресурсов не требует перепроектирования всей структуры.Сменные оптические модулиможно модернизировать или добавлять постепенно - от 400G до 800G до 1,6T - без изменения базовой волоконно-оптической линии.

Гибкость для гетерогенных рабочих нагрузок

Когда ресурсы объединяются и подключаются через высокопроизводительную-оптическую структуру, инфраструктурные группы могут динамически назначать ресурсы рабочим нагрузкам, а не формировать рабочие нагрузки на основе фиксированных конфигураций серверов. Такая гибкость особенно ценна в средах, где задания по обучению искусственного интеллекта,-выводы в реальном времени, аналитические конвейеры и приложения с большим объемом хранилища-сосуществуют и конкурируют за разные типы ресурсов.

Как оптическое межсоединение связано с CXL и Co-упакованной оптикой

CXL: уровень протокола для совместного использования памяти и ресурсов.

CXL (Compute Express Link) и оптическое соединение решают различные части проблемы дезагрегации. CXL – это открытый стандартный протокол -, построенный на физическом уровне PCIe -, который обеспечивает когерентную связь кэша- между процессорами, устройствами памяти и ускорителями. Он определяет, как отдельные ресурсы могут быть эффективно объединены и совместно использованы на уровне программного обеспечения и протокола.

Консорциум CXL, в состав которого входят Intel, AMD, NVIDIA, Samsung, Microsoft, Google и Meta, выпустил CXL 3.1 в ноябре 2023 года с явной поддержкоймногоуровневое переключение-и дезагрегирование на основе структуры-за стойкой. В CXL 3.0 появилась поддержка до 4096 узлов в единой фабрике, что позволяет создавать пулы памяти в масштабе -стойки и, возможно,-кластера.

Оптическое соединение — это физический транспорт, который может передавать трафик CXL (и другие протоколы) между этими распределенными узлами. Команда, оценивающая пул памяти-на основе CXL, и группа, оценивающая оптическое соединение, часто работают над одной и той же инициативой по дезагрегации с разных точек зрения, - одна касается логики протокола и совместного использования ресурсов-, другая - физического транспорта.

Совмещенная оптика: размещение оптики ближе к чипу

Co-корпусная оптика (CPO) идет еще дальше, интегрируя оптические механизмы непосредственно в ту же подложку корпуса, что и коммутатор ASIC или графический процессор, вместо того, чтобы полагаться на отдельные подключаемые приемопередатчики, подключенные через электрические дорожки на передней панели. Это исключает самые длинные и энергоемкие-электрические пути в системе.

На GTC 2025 NVIDIA анонсировала свой первыйкомплексные коммутационные платформы кремниевой фотоники(Quantum-X Photonics и Spectrum-X Photonics), обеспечивающие пропускную способность до 409,6 Тбит/с с 512 портами со скоростью 800 Гбит/с. Генеральный директор NVIDIA Дженсен Хуанг отметил, что масштабирование до миллиона графических процессоров с использованием обычных подключаемых трансиверов приведет к потреблению примерно 180 МВт только мощности трансивера -, а это неприемлемая цифра, для решения которой предназначен CPO.

CPO — это не то, что нужно применять сегодня каждой команде, занимающейся дезагрегированием. Сменные оптические модули остаются доминирующим форм-фактором для большинстваоптоволокно для центра обработки данныхразвертывания и будут продолжаться, по крайней мере, до конца 2020-х годов. Но CPO представляет собой направление оптической дорожной карты, и команды, планирующие крупные кластеры искусственного интеллекта или дезагрегированные структуры следующего-поколения, должны внимательно следить за ее зрелостью.

Когда оптическое межсоединение имеет наибольший смысл?

ИИ и ускорители-тяжелые среды

Обучающие кластеры искусственного интеллекта являются одними из наиболее эффективных вариантов использования оптических межсоединений в дезагрегированном контексте. Эти системы генерируют массивный трафик с востока-на запад по путям графического процессора-к-графическому процессору и графического процессора-к-памяти. Поскольку размеры кластеров растут с сотен до тысяч графических процессоров, требования к охвату и пропускной способности быстро превышают возможности медной сети. Например, в архитектуре NVIDIA GB200 NVL72 сетевые затраты (включая оптические трансиверы) составляют 15–18% от общей стоимости кластера, а на оптические трансиверы приходится примерно 60% этой сетевой стоимости. Экономика и производительность оптимизации оптического слоя являются существенными.

Пулы памяти и компонуемая инфраструктура

Если ваша команда оценивает объединение памяти на основе CXL-, физический транспортный уровень должен поддерживать такое разделение без добавления неприемлемой задержки или ограничения масштаба. CXL 3.1 явно нацелен на дезагрегацию масштаба коммутации-за пределами стойки, что означает, что пути межсоединений будут охватывать большие расстояния, чем традиционные внутри-шины памяти сервера. Оптические каналы естественным образом подходят для этих путей.

Крупномасштабные-среды с неравномерными потребностями в масштабировании

Оптическое соединение также имеет больше смысла, когда вычисления, память и хранилище необходимо масштабировать с разной скоростью. Если ваши вычислительные мощности растут в 3 раза в год, а хранилище — в 1,5 раза, дезагрегированная архитектура позволяет расширять каждый пул независимо -, а оптическое соединение делает это физически возможным без необходимости каждый раз перепроектировать кабельную систему.

Когда это НЕ имеет смысла

Оптическое соединение не является подходящей отправной точкой для любой среды. Если ваш центр обработки данных выполняет преимущественно сбалансированные рабочие нагрузки общего-назначения на обычных серверах, а трафик между стойками-между стойками скромный и хорошо-обслуживается существующей медной инфраструктурой, стоимость и сложность оптической-первой фабрики могут быть не оправданы. Аналогичным образом, если вы работаете в масштабе, где вашим потребностям отвечают несколько десятков серверов, дезагрегация сама по себе может привести к большей сложности эксплуатации, чем экономии. Архитектура окупается, когда масштаб, неоднородность и дисбаланс ресурсов реальны и измеримы -, а не гипотетичны.

Что следует оценить перед развертыванием

1. Составьте карту вашего фактического узкого места

Начните с четкого вопроса: каково ограничение связывания? Достигается ли он (медные пути слишком короткие для вашей стойки)? Плотность полосы пропускания (недостаточно пропускной способности на каждый кабель для питания кластера графических процессоров)? Мощность (электрические соединения потребляют слишком много мощности при 400G+)? Использование ресурсов (серверы перегружены по одной оси и не работают по другой)? Оптическое соединение наиболее ценно, когда узкое место является физическим и измеримым, а не тогда, когда оно используется в качестве общего жеста модернизации.

2. Оцените общую стоимость системы, а не стоимость кабеля.

Распространенной ошибкой является сравнение цены медного кабеля с ценойоптический кабельв изоляции. Такое сравнение вводит в заблуждение. Значимое сравнение включает в себя энергопотребление, тепловые накладные расходы (и затраты на охлаждение, которые они создают), плотность портов на единицу стойки, полезный радиус действия, гибкость обновления и стоимость неиспользуемых ресурсов в более широкой архитектуре. Во многих дезагрегированных средах с пропускной способностью 400G и выше общая стоимость владения оптоволокном ниже, чем медным, если учитывать всю систему.

3. Проверьте совместимость и готовность к работе.

Оцениватьтестирование оптоволоконного кабелятребования, совместимость модулей, инструменты мониторинга и опыт работы вашей команды с оптоволокном. Подключаемые оптические модули (OSFP, QSFP-DD) хорошо-стандартизированы и широко поддерживаются, но перед масштабным развертыванием ваша эксплуатационная группа должна уметь обращаться с оптоволоконными кабелями, очищать их и устранять неполадки. Рассмотрите возможность начать с пилотного домена, где вы сможете проверить эти эксплуатационные факторы.

4. Планируйте долговечность завода по производству волокна

Одним из существенных преимуществ оптоволоконной инфраструктуры является то, что пассивная волоконно-оптическая система -, кабели, патч-панели и каналы - могут поддерживать несколько поколений приемопередатчиков. Хорошо-продуманныйподключение к дата-центруОптоволоконная установка, установленная сегодня для 400G, может поддерживать обновления 800G и 1,6T путем замены трансиверов без прокладки новых кабелей. Это делает первоначальные инвестиции в оптоволокно более оправданными в течение 10-летнего горизонта планирования.

Практический путь внедрения

Шаг 1. Определите один ограниченный домен.Ищите места, где охват медных проводов, мощность, плотность полосы пропускания или нехватка ресурсов уже причиняют измеримую боль. Это может быть расширение кластера графических процессоров, узкое место-между-стойками в аналитической среде или пилотный проект по объединению памяти в пул.

Шаг 2. Пилотное тестирование и проверка.Разверните оптическое соединение в этом домене. Измерьте задержку, энергопотребление, сложность эксплуатации и экономику расширения по сравнению с существующими базовыми показателями.

Шаг 3: Расширяйте на основе фактических данных.Используйте пилотные данные для создания бизнес- и технического обоснования для более широкого внедрения. Дезагрегацию и оптическую миграцию редко лучше всего рассматривать как единый-проект. Поэтапное внедрение позволяет учиться, корректировать и укреплять уверенность в организации.

Контрольный список для принятия решения: подходит ли оптическое межсоединение для вашей инициативы по дезагрегации?

• Расстояния между стойками-к-стойкой или комнатой-к-помещениям превышают практическую дальность действия медного кабеля при заданной скорости?
• Планируете ли вы в ближайшем будущем внедрить скорость соединения 400G или выше?
• Становится ли энергопотребление от электрических межсоединений значимой частью энергетического бюджета вашего центра обработки данных?
• Вы оцениваете объединение памяти на основе CXL-, компонуемую инфраструктуру или расширение кластера графических процессоров?
• Является ли нехватка ресурсов (простой вычислительный ресурс, память или хранилище, заблокированные внутри стационарных серверов) измеримой проблемой затрат?
• Требуется ли в вашей среде масштабировать вычислительные ресурсы, память и хранилище с разной скоростью?

Если применимы три или более из них, оптическое соединение заслуживает серьезной оценки как часть вашей дорожной карты дезагрегации.

Часто задаваемые вопросы

Что такое оптическое соединение в центре обработки данных?

Оптическое соединение — это транспортная технология, использующая световые сигналы пооптоволоконные кабелидля передачи данных между сетевыми устройствами, серверами, коммутаторами, системами хранения и пулами ресурсов внутри центров обработки данных и между ними. Он обеспечивает более высокую пропускную способность, большую дальность действия и меньшую мощность на бит по сравнению с медным кабелем при эквивалентных скоростях -, что особенно важно для дезагрегированных и-архитектур, ориентированных на искусственный интеллект.

Чем оптическое соединение отличается от CXL?

Они действуют на разных уровнях. Оптическое соединение — это физическая технология передачи данных -, которая перемещает биты из точки А в точку Б с помощью света. CXL — это стандарт протокола, определяющий согласованное взаимодействие процессоров, памяти и ускорителей. Оптическое межсоединение может передавать трафик CXL, но CXL также работает по электрическим каналам для соединений с короткой-дальностью. Команды часто оценивают оба варианта одновременно, поскольку дезагрегирование создает спрос как на более совершенные протоколы (CXL), так и на лучший физический транспорт (оптика).

Могут ли медные и оптические кабели сосуществовать в дезагрегированном центре обработки данных?

Да, и они обычно так и делают. В большинстве дезагрегированных сред медь используется для очень коротких соединений внутри-стойки (менее 3–5 метров), где это проще и дешевле, а также оптическое волокно для стоек-к-стойке, между рядами-к-рядам, а также для более длинных путей, где ограничения по радиусу действия, мощности и плотности медного кабеля становятся обязательными. Решение зависит от области-, а не от всего-или-ничего.

Что такое совместно-оптическая комплектация и нужна ли она мне сейчас?

Совместно-упакованная оптика (CPO) интегрирует оптические механизмы непосредственно в тот же корпус, что и ASIC коммутатора или процессор, устраняя необходимость в отдельных подключаемых трансиверах и снижая энергопотребление и задержку. NVIDIA и Broadcom внедряют CPO в сетевых платформах искусственного интеллекта следующего-поколения. Большинству центров обработки данных сегодня не нужен CPO -сменные оптические модулиостается стандартом -, но CPO включен в план создания крупномасштабной-инфраструктуры искусственного интеллекта в период 2026–2028 гг.

Когда мне НЕ следует проводить дезагрегацию с помощью оптического соединения?

Если ваши рабочие нагрузки хорошо-сбалансированы между вычислительными ресурсами, памятью и хранилищем; ваш масштаб скромен (несколько десятков серверов); и ваша существующая медная инфраструктура без проблем удовлетворит ваши текущие и-потребности в пропускной способности в ближайшем будущем - дополнительная сложность дезагрегации и оптической миграции может не оправдать вложений. Начните с узкого места, а не с модного слова.

Какие типы волокон используются в оптических соединениях центров обработки данных?

Одномодовое-волокноиспользуется для соединений на большие-расстояния и более высокие-скорости (обычно стойка-между-стойками и далее).Многомодовое волокнообычно используется для более коротких соединений внутри-центров обработки данных-на расстоянии до нескольких сотен метров. Выбор зависит от требуемого охвата, скорости и профиля стоимости каждой ссылки.