Промышленные и офисные сети: построение, безопасность, сложности и надежное разделение

Как наладить Ethernet-подключения в промышленных зонах?

   Первое, что приходит в голову, это установка Ethernet-коммутаторов, их соединение оптоволокном и использование витой пары для подключения устройств.
  Однако уже на этом этапе возникает первая сложность и значительное отличие промышленных сетей от офисных: большинство коммутаторов размещается не в серверных, а в монтажных шкафах, разбросанных по территории производственных помещений. Прокладка оптических линий от каждого шкафа по двум различным маршрутам является как дорогостоящей, так и трудоемкой задачей, что затрудняет создание привычной и надежной звездообразной топологии. В результате приходится прибегать к использованию кольцевых конфигураций. Тем, кто знаком с принципами построения Ethernet-сетей, известно, что кольца из коммутаторов представляют собой серьезную проблему. Применение протокола Spanning-Tree в кольцевой топологии может занять до 30 секунд, что для производственных процессов совершенно неприемлемо. Кроме того, скорость сходимости STP снижается с увеличением количества переходов от корневого до крайних коммутаторов; как правило, рекомендуется не превышать расстояние в 7 переходов, что означает, что в кольце должно быть не более 14 коммутаторов.
   Возможные решения этой проблемы включают использование протокола Resilient Ethernet Protocol (REP) и его модификации REP Fast для коммутаторов Cisco. Данные протоколы специально разработаны для кольцевых топологий и обеспечивают сходимость сети в пределах 50-100 мс независимо от типов неисправностей и числа коммутаторов, не превышая 50. Время сходимости будет увеличиваться с увеличением размера кольца, тогда как Spanning-Tree в таких условиях никогда не сойдется. REP поддерживается не только промышленные, но и офисными коммутаторами, в том числе из серии Catalyst 9000, которые также могут использоваться для агрегации.

Протокол достаточно прост в настройке:

   Для более сложных решений существуют протоколы PRP и HSR, которые обеспечивают полную дубликацию трафика по двум маршрутам. Это позволяет избежать потерь данных при отказе одного из путей, однако и затраты на реализацию такой высокой надежности тоже выше – поддерживаются они только в старших моделях промышленных Ethernet-коммутаторов (IE3400, IE4000, IE4010, IE5000). Тем не менее, требования к надежности и скорости сходимости в промышленной сети обычно определяются спецификой производственного процесса, который она будет обслуживать. Иногда даже минимальная задержка в 50 миллисекунд может оказаться значительно более затратной, чем хорошее сетевое оборудование.

Как обеспечить необходимую надежность работы?

   Требования к надежности и отказоустойчивости в промышленном сегменте сети выше, чем в офисном. Поэтому промышленное сетевое оборудование разрабатывается и тестируется для соответствия этим требованиям. В случае коммутаторов Cisco это означает следующие характеристики: они монтируются в компактные шкафы на DIN-рейке и питаются от постоянного тока; защищены от электростатических разрядов до 4000 кВ; функционируют без вентиляторов благодаря высокоэффективному конвективному охлаждению при малых габаритах; выдерживают скачки напряжения согласно стандартам IEC 61000-4-11 и IEC 61850, продолжая работать даже при отсутствии питания до 50 мс, а при отключении отправляют сигнал «Dying Gasp»; обладают высокоточными внутренними часами; позволяют быстро заменить неисправный коммутатор с помощью переноса SD-карты, обеспечивая идентичную конфигурацию и образ IOS; имеют короткое время загрузки (до 80 секунд) и прошли обширное тестирование на соответствие промышленным сертификациям.

Тесты с воздействием водой на коммутатор с уровнем защиты IP67

  Не редкость, когда промышленные коммутаторы подсоединяются к обычным офисным коммутаторам, что, в случае отказа последних, может привести к прекращению работы промышленной сети. Чтобы этого избежать, важно использовать специальные промышленные коммутаторы агрегации, такие как Cisco IE5000, которые монтируются в 19-дюймовые шкафы и могут работать как от постоянного, так и от переменного тока, предоставляя высокую плотность портов и производительность, сохраняя при этом надежность и поддержку промышленных протоколов, включая PTP, PRP, HSR и PROFINET MRP. Эти коммутаторы также могут принимать сигналы тревоги от охранных систем и выдавать их для активации сирен или других систем оповещения, помимо отправки SNMP и Syslog-сообщений о состоянии коммутатора.

Поддержка промышленных протоколов

   В промышленных Ethernet-сетях используют Ethernet-версии различных промышленных протоколов, таких как PROFINET, CCLINK и CIP. При этом от сетевого оборудования обычно требуется поддержка этих протоколов. Например, для работы с PROFINET необходимо управлять этим протоколом не только контроллерами, сенсорами и исполнительными устройствами, но и самими коммутаторами. В моделях промышленных коммутаторов Cisco начиная с IE3000 реализована поддержка работы по PROFINET как устройства ввода-вывода. Также существует возможность управления некоторыми моделями коммутаторов Cisco через портал Siemens TIA.
  Еще одним важным стандартом является Time-Sensitive Networking (TSN), который обеспечивает доставку Ethernet-фреймов с предсказуемой задержкой. В отличие от обычного Ethernet, который функционирует асинхронно, TSN гарантирует стабильность во времени. Поддержка функционала TSN присутствует в коммутаторах Cisco IE3400, IE4000, IE4010 и IE5000.

Как защитить промышленную сеть?

  Многие стандарты и практические рекомендации по созданию промышленных сетей предполагают использование демилитаризованной зоны (DMZ) между офисной и промышленной сетями. В этой зоне могут быть размещены рабочие станции для удаленного доступа к промышленным компонентам. Существуют некоторые рекомендации по организации такой DMZ. Например, трафик не должен пересекаться между офисной и промышленной сетями; все протоколы, разрешенные между DMZ и промышленным сегментом, должны быть явным образом запрещены для общения с офисным сегментом; доступ из интернета в промышленный сегмент сети не допускается, даже через межсетевые экраны; и, конечно, в политике межсетевого экранирования ни в коем случае не должно встречаться "Any" в полях для IP-адресов, портов и протоколов.
   Идеальная схема DMZ предполагает ее выключение из сети, при этом промышленная сеть должна продолжать функционировать.

  Сегменты промышленной, офисной и DMZ отделяются друг от друга межсетевыми экранами. В этом плане Cisco имеет явное преимущество: на ее устройствах можно построить полностью защищенную сеть. Межсетевые экраны Cisco могут распознавать не только промышленные сетевые протоколы,

но и устройства, подключенные к сети,



а также могут отслеживать и управлять действиями в рамках этих протоколов.

  Это значительно упрощает создание правил межсетевого экранирования, которые учитывают не только IP-адреса и TCP/UDP-порты, но и конкретные модели устройств и протоколы взаимодействия. Для большинства сценариев в межсетевом экране уже заложены преднастроенные правила, которые можно адаптировать под свои нужды, защищая систему не только от внешних атак, но и от случайных человеческих ошибок.
Межсетевые экраны гарантируют так называемую макросегментацию сети, обеспечивая разделение на крупные участки, трафик между которыми либо запрещен, либо фильтруется по правилам. Это значит, что ДМЗ, промышленный и офисный сегменты, а также различные цеха и производственные линии могут быть эффективно отделены друг от друга. Для этой цели может быть полезен межсетевой экран Cisco Industrial Security Appliance (ISA), который выполняет функцию полноценного фаерволла в промышленном исполнении.

Как правильно организовать удалённый доступ?

  Часто в промышленных сетях нужно обеспечивать удалённый доступ для сервисных организаций, обслуживающих системы автоматизации. Здесь важно строго контролировать, кому и куда предоставляется доступ, защищая сеть от несанкционированного вторжения. Удалённый доступ организуется через вышеупомянутую DMZ.
  В этом контексте помимо межсетевых экранов Cisco Firepower решение Cisco Identity Services Engine (ISE) также играет важную роль. Межсетевые экраны осуществляют подключение через AnyConnect VPN или проксирование трафика удалённого рабочего стола, а ISE позволяет строго идентифицировать как пользователя, так и целевой объект в сети, к которому предоставляется доступ, а также устанавливать управляемые политики доступа.

  Кроме того, система предотвращения вторжений в межсетевых экранах Cisco помогает выявлять и блокировать атаки на уровне промышленных протоколов. Это актуально не только для случаев, когда сотрудники производителей могут проявить недобросовестное поведение в сети заказчика, но и для потенциальных угроз со стороны зараженного оборудования или программного обеспечения, использующего недоступные каналы для вторжений.

Как соблюсти требования регуляторов?

   Международные стандарты и документация Cisco Validated Design предоставляют лишь рекомендации, но также существуют требования регулирующих органов, которые нужно соблюдать при построении промышленных сетей. В России, например, это приказ №239 ФСТЭК «Об утверждении требований по обеспечению безопасности значимых объектов критической информационной инфраструктуры Российской Федерации», который описывает архитектурные решения и функционал, которые должны быть реализованы. Часть требований этого приказа, такие как установка межсетевого экрана с обновляемой IPS на периметре промышленного сегмента, сегментация сети и организация DMZ, могут быть реализованы с помощью межсетевых экранов Cisco Firepower. Аутентификация и авторизация выполняются с использованием решения Cisco ISE. Кроме того, для мониторинга промышленной сети применяется Cisco CyberVision. Cisco CyberVision позволяет собирать данные с промышленной сети в виде SPAN-трафика или с помощью специальных сенсоров, встроенных в сетевые устройства, и представлять эту информацию администраторам, а также пересылать необходимые данные в системах управления конфигурациями и SIEM. Система дает возможность получить полную картину подключенных к сети устройств, не только Ethernet-коммутаторов, но и средств автоматизации, проверять их на известные уязвимости и отслеживать их поведение.