Fokus på OT netværk

Automationsbranchen er på fremmarch i disse år, hvor stadig flere arbejdsprocesser digitaliseres i industrien. Softwaremarkedet boomer både inden for administrative systemer og systemer til automation af produktionen. Udbredelsen af IIoT vokser også støt, og data, der genereres af alle disse systemer, skal kategoriseres og opsamles på en struktureret måde, enten i traditionelle serverparker eller i skyen. De skal samtidig gøres let tilgængelige for de tiltænkte applikationer og brugere, og utilgængelige for de uautoriserede.

Når behovet for sikring af systemer og dataveje tillige tiltager pga. stigende trusler om cyber-crime, peger mange pile på OT netværket som en kritisk ressource. Virksomhedens toplinje er tæt koblet til en stabil og ubrudt drift af datavejene, herunder OT netværket. Der er derfor god grund til at fokusere på forskellige aspekter i design, drift og vedligehold, der tilsammen sikrer pålideligheden. Nogle af de vigtigste faktorer er:

• Arkitektur, herunder Interface mellem OT netværket, OT systemerne, dataservere og evt. administrative netværk
• Redundans
• Realtids performance
• Administration, konfigurationsstyring og maintainability
• Multi-purpose anvendelse, understøttelse af protokoller, segmentering, VLAN,VRF osv.
• Firewalls DMZ

Overordnet Arkitektur

OT netværkets arkitektur skal understøtte de krav til transport af information, som de tilkoblede systemer og applikationer har brug for. Purdue-modellen beskriver en overordnet arkitektur, som de fleste moderne OT netværksdesignere inspireres af og forsøger at efterleve.

Netværkene adskilles, som vist i modellen nedenfor, af en såkaldt Demilitarized Zone (DMZ), der mod både det administrative net og OT netværket afgrænses med firewalls. Reglerne i disse firewalls sikrer, at kun de nødvendige porte og IP adresser er åbne for at nå applikationerne i DMZ’en, og at data ikke kan flyde direkte mellem de to net.
Nedenfor følger en kort beskrivelse af nogle af de væsentligste detaljer i arkitekturen:

Purdue reference model for kontrol hieraki. Kilde: Rockwell Automation

Redundans

Moderne OT netværk anvender typisk som transport lag en ring (HSR) eller en stjernetopologi (PRP) med en-til-en port forbindelser over Ethernet. Redundansen sikres på to forskellige måder. Ved HSR er der altid en forlæns og en baglæns vej rundt i ringen, som gør, at hvis den ene brydes, kan der skiftes til den anden. Ved PRP er der to parallelle stjerner, så hvis den ene vej brydes, kan data sendes over den anden. HSR har typisk en prisfordel, mens PRP typisk har en lille hastighedsfordel.

Realtid

De flest automationssystemer stiller strenge krav til realtid af data, der kommunikeres på nederste niveau i automationshierarkiet. Et eksempel er realtid i dataoverførslen mellem sensor PLC og tilbage til aktuator for at kunne styre en proces korrekt. Et andet eksempel er intelligente relæer til beskyttelse af  øjspændingskomponenter, hvor der er behov for at udveksle information med lav forsinkelse og lav risiko for pakketab, for at begrænse følgevirkninger ved fejl i komponenterne. Tidligere anvendte
man fast fortrådning og senere instrumentbusser, f.eks. Foundation Fieldbus i nederste niveau i automationspyramiden. Senest er udviklingen gået i retning af anvendelse af Industrial Ethernet protokoller, f.eks. PROFINET, EtherCAT og andre direkte til komponenterne, eller mellem RTU'er, der forbindes, enten fortrådet eller med en instrumentbus til komponenterne. Ethernet startede egentlig som et ikke deterministisk "network interface" i TCP/IP-modellen, men anvendes efterhånden som en port til port pakkekommunikation, der kan garantere determinisme og realtid i netværket. Den store produktion og udbredelse af Ethernet hardware har gennem tiden sænket prisen så meget, at konkurrenterne er blevet distanceret. Overholdelse af specificerede realtidskrav bliver en deterministisk beregning, der kan foretages på OT netværket på baggrund af Quality of Service (QoS) konfigurationen og båndbredden på det installerede Ethernet.

Administration, konfigurationsstyring og maintainability

I praksis er der store udfordringer forbundet med at vedligeholde og eventuelt udbygge et stort OT netværk med mange komponen­ter. Der er brug for centrale værktøjer, der dog typisk er designet til et bestemt kom­ponentfabrikat. Der er flere grunde til, at man ikke bare kan lade netværket ”passe sig selv” gennem hele dets levetid. For det første vil redundansen i netværket kun fun­gere, hvis der ikke er udfald i komponenter. Hvis en defekt komponent ikke udskiftes, vil netværkets redundans forsvinde, og en ef­terfølgende fejl i komponenter kan lægge hele OT netværket ned. Derfor kræves det i de fleste cyber security guidelines, at OT netværkets komponenter jævnligt opdate­res med nyeste firmware versioner for at lukke sikkerhedsproblemer, der løbende op­dages. Ofte vil der være behov for udbyg­ning og rekonfigurering af OT netværket gennem levetiden, når der laves ændringer i instrumenteringen, PLC, RTU eller server­konfigurationen. Alt dette kræver admini­stration og konfigurationsstyring udført af en netværksadministrator.

Moderne teknologier som Software De­fined Networks (SDN) og Network Fun­ction Virtualization (NFV) er derfor ved at gøre deres entre i OT netværkerne. Kernen i disse teknologier er at adskille data-lay­er fra kontrol-layer i netværket, at centra­lisere control-layer og at anvende standard netværksenheder, der konfigureres fra en central SDN server gennem en open sour­ce konfigureringsprotokol. Hermed bliver det muligt at overvåge, konfigurere, versi­onsstyre og løbende tilpasse netværket til det aktuelle behov, endda on-the-fly. Tekno­logien er ikke helt moden endnu, men sto­re netværkskomponentvirksomheder, f.eks. CISCO, er allerede på markedet med de før­ste versioner af denne teknologi. Lad os alle håbe, at konceptet forbliver open source og ikke udvikler sig leverandørspecifikt, så der bevares en sund konkurrence ved udbredel­sen af disse nye teknologier. Det er jo i bund og grund rationalet for at skifte til denne teknologi.

Det er vigtigt at huske behovet for logning af alle aktioner på netværks konfigurerin­gen, også når den udføres på højeste ad­ministratorniveau. Denne lognings facilitet skal afskærmes fra selve netværkets admi­nistratorer, så det vil være muligt at lave en objektiv og sikker rapportering af alle kon­figurerings aktioner. Det er en vigtig forud­sætning for at kunne lave situationsanaly­se, som en del af cyber security forensic.

Multipurpose anvendelse, understøttelse af protokoller, segmentering, VLAN, VRF mm.

Lad os forestille os, at vi har et velfungeren­de og pålideligt OT netværk i vores fabrik. Nu kommer der så et ønske fra driften om at udbygge vores processer med IIoT må­linger, der skal samle data og transporte­re dem op i skyen. Spørgsmålet melder sig hurtigt, om vi kan udbygge det eksisteren­de OT netværk, så de nye komponenter, IIoT devices og gateways kan anvende det fore­liggende OT netværk som databærer. Det vil kræve, at OT netværket allerede fra start er designet til udbygning on-the-fly, så man f.eks. kan indføre et nyt segment, et VLAN, eller en VRF uden at kompromittere eller true pålideligheden og oppetiden i netvær­ket. Det samme gælder, hvis man vil indfø­je nye komponenter, der kommunikerer med en ny protokol f.eks. OPC UA. Det er tillige væsentlig, om der er en komplet adskillel­se mellem lagene i OSI-pyramiden, eller der er krav i protokollen, som kræver opfyldelse af nye krav helt nede i transportlaget. Sam­tidig kræves overvejelser om pakketab, la­tenstid, jitter, average- og peak-båndbred­de mm.

Udvikling i OT netværksarkitekturen

Edge og Fog Computing er nu ved at gøre sin entre i de moderne produktionsproces­ser. Beregningerne og algoritmerne flytter helt ud i komponenterne, eller i centralt pla­cerede gateways i OT netværket. Den udvik­ling vil føre til en omlægning af datatrafik­ken og belastningen af netværket, der skal tænkes ind i design af OT netværket. Auto­mationspyramiden vil ”skrumpe på mid­ten”, idet mange af de lokale SCADA syste­mer bliver overflødiggjort eller erstattet af simple HMI-klienter, der enten betjenes af de centrale servere, eller direkte af servere indbygget i komponenterne på det nederste niveau i automations-pyramiden.

Der er også en trend henimod, at selve OT netværket i mange produktionsprocesser går mod stigende geografisk udbredelse. F.eks. er der i offshore vindmølle-industri­en meget store og komplekse OT netværk, hvor der er behov for realtids-performance mellem komponenter, der er fysisk adskilt af store distancer. Et beskyttelsesrelæ til et eksportkabel kan f.eks. være op til 180 km lang og have brug for kommunikation mel­lem hver ende med en forsinkelse på under 5 millisekunder. Det er muligt, men stiller store krav til OT designet.

Den voksende kompleksitet samt fokus på Cyber Security, Intrusion Prevention (IPS) og Intrusion Detection (IDS) – også i OT netværket – betyder, at Security Operati­on Center (SOC) også kigger ind i OT net­værket. Det betyder samtidig, at grænserne mellem det administrative netværk og OT netværket langsomt udviskes. De ”gamle OT dyder” som realtid og determinisme er dog stadig centrale. Struktur, overblik, gen­nemtænkt design og fokus på driften, er derfor fortsat det bedste svar på disse ud­fordringer