Energietechnik Transparente Stromversorgung in Rechenzentren

Ein Gastbeitrag von Martin Witzsch* |

Anbieter zum Thema

Hochverfügbarkeit ist bei der Energieversorgung von Rechenzentren Pflicht. Dafür ist der gesamte Strang von der Einspeisung bis zu den Racks redundant ausgelegt. Entsprechend hoch sind die Anforderungen an die Überwachung.

Janitza-Messtechnik in der Hauptverteilung der Unterbrechungsfreien Stromversorgung
Janitza-Messtechnik in der Hauptverteilung der Unterbrechungsfreien Stromversorgung
(Bild: Martin Witzsch/ Janitza Electronics GmbH)

Soll die Stromversorgung in einem Rechenzentrum ordentlich überwacht werden, gehören neben Sicherheitsaspekten auch Energiemanagement und Kostenstellenabrechnung dazu. Besonders anspruchsvoll sind Standorte, die Co-Location (siehe Kasten) anbieten. Mit der richtigen Kombination aus Messtechnik und Software kann der Betreiber alles im Blick behalten.

Die Datacenter One GmbH betreibt Rechenzentren in Stuttgart, Leverkusen und Hilden. Darüber hinaus plant und baut das Unternehmen schlüsselfertige Rechenzentren innerhalb von sechs bis neun Monaten, ab 500 Quadratmetern Mietfläche auch am Wunschstandort.

Co-Location-Angebote bieten den Kunden maximale Freiheiten: Sie profitieren von der Infrastruktur, wie der Energieversorgung, erhalten aber einen geschlossenen Raum, in dem sie eigenes Equipment installieren. Die Kapazitäten sind im laufenden Betrieb skalierbar. Über einen „Colo-Connect-Service“ bei Datacenter One lassen sich mehrere Rechenzentren koppeln und die Verbindung zu einem Firmensitz sicherstellen.

Sonderfall Co-Location

Rechenzentren stellen in der Regel Speicherplatz oder Rechnerkapazitäten zur Verfügung. Beim Geschäftsmodell Co-Location werden tatsächlich Räumlichkeiten vermietet. Diese verfügen somit über eine eigene Stromversorgung, die Kopfverteiler mit jeweils vier Stromkreisen.

Auch diese werden bei Datacenter One permanent überwacht: „In den Kopfverteilern nutzen wir ‚UMG 20CM’-Messgeräte“, erläutert Fritzen. „Dank der zwanzig Kanäle können wir Differenzstrom und Betriebsströme aller Abgänge erfassen und haben sogar noch Ausbaureserven.“

Die Messgeräte in den Kopfverteilern werden auch für lokale Alarme genutzt: Markante Warnleuchten über den Schaltschränken melden optisch mit einem orangefarbenen Lichtzeichen, wenn der Differenzstrom 28 Milliampere überschreitet. Über 30 Milliampere geben eine rote Leuchte und ein akustisches Signal unmissverständlich Alarm.

So erhalten neben der ständig besetzten Leitzentrale auch Techniker vor Ort eine Meldung. Werner nennt den Grund: „Der Kunde wird sofort gewarnt, wenn er in seinem Raum arbeitet. Zwar wird auch unser Personal informiert und leitet die Meldung rasch weiter. Theoretisch kann es dann aber schon zum Schlag gekommen sein. Die Visualisierung alarmiert optisch und akustisch unmittelbar.“

Leistungen vertraglich in Service Level Agreements regeln

Die jeweiligen Leistungen sind vertraglich in Service Level Agreements (SLAs), deutsch Dienstleistungs-Güte-Vereinbarung) geregelt. Dazu gehören auch genaue Angaben über Netzspannung und Frequenz. Bei Datacenter One beispielsweise muss im Streitfall das Unternehmen deren Einhaltung nachweisen.

Projektmanager Christian Werner von Datacenter One (links) und Gerald Fritzen von Janitza.
Projektmanager Christian Werner von Datacenter One (links) und Gerald Fritzen von Janitza.
(Bild: Janitza Electronics GmbH/ Martin Witzsch)

Am Standort Hilden ist hierfür Projektmanager Christian Werner verantwortlich, der bei Datacenter One Neubauten und Ausbauten betreut (siehe: Abbildung 1). Er kennt die Besonderheiten des Co-Location-Geschäfts genau: „Wir sichern in den SLAs eine bestimmte Netzqualität mit definierten Toleranzgrenzen zu. Wenn wir das nicht einhalten, kann uns der Kunde in Regress nehmen.“

Rechenzentren – die Königsdisziplin der Messtechnik

Hochverfügbarkeit, Energiemanagement, Kostenstellenabrechnung: In jedem Bereich eines Rechenzentrums muss gemessen werden. Werner nutzt hierfür die Geräte des Messtechnikspezialisten Janitza, auf die er durch einen Kunden aufmerksam wurde. Inzwischen gehören diese zum Standard bei Datacenter One. Sie überwachen vor allem das Rückgrat der Stromversorgung, die beiden unabhängigen Strompfade.

In der USV-Verteilung sorgen Messgeräte mit großen Displays für Überblick.
In der USV-Verteilung sorgen Messgeräte mit großen Displays für Überblick.
(Bild: Janitza Electronics GmbH/ Martin Witzsch)

Der Aufbau ist gemäß DIN EN 50600 Level 3 von der TÜViT (TÜV Informationstechnik GmbH) zertifiziert. Außerdem genügt der Standort der ISO 27001, einer Norm, die das Informationssicherheits-Managementsystem beschreibt. Gerald Fritzen, bei Janitza der Spezialist für Rechenzentren, beschreibt die Messtechnik: „Wir haben eine umfassende Überwachung, beginnend bei den Primär- und Sekundärversorgungen, das heißt: den Transformatoren und Generatoren. Das geht bis zu den Sekundärverteilern für die Racks. Unser Messkonzept erfasst sämtliche Granularitätsstufen von I bis III.“

In jeder NSHV, den Niederspannungs-Hauptverteilungen, überwacht ein Klasse-A-Messgerät die Netzqualität direkt an der Einspeisung. So lassen sich sämtliche Spannungsanomalien, wie kurzzeitige Transienten oder Oberschwingungen, gerichtsfest erfassen und gemäß den verschiedenen Netzqualitätsstandards der DIN EN 61000-2-4 Klasse 1 bis Klasse 3 auswerten.

Bildergalerie

Im Bereich der NSHV gilt die Klasse 2 für allgemeine Anwendungen. Für die USV, die unterbrechungsfreie Stromversorgung, sind die schärferen Grenzwerte der Klasse 1 zu erfüllen. Die Qualitätsmessungen dort erfolgen mit besonders hochwertigen Spannungsqualitätsanalysatoren UMG 512 .

Der Spannungsqualitätsanalysator „UMG 512“ kann Messwerte auch visualisieren und Ereignisse in Wellenform am Display anzeigen.
Der Spannungsqualitätsanalysator „UMG 512“ kann Messwerte auch visualisieren und Ereignisse in Wellenform am Display anzeigen.
(Bild: Janitza Electronics GmbH/ Martin Witzsch)

Fritzen resümiert: „Man kann jederzeit sehen, wie hoch die Stromkreise ausgelastet sind. Damit verfügen wir auch über eine Redundanzüberwachung. Im Normalbetrieb sind beide Systeme aktiv. Da bei einem Ausfall von Pfad A das B-System übernehmen muss, dürfen beide nicht mehr als 40 Prozent ausgelastet sein.“

Bildergalerie

Unverzichtbar: messen von Differenzströmen

Zu den unverzichtbaren Standards gehört bei Rechenzentren auch die Überwachung von Differenzströmen. Auf keinen Fall darf ein schleichend auftretender Isolationsfehler zur Störung führen. Deshalb sind bei Datacenter One die Verteilungen als TN-S-System mit einem zentralen Erdungspunkt ZEP aufgebaut. Über diesen lassen sich Fehlerströme im gesamten System identifizieren.

An dieser Stelle wird der Ableitstrom oder Fehlerstrom der gesamten Elektroinstallation inklusive Betriebsmittel gemessen.
An dieser Stelle wird der Ableitstrom oder Fehlerstrom der gesamten Elektroinstallation inklusive Betriebsmittel gemessen.
(Bild: Janitza Electronics GmbH/ Martin Witzsch)

Diese RCM-Überwachung erfolgt ebenfalls mit den Janitza-Geräten. „Der ZEP ist vorbildlich. Wir sind weit unter den 0,2 Prozent Außenleiterstrom im Vergleich zum Gesamtstrom“, lobt Fritzen die Qualität der Anlage und weist noch auf einen weiterer Vorzug hin: „Durch die kontinuierliche RCM-Überwachung entfällt bei der vierjährlichen DGUV-Überprüfung die Isolationsmessung.“ Diese wäre für ein Rechenzentrum auch kaum machbar, da hierfür die jeweiligen Stromverteilungen abgeschaltet werden müssten.

Jetzt Newsletter abonnieren

Verpassen Sie nicht unsere besten Inhalte

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung.

Aufklappen für Details zu Ihrer Einwilligung

Durch die permanente Überwachung der Differenzströme lassen sich Abweichungen vom Normalverlauf erkennen und es lassen sich Rückschlüsse auf die Isolationsbeschaffenheit der Anlage treffen.
Durch die permanente Überwachung der Differenzströme lassen sich Abweichungen vom Normalverlauf erkennen und es lassen sich Rückschlüsse auf die Isolationsbeschaffenheit der Anlage treffen.
(Bild: Janitza Electronics GmbH/ Martin Witzsch)

In der Hauptverteilung der USV wird ebenfalls der Gesamtfehlerstrom gemessen. Da dort Stromschienen mit sehr großen Querschnitten verbaut sind, werden als Wandler sogenannnte Rogowski-Spulen verwendet. Diese lassen sich sehr flexibel und ohne Unterbrechung des Stromkreises um einen Leiter legen und eignen sich für sehr große Querschnitte. Die RCM-Überwachung erfolgt bis zu den Sekundärverteilern, was eine schnelle Identifizierung von Fehlern möglich macht.

Die kompakte „RCM-Rogo“ mit Messumformer kann in Kombination mit Messgeräten von Janitza oder direkt über die RS485 Schnittstelle gelesen werden.
Die kompakte „RCM-Rogo“ mit Messumformer kann in Kombination mit Messgeräten von Janitza oder direkt über die RS485 Schnittstelle gelesen werden.
(Bild: Martin Witzsch info@witzsch.com)

Pflicht und Kür: das messtechnische Erfassen der Peripherie

Die Rechenzentren von Datacenter One weisen mit einem PUE-Wert von weniger als 1,3 eine hohe Energie-Effizienz auf. Die Kennzahl PUE (Power Usage Effectiveness) ist das Verhältnis der insgesamt in einem Rechenzentrum verbrauchten Energie zur Energieaufnahme der IT-Infrastruktur. Je näher der Wert an 1,0 liegt, desto Energie-effizienter arbeitet das Rechenzentrum.

Seit 2021 ist das Unternehmen Teil des Climate Neutral Data Centre Pact (nachhaltiges Bewirtschaften der Rechenzentren; Klimapakt der europäischen Datacenter-Betreiber “, um so den nachhaltigen Rechenzentrumsbetrieb voranzutreiben. Hierfür und natürlich für den störungsfreien Betrieb des Gebäudes lässt Projektmanager Werner auch die Energieversorgung der weniger kritischen Bereiche überwachen. Dazu gehören die Klimatisierung, die Beleuchtung und die Büroräume – eine typische Aufgabe für die kostengünstigen und platzsparenden Messgeräte vom „Typ UMG 20CM“.

Das Universalmessgerät „UMG 103-CBM“ rechts oben ermöglicht eine präzise Ermittlung des PUE-Wertes. Verbräuche die nicht direkt zur Datacenter-Infrastruktur gehören, werden mit dem Messgerät kostengünstig erfasst und bei der Berechnung berücksichtigt.
Das Universalmessgerät „UMG 103-CBM“ rechts oben ermöglicht eine präzise Ermittlung des PUE-Wertes. Verbräuche die nicht direkt zur Datacenter-Infrastruktur gehören, werden mit dem Messgerät kostengünstig erfasst und bei der Berechnung berücksichtigt.
(Bild: Martin Witzsch info@witzsch.com)

Zusätzliche „UMG 103-CBM“ Universalmessgeräte für die Hutschiene dienen der präzisen Ermittlung des PUE-Wertes. Sie messen die Verbräuche in den Unterverteilungen für Licht und Kraft. Diese Verteiler weisen noch eine Besonderheit auf, die nicht verpflichtend, aber sehr nützlich ist: einen STS-Schalter (Stativ Transfer Switch). Fällt ein Versorgungspfad weg, wechselt er automatisch zur anderen Versorgung. Dies passiert so schnell, dass man die Unterbrechung kaum bemerkt. Damit sind bei einem Stromausfall nicht nur die kritischen Bereiche geschützt; selbst der Alltag in den Büros kann weiterlaufen.

Bildergalerie

Die Dieselgeneratoren

Mit einem Messgeräte „UMG 96-PA-MID+“ lässt sich MID-konform nachweisen, wie viel Energie durch die Dieselgeneratoren ins Netz eingespeist wurde.
Mit einem Messgeräte „UMG 96-PA-MID+“ lässt sich MID-konform nachweisen, wie viel Energie durch die Dieselgeneratoren ins Netz eingespeist wurde.
(Bild: Janitza electronics GmbH/Martin Witzsch)

Abschließend seien noch die Messungen an den beiden Dieselgeneratoren erwähnt: Theoretisch können sie Strom ins Netz einspeisen. Damit unterliegt die Anlage den gleichen Regeln, die auch für dezentrale Erzeuger wie PV- oder Windkraftanlagen gelten. Messgeräte in diesem Bereich müssen die Richtlinie MID (Measuring Instruments Directive) erfüllen, die im März 2004 vom Europäischen Parlament herausgegeben wurde.

Fritzen erläutert: „Für die Generatoren nutzen wir unsere Messgeräte UMG 96-PA-MID. So können wir jederzeit MID-konform nachweisen, wie viel Energie möglicherweise exportiert wurde. Das ist natürlich nicht der Sinn der Anlage, aber wir sind mit dem Gerät auf der sicheren Seite, falls der Energieversorger einen Nachweis fordert.“

Die Datenflut

Um die zahllosen Messwerte aus der Anlage optimal auszuwerten, nutzt der Hildener Projektleiter bei Datacenter One Werner eine Kombination aus dem hauseigenen Monitoring und der Janitza-Software „Gridvis“ in der umfangreichen „Expert“-Version. Er beschreibt sie wie folgt: „Die hochwertigen 512er beherrschen das Simple Network Management Protocol SNMP. Die kann ich direkt in unsere Software integrieren.“ Andere, wie das UMG 96-PA-MID oder UMG 20CM seien über Modbus angebunden.

Er fährt fort: „Das war bis vor kurzem mit unserer Software nur eingeschränkt möglich. Dafür haben wir jedes Messgerät in die Gridvis eingebunden. Mit ihr kann ich die Geräte konfigurieren, abfragen und auf Fehler überwachen. Auch die Kurven-Analyse ist sehr komfortabel.“ Die Geräte kommunizieren an den entscheidenden Knotenpunkten parallel, sie sind also gleichzeitig via Modbus an die Gridvis und per SNMP an die Monitoring-Software angebunden.

Janitza-Experte Fritzen ergänzt, dass für seinen Kunden die Beherrschung vielen Schnittstellen elementar seien. Gridvis lese auch Fremdkomponenten aus, etwa andere Modbus-Geräte. Dazu gehören beispielsweise Wasserzähler oder Energiemessgeräte eines anderen Herstellers, die ein spezieller Co-Location-Kunde nutzen möchte. Zudem funktioniere das selbst für Sensoren ohne direkte Netzwerkschnittstelle. Sie ließen sich mittels einer REST API-Schnittstelle abfragen.

Alarm zu geben, wenn´so wär'

Die REST-Schnittstelle nutzt Werner auch für das Alarm-Management, in das sowohl Gridvis als auch das hauseigene Monitoring eingebunden sind. Bei einem Alarm können automatisiert Tickets mit konkreten Arbeitsanweisungen generiert werden. Je nach Einsatzfall werden auch Daten mitgesendet.

Welcher Mitarbeiter Bereitschaft hat ist zusammen mit einer Eskalationskette hinterlegt. Der Diensthabende wird per App oder telefonisch benachrichtigt. Reagiert er nicht in einer definierten Zeit, wird eine weitere Person alarmiert. So ist rund um die Uhr eine nahezu 100-prozentige Verfügbarkeit garantiert.

Die Anlayse

Mit der Gridis lassen sich die Daten auch analysieren. So lässt sich die Summe der Verbräuche aller Kopfverteiler mit der von der USV-Hauptverteilung abgegebenen Energie ins Verhältnis setzen, um Messfehler oder Verluste zu identifizieren.

Werner testet die vielfältigen Reports der Gridvis noch immer weiter aus. So erhält derzeit der Standortleiter an einem der Rechenzentren monatlich einen Hochverfügbarkeitsreport. In diesem sind Grenzwerte hinterlegt und farblich gekennzeichnet, um eine Überlast ausschließen zu können.

Der RCM-Report rückt ebenfalls zunehmend ins Blickfeld. Auch in diesem sind für ausgewählte Messgeräte Grenzwerte definiert. Die Verantwortlichen erhalten den Bericht per Mail oder rufen ihn über eine Web-Schnittstelle ab. Es soll zur Routine werden, sich die Entwicklungen anzusehen.

* Diplom-Physiker Martin Witzsch ist freier Journalist. Diesen Artikel hat er im Auftrag der Janitza Electronics GmbH erstellt.

Ergänzendes zum Thema

Um die Stromversorgung von Rechenzentren zu überwachen, sind auch das Energiemanagement und die Kostenstellenabrechnung von großer Bedeutung.

Dafür nutzt Datacenter One, ein Betreiber von Rechenzentren, die Messgeräte von Janitza. Sie überwachen vor allem die beiden unabhängigen Strompfade – das Rückgrat der Stromversorgung.

So lassen sich die Rechenzentren sicher überwachen und kritische Bereiche bei Stromausfall schützen.

(ID:48607842)