![\"\"](\"https:\/\/dhd-blog.org\/app\/uploads\/2019\/12\/2019-06-03_CLARIAH-DE-1024x395.png\")
<\/p>\n<\/p>\n
Das bis Ende M\u00e4rz 2021 gef\u00f6rderte BMBF-Projekt CLARIAH-DE<\/a> f\u00fchrt die Angebote von CLARIN-D<\/a> und DARIAH-DE<\/a> nachhaltig zusammen, um Synergien sowie neue Nutzendengruppen zu erschlie\u00dfen. Gerade mit Blick auf generische Dienste oder Basisinfrastrukturkomponenten ist dies ein logischer Schritt, da so der Gesamtaufwand sinken und Ressourcen geb\u00fcndelt werden k\u00f6nnen. Das gemeinsame Monitoring von CLARIAH-DE ist daf\u00fcr ein musterg\u00fcltiges Beispiel, das im Folgenden exemplarisch vorgestellt wird.<\/span><\/p>\n CLARIN-D<\/a> und DARIAH-DE<\/a> richten sich an Forschende aus den Geistes-, Kultur- und Sprachwissenschaften und bieten eine gro\u00dfe Bandbreite an Diensten f\u00fcr den Umgang mit (digitalen) Forschungsdaten an<\/span>. Diese werden im Rahmen von CLARIAH-DE zusammengef\u00fchrt.<\/span><\/p>\n Sofern es sich bei den angebotenen Diensten um Webservices handelt, werden diese von den beteiligten Rechenzentren gehostet, d.h. betrieben, gewartet und, wenn notwendig, weiterentwickelt. Diese Leistungen geh\u00f6ren zum Kern einer Forschungsinfrastruktur und werden in der Regel durch die Nutzenden nicht weiter wahrgenommen. F\u00fcr die Nutzenden ist eine derartige Form der Bereitstellung sehr komfortabel, denn zum einen ist die Zug\u00e4nglichkeit von Webservices einfach und zum anderen wird die Funktionsf\u00e4higkeit dieser Dienste vom Anbieter aufrechterhalten.<\/span><\/p>\n Dagegen ist die Bereitstellung von – individuell angepassten – Werkzeugen in Eigenverantwortung der Forschungsprojekte weit verbreitet, doch der vermeintliche Vorteil kann in der Realit\u00e4t zum Nachteil werden: Zwar k\u00f6nnen prinzipiell eine eigene technische Infrastruktur und eigene Werkzeuge \u201cvor Ort\u201d f\u00fcr jedes einzelne Projekt aufgebaut (und Ressourcen gebunden) werden, aber zugleich stellt ein solches Vorgehen f\u00fcr viele Vorhaben eine gro\u00dfe H\u00fcrde dar.\u00a0<\/span><\/p>\n Die gemeinsame digitale Forschungsinfrastruktur stellt somit eine niedrigschwellige und zugleich hochwertige Unterst\u00fctzung f\u00fcr Forschungsvorhaben in den digitalen Geistes-, Kultur- und Sprachwissenschaften dar, indem sie nicht nur geeignete Hostingumgebungen f\u00fcr Dienste bereitstellt, sondern diese auch potenziell in ein Monitoring einbinden kann.<\/span><\/p>\n In unserem Kontext des gemeinsamen Monitorings ist aber eher ein anderer Aspekt wichtig: durch das CLARIAH-DE-Monitoring wird eine hohe Diensteverf\u00fcgbarkeit sichergestellt. Solche Dienste sind bspw. der DARIAH-DE Geo-Browser, das DARIAH-DE Repository oder CLARIN Weblicht.<\/span><\/p>\n Die vorher unabh\u00e4ngig voneinander aufgebauten und betriebenen Systeme von CLARIN-D und DARIAH-DE wurden Mitte 2020 zusammengef\u00fchrt und vereinheitlicht. Seither werden alle von CLARIAH-DE als Webservices angebotenen Dienste durch das gemeinsame Monitoring \u00fcberwacht.\u00a0<\/span><\/p>\n Durch das Monitoring werden die individuellen Betriebszust\u00e4nde der eingebundenen Dienste (sowie der konstituierenden Komponenten) in Echtzeit \u00fcberwacht und bei Ver\u00e4nderungen automatisch Benachrichtigungen an die technischen Betreibenden ausgel\u00f6st. Diese k\u00f6nnen dann schnellstm\u00f6glich an der Behebung einer Nichtverf\u00fcgbarkeit arbeiten, so dass die Nutzenden im Idealfall von einer St\u00f6rung nichts mitbekommen.<\/span><\/p>\n Wo dies sinnvoll ist, wird ein Teil dieser Informationen auch f\u00fcr die Nutzenden bereitgestellt, bspw. in Form von Betriebsmeldungen (beispielhaft f\u00fcr DARIAH-DE<\/a>)<\/span>, um \u00fcber Ausf\u00e4lle oder geplante Wartungen zu informieren.<\/span><\/p>\n Ein Monitoringsystem leistet zusammengefasst folgendes:<\/span><\/p>\n \u00dcberwachung von Betriebszust\u00e4nden der eingebundenen Komponenten in Echtzeit und dadurch ein zuverl\u00e4ssiges und aktuelles Lagebild f\u00fcr die BetreiberInnen.<\/span><\/p>\n Das aktuelle Lagebild erm\u00f6glicht den BetreiberInnen ein zeitnahes Reagieren und Beheben etwaiger St\u00f6rungen. (Was \u201czeitnahes Beheben\u201d einer St\u00f6rung ist, kann bspw. in einem Service Level Agreement (SLA) definiert sein.)<\/span><\/p>\n Sofern der Betriebszustand eines Dienstes den Nutzenden zug\u00e4nglich ist, k\u00f6nnen diese sich ebenfalls direkt informieren. Dies hat den Vorteil, dass f\u00fcr die Nutzenden erkennbar ist, dass an einer Behebung der St\u00f6rung bereits gearbeitet wird und sie so von unn\u00f6tigen Anfragen Abstand nehmen.<\/p>\n Im Rahmen des Monitorings k\u00f6nnen Daten erhoben werden, die f\u00fcr das Berichtswesen verwendet werden k\u00f6nnen, etwa zur Nutzung\/Auslastung von Diensten. Diese Daten sind ebenfalls Grundlage f\u00fcr langfristige Analysen der Verf\u00fcgbarkeit von Services und damit f\u00fcr die Identifikation m\u00f6glicher Problemstellen bzw. ben\u00f6tigter Ressourcenanpassungen.<\/p>\n Das CLARIAH-DE-Monitoring basiert auf der Standardsoftware Icinga2<\/span>. Die Plattform ist ein Zusammenschluss der beiden Icinga2<\/a>-Anwendungen von CLARIN und DARIAH-DE. Das System wird vom CLARIAH-Zentrum Leipzig betrieben, das auch die Konfiguration des europ\u00e4ischen CLARIN-Monitorings betreut. Die Nieders\u00e4chsische Staats- und Universit\u00e4tsbibliothek G\u00f6ttingen (SUB G\u00f6ttingen) und die Gesellschaft f\u00fcr wissenschaftliche Datenverarbeitung G\u00f6ttingen (GWDG) pflegen die DARIAH Komponenten. Gehostet wird das System am J\u00fclich Supercomputing Centre<\/a> (JSC) des Forschungszentrums J\u00fclich<\/span>.<\/span><\/p>\n Im Wesentlichen besteht das Monitoring-System aus einem Core Service, der in regelm\u00e4ssigen Abst\u00e4nden die angeschlossenen Clients und dessen Dienste auf Verf\u00fcgbarkeit bzw. Einhaltung festgelegter G\u00fctekriterien und Schemavalidit\u00e4t pr\u00fcft. Die hierf\u00fcr eingesetzten Nagios-Plugins bieten eine Reihe von M\u00f6glichkeiten. Der autorisierte Anwender oder die Anwenderin kann den aktuellen Systemstatus \u00fcber eine Weboberfl\u00e4che erfassen oder sich per Mail informieren lassen. In der Regel sind dies die Personen, die den Dienst entwickeln oder betreiben. F\u00fcr eine bessere \u00dcbersicht werden Server in Hostgruppen und Dienste in Servicegruppen zusammengefasst.<\/span><\/p>\n Das gesamte Monitoring \u00fcberwacht derzeit etwa 200 Hosts und die auf ihnen laufenden Dienste. Neben den \u00fcblichen \u00dcberpr\u00fcfungen zur Verf\u00fcgbarkeit von Services (bpsw. <\/span>Pr\u00fcfung der generellen Erreichbarkeit einer Webseite per HTTP-Check<\/span>) werden unter anderem auch spezifische Checks f\u00fcr Standardschnittstellen wie SRU\/CQL und OAI-PMH durchgef\u00fchrt. So l\u00e4sst sich pr\u00fcfen, ob ein Webserver funktionsf\u00e4hig ist und korrekt auf Anfragen reagiert. Viele Hosts stellen mehrere Services (typischerweise als REST-Schnittstellen) bereit, wobei f\u00fcr jeden dieser Services mehrere Checks angewendet werden k\u00f6nnen. So kann eine gro\u00dfe Menge an Statusinformationen granular dargestellt werden.<\/span><\/p>\n F\u00fcr jeden der rund 45 Hosts aus dem DARIAH-DE-Teilprojekt werden Standard-Checks u.a. f\u00fcr vorhandenen Speicherplatz auf der Festplatte, Auslastung der CPU, Anzahl der Prozesse oder das Ablaufdatum von TLS-Zertifikaten ausgef\u00fchrt. Insgesamt werden hier allein mehrere 100 Service-Probes eingesetzt.<\/span><\/p>\n F\u00fcr das CLARIN-Projekt werden aktuell bis zu 170 Hosts \u00fcberwacht. Die entsprechende Teil-Konfiguration wird automatisch auf Basis der zentralen CLARIN Centre Registry<\/a><\/span> erstellt und in festen Intervallen aktualisiert. \u00c4nderungen in der Organisationsstruktur des europ\u00e4ischen CLARIN-Projektes wirken sich dadurch unmittelbar auf den durch das Monitoring \u00fcberpr\u00fcften Servicebestand aus.<\/span><\/p>\n Abbildung: Kartendarstellung des Servicestatus f\u00fcr CLARIN-Dienste in Mitteleuropa<\/span><\/i><\/p>\n Eine eingeschr\u00e4nkte Sicht auf die Monitoringergebnisse wird auf der CLARIAH-DE-Webseite<\/a><\/span> \u00f6ffentlich verf\u00fcgbar gemacht. Hierbei werden Informationen zu Checks, die die Sicherheit des Monitorings oder der \u00fcberwachten Hosts beeintr\u00e4chtigen k\u00f6nnten, ausgeblendet. Aktuell kann hier der Status von \u00fcber 170 Services \u00fcberpr\u00fcft werden<\/span>, so dass eine transparente \u00dcbersicht \u00fcber den Servicestatus der technischen CLARIAH-DE-Infrastruktur gew\u00e4hrleistet ist.<\/span><\/p>\n Die technische Umsetzung des Monitorings erfolgte insbesondere in Hinblick auf eine m\u00f6glichst flexible und skalierbare Implementierung. Um das Monitoring weiterer Projekte bzw. Teilprojekte flexibel zu erm\u00f6glichen, erfolgt die Konfiguration dynamisch auf Basis verschiedener Git-Repositorien, in denen die jeweiligen ServiceanbieterInnen die \u00dcberwachung ihrer eigenen Services flexibel konfigurieren k\u00f6nnen. Das CLARIAH-DE-Monitoring ergibt sich damit aus der Vereinigung aller Checks dieser Repositorien.\u00a0<\/span><\/p>\n Fragen zum Thema k\u00f6nnen gerne an <\/span>support@clariah.de<\/span><\/a> oder <\/span>info@dariah.de.eu<\/span><\/a>\u00a0 gerichtet werden.<\/span><\/p>\n Das CLARIAH-DE-Monitoring hat sich als flexible L\u00f6sung zur \u00dcberwachung der technischen Infrastruktur bew\u00e4hrt. Weitere Arbeiten erfolgen u.a. zur verbesserten Darstellung von Montoringergebnissen durch \u00fcbersichtliche Visualisierungen, zu vereinfachten Zugangsm\u00f6glichkeiten auf Basis etablierter Single-Sign-on-Verfahren (Shibboleth) sowie zur Unterst\u00fctzung des Servicemonitorings f\u00fcr externe Interessenten.<\/span><\/p>\n","protected":false},"excerpt":{"rendered":" Worum geht es? Das bis Ende M\u00e4rz 2021 gef\u00f6rderte BMBF-Projekt CLARIAH-DE f\u00fchrt die Angebote von CLARIN-D und DARIAH-DE nachhaltig zusammen, um Synergien sowie neue Nutzendengruppen zu erschlie\u00dfen. Gerade mit Blick auf generische Dienste oder Basisinfrastrukturkomponenten ist dies ein logischer Schritt, da so der Gesamtaufwand sinken und Ressourcen geb\u00fcndelt werden k\u00f6nnen. Das gemeinsame Monitoring von CLARIAH-DE […]<\/p>\n","protected":false},"author":80,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1,5,1194],"tags":[933,412,204,1215],"class_list":["post-14881","post","type-post","status-publish","format-standard","hentry","category-allgemein","category-forschungsinfrastruktur","category-tool-service","tag-clariah-de","tag-clarin-d","tag-dariah-de","tag-monitoring"],"_links":{"self":[{"href":"https:\/\/dhd-blog.org\/index.php?rest_route=\/wp\/v2\/posts\/14881","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/dhd-blog.org\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/dhd-blog.org\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/dhd-blog.org\/index.php?rest_route=\/wp\/v2\/users\/80"}],"replies":[{"embeddable":true,"href":"https:\/\/dhd-blog.org\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=14881"}],"version-history":[{"count":16,"href":"https:\/\/dhd-blog.org\/index.php?rest_route=\/wp\/v2\/posts\/14881\/revisions"}],"predecessor-version":[{"id":14901,"href":"https:\/\/dhd-blog.org\/index.php?rest_route=\/wp\/v2\/posts\/14881\/revisions\/14901"}],"wp:attachment":[{"href":"https:\/\/dhd-blog.org\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=14881"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/dhd-blog.org\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=14881"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/dhd-blog.org\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=14881"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}Wie werden Dienste von CLARIAH-DE bereitgestellt?<\/h3>\n
Warum Monitoring?<\/b><\/h3>\n
Technische Umsetzung des CLARIAH-DE-Monitorings<\/b><\/h3>\n
![\"\"](\"https:\/\/dhd-blog.org\/app\/uploads\/2021\/01\/Screenshot-2021-01-12-115828-1024x552.png\")
Abbildung: Beispielhafte Darstellung einiger Probes im Monitoring<\/i><\/p>\n![\"\"](\"https:\/\/dhd-blog.org\/app\/uploads\/2021\/01\/Screenshot-2021-01-12-115920.png\")
<\/p>\nAusblick<\/b><\/h3>\n