Engineering is gevraagd om verbeteringen aan te brengen in de methode van het verzamelen van system logfiles binnen Interconnect. Sinds 2016 maakt Interconnect voor centrale opslag van system logfiles gebruik van het syslog pakket vRealize LogInsight van VMware. De setup die destijds gedaan is, betrof servers die met name bedoeld waren puur voor de opslag van de logfiles. Het was nu de vraag om deze omgeving te herzien en te verbeteren.
Uitgangspunten vooraf waren met name het bieden van de juiste, adequate data bij RCA of probleem oplossing, hulp bij periodieke controles en mogelijkheid tot analyse van incidenten in alle componenten van de verschillende omgevingen. Er kwamen vanuit de operatie extra wensen met betrekking tot de inrichting. Het systeem diende betere en uitgebreidere access control te bevatten op basis van Microsoft Active Directory authenticatie. Het systeem diende vanuit beveiligingsoogpunt verplaatst te worden naar een ander netwerksegment en de beschikbaarheid voor opslag van logfiles diende beschermd te worden tegen uitval van systemen.
Gezien de grote hoeveelheid devices die loggen naar de syslog servers, was het wenselijk om een situatie te creëren waarbij de ingebruikname plaats kon vinden zonder dat bestaande devices opnieuw geconfigureerd hoefde te worden.
Interconnect had in de nieuwe setup gekozen voor een geclusterde setup waarmee de mogelijkheid tot het verzamelen van logfiles intact blijft ook bij verstoringen van een individuele node. Dit cluster zorgt voor hoge beschikbaarheid van de logfiles en heeft hiermee geen 2 losse systemen meer nodig.
Tijdens de simulatietests in het lab bleek dat een directe koppeling tussen LogInsight en Microsoft Active Directory geen betrouwbare optie was. Ten tijde van het testen was wisselend en onverwacht gedrag zichtbaar (gebruikers konden soms niet inloggen en op andere momenten ging dit probleemloos). Dit was echter snel verholpen doordat LogInsight ook beschikt over directe integratie met vRealize Identity Manager. Er is dan ook gekozen om een lokale versie van Identity Manger op te nemen in het ontwerp, die de gebruikers authenticatie verzorgt voor LogInsight. Identitymanager authentiseert op zijn beurt de gebruikers aan de achterkant direct op Microsoft Active Directory. Door deze aanpassing in het ontwerp gaat gebruikerstoegang probleemloos.
Een andere uitdaging was dat er in de oude setup logfiles kwamen uit een netwerk dat geen enkele toegang had tot andere delen van het netwerk. Dit maakt directe routering van de logfiles niet mogelijk. De verschillende nodes in een LogInsight cluster gebruiken een virtueel IP voor het ontvangen van de log. Dit zijn echter geen fysieke interfaces, die je in een ander netwerk kunt configureren. Er is met loadbalancer specialisten een situatie opgezet waarmee er via de loadbalancers interfaces gecreëerd worden in de afgeschermde netwerksegmenten. Deze interfaces zijn voorzien van de IP adressen van de oude LogInsight nodes. Via het loadbalancer cluster worden de logfiles vervolgens doorgezet naar het nieuwe LogInsight cluster. Hiermee kon ook de overgang worden gemaakt naar het nieuwe log cluster zonder dat bestaande apparaten van andere configuratie voorzien hoefde te worden.
Door gebruik te maken van tagging op de Virtuele IP’s kunnen we zeer snel inzoomen op de logs afkomstig uit een specifiek deel van de omgeving.
Het eindresultaat is een volledig schaalbare, hoog beschikbare omgeving voor centrale opslag en analyse van system logfiles. Door gebruik te maken van kant-en-klare content packs wordt proactieve analyse van de status van de diverse componenten nog eenvoudiger.
De uiteindelijke setup ziet er uit zoals in onderstaande afbeelding.
Na een voortvarende implementatie is het systeem afgelopen zomer naar tevredenheid in gebruik genomen. Het systeem verwerkt van gemiddeld 840 bronnen gemiddeld 48GB per dag aan logs. Ondanks het volume dat verwerkt wordt, is de performance bij analyse van de data nog steeds erg goed. We kijken terug op een goed verlopen traject.
Plaats reactie