Konfigurace LogMan.io Parsec¶
Závislosti¶
Závislosti LogMan.io Parsec:
- Apache Kafka: Zdroj vstupních neparsovaných událostí a cílové místo pro parsované události.
- Apache Zookeeper: Obsah knihovny, hlavně pravidla pro parsování, ale také jiné sdílené informace o clusteru.
Model¶
Chcete-li aplikaci spustit, zahrňte ji do modelu a klikněte na tlačítko Použít.
define:
type: rc/model
services:
lmio-parsec:
instances:
<instance-id>: # Replace with a unique identification of instance
node: <node> # Replace with name of the node
asab:
config:
eventlane:
name: /EventLanes/<tenant>/<event-lane>.yaml # Replace with path to the event lane
tenant:
name: <tenant> # Replace with name of your tenant
Tip
Instance LMIO Parsec jsou automaticky vytvářeny a spravovány LMIO Elmanem. V typické situaci není potřeba nastavovat vlastní konfiguraci.
Minimální konfigurace s jízdním pruhem událostí¶
LogMan.io Parsec lze nakonfigurovat jak s event lane, tak bez něj. Doporučujeme použít první možnost.
Když je použita událostní linka, LogMan.io Parsec z ní čte témata Kafka, cestu k pravidlům pro parsování a volitelně znakovou sadu, schéma a časové pásmo.
Toto je minimální konfigurace pro LogMan.io Parsec s událostním pásmem:
[tenant]
name=<tenant> # (1)
[eventlane]
name=/EventLanes/<tenant>/<eventlane>.yaml #(2)
[library]
providers=
zk:///library
...
[kafka]
bootstrap_servers=kafka-1:9092,kafka-2:9092,kafka-3:9092 # (3)
[zookeeper]
servers=zookeeper-1:2181,zookeeper-2:2181,zookeeper-3:2181 # (4)
- Jméno tenantu, pod kterým služba běží.
- Jméno event lane používaného pro témata Kafka, cesta pro pravidla parsování a volitelně znaková sada, schéma a časové pásmo.
- Adresy serverů Kafka v clusteru
- Adresy serverů Zookeeper v clusteru
Apache Zookeeper¶
Každá microservice LogMan.io by se měla zaregistrovat do Zookeeperu.
[zookeeper]
servers=zookeeper-1:2181,zookeeper-2:2181,zookeeper-3:2181
Knihovna¶
Konfigurace knihovny určuje, odkud jsou načítány deklarace (definice) Parsec.
Knihovna může sestávat z jednoho nebo více poskytovatelů, typicky Zookeeperu nebo git repozitářů.
[library]
providers=
zk:///library
# other library layers can be included
Poznámka
Pořadí vrstev je důležité. Vrchní vrstvy přepisují vrstvy pod nimi. Pokud je jeden soubor přítomen ve více vrstvách, načte se pouze ten, který je zahrnut ve vrstvě nejvyšší.
Apache Kafka¶
Připojení k Apache Kafka musí být nakonfigurováno tak, aby bylo možné přijímat události z Apache Kafka a odesílat je do Apache Kafka:
[kafka]
bootstrap_servers=kafka-1:9092,kafka-2:9092,kafka-3:9092
Bez této konfigurace nelze správně navázat spojení s Apache Kafka.
Minimální konfigurace bez jízdního pruhu pro události¶
Když není použita událostní linka, pravidla parsování, časové pásmo a schéma musí být zahrnuty v konfiguraci.
Toto je konfigurace vyžadovaná pro LogMan.io Parsec, když není použita událostní dráha:
[pipeline:ParsecPipeline:KafkaSource]
topic=received.<tenant>.<stream> # (1)
[pipeline:ParsecPipeline:KafkaSink]
topic=events.<tenant>.<stream> # (2)
[pipeline:ErrorPipeline:KafkaSink]
topic=others.<tenant> # (3)
[tenant]
name=<tenant> # (5)
schema=/Schemas/ECS.yaml # (6)
[parser]
name=/Parsers/<parsing rule> # (4)
[library]
providers=
zk:///library
...
[kafka]
bootstrap_servers=kafka-1:9092,kafka-2:9092,kafka-3:9092 # (7)
[zookeeper]
servers=zookeeper-1:2181,zookeeper-2:2181,zookeeper-3:2181 # (8)
- Název přijatého tématu, ze kterého se spotřebovávají události.
- Název událostního tématu, do kterého se zapisují úspěšně zpracované události.
- Název ostatního tématu, do kterého se zapisují neúspěšně zpracované události.
- Určete pravidlo parsování, které se má použít.
- Název nájemce, pod kterým tato instance Parsec běží.
- Schéma by mělo být uloženo ve složce
/Schemas/v Knihovně. - Adresy Kafka serverů v clusteru
- Adresy Zookeeper serverů v clusteru
Pravidlo analyzování¶
Každý parsec musí vědět, jaké pravidlo parsování použít.
[parser]
name=/Parsers/<parsing rule>
Název parseru určuje cestu, ze které jsou načítány deklarace pravidel parsování. MUSÍ být uložen v adresáři /Parsers/. Pravidla parsování jsou soubory YAML.
Standardní formát cesty je <vendor>/<type>, např. Microsoft/IIS nebo Oracle/Listener, ale pokud je použita pouze jedna technologie, může být použit jen název poskytovatele, např. Zabbix nebo Devolutions.
Konfigurace pruhu události¶
Tato sekce volitelně specifikuje významné atributy zpracovaných událostí.
[eventlane]
timezone=Europe/Prague
charset=iso8859_2
timezone: Pokud zdroj záznamů vytváří záznamy v konkrétním časovém pásmu, odlišném od výchozího časového pásma nájemce, musí být zde specifikováno.
Název časového pásma musí být v souladu s IANA Databází časových pásem. Interně jsou všechny časové značky převedeny na UTC.
charset: Pokud zdroj logů produkuje logy v znakové sadě (nebo kódování) odlišné od UTF-8, je třeba zde specifikovat znakovou sadu. Seznam podporovaných znakových sad je zde. Interně je každý text kódován v UTF-8.
Kafka témata¶
Specifikace tématu, ze kterého pocházejí původní protokoly, a témat, kam jsou zasílány úspěšně zpracované a neúspěšně zpracované protokoly.
Doporučený způsob výběru témat je vytvořit jedno téma 'received' a jedno téma 'events' pro každý běh událostí, jedno téma 'others' pro každého nájemce.
[pipeline:ParsecPipeline:KafkaSource]
topic=received.<tenant>.<stream>
[pipeline:ParsecPipeline:KafkaSink]
topic=events.<tenant>.<stream>
[pipeline:ErrorPipeline:KafkaSink]
topic=events.<tenant>
Varování
Název pipeline ParsecPipeline byl zaveden ve verzi Parsec v23.37. Název KafkaParserPipeline používaný v předchozích verzích je zastaralý. Konec životnosti je 30. ledna 2024.
Spotřebitelská skupina Kafky¶
LogMan.io Parsec často běží ve více instancích v clusteru. Sada instancí, které odebírají ze stejného přijatého tématu, se nazývá Spotřebitelská skupina. Tato skupina je identifikována jedinečným group.id. Každá událost je konzumována jedním a pouze jedním členem skupiny.
LogMan.io Parsec vytváří group.id automaticky následovně:
- Když je použita event lane,
group.idmá formátlmio-parsec-<tenant>-<eventlane>. - Když event lane není použita,
group.idmá formátlmio-parsec-<tenant>-<parser name>. group.idmůže být přepsáno v konfiguraciParsecPipelinenásledujícím způsobem:
[pipeline:ParsecPipeline:KafkaSource]
group_id=lmio-parsec-<stream>
Varování
Změnou group.id bude vytvořena nová skupina spotřebitelů a začne číst události od začátku. (To závisí na parametru auto.offset.reset klastru Kafka, který je ve výchozím nastavení earliest.)
Stream aktivit (inventura aktiv)¶
Každá instance Parsec může vysílat kompaktní události aktivit do Kafka topicu aktivit nájemce (events.<tenant>.activity ve výchozím nastavení) pro LogMan.io Assets. To se konfiguruje v Knihovně (/Schemas/Mappings/Asset_<schema>.yaml) a pro každou lane událostí pod parsec.asset (identita, activity.identity, záloha, heartbeat). Reportování aktivit je ve výchozím nastavení povoleno; pro jeho vypnutí nastavte na linii parsec.asset.heartbeat: off.
Viz Správa majetku a tok aktivit.
Metriky¶
Parsec vytváří vlastní telemetrii pro monitorování a také předává telemetrii od sběračů do nakonfigurovaného úložiště telemetrických dat, například InfluxDB. Přečtěte si více o metrikách.
Zahrnout do konfigurace:
[asab:metrics]
...