Dráhy událostí¶

Relation to LogMan.io Parsec¶

TeskaLabs LogMan.io Parsec čte důležitou část své konfigurace z event lane. Tato konfigurace zahrnuje:

Kafka témata, ze kterých jsou brány události a do kterých jsou odesílány rozparsované a chybové události
pravidla parsování (deklarace)
(volitelně) časové pásmo, znaková sada a schéma
group.id pro konzumaci z tématu received

Proto každá instance LogMan.io Parsec běží přesně v jedné událostní lince (přesně pod jedním nájemcem).

Prohlášení¶

Toto je minimální požadované definice událostní dráhy, umístěná v adresáři /EventLanes/<tenant> v Knihovně:

/EventLanes/mytenant/eventlane.yaml

---
define:
    type: lmio/event-lane

parsec:
    name: /Parsers/path/to/parser/  # (1)

kafka:
    received:
        topic: received.tenant.stream
    events:
        topic: events.tenant.stream
    others:
        topic: others.tenant

Cesta pro pravidlo zpracování. Musí začínat /Parsers. Standardní formát cesty je <vendor>/<type>, např. Microsoft/IIS nebo Oracle/Listener, ale v případě, že je použita pouze jedna technologie, může být použito pouze jméno poskytovatele, např. Zabbix nebo Devolutions.

Když je spuštěn Parsec a je načtena událostní stopa, jsou vytvořeny dva potrubí:

ParsecPipeline mezi tématy received a events
ErrorPipeline cílený na téma others

group.id používané pro konzumaci z received tématu má formu: lmio-parsec-<tenant>-<eventlane>

Časové pásmo, schéma, znaková sada¶

Časové pásmo, schéma a znaková sada jsou ve výchozím nastavení načteny z konfigurace nájemce, ale tyto vlastnosti lze přepsat v událostní lince:

/EventLanes/tenant/eventlane.yaml

---
define:
    type: lmio/event-lane
    schema: /Schemas/CEF.yaml
    timezone: UTC
    charset: utf-16

schema: Jaké schéma se používá pro parsování. Mapování a obohacovače jsou specifické pro schéma a schema musí být nastaveno v deklaraci. Pokud je použito jiné schéma, jsou tyto deklarace vynechány.

timezone: Pokud zdroj záznamů vytváří záznamy v konkrétním časovém pásmu, odlišném od výchozího časového pásma nájemce, musí být zde specifikováno.
Název časového pásma musí být v souladu s IANA Databází časových pásem. Interně jsou všechny časové značky převedeny na UTC.

charset: Pokud zdroj logů produkuje logy v znakové sadě (nebo kódování) odlišné od UTF-8, je třeba zde specifikovat znakovou sadu. Seznam podporovaných znakových sad je zde. Interně je každý text kódován v UTF-8.

Možnosti analýzy¶

Další možnosti parsování jsou uvedeny také v událostním pruhu.

/EventLanes/tenant/eventlane.yaml

parsec:
    name: /Parsers/path/to/parser/
    event:
        extract:
            ip_addresses: true  # Regex extraction of IPv4 and IPv6 addresses
            mac_addresses: true  # Regex extraction of MAC addresses
        drop:
            empty: true  # Empty events are not processed

Správa aktiv a tok činností¶

Parsec může hlásit aktivitu hostitele a uživatele do inventáře aktiv prostřednictvím vyhrazeného Kafka activity tématu (events.<tenant>.activity). Konfigurace zahrnuje:

/Schemas/Mappings/Asset_<schema>.yaml: výchozí identity, activity.identity, fallback a názvy polí aktivity (ECS zahrnuje source.address jako pole hostname pouze pro aktivitu).
parsec.asset na každé zdrojové událostní linii: přepisy podle linie, heartbeat, volitelný skip (exact / prefixes / suffixes / contains / ip pro hostitele a uživatele — také přeskočí výchozí fallback do host.id / user.id), a další pole activity.identity.

/EventLanes/tenant/eventlane.yaml

parsec:
  asset:
    heartbeat: 120s
    skip:
      host:
        exact:
          - localhost
        prefixes:
          - temp-
        suffixes:
          - .local
        contains:
          - -dhcp-
        ip: true
      user:
        exact:
          - SYSTEM
        suffixes:
          - "$"
        contains:
          - svc_
        ip: true
    identity:
      ips2hostid+:
        - client.ip
    activity:
      identity:
        hostnames2hostid+:
          - client.hostname
    fallback:
      user.name: false

Podívejte se na Správu aktiv a tok aktivit pro názvy při vyhledávání, více host.id z jedné události, metody zálohování, pravidla přeskočení aktivit (včetně skip.host.ip, když host.hostname je IP), linii událostí aktivit, dávkování a ukázkové payloady.