Přeskočit obsah

Event Lane

Vztah k LogMan.io Parsec

TeskaLabs LogMan.io Parsec čte důležitou část své konfigurace z event lane. Tato konfigurace zahrnuje:

  • Kafka témata, ze kterých se přijímají události a do kterých se posílají parsované a chybové události
  • Pravidla pro parsování (deklarace)
  • (volitelně) časové pásmo, charset a schéma
  • group.id pro konzumaci z received tématu

Proto každá instance LogMan.io Parsec běží pod přesně jedním eventlane (pod přesně jedním tenantem).

Note

Čtení konfigurace z event lane bylo zavedeno ve verzi v24.14.

Deklarace

Toto je minimální požadovaná definice event lane, nacházející se v adresáři /EventLanes/<tenant> v knihovně:

/EventLanes/tenant/eventlane.yaml
---
define:
    type: lmio/event-lane

parsec:
    name: /Parsers/path/to/parser  # (1)

kafka:
    received:
        topic: received.tenant.stream
    events:
        topic: events.tenant.stream
    others:
        topic: others.tenant
  1. Cesta k pravidlu pro parsování. Musí začínat /Parsers. Standardní formát cesty je <vendor>/<type>, např. Microsoft/IIS nebo Oracle/Listener, ale v případě, že se používá pouze jedna technologie, může být použit pouze název poskytovatele, např. Zabbix nebo Devolutions.

Když se spustí Parsec a načte event lane, vytvoří se dva pipeline:

  • ParsecPipeline mezi tématy received a events
  • ErrorPipeline cílený na téma others

group.id použitý pro konzumaci z tématu received má tvar: lmio-parsec-<tenant>-<eventlane>

Časové pásmo, schéma, charset

Časové pásmo, schéma a charset jsou standardně čteny z konfigurace tenant, ale tyto vlastnosti mohou být přepsány v event lane:

/EventLanes/tenant/eventlane.yaml
---
define:
    type: lmio/event-lane
    timezone: UTC
    charset: utf-16
    schema: /Schemas/CEF.yaml

timezone: Pokud zdroj logů produkuje logy ve specifickém časovém pásmu, které se liší od výchozího časového pásma tenant, musí to být zde specifikováno. Název časového pásma musí být v souladu s IANA Time Zone Database. Interně jsou všechny časové údaje převedeny do UTC.

charset: Pokud zdroj logů produkuje logy v charsetu (nebo kódování) odlišném od UTF-8, musí zde být charset specifikován. Seznam podporovaných charset je zde. Interně je každý text kódován v UTF-8.