Konfigurace korelátoru LogMan.io

Nejprve je třeba určit, ze které knihovny se mají načítat deklarace, což může být buď ZooKeeper, nebo File.

Každá spuštěná instance parseru také musí vědět, které skupiny má načíst z knihoven, viz níže:

# Deklarace

[deklarace]
library=zk://zookeeper:12181/lmio/library.lib ./data/declarations
groups=Firewall Common Authentication
include_search_path=filters;filters/firewall;filters/common;filters/authentication
timestamp=@timestamp

groups - názvy skupin, které mají být použity z knihovny, oddělené mezerami; pokud je skupina se nachází v podsložce složky, použijte jako oddělovač lomítko, např. correlators/Firewall

include_search_path - určuje složky, ve kterých se mají hledat soubory YAML, které se později použijí ve výrazu !INCLUDE (např. !INCLUDE myFilterYAMLfromFiltersCommonSubfolder) v deklaracích, oddělené znakem ;. Uvedením hvězdičky * za lomítkem v cestě budou rekurzivně zahrnuty všechny podadresáře. Výraz !INCLUDE očekává jako vstup název souboru bez cesty a bez přípony. Chování je podobné atributu -I include při sestavování kódu v jazyce C/C++.

timestamp - název pole atributu timestamp pro kontrolu normalizace po zpracování spouštěče události.

Dále je potřeba vědět, která témata Kafky použít na vstupu a výstupu (pro spouštěče událostí). Je třeba také nakonfigurovat připojení Kafka, aby bylo známo, ke kterým serverům Kafka se připojit.

# Připojení Kafka

[connection:KafkaConnection]
bootstrap_servers=lm1:19092;lm2:29092;lm3:39092

[pipeline:CorrelatorsPipeline:KafkaSource]
topic=lmio-events
group_id=lmio_correlator_firewall

# Kafka sink pro spouštění událostí

[pipeline:OutputPipeline:KafkaSink]
topic=lmio-output

Poslední povinná sekce určuje, které téma Kafky se má použít pro informace o změnách ve vyhledávání (tj. seznamy odkazů) a která instance ElasticSearch se mají načíst.

# ``Persistentní úložiště pro vyhledávání

[asab:storage]
type=elasticsearch

[elasticsearch]
url=http://elasticsearch:9200

# Aktualizovat vyhledávací pipelines

[pipeline:LookupChangeStreamPipeline:KafkaSource]
topic=lookups
group_id=lmio_correlator_firewall

[pipeline:LookupModificationPipeline:KafkaSink]
topic=lookups

Instalace

Docker Compose

  lmio-correlator:
    docker.teskalabs.com/lmio/lmio-correlator.
    volumes:
      - ./lmio-correlator:/data