Konfigurace Depositoru

Vzor konfigurace

Toto je nejzákladnější konfigurace potřebná pro TeskaLabs LogMan.io Depositor:

[zookeeper]
servers=zookeeper-1:2181,zookeeper-2:2181,zookeeper-3:2181

[library]
providers=zk:///library

[kafka]
bootstrap_servers=kafka-1:9092,kafka-2:9092,kafka-3:9092

[elasticsearch]
url=http://es01:9200

Zookeeper

Určete umístění serveru Zookeeper v clusteru.

[zookeeper]
servers=zookeeper-1:2181,zookeeper-2:2181,zookeeper-3:2181

Hint

Pro neprodukční nasazení je možné použít jediný server Zookeeper.

Knihovna

Určete cestu(y) ke knihovně, ze které se mají provést nahrávky deklarací.

[library]
providers=zk:///library

Hint

Protože je standardně využíváno schéma ECS.yaml v /Schemas, zvažte použití TeskaLabs LogMan.io Common Library.

Kafka

Určete bootstrap servery Kafka clusteru.

[kafka]
bootstrap_servers=kafka-1:9092,kafka-2:9092,kafka-3:9092

Hint

Pro neprodukční nasazení je možné použít jediný server Kafka.

Elasticsearch

Určete URL adresy master nodů Elasticsearch.

Sekce ESConnection se používá pro nastavení pokročilých parametrů připojení (viz níže).

Sekce elasticsearch se používá pro ukládání URL a autentizačních údajů.

Sekce asab:storage se používá pro explicitní povolení inicializace úložiště.

[asab:storage]
type=elasticsearch

[connection:ESConnection]
precise_error_handling=true
bulk_out_max_size=1582912
output_queue_max_size=5
loader_per_url=1
cluster_status_throttle=red
cluster_status_unthrottle=green
active_shards_percent_throttle=50
retry_errors=unavailable_shards_exception
throttle_errors=circuit_breaking_exception

[elasticsearch]
url=http://es01:9201
username=MYUSERNAME
password=MYPASSWORD

Hint

URL by mělo směřovat na hot node Elasticsearch na stejném serveru, kde je nasazen Depositor.

Pokročilé nastavení připojení k Elasticsearch

precise_error_handling

Určuje, že Elasticsearch by měl vracet informace o tom, které události způsobili problém spolu s chybou.

bulk_out_max_size

Velikost jednoho bulk požadavku odesílaného do Elasticsearch v bajtech.

Události jsou seskupeny do bulků, aby se snížil počet požadavků odesílaných do Elasticsearch.

output_queue_max_size

Maximální velikost fronty pro bulks Elasticsearch.

Pokud je číslo překročeno, daný pipeline je throttlován.

loader_per_url

Počet úkolů/loaderů na URL. Určuje počet požadavků, které mohou být současně odeslány na každou URL uvedenou v atributu URL.

cluster_status_throttle

Stav, do kterého musí cluster vstoupit, aby se Depositor zastavil/throttloval. Lze nastavit na none.

Default: red

Možnosti: red, yellow, none

cluster_status_unthrottle

Stav, do kterého musí cluster vstoupit, aby se Depositor obnovil/unthrottloval, pokud byl throttlovaný.

Default: green

Možnosti: red, yellow, green

active_shards_percent_throttle

Minimální procento celkových shardů, které musí být aktivní/dostupné, aby Depositor mohl odesílat události.

Hodnota, která je pročentem, by měla být nastavena na 100 / (počet replik + 1).

Default: 50

retry_errors

Seznam chyb, které lze opakovat, oddělených čárkou, které způsobí opětné odeslání události do indexu událostí specifikovaného v event lane.

Note

Tato konfigurační volba je ve většině případů zbytečná, a proto se doporučuje ji z konfigurace vyloučit.

throttle_errors

Seznam chyb, oddělených čárkou, které způsobí throttle Dispatcheru, dokud nebudou vyřešeny.

Note

Tato konfigurační volba je ve většině případů zbytečná, a proto se doporučuje ji z konfigurace vyloučit.

Deklarace

Volitelná sekce pro určení, odkud načíst deklarace event lane a které schéma bude použito jako výchozí (pokud není specifikováno v dané deklaraci event lane).

[declarations]
path=/EventLanes/
schema=/Schemas/ECS.yaml

Hint

Ujistěte se, že změníte schéma, pokud používáte jiné schéma než ECS ve vašem nasazení jako výchozí. Změna cesty pro event lanes se nedoporučuje.