Konfigurace vkladatele¶

Model¶

Chcete-li aplikaci spustit, zahrňte ji do modelu a klikněte na tlačítko Použít.

/Site/model.yaml

define:
  type: rc/model

services:
  lmio-depositor:
    - <node>  # Replace with name of the node

Vzor konfigurace¶

Toto je nejzákladnější konfigurace vyžadovaná pro LogMan.io Depositor:

[zookeeper]
servers=zookeeper-1:2181,zookeeper-2:2181,zookeeper-3:2181

[library]
providers=zk:///library

[kafka]
bootstrap_servers=kafka-1:9092,kafka-2:9092,kafka-3:9092

[elasticsearch]
url=http://es01:9200

Ošetřovatel zvířat¶

Určete umístění serveru Zookeeper v clusteru.

[zookeeper]
servers=zookeeper-1:2181,zookeeper-2:2181,zookeeper-3:2181

Nápověda

Pro nepředprodukční nasazení je možné použít jediný server Zookeeper.

Knihovna¶

Uveďte cestu/cesty k knihovně, ze které se mají načíst deklarace.

[library]
providers=zk:///library

Nápověda

Jelikož je výchozí ECS.yaml schéma v /Schemas využíváno, zvažte použití společné knihovny LogMan.io.

Kafka¶

Uveďte bootstrap servery clusteru Kafka.

[kafka]
bootstrap_servers=kafka-1:9092,kafka-2:9092,kafka-3:9092

Nápověda

Pro nasazení mimo produkci je možné použít jeden server Kafka.

Elasticsearch¶

Určete URL adresy hlavních uzlů Elasticsearch.

Sekce ESConnection se používá pro nastavování pokročilých parametrů připojení (viz níže).

Sekce elasticsearch se používá pro ukládání URL a položek autorizace.

Sekce asab:storage se používá k explicitnímu povolení inicializace úložiště.

[asab:storage]
type=elasticsearch

[connection:ESConnection]
precise_error_handling=true
bulk_out_max_size=1582912
output_queue_max_size=5
loader_per_url=1
cluster_status_throttle=yellow
cluster_status_unthrottle=green
active_shards_percent_throttle=50
retry_errors=unavailable_shards_exception
throttle_errors=circuit_breaking_exception

[elasticsearch]
url=http://es01:9201
username=MYUSERNAME
password=MYPASSWORD

Nápověda

URL by mělo směřovat na Elasticsearch hot node na stejném serveru, na kterém je nasazen Depositor.

Pokročilé nastavení připojení Elasticsearch¶

přesné_zpracování_chyb¶

Určuje, že Elasticsearch by měl vrátit informace o tom, které události způsobily problém, spolu s chybou.

maximální_velikost_hromadného_výstupu¶

Velikost jednoho hromadného záznamu odesílaného do Elasticsearch v bytech.

Události jsou seskupeny do bloků, aby se snížil počet požadavků odesílaných do Elasticsearch.

maximální_velikost_výstupní_fronty¶

Maximální velikost fronty pro hromadné operace Elasticsearch.

Pokud je číslo překročeno, daný potrubní systém je omezen.

načítací_program_pro_URL¶

Počet úkolů/nakladačů na URL. Určuje počet požadavků, které lze současně odeslat na každou URL uvedenou v atributu URL.

omezovač_stavu_klastru¶

Stav, do kterého musí cluster vstoupit, aby zastavil/omezil vkladatele. Lze nastavit na none.

Výchozí: žlutá

Možnosti: červená, žlutá, žádná

stav_klastru_odblokovat¶

Stav, do kterého musí cluster vstoupit, aby mohl pokračovat/odblokovat vkladatele, pokud je omezen.

Výchozí: zelená

Možnosti: červená, žlutá, zelená

procento_aktivních_částí_omezeno¶

Minimální procento celkového počtu shardů, které musí být aktivní/dostupné, aby mohl vkladatel odesílat události.

Hodnota, která je vyjádřena v procentech, by měla být nastavena na 100 / (počet replik + 1).

Výchozí: 50

štítek_horkého_uzlu¶

Podřetězec se shodoval v názvech uzlů _cat/shards při počítání horkých úseků, které nejsou STARTED, pro unassigned_shards_tolerance.

Výchozí: horký

Nastavte na none (nebo prázdné), aby se kontrola shardů v horké vrstvě úplně přeskočila. Při nouzových výpadcích více lokalit je to jednodušší než hádat velkou hodnotu unassigned_shards_tolerance. Viz Nouzová nastavení clusteru Elasticsearch.

tolerance_nepřiřazených_úseků¶

Maximální počet shardů, které nejsou STARTED, na uzlech, jejichž název obsahuje hot_node_tag, než Depositor považuje hot tier za nepřipravený a zpomalí příjem dat.

Výchozí: 32

Během výpadku na více místech zůstává mnoho shardů na selhané lokalitě v stavu non STARTED. Tuto hodnotu můžete zvýšit (například na 100000) při zachování hot_node_tag: hot, nebo nastavit hot_node_tag: none a přeskočit kontrolu. Nemá žádný efekt, když je hot_node_tag none nebo prázdný.

selhání_opakovaného_přesměrování_klastru¶

Když je stav clusteru red a unassigned_shards je větší než nula, Depositor pravidelně volá POST /_cluster/reroute?retry_failed=true na dostupnou aktivní URL. Tím se vyresetují vyčerpané čítače pokusů o přiřazení, takže zaseknuté primární shardy (například po neúspěšném ILM shrink / zámku shardu) mohou být přiřazeny znovu bez manuálního přesměrování.

Výchozí: ano

Nastavte na no pro deaktivaci. Vyžaduje přihlašovací údaje Elasticsearch, které mohou spravovat přesměrování clusteru. Volání je přeskočeno, pokud je zdravotní stav sám o sobě nedostupný (bez mastera).

interval_neúspěšného_opakovaného_přesměrování_klastru¶

Minimální počet sekund mezi pokusy o přesměrování retry_failed. Odpovídá frekvenci kontrolního cyklu stavu indexu (1800 = 30 minut).

Výchozí: 1800

opakovat_chyby¶

Seznam typů chyb Elasticsearch pro jednotlivé dokumenty (oddělených ;), které způsobí, že bude událost znovu zpracována na stejném pipeline místo toho, aby byla přesměrována na jiné.

Výchozí: unavailable_shards_exception;cluster_block_exception;node_not_connected_exception

Poznámka

Tato konfigurační možnost je ve většině případů zbytečná, proto se doporučuje ji vyloučit ze svého konfiguračního souboru.

opakovat_http_stav¶

Seznam stavových kódů HTTP pro úplné hromadné selhání (oddělené ;), která způsobují, že události budou zkoušeny znovu ve stejném pipeline místo toho, aby byly přesměrovány do jiných.

Použijte toto pro dočasné výpadky clusteru / brány. Problémy na úrovni dokumentu (mapování, špatný payload) by měly stále jít jinam.

Ve výchozím nastavení: 500;502;503

Příklad: HTTP 503 s cluster_block_exception / no master během údržby nebo odpojení datového centra nesmí zaplavit ostatní indexy.

chyby škrcení¶

Seznam typů chyb Elasticsearch na dokument (oddělených ;), které pozastaví (omezí) ingest dokud se zdraví clusteru neobnoví.

Ve výchozím nastavení: circuit_breaking_exception

Poznámka

Tato konfigurační možnost je ve většině případů zbytečná, proto se doporučuje ji vyloučit ze svého konfiguračního souboru.

stav_http_uplynutí¶

Seznam HTTP stavových kódů pro úplné hromadné selhání (oddělené ;), které také pozastaví příjem dat, dokud se nezotaví stav clusteru (stejný mechanismus jako omezení stavu clusteru). Pozastavení se automaticky uvolní při další kontrole stavu, jakmile již nejsou podmínky omezení splněny.

Výchozí: 503

Nastavte na prázdné (throttle_http_status= v INI, nebo throttle_http_status: "" v modelu) pro deaktivaci této pauzy. Neúspěšné dávky se stále pokusí znovu, když je stav uveden v retry_http_status. Viz Elasticsearch Cluster Emergency Settings.

Prohlášení¶

Volitelná sekce pro určení, odkud načíst deklarace proudů událostí a který schéma bude použito jako výchozí (pokud není specifikováno v dané deklaraci proudu událostí).

[declarations]
path=/EventLanes/
schema=/Schemas/ECS.yaml

Nápověda

Ujistěte se, že změníte schéma, pokud ve svém nasazení používáte jiné schéma než ECS jako výchozí. Změna cesty pro event lanes se nedoporučuje.