Kafka

Apache Kafka slouží jako fronta pro dočasné uchovávání událostí mezi mikroslužbami LogMan.io. Pro více informací, viz Architektura

Kafka v LogMan.io

Pojmenování témat v event lanes

Každý event lane má specifikované témata received, events a others.

Každý název tématu obsahuje název tenanta a stream event lane následujícím způsobem:

received.tenant.stream
events.tenant.stream
others.tenant

received.tenant.stream

Téma received ukládá příchozí logy pro příchozího tenanta a stream event lane.

events.tenant.stream

Téma events ukládá parsované události pro daný event lane definovaný tenantem a streamem.

others.tenant

Téma others ukládá neparsované události pro daného tenanta.

Interní témata

Pro LogMan.io existují následující interní témata:

lmio-alerts

Toto téma ukládá spuštěné alerty a je čteno mikroslužbou LogMan.io Alerts.

lmio-notifications

Toto téma ukládá spuštěná oznámení a je čteno mikroslužbou ASAB IRIS.

lmio-lookups

Toto téma ukládá požadované změny v lookupech a je čteno mikroslužbou LogMan.io Watcher.

Doporučené nastavení pro cluster se 3 uzly

Existují tři instance Apache Kafka, jedna na každém uzlu.

Počet oddílů pro každé téma musí být alespoň stejný jako počet konzumentů (3) a dělitelný 2, proto doporučený počet oddílů je vždy 6.

Doporučený počet replik je 1.

Každé téma musí mít rozumně nastavenou dobu uchování na základě dostupné velikosti SSD disků.

V prostředí LogMan.io clusteru, kde je průměrná EPS nad 1000 událostí za sekundu a velikost SSD disků je pod 2 TB, je doba uchování obvykle 1 den (86400000 milisekund). Viz sekci Příkazy.

Hint

Když je EPS nižší nebo je dostupného více místa na SSD, doporučuje se nastavit dobu uchování pro Kafka témata na vyšší hodnoty, jako jsou 2 nebo více dní, aby administrátoři měli více času na řešení potenciálních problémů.

Pro správné vytvoření oddílů, replik a uchovávání, viz sekci Příkazy.