Kafka¶

Apache Kafka slouží jako fronta pro dočasné uchovávání událostí mezi mikroslužbami LogMan.io. Pro více informací, viz Architektura

Kafka v LogMan.io¶

Pojmenování témat v event lanes¶

Každý event lane má specifikované témata received, events a others.

Každý název tématu obsahuje název tenanta a stream event lane následujícím způsobem:

received.tenant.stream
events.tenant.stream
others.tenant

received.tenant.stream¶

Téma received ukládá příchozí logy pro příchozího tenanta a stream event lane.

events.tenant.stream¶

Téma events ukládá parsované události pro daný event lane definovaný tenantem a streamem.

others.tenant¶

Téma others ukládá neparsované události pro daného tenanta.

Interní témata¶

Pro LogMan.io existují následující interní témata:

lmio-alerts¶

Toto téma ukládá spuštěné alerty a je čteno mikroslužbou LogMan.io Alerts.

lmio-notifications¶

Toto téma ukládá spuštěná oznámení a je čteno mikroslužbou ASAB IRIS.

lmio-lookups¶

Toto téma ukládá požadované změny v lookupech a je čteno mikroslužbou LogMan.io Watcher.

Doporučené nastavení pro cluster se 3 uzly¶

Existují tři instance Apache Kafka, jedna na každém uzlu.

Počet oddílů pro každé téma musí být alespoň stejný jako počet konzumentů (3) a dělitelný 2, proto doporučený počet oddílů je vždy 6.

Doporučený počet replik je 1.

Každé téma musí mít rozumně nastavenou dobu uchování na základě dostupné velikosti SSD disků.

V prostředí LogMan.io clusteru, kde je průměrná EPS nad 1000 událostí za sekundu a velikost SSD disků je pod 2 TB, je doba uchování obvykle 1 den (86400000 milisekund). Viz sekci Příkazy.

Hint

Když je EPS nižší nebo je dostupného více místa na SSD, doporučuje se nastavit dobu uchování pro Kafka témata na vyšší hodnoty, jako jsou 2 nebo více dní, aby administrátoři měli více času na řešení potenciálních problémů.

Pro správné vytvoření oddílů, replik a uchovávání, viz sekci Příkazy.