Apache Kafka¶

Apache Kafka slouží jako fronta pro dočasné ukládání událostí mezi mikroservisami LogMan.io. Pro více informací viz Architektura.

Apache Kafka within LogMan.io¶

Pojmenovávání témat v událostních pruzích¶

Každý událostní kanál má specifikována témata received, events a others.

Každý název tématu obsahuje jméno nájemce a tok události v následujícím formátu:

received.tenant.stream
events.tenant.stream
others.tenant

přijatý.nájemce.přítok¶

Téma received ukládá příchozí záznamy pro příchozího tenant a stream událostní linky.

udalosti.nájemce.proud¶

Tématika events ukládá rozparsované události pro danou událostní dráhu definovanou tenant a stream.

jiný.nájemce¶

Téma others uchovává neanalyzované události pro daného tenant.

události.nájemce.aktivita¶

Téma aktivity napříč nájemcem pro kompaktní aktivitu hostitele/uživatele/služby z LogMan.io Parsec. Deklarováno v /EventLanes/<tenant>/activity.yaml. Používá LogMan.io Assets k aktualizaci first_seen / last_seen v inventáři aktiv. Viz Správa aktiv Parsec.

události.nájemce.komplex¶

Nájemce komplexní téma pro detekce korelátoru. Využívá se LogMan.io Assets pro aktualizace skóre rizika entit. Viz Skóre rizika entity.

Interní témata¶

Existují následující interní témata pro LogMan.io:

lmio-ohlášení¶

Téma uchovává vyvolané upozornění a čte ho mikroservis LogMan.io Alerts.

lmio-oznámení¶

Téma uchovává vyvolané oznámení a čte jej mikroslužba ASAB IRIS.

lmio-vyhledávání¶

Toto téma ukládá požadované změny v lookupech a čte ho mikroservis LogMan.io Watcher.

Doporučené nastavení pro 3-uzlový cluster¶

Existují tři instance Apache Kafka, jedna na každém uzlu.

Počet oddílů pro každé téma musí být alespoň stejný jako počet spotřebitelů (3) a dělitelný 2, proto je doporučený počet oddílů vždy 6.

Doporučený počet replik je 1.

Každé téma musí mít rozumnou sadu pro uchování založenou na dostupné velikosti SSD disků.

Ve clusterovém prostředí LogMan.io, kde je průměrný EPS nad 1000 událostí za sekundu a prostor na SSD disku je pod 2 TB, je obvykle doba uchovávání 1 den (86400000 milisekund). Viz sekce Příkazy.

Nápověda

Když je EPS nižší nebo je k dispozici více místa na SSD, doporučuje se nastavit uchovávání pro Kafka témata na vyšší hodnoty, například 2 nebo více dní, aby administrátorům byl poskytnut více času na řešení potenciálních problémů.

Chcete-li správně vytvořit oddíly, repliky a uchovávání, podívejte se na sekci Příkazy.