Přeskočit obsah

Schéma v TeskaLabs LogMan.io

TeskaLabs LogMan.io používá schémata k standardizaci a normalizaci logových dat z různých zdrojů. Schémata zajišťují, že logy z různých systémů, aplikací a zařízení jsou mapovány na společnou strukturu, což usnadňuje jejich čtení, analýzu a korelaci. Tato normalizace zlepšuje čitelnost a přístupnost, což umožňuje analytikům pracovat s logy z různých zdrojů, aniž by museli rozumět jedinečnému formátu každého zdroje.

Proč používat schémata?

  • Normalizace: Schémata transformují heterogenní formáty logů do jednotné struktury, což umožňuje konzistentní dotazování a analýzu.
  • Čitelnost: Standardizovaná pole činí logy snadněji interpretovatelnými, čímž se snižuje nejednoznačnost a zvyšuje efektivita pro analytiky.
  • Přístupnost: S běžným schématem lze logy z různých zdrojů přistupovat a porovnávat bez problémů, což podporuje vyšetřování a reportování napříč systémy.

ECS Schéma

TeskaLabs LogMan.io přijímá Elastic Common Schema (ECS) jako své primární schéma pro normalizaci logů. ECS definuje sadu polí pro strukturování dat událostí, což usnadňuje ingestování, vyhledávání a vizualizaci logů.

Důležitá pole ECS

Datetime pole

  • @timestamp: Datum a čas, kdy k události došlo, obvykle parsováno z události samotné.
  • event.created: Datum a čas, kdy byla událost shromážděna LogMan.io Kolektorem.
  • event.ingested: Datum a čas, kdy byla událost přijata LogMan.io Receiverem (centrální systém) a uložena do Archivu.

Chronologické pořadí časových razítek je následující:

@timestamp < event.created < event.ingested

Základní pole

  • event.original: Původní logová zpráva, uchovávaná pro referenci.
  • message: Část události čitelná pro člověka, pokud je přítomna, se obvykle ukládá do tohoto pole.
  • _id: Jedinečný identifikátor pro událost. V TeskaLabs LogMan.io se to vztahuje na row_id v Archivu.
  • related.ip: Seznam všech IP adres pozorovaných v události.

Pole události

  • event.category: Vysoká úroveň kategorie události (např. authentication, network, file), která pomáhá seskupovat podobné události.
  • event.action: Konkrétní akce provedená (např. user login, file access).
  • event.outcome: Výsledek události. Možné hodnoty jsou: success, failure nebo unknown.
  • event.type: Popisuje typ události, jako je info, error, start, end nebo access. Toto pole dále klasifikuje povahu události v rámci její kategorie.
  • event.kind: Označuje obecný typ události, jako je event, alert, metric nebo state. Toto pole je užitečné pro rozlišení mezi běžnými událostmi, upozorněními a jinými typy dat.

Identifikátory

  • host.id: Jedinečný identifikátor pro hostitele, ze kterého událost pochází. V TeskaLabs LogMan.io je obvykle obohacen z host.hostname pomocí vyhledávání.
  • user.id: Jedinečný identifikátor pro uživatele spojeného s událostí. V TeskaLabs LogMan.io je obvykle obohacen z user.name pomocí vyhledávání.

Další běžná pole

  • log.level: Původní úroveň logu události (např. info, warning, error).
  • source.ip a destination.ip: IP adresy zapojené do události, které jsou zásadní pro analýzu sítě.
  • process.name a process.pid: Informace o procesu zapojeném do události, užitečné pro systémové, koncové a aplikační logy.

Pole specifická pro LogMan.io

  • lmio.source: Identifikuje původ události. Pro události shromážděné pomocí syslog je dále obohaceno do následujících polí:
    • lmio.logsource.ip: IP adresa zařízení, ze kterého log pochází.
    • lmio.logsource.port: Zdrojový port zařízení, ze kterého log pochází.
    • lmio.logsource.protocol: Protokol použitý pro předávání logů (např. tcp, udp, tls).
  • tenant: Název nájemce, ke kterému událost patří.

Ostatní schéma

Ostatní schéma se používá pro chybové události, tj. pro události, které nebyly úspěšně zpracovány. Je odvozeno od schématu ECS.

Důležitá pole ostatního schématu

  • event.dataset: Identifikuje Event Lane, ze které událost pochází.
  • event.original: Původní log.
  • @timestamp: Datum a čas, kdy byla událost zpracována během parsování.
  • error.id: Jedinečný identifikátor chyby.
  • error.message: Popis výjimky, proč událost nebyla úspěšně zpracována.