Cascade Parser

Příklad

---
define:
  name: Syslog RFC5424
  type: parser/cascade
  field_alias: field_alias.default
  encoding: utf-8  # none, ascii, utf-8 ... (default: utf-8)
  target: parsed # optional, specify the target of the parsed event (default: parsed)

predicate:
  !AND
  - !CONTAINS
    what: !EVENT
    substring: 'ASA'
  - !INCLUDE predicate_filter

parse:
  !REGEX.PARSE
  what: !EVENT
  regex: '^(\w{1,3}\s+\d+\s\d+:\d+:\d+)\s(?:(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})|([^\s]+))\s%ASA-\d+-(.*)$'
  items:
    - rt:
        !DATETIME.PARSE
        value: !ARG
        format: '%b %d %H:%M:%S'
        flags: Y
    - dvchost

Sekce define

Tato sekce obsahuje obecné definice a metadata.

Položka name

Kratší název tohoto deklarace, srozumitelný pro člověka.

Položka type

Typ této deklarace musí být parser/cascade.

Položka field_alias

Název aliasu pole, který bude načten, aby mohly být v deklaraci použity alias názvy atributů události spolu s jejich kanonickými názvy.

Položka encoding

Kódování příchozí události.

Položka target (volitelné)

Výchozí cílový pipeline parsované události, pokud není specifikováno jinak v context. Možnosti zahrnují: parsed, lookup, unparsed

Položka description (volitelné)

Delší, případně vícelinkový, srozumitelný popis deklarace.

Sekce predicate (volitelná)

Sekce predicate filtruje příchozí události pomocí výrazu. Pokud výraz vrátí hodnotu True, událost vstoupí do sekce parse. Pokud výraz vrátí hodnotu False, událost je přeskočena.

Jiné návratové hodnoty jsou nedefinované.

Tato sekce může být použita ke zrychlení parsování přeskočením řádků s evidentně nerelevantním obsahem.

Vložení vnořených predikátových filtrů

Predikátové filtry jsou výrazy umístěné ve vyhrazeném souboru, které mohou být zahrnuty v mnoha různých predikátech jako jejich části.

Pokud chcete zahrnout externí predikátový filtr, umístěný buď v adresáři include nebo filters (tento je globální adresář umístěný v horní hierarchii knihovny LogMan.io), použijte příkaz !INCLUDE:

!INCLUDE predicate_filter

kde predicate_filter je název souboru plus přípona .yaml. Obsah souboru predicate_filter.yaml je výraz, který má být zahrnut, například:

---
!EQ
- !ITEM EVENT category
- "MyEventCategory"

Sekce parse

Tato sekce specifikuje vlastní parsovací mechanismus. Očekává se, že vrátí slovník nebo None, což znamená, že parsování nebylo úspěšné.

Typické příkazy v sekci parse

Příkaz !FIRST umožňuje specifikovat seznam parsovacích deklarací, které budou vyhodnocovány v pořadí (shora dolů), první deklarace, která vrátí nenulovou hodnotu, zastaví iteraci a tato hodnota je vrácena.

Příkaz !REGEX.PARSE umožňuje transformovat řádek logu do struktury slovníku. Také umožňuje připojení podparátorů pro další dekompozici podřetězců.

Směrování výstupu

Aby bylo jasné, že parser nebude parsovat událost, kterou doposud obdržel, je potřeba nastavit atribut target na unparsed v rámci context. Poté mohou jiní parsery v pipeline obdržet a parsovat událost.

Stejně tak může být cíl nastaven na různé cílové skupiny, jako například parsed.

Pro nastavení target v context, se používá !CONTEXT.SET:

- !CONTEXT.SET
  what: <... výrok ...>
  set:
    target: unparsed

Příklad použití v parseru. Pokud žádný regulární výraz neodpovídá příchozí události, událost je odeslána na cíl unparsed, takže ji mohou zpracovat jiní parsery v řadě.

!FIRST
- !REGEX.PARSE
what: !EVENT
regex: '^(one)\s(two)\s(three)$'
items:
  - one
  - two
  - three
- !REGEX.PARSE
what: !EVENT
regex: '^(uno)\s(duo)\s(tres)$'
items:
  - one
  - two
  - three
# Zde začíná zpracování částečně parsované události
- !CONTEXT.SET
set:
  target: unparsed
- !DICT
set:
  unparsed: !EVENT