Připojení nového zdroje logů a parsování dat

1. Instalace LogMan.io Collectoru

LogMan.io Collector je komponenta LogMan.io, která pracuje mimo LogMan.io cluster. Konfigurujte LogMan.io Collector s protokolem CommLink pro komunikaci s LogMan.io Receiverem, což je komponenta uvnitř LogMan.io clusteru zodpovědná za příjem zpráv a jejich ukládání do Archivu.

Nastavte collector, aby používal CommLink.

lmio-collector.yaml

connection:CommLink:commlink:
  url: https://<your-domain>/lmio-receiver

Výchozí konfigurace LogMan.io Collectoru poskytuje několik otevřených TCP a UDP portů pro běžné zdroje logů.

2. Zprovoznění LogMan.io Collectoru

V rozhraní LogMan.io WebUI přejděte na obrazovku Collectors a klikněte na Provision. Vyplňte identity vašeho LogMan.io Collectoru. LogMan.io Collector je zprovozněn do aktivního tenanta.

Varování

Ujistěte se, že jste zprovoznili LogMan.io Collector do správného tenanta, pokud máte přístup k více tenantům. Collector je zprovozněn do aktivního tenanta.

Jakmile je zprovozněn, Collector začne odesílat logy do LogMan.io.

Nový stream můžete najít v Archive a proudící data.

3. Vytvoření event lane

Pro parsování dat z Archivu je třeba vytvořit event lane. Jedná se o deklaraci, která specifikuje, jak data proudí z archivu prostřednictvím klíčových komponent a jaké pravidlo parseru je aplikováno na stream.

V knihovně Library vytvořte nový soubor ve složce /EventLanes. Pro instalaci na jednom uzlu použijte tuto šablonu:

Event lane template

define:
  type: lmio/event-lane

parsec:
  name: /Parsers/<path to parser>

kafka:
  received:
    topic: received.<tenant>.<stream>
  events:
    topic: events.<tenant>.<stream>
  others:
    topic: others.<tenant>

elasticsearch:
  events:
    index: lmio-<tenant>-events-<stream>
    settings: 
      number_of_replicas: 0
  others:
    index: lmio-<tenant>-others
    settings: 
      number_of_replicas: 0

Příklad

V příkladu předpokládejme, že máme nový stream v Archivu s názvem linux-rsyslog-10010, v tenantovi example.

Můžete použít parser Linux/Common z LMIO Common Library.

Vytvořte soubor /EventLanes/example/linux-rsyslog-10010.yaml

/EventLanes/example/linux-rsyslog-10010.yaml

define:
  type: lmio/event-lane

parsec:
  name: /Parsers/Linux/Common

kafka:
  events:
    topic: events.example.linux-rsyslog-10010
  others:
    topic: others.example
  received:
    topic: received.example.linux-rsyslog-10010

elasticsearch:
  events:
    index: lmio-example-events-linux-rsyslog-10010
    settings:
      number_of_replicas: 0
  others:
    index: lmio-example-others
    settings:
      number_of_replicas: 0

Počet replik v Elasticsearch

Tento příklad je pro instalaci na jednom uzlu. Jeden uzel nemůže nést repliky. Proto je number_of_replicas nula. Výchozí nastavení je instalace na třech uzlech, výchozí nastavení indexu Elasticsearch je number_of_replicas: 1 a nemusí být specifikováno v deklaraci Event Lane.

4. Přidání LogMan.io Parsec do modelu

Každý Event Lane vyžaduje vlastní instance LogMan.io Parsec. Přizpůsobte model, abyste přidali instanci LogMan.io Parsec. Použijte tuto šablonu:

Model template

services:

  ...

  lmio-parsec:
    instances:
      <tenant>-<stream>-<instance_no>:
        asab:
          config:
            eventlane:
              name: /EventLanes/<eventlane>.yaml
            tenant:
              name: <tenant>
        node: <node_id>

Příklad

V tomto příkladu je stream nazván linux-rsyslog-10010 v tenantovi example. ID uzlu je specifické pro vaši instalaci. Předpokládejme, že je to example_node. Číslo instance (instance_no) musí být jedinečné pro každou instanci LogMan.io Parsec tohoto tenanta a streamu.

/Site/model.yaml

services:
.
.
.
  lmio-parsec:
    instances:
      example-linux-rsyslog-10010-1:
        asab:
          config:
            eventlane:
              name: /EventLanes/example/linux-rsyslog-10010.yaml
            tenant:
              name: example
        node: example_node

Varování

Ujistěte se, že používáte absolutní cesty při odkazování na soubor nebo adresář v knihovně Library.

Například: /Parsers/Linux/Common

5. Aplikace změn

Aplikujte změny v knihovně Library do instalace. V terminálu ve složce /opt/site spusťte příkaz:

./gov.sh up <node_id>

Instance LogMan.io Parsec bude vytvořena a začne parsovat data z vybraného streamu.

Nakonec se parsed data objeví na obrazovce Průzkumník.