Přeskočit obsah

Forwarding system tenant logs to a central LogMan.io

Tato příručka popisuje, jak přesměrovat protokoly od nájemce system na satelitním nasazení TeskaLabs LogMan.io do nájemce supersystem na centrálním systému TeskaLabs LogMan.io.

Satelit neustále sbírá a zpracovává své vlastní systémové protokoly. Paralelně LogMan.io Integration Service (lmio-integ) přeposílá surové události přes TCP do vyhrazeného LogMan.io Collector na satelitu. Tento kolektor je přiřazen k přijímacímu tenantu v centrálním systému (doporučený název: supersystem) a odesílá data přes CommLink.

Přehled architektury

flowchart LR
  subgraph satellite [Satellite system]
    lane1[system event lane]
    lane2[system event lane]
    lane3[system event lane]
    integ[lmio-integ]
    collector[lmio-collector-slim<br/>supersystem-*]
    lane1 --> integ
    lane2 -- "TCP BSD syslog (RFC 6587)" --> integ
    lane3 --> integ
    integ --> collector
  end

  subgraph central [Central system]
    receiver[lmio-receiver<br/>tenant: supersystem]
    archive[Archive]
    receiver --> archive
  end

  collector -- CommLink --> receiver
  • Satelit: existující linky událostí system, plus lmio-integ a štíhlá instance kolektoru určená pro přeposílání.
  • Centrála: přijímací tenant (doporučený název supersystem) s běžným nastavením systémového tenanta.
  • Porty nejsou libovolné. Každý přeposílaný stream používá pevný TCP port, který musí odpovídat jak vstupům kolektoru, tak integracím linek událostí na satelitu.

Jméno nájemce

Tento průvodce používá supersystem jako doporučený název přijímajícího nájemce. Můžete zvolit jiný název; používejte však stejný název konzistentně pro nájemce, instanci sběrače a instanci integ (například supersystem-1).

Předpoklady

Než začnete, ujistěte se, že máte:

  • Satelitní cluster LogMan.io s funkčním nájemcem system
  • Centrální cluster LogMan.io
  • Přístup superuživatele v obou systémech
  • Síťové připojení ze satelitního sběrače do centrálního přijímače (/lmio-receiver)

1. Vytvořte příjemce nájemce v centrálním systému

Na centrálním systému vytvořte nájemce, který bude přijímat přeposlané záznamy. Doporučený název je supersystem.

Dokončete nastavení systému nájemce pro tohoto nájemce.

2. Nasadit přeposílací kolektor na satelitu

Nasadte dedikovaný odlehčený sběrač na satelit a připravte jej pro přijímajícího nájemce v centrálním systému.

/Site/model.yaml
services:
  ...

  lmio-collector-slim:
    instances:
      supersystem-1:
        node: <node-on-satellite-system>
        # Default open ports on Collector are disabled
        asab:
          config:
            smart:
              listen: ""
        # CommLink connection to the central system
        files:
          - conf/lmio-collector.yaml: |
              connection:CommLink:commlink:
                url: http://<central-system-address>/lmio-receiver

              output:CommLink:smart: {}

Nahradit:

  • <node-on-satellite-system> — uzel na satelitním clusteru, kde běží kolektor
  • <central-system-address> — adresa centrálního systému dostupná z tohoto uzlu

Vstupy kolektoru pro systémové proudy

Zajistěte a nakonfigurujte sběrač tak, aby přeposílal systémové toky do centrálního systému.

Na centrálním systému otevřete Logsources >> Collectors. Vyberte nový Collector umístěný na satelitním systému a proveďte jeho zprovoznění. Poté otevřete konfiguraci Collectoru a nakonfigurujte vstupy pro systémové streamy v konfiguraci Custom.

Konfigurace sběrače

Každý kanál systémové události je přesměrován na jiný TCP port. Čísla portů odpovídají uspořádání systémového kolektoru: původní kolekční port plus 10000 (například stream asab je sbírán na 9900 a přesměrován na 19900).

Použijte input:TCPBSDSyslogRFC6587 u každého vstupu. Integrace tcp_bsd_syslog_rfc6587 odesílá každý záznam s rámováním počítajícím oktety podle RFC 6587, což zachovává původní hranice zpráv i tehdy, když záznamy obsahují znaky nového řádku.

Předávají se pouze záznamy vytvořené skutečnými zdroji záznamů. Větve událostí complex, activity a others jsou vynechány, protože nesbírají záznamy z externích zdrojů.

```yaml title="Collector configuration"
input:TCPBSDSyslogRFC6587:asab:
  address: 127.0.0.1 19900
  output: asab
output:CommLink:asab: {}

input:TCPBSDSyslogRFC6587:nginx:
  address: 127.0.0.1 19910
  output: nginx
output:CommLink:nginx: {}

input:TCPBSDSyslogRFC6587:zookeeper:
  address: 127.0.0.1 19911
  output: zookeeper
output:CommLink:zookeeper: {}

input:TCPBSDSyslogRFC6587:zoonavigator:
  address: 127.0.0.1 19912
  output: zoonavigator
output:CommLink:zoonavigator: {}

input:TCPBSDSyslogRFC6587:elasticsearch:
  address: 127.0.0.1 19920
  output: elasticsearch
output:CommLink:elasticsearch: {}

input:TCPBSDSyslogRFC6587:kibana:
  address: 127.0.0.1 19921
  output: kibana
output:CommLink:kibana: {}

input:TCPBSDSyslogRFC6587:kafka:
  address: 127.0.0.1 19922
  output: kafka
output:CommLink:kafka: {}

input:TCPBSDSyslogRFC6587:kafdrop:
  address: 127.0.0.1 19923
  output: kafdrop
output:CommLink:kafdrop: {}

input:TCPBSDSyslogRFC6587:mongo:
  address: 127.0.0.1 19924
  output: mongo
output:CommLink:mongo: {}

input:TCPBSDSyslogRFC6587:influxdb:
  address: 127.0.0.1 19930
  output: influxdb
output:CommLink:influxdb: {}

input:TCPBSDSyslogRFC6587:grafana:
  address: 127.0.0.1 19931
  output: grafana
output:CommLink:grafana: {}

input:TCPBSDSyslogRFC6587:telegraf:
  address: 127.0.0.1 19932
  output: telegraf
output:CommLink:telegraf: {}

input:TCPBSDSyslogRFC6587:linux-rsyslog-1:
  address: 127.0.0.1 19950
  output: linux-rsyslog-1
output:CommLink:linux-rsyslog-1: {}

input:TCPBSDSyslogRFC6587:lmio:
  address: 127.0.0.1 19999
  output: lmio
output:CommLink:lmio: {}
```

Použijte model a nakonfigurujte kolektor pro přijímajícího nájemce na centrálním systému.

3. Deploy LogMan.io Integration Service on the satellite

Nasazujte lmio-integ na satelitu. Můžete spustit více instancí integ, včetně na stejném uzlu. Pojmenujte instanci konzistentně s přijímajícím nájemcem (například supersystem-1).

/Site/model.yaml
services:
  lmio-integ:
    instances:
      supersystem-1:
        node: <node-on-satellite-system>

Sběrač a integrační služba na stejném uzlu

Sběrač LMIO musí být nasazen na stejném uzlu jako instance služby LMIO Integration Service, protože pro připojení se používá adresa 127.0.0.1.

4. Nakonfigurujte surové přeposílání na linkách událostí satelitního systému

Pro každou systémovou událostní linku na satelitu přidejte integraci tcp_bsd_syslog_rfc6587, která odesílá události na odpovídající TCP port na přeposílajícím sběrači.

Vynechané dráhy událostí

Přeposílány jsou pouze protokoly z reálných zdrojů protokolů. V tomto návodu nejsou zahrnuty proudy událostí complex, activity a others.

Konfigurace integrace v událostních pruzích
/EventLanes/system/asab.yaml
integrations:
  - tcp_bsd_syslog_rfc6587:
      output_type: tcp
      address: 127.0.0.1 19900
/EventLanes/system/nginx.yaml
integrations:
  - tcp_bsd_syslog_rfc6587:
      output_type: tcp
      address: 127.0.0.1 19910
/EventLanes/system/zookeeper.yaml
integrations:
  - tcp_bsd_syslog_rfc6587:
      output_type: tcp
      address: 127.0.0.1 19911
/EventLanes/system/zoonavigator.yaml
integrations:
  - tcp_bsd_syslog_rfc6587:
      output_type: tcp
      address: 127.0.0.1 19912
/EventLanes/system/elasticsearch.yaml
integrations:
  - tcp_bsd_syslog_rfc6587:
      output_type: tcp
      address: 127.0.0.1 19920
/EventLanes/system/kibana.yaml
integrations:
  - tcp_bsd_syslog_rfc6587:
      output_type: tcp
      address: 127.0.0.1 19921
/EventLanes/system/kafka.yaml
integrations:
  - tcp_bsd_syslog_rfc6587:
      output_type: tcp
      address: 127.0.0.1 19922
/EventLanes/system/kafdrop.yaml
integrations:
  - tcp_bsd_syslog_rfc6587:
      output_type: tcp
      address: 127.0.0.1 19923
/EventLanes/system/mongo.yaml
integrations:
  - tcp_bsd_syslog_rfc6587:
      output_type: tcp
      address: 127.0.0.1 19924
/EventLanes/system/influxdb.yaml
integrations:
  - tcp_bsd_syslog_rfc6587:
      output_type: tcp
      address: 127.0.0.1 19930
/EventLanes/system/grafana.yaml
integrations:
  - tcp_bsd_syslog_rfc6587:
      output_type: tcp
      address: 127.0.0.1 19931
/EventLanes/system/telegraf.yaml
integrations:
  - tcp_bsd_syslog_rfc6587:
      output_type: tcp
      address: 127.0.0.1 19932
/EventLanes/system/linux-rsyslog-1.yaml
integrations:
  - tcp_bsd_syslog_rfc6587:
      output_type: tcp
      address: 127.0.0.1 19950
/EventLanes/system/lmio.yaml
integrations:
  - tcp_bsd_syslog_rfc6587:
      output_type: tcp
      address: 127.0.0.1 19999

Porty se musí shodovat

TCP port v každé integraci řady událostí musí odpovídat odpovídající adrese input:TCPBSDSyslogRFC6587 v konfiguraci kolektoru. Nesoulad portů způsobí, že bude tento tok tichounce vynechán při přeposílání.

5. Ověřte na satelitním sběrači

Zkontrolujte protokoly sběrače přesměrování. Měli byste vidět, jak se k nakonfigurovaným proudům připojují TCP klienti:

Example output of LogMan.io Collector logs
14-Aug-2026 10:17:03.372795 NOTICE lmiocollector.ipc [sd id="mongo" peer="127.0.0.1 36656" tls="False"] TCP stream listener client connected.
14-Aug-2026 10:17:03.372901 NOTICE lmiocollector.ipc [sd id="grafana" peer="127.0.0.1 44610" tls="False"] TCP stream listener client connected.
14-Aug-2026 10:17:03.373178 NOTICE lmiocollector.ipc [sd id="kibana" peer="127.0.0.1 54026" tls="False"] TCP stream listener client connected.
14-Aug-2026 10:17:03.373287 NOTICE lmiocollector.ipc [sd id="telegraf" peer="127.0.0.1 41028" tls="False"] TCP stream listener client connected.
14-Aug-2026 10:17:03.373384 NOTICE lmiocollector.ipc [sd id="influxdb" peer="127.0.0.1 46368" tls="False"] TCP stream listener client connected.
14-Aug-2026 10:17:03.373476 NOTICE lmiocollector.ipc [sd id="asab" peer="127.0.0.1 35994" tls="False"] TCP stream listener client connected.
14-Aug-2026 10:17:03.374457 NOTICE lmiocollector.ipc [sd id="kafdrop" peer="127.0.0.1 48392" tls="False"] TCP stream listener client connected.

6. Ověřte na centrálním systému

Na centrálním systému otevřete Archiv v přijímajícím nájemci (supersystem nebo název, který jste zvolili). Potvrďte, že přesměrované proudy přijímají data ze satelitu.