Profil datové linky

Profily datové linky definují životní cyklus dat pro datové linky. Profil specifikuje, jak dlouho jsou data uchovávána v Archive, Kafka a Elasticsearch v každé fázi a kdy jsou smazána.

Přiřazení profilu datové linky

Při vytváření nebo úpravě datové linky můžete přiřadit profil v souboru deklarace datové linky, který se nachází v Knihovně na /EventLanes/tenant/eventlane.yaml.

/EventLanes/tenant/eventlane.yaml

---
define:
  type: lmio/event-lane
  profile: /Profiles/EventLanes/Profile.yaml  # Přiřaďte profil zde

Ve výchozím nastavení, pokud není profil specifikován, je použit profil /Profiles/EventLanes/Default.yaml.

Definice profilu

Profily jsou definovány v Knihovně pod /Profiles/EventLanes/. Každý profil je YAML soubor, který specifikuje politiky životního cyklu pro Archive streamy, Kafka témata a Elasticsearch indexy spojené s datovými linkami.

Každou sekci lze přepsat v deklaraci datové linky, což umožňuje přizpůsobení politik životního cyklu na základě jednotlivých datových linek.

Následující sekce mohou být definovány v profilu:

• archive: Definuje politiky životního cyklu pro Archive streamy, včetně fází jako horká, teplá a studená, a akcí jako kopírovat, přesunout, komprimovat a smazat. Přečtěte si více o řízení životního cyklu Archive.
• kafka: Specifikuje nastavení uchovávání pro Kafka témata, včetně received a events.
• elasticsearch: Vystihuje politiky životního cyklu pro Elasticsearch indexy, včetně fází jako horká, teplá, studená a smazat, spolu s akcemi jako rollover, zmenšit, nastavit_prioritu a smazat. Přečtěte si více o řízení životního cyklu Elasticsearch.

Warning

Každá sekce musí být v profilu plně definována. Částečné definice nejsou podporovány. Například, pokud definujete sekci elasticsearch v profilu, musíte zahrnout všechny potřebné fáze a akce v této sekci.

/Profiles/EventLanes/Profile.yaml

---
define:
  type: lmio/event-lane-profile
  name: Default

archive:
  lifecycle:
    hot:
    - copy:
        phase: cold
    - move:
        age: 1d
        phase: warm
    warm:
    - delete:
        age: 3M
    cold:
    - compress:
        preset: 6
        threads: 4
        type: xz
    - delete:
        age: 18M

kafka:
  received:
    settings:
      retention: 1d
  events:
    settings:
      retention: 1d

elasticsearch:
  events:
    lifecycle:
      hot:
        min_age: 0ms
        actions:
          rollover:
            max_primary_shard_size: 16gb
            max_age: 14d
          set_priority:
            priority: 100
      warm:
        min_age: 3d
        actions:
          shrink:
            number_of_shards: 1
          set_priority:
            priority: 50
      cold:
        min_age: 14d
        actions:
          set_priority:
            priority: 0
      delete:
        min_age: 180d
        actions:
          delete:
            delete_searchable_snapshot: true