Přeskočit obsah

Migrace dispečera na vkladatele

Varování

Tato sekce je relevantní pro neautomatizované instalace TeskaLabs LogMan.io, které fungují s LogMan.io Dispatcher.

Migrace z LogMan.io Dispatcher na LogMan.io Depositor musí být provedena po jedné událostní linii najednou podle níže uvedených kroků.

Varování

Než začnete s migrací, musíte dodržet Požadavky a ujistit se, že správně nakonfigurujete role uzlů pro uzly Elasticsearch v clusteru.

Kroky migrace

Vyberte jednu událostní dráhu k migraci a řiďte se tímto průvodcem:

  1. V Kibana přejděte na Správa > Správa stacku, poté Správa indexů. Klikněte na Šablony indexů a najděte šablonu indexu spojenou s migrovaným event lane. Obvykle je název ve formátu lmio-tenant-events-eventlane-template. Ve sloupci Akce (tři tečky) napravo klikněte na Klonovat.

  2. V Klonovat změňte Název na backup-lmio-tenant-events-eventlane-template a nastavte Prioritu na 0.

  3. Přejděte na Zkontrolovat šablonu a klikněte na Vytvořit šablonu.

  4. Zkontrolujte, že šablona backup-lmio-tenant-events-eventlane-template existuje na kartě Index Template.

  5. Odstraňte původní lmio-tenant-events-eventlane-template a ponechte pouze zálohu, kterou jste právě vytvořili.

  6. Přejděte do uživatelského rozhraní LogMan.io, do sekce Knihovna a do složky /EventLanes

  7. Pokud soubor událostní dráhy ještě neexistuje, vytvořte nový soubor událostní dráhy s názvem fortigate.yaml (nahraďte „fortigate“ názvem vaší událostní dráhy) ve složce /EventLanes/tenant (nahraďte „tenant“ názvem vašeho tenant). Pokud složka /EventLanes/tenant ještě neexistuje, je potřeba ji vytvořit v ZooKeeper UI.

  8. Vytvořte sekce kafka a elasticsearch pro daný event lane s oběma sekcemi events a others uvedenými (viz Event Lane). Výchozí schéma pro mapování polí je /Schemas/ECS.yaml, pokud není v event lane specifikováno jinak.

  9. Pokud není nasazeno, nasadit LogMan.io Depositor s určenými sekcemi kafka, elasticsearch, zookeeper a library (viz Konfigurace).

  10. Zkontrolujte logy depositoru LogMan.io na varování. Zkontrolujte prosím jak Docker logy, tak souborové logy (pokud jsou souborové logy nakonfigurovány). Docker logy lze získat pomocí následujícího příkazu:

docker logs -f -n 1000 <lmio-depositor>

Nahraďte <lmio-depositor> názvem Docker kontejneru LogMan.io Depositor ve vašem nasazení.

  1. V Kibana přejděte na Management > Stack Management, poté na Index Management a zkontrolujte, že nové šablony indexů lmio-tenant-events-eventlane-template a lmio-tenant-others-template byly vytvořeny uživatelem Depositor. Klikněte na šablonu indexu a zkontrolujte její nastavení a mapování. Výchozí nastavení zahrnují 1 shard a 1 repliku (viz Event Lane).

  2. V Kibana přejděte na Správa > Správa stacku a poté na Politiky životního cyklu indexu a zkontrolujte, zda byly vytvořeny lmio-tenant-events-eventlane-ilm a lmio-tenant-others-ilm. Klikněte na jejich název a zkontrolujte nastavení fází hot, warm, cold a delete.

  3. Pokud LogMan.io pro tento účel není již nasazen nebo nakonfigurován, nasajte nebo nakonfigurujte Parsec tak, aby odesílal data do tématu událostí Kafka specifikovaného v deklaraci událostní linky (zde: fortigate.yaml). Viz sekce Konfigurace Parsec.

  4. V Kibana přejděte na Správa > Nástroje pro vývojáře a spusťte přechod indexu, přičemž tenant a eventlane nahraďte názvem vašeho nájemce a vaší událostní dráhy:

POST /lmio-tenant-eventlane/_rollover

  1. Zkontrolujte, že nový index uvedený v odpovědi v poli na pravé straně obrazovky byl vytvořen. Přejděte do Správa > Správa zásobníku, poté Správa indexů, na kartu Indexy a najděte index lmio-tenant-events-eventlane-0000x.

  2. Klikněte na lmio-tenant-events-eventlane-0000x, zkontrolujte, že je připojen k správné politice životního cyklu, která by měla být lmio-tenant-events-eventlane-ilm, a také zkontrolujte, že aktuální fáze je hot. Poté klikněte na Nastavení a Mapování a zkontrolujte počet shardů (výchozí je 1) a mapování polí, které je načteno ze schématu. Výchozí schéma je /Schemas/ECS.yaml, pokud není v event lane specifikováno jinak.

  3. V Kibana přejděte na Analýza > Objevovat a zkontrolujte, zda data přicházejí do zadaného kanálu událostí.

  4. V uživatelském rozhraní LogMan.io přejděte na Discover a zkontrolujte, že data přicházejí do dané událostní linie.

  5. Opakujte kroky 1 až 18 pro všechny zbývající událostní dráhy (jejich indexy událostí). Teprve potom můžete dokončit migraci tím, že provedete stejný postup pro indexy others.

Nápověda

V následujících dnech periodicky kontrolujte, zda jsou všechny indexy připojeny k životnímu cyklu politiky (krok 16). Také se ujistěte, že indexy ve fázi hot jsou přiřazeny k hot uzlům Elasticsearch, což lze vidět v Kibana v Správa > Monitorování stacku > Indexy.

Poznámka

Až budete moci potvrdit, že vše funguje správně po týdnu, můžete smazat původní šablonu indexu zálohy backup-lmio-tenant-events-eventlane-template.