Migrace Dispatcher na Depositor
Migrace z LogMan.io Dispatcher na LogMan.io Depositor musí být provedena po jedné event lane podle níže uvedených kroků.
Warning
Než začnete s migrací, musíte dodržet Požadavky, a ujistit se, že máte správně nakonfigurované role uzlů pro Elasticsearch uzly v clusteru.
Kroky migrace
Vyberte jednu event lane k migraci a postupujte podle tohoto průvodce:
1. V Kibana, přejděte na Management > Stack Management, poté Index Management. Klikněte na Index Templates a najděte šablonu indexu spojenou s migrovaným event lane. Obvykle je název ve formátu lmio-tenant-events-eventlane-template. Ve sloupci Akce (tři tečky) vpravo klikněte na Clone.
2. Ve Clone, změňte Název na backup-lmio-tenant-events-eventlane-template a nastavte Prioritu na 0.
3. Přejděte na Review template a klikněte na Create template.
4. Zkontrolujte, zda šablona backup-lmio-tenant-events-eventlane-template existuje na kartě Index Template.
5. Odstraňte původní šablonu lmio-tenant-events-eventlane-template a ponechte pouze záložní šablonu, kterou jste právě vytvořili.
6. Přejděte na LogMan.io UI do sekce Library a do složky /EventLanes
7. Pokud soubor event lane neexistuje, vytvořte nový soubor event lane s názvem fortigate.yaml (nahraďte "fortigate" názvem vaší event lane) ve složce /EventLanes/tenant (nahraďte "tenant" názvem vašeho tenanta). Pokud složka /EventLanes/tenant neexistuje, musíte ji vytvořit v ZooKeeper UI.
8. Vytvořte sekce kafka a elasticsearch pro daný event lane se specifikovanými sekcemi events a others (viz Event Lane). Výchozí schéma pro mapování polí je /Schemas/ECS.yaml, pokud není ve event lane specifikováno jinak.
9. Pokud není nasazen, nasadte LogMan.io Depositor s uvedenými sekcemi kafka, elasticsearch, zookeeper a library (viz Konfigurace).
10. Zkontrolujte logy LogMan.io Depositor pro varování. Prosím zkontrolujte jak Docker logy, tak logy souborů (pokud jsou logy souborů nakonfigurovány). Docker logy lze přistupit pomocí následujícího příkazu:
docker logs -f -n 1000 <lmio-depositor>
Nahraďte <lmio-depositor> názvem Docker kontejneru LogMan.io Depositor ve vašem nasazení.
11. V Kibana, přejděte na Management > Stack Management, poté Index Management, a zkontrolujte, zda nové šablony indexu lmio-tenant-events-eventlane-template a lmio-tenant-others-template byly vytvořeny Depositor. Klikněte na šablonu indexu a zkontrolujte její nastavení a mapování. Výchozí nastavení zahrnuje 6 shardů a 1 repliku (viz Event Lane).
12. V Kibana, přejděte na Management > Stack Management, poté Index Lifecycle Policies a zkontrolujte, zda byly vytvořeny lmio-tenant-events-eventlane-ilm a lmio-tenant-others-ilm. Klikněte na jejich název a zkontrolujte nastavení fází hot, warm, cold a delete.
13. Pokud LogMan.io není nasazen nebo konfigurován pro tento účel, nasadte nebo nakonfigurujte Parsec, aby odesílal data do Kafka event topic specifikovaného v deklaraci event lane (zde: fortigate.yaml). Prosím viz sekci Konfigurace Parsec.
14. V Kibana, přejděte na Management > Dev Tools a spusťte rollover indexu, nahrazující tenant a eventlane názvem vašeho tenanta a vaší event lane:
POST /lmio-tenant-eventlane/_rollover
15. Zkontrolujte, zda byl v reakci vytvořen nový index ve schránce na pravé straně obrazovky. Přejděte na Management > Stack Management, poté Index Management, na kartu Indices a najděte index lmio-tenant-events-eventlane-0000x.
16. Klikněte na lmio-tenant-events-eventlane-0000x, zkontrolujte, zda je připojen k správné lifecycle policy, což by mělo být lmio-tenant-events-eventlane-ilm, a také zkontrolujte, zda je Current phase hot. Poté klikněte na Settings a Mappings a zkontrolujte počet shardů (výchozí je 6) a mapování polí, které je načteno ze schématu. Výchozí schéma je /Schemas/ECS.yaml, pokud není v event lane specifikováno jinak.
17. V Kibana, přejděte na Analysis > Discover a zkontrolujte, zda data přicházejí do dané event lane.
18. V LogMan.io UI, přejděte na Průzkumník a zkontrolujte, zda data přicházejí do dané event lane.
19. Opakujte kroky 1 až 18 pro všechny zbývající event lane (jejich indexy událostí). Teprve poté můžete dokončit migraci tím, že stejný postup provedete pro indexy others.
Hint
V následujících dnech pravidelně kontrolujte, zda jsou všechny indexy připojeny k lifecycle policy (krok 16). Také se ujistěte, že indexy ve fázi hot jsou přiřazeny k Elasticsearch uzlům typu hot, což lze vidět v Kibana v Management > Stack Monitoring > Indices.
Note
Když můžete potvrdit, že vše funguje správně po týdnu, můžete odstranit původní záložní šablonu indexu backup-lmio-tenant-events-eventlane-template.