Inference¶
Inference je vrstva jazykového modelu LogMan.io AI SIEM. Odpovídá na prompty, streamuje reasoning a text a navrhuje tool calls. Nespouští shell příkazy, nevolá LogMan.io API ani nesahá na souborové systémy zákazníka — to je úkol harnessu a on-prem sandboxu.
Jak je inference poskytována¶
Nasazení volí, kde modely běží. Doporučené pořadí:
1. TeskaLabs AI cluster (výchozí)¶
TeskaLabs provozuje vzdálený AI cluster. On-prem harness se k němu připojí přes routing, posílá kontext konverzace a přijímá streamovaný výstup modelu.
Hlavní nabídka:
- Pro běžné použití neprovozujete GPU ani model servery on-site
- Modely a routing zůstávají pod provozem TeskaLabs
- Harness, sandboxy, Knihovna a data LogMan.io zůstávají u zákazníka
2. On-premise inference server¶
Pro zákazníky, kteří potřebují modely ve vlastní síti, TeskaLabs pomůže s on-premise inference serverem, ke kterému harness mluví stejným způsobem.
Řídicí rovina a agent runtime zůstávají llm-microlink on-site; mění se jen místo běhu GPU/model procesu.
3. Vlastní inference¶
Jako poslední možnost může harness použít zákaznické OpenAI-kompatibilní (nebo podobné) endpointy — např. vLLM, TensorRT-LLM nebo cloud API, které už provozujete.
Použijte, když politika nebo architektura zakazuje inference hostovanou nebo sestavenou TeskaLabs. Pak nesete odpovědnost za kvalitu modelu, kapacitu, dostupnost a kompatibilitu API.
Co inference dělá¶
| Inference dělá | Inference nedělá |
|---|---|
| Porozumět cíli uživatele a kontextu konverzace | Spouštět shell nebo kód |
| Streamovat text asistenta a (když je k dispozici) reasoning | Číst nebo zapisovat filesystem sandboxu |
| Rozhodnout, které nástroje nebo skills použít dál | Volat LogMan.io REST API nebo externí hosty |
| Psát dotazy, pravidla, reporty a vysvětlení | Vynucovat vetting nebo schválení člověkem |
| Hodnotit průběh k cíli (když harness požádá) | Persistovat konverzace, shares nebo audit |
Model jen navrhuje. Harness provádí, zaznamenává a brání.
Modely v UI¶
Po startu konverzace UI ukáže modely z nakonfigurovaných providerů. Model volíte pro každou konverzaci zvlášť. Harness pak:
- Streamuje tokeny do časové osy konverzace
- Převádí function calls modelu na spuštění nástrojů harnessu
- Může ukázat přibližné využití tokenů, když to provider poskytne
- Může držet wire-level traces pro evaluaci a podporu
Poznámka k návrhu¶
Inference je vyměnitelná; harness je produktový diferenciátor. Stejné skills, sandbox, obsah Knihovny a human-in-the-loop fungují, ať model běží v TeskaLabs AI clusteru, na on-prem inference serveru nebo na vlastním endpointu.