Lokální agenti: rozpočet, optimalizace a na co si dát pozor
Sunday 8 November 2026, 12:30–13:15 Live
Room D105
Track: Open society, communities and data
Language: Czech 🇨🇿
Rate this talkZdá se to snadné, stáhnete model, nastartujete llama.cpp, do nastavení agenta zadáme novou adresu a můžeme pracovat. Na internetu je plno tutoriálů, a YouTube plný oslavných videí. Nicméně, oproti provozu lokálních chatbotů, práce s lokálními agenty zahrnuje celou řadu úskalí která nejsou vždy na první pohled patrná.
Probereme:
- Na co dávat pozor při volbě modelu
- Které parametry jsou nejdůležitější při volbě HW
- Kdy se nám provoz vyplatí a kdy je lepší platit za tokeny
- Jak nastavit vlastní očekávání
Jiri Podivin
I have been interested in AI for a long time, including language model applications.
I have been working as an engineer at Red Hat for the last 5 years, and most recently on the Log Detective project.
In my free time, I enjoy museums, obscure literature and strategy games.