Průvodce světem lokálních LLM

Vaše osobní umělá inteligence, bezpečně a offline na vašem počítači.

100%

Soukromí a Bezpečnost

Vaše data nikdy neopustí váš počítač. Žádné odesílání třetím stranám.

Offline Dostupnost

Funguje kdykoliv a kdekoliv, i bez připojení k internetu.

0 Kč

Žádné Poplatky

Většina open-source modelů je zdarma. Platíte jen za hardware.

Jak začít? Cesta k vaší lokální AI

1

Zkontrolujte Hardware

Ujistěte se, že máte dostatek RAM a výkonnou grafickou kartu (GPU).

2

Vyberte si nástroj

Nainstalujte aplikaci jako LM Studio nebo Ollama pro snadnou správu.

3

Stáhněte model

Vyberte si LLM model (např. Llama 3) a stáhněte ho přes vybraný nástroj.

Začněte chatovat!

Spusťte model a komunikujte s vaší vlastní umělou inteligencí.

Hlavní hráči: Přehled textových modelů

Toto jsou nejpopulárnější a nejvýkonnější open-source modely, které si můžete stáhnout. Všechny jsou zdarma pro osobní a výzkumné použití a nabízejí dobrou až vynikající podporu češtiny.

Llama 3 (Meta)

Klíčové vlastnosti: Špičkový výkon, skvělá v logickém uvažování a kódování.

Velikosti: 8B, 70B (B = miliardy parametrů). Menší 8B běží na běžném herním PC.

Podpora CZ: Vynikající.

Oficiální stránka

Mistral (Mistral AI)

Klíčové vlastnosti: Mimořádně efektivní – nabízí vysoký výkon při menší velikosti.

Velikosti: 7B, a Mixtral 8x7B. Model 7B je ideální pro začátečníky.

Podpora CZ: Velmi dobrá.

Oficiální stránka

Phi-3 (Microsoft)

Klíčové vlastnosti: Malé, ale překvapivě schopné modely (SLM), ideální pro slabší hardware.

Velikosti: Mini 3.8B, Small 7B. Mini může běžet i na výkonnějších telefonech.

Podpora CZ: Dobrá.

Oficiální stránka

Srovnání výkonu modelů

Graf ukazuje zobecněné skóre výkonu nejpopulárnějších velikostí modelů. Vyšší hodnota znamená lepší schopnosti v logice, jazyce a znalostech.

Nejen text: Multimodální modely

Umělá inteligence na doma neznamená jen text. Můžete generovat obrázky, přepisovat mluvené slovo na text nebo nechat AI analyzovat obsah obrázků.

🖼️ Generování obrázků: Stable Diffusion

Vytvářejte úžasné obrázky z textových popisů. Vyžaduje výkonnou GPU. Populární rozhraní pro spuštění jsou Automatic1111 nebo ComfyUI.

🎤 Přepis řeči: Whisper

Špičkový model od OpenAI pro převod mluveného slova na text. Má vynikající podporu pro češtinu a lze jej spustit lokálně.

👁️ Porozumění obrázkům: LLaVA

Nahrajte obrázek a ptejte se modelu na jeho obsah. Kombinuje LLM (např. Llama) s modelem pro počítačové vidění.

Nástroje pro každého: Jak modely spustit?

Nemusíte být programátor, abyste si mohli spustit vlastní AI. Tyto aplikace nabízejí grafické rozhraní, které celý proces zjednodušuje na pár kliknutí. Podporují Windows, macOS i Linux.

LM Studio

Velmi populární volba. Nabízí vestavěný katalog pro stahování modelů, chatovací rozhraní a pokročilá nastavení pro využití hardwaru.

Stáhnout

Ollama

Extrémně jednoduchý nástroj, primárně pro příkazovou řádku, ale existují i komunitní grafická rozhraní. Ideální pro rychlé spuštění a testování.

Stáhnout

Jan

Open-source alternativa k LM Studiu s důrazem na soukromí a plnou offline funkčnost. Aktivně se vyvíjí a přidává nové funkce.

Stáhnout

Klíčové faktory a pojmy

Hardware: Na čem záleží?

  • GPU (Grafická karta): Nejdůležitější komponenta. Čím více VRAM (videopaměti), tím větší a rychlejší modely můžete spustit. Doporučuje se NVIDIA s 8 GB+ VRAM.
  • RAM (Operační paměť): Minimum je 16 GB pro malé modely. Pro větší modely nebo pokud nemáte silnou GPU je doporučeno 32 GB a více.
  • Úložiště: Rychlý SSD disk. Modely mohou zabírat od 4 GB do více než 100 GB.

Velikost vs. Výkon (Kvantizace)

Velké modely jsou chytřejší, ale pomalejší a náročnější na hardware. Kvantizace je technika, která model zmenší (např. o 75 %), aby se vešel do menší VRAM, za cenu mírného snížení přesnosti. Hledejte modely ve formátu GGUF, který je pro tento účel ideální.

Podpora češtiny

Díky tréninku na obrovském množství dat z internetu je podpora češtiny u moderních modelů jako Llama 3 a Mistral na velmi vysoké úrovni. Rozumí kontextu, gramatice i českému slangu.

Bezpečnost a důvěryhodnost

Protože modely běží lokálně, nehrozí únik vašich dat. Riziko spočívá ve stažení škodlivého souboru. Proto je klíčové:

  • Stahovat modely jen z ověřených zdrojů (např. portál Hugging Face).
  • Používat známé a prověřené spouštěcí aplikace (LM Studio, Ollama, Jan).
  • Preferovat modely od velkých, známých laboratoří (Meta, Mistral, Microsoft, Google), které jsou lépe prověřené.