Automatizace s AI na MacBooku: Lokální systém pro zpracování faktur

Mám myšlenku… Je možné vytvořit systém s umělou inteligencí, který poběží pouze na mém laptopu a provede užitečné úkoly? To by byla ideální varianta. Moje data by při zpracování necestovala po internetu. Přesto běžný MacBook Pro nemůže nabídnout stejný výkon jako dedikované servery. Byl jsem zvědavý, jak to dopadne.

Výzva: Lokální AI model pro zpracování faktur

Rozhodl jsem se pro vybudování AI agentního systému. Tento systém by automaticky čte příchozí e-maily. Když se v nich objeví faktura od dodavatele, zkontroluje všechny náležitosti. Ověří v databázi objednávku, fakturu zaregistruje a nakonec odpoví. To vše řízeno lokálním LLM modelem.

Tento automatický systém měl běžet na mém MacBooku Pro M1 s 16GB RAM. Netušil jsem, co očekávat od čtyři roky starého procesoru. Bylo to pro mě překvapení.

Architektura: Tým AI agentů

Jeden velký dotaz by nefungoval. Rozdělil jsem úkol mezi agenty našeho nového AI týmu. Výsledkem byl malý tým, který efektivně fungoval jako kancelář:

• Týmový koordinátor: vedoucí týmu, který deleguje úkoly

• Email detektiv: rozhodne, zda je příchozí e-mail faktura, a najde důležité informace

• Validátor objednávky: ověří dodavatele a zkontroluje číslo objednávky

• Registrátor faktury: registruje fakturu do databáze

• Odpovídač e-mailů: odepíše emailem odesílateli

  
  

Jak systém funguje?

Vytvořil jsem svůj vlastní Coretex knihovnu. Tato knihovna programátorům umožňuje jednoduše definovat agenty, jejich vazby a nástroje. Pro lokální spuštění modelů jsem použil LM Studio s modelem Gemma-3-12B od Googlu. Tento model má 12 miliard parametrů, což je ideální pro volání funkcí.

Díky Open AI kompatibilnímu API mohla aplikace snadno přepínat mezi cloudovými a lokálními modely. Všechna komunikace tak zůstala na mém počítači.

Jaké byly výsledky testování?

Rychlost a výkon

• Průměrný čas zpracování jedné faktury: 7 minut

• Použití paměti: až 16GB během zpracování

• Přesnost: 95% v mých testech

• Náklady: 0 $ za fakturu (po úvodním nastavení)

• Realistická propustnost: 8–10 faktur za hodinu

  
  

Testování odolnosti

Otestoval jsem systém různými scénáři:

• Emaily bez faktury

• Faktury se špatným číslem objednávky

• Emaily v jiném jazyce

• Zprávy, které se netýkaly faktur

  
  

V každém případě systém správně identifikoval typ obsahu a odpověděl přiměřeně.

Výhody lokálního řešení

Soukromí dat

Největší výhodou je, že žádná data neopustí laptop. Detaily faktury, informace o firmě a finanční data zůstávají lokálně. U cloudových služeb je to nemožné a potenciálně problematické.

Nulové provozní náklady

Jakmile je systém nastaven, náklady na zpracování faktur klesají na nulu. Žádné poplatky za API volání ani měsíční předplatné.

Omezení a realita

Tento systém není vhodný pro velké firmy s tisíci fakturami denně. Pro takové scénáře je potřeba jiný přístup - více paměti, lepší hardware nebo hybridní řešení. Ale pro malé a střední firmy s desítkami faktur denně představuje použitelnou alternativu.

Zkušenosti s vývojem

Vývoj s Coretex knihovnou spočívá v deklaraci jednotlivých agentů. Nejvíce času mi zabralo rozdělení agentů tak, aby každý plnil svůj specifický úkol. To, co stačí GPT popsat přibližně, je pro menší modely třeba vysvětlit přesně a s příklady.

Budoucí možnosti využití

Podobný systém lze uplatnit i na další úkoly:

• Péče o zákazníky

• Zpracování dokumentace

• Vytváření reportů

• Správa obsahu na sociálních sítích

  
  

Poslední generace modelů dokáže efektivně běžet na běžném konzumním hardware a implementovat řešení, která ještě před dvěma lety nebyla možná bez dedikovaného týmu inženýrů.

Závěr

Dokázal jsem, že AI může efektivně fungovat na mém laptopu. Přestože to bylo pomalejší než cloudová řešení a úkoly bylo nutné rozdělit, dosáhl jsem funkčního výsledku. Před dvěma lety bych si myslel, že tato úloha na mém MacBooku nemůže fungovat. Dnes jsem ji úspěšně spustil. Jaké jsou možnosti příští rok?

FAQ

Jaký hardware potřebuji pro lokální AI?

Minimálně 16GB RAM a moderní procesor (M1/M2 nebo ekvivalent). Více paměti znamená lepší výkon.

Jak dlouho trvá zpracování jedné faktury?

Na MacBook Pro M1 s modelem Gemma-3-12B to trvá přibližně 7 minut. Na novějším hardware by to bylo rychlejší.

Je systém spolehlivý?

V testech dosáhl 95% přesnosti. Pro produkční použití doporučuji důkladné testování na vlastních datech.

Kolik to stojí?

Po úvodním nastavení jsou náklady nulové. Žádné poplatky za API nebo předplatné.

Lze použít jiné modely?

Ano, systém podporuje různé lokální modely přes LM Studio nebo podobné nástroje.