Problém: model nepozná vašu firmu
Jazykové modely vedia veľa o svete, ale nič o vašich interných dokumentoch. Keď sa opýtate na firemný cenník, model si odpoveď vymyslí — sebavedomo a nesprávne.
Riešenie: RAG
RAG (Retrieval-Augmented Generation) funguje v dvoch krokoch:
- Vyhľadanie — k vašej otázke systém nájde relevantné pasáže vo vašich dokumentoch.
- Generovanie — model dostane otázku spolu s nájdenými pasážami a odpovedá len z nich, ideálne s citáciou zdroja.
Model teda neodpovedá „z hlavy", ale z dokumentov, ktoré ste mu dali.
Čo potrebujete na začiatok
- Upratané dokumenty — aktuálne, bez duplicít, v čitateľnom formáte (text, nie naskenované obrázky).
- Nástroj s podporou RAG — dnes ju ponúkajú komerčné asistenti aj open-source riešenia; výber závisí od citlivosti dát.
- Jednu konkrétnu úlohu na pilot — napríklad „odpovede na časté otázky zákazníkov z internej databázy".
Kde sa robia chyby
- Špatné vstupy, špatné výstupy. Ak sú dokumenty zastarané alebo rozporné, RAG to nevyrieši — iba to rýchlejšie servíruje.
- Príliš veľké bloky textu. Dokumenty sa krájajú na úseky; príliš dlhé úseky zahustia vyhľadávanie, príliš krátke stratia kontext.
- Žiadna kontrola kvality. Merajte podiel správnych odpovedí na testovacej sade otázok, inak neviete, či sa systém zlepšuje.
Bezpečnosť
Interné dokumenty do RAG patria len v nástroji, kde máte pod kontrolou, kde sa dáta spracúvajú a či sa nepoužívajú na tréning. Pri citlivých dátach zvážte riešenia s nasadením vo vašej infraštruktúre.
RAG nie je raketová veda — je to disciplína v úprave dokumentov a v testovaní. Firmy, ktoré začnú malým pilotom, majú fungujúce riešenie za týždne, nie roky.
