Perplexity 7. októbra otvorilo dvojicu embedding modelov pplx-embed-v2-late — 0.6B a 9B — pod licenciou MIT na Hugging Face. Nie je to ďalší chat model, ale stavebný kameň pre vyhľadávanie a RAG: modely, ktoré premieňajú text, obrázky aj vykreslené stránky PDF na vektory bez toho, aby ste predtým museli púšťať OCR alebo chunking pipeline.
Ako to funguje a čo je nové
Modely sú „late-interaction“ retrievery v štýle ColBERT, postavené na Qwen3.5 s obojsmernou atenciou. Namiesto jedného vektora na dokument produkujú jeden 128-dimenzionálny vektor na token a podobnosť počítajú operáciou MaxSim — preto si lepšie držia štruktúru tabuliek a layout stránky, ktoré bežná extrakcia textu rozbije.
Najpraktickejšia vlastnosť: obe veľkosti zdieľajú jeden embedding priestor. V praxi:
- Index celej dokumentovej bázy postavíte raz, offline, 9B modelom (cca 7,4 mld. aktívnych parametrov).
- Živé dotazy potom obsluhuje 0.6B model (~340M aktívnych parametrov) — na edge zariadení alebo lacnom serveri.
- Nemusíte držať dva vektorové storá pre „rýchly“ a „kvalitný“ režim.
Čísla — a ich limity
Všetky výsledky sú zatiaľ self-reported od Perplexity; technický report má vyjsť neskôr tento rok:
- MADQA (otázky nad 800 PDF): 92,4 % pre 9B — Perplexity uvádza, že odstup od najlepšieho konkurenta (Mixedbread Agentic Search, 93,4 %) spadá do intervalu spoľahlivosti.
- ViDoRe v3 (obrazová retrieval): 65,2 % — tu vedie Tencent EVIE, takže na čisto vizuálne dokumenty nie je Perplexity prvé.
- BrowseComp+ (agentový research): 64,0 %, o 4,9 bodu pred ďalším late-interaction modelom.
Na čo si dať pozor
- Index rastie s dĺžkou dokumentu. Vektor na token znamená výrazne väčšie úložisko než u dense modelov — pre miliónové korpusy to je reálna nákladová položka.
- Nemiešajte text a obrázky v jednom vstupe. Batch-e musia byť oddelené.
- 9B potrebuje cca 16–18 GB GPU VRAM (odhad MarkTechPost) — na indexáciu teda počítajte s GPU, nie CPU.
- Trénované na 46 jazykoch, ale zoznam nie je kompletný — pred reindexáciou produkčného korpusu otestujte na vlastných (aj slovenských) dokumentoch.
Ako začať
Váhy sú na Hugging Face (perplexity-ai/pplx-embed-v2-late-0.6b a -9b) a načítate ich cez sentence-transformers >= 6.0.0 pomocou MultiVectorEncoder, bez vlastného kódu. Hostované API od Perplexity je oznámené, ale zatiaľ bez dátumu a ceny — dnes teda jediná cesta vedie cez self-hosting, čo licencia MIT výslovne pripúšťa aj komerčne.
Pre koho to má zmysel
Ak riešite vyhľadávanie v naskenovaných zmluvách, reportoch či manuáloch, kde OCR mrzačí tabuľky, alebo potrebujete on-premise retrieval z legislatívnych dôvodov, pplx-embed-v2-late patrí na shortlist. Ak vám stačí plain-text search na čistom texte, prechod sa neoplatí. V oboch prípadoch si výsledky overte na vlastných dátach — self-reported benchmarky sú orientačné, nie záväzné.
