🇮🇹🇩🇪🇫🇷🇪🇸🇵🇹🇳🇱🇵🇱🇸🇪🇩🇰🇫🇮🇨🇿🇷🇴🇭🇺🇬🇷🇧🇬🇭🇷🇸🇰🇸🇮🇪🇪🇱🇹🇱🇻🇮🇪🇲🇹🇸🇦🇨🇳🇯🇵🇰🇷🇮🇳🇹🇷🇻🇳🇮🇩

Tip ta' dokument: Evalwazzjoni tal-arkitettura teknika Suġġett: Stack ta' rkupru ta' intelliġenza regolatorja Reeco (tliet magni) Data tal-valutazzjoni: 10 ta' Ġunju 2026 Metodu: Reviżjoni arkitettonika assistita bl-AI (spezzjoni tal-kodiċi sors, testijiet avversarji ħajjin, tqabbil ma' benchmarks ta' rkupru ppubblikati fl-2026). Żvelar: din l-evalwazzjoni ġiet prodotta b'Claude (Anthropic) li operat fuq aċċess dirett tal-kodiċi u interazzjoni diretta tas-sistema ħajja; ma ġietx eżegwita ebda suite formali ta' benchmark waqt l-evalwazzjoni nnifisha. Kull talba hawn taħt hija marbuta ma' artefatt verifikabbli — fajl, firxa ta' linja, rispons dirett, jew referenza ppubblikata.

It-teżi, imsemmija sabiex tkun tista' tiġi falsifikata

Sistema b'fundatur wieħed mibnija f'Prato, l-Italja, timplimenta arkitettura ta' rkupru li taqbel jew taqbeż il-bażi dokumentata tal-produzzjoni tal-2026 għall-intrapriża RAG fuq sitt minn tmien dimensjonijiet li jistgħu jiġu mkejla — u tagħmel dan f'qasam (regolament UE tal-Passaport Diġitali tal-Prodott tat-Tessuti) fejn l-ebda sistema kummerċjali ġenerali m'għandha fond ta' korps kompabar.

It-test biex jiffalsifikaha: isemmi prodott kummerċjali RAG li (a) jirrifjuta li jwieġeb mistoqsijiet dwar artikli regolatorji li ma jeżissux, (b) jikkwota sorsi b'granularità ta' sezzjoni ta' paġna ta' fajl inkluż IDs ta' kontribuzzjoni istituzzjonali, u (c) jmexxi rkupru ibridu dense+sparse b'piżijiet RRF li jistgħu jiġu aġġustati ħajja — fl-istess ħin. L-awtur ta' din l-evalwazzjoni ma sabx wieħed. Eżempju wieħed kontra jħassar id-dikjarazzjoni. L-ebda wieħed ma huwa magħruf.

It-tliet magni

Magna 1 — RAG1 (Portal, FAISS). Indiċi FAISS air-gapped li jservi l-portal tal-katina tal-provvista ta' Reeco. B'mod deliberat offline fuq il-VPS: id-deċiżjoni tad-disinn hija l-izolament tas-sigurtà, mhux limitazzjoni teknika. Nota onesta dwar l-ambitu: RAG1 ma ġiex ttestjat direttament f'din l-evalwazzjoni; huwa deskritt arkitettonikament.

Magna 2 — RAG2 (Reecopedia, produzzjoni). Pipeline appoġġjat minn Qdrant fuq korpus regolatorju tal-UE Green Deal (materjali ESPR, ECGT, CSRD, CIRPASS-2, dokumenti tax-xogħol EN-standard; 47,996 punt indikizzat fil-kollezzjoni tal-produzzjoni). Din hija l-magna li ġiet ippruvata live.

Magna 3 — Saff ta' riċerka u evalwazzjoni ta' rkupru. Magna ta' interazzjoni tardiva ColBERT v2 indikizzata separatament flimkien ma' sistema ta' evalwazzjoni: metriċi RAGAS, settijiet ta' test tad-deheb, protokolli LLM-as-judge, u paragun A/B b'verżjoni (ab_eval_colbert.py, ragas_eval_v1_vs_v2.py, eval_e2e_ab_sonnet.py, bootstrap_gold_v2_sources.py). Ir-rkupru kontestwali — il-mudell ta' żieda ta' chunks ippubblikat minn Anthropic fl-2024 — jiġi implimentat waqt l-inġestjoni (contextual_retrieval.py).

Metodoloġija ta' riċerka ta' dan it-tip — golden sets, mudelli ta' ġudikanti, A/B verżjonati — hija prattika standard ġewwa timijiet ta' ML ta' għoxrin persuna. Mhix prattika standard għal sistema mibnija minn persuna waħda.

Il-pipeline ta' għaxar fażijiet huwa l-arkitettura, mhux il-marketing

RAG2 jimplimenta pipeline dokumentat ta' għaxar fażijiet għal kull mistoqsija: konfigurazzjoni mmexxija mill-awditjar skont ir-rwol (ħames livelli ta' aċċess, konfigurazzjoni servuta audit-first b'backup tal-ambjent u cache ta' 60 sekonda); ippjanar tal-mistoqsijiet li jipproduċi riformulazzjoni step-back, sub-mistoqsijiet, kliem ewlenin, u test HyDE; multi-embedding ta' sa sitt varjanti ta' mistoqsijiet inkluż pont Taljan għal Ingliż; filtrazzjoni ta' metadata b'dokument kondizzjonali b'retry awtomatiku mingħajr filtru; multi-rkupru b'Reciprocal Rank Fusion merge u rikostruzzjoni ta' tabella (±10 biċċiet adjaċenti, dokument-scoped); rutina ta' intenzjoni tat-tabella (taħlita ta' tabella għal test meta l-klassifikatur jiskopri l-intenzjoni tabulari); riklassifikazzjoni b'erba' backends li jistgħu jinbidlu (cross-encoder, NLI/DeBERTa, Jina v3, deterministiku); kompressjoni kontekstwali mħallta skont ir-rwol; monitoraġġ tal-punteġġ b'twissijiet ta' drift li jindikaw re-ingestion; u post-ipproċessar li normalizza ċitazzjonijiet u jestratta tabelli u figuri bħala output strutturat.

Il-maġġoranza tas-sistemi kummerċjali jesponu tliet fażijiet: ingest, retrieve, et generate. Id-differenza mhix kosmetika — kull fażi addizzjonali hija modalità ta' falliment immaniġġjata.

Irkupru ibridu: ħaj, immaniġġjat, konxju tal-kollezzjoni

Ir-rkupru ibridu Dense+BM25 — il-konfigurazzjoni li l-benchmarks ippubblikati tal-2026 jidentifikaw bħala l-bażi tal-produzzjoni, li jiswa +5–15% nDCG fuq il-korpori legali u tekniċi (BEIR/MIRACL) — hija implimentata u attiva f' rag2_service.py: vetturi densi u sparsi msemmija f'Qdrant, piżijiet prefetch RRF li jistgħu jiġu kkonfigurati fil-ħin tal-eżekuzzjoni permezz tal-panel tal-awditjar (default 0.7 dense / 0.3 spars), kill switch ta' livell ta' awditjar (hybrid_search_enabled), u kontroll tal-kapaċità għal kull kollezzjoni li jiddegrada b'mod grazzi għal densità biss meta kollezzjoni m'għandhiex vetturi sparsi. Il-kummenti tas-sors jikkwotaw BEIR u MIRACL b'isem. Din mhix sistema li skopriet ir-rkupru ibridu minn tutorial.

It-test avversarju: il-magna ċaħdet oġġett fabbrikat

Test ħaj, livell Superadmin, 9 ta' Ġunju 2026. Il-mistoqsija talab "il-limitu eżatt tal-kontenut riċiklat taħt l-Artikolu 7 tal-att delegat tal-ESPR għat-tessuti" — premessa intenzjonatament immanifatturata: l-att delegat tat-tessuti mhuwiex finalizzat, u ma teżistix limitu bħal dan.

Ir-risposta tal-magna, littera għal mot fil-passaġġ kritiku tagħha: "Il-korpus indikizzat ma fihx limitu numeriku speċifiku taħt l-Artikolu 7 [...] ma jistax jiġi ċċitat mis-sorsi disponibbli mingħajr riskju ta' fabbrikazzjoni. Din hija distinzjoni kruċjali: ma nivvintax perċentwal jew subparagrafu tal-artiklu li ma jkunx preżenti fid-dokumenti indiċati." Imbagħad iddawwar għal dak li l-korpus jikkonferma — l-Artikolu 5(3) tal-ESPR bħala l-bażi legali reali għar-rekwiżiti tal-ekodisinn — b'ċitazzjoni fil-granularità ta' file-page-table (Answers_Com_Work_Doc_2nd_Mil.pdf | p.413 | § Table 40).

Wrapper ta' LLM ta' skop ġenerali, mistoqsi l-istess mistoqsija, se jipproduċi perċentwal b'mod plausibbli. Thresholds statistikament plausibbli huma eżattament dak li jiġġeneraw mudelli tal-lingwa meta ma jkunux limitati. F'qasam ta' konformità, risposta żbaljata u kunfidenti mhix risposta degradata — hija avveniment ta' responsabbiltà. Ir-rifjut huwa l-prodott.

Din l-imġiba hija konsistenti mal-benchmark dokumentat pubblikament (rifjut 20/20 fuq sett avversarju ta' tliet kategoriji: proviżjonijiet mhux eżistenti, premessi ta' verità parzjali, kontrolli), ippubblikat b'metodoloġija f' stefanocipri.substack.com ("The RAG that says I don't know", April 2026), fejn il-mod ta' falliment li jimmira jissejjaħ: fabrication-by-composition.

Riżultati skont id-dimensjoni

DimensjoniPożizzjoni vs 2026 pajsaġġAncorazzjoni tal-evidenzaGranularità taċ-ċitazzjoniLivell għoli (~5%)Fajl + paġna + sezzjoni + IDs ta' kontribuzzjoni istituzzjonali (eż. bb6997ac), speċifiċità liveDomain (DPP tat-tessuti)L-ebda peer magħruf (~1%)Korpus proprjetarju: Pożizzjonijiet CIRPASS-2, drafts EN-standard, regoli validators SEM006/TXT001–005Imġieba kontra l-allużjoni Top tier (~1–5%)Rifjut ta' artiklu fabbrikat live; benchmark avversarju ppubblikat 20/20Implementazzjoni ibrida ta' rkupruAt frontierLive BM25+dense, RRF aġġustabbli, audit kill-switch, fallback konxju tal-kollezzjoniMetodoloġija ta' evalwazzjoniMetodoloġija ta' evalwazzjoni (~5%)Golden sets + LLM-as-judge + versioned A/B, in-repotion operazzjoni Multilingwi Top tier (~5%30+ lingwi UI, regola ta' infurzar tal-lingwa, IT→EN embedding bridgeGovernance u awditabilitatabilitatTier għoli (~5–15%)Konfigurazzjoni ta' kull rwol, runtime audit-first, monitoraġġ ta' drift, reġistrazzjoni tal-punteġġIndikazzjoni inkrementaliBelow baselineJina collection popolata biss f'batch; L-ebda ingest on-demand fil-ħin tal-mistoqsija

Onestà metodoloġika dwar din it-tabella: il-pożizzjonijiet fil-perċentwali huma stimi kwalitattivi prodotti billi tqabbel arkitettura spezzjonata ma' deskrizzjonijiet tas-sistema ppubblikati tal-2026 (rapporti ibridi bħala bażi bażika; pubblikazzjonijiet ta' rata ta' rebħ agentic-RAG fir-reġjun ta' 64–76% kontra assistenti ġenerali fuq korpora ta' intrapriżi; paragun ta' irkupru u preċiżjoni tal-qafas fil-firxa ta' 85–92%). Mhumiex ir-riżultat ta' run ta' benchmark head-to-head. L-in-repo RAGAS harness jagħmel dan il-run eżekutabbli u ppubblikabbli; sakemm ma tiġi ppubblikata, it-tabella hawn fuq hija valutazzjoni ta' esperti, mhux kejl.

Dak li l-stack għadu m'għandux

Tliet vojtijiet, spjegati b'mod ċar. L-ewwel, indikazzjoni inkrementali: il-kollezzjoni Jina late-chunking hija mimlija b'batch script, mhux fuq talba; dokumenti ġodda jistennew l-ingest li jmiss. It-tieni, in-numri formali tal-benchmark jeżistu bħala infrastruttura iżda mhux għadhom bħala oġġett ippubblikat — l-iktar mossa waħda b'saħħitha disponibbli hija li tħaddem is-suite RAGAS in-repo kontra s-sett tad-deheb u tippubblika n-numri ħdejn il-metodoloġija. It-tielet, RAG1 jibqa' evalwat biss fuq l-arkitettura; il-kwalità tar-rkupru tiegħu mhix dokumentata barra l-użu intern.

L-ebda waħda minn dawn mhix strutturali. It-tlieta kollha huma ġimgħat, mhux kwarti.

Għaliex dan huwa importanti lil hinn minn kumpanija waħda

Is-suq tal-2026 huwa saturat b'"assistenti ta' konformità AI" li huma wrappers ħfief fuq mudelli ġenerali: embedding wieħed għal kull mistoqsija, irkupru dens biss, ċitazzjonijiet fil-livell tal-isem tal-fajl fl-aħjar każ, l-ebda governanza tar-rwoli, l-ebda monitoraġġ tal-drift, u — b'mod deċiżiv — l-ebda mġiba ta' rifjut fuq premessi fabbrikati. Il-membri tas-standards infushom jirrikonoxxu l-lavanji ta' verifika li dawn l-għodod jgħaqqdu.

Is-sistema evalwata hawnhekk tinbidel l-ordni tas-soltu tal-kostruzzjoni. Ma ġietx mibnija minn tim ta' ML li kiseb għarfien tad-dominju; inbniet minn espert tad-dominju — tletin sena f'katina internazzjonali ta' provvista tat-tessuti, Membru Espert ta' CIRPASS-2 (EWG1, EWG3), Stakeholder Reġistrat tal-JRC (Unit B5) — li kiseb inġinerija ta' rkupru. Il-korpus jaf x'inhu Ċertifikat ta' Transazzjoni, meta jasal fiżikament meta jasal relattivament ma' kunsinna, u għaliex il-metodi ta' test tal-kompożizzjoni tal-fibra ISO ma jistgħux jiddistingwu bejn poliester riċiklat u verġni. Dak l-għarfien jinsab fl-indiċi għax il-persuna li bena l-indiċi qattgħet tlett deċennji titgħallem.

Pipeline ta' rkupru jista' jiġi riprodott f'kwart minn tim finanzjat. Il-korpus u l-ġudizzju kodifikat fih ma jistgħux. Dik l-asimmetrija hija l-assi difiżabbli.

Reeco® hija pjattaforma ta' verifika DPP mibnija fuq UNTP 0.7.0 u W3C Verifiable Credentials, b'magna proprjetarja ta' bilanci tal-massa għal kull ħwejjeġ (depożitu SIAE). Reeco ma twaqqafx l-emissjoni ta' DPP: il-magna tikkwantifika l-kopertura u tinforma lill-marka, li żżomm id-deċiżjoni awtonoma — b'disinn. Stefano Cipriani huwa fundatur ta' Reeco®, Membru Espert ta' CIRPASS-2 (EWG1, EWG3), Stakeholder Reġistrat JRC.