🇮🇹🇩🇪🇫🇷🇪🇸🇵🇹🇳🇱🇵🇱🇸🇪🇩🇰🇫🇮🇨🇿🇷🇴🇭🇺🇬🇷🇧🇬🇭🇷🇸🇰🇸🇮🇪🇪🇱🇹🇱🇻🇮🇪🇲🇹🇸🇦🇨🇳🇯🇵🇰🇷🇮🇳🇹🇷🇻🇳🇮🇩

Sam Altman qal, xhur ilu, li huwa aħjar għal AI li dejjem twieġeb — anke jekk tkun żbaljata — milli tgħid "Ma nafx."

Grazzi talli qrajt! Issottoskrivi b'xejn biex tirċievi postijiet ġodda u tappoġġja x-xogħol tiegħi.

Jien ma naqbilx, kompletament.

Dan huwa, għalija, il-limitu reali tal-adozzjoni massiva tal-AI. Mhux il-kost tal-kalkolu. Mhux id-daqs tal-mudell. Il-fatt li xi sistemi ta' AI huma ottimizzati biex jipproduċu kunfidenza li tinstema' plausibbli fejn għandha teżisti inċertezza. Fit-tfittxija tal-konsumatur hija dgħajjef. Fil-konformità regolatorja, fil-mediċina, fl-analiżi legali, fil-finanzi — hija responsabbiltà mfassla bħala prodott.

Bnejt Reecopedia fuq il-prinċipju oppost. Jien kburi b'dak li wera l-benchmark.

Il-problema strutturali ma' ħafna sistemi RAG

Il-Ġenerazzjoni Miżjuda b'Irkupru saret l-arkitettura default għall-assistenti AI tal-intrapriżi li jaħdmu fuq korpi speċjalizzati. Il-wegħda hija sempliċi: is-sistema tirritorna dokumenti rilevanti, il-mudell tal-lingwa jissintetizza tweġiba bbażata fuq dawk id-dokumenti, jiġu inklużi ċitazzjonijiet.

Fil-prattika, preġudizzju strutturali rari jiġi diskuss pubblikament. Il-maġġoranza tas-sistemi RAG tal-produzzjoni huma aġġustati biex jottimizzaw il-metriċi tas-sodisfatt tal-utent, u "Ma nafx" dejjem inaqqas dawk il-punteġġi. Ir-riżultat huwa stimolu biex jimlew il-vojt ta' evidenza b'sintesi li tidher plausibbli — billi tgħaqqad frammenti ta' kuntest miksuba f'risposta li tidher imqassma iżda mhix.

L-utent m'għandux mod kif jiskopri dan. Is-sistema tirritorna paragrafu kunfidenti, tinkludi ċitazzjonijiet, u l-qarrej jassumi li ċ-ċitazzjoni tivvalida l-paragrafu kollu. Ma tagħmilx.

Dan huwa fabbrikazzjoni permezz tal-kompożizzjoni, u huwa s-sors dominanti ta' alluċinazzjonijiet fil-produzzjoni RAG li jintuża fuq korpi speċjalizzati. Huwa wkoll, mhux b'kumbinazzjoni, dak li l-iskola ta' ħsieb Altman tappoġġja b'mod impliċit: l-AI trid dejjem twieġeb, għax is-silenzju huwa ħażin għall-involviment.

Dak li ttestajna

Għamilna benchmark pubbliku fuq Reecopedia — ir-RAG regolatorju tal-UE mibni għall-konformità ma' Digital Product Passport, parti mill-ekosistema Reeco. Għaxar mistoqsijiet f'tliet kategoriji, kull waħda eżegwita f'żewġ livelli (Intermedja u Esperta). Għoxrin sejħa API b'mod totali.

Kategorija A (4 mistoqsija) — Evidenza intenzjonalment ineżistenti.

Mistoqsijiet li jirreferu għal artikli, deliverables, u dokumenti li ma jeżistux fil-korpus jew fil-fatt. Eżempji: "X'jeħtieġ l-Artikolu 47 tar-Regolament ESPR 2024/1781?" (ir-Regolament ma għandu l-ebda artiklu bħal dan f'dak il-livell ta' dettall). "Skont l-istudju preparatorju tal-JRC JRC999888..." (l-identifikatur huwa fabbrikatur). "L-att delegat tal-ESPR tal-2025 għat-tessuti fl-Anness VI Tabella 3..." (ma ġiex ippubblikat att bħal dan f'dan il-livell ta' dettall).

Kategorija B (3 mistoqsija) — Evidenza parzjali.

Mistoqsijiet fejn il-korpus jkopri xi informazzjoni mitluba iżda mhux kollha. L-imġiba korretta hi li tiddistingwi b'mod espliċitu dak li hu kopert minn dak li mhux.

Kategorija C (3 mistoqsija) — Evidenza kompleta (kontroll).

Mistoqsijiet fejn il-korpus fih it-tweġiba sħiħa. Is-sistema għandha twieġeb b'ċitazzjonijiet verifikabbli.

Riżultati

20 minn 20 li jgħaddu. L-ebda alluċinazzjoni f'kull waħda mit-tliet kategoriji.

F'kull mistoqsija li tirreferi għal evidenza li ma teżistix, Reecopedia ddikjarat b'mod espliċitu l-assenza. L-ebda numri ta' artikli ffurmati. L-ebda saffi inventati. L-ebda ċitazzjonijiet għal dokumenti li ma jeżistux.

Risposta ta' eżempju għall-mistoqsija falzjonata tal-Artikolu 47: *"Il-kuntest miksub ma fihx it-test tal-Artikolu 47 tar-Regolament ESPR 2024/1781, u lanqas ebda dispożizzjoni li teħtieġ speċifikament l-iskoperta tal-impronta tal-ilma tat-tessuti taħt dak in-numru tal-artiklu." *

Is-sistema mbagħad tipprovdi kuntest adjaċenti li jeżisti — il-qafas ġenerali tal-ESPR, id-data tal-pubblikazzjoni, l-ambitu — mingħajr ma tgħaqqad xi ħaġa minnha għall-Artikolu 47 li ma jeżistix. Id-distinzjoni bejn "dak li l-utent talab għalihom" u "dak li fih il-korpus" hija ppreservata b'mod esplicitu.

F'mistoqsijiet ta' evidenza parzjali, is-sistema separa l-partijiet koperti mill-partijiet miftuħa b'identifikazzjoni esplicita ta' vojt. Fil-mistoqsijiet ta' kontroll, kienet twieġeb b'ċitazzjonijiet verifikabbli għal dokumenti, paġni u paragrafi speċifiċi.

Għaliex dan hu importanti

Fil-konformità regolatorja, il-modalità ta' falliment mhix "l-utent staqsa mistoqsija u ma rċeviex tweġiba." Il-modalità ta' falliment hija "l-utent staqsa mistoqsija, kiseb tweġiba żbaljata b'kunfidenza, u ħa deċiżjoni tan-negozju bbażata fuqha."

Marka li tiddikjara kontenut riċiklat ibbażata fuq interpretazzjoni alluċinata ta' ESPR tiffaċċja riskju ta' implimentazzjoni. Kumpanija legali li tiddisinja memo tal-klijent li tgħid numru ta' artiklu inventat tiffaċċja espożizzjoni għal malpractice. Uffiċjal tas-sostenibbiltà li japprova talba ta' fornitur ibbażata fuq limitu falz tal-JRC huwa responsabbli personalment meta jasal l-awditur.

It-tieqa ta' implimentazzjoni tal-ESPR tal-2028 ma tiddistingwixxix bejn "l-AI kienet żbaljata" u "id-deċiżjoni tagħna kienet żbaljata." Se tistaqsi biss jekk id-dikjarazzjoni kinitx sostnuta minn evidenza verifikabbli.

Il-qafas ta' Altman — dejjem twieġeb, qatt ma tgħid li ma nafx — huwa strutturalment inkompatibbli ma' din ir-realtà. Jaħdem għall-ifittxija tal-konsumatur, fejn tweġiba ħażina hija inkonvenjenza żgħira. Jonqos f'vertikali B2B fejn tweġiba ħażina hija impenn iffirmat.

Il-metodoloġija hija pubblika

L-għaxar mistoqsijiet jiġu ppubblikati. Ir-risposti huma riproduċibbli. Kull min jista' jħaddem l-istess benchmark kontra kwalunkwe sistema RAG li tiddikjara li timmaniġġja kontenut regolatorju tal-UE. Jekk il-kompetituri jridu juru l-istess proprjetà fuq l-istess sett ta' test, nilqgħu l-paragun.

L-artifatti tal-benchmark se jiġu ppubblikati fuq GitHub bħala sett ta' evalwazzjoni miftuħa għas-sistemi regolatorji RAG. L-ebda gatekeeping, l-ebda qafas proprjetarju. Jekk l-industrija trid tibni RAG għall-konformità, tista' tissellef is-sett tat-test.

Nota dwar x'inhu dan, u x'mhux

Ma ngħidx li qed ngħid l-ebda alluċinazzjoni f'kull mistoqsija possibbli. Jien qed ngħid li ma għandix alluċinazzjonijiet fuq sett speċifiku u awditabbli li jkopri d-dominju regolatorju tat-tessuti tal-UE. Din hija proprjetà speċifika għad-dominju u li tista' tiġi mkejla — mhux talba universali ta' marketing.

Id-distinzjoni tgħodd. Sakemm ir-riżultati jibqgħu, nista' ngħid li bnejt prodott li huwa utli u b'saħħtu.

Reecopedia hija live fuq ia.reeco.eco. Appoġġ nattiv għal 32 lingwa, kapaċità ta' rispons dinamiku f'110+. Intermedju bi prezz ta' €20 fix-xahar, Espert għal €100 fix-xahar, livell pubbliku b'xejn.

Mibnija f'Prato, l-Italja. Għal riċerkaturi, kumpaniji legali, awtoritajiet pubbliċi, dipartimenti tas-sostenibbiltà, banek, marki, fornituri — kull min id-deċiżjonijiet tiegħu għandhom piż.

Stefano Cipriani

Fundatur, Reeco · Membru Espert CIRPASS-2 · Stakeholder Irreġistrat JRC

Grazzi talli qrajt! Issottoskrivi b'xejn biex tirċievi postijiet ġodda u tappoġġja x-xogħol tiegħi.