Teknolojia mpya imezinduliwa ambayo inaweza kugundua na kurekebisha makosa ya hoja (reasoning errors) ndani ya Large Language Models (LLM) kwa wakati halisi.
Meta’s AI research lab (FAIR) na watafiti kutoka University of Edinburgh walichapisha teknolojia hiyo mpya iitwayo ‘Circuit-Based Reasoning Verification’ (CRV) kupitia hifadhi ya mtandaoni mnamo Oktoba 30. CRV inachambua moja kwa moja mizunguko ya kompyuta (computational circuits) ndani ya LLM ili kugundua na kuingilia kati wakati model inafanya makosa ya kimantiki.
- Mapungufu ya Zamani: Njia za zamani za kuhakiki Chain-of-Thought (CoT) zilikuwa ama 'Black-Box' (kuchambua matokeo ya mwisho tu) au 'Grey-Box' (kufuatilia patterns rahisi za activation), ambazo zilishindwa kuelezea 'kwanini' hesabu ilikosewa.
- Mkakati Mpya: Watafiti walitumia njia ya 'White-Box' inayoruhusu ufafanuzi wa moja kwa moja wa ndani ya model.
Utendaji wa CRV na Kugundua 'Fingerprints'
CRV inafanya kazi kwa kuzalisha grafu za kompyuta ambazo zinaonyesha mchakato wa hesabu ndani ya LLM katika 'circuit-level'. Hii inaruhusu kulinganisha muundo wa kimuundo (structural differences) kati ya hatua sahihi na hatua potofu za hoja. Kwa njia hii, CRV hutambua 'structural fingerprint' (alama za kidole za kimuundo) za hoja sahihi na inatumia classifier iliyofunzwa na sifa hizo kutabiri makosa.
- Marekebisho ya Ndani: Katika jaribio, watafiti waliingiza module inayoweza kufasirika iitwayo 'Transcoder' ndani ya layers za mfumo wa Llama 3.1 8B Instruct. Transcoder inalazimisha hesabu za kati za model kuonekana kama 'sparse and meaningful features' (features chache na zenye maana), na kuwapa watafiti uwezo wa kuangalia moja kwa moja mchakato wa kufikiri wa model.
- Debugging ya AI: Grafu za attribution (zinazopatikana kupitia mchakato huu) zinafanana na kuona muda wa utekelezaji (execution trace) wakati wa software debugging. CRV inaweza kuchambua grafu hizi na kupata mzunguko uliosababisha kosa, na hata kuingilia kati moja kwa moja kurekebisha hoja ya model.
Katika mfano mmoja, CRV iligundua kuwa 'mzunguko wa kuzidisha' wa model ulikuwa umeamshwa vibaya, na kusababisha model kutumia mpangilio usio sahihi wa hesabu wakati wa kutatua tatizo la hisabati. Watafiti walipouzuia mzunguko huo, model ilirudi kwenye njia sahihi na kutatua tatizo hilo kwa usahihi.
Hitimisho Kubwa: Algorithmi Tofauti kwa Kazi Tofauti
Uchambuzi wa CRV ulifichua kwamba mifumo ya kimuundo ya makosa ya hoja inatofautiana kulingana na aina ya kazi. Katika maeneo tofauti kama hoja za kimantiki, hesabu za kihesabu, na matatizo ya hisabati, mifumo tofauti ya mizunguko iliamshwa. Hili linathibitisha kwamba "LLM hujifunza algorithms (mizunguko) tofauti za ndani kwa ajili ya kazi tofauti."
Watafiti walieleza kuwa CRV inafungua njia ya kuvuka hatua rahisi za kugundua makosa na kuelekea ufafanuzi na marekebisho ya kushindwa kwa hoja ya LLM katika kiwango cha 'sababu na athari'. Hili lina umuhimu mkubwa katika sekta za viwanda na umma ambapo uaminifu wa AI model ni muhimu.
Utafiti huu unaanzisha mwelekeo mpya wa utafiti unaoweza kuitwa 'AI Debugging'. CRV itakapopatikana kibiashara, makampuni na waendelezaji wataweza kugundua haraka chanzo cha makosa ya model na kuyatatua kupitia fine-tuning ya sehemu au marekebisho ya moja kwa moja.
Watafiti walisisitiza, "Kwa kuchambua kwa karibu mchakato wa kompyuta wa model, tunaweza kuvuka ugunduzi rahisi wa makosa na kuelekea uelewa wa kina na wa kiuhusiano wa hoja ya LLM."