Watafiti kutoka Taasisi ya Teknolojia ya Massachusetts (MIT) wameanzisha njia mpya ya kusaidia mifumo mikubwa ya lugha (LLMs) kupanga mikakati ngumu kwa ufanisi na usahihi zaidi. Teknolojia hii mpya, iitwayo ‘PDDL-Instruct’, inawezesha LLMs kuunda mipango inayoweza kuthibitishwa, ikivuka mipaka ya awali.
Katika utafiti wao uliochapishwa mnamo Agosti 22, watafiti kutoka Shule ya Sayansi ya Kompyuta ya MIT na CSAIL walionyesha kuwa mfumo wa LLM wenye vigezo bilioni 8 unaweza kuunda mipango yenye hatua nyingi ambayo sio tu inaonekana kuwa na maana, bali pia ni sahihi kimantiki.
Watafiti walitumia mbinu tatu za msingi ili kuboresha utendaji wa LLM.
Mbinu Tatu za Kufunza AI Kuwa Sahihi
- Mafunzo ya Makosa (Error Education): Katika hatua hii, mfumo wa AI unafundishwa kueleza ni kwa nini mpango wake umeshindwa. Mfumo unajifunza kutambua makosa kama vile kushindwa kufikia masharti, matokeo yasiyo sahihi, kukiuka sheria, au kushindwa kufikia lengo.
- Mnyororo wa Kufikiri (Chain-of-Thought): Katika hatua hii, mfumo wa AI unafundishwa kufikiria hatua kwa hatua. Inafanya hivyo kwa kurekodi waziwazi mtiririko wa “hali-kitendo-hali inayofuata,” na hivyo kuweza kufuata mantiki ya hatua zake.
- Uthibitishaji wa Nje (VAL): Hatua hii inahusisha matumizi ya zana za nje za uthibitishaji ili kuhakikisha kila hatua ya mpango ni sahihi. Maoni yanayotolewa si tu ya 'sahihi' au 'si sahihi', bali pia yanaeleza kwa undani ni hali au matokeo gani yameshindwa, na maoni ya kina yameleta maboresho makubwa zaidi.
Watafiti pia walitumia hatua mbili za ziada za uboreshaji, ambapo walizingatia kupunguza makosa katika hatua ya kwanza na kuboresha usahihi wa mpango wa mwisho katika hatua ya pili.
Matokeo ya Kustaajabisha
Katika majaribio yaliyofanywa kwa kutumia seti maalum ya PlanBench, ambayo inajumuisha matatizo magumu kama ‘Mystery Blocksworld’ ambapo LLMs za kawaida hufanya vizuri kwa asilimia chini ya 5 tu, matokeo ya utafiti huu yalikuwa ya kushangaza.
Mfumo uliorekebishwa wa ‘Llama-3-8B’ ulifanikisha usahihi wa asilimia 94 katika tatizo la kawaida la ‘Blocksworld’. Lakini mafanikio makubwa zaidi yalikuwa katika ‘Mystery Blocksworld’, ambapo utendaji uliboreshwa mara 64 zaidi ya mifumo ya awali. Kwa ujumla, utafiti huu uliongeza utendaji wa mifumo ya LLM kwa asilimia 66.
Watafiti walisisitiza kuwa maoni ya kina ya uthibitishaji yalikuwa na ufanisi zaidi kuliko maoni rahisi ya ‘sahihi/si sahihi’. Matokeo ya utafiti huu yanaonyesha kuwa inawezekana kuziba pengo kati ya uwezo wa jumla wa LLMs na usahihi wa kimantiki unaohitajika katika kupanga mikakati.