Kampuni ya Apple imetengeneza teknolojia mpya inayoweza kupunguza kwa kiasi kikubwa matumizi ya kumbukumbu (memory) katika mifumo ya akili bandia (AI) ya mazungumzo marefu. Uvumbuzi huu unatajwa kama hatua muhimu ya kupunguza gharama za uendeshaji wa roboti za mazungumzo za kibiashara na wasaidizi wa kielektroniki.
Apple ilichapisha utafiti kuhusu mfumo huu mpya, unaoitwa 'EPICACHE', kupitia jukwaa la mtandaoni mnamo Agosti 24.
Mfumo wa EPICACHE unaruhusu mifumo mikubwa ya lugha (LLMs) kudumisha mazungumzo marefu huku ikitumia kumbukumbu ndogo mara sita kuliko mbinu za sasa. Watafiti wanasema kuwa hili linawezesha utumiaji wa AI kwa ufanisi na kiuchumi, hasa katika maeneo yanayohitaji kumbukumbu ndefu ya mazungumzo, kama vile ushauri wa wateja na msaada wa kiufundi.
Changamoto ya Kumbukumbu ya KV Cache
Moja ya changamoto kubwa zaidi katika AI ya mazungumzo ni matumizi ya kumbukumbu. LLM hutumia muundo unaoitwa 'KV Cache' (Key-Value cache) kuhifadhi muktadha wa mazungumzo wakati wa mchakato wa kufikiri. KV Cache huhifadhi data iliyopigwa hesabu na kuitumia tena, na hivyo kusaidia AI kukumbuka mazungumzo ya awali.
Hata hivyo, kadri mazungumzo yanavyokuwa marefu, kiasi cha data kinachohifadhiwa kwenye KV Cache huongezeka. Kwa mfano, mazungumzo 30 tu yanaweza kufanya KV Cache ya mfumo mdogo kuzidi 7GB, mzigo unaoweza kuwa mkubwa kuliko vigezo vyote vya mfumo. Hii inafanya udhibiti wa KV Cache kuwa muhimu sana katika mazingira yenye kumbukumbu ndogo.
Jinsi EPICACHE Inavyofanya Kazi
EPICACHE inatumia mbinu maalum ya kudhibiti KV Cache ili kushughulikia mazungumzo marefu katika mazingira yenye kumbukumbu ndogo. Mfumo huu hupanga data katika vitalu, na kuhakikisha kuwa matumizi ya kumbukumbu yanabaki thabiti. Inapofikia mwisho wa kila kitalu, data isiyo muhimu hutolewa ili kuzuia kumbukumbu isijae.
Muhimu zaidi, EPICACHE hugawanya mazungumzo marefu katika 'episodi' (sehemu za mada) na kuingiza tu muktadha unaohitajika. Hii inafanywa kwa kubana (compress) KV Cache kwa kila episod, na kuunda kumbukumbu ya mada katika nafasi ndogo ya kumbukumbu. Mbinu hii inafanana na jinsi binadamu anavyokumbuka mazungumzo kwa kuzingatia matukio au mada maalum.
Matokeo ya majaribio yalionyesha kuwa EPICACHE iliboresha usahihi wa LLM kwa hadi asilimia 40 ikilinganishwa na mbinu za zamani. Pia, ilipunguza matumizi ya kumbukumbu kwa hadi mara 3.5 na ilipunguza ucheleweshaji wa majibu (latency) kwa hadi mara 2.4, huku ikidumisha usahihi ule ule, hata wakati data imebanwa mara 4 hadi 6.
Faida nyingine kubwa ya mfumo huu ni kwamba hauhitaji mafunzo ya ziada (training-free). Inaweza kutumika moja kwa moja kwenye mifumo ya AI iliyopo, na hivyo kuokoa muda na gharama za utekelezaji katika huduma za kibiashara.