Muundo mpya kabisa wa Akili Bandia (AI) umeanza kuonesha uwezekano wa kuchukua nafasi ya 'Transformer'—msingi wa mifumo mikuu ya lugha (LLMs) kama GPT na Gemini. Mfumo huu mpya, unaojulikana kama 'Brumby', umetangazwa na kampuni ya kuanzisha ya AI kutoka Marekani, Manifest AI, mnamo Novemba 4 kupitia hifadhidata ya mtandaoni ya arXiv.
Tangu ilipotambulishwa na Google mnamo 2017 kupitia tasnifu mashuhuri ya 'Attention is all you need', usanifu wa Transformer umekuwa ndio uti wa mgongo wa mifumo mingi ya kisasa ya AI. Hata hivyo, baada ya miaka minane, sehemu yake muhimu ya 'Attention' (Umakini) imekuwa ikikosolewa vikali. Tatizo kubwa liko kwenye ufanisi wake: gharama ya hesabu na matumizi ya kumbukumbu huongezeka mara nne (kiasi cha mraba) kila urefu wa maneno yanayoingizwa unapoongezeka mara mbili. Hii inafanya mfumo kuwa ghali na usio na ufanisi hasa katika kushughulikia maandishi marefu.
Kutana na Brumby na 'Power Retention'
Mfumo uliozinduliwa, 'Brumby-14B-Base', ni mfumo uliorekebishwa kutoka kwenye Qwen3-14B-Base ya Alibaba, lakini tofauti yake kubwa ni kwamba imeondoa kabisa tabaka la Attention la Transformer. Badala yake, Manifest AI imetumia muundo mpya wa kujirudia (recurrent structure) waliobuni wenyewe uitwao 'Power Retention'.
Katika muundo wa kawaida wa Transformer, kila neno (token) linaloingizwa huhesabu seti za Query (Q), Key (K), na Value (V), na kisha hulinganisha kila jozi ya maneno katika mlolongo wote kwa kutumia hesabu ngumu za safu (matrix operations). Njia hii, ingawa inatoa ubadilifu, inaleta gharama kubwa sana ya hesabu. Kwa mfano, ikiwa urefu wa sentensi utaongezeka mara mbili, kiasi cha hesabu na kumbukumbu inayohitajika huongezeka mara nne.
Ufanisi na Kumbukumbu Isiyo na Kikomo
Power Retention inatumia muundo uleule wa kuingiza wa Q, K, na V, lakini haulinganishi maneno yote. Badala yake, inatumia muundo wa kujirudia (Recurrent Neural Network - RNN) ambao hupitisha na kusasisha taarifa ya awali (kumbukumbu).
Kwa kutumia mbinu hii, mfumo unaweza kufinyanga na kuhifadhi taarifa za zamani huku ukishughulikia maneno mapya tu kwa haraka. Matokeo yake, hata kama sentensi itarefuka kiasi gani, gharama ya hesabu kwa kila neno haiongezeki sana. Iwe mfumo unashughulikia maneno 1,000 au maneno milioni 1, kasi ya uchakataji inabaki karibu sawa.
Faida nyingine ya teknolojia hii ni uwezo wake wa kuhifadhi na kueleza taarifa. Power Retention inauwezo mzuri wa kuelewa mahusiano changamano (high-order dependencies) kati ya maneno, na inaweza kuhifadhi taarifa muhimu hata ndani ya muktadha mrefu.
Wataalamu wanaelezea Brumby kama "usanifu wa AI wa kizazi kijacho unaochanganya ufanisi wa RNN na uwezo wa kuelezea wa Transformer." Kimsingi, muundo wake unahakikisha uwezo wa kudumisha kumbukumbu ya muda mrefu isiyo na kikomo (long-term dependency) na kuboresha ufanisi wa hesabu kwa kiasi kikubwa ikilinganishwa na Transformer.
Gharama Nafuu
Manifest AI inasisitiza kuwa hata kama mfumo utashughulikia zaidi ya maneno milioni 1, gharama ya hesabu haiongezeki na matumizi ya kumbukumbu ya GPU (Kichakataji cha Picha) hubaki thabiti.
Mafunzo ya mfumo wa Brumby-14B yalikamilishwa kwa kutumia GPU 32 za Nvidia H100 kwa saa 60 tu, na gharama ilikuwa Dola za Marekani 4,000 (takriban TZS Milioni 10.8). Hii ni chini ya asilimia 2 ya gharama inayohitajika kuanzisha mfumo wa Transformer wenye ukubwa sawa.
Katika vipimo muhimu vya uwezo wa utambuzi na uchambuzi, kama vile GSM8K (Hoja za Hisabati), HellaSwag (Hoja za Kawaida), na MMLU (Uelewa wa Lugha), Brumby-14B ilifanya kazi sawa au bora kuliko mifumo ya awali ya Transformer, hasa katika maswali ya hoja ndefu na utatuzi wa matatizo ya hisabati.
Mwanzilishi wa Manifest AI, Jacob Buckman, anaamini kuwa mfumo huu utachangia katika kuongeza utofauti wa miundo ya AI na kuharakisha 'Enzi ya Post-Transformer', ambayo tayari imeshaanza kuoneshwa na mifumo mingine kama 'Mamba' iliyotolewa na Chuo Kikuu cha Carnegie Mellon mnamo 2023. Brumby-14B-Base inapatikana bure (open source) kupitia Hugging Face.