“Google”un “Bidirectional Encoder Representations from Transformers” texnologiyası, yəni BERT süni intelekt və təbii dil emalı (NLP) sahələrində inqilabi addım hesab olunur. BERT anlayışı və fəaliyyət prinsipləri dil modellərinin daha səmərəli və dəqiq şəkildə anlaması və məna çıxara bilməsi üçün yeni yollar təklif edir. 

Bu yazımda həmin yolların hansılar olduğunu və üstünlükləri haqqında danışacağam.

BERT-in dil anlamasının əsasları

BERT dilin mürəkkəbliyini və nüanslarını anlamaq üçün iki istiqamətli yanaşmadan istifadə edir. Onun ənənəvi dil molelindən əsas fərqlərindən biri də elə budur. Belə ki, ənənəvi dil modelləri adətən mətni bir istiqamətli (soldan sağa və ya sağdan sola) emal edərkən, BERT hər iki istiqamətdən kontekstini nəzərə alır. Bu o deməkdir ki, model eyni vaxtda sözdən əvvəl və sonra konteksti təhlil edə bilir ki, bunun nəticəsində sistem tərəfindən ifadənin mənası tamamilə dəqiq anlaşılır.

İşləmə prinsipi

BERT-in əsasını “transformers” adlı bir arxitektura təşkil edir. Onun iş mexanizmi bir neçə mühüm addıma əsaslanır ki, bu da modelə mətnlərdə mürəkkəb dil strukturlarını və mənaları effektiv şəkildə təhlil etməyə imkan verir. 

BERT modeli iki mərhələli proses vasitəsilə hazırlanır: “Pre-Training” və “Fine-Tuning”. Bu iki mərhələ modelə ümumi dil bilikləri əldə etməyə və sonra onu xüsusi tapşırıqlara uyğunlaşdırmağa imkan verir.

Gəlin həmin iki mərhələli prosesi aydınlaşdıraq:

• “Pre-Training”

Təlimdən əvvəlki mərhələ, modelin böyük və etiketsiz mətn verilənlər bazasından ümumi qrammatikanı öyrənməsi prosesidir. Bu mərhələ modelə dil haqqında geniş anlayışı inkişaf etdirməyə və dilin əsas strukturlarını qavramağa imkan verir.

BERT bu prosesdə iki əsas üsuldan istifadə edirlər:

“Masked Language Model” (MLM). Mətnin təsadüfi seçilmiş hissəsi gizlədilir (maskalı) və modelin vəzifəsi kontekstdən istifadə edərək bu maskalı sözləri proqnozlaşdırmaqdır. Bu üsul modelə kontekstdəki sözlərin mənasını anlamağa və dildəki istifadəsini öyrənməyə kömək edir.

“Next Sentence Prediction”. Bu tapşırıqda model iki cümlənin bir-birini izlədiyini təxmin etməyə çalışır. Üsul, modelə mətn daxilində əlaqələri və gedişatı daha yaxşı başa düşməyə imkan verir və xüsusilə uzun mətnlərdə konteksti saxlamağa kömək edir.

• “Fine-Tuning”

İkinci üsul model müəyyən tapşırıq və ya məlumat dəstinə xas olaraq dəqiq tənzimlənir. Bu mərhələ modelə ümumi dil biliyini konkret tapşırığın ehtiyaclarına uyğunlaşdırmağa imkan verir. İncə tənzimləmə zamanı model daha kiçik, tapşırıq üçün xüsusi və etiketlənmiş verilənlər bazasında öyrədilir. 

Bu prosesə daxildir:

Tapşırıq üçün xüsusi düzəlişlər. Model xüsusi bir NLP tapşırığına (məsələn, sual-cavab, əhval-ruhiyyənin təhlili, adlandırılmış sistemin tanınması) diqqət yetirmək üçün tənzimlənir. Bu, modelə əvvəllər öyrənilmiş ümumi dil biliklərini müəyyən tapşırığın ehtiyaclarına uyğun istifadə etməyə imkan verir.

Etiketli məlumatlar üzrə öyrənmə. Dəqiq tənzimləmə prosesi adətən tapşırıq üçün xüsusi və etiketlənmiş məlumatlardan istifadə etməklə həyata keçirilir. Bu, modelin dəqiq tənzimlənməsinə imkan verməklə sistemin konkret tapşırıqlar üçün düzgün nəticələr çıxartmasına səbəb olur.

Bu iki mərhələli proses modellərə geniş dil anlayışı və həmçinin xüsusi tapşırıqlara uyğunlaşmaq üçün çeviklik verir. “Pre-Training” modelin dilin əsas strukturlarını və kontekstini başa düşməsini təmin edir, dəqiq tənzimləmə isə modelə bu bilikləri konkret tapşırıq üçün necə tətbiq etməyi öyrənməyə kömək edir. 

BERT-in üstünlükləri

• İki istiqamətli kontekst anlayışı

BERT mətnləri hər sözün həm solunda, həm də sağında olan konteksti nəzərə alaraq iki istiqamətli şəkildə emal edir. Bu, kontekstdəki sözlərin və ifadələrin mənasını daha dəqiq başa düşməyə kömək edir. 

Ənənəvi birtərəfli modellərlə müqayisədə bu xüsusiyyət BERT-ə mətni daha dərindən başa düşmək imkanı verir.

• Ümumi və xüsusi tapşırıqlar arasında uyğunlaşma

BERT-in təlimdən əvvəl və dəqiq tənzimləmə yanaşması modelin həm ümumi qrammatikanı öyrənməsini, həm də xüsusi tapşırıqlara asanlıqla uyğunlaşdırıla bilməsini təmin edir. Bu, modelə müxtəlif dillər və fərqli NLP tapşırıqları arasında çevik keçid etməyə imkan verir.

• Yüksək performans

BERT bir çox NLP tapşırıqlarında əvvəlki modellərə nisbətən əhəmiyyətli performans təkmilləşdirmələri təmin etmişdir. Sual-cavab, adlandırılmış systemin tanınması, hisslərin təhlili və mətnin ümumiləşdirilməsi kimi sahələrdə BERT əsaslı modellər yüksək dəqiqlik dərəcələrinə nail olub.

• Vaxta qənaət

Modelin mətndən birbaşa öyrənmə qabiliyyəti sayəsində “developers”in funksiyaların əl ilə çıxarılması və ya əvvəlcədən emal mərhələlərinə daha az vaxt sərf edilir. Bu, inkişaf proseslərini sürətləndirir və modellərin daha sürətli həyata keçirilməsinə imkan verir.

• Çoxdilli dəstək

BERT və onun müxtəlif versiyaları (məsələn, çoxdilli BERT) bir çox dildə effektiv işləyə bilər. Bu, müxtəlif dillərdə mətni başa düşmək və emal etmək üçün tək bir modeldən istifadə edilməsini təmin edir və beləliklə, NLP həllərinin daha geniş istifadəçilərə çatmasına imkan verir.

• Tətbiqlərin geniş diapazonu

BERT-in çevik strukturu onun geniş tətbiq sahəsinə malik olmasına imkan verir. Axtarış motorlarından söhbət robotlarına, avtomatik tərcümə sistemlərindən məzmun tövsiyə sistemlərinə qədər bir çox fərqli sahədə uğurla istifadə edilə bilər.

• Davamlı Təkmilləşdirmə və Uyğunlaşma

BERT və oxşar modellər daim inkişaf edən və özünü yeniləyən süni intellekt və maşın öyrənməsi tədqiqatlarının məhsuludur. Bu modellər yeni məlumat dəstləri və texnikaları ilə davamlı olaraq inkişaf etdirilə və təkmilləşdirilə bilər, beləliklə, onlar zamanla daha yaxşı versiyada olurlar.

Bert-i bir az da sadələşdirsək, tutaq ki, “gül” sözünü ehtiva edən iki fərqli cümlə var:

1.Küçədə güllər satılır.

2.Uşaqlar gülürlər.

Ənənəvi dil modelləri kontekstdən asılı olmayaraq bu sözün hansı mənada işlədildiyini başa düşməkdə çətinlik çəkə bilər. Bununla belə, iki istiqamətli kontekst təhlili sayəsində BERT hər iki cümlədə “gül” sözünün istifadəsini düzgün başa düşür və axtarış nəticəsin cümləyə uyğun təqdim edir.