Çox Mənalı Sözlərin Fərqləndirilməsi. “Context Vectors”

Çox Mənalı Sözlərin Fərqləndirilməsi. “Context Vectors”

Axtarış nəticələrinin düzgün və dəqiq olması istifadəçilərin əsas gözləntilərindəndir. Bu səbəbdən də onlar axtarışlar edərkən adətən sadə açar sözlərdən deyil, uzun cümlələrdən, daha mürəkkəb ifadələrdən istifadə edirlər. Mürəkkəb sözlər və ifadələr axtarılan mövzunun mahiyyətini konkret özündə əks etdirir və sadə açar sözlərdən daha çox dəqiq nəticələrin ilk sırada olmasına imkan yaradır. 

 

Sadə açar sözlərini axtarış motorları rahatlıqla anlasa da, geniş kontekstdən ibarət olan ifadələrin dəqiq başa düşülməsi axtarış motorları üçün olduqca çətindir. Çünki dilimizdə omonim və çoxmənalılığı olan bir çox söz var. Həmin sözlərisə axtarış motorları ayırmaq üçün əlavə alqoritmlərin köməkliyinə ehtiyac duyur.

 

Belə olduğu halda, “Google”un “Context Vectors” texnologiyası axtarış sistemlərinin mürəkkəbliyinə və sözlərin çox yönlülüyünə diqqət yetirmək üçün süni intellekt və maşın öyrənməsinin ən son yeniliklərdən istifadə etməyə başlayır.

 

Haqqında danışacağım bu texnologiya axtarış sorğularını daha dərindən başa düşmək və istifadəçilərin axtardıqları ehtiyaclarına daha uyğun nəticələr təqdim etmək üçün nəzərdə tutulub.

 

Kontekst vektorları alqoritmi necə çalışır?

 

Kontekst vektorları texnologiyasının əsasını söz və ifadələrin vektorlara çevirməsi təşkil edir. Bu çevrilmə prosesi riyazi formatda hər bir sözün semantik zənginliyini və onun istifadə olunduğu müxtəlif kontekstlərdəki mənalarını əks etdirir. Vektorlar sözlər arasındakı əlaqələri və oxşarlıqları ədədi şəkildə ifadə edir, daha sonra alqoritm kontekstinə əsasən sözün ən uyğun mənasını müəyyən edə bilir.

 

Bəs bu proses necə baş verir? Gəlin gedişatla tanış olaq.

 

  • Vektorlaşdırma prosesi və “semantic space”

 

Vektorlaşdırma prosesi təbii dil emalı (NLP) və maşın öyrənmə üsullarından istifadə edərək söz və ifadələri riyazi vektorlara çevirir. Yəni, hər bir söz “semantic space”də bir nöqtə kimi təmsil olunur. Bu semantik məkanda hər ölçü sözün semantik xüsusiyyətlərindən birini ifadə edir. 

 

Sözlərin semantik oxşarlıqları bu məkanda ölçülə bilən məsafələrə çevrilir. Məsələn, “gül” sözü həm bitkiyə, həm də mimikaya aid ola bilər və bu müxtəlif istifadələr semantik məkanda fərqli nöqtələrlə işarələnir ki, ayırmaq mümkün olsun. 

 

  • Kontekst və semantik əlaqələrin təhlili

 

Kontekst vektorları alqoritmi istifadəçi sorğusunu qəbul etdikdə, sorğunu təşkil edən söz və ifadələrin kontekstini başa düşmək üçün dərin təhlil aparır. Bu təhlil sorğudakı hər bir sözün digər sözlərlə semantik əlaqəsini araşdırır. Bu proses sorğudakı digər sözlərlə əlaqəsi əsasında sözün nə demək olduğunu müəyyən etməyə kömək edir.

 

Yəni, "gül" sözünün yanında "qırmızı" sözü varsa, alqoritm "gül"ün bitki kontekstində, qırmızı rəngdə güllər kimi istifadə edildiyini başa düşür. 

 

  • Məna və uyğunlaşma prosesinin müəyyən edilməsi

 

Alqoritm kontekst təhlili nəticəsində əldə edilən məlumatlardan istifadə etməklə sorğu şərtlərinin mənasını müəyyən edir. Bu mərhələdə sorğu şərtlərinin vektorları məlumat bazasındakı məzmunun vektorları ilə müqayisə edilir. Bu müqayisə sorğu şərtlərinin hansı məzmunla ən yüksək semantik uyğunluğu göstərdiyini müəyyən etmək üçün aparılır. “Semantic space”də sorğu şərtləri ilə əlaqəli məzmunun vektorları arasındakı məsafə yaxınlığı bu uyğunluğun nə qədər güclü olduğunu göstərir. 

 

Axtarış nəticələrində yüksək uyğunluq dərəcəsi olan kontentlər istifadəçinin qarşısına çıxarılır. 

 

Bu proses nəticəsində istifadəçiyə təqdim olunan axtarış nəticələri sorğunun konteksti və semantik mənası nəzərə alınmaqla optimallaşdırılır. 

 

Alqoritmin üstünlükləri

 

  • Konteksti anlamaq bacarığı. Alqoritm söz və ifadələrin istifadə olunduğu konteksti başa düşür və beləliklə daha dəqiq nəticələr verir.
  • İstifadəçi niyyətinin aşkarlanması. İstifadəçilərin axtarışlar vasitəsilə nə tapmaq istədiklərini aşkar edir və axtarış nəticələrini bu niyyətə uyğun formalaşdırır.
  • Semantik oxşarlıqlardan istifadə. Sözlər və ifadələr arasında semantik oxşarlıqları qiymətləndirərək, mövzu ilə bağlı ən uyğun məzmunu müəyyən edir.
  • Hərtərəfli məlumat girişi. Geniş məlumat bazasından müvafiq məlumatı seçməklə istifadəçilərə dərin məlumat əldə etmək imkanı verir.
Muzaffar Garakhanli

Other articles

“Semantic Relevance”nin Axtarış Nəticələrinə Təsiri

“Semantic Relevance”nin Axtarış Nəticələrinə Təsiri

"Google Knowledge Graph" Uzlaşdırması Və Əsas Vahidi

"Google Knowledge Graph" Uzlaşdırması Və Əsas Vahidi

Azercell Social Media Analysis (2020)

Azercell Social Media Analysis (2020)