Duygu Analizi Tabanlı Bilgi Erişim Sistemi ile Çalışan Bağlılığını Ölçümleyin

Bir bilgi erişim (BE) sisteminin temel amacı, kullanıcıların ihtiyaç duydukları bilgilere en tutarlı ve hızlı şekilde yanıt almalarının sağlanmasıdır. Çalışan bağlılığını anketler aracılığıyla ölçen uygulamalar da, aslında, sahip oldukları birtakım ek özelliklere bağlı olarak BE sistemleri kapsamında ele alınabilirler.

Huawei Türkiye tarafından geliştirilen WeFocus’un doğal dil işleme (DDİ) altyapısı ile uygulamaya girilen geri bildirimler, çalışan bağlılığı kapsamında yapılandırılmakta ve kullanıcıların kritik olabilecek bilgilere erişimi kolaylaştırılmaktadır. Daha açık bir ifadeyle, geri bildirimlerde geçen öncelikli olabilecek konu ve unsurların, duygu analizi (sentiment analysis) çerçevesinde değerlendirilip ilgili metinlerin kullanıcılara sunulması amaçlanmaktadır.

DDİ literatüründe en çok çalışılan problemlerin başında gelen duygu analizinde amaç, bir metnin belirli bir alan veya konu dahilinde içerdiği duygu durumunun tespit edilmesidir. Duygu analizi, geleneksel olarak, negatif ve pozitif olmak üzere ikili sınıflandırmaya dayalı olsa da, bunlara nötr ve katışık (hem negatif hem pozitif) sınıfları gibi ihtiyaca yönelik eklemeler yapılabilmektedir. Şüphesiz ki, araştırmacıları bu yönde çalışmaya iten hususlardan biri de, endüstride katma değer yaratabilecek kullanım senaryolarının olmasıdır. Ancak, başarılı bir duygu analizi modelinin oluşturulmasının önüne çıkabilecek birtakım zorluklar bulunmaktadır:

• Çoğunlukla denetimli makine öğrenmesi çerçevesinde eğitilen duygu analizi modelleri, eğitildiği alana (domain) özellikle bağlı olup alan dışı (out-of-domain) girdilere uygulandığında başarı oranlarının önemli ölçüde düşmesi söz konusu olmaktadır. Bu durum, aslında, duygu-durum ayrımını sağlayan özniteliklerin alana göre kayda değer derecede farklılık göstermesinden kaynaklanmaktadır. Örneğin, ürün yorumlarının analiz edildiği bir platformda, içinde “küçük” kelimesi geçen bir yorum ürünün beklenen özelliklerine göre pozitif veya negatif bir çağrışım taşıyabilir. Dolayısıyla, özellikle kaynak çeşitliliğinin fazla olduğu durumlarda, tek bir alanda eğitilen duygu analizi modellerinin istenen ölçüde başarılı olmaması muhtemeldir.
• Girdilerin yalnızca pozitif veya negatif olarak sınıflandırılması, endüstriyel ihtiyaçların karşılanması yönünde yetersiz kalabilmektedir. Bu bağlamda, metinlerin duygu-durum derecelerine göre sıralanabilmesi (ranking) ve hedef-tabanlı (aspect-based) yaklaşımların uygulanması gibi tamamlayıcı özellikler de ihtiyaç dahilinde olabilmektedir.

WeFocus’un İngilizce ve Türkçe destekli duygu analizi bileşeni, denetimsiz alan uyarlama (unsupervised domain adaptation) algoritmalarıyla, farklı kaynaklardan gelen metinlerde benzer başarım oranlarını koruyacak şekilde geliştirilmiştir. Bu sayede, farklı müşterilerden gelen muhtelif konularda yazılmış geri bildirimlere, topluluk öğrenmesi temelli alan uyarlama algoritması uygulanarak oldukça maliyetli olan etiketleme sürecine tabi kalınmadan tatmin edici sonuçlar elde edilmiştir. Ayrıca, geliştirilen alana uyarlanmış sınıflandırıcı, metinlerin ne derece negatif veya pozitif olduğu bilgisini de niceliklendirebilmektedir. Böylece, kullanıcılar, geri bildirimleri sahip oldukları duygu-durum sınıflarına göre filtreleyip ağırlıklarına göre sıralayabilirler. Belirli bir anket dahilinde çalışanlarca girilmiş geri bildirimlerden en pozitif olanlarının filtrelendiği durum örnek olarak gösterilmiştir (Grafik-1).

Bunun yanı sıra, geri bildirimler içinde geçen kelimeler de, sahip oldukları negatif veya pozitif duygu durum ağırlıkları ile kullanım sıklıklarının birlikte özetlendiği bir grafikte kullanıcılara sunulur. Burada amaçlanan, hedef-tabanlı duygu analizinde olduğu gibi, elde edilen duygu-durumlarının hangi varlık, konu ve eylemlerle ilişkili olduğunu tespit etmektir. Denetimli (supervised) makine öğrenmesine dayalı olan, hedef varlıkların önceden belirlenmesi ve etiketlenmesini gerektiren hedef-tabanlı duygu analizinin aksine, bir metin havuzundan çıkarsanan anahtar kelimelerin (keyword) ve konuların (topic) duygu-durumlarının bir grafikte özetlendiği denetimsiz (unsupervised) bir yaklaşım benimsenmiştir. Bu yöntemin avantajı, alana uyarlama gerektirmemesi ve çeşitli sorgular sonucu toplanmış her türlü metin topluluğuna kolaylıkla uygulanabilmesidir.

Grafik vasıtasıyla çalışanların en çok hangi konularda şikayet veya memnuniyet gösterdikleri görülür ve ilgili geri bildirimlere tam-metin arama özelliği ile kolaylıkla erişilebilir. Bu analiz, uygulamanın esnek sorgu şeması sayesinde hem anketler bazında, hem de farklı departman ve çeşitli etken grupları dahilinde gerçekleştirilebilmektedir. Belirli anket dahilinde girilen geri bildirimlerden çıkarılan kelime ve konuların özetlendiği bir duygu-durum grafiği örnek olarak verilmiştir (Grafik-2).

Şekil üzerinde gösterilen kelimelerin, ne kadar solda yer alıyorsa o kadar yüksek derecede negatif, ne kadar sağda yer alıyorsa da o kadar yüksek derecede pozitif bağlamlarda kullanıldığı bilgisi elde edilmektedir ve renklendirme de bu doğrultuda uygulanmıştır. Kelimelerin bulunduğu baloncukların büyüklüğü ise kullanım sıklığı ile orantılıdır. Kullanıcı, kelime sıklığı ve kutupluluk (polarity) derecelerine göre filtreleme yapabilir ve daha detaylı incelemek istediği bölgelere yoğunlaşabilir (Grafik-3).

Sonuç olarak, tek tek incelenmesi elverişli olmayan çok sayıda geri bildirimin önem arz eden noktalarına hızlı bir şekilde erişim sağlanır. Grafikte gösterilen kelime ve konuların geçtiği ilgili geri bildirimler, uygulamanın tam-metin arama (full-text search) özelliği vasıtasıyla kolaylıkla elde edilip değerlendirilebilir. Burada örneklendirildiği gibi, WeFocus’un özelleştirilmiş bir BE sistemi olarak ele alınmış olması, özünde, çalışan bağlılığını etkileyen unsurların kolayca belirlenmesi ve ilgili geri bildirimlere hızlı bir şekilde erişimin sağlanması amacıyla ilişkilidir. Böylece, şirketler aksiyon alma sürecine geçmeden önce hızlı bir şekilde kapsamlı çıkarımlar yapabilir ve bu doğrultuda isabetli kök neden analizleri oluşturabilirler.

Not: Bu içerik Huawei Türkiye ArGe Merkezi tarafından TRAI için yazılmıştır. 

İlgili Yazılar

Yapay Zekanın Son Durağı: Çalışan Bağlılığı