NLP başlığını görünce “teknik bir yazı daha”” diye düşünüyorsunuz sanırım. Evet, teknik ama düşündüğünüz kadar değil. Bu yazı ile maalesef hemen kod yazmaya, mimari tasarlamaya başlamayacaksınız. O yüzden çayınızı, kahvenizi alıp rahatlamanızı tavsiye ederim. 😊
Film izlemeyi, özellikle de sonunda şaşırtan ve kusursuz senaryoları olanları çok severim. Hele ki senaryosunda açık bulamadığım, sonunda şaşırdığım filmler bulursam çok hoşuma gider. Tanıdıklarım bilir, filmler için “’yumurtaya benzer’ derim; kötüsünü iyi ayırt etmek için hepsini yemeye gerek yok. Festival günlerinde, ilk beş dakikadan sonra Beyoğlu sokaklarına karışmışlığım çoktur. Festival filmleri ise mayın tarlası gibidir, hangisinin neye hitap edeceğini önceden kestirmek zordur.
Arrival, aklımda yer eden filmlerden biri. Bir gün, dünyanın on iki farklı noktasında devasa uzaylı araçları belirir. Dikkat edin, on iki. Tüm dünya bunu bir tehdit olarak algılar ve önlem alır. Farklı olarak Amerikan ordusu bir dil bilimciyi uzaylılarla iletişim kurması için görevlendirir. Dr. Banks, zamanla uzaylıların dairesel alfabesini adım adım çözer. Harf ve kelime kavramları filmde çok güzel kurgulanmış. Hepsi dairesel, belirli yerlerinde uzantılar var. Şöyle bir örnek buldum;
Film boyunca, Dr. Banks bir türlü anlam veremediğiniz çeşitli geri dönüşler (flash back) yaşar. Aslında geri dönüş demek de doğru değil, ileriye dönük görseller görür. Bir kızı olmuştur, en yakın arkadaşı, matematik profesörü ile evlenmiştir. Bir kızı olur ve kızı zaman içerisinde büyür, bir noktada hastalanır, zaman içinde de ölür. ☹ Görüntülere anlam vermek zor, bir günümüzden sahneler, bir gelecekten. Bu arada Doktor yavaş yavaş uzaylıların dillerini öğrenir ve yazışmaya başlar.
Filmin sonunda şunu fark ediyorsunuz; Uzaylıların dilinde zaman kavramı yok, zaman olmadığı için öğrendikçe düşünce yapısı da değişiyor. Zaman tıpkı harflerindeki gibi dairesel. Geçmiş, şimdi ve gelecek aynı anda var oluyor. Bu dilin öğrenilmesiyle düşünce yapısının nasıl değiştiğini görüyorsunuz.
Bunu fark edince aha dedim, bizdeki “bir dil bir insan, iki dil iki insan” gibi. Dil öğrenmek, sadece yeni kelimeler değil, yeni dünyalar keşfetmek demektir. Dil öğrenirken, kendimizi de öğreniriz. Dil, bizim kim olduğumuzu, nereden geldiğimizi ve nereye gittiğimizi anlatır. Dil, bizim varoluşumuzun sesidir.
İnternet üzerinde kaybolmayı sevdiğim için araştırmaya başladım. Sonra da gerçekten dilin insan üzerindeki etkisini anlamaya başladım. Sapir–Whorf hipotezi bakış açımı çok değiştirdi. Özet olarak Sapir–Whorf hipotezi, bir dilin yapısının insanların dünya görüşünü şekillendirdiğini öne sürer. Mesela, Güney Amerika’daki bazı dillerde sağ-sol yerine kuzey-güney kullanılır, bu da yön duygusunu geliştirir. İnsanlar doğal olarak yönleri hep bilirler.
Bütün bunlarla beraber NLP kavramına tekrar bakalım. NLP neydi? Bir bilgisayar programının insan dilini konuşulduğu ve yazıldığı şekliyle anlayabilme becerisi demekti. Henüz insanlar kendi arasında bunu tam çözememişken NLP ne kadar gelişebilir? Acaba zaman içinde NLP dünyası insanların yeni iletişim şekli mi olacak?
Şirket olarak uzmanlığımız Doğal Dil İşleme. Yaptığımız Ar-Ge çalışmalarının ardından, ürünlerimizi ticari alana başarıyla entegre ettik. İlk ürünümüz, her türlü metin belgesindeki Kişisel Verilerin Korunması Kanunu (KVKK) veya Genel Veri Koruma Tüzüğü (GDPR) kapsamındaki bilgileri tespit edip, bu bilgileri maskeleyen bir yapıya sahiptir ve yaklaşık iki yıldır ISDD markası altında satılmaktadır.
İkinci ürünümüz olan Intelivus, veri yakalama (Intelligent Document Processing) alanında yenilikçi bir çözümler sunmaktadır. Bu ürün, yapısal (örneğin, başvuru formları) ve yapısal olmayan (serbest yazılmış metinler gibi) tüm belgelerdeki verileri kolaylıkla işleyebilmekte, gerektiğinde iş emirleri oluşturabilmektedir. Geleneksel ICR/OCR teknolojilerine ve görüntü işleme algoritmalarına duyulan ihtiyacı ortadan kaldıran bu sistem sayesinde, örneğin bankalara gelen faks talimatlarının iş emrine dönüştürülmesi veya sigorta şirketlerine gelen belgelerin ayrıştırılması gibi işlemler çok daha basit hale gelmiştir.
Üçüncü ürünümüz QueryInsight ise, şirketlerin kendi sınırlı içerikleri üzerinde etkili soru-cevap işlemleri gerçekleştirmelerini sağlayan bir platformdur. Bu ürün, son zamanlarda hızla gelişen Retrieval Augmented Generation (RAG) mimarisine dayanır. Bu mimari, büyük dil modellerinin gücünden yararlanırken, özel verileri isteğe bağlı olarak entegre etme ve güncelleme imkanı sunar. Böylece, daha doğru, tutarlı ve zengin metinler üretilir. RAG’ın temel bileşenleri şunlardır:
• Retriever: Bu bileşen, veri kaynaklarından ilgili bilgileri almak için kullanılır. Alınan bilgiler çeşitli işlemlerden geçirilerek vektörlere çevrilir. Filmimizdeki Dr. Banks, uzaylıların alfabesini almak için bir Retriever görevi görür. Uzaylıların yazdığı sembolleri kaydeder, analiz eder ve anlamlandırır.
• Generator: Bu bileşen, alınan bilgileri kullanarak metin üretmek için kullanılır. Üretilen metin, dil modelinin öğrendiği genel bilgi ve alınan özel bilginin bir karışımıdır. Üretim süreci, olasılık dağılımı ve dikkat mekanizması gibi tekniklerle yönlendirilir. Yine Dr. Banks, daha önce alarak anlamlandırdığı verilerden kendi dil bilgisini ve kültürel bağlamını kullanarak metin üretmek için bir Generator görevi görür. Uzaylılara sorular sorar, cevaplar alır ve iletişimi geliştirir. Bu adımda dil modeli de güncellenir ve uzaylıların dilinin özelliklerini öğrenir.
Tabii ki soru sormasını bilmek de çok önemli. Şirket içinde yaptığımız ilk beta çalışmasında “soru sormayı bilmediğimizi” gördük. Bu sadece bize özgü bir durum da değil. Tüm dünya soru sorma konusunda yeterli değil. Sorulan sonunun zenginleştirilmesi, olası alt metin sorularının da üretilmesi için bir dil modelini sisteme dahil ettik. Bu arada geleceğin mesleği olarak ortaya çıkanlardan birisi de “Prompt engineering”. Kısaca soru sorma sanatı da diyebiliriz.
Ürün mimarisindeki önemli başlıklar şunlar;
1. Kurumun kendi sunuları üzerinde bir LLM çalışıyor. İhtiyaç duyulan kaynak ise çok sıradan. Bu nedenle hiçbir bilgi kurum dışına çıkmıyor.
2. Kendi belirlediğiniz içerik üzerinden soru-cevap yaptığınız için tatmin edici sonuçlar alabiliyorsunuz
3. Mimari, hangi cevabı, hangi dokümanın, hangi sayfasından ürettiğini de ekranda gösteriyor. Son kullanıcı dilerse dokümana direk erişebiliyor.
4. Her ihtiyaca cevap verebilecek bir yetkilendirme mimarisi var. Kullanıcı sadece kendi yetkisindeki içerik üzerinden soru cevap yapabiliyor.
5. Bir API katmanına sahip. Her türlü ara yüz ile bütünleşik çalışabilecek fonksiyonların tamamı mevcut.
Örnekler üzerinden gidersek sanırım fayda daha kolay ortaya çıkacak;
Tüm IK prosedürlerinizle sınırlı bir içeriğiniz olduğunu düşünelim. Bu içerik üzerinde sorduğunuz soruların, ya tam cevabı olabilir veya hiç cevap alamazsınız. Veya ISO 9001/27001 gibi prosedürlerinizden bir içerik oluşturup onun üzerinden de soru-cevap yapmak son derece kolay.
İmalat sektöründeki problemlerden birisi de milyonlarca dolar vererek alınan makineler. Sorun durumunda genelde ne yapılacağı bilinmiyor. Kılavuzlar üzerinden artık soru cevap yapabilirsiniz. Yine ürün yelpazesi çok geniş olan firmalar tüm ürünlerin kılavuzlarından oluşan bir sorgu bankası oluşturabilir.
Müşteri şikayetlerinde ve çağrı merkezlerinde de aynı mimariyi kullanmak mümkün. Daha önce verilmiş cevaplar, oluşturulmuş prosedürler, hazır kılavuzlar üzerinden de soru sormak mümkün.
QueryInsight, dağınık kurumsal içerikleri sorgulanabilir ve erişilebilir hale getirerek, kurumların kendi bilgi birikimlerinden en iyi şekilde yararlanmalarını sağlamaktadır.
Sizin dokümanlarınız, sizin veriniz, sizin hafızanız. Artık hepsi yanı başınızda…
Son bir not eklemek istiyorum;
Önümüzdeki dönemde, belirleyeceğiniz veri tabanı tabloları üzerinde soru-cevap mimarisi kurmayı hedefleyen yeni bir ürünle hizmet yelpazemizi genişletmeyi planlıyoruz.
Gürcan Yücel CTO – PaperWork
