Google’ın yapay zekâ robotu Med-PaLM’ın tıp bilgisi doktorlarla aynı oranda doğru çıktı

Google’ın yapay zekâ robotu Med-PaLM’ın tıp bilgisi doktorlarla aynı oranda doğru çıktı

MedPaLM, tıbbi alanla uyumlu açık kaynaklı büyük bir dil modelidir.

Google Research ve DeepMind kısa süre önce tıp alanıyla uyumlu, açık kaynaklı büyük bir dil modeli olan MedPaLM‘yi piyasaya sürdü.

Med-PaLM’ın tıp bilgisi doktorlarla aynı oranda doğru çıktı

Med-PaLM şu anda özellikle Flan-PaLM ile karşılaştırıldığında özellikle iyi performans gösterdiğini iddia ediyor. Bununla birlikte, yine de bir tıp uzmanının kararından daha iyi performans göstermesi gerekiyor. Şimdiye kadar bir grup sağlık uzmanı, Med-PaLM yanıtlarının %92,6‘sının doktorlar tarafından oluşturulan yanıtlarla (%92,9) aynı olduğunu belirledi.

Eğitimli sohbet robotundan gelen zararlı tavsiyelerin yüzdesi de gerçek doktorlar tarafından sağlanan potansiyel zararlı tavsiyelerin yüzdesiyle aynı çıktı.

Çevrimiçi olarak aranan tıbbi soruların yeni bir ücretsiz yanıt veri kümesi olan HealthSearchQA‘yı profesyonel tıbbi muayeneleri, araştırmaları ve tüketici sorgularını kapsayan altı mevcut açık soru yanıtlama veri kümesiyle birleştiriliyor.

MedPaLM, çoktan seçmeli soruları ve çeşitli veri setlerinin teslimi yoluyla tıp uzmanları ve profesyonel olmayan kişiler tarafından yöneltilen soruları ele alıyor. Bu veri kümeleri MedQA, MedMCQA, PubMedQA, LiveQA, MedicationQA ve MMLU‘dan gelmekte olup MultiMedQA‘yı iyileştirmek için HealthSearchQA adlı, derlenmiş, sık aranan tıbbi sorgulardan oluşan yeni bir veri kümesi de eklendi. 

HealthsearchQA veri seti, 3.375 sık sorulan tüketici sorusundan oluşuyor. Tohum tıbbi teşhisleri ve bunlarla ilgili semptomlar kullanılarak toplanan bu model, MultiMedQA kullanarak LLM‘leri değerlendirmek için 540 milyar parametreli bir LLM olan PaLM ve onun komut ayarlı varyasyonu Flan-PaLM üzerinde geliştirilmiştir. 

Med-PaLM şu anda özellikle Flan-PaLM ile karşılaştırıldığında daha iyi performans gösterdiğini iddia ediyor.

Geçen hafta yayımlanan makale, Med-PaLM adlı robotun yanılma payının da doktorlarla hemen hemen aynı oranda olduğunu gösterdi.