Google’ın yapay zekâ robotu Med-PaLM’ın tıp bilgisi doktorlarla aynı oranda doğru çıktı
MedPaLM, tıbbi alanla uyumlu açık kaynaklı büyük bir dil modelidir.
Google Research ve DeepMind kısa süre önce tıp alanıyla uyumlu, açık kaynaklı büyük bir dil modeli olan MedPaLM‘yi piyasaya sürdü.
Med-PaLM’ın tıp bilgisi doktorlarla aynı oranda doğru çıktı
Med-PaLM şu anda özellikle Flan-PaLM ile karşılaştırıldığında özellikle iyi performans gösterdiğini iddia ediyor. Bununla birlikte, yine de bir tıp uzmanının kararından daha iyi performans göstermesi gerekiyor. Şimdiye kadar bir grup sağlık uzmanı, Med-PaLM yanıtlarının %92,6‘sının doktorlar tarafından oluşturulan yanıtlarla (%92,9) aynı olduğunu belirledi.
Excited to share Med-PaLM, a large language model aligned to the medical domain to generate safe and helpful answers.
— Shek Azizi (@AziziShekoofeh) December 27, 2022
Our work advances SOTA in 7 medical question-answering tasks, including achieving 67% on MedQA USMLE improving prior work by >17%.https://t.co/FSSpzATotz pic.twitter.com/B0rvtUEysV
Eğitimli sohbet robotundan gelen zararlı tavsiyelerin yüzdesi de gerçek doktorlar tarafından sağlanan potansiyel zararlı tavsiyelerin yüzdesiyle aynı çıktı.
Çevrimiçi olarak aranan tıbbi soruların yeni bir ücretsiz yanıt veri kümesi olan HealthSearchQA‘yı profesyonel tıbbi muayeneleri, araştırmaları ve tüketici sorgularını kapsayan altı mevcut açık soru yanıtlama veri kümesiyle birleştiriliyor.
MedPaLM, çoktan seçmeli soruları ve çeşitli veri setlerinin teslimi yoluyla tıp uzmanları ve profesyonel olmayan kişiler tarafından yöneltilen soruları ele alıyor. Bu veri kümeleri MedQA, MedMCQA, PubMedQA, LiveQA, MedicationQA ve MMLU‘dan gelmekte olup MultiMedQA‘yı iyileştirmek için HealthSearchQA adlı, derlenmiş, sık aranan tıbbi sorgulardan oluşan yeni bir veri kümesi de eklendi.
HealthsearchQA veri seti, 3.375 sık sorulan tüketici sorusundan oluşuyor. Tohum tıbbi teşhisleri ve bunlarla ilgili semptomlar kullanılarak toplanan bu model, MultiMedQA kullanarak LLM‘leri değerlendirmek için 540 milyar parametreli bir LLM olan PaLM ve onun komut ayarlı varyasyonu Flan-PaLM üzerinde geliştirilmiştir.
Med-PaLM şu anda özellikle Flan-PaLM ile karşılaştırıldığında daha iyi performans gösterdiğini iddia ediyor.
Geçen hafta yayımlanan makale, Med-PaLM adlı robotun yanılma payının da doktorlarla hemen hemen aynı oranda olduğunu gösterdi.
