İşitme Engelliler İçin İşaret Dili Tanıma Teknolojisi

Haber Özeti

Florida Atlantik Üniversitesi (FAU) araştırmacıları, işaret dili tanıma için Amerikan İşaret Dili (ASL) alfabesindeki jestleri %98 doğruluk oranıyla tanıyabilen bir sistem geliştirdi. MediaPipe ve YOLOv8 teknolojilerinin entegrasyonuyla oluşturulan sistem, el hareketlerini ve jestleri detaylı bir şekilde analiz ederek doğru sınıflandırıyor. Bu teknoloji, işitme engelli bireyler için iletişimi daha kapsayıcı ve erişilebilir hale getirmeyi hedefliyor ve gerçek zamanlı uygulamalarda güçlü bir potansiyele sahip.

İletişim engellerini aşmak için genellikle dil çeviri uygulamaları veya sesli asistanlar üzerinde durulsa da işaret dili kullanan milyonlarca kişi için bu araçlar yeterince etkili olmamaktadır. İşaret dili, sadece el hareketlerinden ibaret değildir; yüz ifadeleri ve beden dili gibi unsurları da içeren zengin ve karmaşık bir iletişim biçimidir. Bu durumu zorlaştıran bir diğer unsur ise, dünya genelindeki işaret dillerinin anlamı iletme biçimlerinin temelde farklı olmasıdır. Örneğin, Amerikan İşaret Dili (ASL), kendine özgü dil bilgisi ve sözdizimine sahiptir ve bu, konuşulan İngilizce ile örtüşmez.

Florida Atlantik Üniversitesi (FAU) Mühendislik ve Bilgisayar Bilimleri Fakültesi'nden bir ekip, işaret dilinin tüm karmaşıklığını bir anda çözmek yerine, önemli bir ilk adım olan ASL alfabesi jestlerini olağanüstü bir doğrulukla tanımaya odaklanmaya karar verdi. Ekip, 29,820 statik görüntüden oluşan bir veri seti oluşturdu. Ancak sadece resim toplamakla kalmadılar; her görüntüyü, elin hareketlerini ve farklı işaretleri oluşturma biçimlerini detaylı bir harita oluşturacak şekilde 21 ana nokta ile işaretlediler.

Bu araştırmaya liderlik eden doktora adayı Dr. Bader Alsharif, “Bu yöntem daha önceki araştırmalarda keşfedilmemişti ve gelecekteki gelişmeler için yeni ve umut verici bir yön sunuyor,” diyor. İşaret dili tanıma sisteminin çalışmasını sağlayan teknolojilerin birleşimine bakalım. İki güçlü aracın sorunsuz entegrasyonu sayesinde bu sistem işliyor: MediaPipe ve YOLOv8. MediaPipe, her ince parmak hareketini ve el pozisyonunu takip edebilen bir uzman gibi çalışıyor. Araştırma ekibi, MediaPipe'ı, elin 21 ana noktasını doğru bir şekilde belirleme yeteneği nedeniyle seçti.

Ancak takip etmek yeterli değil; bu hareketlerin ne anlama geldiğini anlamamız gerekiyor. İşte bu noktada YOLOv8 devreye giriyor. YOLOv8, bu takip edilen noktaları alarak hangi harf veya jesti temsil ettiklerini belirliyor. Araştırmalar, YOLOv8'in bir görüntüyü işlerken, onu S × S ızgarasına böldüğünü ve her ızgara hücresinin kendi sınırları içinde nesneleri (bu durumda el jestlerini) tespit etmekle sorumlu olduğunu gösteriyor.

Sistem, her ızgara hücresinde şu beş değer için tahmin yapıyor: merkez için x ve y koordinatları, genişlik, yükseklik ve bir güven skoru. FAU'daki araştırma ekibi, bu teknolojilerin birleşimiyle, parçaların toplamından daha büyük bir şey yarattıklarını keşfetti. MediaPipe'ın hassas takibi ile YOLOv8'in gelişmiş nesne tespiti, %98 doğruluk oranı ve %99 F1 skoru ile son derece doğru sonuçlar üretti.

Bu sistemin karmaşık işaret dili ile başa çıkma yeteneği özellikle etkileyici. Bazı işaretler, eğitimsiz gözler için çok benzer görünebilirken, sistem ince farklılıkları tespit edebiliyor. Ekip, sistemin günlük durumlarda – farklı aydınlatmalar, çeşitli el pozisyonları ve farklı kişilerin işaret dili kullanımı gibi – iyi çalıştığını belirtti. Dr. Alsharif, “Araştırmamızın sonuçları, modelimizin Amerikan İşaret Dili jestlerini çok az hata ile doğru bir şekilde tespit etme ve sınıflandırma yeteneğini gösteriyor,” diyor.

Bu sistemin başarısı, iletişimi daha erişilebilir ve kapsayıcı hale getirme konusunda heyecan verici olanaklar sunuyor. Ekip, sadece harfleri tanımakla kalmayıp, el şekilleri ve jestlerin daha geniş bir yelpazesini anlamayı hedefliyor. Dr. Alsharif, “Bu çalışmanın bulguları, sistemin sağlamlığını ve pratik, gerçek zamanlı uygulamalarda kullanılma potansiyelini vurguluyor,” diyor.

FAU Mühendislik ve Bilgisayar Bilimleri Fakültesi Dekanı Stella Batalama, “Amerikan İşaret Dili tanıma sisteminin geliştirilmesi, işitme engelli ve işitme zorluğu çeken bireyler için iletişimi geliştirecek araçların yaratılmasına katkıda bulunuyor,” diyor. Bu teknoloji, günlük etkileşimleri daha akıcı ve doğal hale getirmeyi amaçlıyor.

Kaynak: Unite.ai