Ankara'daki iki üniversite öğrencisi, konuşma engelli bireylerin iletişimini kolaylaştırmak için çığır açan bir projeye imza attı. Başkent Üniversitesi Elektrik-Elektronik Mühendisliği bölümü öğrencileri Doğa Altınsel ve Naz Gökoğuz, işaret dili hareketlerini gerçek zamanlı olarak Türkçe sese ve yazıya dönüştüren akıllı bir eldiven geliştirdi.
Proje, üniversitede birincilikle ödüllendirildi ve TÜBİTAK desteğiyle daha da geliştirildi. Giyilebilir teknolojinin bu önemli adımı sayesinde, "Talk to Text" (konuşma metni) adı verilen bu eldiven, kullanıcıların ifadelerini anında sesli olarak dışa aktarırken, aynı zamanda yazıya da döküyor. Böylece iletişim engelleri ortadan kalkıyor, konuşma engelli bireylerin toplumsal yaşama katılımı kolaylaşıyor.
Peki, bu eldiven nasıl çalışıyor ve gelecekte ne gibi özellikler eklenecek? Öğrenciler, yapay zekâ modeli kullanarak eldivene işaret dilini öğrettiklerini ve şu an için 15 kelimeyi yüzde 89 doğrulukla tanıyabildiğini belirtiyor. Projenin geliştirilerek daha fazla kelime ve kelime kalıbı eklenmesi hedefleniyor.
'OKUMA-YAZMA ÖĞRETİR GİBİ İŞARET DİLİNİ ÖĞRETTİK'
Öğrencilerden Doğa Altınsel, konuşma engelli bireylerin işaret diliyle konuştukları için sürekli elleriyle hareket ettiklerini söyleyerek, "Biz de bu projeyi nasıl entegre edebileceğimizi, onlara nasıl yardım edebileceğimizi düşündük ve böyle bir proje geliştirdik. Projemizde bir eldiven üzerine, birtakım sensörler yerleştirdik. Bu sensörlerden aldığımız verilerle bir yapay zeka modeli hazırladık.
Kendi veri setimizi oluşturduk. Modeli eğiterek kelimeleri tanıttık. Eldiveni elimize takıp normal bir çocuğa okuma yazmayı öğretir gibi eldivene de işaret dilini öğrettik. Şu anda 15 kelimeyi söyleyebiliyor. Belli kelime kalıplarını sürekli olarak tanıttık. Denemelerimiz sonucunda bir veri seti elde ettik. Veri setine etiketlemeler yaptık ve yüzde 89 doğruluk oranında çalışan bir eldiven ürettik. Biz bu proje ile toplumsal fırsat eşitliğini yakalamak istedik. Eğitimde, sağlıkta, konuşma engelli bireyleri hayata katmak için bu projeyi yaptık" dedi.
'HEM YAZIYOR, HEM KONUŞUYOR'
Altınsel, konuşma engelli bireylerin çoğunun aynı zamanda işitme engelli olduklarını belirterek, "O yüzden eldiven hem yazıyor, hem de konuşuyor. Sizin sesinizi yazıya çeviriyor, benim el hareketlerimi de sese çeviriyor. Bu projenin ergonomik olması çok önemli. Çünkü günlük yaşantıda kullanılacak, sürekli insanların ellerinde olacak. Onun için olabildiğince hafif malzemeler kullanmaya çalıştık. Eldivende çok rahat nefes alabilir eller. Eldiveni kullanmadıkları zaman yanında bir açma kapama tuşu var. Oradan kapatmaları gerekiyor. El herhangi bir şekilde sallandığında o anda veriler alıyor. O verilerle tahmin yürütüp bir ses çıkarabilir. O yüzden kullanılmadığında kapatılması gerekiyor. Onun dışında da kullanıcıların yanlarında powerbank gibi bir batarya taşımaları gerekiyor" diye konuştu.
Öğrencilerden Naz Gökoğuz ise daha fazla kelime ve kelime kalıpları ekleyip, projeyi geliştireceklerini de söyledi.