INDONESIAONLINE – Kembali, inovasi dari mahasiswa di salah satu perguruan tinggi Kota Malang, Jawa Timur (Jatim) lahir. Inovasi ini dinamakan Machine Learning yang berfungsi untuk mendeteksi dan mengklasifikasikan bahasa isyarat BISINDO (bahasa ibu yang tumbuh secara alami pada kalangan komunitas Tuli di Indonesia).
Inovasi hasil ciptaan Nico Alexander ini merupakan pengembangan dari judul penelitiannya berjudul “Penggunaan Machine Learning dalam Klasifikasi Bahasa Isyarat BISINDO menggunakan Kamera”.
Dalam penelitian ini, dikatakan Nico tidaklah mudah. Sebab, dalam prosesnya haruslah berkomunikasi dan berkolaborasi intens dengan tokoh bahasa isyarat di Kota Malang untuk membuat dataset yang akurat.
Dengan perangkat yang tersambung dengan kamera smartphone, maka akan dideteksi setiap pesan dari setiap gerakan tangan. Untuk itu, kemudian dikumpulkan data berupa foto tangan gerakan bahasa isyarat lalu melakukan ekstraksi koordinat dari foto-foto tersebut.
Dari koordinat tersebut, dihasilkan 21 landmarks pada setiap tangan dengan masing-masing landmark memiliki 3 subkoordinat (x, y, z), yang menghasilkan 63 subkoordinat untuk setiap tangan atau 126 subkoordinat secara keseluruhan.
Setelah subkoordinat didapat, maka hal ini dijadikan dasar sebagai data knowledge untuk pembelajaran machine learning. Data yang diproses kemudian menghasilkan data sebanyak 77.000 class yang kemudian difilter untuk menyesuaikan dengan 127 parameter pada setiap baris data. Hal ini kemudian dijadikan referensi pembelajaran AI.
“Total terdapat 77 kelas kata yang terdiri dari 10 gerakan numerik, 26 alphabet, dan kata-kata yang digunakan sehari-hari,” jelasnya.
Dalam penelitian yang dilakukan selama lima bulan ini, tantangan utama yang dihadapi adalah lebih kepada evaluasi perbandingan antara beberapa model classifier. Selain itu juga yang menjadi tantangan adalah bagaimana untuk mempertahankan kemampuan optimal dari masing-masing classifier tanpa pengurangan ataupun penambahan.
Jumlah data yang begitu banyak juga menjadi tantangan tersendiri. Namun masalah ini dapat diatasi setelah Nico membuat satu pemecahan program otomatis yang membuat pengolahan data semakin cepat.
Adanya gerakan bahasa isyarat yang mirip atau dinamis juga menjadi tantangan tersendiri. Hal inipun dapat diatasi dengan sedikit modifikasi yang dilakukan oleh Nico, sehingga gerakan dapat terdeteksi dengan akurat.
Sementara itu, proyek pengembangan teknologi machine learning yang digarap oleh Nico ini masih dalam tahapan prototipe. Saat ini, prototipenya telah selesai 70 hingga 80 persen dan akan terus dikembangkan.
Dalam proyek ini, Nico didampingi oleh kedua dosen pembimbingnya Prof Dr Eng Romy Budhi Widodo dan Windra Swastika, PhD, serta berkolaborasi dengan tokoh bahasa isyarat dari komunitas Gerkatin di Kota Malang (as/dnv).