Implementasi convolutional neural network pada pengenalan isyarat tangan untuk komunikasi tuna wicara

Hasbi Ardianto Pratama(1*)


(1) 
(*) Corresponding Author

Abstract


Penelitian ini bertujuan untuk mengembangkan sistem pengenalan bahasa isyarat menggunakan metode Convolutional Neural Network (CNN) guna menerjemahkan isyarat tangan menjadi teks. Sistem ini diharapkan dapat memfasilitasi komunikasi antara orang yang tidak menggunakan bahasa isyarat dengan penyandang disabilitas. Dataset yang digunakan dalam penelitian ini adalah dataset MNIST yang telah dimodifikasi untuk bahasa isyarat, di mana setiap gambar merepresentasikan huruf dalam abjad menggunakan isyarat tangan. Proses penelitian meliputi preprocessing data, augmentasi data, pembagian data menjadi data pelatihan dan pengujian, serta pelatihan model menggunakan framework TensorFlow. Model CNN yang dihasilkan terdiri dari beberapa lapisan, termasuk Convolutional Layer, Max Pooling Layer, dan Fully Connected Layer. Hasil penelitian menunjukkan bahwa sistem pengenalan bahasa isyarat yang dikembangkan memiliki akurasi terbaik sebesar 98%. Tingkat akurasi ini dipengaruhi oleh nilai learning rate, tingkat kerapian pola bahasa isyarat, jumlah dataset, dan arsitektur model CNN yang digunakan. Penelitian ini menunjukkan bahwa CNN sangat efektif untuk tugas pengenalan bahasa isyarat. Untuk pengembangan lebih lanjut, disarankan untuk menerapkan teknik preprocessing dan ekstraksi fitur tambahan, menggunakan teknik segmentasi untuk memproses pola isyarat yang bersambung, mengeksplorasi teknik Deep Learning lainnya seperti RCNN, Faster R-CNN, dan GAN, memperkaya dan memvariasikan data latih, serta menggunakan perangkat keras dengan spesifikasi tinggi untuk mempercepat proses pelatihan dan pengujian. Dengan demikian, sistem pengenalan bahasa isyarat ini dapat terus ditingkatkan dan diaplikasikan secara luas untuk membantu komunikasi penyandang disabilitas.

Full Text:

PDF

References


Apa itu Jaringan Neural? - Penjelasan tentang Jaringan Neural Artifisial - AWS https://aws.amazon.com/id/what-is/neural-network/ aws.amazon.com

Apa itu Machine Learning? Beserta Pengertian dan Cara Kerjanya - Dicoding Blog https://www.dicoding.com/blog/machine-learning-adalah/ www.dicoding.com

Hibatullah, A. (2019). Penerapan Metode Convolutional Neural Network Pada Pengenalan Pola Citra Sandi Rumput (Doctoral dissertation, Universitas Komputer Indonesia).

Lei, X., Pan, H., & Huang, X. (2019). A dilated CNN model for image classification. IEEE Access, 7, 124087-124095.

MNIST Dataset in Python - Basic Importing and Plotting | DigitalOcean https://www.digitalocean.com/community/tutorials/mnist-dataset-in-python www.digitalocean.com

Pengaplikasian CNN dalam Image Processing dan Face Recognition https://blog.algorit.ma/cnn-image-processing-face-recognition/ blog.algorit.ma

Pengertian dan Cara Kerja Algoritma Convolutional Neural Network (CNN) - Trivusi https://www.trivusi.web.id/2022/04/algoritma-cnn.html www.trivusi.web.id

Pengolahan Citra Digital: Konsep dan Teknik https://binus.ac.id/malang/2023/07/pengolahan-citra-digital-konsep-dan-teknik/ binus.ac.id

Sign Language MNIST https://www.kaggle.com/datasets/datamunge/sign-language-mnist www.kaggle.com

TensorFlow https://www.tensorflow.org/www.tensorflow.org

Q. Song, H. Ge, J. Caverlee, and X. Hu, “Tensor completion algorithms in big data analytics,” arXiv, vol. 13, no. 1, 2017.


Article Metrics

Abstract view : 177 times
PDF - 40 times

DOI: https://doi.org/10.26714/jkti.v2i2.13931

Refbacks

  • There are currently no refbacks.


=======================================================================================

Penerbit:

  • JKTI | Jurnal Komputer dan Teknologi Informasi
  • Program Studi S1 Informatika,  Unimus| Universitas Muhammadiyah Semarang
  • Sekretariat: Gedung Kuliah Bersama II (GKB II) Lantai 7,  Jl. Kedungmundu Raya No 18 Semarang
  • email: [email protected], Phone: + +62 813 2504 3677
  • e-ISSN: 2986-7592

Paper Template: Download

View My Stats

------------------------------------------------------------------------------------------------------------------------------------------------------