Kecil, cepat, dan jujur soal batasnya.

Di balik layar

1. MediaPipe Hand Landmarker menemukan sampai dua tangan di tiap bingkai video dan menandai 21 titik sendi di masing-masing tangan, lengkap dengan kedalamannya.
2. Titik-titik itu dinormalkan: digeser dan diskalakan, jadi posisi dan jarak tanganmu ke kamera nggak berpengaruh. Hasilnya 126 angka per bingkai (2 tangan × 21 titik × 3 sumbu).
3. Jaringan saraf kecil di TensorFlow.js membaca 126 angka itu dan menghitung peluang tiap huruf A sampai Z.
4. Peluangnya dihaluskan antarbingkai supaya nggak berkedip. Huruf baru ditulis setelah bentuknya stabil sekitar 0,3 detik, dan jeda tanpa tangan jadi spasi.

Nggak ada satu langkah pun yang butuh server. Model pelacak tangan berukuran sekitar 7,8 MB dan model huruf cuma sekitar 0,3 MB, jadi keduanya bisa jalan lancar di laptop dan ponsel biasa. Detailnya ada di Privasi.

Seberapa akurat

Model dilatih dan diuji dengan membagi foto per kelompok: satu foto asli dan semua variasi augmentasinya selalu masuk ke bagian yang sama, jadi model nggak pernah “menyontek” foto yang mirip saat diuji. Dari foto yang tangannya berhasil dideteksi, 4.033 dipakai untuk latihan, 556 untuk validasi, dan 1.168 untuk uji.

• 87,2% benar pada 265 foto asli yang ditahan untuk uji, dan 85,1% bila varian augmentasinya ikut dihitung.
• Pelacak menemukan tangan pada 1.290 dari 1.400 foto asli (92,1%), atau 71,6% dari seluruh 8.040 foto termasuk augmentasi.
• Huruf paling kuat di data uji: Z, J, dan X (96% ke atas).
• Huruf paling lemah: M (60%), D (69%), dan B (75%). Kalau huruf ini sering meleset, itu bukan salahmu.

Penting: angka ini diukur pada foto, bukan kamera langsung, dan bukan pada orang yang belum pernah dilihat model. Di dunia nyata, cahaya, latar, dan sudut kamera bisa membuat hasilnya lebih rendah.

Datanya dari mana

Bentuk tangan dan data latih berasal dari BISINDO DATASET karya Arya Raden dan Muhammad Asshafi (Mendeley Data, versi 1, DOI 10.17632/4xnkvr88tk.1), berlisensi CC BY 4.0: 1.400 foto asli abjad A–Z dari tujuh peserta, ditambah variasi augmentasinya sampai total 8.040 foto.

Model tangan 3D berasal dari WebXR Input Profiles (W3C Software License). Pose tiap huruf kami susun manual dengan mencocokkan bagan abjad BISINDO dan foto dataset, lalu diperiksa satu per satu supaya jari-jarinya nggak saling tembus.

Soal desainnya

Warna utamanya merah bendera. Motif yang kamu lihat di latar diambil dari batik Nusantara: kawung di panggung tangan, parang sebagai tekstur halus, dan mega mendung khas Cirebon di bagian penutup. Semuanya dipakai hemat, sebagai tanda bahwa alat ini dibuat untuk bahasa isyarat Indonesia.

Yang belum bisa

• Baru abjad (ejaan jari). Isyarat kata dan kalimat BISINDO belum dikenali.
• Data latihnya dari sedikit orang di satu ruangan. Warna kulit, bentuk tangan, cahaya, atau sudut kamera yang beda bisa menurunkan ketepatan.
• Huruf yang pakai gerakan, seperti J dan Z, cuma dikenali dari bentuk diamnya.
• Pose 3D di halaman abjad bukan rujukan resmi, karena BISINDO punya variasi antardaerah.
• Deteksi huruf V dan pengenalan M, D, serta B masih paling lemah.
• Model selalu memilih salah satu huruf yang dia kenal, bahkan kalau bentuk tanganmu bukan abjad. Cek dulu hasilnya.

Nemu bentuk tangan yang salah, atau huruf yang terus meleset? Laporkan ke kami. Masukan dari pengisyarat BISINDO paling membantu.

Belajar BISINDO beneran

Abjad cuma pintu masuk. BISINDO yang sesungguhnya hidup di percakapan, ekspresi, dan komunitas. Cara terbaik untuk belajar tetap langsung dari orang Tuli: ikut kelas yang diajar guru Tuli, datangi komunitas Tuli di kotamu, atau cari kegiatan dari organisasi seperti Pusbisindo dan Gerkatin.

Alat ini bukan pengganti juru bahasa isyarat, dan nggak pernah dimaksudkan begitu. Pakai untuk berlatih, lalu bawa hasil latihanmu ke percakapan yang sungguhan.