ايماءات اليد القائمة على التحكم في الروبوت
DOI:
https://doi.org/10.22153/kej.2023.04.004الملخص
تعتبر ايماءات اليد من اهم الطرق واكثرها بساطة للتواصل بين البشر والروبوتات وخاصتاً للبشر الذين يعانون من صعوبة النطق والسمع (الصم والبكم ) حيث تسنخدم لغة الاشارة (ايماءات اليد ) للتواصل معهم .في هذا البحث يتكون النظام المقترح من جزأين: الجزء الاول الكشف عن ايماءات اليد في الوقت الفعلي باستخدام تقنية الرؤية الحاسوبية حيث يتم ذلك عن طريق تعليم الالة Machine learning وبالتحديد خوازمية MediaPipe وتتكون خوازمية MediaPipe من ثلاثة اقسام :القسم الاول الكشف عن راحة اليد والقسم الثاني تحديد 21 نقطة على راحة اليد ثلاثية الابعاد والقسم الاخير تصنيف ايماءات اليد ويتم ذالك بالمقارنة بين ابعاد تلك النقاط .الجزء الثاني والذي يعتمد على الجزء الاول بعد الكشف عن ايماءات اليد نقوم بالسيطرة على الروبوت من خلال تلك الايماءات حيث ان لكل ايماء حركة معينة ينفذها الروبوت .اظهرت النتائج التجريبية من خلال تاثير العناصر البيئية مثل شدة الضوء والسافة وزاوية الميل (بين ايماء اليد والكامرة) ان النظام المقترح يمكن ان يؤدي ادءً جيداً في السيطرة على حركة الروبوت من خلال ايماءات اليد.
التنزيلات
المراجع
S. Amaliya, A. N. Handayani, M. I. Akbar, H. W. Herwanto, O. Fukuda, and W. C. Kurniawan, “Study on Hand Keypoint Framework for Sign Language Recognition,” 7th Int. Conf. Electr. Electron. Inf. Eng. Technol. Breakthr. Gt. New Life, ICEEIE 2021, pp. 3–8, 2021, doi: 10.1109/ICEEIE52663.2021.9616851.
F. Hardan and A. R. J. Almusawi, “Developing an Automated Vision System for Maintaing Social Distancing to Cure the Pandemic,” Al-Khwarizmi Eng. J., vol. 18, no. 1, pp. 38–50, 2022, doi: 10.22153/kej.2022.03.002.
Y. G. Khidhir and A. H. Morad, “Comparative Transfer Learning Models for End-to-End Self-Driving Car,” Al-Khwarizmi Eng. J., vol. 18, no. 4, pp. 45–59, 2022, doi: 10.22153/kej.2022.09.003.
A. Osipov and M. Ostanin, “Real-time static custom gestures recognition based on skeleton hand,” 2021 Int. Conf. "Nonlinearity, Inf. Robot. NIR 2021, pp. 1–4, 2021, doi: 10.1109/NIR52917.2021.9665809.
A. Mujahid et al., “Real-time hand gesture recognition based on deep learning YOLOv3 model,” Appl. Sci., vol. 11, no. 9, 2021, doi: 10.3390/app11094164.
M. Al-Hammadiet al., “Deep learning-based approach for sign language gesture recognition with efficient hand gesture representation,” IEEE Access, vol. 8, pp. 192527–192542, 2020, doi: 10.1109/ACCESS.2020.3032140.
H. Y. Chung, Y. L. Chung, and W. F. Tsai, “An efficient hand gesture recognition system based on deep CNN,” Proc. IEEE Int. Conf. Ind. Technol., vol. 2019-February, pp. 853–858, 2019, doi: 10.1109/ICIT.2019.8755038.
Y. S. Tan, K. M. Lim, and C. P. Lee, “Hand gesture recognition via enhanced densely connected convolutional neural network,” Expert Syst. Appl., vol. 175, no. November 2020, p. 114797, 2021, doi: 10.1016/j.eswa.2021.114797.
R. Ahuja, D. Jain, D. Sachdeva, A. Garg, and C. Rajput, “Convolutional neural network based American sign language static hand gesture recognition,” Int. J. Ambient Comput. Intell., vol. 10, no. 3, pp. 60–73, 2019, doi: 10.4018/IJACI.2019070104.
P. Nakjai and T. Katanyukul, “Hand Sign Recognition for Thai Finger Spelling: an Application of Convolution Neural Network,” J. Signal Process. Syst., vol. 91, no. 2, pp. 131–146, 2019, doi: 10.1007/s11265-018-1375-6.
A. G. Mahmoud, A. M. Hasan, and N. M. Hassan, “Convolutional neural networks framework for human hand gesture recognition,” Bull. Electr. Eng. Informatics, vol. 10, no. 4, pp. 2223–2230, 2021, doi: 10.11591/EEI.V10I4.2926.
T. B. Waskito, S. Sumaryo, and C. Setianingsih, “Wheeled Robot Control with Hand Gesture based on Image Processing,” Proc. - 2020 IEEE Int. Conf. Ind. 4.0, Artif. Intell. Commun. Technol. IAICT 2020, pp. 48–54, 2020, doi: 10.1109/IAICT50021.2020.9172032.
P. N. Huu, Q. T. Minh, and H. L. The, “An ANN-based gesture recognition algorithm for smart-home applications,” KSII Trans. Internet Inf. Syst., vol. 14, no. 5, pp. 1967–1983, 2020, doi: 10.3837/tiis.2020.05.006.
B. J. Boruah, A. K. Talukdar, and K. K. Sarma, “Development of a Learning-aid tool using Hand Gesture Based Human Computer Interaction System,” 2021 Adv. Commun. Technol. Signal Process. ACTS 2021, pp. 2–6, 2021, doi: 10.1109/ACTS53447.2021.9708354.
S. Adhikary, A. K. Talukdar, and K. Kumar Sarma, “A Vision-based System for Recognition of Words used in Indian Sign Language Using MediaPipe,” Proc. IEEE Int. Conf. Image Inf. Process., vol. 2021-Novem, pp. 390–394, 2021, doi: 10.1109/ICIIP53038.2021.9702551.
A. Halder and A. Tayade, “Real-time Vernacular Sign Language Recognition using MediaPipe and Machine Learning,” Int. J. Res. Publ. Rev., no. 2, pp. 9–17, 2021, [Online]. Available: www.ijrpr.com.
R. Meena Prakash, T. Deepa, T. Gunasundari, and N. Kasthuri, “Gesture recognition and finger tip detection for human computer interaction,” Proc. 2017 Int. Conf. Innov. Information, Embed. Commun. Syst. ICIIECS 2017, vol. 2018-Janua, pp. 1–4, 2018, doi: 10.1109/ICIIECS.2017.8276056.
Indriani, M. Harris, and A. S. Agoes, “Applying Hand Gesture Recognition for User Guide Application Using MediaPipe,” Proc. 2nd Int. Semin. Sci. Appl. Technol. (ISSAT 2021), vol. 207, no. Issat, pp. 101–108, 2021, doi: 10.2991/aer.k.211106.017.
D. A. Taban, A. Al-Zuky, S. H. Kafi, A. H. Al-Saleh, and H. J. Mohamad, “Smart Electronic Switching (ON/OFF) System Based on Real-time Detection of Hand Location in the Video Frames,” J. Phys. Conf. Ser., vol. 1963, no. 1, 2021, doi: 10.1088/1742-6596/1963/1/012002.
GitHub, “MediaPipe on GitHub.” https://google.github.io/mediapipe/solutions/hands (accessed Sep. 20, 2022).
R. E. Valentin Bazarevsky and Fan Zhang, “On-Device, Real-Time Hand Tracking with MediaPipe,” MONDAY, AUGUST 19, 2019. https://ai.googleblog.com/2019/08/on-device-real-time-hand-tracking-with.html (accessed Oct. 01, 2022).
F. Zhang et al., “MediaPipe Hands: On-device Real-time Hand Tracking,” 2020, [Online]. Available: http://arxiv.org/abs/2006.10214.
C. Lugaresiet al., “MediaPipe: A Framework for Perceiving and Processing Reality,” Google Res., pp. 1–4, 2019.
التنزيلات
منشور
إصدار
القسم
الرخصة
حقوق الطبع والنشر: يحتفظ مؤلفو الوصول المفتوح بحقوق الطبع والنشر لاعمالهم، ويتم توزيع جميع مقالات الوصول المفتوح بموجب شروط ترخيص Creative Commons Attribution License، والتي تسمح بالاستخدام غير المقيد والتوزيع والاستنساخ في أي وسيط، بشرط ذكر العمل الأصلي بشكل صحيح. إن استخدام الأسماء الوصفیة العامة، والأسماء التجاریة، والعلامات التجاریة، وما إلی ذلك في ھذا المنشور، حتی وإن لم یتم تحدیدھ بشکل محدد، لا یعني أن ھذه الأسماء غیر محمیة بموجب القوانین واللوائح ذات الصلة. في حين يعتقد أن المشورة والمعلومات في هذه المجلة صحيحة ودقيقة في تاريخ صحتها، لا يمكن للمؤلفين والمحررين ولا الناشر قبول أي مسؤولية قانونية عن أي أخطاء أو سهو قد يتم. لا يقدم الناشر أي ضمان، صريح أو ضمني، فيما يتعلق بالمواد الواردة في هذه الوثيقة.
