CONTROL ASSISTANT SYSTEM FOR DISABLED BASED ON BCI AND VISUAL-BASED HCI
No Thumbnail Available
Date
2018-11-01
Journal Title
Journal ISSN
Volume Title
Publisher
جامعة الشيخ عبدالله البدري
Abstract
In this present world, many people are coming across many problems; one of those problems is physically handicapped and aged people depending on others to complete their tasks. As a result of that, there are extensive needs to research for good and tolerable performance of new type of approaches that allowed the disables people to interact with environment. Developing new intuitive and more natural interfaces is one of the biggest challenges in human computer interaction –HCI science. Therefore, this research is aimed to investigate new techniques of HCI. HCI systems has different types of methodologies by which the disabled people could interact with environments. Visual-Based and Sensor-Based are the two methodologies proposed herein. Sensor-Based is a technique which known as Brain Computer Interface-BCI used for capturing brain signals, and visual-based is a technique –in the field of image processing- by which eye-blinking can be captured. These Two different methodologies are used in one combined and integrated system to carry out both brain and eye-blinking signals. In the Visual-Based system python platform is used to process the image of the system’s user that is taken using a webcam. The process is done using cross-platform open source computer vision library and pre-trained facial landmark detector inside the opencv library called dlib. An old equation called EAR has been developed to increase the efficiency of recognizing which eye is actually blinking. For the BCI system, a NeuroSky Mindwave is used to capture the brain signals for both attention and meditation status. The NeuroSky then controlled the prototype of the wheelchair. Void obstacles and Road Tracking are additional features used with the wheelchair. The results showed good performance of visual-based HCI system, very good performance for the mechanism of the wheelchair with both void obstacles and road tracking features, but low performance for the BCI system.
المستخلص
في وقتنا الراهن يعاني الكثير من الأشخاص من مشاكل صحية تتعلق بالإعاقات الحركية سواء اعاقات ناتجة عن خلل في النظام الحركي أو بتر في احد الأعضاء أو جميعها بالتالي تحتاج هذه الشريحة من الأشخاص الى المساعدة والإهتمام. نتيجة لإحتياجات هذه الشريحة من المجتمع بدأت العديد من المنظمات والجهات البحثية بالإهتمام بالأبحاث المتعلقة بفئة المعاقين في ما يتعلق في الجانب الهندسي ومحاولة ابتكار وخلق تقنيات وطرق حديثة لتخفيف المتاعب على شريحة المعاقين لينخرطوا مع البيئة المحيطة باقل قدر من المتاعب. تطوير تقنيات وبحوث جديدة يعتبر أحد التحديات التي واجهت علماء علم التفاعل بين الحاسوب والبشر. الهدف من هذا البحث هي استخدام وجمع تقنيات حديثة في علم التفاعل بين الحاسب والبشر في نظام واحد لغرض مساعدة اكبر شريحة من المعاقين بتعدد إعاقاتهم لتمكنهم من العيش بأقل جهد وأكثر راحة ممكنه. هناك عدة منهجيات في علم التفاعل بين الحاسب والبشر، اتبعنا في نظامنا المقترح هنا طريقتين : الاولى عبارة عن تفاعل حاسوبي بشري مبني على معالجة الصور والثاني مبني على الحساس. بالنسبة للطريقة المبنية على الحساس تم استخدام حساس معتمد على واجهة الدماغ والحاسوب – نظراً لشهرته أصبح علم قائم بذاته- واستخدم حساس مسمى بالنيروسكاي لغرض التقاط اشارات الدماغ لكل من حالتي التركيز والاسترخاء الدماغي والتحكم بكرسي متحرك تشغيلاً وايقافاً. لحماية الكرسي والمعاق استخدم نظام متتبع للطريق وآخر متحسساً لأي عائق قد يسبب تصادم الكرسي. أما بالنسبة للنظام المعتمد على معالجة الصور فتم معالجة صور لإشارات العينين لإستخراج اشارات تحكم من رمش العينين. تم تحسين معادلة خاصة متعلقة بتحديد نسبة رمشة العين لإكتشاف الحالات الطبيعية من الحالات العابرة للرمش. من خلال التجارب والنتائج المتعلقة بالنظامين المدمجين نتج أداء جيد لنظام معالجة الصور، وجيد جداً للأداء الميكانيكي الخاص بالكرسي وأداء ضعيف جداً فيما يتعلق بإشارات الدماغ.