>

• الباحثون
   
• الملخص باللغة العربية
   
• الملخص باللغة الإنكليزية
   
• المقدمة
   
• دراسة مرجعية
   
• مواد البحث وطرائقه
   
• المناقشة والنتائج
   
• الاستنتاجات والتوصيات
   
• كلمات مفتاحية
   
• مراجع

الملخص

تعابير الوجه هي التغيّرات التي تحصل في الوجه نتيجة حالة الشخص الداخلية او نواياه او نتيجة التواصل الاجتماعي، وتأتي اهميتها كونها شكل من اشكال التواصل الغير لفظي.
مع ازدياد الاهتمام بمجال دراسة تعابير الوجه في السنوات الأخيرة، تم تطوير العديد من الأنظمة لتمييز التعابير من صور الوجه، يتكون أي نظام من ثلاث مراحل أساسية تبدأ بتحديد الوجه، ثم استخلاص السمات وبعدها مرحلة التصنيف، تعتمد دقة التمييز لهذه الأنظمة بشكل اساسي على قوة خوارزمية استخراج السمات لذلك يدرس هذا البحث مجموعة من خوارزميات استخراج السمات عن طريق النسيج ويقارن نتائجهم باستخدام نفس شروط التجربة، أيضاً يقترح تعديل لبعض هذه الخوارزميات بهدف دراسة أثر هذه التعديلات على دقة التمييز للخوارزمية تحت نفس شروط التطبيق. كما تم دراسة أثر معالجة الضجيج باعتباره أحد أبرز المشاكل الموجودة في الصور. وللتحقق من النتائج تمت المقارنة على قاعدتي بيانات تستخدمان بشكل قياسي لتمييز التعابير وباستخدام تقسيمات مختلفة للصور وذلك بالاعتماد على لغة Matlab وتبين أن الخوارزميات التي تم تعديلها أعطت نتائج أفضل من الخوارزميات الأساسية على كل من قاعدتي البيانات وبالتالي قادرة على التعبير عن نسيج الصورة بشكل فعّال. كما أظهرت النتائج ان هناك العديد من العوامل التي تؤثر على دقة التمييز كاختيار قاعدة البيانات، كيفية تقسيم الصورة، خصائص خوارزمية استخراج السمات وعمليات المعالجة المسبقة كمعالجة الضجيج.

Abstract

Facial expressions are the changes that appear on the face according to one's inner emotional states, aims, or social communications, they are a form of non-verbal communication.
Interest in facial expression recognition has grown in recent years, and many systems have been developed to classify expressions from facial images. Any expression recognition system consists of three steps. The first one is face acquisition, then feature extraction, and finally classification. The classification accuracy depends primarily on the feature extraction step.  Therefore, this research studies many texture feature extraction descriptors and compares their results under the same conditions, moreover, it proposes modifications for some of these descriptors to investigate their effects under the same experimental settings. The impact of noise preprocessing was also studied because it is considered one of the most important problems in image processing. We validate the results on two commonly used databases for expression recognition and with different ways of image partitioning using Matlab programming language. Results show that the suggested modifications give better results than the original ones on both used databases so they can represent the image texture effectively. The results also show that there are many factors that affect the recognition accuracy such as the choice of database, how to partition the image, and preprocessing techniques such as noise handling.
 

المقدمة:

يعدُّ موضوع دراسة التعابير وتصنيفها آلياً محط اهتمام الباحثين انطلاقاً من أهمية تعابير الوجه في التواصل مع المحيط وتأثيره في الانطباع الذي يتركه لدى الآخرين خصوصاً أن الوجه على اتصال مستمر بما في النفس والعقل ويعبّر عن ذلك بشكل يصعب على صاحبه التحكم به في كثير من الأحيان. فكانت البداية مع دراسة مدى تشابه هذه التعابير والايماءات أو تنوعها بين ثقافة وأخرى، والاختلاف بين المجتمعات في طريقة قراءتها، وبعد اجراء العديد من الدراسات توصل الباحث Paul Ekman إلى أن جميع تعابير الوجه ثابتة مهما اختلفت الثقافات، لكن توجهت الدراسات نحو بناء أنظمة لتمييز التعابير بالاعتماد على ستة تعابير أساسية فقط بالإضافة للتعبير الطبيعي وهي: الاشمئزاز، الغضب، الخوف، الحزن، السعادة والمفاجأة، هذه التعابير موحدة بين البشر بغض النظر عن العمر، العِرق والجنس [12]. وبالإضافة لأهمية تعابير الوجه في سياق التواصل، هناك العديد من التطبيقات للتعرف على تعابير الوجه وهي: الطب النفسي، التفاعل بين الانسان والآلة، التعليم، كشف الكذب، تحليل المشاعر، مراقبة حالة السائق لسلامة القيادة، التسويق وغيرها [2]. تندرج خوارزميات استخراج السمات لمجال تمييز التعابير تحت إحدى الأنواع الثلاثة التالية وهي: السمات الهندسية Geometric based methods وسمات المظهر Appearance based methods والسمات الهجينة Hybrid-based methods [8]، لكن نالت خوارزميات استخلاص السمات بالاعتماد على سمات المظهر وخصوصاً خوارزمية LBP اهتماما كبيرا بسبب تفوقها في الأداء بالنسبة لخوارزميات استخراج سمات النسيج الأخرى مثل PCA, ISA.
 

الدراسات المرجعية:

بدايةً مع خوارزمية LBP والتي تم اقتراحها من قبل الباحث Ojala Timo عام1996  بهدف تحليل النسيج، ولاقت نجاحاً كبيراً بسبب سرعتها الحسابية وسهولتها كما أنها قدمت نتائج جيده في مجال وصف النسيج، بعد ذلك تم استخدامها في عدة مجالات للرؤية الحاسوبية كتمييز الوجه ونمذجة الحركة والأفعال وتحليل الصور الطبيعية، واستخدمت من قبل Caifeng Shan عام 2005 في مجال تمييز التعابير [11]. على الرغم من فعالية خوارزمية LBP وسرعتها الحسابية إلا أنها تتأثر بتغيرات الإضاءة الكبيرة والضجيج، لذلك كان هناك حاجة لإجراء تعديلات بهدف تحسين الخوارزمية. فانطلق الباحث Taskeed Jabid عام 2010 من حساسية خوارزمية LBP للضجيج وتغيرات الإضاءة الكبيرة، واقترح خوارزمية LDP التي قامت على فكرة الاعتماد على كل بكسلات الجوار لتوليد كل بت ثنائي وذلك باستخدام المشتقات التي تُعدّ أكثر استقراراً من قيم كثافة البكسلات [6]. بعدها قام الباحث Hasanul Kabir عام 2010 بتحسين خوارزمية LDP من خلال إضافة معلومات التباين الى شعاع السمات وسُميت بخوارزمية [7] LDPv. وفي عام 2012 بدأ الباحث Adin Rivera من إحدى نقاط ضعف في خوارزمية LBP كونها تعتمد على قيم الكثافة فقط للبكسل المركزي والبكسلات المجاورة لتوليد الكود الثنائي، بالإضافة إلى نقطة ضعف LDP وهي أنها لا تأخذ بعين الاعتبار إشارة استجابة الفلتر، ومن ثم لا يوجد معلومات عن اتجاه الحواف. تم حل هذه المشكلة بخوارزمية LDN التي ركزت على التمييز بين الانتقال من منطقة ساطعه إلى مظلمة وبالعكس من خلال إشارة استجابة الفلتر [10]. انطلق الباحث Faisal Ahmad عام 2012 من حساسية خوارزمية LBP للضجيج، وبعد العديد من التجارب اقترح خوارزمية GDP التي قامت بالحصول على نموذج النسيج المحلي بالاعتماد على زوايا اتجاه المشتقات لكل بكسل والتي تُعدّ سمات أكثر استقراراً وتعبر عن الحواف والنقاط والتغيرات الصغيرة في الوجه [1]. أما الباحث Mohammad Shahidul وجد أن بعض خوارزميات تمييز التعابير تستهلك مقداراً كبيراً من الزمن، وبعضها ينتج عنه شعاع سمات كبير جداً مما يؤدي الى استهلاك الذاكرة، فقام عام 2014 بوضع خوارزمية LAP والتي تعمل على تمييز التعابير بفعالية جيدة وزمن أقل [5]. انطلق الباحث Ying Tong عام 2014 من فكرة أن خوارزمية LBP لا تأخذ بعين الاعتبار العلاقات بين البكسلات المتجاورة، ومن ثمَّ لا يتم وصف نسيج عضلات الوجه والتجاعيد التي تحصل نتيجة التعابير بشكل دقيق، أيضاً كان الهدف وضع خوارزمية تعطي نتائج سريعة ولا تحتاج الى شعاع سمات كبير نسبياً، فاقترح خوارزمية تعتمد فقط على مقارنة مجموعات البكسلات بشكل افقي وقطري فقط وسُميت LGC-HD [13]. وفي عام 2019 و انطلاقا من خوارزمية LGC-HD، وجد الباحث Jucheng Yang أن المشتقات العمودية لا يمكن اهمالها تماماً، كذلك تم توسيع الجوار المستخدم لحساب الكود كي يتم الحصول على كافة معلومات مشتقات الجوار، فقدّم خوارزميةCS-LGC  [14]. وفي عام2021 تم العمل على نقطة ضعف لخوارزمية GDP وهي اعتمادها على عتبه لتحويل الكود الثنائي الى عشري، وتم وضع اقتراحين أولهما LGDN والذي ميّز شدّة واتجاه تغيّر استجابات الحواف لإعطاء الخوارزمية القدرة على التمييز بين اتجاهين لانتقال الحواف، والثانيLGDP الذي ضمّن معلومات عن أهمية استجابة الحواف لتمييز الحواف العمودية [9].

أهداف البحث:

يهدف البحث الى دراسة ومقارنة مجموعة من خوارزميات استخراج السمات عن طريق النسيج من أجل تمييز التعابير، بالإضافة لمحاولة تعديل بعض هذه الخوارزميات بهدف دراسة تأثير هذه التعديلات على أداء الخوارزمية تحت نفس شروط التجربة، أيضا تحديد العوامل المؤثرة على دقة تمييز التعابير وأخيراً دراسة أثر المُعالجة المُسبقة على خوارزميات تمييز التعابير.
4-التعديلات المُقترحة:
الهدف من التعديل هو إزالة المعلومات الفائضة لتخفيض حجم شعاع السمات وزيادة سرعة التنفيذ ودراسة تأثير ذلك على دقة التمييز. بدايةً تم تحقيق ذلك بالنسبة لخوارزمية CS-LGC حيث لاحظنا أن خوارزمية CS-LGC تعتمد ضمن المشتقات على مشتقين قطريين بعيدين عن البكسل المركزي (ضمن النطاق 5*5)، وسببت زيادة في حجم شعاع السمات مقابل معلومات ليست ذات أهمية كبيرة، وعند ازالتهم نقص طول شعاع السمات من 256 الى 64 أي تم الاحتفاظ ب 25% فقط من شعاع السمات، سُميت الخوارزمية بعد التعديل CS_LGC_2. وفيما يلي العلاقة المعبرة عن الخوارزمية المُعدلة:

CS-LGC-2 = s(g13-g16)25 + s(g14-g15)24 + s(g9-g12)23 + s(g10-g11)22 + s(g3-g6)21 + s(g4-g5)20

في الشكل (1-a) توضيح باللون الأحمر للمشتقات التي كانت موجودة في الخوارزمية الأساسية والتي قمنا بحذفها، والشكل (1-b) يمثل المشتقات التي تم الاحتفاظ بها والتي تم تمييزها باللون الاخضر.

الشكل(1): (a) المشتقات لخوارزمية CS-LGC الأساسية، (b) المشتقات للخوارزمية بعد التعديل

وفي نفس السياق لاحظنا أن خوارزمية LAP أيضاً تعتمد ضمن المشتقات على مشتقين قطريين بعيدين عن البكسل المركزي (ضمن النطاق 5*5)، وسببت زيادة في حجم شعاع السمات مقابل معلومات ليست ذات أهمية كبيرة، وعند إزالتهم نقص طول شعاع السمات من 272 الى (80= 26+24) وسُميت الخوارزمية بعد التعديل LAP_2. في الشكل (2) توضيح للمشتقات التي تم حذفها من الخوارزمية وهي: (c1-c5) و (b1-b5). فيما يلي العلاقات الرياضية المعبرة عن توليد الكود بعد إزالة المشتقات الفائضة:

Pattern1= s(a5-a1)*23 + s(a6-a2)*22  + s(a7-a3)*21  + s(a8-a4)*20
Pattern2= s(b2-b6)*25 + s(b3-b7)*24 + s(b4-b8)*23 + s(c2-c6)*22 + s(c3-c7)*21  + s(c4-c8)*20

الشكل (2):  (a) تمثيل الجوار، (c) المشتقات لخوارزمية LAP_2 ضمن الجوار 3*3، (b) المشتقات لخوارزمية LAP_2 ضمن الجوار 5*5

5-المعالجة المُسبقة للضجيج:

يُعتبر الضجيج أحد أهم المشاكل الموجودة في الصور، والذي ينتج عن عملية التقاط الصور أو تخزينها أو نقلها أو ضغطها [4]. عادة يتم التخلص من الضجيج قبل عملية استخراج السمات، وفي محاولة لدراسة أثر الضجيج على الخوارزميات السابقة تم تطبيق إحدى الطرق البسيطة لإزالة الضجيج من خلال استخدام فلتر المتوسطات Average filter [3] على قاعدتي البيانات JAFFE و  CKباعتباره الفلتر المناسب للضجيج الموجود في قاعدتي البيانات وهو ضجيج الحبيبات (grain noise) ثم مقارنة النتائج قبل وبعد تطبيق الفلتر.

6-الدراسة التجريبية:
6-1- قواعد البيانات:
تم اعتماد قاعدتي بيانات لاختبار الخوارزميات السابقة، قاعدة البيانات الأولى هي JAFFE (The Japanese Female Facial Expression) التي تحوي 213 صورة تتضمن التعابير السته (الاشمئزاز، الغضب، الخوف، الحزن، السعادة والمفاجأة) بالإضافة للتعبير الطبيعي لعشرة فتيات يابانيات، الصور ذات امتداد tiff وبدقة256*256  للصور الأساسية، في هذا البحث تم استخراج الوجه فقط لجميع الصورة واقتصاص الصور الى 110*150 لتوحيد أبعادها، توزيع الصور لكل تعبير كما يلي: 34 تعبير طبيعي، 24 تعبير غضب، 17 تعبير اشمئزاز، 31 تعبير خوف، 35 تعبير فرح، 41 تعبير حزن، 31 تعبير مفاجأة. أما قاعدة البيانات الثانية فكانت CK (Cohn-Kanade database) تحوي صور ل 100 شخص أعمارهم تتراوح بين 18 و 30 , 65% منهم إناث, 15% من العينات من العرق الافريقي الأميركي و3% من أصل آسيوي ولاتيني، في بحثنا تم اختيار 375 صوره ل 20 شخص منهم 9 ذكور و11 اناث، بالمحصلة تم اعتماد أعداد الصور التالية لكل تعبير: 56 تعبير طبيعي، 50 تعبير غضب، 54 تعبير اشمئزاز، 50 خوف، 57 فرح، 54 حزن، 54 مفاجأة. بعدها تم استخراج الوجه واقتصاص الصور الى 175*195. ونظراً لأن الصور مأخوذة للوجه بشكل أـمامي لكل من قاعدتي البيانات فلا داعي لمراعاة تغيرات وضعية الرأس.
 

المناقشة والنتائج:

تم اختبار جميع الخوارزميات المذكورة على كل من قاعدتي البيانات من أجل استخراج السمات من الصور، بعدها تم حساب الهيستوغرام للتعبير عن السمات العامة لنسيج الصورة، إلا أن الهيستوغرام غير قادر على تقديم معلومات فراغية عن توزع البكسلات ضمن الصورة، لهذا السبب تم تقسيم الصورة الى مناطق غير متداخلة عددها m*n وحساب الهيستوغرام لكل منطقة على حدا، بعدها تم دمج أشعة الهيستوغرام للحصول على شعاع السمات النهائي والذي هو دخل لخوارزمية التصنيف Support Vector Machine (SVM). ولحساب نسبة التمييز بشكل أكثر فاعلية وقابلية للتعميم تم تقسيم كل قاعدة بيانات الى 10 مجموعات واعتماد طريقة 10 fold cross validation حيث تم استخدام تسع مجموعات للتدريب وواحدة للاختبار وإعادة التجربة 10 مرات للحصول على دقة التمييز. تم عرض النتائج من أجل تقسيم الصورة الى 3*3, 5*5, 7*6 لكل خوارزمية وكانت النتائج على الشكل التالي:

الجدول (1): نسبة التمييز (%) باستخدام تقسيمات مختلفة على قاعدة بيانات CK

الجدول (2): نسبة التمييز المئوية باستخدام تقسيمات مختلفة على قاعدة بيانات JAFFE

الجدول (3): نسبة التمييز (%) للخوارزميات المدروسة بعد معالجة الضجيج على قاعدتي بيانات CK، JAFFE

للحصول على تقييم أفضل لمصنف SVM تم دراسة Receiver of Operating Characteristics (ROC) لبعض الخوارزميات على قاعدة بيانات CK وباستخدام التقسيم 5*5 وكانت المخططات كما موضح في الاشكال التالية. (تم اختصار أسماء التعابير ضمن المخططات كالتالي: AN تقابل Anger، DI تقابل Disgust، FE تقابل Fear، HA تقابل Happy، NE تقابل Natural، SA تقابل Sad، SU تقابل Surprise).

الشكل (3): مخطط ROC لخوارزمية LBP  

الشكل (4): مخطط ROC لخوارزمية LAP

الشكل (5): مخطط ROC لخوارزمية LGC-HD

الشكل (6): مخطط ROC لخوارزمية CS-LGC

الشكل (7): مخطط ROC لخوارزمية LAP2

الشكل (8): مخطط ROC لخوارزمية CS-LGC2

الاستنتاجات والتوصيات

• لا يوجد تقسيم موحد للمناطق الفرعية يعطي أعلى نسب تمييز بشكل دائم، لذلك فإن عملية تحديد أفضل تقسيم تتم عن طريق اختبار عدة تقسيمات لتحديد طريقة التقسيم الأفضل التي تعطي أعلى نسبة تمييز.
•  إن التقسيم الى 5*5 او 7*6 أعطى نتائج أعلى من التقسيم 3*3 وذلك لأن زيادة التقسيمات يعطي معلومات فراغية بشكل أكبر وبالتالي تمثيل أفضل للسمات. لكن بنفس الوقت شعاع سمات أطول وبالتالي زمن التصنيف أكبر، وهنا تكون زيادة نسبة التمييز على حساب الزمن.
• اتجهت الخوارزميات (CS-LGC, LGC-HD, CS_LGC_2 , LAP, LAP2) نحو مقارنة البكسلات الحدودية المتجاورة للتغلب على مشكلة LBP التي تهتم فقط بالبكسل المركزي والبكسلات المحيطة به، وعلى الرغم من بساطتها فقد أعطت نتائج أفضل من LBP تحت نفس شروط التجربة كونها قادرة على التكيُّف مع تغيّر النسيج وخصوصاً مناطق العيون والفم.
•   ان تطبيق فلتر المتوسطات الذي يستخدم لإزالة الضجيج كخطوة معالجة مُسبقة لقاعدة البيانات حسّن نتائج التمييز بشكل ملحوظ مما لو تم العمل على قاعدة البيانات دون إزالة ضجيج وذلك بسبب وجود ضجيج في قاعدة البيانات الأساسية.
• هناك العديد من العوامل التي تؤثر على دقة التمييز منها طريقة تقسيم الصورة (بهدف الحصول على المعلومات بشكل فراغي)، خصائص قاعدة البيانات كعدد الصور وعدد الأشخاص والعمر وعدد الأعراق وطريقة التعبير عن التعبير الواحد كونه أحد أهم أسباب الالتباس أثناء تصنيف التعابير بالإضافة للمعالجة المسبقة للصور كإزالة الضجيج.
• بالنسبة لمخططات ROC نلاحظ ان المصنف لم يتفوق في تمييز تعابير الخوف، الحزن والتعبير الطبيعي ويمكن اسناد ذلك لعدة أسباب:
  
  • في الحزن والطبيعي يكون للحواجب والفم نفس الوضع.
  • في قاعدة بيانات CK قام بعض الأشخاص بالتعبير عن الحزن بطريقة مشابهة للتعبير الطبيعي.
  • كذلك بعض الأشخاص قاموا بالتعبير عن الغضب بطريقة مشابهة نسبيًا للحزن أو الخوف أو الطبيعي.

أما عن المقترحات المستقبلية لتطوير آفاق البحث فنقترح دراسة أثر طرق أخرى للمعالجة المُسبقة كمعالجة تغيّرات الاضاءة، تطبيق الخوارزميات على قواعد بيانات مأخوذة في بيئات غير مٌتحكم بها او لتعابير عفوية (spontaneous) وليست مقصودة (deliberate)، وأيضاً دراسة خوارزميات استخلاص سمات بالاعتماد على خوارزميات التعلم العميق ومقارنة نتائجها مع خوارزميات النسيج ودراسة إمكانية دمج سمات النسيج مع سمات التعلم العميق.
 

كلمات مفتاحية:

تمييز تعابير الوجه، استخراج السمات، النسيج، مشتقات خوارزمية LBP.

Keywords:

facial expression recognition, feature extraction, texture, LBP variants.

Reference

[1] Ahmed, F. 2012. Gradient directional pattern: a robust feature descriptor for facial expression recognition. Electronics letters, 48(19), p.1203-1204.
[2] Huang, Y., Chen, F., Lv, S. and Wang, X., 2019. Facial expression recognition: A survey. Symmetry, 11(10), p.1189.
[3] Ahmed, R.J., 2011. Image enhancement and noise removal by using new spatial filters. UPB Sci. Bull., Series C, 73(1), pp.65-74.
[4] Boyat, A.K. and Joshi, B.K., 2015. A review paper: noise models in digital image processing. arXiv preprint arXiv:1505.03489.
[5] Islam, M.S. and Auwatanamo, S., 2014. Facial expression recognition using local arc pattern. Trends Appl. Sci. Res, 9(2), p.113.
[6] Jabid, T., Kabir, M.H. and Chae, O., 2010. Facial expression recognition using local directional pattern (LDP). In 2010 IEEE International Conference on Image Processing, p. 1605-1608.
[7] Kabir, M.H., Jabid, T. and Chae, O., 2010. A local directional pattern variance (LDPv) based face descriptor for human facial expression recognition. In 2010 7th IEEE International Conference on Advanced Video and Signal Based Surveillance pp. 526-532.
[8] Li, P., Phung, S.L., Bouzerdom, A. and Tivive, F.H.C., 2010. Feature selection for facial expression recognition. In 2010 2nd European Workshop on Visual Information Processing (EUVIP) p. 35-40. IEEE.
[9] Najeb, A.H. and Nasser, N., 2021. Facial Expression Recognition Based on Texture Features. Al-Nahrain Journal for Engineering Sciences, 24(2), pp.144-148.
[10] Rivera, A.R., Castillo, J.R. and Chae, O.O., 2012. Local directional number pattern for face analysis: Face and expression recognition. IEEE transactions on image processing, 22(5), pp.1740-1752.
[11] Shan, C., Gong, S. and McOwan, P.W., 2005. Robust facial expression recognition using local binary patterns. In IEEE International Conference on Image Processing, 11, p. II-370. IEEE.
[12] Turan, C. and Lam, K.M., 2018. Histogram-based local descriptors for facial expression recognition (FER): A comprehensive study. Journal of visual communication and image representation, 55, p.331-341.
[13] Tong, Y., Chen, R. and Cheng, Y., 2014. Facial expression recognition algorithm using LGC based on horizontal and diagonal prior principle. Optik, 125(16), p.4186-4189.
IEEE.

[14] Yang, J., Wang, X., Han, S., Wang, J., Park, D.S. and Wang, Y., 2019. Improved real-time facial expression recognition based on a novel balanced and symmetric local gradient coding. Sensors, 19(8), p.1899