A deep learning approach for facial emotions recognition using principal component analysis and neural network techniques. (21st November 2022)

• Record Type: Journal Article
• Authors: Khan, Mudassir; Hariharasitaraman, S.; Joshi, Shubham; Jain, Vishal; Ramanan, M.; SampathKumar, A.; Elngar, Ahmed A.
• Is Part Of: Photogrammetric record. Volume 37:Number 180(2022)
• Page Start: 435
• Page End: 452
• Publication Date: 2022-11-21
• Subjects: deep learning -- facial emotion recognition -- neural network -- principal component analysis; Photogrammetry -- Periodicals; 526.982
• DOI: 10.1111/phor.12426
• Languages: English
• ISSNs: 0031-868X

Abstract

Abstract: In this work, advanced facial emotions are recognized using Neural network‐based (NN) PCA methodology. The earlier models are cannot detect facial emotions with moving conditions but the CCTV and other advanced applications are mostly depending on moving object‐based emotion recognition. The blurring, mask, and moving object‐based facial image are applied to the training process, and at the testing condition, real‐time facial images are applied. The PCA is extracting features and pre‐processing the images with NN deep learning process. The proposed facial emotion recognition model is most useful for advanced applications. The design is finally verified through confusion matrix computations and gets measures like accuracy 98.34%, sensitivity 98.34% Recall 97.34%, and F score 98.45%. These output results compete with present models and outperformance the methodology. Abstract : An advanced facial emotions are recognized using Neural network‐based(NN) PCA methodology. The PCA is extracting features and pre‐processing the images with NN deep learning process. The proposed work is more useful for society in various applications when face recognition plays major role. Résumé: Dans ce travail, les émotions faciales sont reconnues à l'aide d'une méthodologie ACP basée sur un réseau neuronal (NN). Les modèles précédents ne pouvaient pas détecter les émotions faciales dans des conditions de mouvement, alors même que la vidéosurveillance et autres applications avancées dépendent principalement de la reconnaissance d'émotions basée sur des objets en mouvement. Le flou, les occultations et les images d´objets en mouvement sont pris en compte dans le processus d´entraînement, et en conditions de test, les images faciales en temps réel sont utilisées. L'ACP extrait les caractéristiques et pré‐traite les images avec un processus d'apprentissage profond utilisant un réseau neuronal. Le modèle proposé pour la reconnaissance des émotions faciales est très utile pour des applications avancées. La conception est finalement vérifiée par le calcul de matrices de confusion, qui donne une précision de 98, 34%, une sensibilité de 98, 34%, un rappel de 97, 34% et un score F de 98, 45%. Ces résultats concurrencent les modèles actuels et surpassent la méthodologie. Zusammenfassung: In dieser Arbeit werden fortgeschrittene Gesichtsemotionen mithilfe der neuronalen netzwerkbasierten (NN) PCA‐Methodik erkannt. Die früheren Modelle können Gesichtsemotionen bei Bewegung nicht erkennen, aber CCTV und andere fortschrittliche Anwendungen sind hauptsächlich auf die Erkennung von Emotionen auf der Grundlage von sich bewegenden Objekten angewiesen. Die Unschärfemaske und das auf einem sich bewegenden Objekt basierende Gesichtsbild werden auf den Trainingsprozess angewendet, und unter der Testbedingung werden Echtzeit‐Gesichtsbilder angewendet. Die PCA extrahiert Merkmale und verarbeitet die Bilder mit dem NN‐Deep‐Learning‐Prozess vor. Das vorgeschlagene Gesichtsemotionserkennungsmodell ist am nützlichsten für fortgeschrittene Anwendungen. Das Design wird schließlich durch Konfusionsmatrixberechnungen verifiziert und erhält Maße wie Genauigkeit 98, 34 %, Empfindlichkeit 98, 34 % Recall 97, 34 % und F‐Measure 98, 45 %. Diese Ausgabeergebnisse konkurrieren mit aktuellen Modellen und übertreffen die Methodik. Resumen: En este trabajo, las emociones faciales se reconocen utilizando la metodología PCA basada en redes neuronales (NN). Los modelos anteriores no pueden detectar emociones faciales en condiciones de movimiento, a pesar de que CCTV y otras aplicaciones avanzadas dependen principalmente del reconocimiento de emociones basado en objetos en movimiento. El desenfoque, las oclusiones y las imágenes de objetos en movimiento se tienen en cuenta en el proceso de entrenamiento y, en las condiciones de prueba, se usan imágenes faciales en tiempo real. El PCA extrae características y preprocesa las imágenes con un proceso de aprendizaje profundo usando una red neuronal. El modelo de reconocimiento de emociones faciales propuesto es muy útil para aplicaciones avanzadas. El diseño finalmente se verifica mediante cálculos de matriz de confusión, obteniendo una precisión del 98, 34 %, una sensibilidad del 98, 34 %, una recuperación del 97, 34 % y una puntuación F del 98, 45 %. Estos resultados compiten con los modelos actuales y superan el rendimiento de la metodología. 摘要: 这项工作使用了基于神经网络的 PCA方法来识别面部情绪的细节。早期的模型无法检测到移动条件下的面部情绪，然而闭路电视和某些其他应用却依赖对移动中的对象进行情绪识别。在本模型训练过程中，采用了模糊、遮罩和基于移动对象的面部图像，在测试条件下使用了实时面部图像。PCA 提取特征，并通过神经网络深度学习过程对图像进行预处理。所提出的面部情绪识别模型对高级应用是最可用的。该模型最终通过混淆矩阵的计算得到了验证，准确率为 98.34%、敏感度 98.34%、召回率 97.34% 和F值98.45%。 这些结果可以与目前的模型相媲美。