A two‐step proximal‐point algorithm for the calculus of divergence‐based estimators in finite mixture models. Issue 3 (25th April 2019)

• Record Type: Journal Article
• Authors: Mohamad, Diaa Al; Broniatowski, Michel
• Is Part Of: Canadian journal of statistics. Volume 47:Issue 3(2019)
• Page Start: 392
• Page End: 408
• Publication Date: 2019-04-25
• Subjects: EM algorithm -- mixture model -- proximal‐point algorithm -- robustness -- statistical divergence; Mathematical statistics -- Periodicals; 519.5
• DOI: 10.1002/cjs.11500
• Languages: English
• ISSNs: 0319-5724

Abstract

Abstract: Estimators derived from the expectation‐maximization (EM) algorithm are not robust since they are based on the maximization of the likelihood function. We propose an iterative proximal‐point algorithm based on the EM algorithm to minimize a divergence criterion between a mixture model and the unknown distribution that generates the data. The algorithm estimates in each iteration the proportions and the parameters of the mixture components in two separate steps. Resulting estimators are generally robust against outliers and misspecification of the model. Convergence properties of our algorithm are studied. The convergence of the introduced algorithm is discussed on a two‐component Weibull mixture entailing a condition on the initialization of the EM algorithm in order for the latter to converge. Simulations on Gaussian and Weibull mixture models using different statistical divergences are provided to confirm the validity of our work and the robustness of the resulting estimators against outliers in comparison to the EM algorithm. An application to a dataset of velocities of galaxies is also presented. The Canadian Journal of Statistics 47: 392–408; 2019 © 2019 Statistical Society of Canada Résumé: Les estimateurs obtenus par l'algorithme EM ne sont pas robustes, car ils sont basés sur la maximisation de la vraisemblance. Les auteurs proposent un algorithme itératif de type proximal fondé sur l'algorithme EM et qui vise à minimiser une divergence statistique entre un modèle de mélange et la distribution inconnue des données. À chaque itération, l'algorithme estime en deux étapes distinctes les proportions et les paramètres décrivant les composantes du mélange. Les estimateurs obtenus sont généralement robustes contre les points aberrants et le mauvais choix du modèle. Les auteurs étudient les propriétés de convergence de leur algorithme. Ils illustrent ces propriétés sur un exemple de mélange de Weibull à deux composantes et déterminent une condition sur l'initialisation de l'algorithme EM pour ce modèle pour qu'il converge. Ils illustrent également la convergence et la robustesse de leur algorithme sur deux mélanges à deux composantes issus des lois gaussienne et de Weibull. Ils l'appliquent enfin sur un jeu de données réelles de vitesses de galaxies. La revue canadienne de statistique 47: 392–408; 2019 © 2019 Société statistique du Canada