Cluster analysis with regression of non‐Gaussian functional data on covariates. Issue 1 (17th December 2021)

• Record Type: Journal Article
• Authors: Jiang, Jiakun; Lin, Huazhen; Peng, Heng; Fan, Gang‐Zhi; Li, Yi
• Other Names: Cao Jiguo guestEditor.; Cheng Guang guestEditor.; Li Yehua guestEditor.; Müller Hans‐Georg guestEditor.
• Is Part Of: Canadian journal of statistics. Volume 50:Issue 1(2022)
• Page Start: 221
• Page End: 240
• Publication Date: 2021-12-17
• Subjects: Cluster analysis -- functional data -- longitudinal data -- semiparametric transformation functional regression -- supervised learning; Mathematical statistics -- Periodicals; 519.5
• DOI: 10.1002/cjs.11680
• Languages: English
• ISSNs: 0319-5724

Abstract

Abstract : Cluster analysis with functional data often imposes normality assumptions on outcomes and is typically carried out without covariates or supervision. However, nonnormal functional data are frequently encountered in practice, and unsupervised learning, without directly tying covariates to clusters, often makes the resulting clusters less interpretable. To address these issues, we propose a new semiparametric transformation functional regression model, which enables us to cluster nonnormal functional data in the presence of covariates. Our model incorporates several unique features. First, it omits the normality assumptions on the functional response, which adds more flexibility to the modelling. Second, our model allows clusters to have distinct relationships between functional responses and covariates, and thus makes the clusters formed more interpretable. Third, unlike various competing methods, we allow the number of clusters to be unspecified and data‐driven. We develop a new method, which combines penalized likelihood and estimating equations, to estimate the number of clusters, regression parameters, and transformation functions simultaneously; we also establish the large‐sample properties such as consistency and asymptotic normality. Simulations confirm the utility of our proposed approach. We use our proposed method to analyze Chinese housing market data and garner some interesting findings. Résumé : En cas de données fonctionnelles, l'analyse par grappes est souvent réalisée sous l'hypothèse de normalité et se fait généralement sans tenir compte de covariables et sans supervision. Mais en pratique, comme il est fréquent que les données fonctionnelles à l'étude ne soient pas gaussiennes, le recours à un apprentissage non supervisé sans un lien direct entre les covariables et les clusters fournit des résultats difficiles à interpréter. Pour remédier à ces problèmes, les auteurs du présent travail proposent un nouveau modèle de régression fonctionnelle de transformation semi‐paramétrique (STFR) qui permet de regrouper des données fonctionnelles non normales en présence de covariables. Le modèle proposé intègre plusieurs caractéristiques particulières. Premièrement, en omettant l'hypothèse de normalité de la variable réponse fonctionnelle, il rend la modélisation bien plus flexible. Deuxièmement, en permettant aux relations entre les variables réponses fonctionnelles et les covariables de varier d'un cluster à l'autre, il facilite l'interprétation des clusters construits. Troisièmement, contrairement à diverses méthodes concurrentes, l'approche proposée ne fixe pas le nombre de clusters à l'avance mais adopte davantage un choix automatique. La méthode ainsi développée combine les équations d'estimation et la vraisemblance pénalisée pour estimer simultanément le nombre de clusters, les paramètres de régression et les fonctions de transformation. Enfin, en plus d'une étude du comportement asymptotique des estimateurs proposés, dont la convergence et la normalité asymptotiques, les auteurs présentent des simulations et une analyse de données du marché immobilier chinois afin de confirmer les bonnes performances et l'utilité pratique de la méthode proposée.