A nonlinear sparse neural ordinary differential equation model for multiple functional processes. Issue 1 (16th November 2021)

• Record Type: Journal Article
• Authors: Liu, Yijia; Li, Lexin; Wang, Xiao
• Other Names: Cao Jiguo guestEditor.; Cheng Guang guestEditor.; Li Yehua guestEditor.; Müller Hans‐Georg guestEditor.
• Is Part Of: Canadian journal of statistics. Volume 50:Issue 1(2022)
• Page Start: 59
• Page End: 85
• Publication Date: 2021-11-16
• Subjects: Deep neural networks -- multivariate functions -- nonconvex optimization -- ordinary differential equation -- ℓ0‐penalty; Mathematical statistics -- Periodicals; 519.5
• DOI: 10.1002/cjs.11666
• Languages: English
• ISSNs: 0319-5724

Abstract

Abstract : In this article, we propose a new sparse neural ordinary differential equation (ODE) model to characterize flexible relations among multiple functional processes. We characterize the latent states of the functions via a set of ODEs. We then model the dynamic changes of the latent states using a deep neural network (DNN) with a specially designed architecture and a sparsity‐inducing regularization. The new model is able to capture both nonlinear and sparse‐dependent relations among multivariate functions. We develop an efficient optimization algorithm to estimate the unknown weights for the DNN under the sparsity constraint. We establish both the algorithmic convergence and selection consistency, which constitute the theoretical guarantees of the proposed method. We illustrate the efficacy of the method through simulations and a gene regulatory network example. Résumé : Afin de caractériser des relations flexibles entre plusieurs processus fonctionnels, les auteurs de cet article proposent un nouveau modèle d'équations différentielles ordinaires (EDO) neuronales éparses. Dans un premier temps, ils commencent par caractériser les états latents des fonctions via un ensemble d'équations différentielles ordinaires, pour ensuite modéliser les changements dynamiques d'états latents en utilisant un réseau neuronal profond (RNP) avec une architecture spécialement conçue et une régularisation induisant l'éparpillement. Le nouveau modèle est capable de capturer à la fois des relations non linéaires et des relations de dépendance éparse entre des fonctions multivariées. Un algorithme d'optimisation efficace pour estimer les poids inconnus des RNP sous contraintes d'éparpillement est également proposé. Les auteurs établissent les convergences algorithmique et de la sélection qui témoignent du bon comportement théorique de la méthode proposée. Enfin, l'efficacité de la méthode est illustrée à l'aide de simulations numériques et un exemple de réseaux de régulation génétique.