Bayesian spline smoothing with ambiguous penalties. Issue 1 (25th September 2021)

• Record Type: Journal Article
• Authors: Zhang, Xinlian; Datta, Gauri S.; Ma, Ping; Zhong, Wenxuan
• Other Names: Cao Jiguo guestEditor.; Cheng Guang guestEditor.; Li Yehua guestEditor.; Müller Hans‐Georg guestEditor.
• Is Part Of: Canadian journal of statistics. Volume 50:Issue 1(2022)
• Page Start: 20
• Page End: 35
• Publication Date: 2021-09-25
• Subjects: Empirical Bayes -- Gaussian process -- Gibbs sampler -- penalized likelihood; Mathematical statistics -- Periodicals; 519.5
• DOI: 10.1002/cjs.11655
• Languages: English
• ISSNs: 0319-5724

Abstract

Abstract : A popular method for flexible function estimation in nonparametric models is the smoothing spline. When applying the smoothing spline method, the nonparametric function is estimated via penalized least squares, where the penalty imposes a soft constraint on the function to be estimated. The specification of the penalty functional is usually based on a set of assumptions about the function. Choosing a reasonable penalty function is the key to the success of the smoothing spline method. In practice, there may exist multiple sets of widely accepted assumptions, leading to different penalties, which then yield different estimates. We refer to this problem as the problem of ambiguous penalties. Neglecting the underlying ambiguity and proceeding to the model with one of the candidate penalties may produce misleading results. In this article, we adopt a Bayesian perspective and propose a fully Bayesian approach that takes into consideration all the penalties as well as the ambiguity in choosing them. We also propose a sampling algorithm for drawing samples from the posterior distribution. Data analysis based on simulated and real‐world examples is used to demonstrate the efficiency of our proposed method. Résumé : Le lissage par spline est une méthode d'estimation non paramétrique flexible et très populaire. Elle consiste en un ajustement par moindres carrés pénalisés d'une fonction non paramétrique soumise à des contraintes de régularité assez souples en générale. Ces contraintes traduisent des hypothèses sur la fonction à estimer et sont spécifiées sous forme d'une fonction de pénalité. Le choix d'une fonction de pénalité raisonnable est la clé de succès de la méthode de lissage par spline. En pratique, de multiples ensembles d'hypothèses, communément utilisées et acceptées, peuvent mener à des pénalités différentes et produire des estimations différentes. Les auteurs de cet article désignent ce fait par le problème des pénalités ambiguës. La négligence de l'ambiguïté sous‐jacente et l'adoption d'un modèle basé sur l'une des pénalités possibles peut produire des résultats trompeurs. Dans le but de parer à ce problème de pénalités ambiguës, le présent article adopte une perspective bayésienne et propose une approche purement bayésienne qui prend en considération aussi bien l'ambiguïté du choix que l'ensemble des pénalités possibles. Un algorithme d'échantillonnage pour prélever des échantillons de la distribution postérieure est également proposé. Pour démontrer l'efficacité de la méthode proposée, les auteurs ont eu recours à des simulations numériques et des données réelles.