A test for independence via Bayesian nonparametric estimation of mutual information. Issue 3 (23rd August 2021)

• Record Type: Journal Article
• Authors: Al‐Labadi, Luai; Fazeli Asl, Forough; Saberi, Zahra
• Is Part Of: Canadian journal of statistics. Volume 50:Issue 3(2022)
• Page Start: 1047
• Page End: 1070
• Publication Date: 2021-08-23
• Subjects: Dirichlet process -- k‐nearest neighbour distance -- mutual information -- relative belief inferences -- test for independence; Mathematical statistics -- Periodicals; 519.5
• DOI: 10.1002/cjs.11645
• Languages: English
• ISSNs: 0319-5724

Abstract

Abstract : Mutual information is a well‐known tool to measure the mutual dependence between variables. In this article, a Bayesian nonparametric estimator of mutual information is established by means of the Dirichlet process and the k ‐nearest neighbour distance. As a result, an easy‐to‐implement test of independence is introduced through the relative belief ratio. Several theoretical properties of the approach are presented. The procedure is illustrated through various examples and is compared with its frequentist counterpart. Résumé : L'information mutuelle est un outil classique et bien connu qui sert à mesurer la dépendance mutuelle entre variables. Les auteurs de ce travail proposent d'utiliser le processus de Dirichlet et la méthode des k ‐proches voisins pour construire un estimateur bayésien non paramétrique de cette information. Ainsi, en ayant recours au rapport de croyance relative, ils introduisent un test d'indépendance facile à implémenter. En plus d'une illustration sur divers exemples pratiques, une comparaison avec un analogue fréquentiste, plusieurs propriétés théoriques de l'approche sont présentées.