Conditional distributions of frame variables and voting behaviour in probability‐based surveys and opt‐in panels. Issue 4 (27th September 2022)

• Record Type: Journal Article
• Authors: Pekari, Nicolas; Lipps, Oliver; Roberts, Caroline; Lutz, Georg
• Is Part Of: Schweizerische Zeitschrift für Politikwissenschaft. Volume 28:Issue 4(2022)
• Page Start: 696
• Page End: 711
• Publication Date: 2022-09-27
• Subjects: Conditional distribution -- Opt‐in online panels -- Probability samples -- Voting behaviour -- Web survey; Political science -- Periodicals; 320.05
• DOI: 10.1111/spsr.12539
• Languages: English
• ISSNs: 1424-7755

Abstract

Abstract: Probability‐based web surveys are increasingly challenged by decreasing response rates and high costs. A cheap and convenient solution is to use 'opt‐in' online panels, which are based on non‐probability samples. However, the quality of the data such panels produce is subject to debate. To improve our understanding in this regard, especially in the Swiss context, we compare conditional distributions of sociodemographic variables and voting behaviour of two probability‐based web surveys and three opt‐in panels. Indeed, point estimates in opt‐in panels are well studied, but bivariate relationships between variables, arguably more important for researchers in political science research, have received less attention. Our analysis has the advantage of most variables of interest being included in the sampling frame and thus the true values are known for each conditional distribution. Our results show a lack of consistency and reproducibility in the results from opt‐in panels, which leads us to recommend care when using this type of data. Zusammenfassung: Wahrscheinlichkeitsbasierte Webumfragen sind zunehmend mit sinkenden Antwortraten und hohen Kosten konfrontiert. Eine billige und praktische Lösung ist die Verwendung von „Opt‐in" online‐Panels, die auf Nicht‐Wahrscheinlichkeitsstichproben beruhen. Allerdings ist die Qualität der Daten, die solche Panels produzieren, umstritten. Um unser Verständnis in dieser Hinsicht insbesondere im Schweizer Kontext zu verbessern, vergleichen wir die bedingten Verteilungen soziodemografischer Variablen und des Wahlverhaltens von zwei wahrscheinlichkeitsbasierten Webumfragen und drei Opt‐in‐Panels. Während viel über Punktschätzungen in Opt‐in‐Panels bekannt ist, haben Beziehungen zwischen Variablen, die für die wissenschaftliche Forschung wichtiger und für statistische Modelle entscheidend sind, weniger Aufmerksamkeit erhalten. Die meisten unserer interessierenden Variablen sind im Stichprobenrahmen enthalten, so dass die wahren Werte für jede bedingte Verteilung bekannt sind. Unsere Analysen zeigen mangelnde Konsistenz und Reproduzierbarkeit der Ergebnisse aus Opt‐in‐Panels, die Anlass zu Vorsicht bei der Verwendung dieser Art von Daten geben. Résumé: Les enquêtes en ligne basées sur des probabilités sont de plus en plus confrontées à la baisse des taux de réponse et aux coûts élevés. Une alternative consiste à utiliser des panels en ligne « opt‐in », qui sont basés sur des échantillons non probabilistes. Cependant, la qualité des données produites par ces panels est sujette à débat. Pour améliorer notre compréhension à cet égard, en particulier dans le contexte suisse, nous comparons les distributions conditionnelles des variables sociodémographiques et du comportement de vote de deux enquêtes en ligne basées sur des probabilités et de trois panels opt‐in. On en sait beaucoup sur les estimations ponctuelles dans les panels opt‐in, mais les relations entre les variables, sans doute plus importantes pour la recherche scientifique et cruciales pour les modèles statistiques, ont reçu moins d'attention. La plupart des variables qui nous intéressent sont incluses dans la base de sondage de sorte que les valeurs réelles sont connues pour chaque distribution conditionnelle. Le manque de cohérence et de reproductibilité des résultats des panels opt‐in nous amène à recommander la prudence dans l'utilisation de ce type de données.