RoboFinch: A versatile audio‐visual synchronised robotic bird model for laboratory and field research on songbirds. Issue 4 (14th February 2023)

• Record Type: Journal Article
• Authors: Simon, Ralph; Varkevisser, Judith; Mendoza, Ezequiel; Hochradel, Klaus; Elsinga, Rogier; Wiersma, Peter G.; Middelburg, Esmee; Zoeter, Eva; Scharff, Constance; Riebel, Katharina; Halfwerk, Wouter
• Is Part Of: Methods in ecology and evolution. Volume 14:Issue 4(2023)
• Page Start: 1092
• Page End: 1103
• Publication Date: 2023-02-14
• Subjects: language evolution -- multimodal communication -- robotic bird model -- robotics -- social behaviour -- song learning -- zebra finch; Ecology -- Periodicals; Evolution -- Periodicals; 577
• DOI: 10.1111/2041-210X.14063
• Languages: English
• ISSNs: 2041-210X

Abstract

Abstract: Singing in birds is accompanied by beak, head and throat movements. The role of these visual cues has long been hypothesised to be an important facilitator in vocal communication, including social interactions and song acquisition, but has seen little experimental study. To address whether audio‐visual cues are relevant for birdsong we used high‐speed video recording, 3D scanning, 3D printing technology and colour‐realistic painting to create RoboFinch, an open source adult‐mimicking robot which matches temporal and chromatic properties of songbird vision. We exposed several groups of juvenile zebra finches during their song developmental phase to one of six singing robots that moved their beaks synchronised to their song and compared them with birds in a non‐synchronised and two control treatments. Juveniles in the synchronised treatment approached the robot setup from the start of the experiment and progressively increased the time they spent singing, contra to the other treatment groups. Interestingly, birds in the synchronised group seemed to actively listen during tutor song playback, as they sung less during the actual song playback compared to the birds in the asynchronous and audio‐only control treatments. Our open source RoboFinch setup thus provides an unprecedented tool for systematic study of the functionality and integration of audio‐visual cues associated with song behaviour. Realistic head and beak movements aligned to specific song elements may allow future studies to assess the importance of multisensory cues during song development, sexual signalling and social behaviour. All software and assembly instructions are open source, and the robot can be easily adapted to other species. Experimental manipulations of stimulus combinations and synchronisation can further elucidate how audio‐visual cues are integrated by receivers and how they may enhance signal detection, recognition, learning and memory. Zusammenfassung: Vogelgesang wird immer von Schnabel‐, Kopf‐ und Kehlkopfbewegungen begleitet. Es wird vermutet, dass diese visuellen Signale einen wichtigen Faktor bei sozialer Interaktion und vor allem beim Lernen des Gesangs darstellen. Diese visuellen Faktoren der vokalen Kommunikation wurden bisher kaum experimentell untersucht. Um herauszufinden, ob audiovisuelle Signale für das Erlernen des Gesangs bei Vögeln relevant sind, haben wir einen kleinen OpenSource Roboter mit dem Namen RoboFinch entwickelt. Währen der Entwicklung haben wir Techniken wie Highspeed‐Videoaufnahmen, 3D‐Scans, 3D‐Drucktechnologie und farb‐realistische Kolorierung angewendet, um ein möglichst realistisches Model eines erwachsenen Zebrafinken zu schaffen, der auch die zeitlichen und chromatischen Eigenschaften des Singvogel Sehsinns berücksichtigt. Mit diesen Robotern—es wurden insgesamt 6 entwickelt—haben wir mehrere Gruppen junger Zebrafinken während ihrer Gesangsentwicklungsphase aufgezogen. Die Roboter einiger Gruppen bewegten dabei ihre Schnäbel synchron zum Gesang, andere Gruppen hatten nicht‐synchronisierte Roboter. Daneben hatten wir noch zwei Kontrollgruppen ohne RoboFinch. Die Gruppen an Jungvögeln, denen synchronisierte Schnabelbewegungen präsentiert wurden, hielten sich von Anfang des Experimentes nahe dem Roboter auf und steigerten im Laufe des Experiments schrittweise die Zeit, die sie mit Singen verbrachten. Bei den anderen Gruppen konnte man das nicht beobachten. Interessanterweise schienen die Vögel in der synchronisierten Gruppe aktiv zuzuhören, denn sie sangen während der Roboter aktiv war weniger als die Vögel in der asynchronen Gruppe und der Kontrollgruppen bei denen nur Audio abgespielt wurde. Das RoboFinch Projekt ist vollkommen Open Source und bietet ein neues und erfolgsversprechendes Instrument für die systematische Untersuchung der Wahrnehmung von audiovisuellen Signalen. Realistische Kopf‐ und Schnabelbewegungen, die auf die Gesangselemente abgestimmt sind, werden es künftigen Studien ermöglichen, die Bedeutung multisensorischer Signale während der Gesangsentwicklung, der Balz und des Sozialverhaltens zu bewerten. Die gesamte Software und die Bauanleitung stehen online zur Verfügung, so dass der Roboter leicht nachgebaut und auch für andere Arten adaptiert werden kann. Experimentelle Manipulationen der Reizkombinationen und auch der Synchronisation können Aufschluss darüber geben, wie audiovisuelle Signale von den Empfängern wahrgenommen und integriert werden und wie auf diese Weise das Erkennen von Signalen, das Lernen und das Gedächtnis verbessert werden können.