Bilan d’un projet GSoC 2025 : Medialode, un CLI léger multiplateforme et son serveur SQLite qui indexent images, audio, vidéos et scripts grâce à des processus d’analyse spécialisés en JSON-over-WebSocket.
Un pipeline temps réel modulaire qui applique les modèles ONNX PointNet++ et PointPillars à des flux de nuages de points : classification, segmentation et détection d'objets 3D, avec sorties OSC ou WebSocket.
Portage des descripteurs de puara-gestures vers Avendish, puis réécriture en C++ de 11 nœuds d’analyse issus de goofi-pipe — clustering, PCA, VAMP, ERP — en processeurs natifs d’ossia score. 17 pull requests fusionnées.
Comment un moteur de rendu voxel par lancer de rayons Vulkan a été bâti comme extension d'ossia score pour la projection en dôme au-delà de 180 degrés, avec le correctif requis pour activer Vulkan RT dans score.
Le portage de Splash vers OpenGL ES pour le Raspberry Pi 4 : chasse aux segfaults et aux caprices du GLSLES, profilage avec Tracy, et refonte de la couche graphique derrière une interface Renderer.
Prise en charge du TorqueTuner dans Feelix : export des effets haptiques vers le micrologiciel du bouton, nouveaux effets MIDI transmissibles aux instruments USB et environnement de développement sur Apple Silicon.
Trois mappers SATIE en SuperCollider — cartesianControl1, cartesianControl2 et xDirAdjacent — placement cartésien des sources, atténuation du gain avec la distance et contrôle de plusieurs spatializers.
Un prototype pour revivre des performances en réalité augmentée : capture de mouvement avec MediaPipe Pose, diffusion par Web Sockets vers une scène WebXR en Three.js, et ce qui bloque encore l'intégration.
Une salle Mozilla Hubs conçue pour Satellite, la plateforme 3D de la SAT, rend la lumière manipulable : source de rayons en Three.js, réglages d'angle, d'atténuation et de rotation, rayons visibles et synchronisés.
Sept semaines de notes GSoC 2023 sur les mappers SATIE génériques : mise en route de SuperCollider et de SATIE, lecture de l’interface et des vumètres, puis conception des mappers nearFarField1 et cartesianControl.
Portage de Splash sur Raspberry Pi 4 avec OpenGL ES 3.2 : conversion des appels et des shaders, fusion des chemins de code OpenGL et OpenGL ES, et pourquoi Vulkan, bgfx et magnum ont été écartés.
Christian Frisson et Edu Meneses expliquent ce qu’il faut pour reconstruire un instrument de musique numérique à partir de sa documentation : nomenclature, micrologiciel, vidéos, T-Stick et TorqueTuner à l’appui.
Récit de stage : la conception de LivePose Capture, un greffon Blender qui anime des avatars 3D à partir des données de pose de LivePose, pour reconstituer l’Orchestre symphonique de Montréal (projet SAV+R).
Composer une pièce dans Ableton Live et la spatialiser dans la Satosphère avec SATIE, SATIE4Live et JACK : la chaîne d’outils, et les pièges de mixage, de Spread et d’élévation rencontrés dans le dôme.
Transcription intégrale de l’entrevue de 2017 à la balado Le Prodcast : Emmanuel Durand, Nicolas Bouillot et Osman Zeki sur la téléprésence, la spatialisation avec SATIE et les espaces immersifs spontanés.
Ajout des permissions UNIX à la bibliothèque shmdata : des modes octaux remplacent les droits de lecture/écriture par défaut du serveur de socket, des sémaphores et de la mémoire partagée, test inclus.
Récit d'une contributrice au Google Summer of Code 2022 : ajouter la vérification des permissions UNIX à shmdata, la bibliothèque de flux en mémoire partagée du Metalab de la SAT, et les embûches du parcours.
Intégration de LivePose à l'interface web de Poire, avec SATIE : démarrage et arrêt à distance des deux outils sur Linux embarqué, réglages Jack Audio, configuration par backend et état conservé au rechargement.
Tableau de suivi de la migration des outils du Metalab — LivePose, Splash, shmdata, SATIE, switcher et les autres — d’Ubuntu 20.04 vers 22.04 (Jammy Jellyfish), avec les tickets associés.
Les gestes du visage comme mode d'entrée dans Satellite, le fork de Mozilla Hubs par la SAT : intégration de Google MediaPipe, réassignation des gestes à des actions 3D et limites de précision à corriger.
Des réponses impulsionnelles ambisoniques sous le dôme de béton du Centech révèlent un point focal acoustique en son centre : un simple pouf posé là fait passer la réverbération de 13.57 s à 2.97 s.
Création pas à pas de Ballant, un petit jeu de bras levés piloté par LivePose : la page HTML, le CSS, la boucle de jeu en JavaScript et la tuyauterie OSC et socket.io qui relie le tout.