Nous vous présentons aujourd’hui une transcription en format texte du contenu d’une entrevue réalisée en 2017 à la balado Le Prodcast.

Pour la version audio : Prodcast épisode 4 - Emmanuel Durand et Nicolas Bouillot.

Errata: L’entrevue a été réalisée en 2017 et non pas en 2018, contrairement à ce que ce billet mentionnait dans sa première itération. Nos excuses.

[Musique]

Prodcast: Bonjour. Aujourd’hui à Prod, on fait quelque chose de différent. On se rend à la SAT pour rencontrer l’équipe du Metalab, le laboratoire de recherche & développement de la Société des arts technologiques.

Pour cette table ronde, je suis accompagné par Osman Zeki, un ami qui a travaillé avec des artistes et des cinéastes pour développer différentes expériences immersives à la SAT et ailleurs. On parle du rôle du Metalab, de ce qui rend son approche unique, et de comment ils sont en train de tranquillement transformer tous les lieux culturels du Québec.

[Musique]

Prodcast: Ça me fait vraiment plaisir d’être ici aujourd’hui pour parler avec vous un peu de ce que vous faites, de votre travail, pour découvrir cette, ce côté de la SAT que je pense qu’on connaît peu, et qui doit être assez important pour les arts numériques en général. Je vais faire un tour de table et chacun vous pouvez vous présenter et aussi vos intérêts de recherche.

Emmanuel Durand: Ok, bien, euh je m’appelle Emmanuel Durand je suis un des deux codirecteurs du Metalab de la SAT, qui est le laboratoire de recherche en immersion, téléprésence, etc. et je suis plutôt spécialisé en informatique graphique.

Nicolas Bouillot: Moi c’est Nicolas Bouillot, je suis l’autre codirecteur du Metalab de la SAT, et je fais de la recherche depuis, euh, depuis toujours - en réseaux, téléprésence, musique principalement, c’est surtout le mélange de ces domaines-là qui est mon sujet d’étude comme chercheur.

Osman Zeki: Moi c’est Osman Zeki, je suis un peu un inconnu à la SAT, je ne travaille pas ici mais j’ai collaboré sur des projets ici - deux projets, un projet de data viz (visualisation de données, NDLR) à l’interne, donc c’était pour Desjardins mais juste pour les employé.e.s de Desjardins, et le deuxième projet c’est avec Zack, qui est un des vétérans du Metalab, Zack Settel, c’était son projet sur la danse et le thème de l’eau, le projet s’appelait Aqua Khoria et j’ai fait la réalisation de l’expérience immersive 3D interactif temps réel de ce projet-là, l’aspect temps réel 3D de ce projet-là.

Prodcast: Cool! Je pense qu’on a vraiment une belle distribution aujourd’hui, ça me fait vraiment plaisir d’être ici avec vous, juste à vous entendre parler, il y a certains thèmes de recherche vraiment importants : il y a la téléprésence, il y a un peu la télévision embarquée, ce genre de système-là - c’est quoi les terrains de recherche que vous avez ici à la SAT ?

Emmanuel: En fait, il y a deux aspects de recherche qui sont principalement développés, enfin historiquement depuis l’origine on va dire du Metalab en tout cas, c’est la téléprésence et l’immersion - c’est vraiment les deux principaux. La téléprésence bien parce qu’à l’origine, il y avait toute cette idée de créer avec la SAT un hub urbain, donc un espace qui soit central dans un réseau de salles connectées etc. - et puis l’immersion parce que les membres fondateurs de la SAT disons, ont développé avant d’autres endroits dans le monde des dispositifs immersifs, à l’origine un des premiers dispositifs immersifs de la SAT c’était le Panoscope, qui est en fait un dôme inversé mono-utilisateur, donc la personne se trouve au fond d’un bol et il y a une projection qui est faite autour de cette personne et donc tout ça a évolué pour au final donner des dômes de petite dimension au début et la Satosphère qui existe maintenant sur le bâtiment de la SAT

Prodcast: Dans le fond, vous, votre tâche c’est de développer les technologies qui permettent la réalisation de ce genre d’expériences-là…

Emmanuel: Comme moi je vois notre travail, le but de nos recherches c’est de faciliter la création de contenu pour ces différents médias, que ce soit pour l’immersion ou pour la téléprésence. On part du principe que, faire des contenus, utiliser ces dispositifs est quelque chose de complexe, utiliser la Satosphère ou n’importe quel dôme est quelque chose de complexe, déployer un système de téléprésence un peu avancé c’est-à-dire avec beaucoup de canaux audios, vidéos, du data, c’est quelque chose de complexe et y’a pas d’outils pour faire ça de manière simple et tel que je vois les choses un des principaux objectifs du travail du Metalab, c’est de simplifier ce travail.

Prodcast: Donc développer ces technologies qui permettent aux gens d’utiliser ces technologies-là sans avoir trop à penser à l’implémentation…

Nicolas: Bah entre autres mais pour revenir à ta question de départ, c’est que notre rôle en tant que chercheur à la SAT, il est pas dans, enfin il est dans la facilitation oui, mais il est pas dans - on va pas débloquer les gens dans la production de contenu. On a un programme de recherche, on définit des problématiques liées autour de la facilitation et de génération de contenu ou des technologies, c’est-à-dire débloquer des problèmes technologiques, mais à côté de gens qui le font pas nécessairement avec nos outils mais qui pourraient utiliser nos outils aussi ou qui les utilisent, concrètement, embaucher un artiste, avoir un artiste qui est là, le cachet - on n’a pas un cachet pour le payer pendant six mois à plein temps pour faire son travail et donc il y a un compromis entre le temps qu’il est capable de passer, ce qu’il est capable de produire, et le fait de se côtoyer - de côtoyer la production à la recherche fait que naturellement, ça nourrit les deux côtés et puis ça fait à la fois pour la production quelque chose de particulier, comme par exemple la pièce Aqua Khoria qui utilise des outils qu’on a développés notamment sur la spatialisation audio, ça rend particulier la production car il y a une composante de recherche qui est forte dedans, et qu’il y a des choses qu’on a jamais vues ailleurs en production, et puis dans la recherche des contraintes aussi un peu plus pratiques qui sont des contraintes qu’on voit pas nécessairement quand on va dans les conférences et qu’on rencontre d’autres chercheurs qui ont pas ces contraintes de production et qui vont, en fait, purement dans des directions de problèmes qui peuvent être théoriques ou alors des hypothèses qui sont pas soumises à des réalités de production…

Prodcast: Mais c’est quoi cette différence-là, juste pour être sûr de bien comprendre - un chercheur versus un développeur…

Emmanuel: C’est marrant que tu poses cette question, car on est à la SAT dans un environnement où en tant que chercheur, en tant que développeur, on est des bêtes bizarres. C’est-à-dire que le travail de développeur est quelque chose qui est difficile à expliquer avec des gens qui ne côtoient pas des développeurs au quotidien, et le travail de chercheur est compliqué à expliquer à des gens qui ne comprennent pas le travail de la recherche. Donc c’est vraiment quelque chose qu’on manipule un peu tous les jours.

Nicolas: Pour moi la recherche telle que je l’entends et telle que je l’entends au Metalab, d’ailleurs c’est pour ça qu’on reçoit des financements, c’est - on a des problématiques, on a des hypothèses et on va explorer des solutions pour comprendre… pour valider nos hypothèses, pour comprendre est-ce qu’on est capable de progresser dans une direction et de résoudre des problèmes et surtout la recherche c’est la communication, c’est-à-dire qu’on attaque un problème qui est pas résolu, on fait des évaluations et après on a besoin de les communiquer à une communauté de chercheurs qui, en fait, font progresser un domaine.

Prodcast: C’est quoi un peu les grands thèmes de recherche dans les arts numériques - un peu les enjeux qui sont rencontrés ?

Nicolas: Globalement, dans les arts numériques, on essaye plus ou moins naïvement de reproduire notre réalité - c’est probablement une volonté d’avoir un contrôle sur l’environnement et de pouvoir faire tout ce qu’on veut dans la virtualité et - et pour la téléprésence c’est la temporalité, c’est-à-dire que quand on est dans des lieux distants, il y a plusieurs facteurs de temps qui sont différents du temps tel qu’il est perçu quand on est ensemble dans la même pièce. Là, on est ensemble, on a l’impression qu’on pourrait tous se mettre à chanter en même temps et puisqu’on se croit exactement au même instant, même si physiquement il y des délais entre les bouches de chacun. En fait personne n’a exactement la même perception des événements simultanés. C’est-à-dire qu’on est tous plus ou moins en décalage, mais notre cerveau a une certaine tolérance et a l’impression que c’est en même temps.

Quand on est sur des réseaux en téléprésence, il y a des lieux différents: il y a déjà le temps de transmission de l’information entre les différents lieux qui joue, qui fait qu’on peut pas avoir des évènements simultanés, donc quand je dis un évènement c’est par exemple, tu tapes dans tes mains et c’est le son du claquement de ta main, si on dit, si je dis un, deux, trois et je tape dans ma main, et puis tout le monde doit taper au quatre, personne ne tapera en même temps et personne n’entendra tout le monde taper dans ses mains en même temps parce que les délais de transmission sont asymétriques. Donc pour le temps en téléprésence, il y a les délais de transmission, mais aussi les décalages horaires. Ça m’est arrivé de faire avec des amis des apéros Skype, mais on prend pas l’apéro à la même heure, si tu commences à prendre l’apéro à 3 heures de l’après-midi, ta soirée… elle ne doit plus ressembler à la même chose.

Prodcast: Ce que je trouve intéressant avec cela, c’est que c’est pas juste quelque chose de technologique, c’est beaucoup lié à la temporalité, à l’expérience humaine… Donc ça fait partie évidemment, je veux dire à la SAT de vos considérations, mais comme, un peu quel rôle ça joue, c’est fondamental…

Osman: J’entends Nico parler de la différence… pas la différence, mais disons la particularité de la SAT comme endroit de production mais de recherche aussi en même temps et puis moi pour avoir fait un peu de production ici, j’ai pas fait - c’est certain que je suis pas la personne qui a fait le plus de projets ici, mais mon expérience ici - on a implémenté des idées sur lesquelles Nicolas a travaillé, une idée d’ailleurs qui était la spatialisation sonore sur les 153 haut-parleurs, corrigez-moi si je me trompe, du dôme, donc c’est une espèce de setup de haut-parleurs qui est complètement unique, puis comment on peut utiliser ça, nous, disons comme artiste pour créer une expérience qui est propre à ce setup là, tsé. Puis y’a pas personne quelque part dans le monde qui a créé ça pour nous, nous on peut juste l’utiliser directement, comment moi, je suis arrivé en production après leurs étapes de recherche: j’avais l’outil, c’est ça.

Prodcast: Pis ça c’était le point que justement tu parlais plus tôt où tu disais un artiste arrive, il est limité dans le temps, il y a une certaine idée de leur fournir des moyens de…

Osman: Même si je suis programmeur, j’ai pas une spécialisation en son, j’ai pas une spécialisation dans le dôme, donc je n’avais pas de compréhension du tout de comment ça fonctionnait - high-level peut-être mais pas vraiment dans les détails, donc quand Zack [Settel] qui était le concepteur de ce spectacle-là m’a dit, on se spécialise sur 153 haut-parleurs et il y a des effets doppler, c’est vraiment… j’ai dit “wow c’est fou, comment vous faites pour faire ça”, j’imaginais un scénario complexe, mais non ya un engin de jeu vidéo standard qui est Unity et on prend un objet qui est déjà dans l’espace, qui est spatialisé dans l’espace d’Unity, juste comme n’importe quel engin 3d ferait avec n’importe quelle entité qui vit dans Unity, et on transpose la position de cet engin-là à la position du microphone entre guillemets le plus près avec toutes sortes d’effets pour simuler la distance le mouvement et tout cela, et ça donne, quand ça passe au travers de l’outil SATIE, ça donne comme résultat la spatialisation. Ça fait en sorte que moi, je peux juste prendre un objet, je le fais bouger de gauche à droite, de la manière la plus simple possible dans l’outil que moi je connais qui est disons Unity ou n’importe quel autre outil et quand ça passe à travers le filtre de SATIE, ça donne une expérience d’audio spatialisé qui est bluffante.

La première fois que Zack m’a montré, qu’il m’a fait le pitch du projet pour dire tu veux-tu travailler là-dessus je suis venu ici pis y travaillait là-dessus lui avec le chorégraphe, le danseur qui est Peter Trosztmer, il m’a juste ouvert une scène avec des mouettes qui volaient, une scène complètement noire avec juste des mouettes qui volent, et puis le son des mouettes qui passaient devant moi, je voyais la mouette, j’avais un élément visuel, et je voyais la mouette passer, et j’entendais le son de la mouette à l’endroit où elle était, ou peut-être qu’il y avait un délai peut être qu’il y avait quelque chose mais c’était compensé moi je remarquais pas vraiment la différence, mon cerveau ne faisait pas la différence. Donc, je voyais la mouette, j’entends le son, et quand la mouette tourne autour de moi j’entends le son tourne autour de moi et très rapidement j’ai oublié que j’étais dans un moment virtuel, je me suis senti comme sur le bord de la mer, j’ai eu des émotions par rapport à ça je me suis dit “wow”, j’ai passé au-delà des complexités techniques que ça peut engendrer des choses comme ça parce que l’outil était déjà fait et puis l’outil était fait - entre guillemets, le projet était fait la production était faite pour tester l’outil, tout était fait pour faciliter la production.

Une espèce de dualité qui est très opposée, très intéressante avec ce qui se fait en recherche, ce qui se fait en production pour tester, entre guillemets, pour mettre à l’œuvre la recherche qui est faite ici.

Prodcast: Mais en fait la question que ça soulève c’est, c’est quoi la contribution du Metalab à la communauté scientifique en général versus la SAT ?

Nicolas: Euh… ta question c’est en quoi dans quelle mesure le Metalab contribue à la communauté scientifique ?

Prodcast: Ouais, ou comment, comment est-ce que vous organisez votre temps et vos activités entre “engager” avec la communauté scientifique internationale et puis travailler sur les projets internes à la SAT?

Nicolas: Bien, disons, que c’est, je pense que c’est essentiellement, en fait, on travaille de manière plus ou moins opportuniste. C’est-à-dire que la manière dont on fonctionne c’est que… on a une base d’outils qui sont développés et ces outils, alors là - c’est dans le laboratoire - on est tous développeurs, on a une culture de développeurs, on fonctionne sur - on développe des logiciels open source et on développe sous Linux et il y a cette culture dans Linux et dans l’open source et dans Unix en général, de faire des outils qui sont élémentaires, entre guillemets, dans le sens où ils ont une particularité et qui est fait pour exister dans un écosystème, c’est-à-dire que… on n’ignore pas les autres outils et tout ce qu’on développe, est supposé fonctionner ensemble. Et ça c’est vraiment la manière dont on créé les logiciels, tous les logiciels sont compatibles entre eux, ce qui permet, comme ce qui a été dit tout à l’heure, d’avoir Unity qui fonctionne avec SATIE mais SATIE qui fonctionne aussi avec Blender, et SATIE qui fonctionne aussi avec etc. etc.

Et donc, on a une base d’outils open source comme ça qui nous permet de participer ou de participer à des productions ou d’effectuer des recherches, donc ce que je voulais dire par manière opportuniste, c’est - on a cette base de logiciels et puis, pour faire nos recherches, tous les ans, on décrit un programme de recherche, on dit voilà les défis qu’on veut adresser, et ces défis sont aussi basés sur l’évolution de nos logiciels. C’est-à-dire que, on sait déjà dans un domaine de recherche quelles sont les choses qui sont en train d’arriver, quelles sont les possibilités qui s’offrent et après avec les productions et des collaborations avec d’autres personnes - là. des opportunités se présentent. On sait que cet outil-là, on a besoin d’un outil de spatialisation dans notre boîte à outils globale, on connait le domaine de recherche en audio-numérique et la spatialisation, on sait quelles sont les limitations des outils pour faire que - ok, on avance dans notre outil et puis là il y a une opportunité d’un show, super, le show s’il peut se faire avec notre outil bien c’est tant mieux et puis ce show-là et bien, d’une part il utilise des features qui existent nulle part parce que c’est de la recherche et que ça avance et puis en même temps quand on va dans une conférence, on arrive et on dit “regardez, on a fait ce show, on a des vidéos de démonstration” et ca les chercheurs eux ils ont pas l’habitude de voir cela car eux, ils développent un prototype, ils démontrent la validité d’une hypothèse et après ils passent au suivant. Alors tous les chercheurs ne font pas comme ça, mais c’est ça qui fait qu’on arrive, qu’on a gagnant-gagnant entre la partie très appliquée de la SAT et la partie recherche, c’est-à-dire qu’on arrive à faire la glue entre les deux.

Prodcast: Est-ce quelque chose qui manque pour ces autres chercheurs-là, qui fait en sorte que leurs recherches sont peut-être moins intéressantes ou applicables ?

Emmanuel: Pas nécessairement, c’est juste que nous, on a une orientation extrêmement appliquée au final, ce qu’on fait - et ce n’est pas forcément le cas pour d’autres laboratoires. Au final, les laboratoires qui n’ont pas de contact avec des artistes pour leur faire, qui vont l’utiliser pour des cas de production - ce qui va se passer, c’est qu’ils ne vont pas aller aussi loin en termes de stabilisation, facilité d’utilisation et ce genre de choses… Par contre, ils iront potentiellement beaucoup plus loin en termes de précision de la spatialisation, les effets qu’ils arrivent à reproduire, ce genre de choses. Donc, nous, on amène des exemples de cas d’usages qui montrent que c’est utile, on montre que ça fonctionne dans la vraie vie - entre guillemets, et on tire des travaux de ces gens-là des pistes d’intégration futures, de développement pour nos propres outils.

Nicolas: C’est ça - parce que des scientifiques qui sont dans un laboratoire où il y a pas nécessairement, enfin, ce n’est pas une contrainte mais cette ambition d’avoir des productions - mais ils peuvent passer beaucoup plus de temps, par exemple, à récupérer un signal audio et le passer dans une moulinette mathématique et puis le passer dans des modèles statistiques pour dire ”ah ok, on valide certains aspects” et puis il y a certains aspects qui sur le plan scientifique sont validés de manière très précise et qui amène beaucoup plus de certitude que ce que nous on peut faire en disant « un danseur a manipulé notre spatialisation ».

Prodcast: Est-ce que vous avez un lien constant avec des gens à l’extérieur - avez-vous des partenaires, des gens de NSD, Carnegie Mellon, pour travailler avec, je sais pas, avec telle compagnie de jeu, telle technologie de jeu, avez-vous ce genre de relation à la SAT, par exemple avec Vive ?

Emmanuel: Avec Vive c’est un peu particulier, j’aurai du mal à qualifier cette relation, c’est surtout que… ils ont des gens qui s’occupent de la communauté, qui sont tombés sur cette vidéo, sur notre vidéo, et qui du coup ont tenu à prendre contact avec nous.

Prodcast: Peut-être juste nous mettre en contexte, c’est quoi la vidéo en question ?

Emmanuel: Ok - ça c’est un autre exemple que je voulais donner pour expliciter un peu les travaux que l’on fait ici, le projet de recherche actuel repose sur l’idée qu’on a du matériel bien spécifique ici à la SAT, on a plein de dômes, et… les artistes viennent faire des résidences ici en grande partie pour faire des productions pour des dômes, et la création pour des dômes et d’autres environnements immersifs mais spécifiquement pour des dômes, est quelque chose de complexe pour plusieurs raisons - déjà, c’est un environnement immersif, donc par rapport à faire une création de type film où tu as juste, le point de vue que tu imposes le scénariste, le metteur en scène, bien - il faut que tu penses à tout ce qu’il y a autour de toi, mais à côté de ça il y a aussi des contraintes plus techniques, notamment sur le type, le format de la vidéo qui va être produite, c’est-à-dire que - quand tu fais un film qui va être diffusé sur un écran, tu fais une image carrée et tu as le film sur ton écran. Quand tu fais un film ou une expérience immersive pour un dôme, ce n’est pas une image carrée, c’est un autre format de projection, pour la Sato (Satosphère, NDLR) en général c’est une projection sphérique. La difficulté que ça apporte c’est que c’est très difficile de te rendre compte de l’efficacité de la mise en scène et animations et scénographies etc - quand tu regardes une projection sphérique sur un écran plat. Parce que tout est déformé, donc tu vois les objets qui passent autour de toi mais tu as aucun moyen de savoir si l’objet est vraiment près ou loin de moi, est-ce qu’il va vite, est-ce que… les effets des choses sont très difficiles à appréhender et au final les artistes, ce qu’ils doivent faire, c’est… bien si, ils font si c’est pour un film, ils font un rendu de leur film, si c’est pour un jeu ils font un export du jeu, ils vont dans la Sato, ils se connectent, et ils regardent ce que ça donne, ils prennent des notes, ils disent “ça, ça va pas, ça va pas, ça marche pas”, ils retournent sur leur poste de travail, ils font leurs modifications, et comme ça ils sont un cycle de travail où ils oscillent entre leur poste de travail et le dôme.

Tout ça, ça prend du temps, quand tu fais un film - quand tu fais un rendu d’un film - disons la résolution minimale acceptable pour visualiser dans un dôme comme la Satosphère c’est du 2k par 2k. En dessous ce sera vraiment très moche, et le maximum qu’on peut accepter c’est du 4k par 4k, mais du coup le temps de rendu peut être relativement important - ça peut prendre plusieurs jours pour avoir ta scène qui est rendue.

Nous, notre sujet de notre projet de recherche de ces quelques années, c’est de faciliter la création pour des dômes, création au sens général, c’est à dire que là j’ai parlé de la vidéo, mais en fait Osman a parlé de l’audio juste avant, en fait la partie audio rentre dans ce projet de recherche parce que - les manières de créer du contenu de vidéo pour un dôme c’est compliqué, créer du contenu audio - en fait … c’est en fait c’est du 31.4 canaux, je crois, qu’on a dans la Sato. Il y a effectivement 150 et des brouettes et des haut-parleurs, mais ils sont regroupés par grappes donc c’est du 31.4. Mais faire du 31.4, quand tu es à ton poste de travail et que tu as juste un casque stéréo - pour se rendre compte de la spatialisation - tu peux pas, tu peux le faire juste une fois que tu es sur place et là, tu te rends compte de tout ce qui ne va pas.

Osman: il y a aussi les basses fréquences viscéralement - dans le dôme, les basses fréquences, tu les sens dans ton corps…

Nicolas: il y a aussi ce genre de problème. Nous, le but de notre projet de recherche c’est de créer une plateforme qui est montée sur la base de tous les outils que l’on développe au Metalab parce que comme l’a dit Nico, ils sont faits pour fonctionner ensemble, on crée vraiment un écosystème, on a grosso modo quatre outils principaux qui sont faits pour communiquer ensemble, donc créer une plateforme qui permet d’entamer le cycle de création directement dans la Satosphère - c’est-à-dire que tu commences pas à créer en étant sur ton ordinateur, en faisant la mise en scène sur ton poste de travail et après exporter pour voir ce que cela donne dans la Sato.

L’idée c’est notre hypothèse de recherche, c’est qu’en permettant de commencer la création directement dans la Satosphère, on va réduire les cycles de création et on va permettre aux artistes d’aller plus loin en termes d’expérimentation sur la scénographie. Donc, on a monté un outil et c’est donc exactement ce qui se passe dans la vidéo donc que tu as vue, etc. C’est que l’artiste se retrouve dans la Satosphère avec deux manettes de Vive - parce que c’est ce qui est le plus accessible actuellement en termes de contrôleurs VR - parce que, mine de rien, le dôme c’est aussi de la VR - même si c’est pas avec un casque de réalité virtuelle c’est aussi de la VR.

Donc, l’artiste a deux manettes de Vive et il a accès à tous les modèles 3D, samples audios etc. qu’il a amené avec lui et il peut commencer à construire sa scénographie dans le dôme, donc il importe ses modèles, il les place, il accroche des sons aux objets, il met des keyframes pour faire l’animation, il navigue dans l’environnement et donc il est dans le dôme et il voit exactement ce que ça donne.

Osman: Pour avoir fait de la production et pour avoir vécu ce problème-là d’aller-retour constant entre le 2D de ton écran carré et le quasiment 4D de ton environnement immersif, il y avait une énorme perte d’énergie-motivation-temps à faire l’aller-retour et aussi, il faut pas se mentir, le dôme est très occupé: on n’a pas accès tout le temps.

Nous, quand on a travaillé sur Aqua Khoria, c’est la nuit, on a fait un mois presque complet de juste travailler toute la nuit, on arrivait ici à 10 heures le soir, on se prenait de la bouffe, on mangeait et ensuite, on travaillait la nuit jusqu’à 8 heures du matin parce que c’est le seul moment, la seule plage, où on avait le dôme juste à nous et - même là, il y avait des gens qui venaient, il y avait des choses qui se faisaient, donc tu as une contrainte, tu dois être là-bas pour valider tes idées parce que tu as pas le choix, parce que c’est l’environnement de production: la vitesse, le son - il y a un écho dans le dôme que tu as pas ailleurs non plus que tu dois prendre en compte.

Les projecteurs… la couleur, la lumière rebondit d’un mur à l’autre, et va ternir un peu la couleur d’un autre - tu as pas vraiment la qualité visuelle que tu as sur ton écran, tu dois booster tes couleurs pour qu’il y ait une couleur encore plus vive au niveau de la saturation - tu te retrouves à faire tellement d’allers-retours… C’était mon deuxième projet Aqua Khoria, il y avait une certaine frustration - j’ai passé trois heures à faire mon animation de baleine qui se fait bouffer par un tourbillon d’eau, j’ai vraiment passé trois heures à faire ça, j’ai arrivé dans le dôme, le soir, parce que je travaillais de jour, et je me suis rendu compte que mon animation fonctionnait pas du tout: le truc était pas aligné comme du monde, nous, on voulait que l’apex du dôme soit l’endroit où la baleine entre, mais c’était un peu à gauche, le squelette était pas bon, la baleine - elle arrivait de nulle part, le son était pas bon, tout était mauvais, on s’est retrouvés à devoir - oui, on avait quelque chose de commencer tsé, mais on s’est retrouvés à devoir refaire toute la nuit cette scène au complet ! Et puis moi, même si plus tard vers la fin on s’est créés des outils pour pouvoir passer moins de temps à faire ça.

Osman: Puis aussi, la particularité des engins de jeu comme Unity ou des outils comme Blender qui sont du temps réel qui sont, que tu peux manipuler rapidement - les variables de ce qui constitue ta scène, c’est que tu pouvais partir l’expérience - changer une variable ou deux assez facilement et puis dire “ok qu’est-ce qui arrive si je mets la vitesse à 5, à 6, à 7, à 8…” puis tu pouvais voir immédiatement un résultat, arrêter le playback si on veut, revenir, remettre la valeur que tu as trouvé, qui était bonne, tsé, trouver ta valeur puis la mettre, tsé. Puis vers la fin ce qu’on a fait, ce qu’on utilisait…. Un transport de messages OSC, c’est juste un protocole pour envoyer des messages. Puis on avait une tablette iPad ou un téléphone mobile sur laquelle on avait fait des interfaces avec un truc qui s’appelle TouchOSC - et puis on pouvait varier les valeur, les vitesses, le volume et tout - de là pour tester un peu “ouais est-ce que le son s’est mieux si on augmente le volume si la vitesse est plus rapide” machin tsé, c’est comme utiliser un contrôleur MIDI c’est la même chose qu’utiliser un contrôleur MIDI pour jouer entre guillemets genre sur un effet ou un autre, une pédale ou la guitare ou ce genre de choses-là…

Et puis même avec ces outils c’était archaïque, c’était difficile tsé. Donc clairement j’aurais aimé avoir un outil qui pour pouvoir dire “qu’est-ce qui se passe si la baleine, ça se passe dans l’eau Aqua Khoria, qu’est-ce qui se passe si la baleine ça prend 20 secondes pour passer d’un endroit à l’autre tsé, dans le dôme”.

On essaye. On le fait, là déjà en plus c’est sur une machine différente, le code qui roule sur le dôme est sur une machine dédiée au dôme, le rendu 3d est sur une machine séparée, tout se communique par réseau. Toi, tu es sur ton laptop ou sur ta tour, tu fais ton changement, tu vas “commit” ça dans git entre guillemets, qui est un système de contrôle de version distribué, donc distribuer le code, tu montes en haut dans la salle, tu récupères les changements, tu les appliques à la scène, et puis là - tu l’exécutes. Le petit disons, une minute, deux minutes, trois minutes, que tu prends à faire ça chaque fois, sur le long d’un projet - c’est des heures et des heures et des heures - tu as peut-être perdu 40, 50 heures à faire juste cette petite manipulation-là.

Puis, si j’avais pu sauver 50h de plus, le projet serait aller plus loin, je me dis - quand j’ai vu la vidéo la première fois de In Situ (Édition in Situ, NDLR), moi - j’ai vraiment vu le potentiel, j’ai dit “wow, imagine si j’avais juste pu placer la baleine, la faire bouger, dans 20s c’est passé, je veux un effet plus massif, je veux faire 30s, 50s en une minute plutôt que de faire l’aller-retour”, donc c’est une économie de temps, d’énergie… une barrière de moins à la créativité… automatique.

Prodcast: Mais ça avec le HTC Vive, il y a les manettes qui sont utilisées pour créer ça, mais vous n’utilisez pas le casque dans le fond… tu pourrais pas avoir avoir quelqu’un qui s’assoit, qui met son casque, qui minimalement peut avoir une spatialisation de… du dôme et puis après, il va se retrouver là, et puis tsé, il a clairement pas le son, mais au moins, il y a au moins un peu l’espace… l’organisation…

Emmanuel: C’est surtout un manque de temps plus qu’autre chose - pour ne pas mettre en place ce genre de choses. Mais tu pourrais. Après, bien…

Nicolas: Et avec le son…

Emmanuel: Et avec le son, tu pourrais aussi.

Prodcast: Ah ouais avec la spatialisation… mais c’est surtout que ce serait tout le temps…

Nicolas: Ah bien, ce serait moins précis que si tu as les speakers vraiment derrière toi, mais il y a des modèles qui permettent de simuler cela, qui marchent pas pour toutes les personnes parce qu’on a tous des oreilles qui ont une forme différente - donc ça marche plus ou moins bien, mais ce genre de choses est possible.

Osman: En même temps, moi, je trouve que deux choses un, moi j’ai fait de la VR aussi, tsé, j’ai réalisé un documentaire en VR - en VR tu es isolé, tu es coupé de la réalité, tsé, tu as des lunettes sur le visage et puis on force entre guillemets une immersion, c’est forcé tsé - oublie que tu as un casque, oublie que tu as un truc qui t’écrase le nez, que tu peux pas respirer et que tu as chaud tsé. Tandis qu’à la SAT tu rentres, tu as pas de dispositif, le seul truc qui vient entre guillemets faire une espèce de barrière entre toi et l’immersion, c’est la surface du dôme, un peu l’écho dans le dôme, un peu le bruit des autres gens autour de toi tsé.

Puis, dans la VR, que tu peux faire de l’immersion et c’est intéressant et je veux dire, les expériences immersives VRs sont quand même excellentes, tu as un sentiment d’isolation qui fait en sorte que l’expérience doit prendre ça en compte, tsé, mais quand tu fais de l’immersion dans un dôme, tu peux être cent personnes autour de toi. S’il y a assez de gens, si c’est assez silencieux ou peu importe, tu peux sentir la chaleur des autres gens, tu peux sentir le rythme cardiaque des autres gens, tu peux voir leur réaction à ce qui se passe aussi, c’est comme une espèce de truc émotionnel complètement différent.

Tu pourrais définitivement faire l’expérience en VR et avoir les mêmes outils, en fait les mêmes marcheraient car, au niveau fondamental, Unity quand il roule, il peut rouler la VR, il peut envoyer à la SAT, et puis si on avait une machine assez puissante, on pourrait faire les deux en même temps tsé, en une seule instance d’Unity - pourquoi pas. Mais l’expérience en soi d’être dans l’espace et puis d’avoir tout cet espace-là autour de toi et de pas avoir de dispositif sur le visage, de pouvoir être avec d’autres gens, permet de faire une création et guide la création vers un résultat qui sera jamais le même que ce que tu designes fondamentalement pour des gens qui ont un casque sur la tête et qui regarde au travers des lunettes et l’écran.

Prodcast: Oui, clairement, et puis même veut, veut pas, quand tu mets un casque, tu peux te permettre de scénariser davantage, tu vas setter ta caméra initiale, tu pourrais même avoir la personne qui va être sur un petit… quasiment une ride de chemin de fer et qui avance, tandis que quand tu es dans un dôme, les gens vont être assis de toutes les perspectives, tu ne peux même pas concevoir ton expérience de la même manière.

Osman: Et ça c’était un challenge dans Aqua Khoria. Au début, l’artiste dans Aqua Khoria était un peu anxieux de - comment il allait faire pour aller chercher l’attention de l’utilisateur et puis raconter son histoire, tsé - son mouvement, son corps… la danse, il y a une histoire qui est racontée là-dedans et puis ce serait ça un peu parce que c’est une recherche pour tout le monde, tout le monde faisait ça pour la première fois. Ce spectacle-là, ce genre de spectacle-là avec ce genre d’outillages là, tsé.

Lui, ça le rendait anxieux au début et puis, on a rapidement réalisé que c’était simple si c’était lui qui était le chef d’orchestre et puis ce qu’on s’est rendus compte que nous, nous dans la SAT, c’était que l’immersion venait pas nécessairement juste de la projection, il y avait un aspect physique surtout dans ce spectacle-là qui était de la danse, tsé, où il va aller chercher l’attention des utilisateurs sur lui et puis, on pouvait l’aider en diminuant entre guillemets la projection, et puis, après, ça lui pouvait donner l’attention à la régisseuse en pointant du doigt ou en regardant, parce que les gens regardaient là où il regardait.

Faque c’est une expérience qui est un peu unique, tu as un peu de la misère à reproduire… où tu designerais pas comme ça pour un casque que pour ça.

Prodcast: Ouais, clairement… est-ce que… parce que là, si c’est l’expérience d’abord immersive collaborative, est-ce que vous regardez des choses comme la réalité augmentée, et puis ça prend quelle forme, si oui?

Emmanuel: Euh… l’avis que je vais donner n’engage que moi [rires]. Il y a une équipe, à la SAT, qui fait de la réalité augmentée. Moi, mon doctorat était - il y avait une grosse part de réalité augmentée, mais c’était il y a… je l’ai commencé il y a plus de dix ans mon doctorat, je l’ai fini il y a cinq ou six ans, mais à ce moment-là - il y avait pas de, il y avait pas tous les SDKs qui peut y avoir actuellement pour faire de la réalité augmentée, c’était plus.. tu avais plus à faire les choses par toi-même. À mon sens, la réalité augmentée pour l’instant est quelque chose… n’a pas prouvé son utilité, basiquement. C’est… mais une fois de plus, cet avis n’engage que moi.

Prodcast: Mais même pour des expériences artistiques, comme celles qu’on pourrait voir à la SAT ?

Emmanuel: pour des expériences artistiques, c’est autre chose… en fait, il y a quelques cas où c’est intéressant. Pour des expériences artistiques, bien de toute façon par expérience artistique, tout dépend de ce que l’artiste, pas n’importe qui, pas n’importe qui - mais c’est à l’artiste de trouver le médium qui correspond à ce qu’il veut… à ce qu’il veut exprimer. et donc, la réalité augmentée pourquoi pas ? C’est difficile de juger sans avoir d’exemples sous la main. Après, la réalité augmentée est très souvent présentée comme étant un moyen d’augmenter le réel, pour ajouter le plus d’informations, pour… personnellement j’ai encore rien vu d’intéressant à ce niveau-là. Tel que je le conçois actuellement, c’est juste un moyen de rajouter de la publicité dans ton champ de vision. C’est… c’est ça.

Nicolas: Est-ce que tu as vu cette vidéo où il y avait des projecteurs au plafond qui projettent des animations pour des gens qui jouent au kart - c’est un Mario Kart en réalité augmentée…

Emmanuel: Ça, ça l’air super cool - dis comme ça.

[Rires généralisés]

O: Au niveau…

Prodcast: Faque tout dépend de l’application

Osman: C’est clair… l’utilité artistique, c’est toujours un peu… les gens qui prennent un truc qui est peut-être sérieux et qui… “Comment on peut avoir du fun avec cela ?” C’est sûr que c’est une approche différente.

Emmanuel: La VR mine de rien, les premiers SDKs de VR qui sont Layar, Metaio etc. c’est apparu il y a une dizaine d’années pour - peut-être pas parce qu’en fait c’était sur smartphone, donc moins d’une dizaine d’années, donc je sais pas, sept ans ? un truc comme ça ? Et même maintenant, il n’y a pas d’applications réellement intéressantes de ces choses-là… Ça reste pour, il y a pas d’applications généralisées, ça reste des choses qui sont utilisées pour des cas particuliers, pour faire de la réalité augmentée dans un musée, pour avoir des informations qui sont affichées sur une œuvre d’art, pour ce genre de choses - des choses plus généralisées que ça… c’est pas vraiment le cas. Donc, pour moi, pour moi la réalité augmentée [silence] toute seule, je vois pas encore l’intérêt, pour moi, elle peut commencer à être intéressante, utilisée avec d’autres médiums pour comme…

Osman: Tu vois, c’est intéressant, car on parlait de réalité augmentée avec Zack - qui est le créateur d’Aqua Khoria, le spectacle - pis il y avait une vision Zack, qui m’a décrite quand il m’a parlé de - le projet qu’il voudrait qu’on fasse ensemble, le prochain projet.

Il me disait qu’il trouvait intéressant le dôme et tout, et puis le dôme te donnait une surface infinie à partir de la surface de la sphère dans laquelle tu es, mais entre la sphère et tes yeux, il y a encore toute une opportunité, tout un espace qu’on n’utilise pas, on l’utilise dans la scénographie ou… mais, lui il était intéressé, il était vraiment intéressé et curieux par… qu’est-ce qu’on peut faire avec de la réalité augmentée - on verra, entre la surface du dôme et tes yeux, tsé, est-ce les interactions qui existent dans cet espace-là qui est disponible, que tu as pas quand tu as le casque, tsé, qu’on veut exploiter.

Et puis lui, il avait fait de la recherche là-dessus et il disait, on n’a pas, on n’a pas des lunettes grand marché grand public, on n’a pas vraiment le matériel - on est un peu limité ici, donc je vais attendre un peu - mais c’est une idée qui le tracasse - puis clairement lui, ce serait le genre de personne que d’avoir un ARCore kit, les outils de Google, donc peut-être - et puisque les gens viennent avec leur propre téléphone, ça descend un peu le barème d’entrée, au niveau prix, au niveau faisabilité.

Au niveau artistique - au niveau purement artistique, donc pas fonctionnel ou pratique disons - il y a quelque chose d’intéressant qui pourrait se faire. C’était une des approches parmi d’autres qu’on avait discutées tous ensemble dans toute l’équipe - comment on peut utiliser la réalité augmentée, qui est un sujet qui est comme un buzz en ce moment, il y a beaucoup de gens qui investissent, il y a beaucoup de gens qui veulent voir des espaces en réalité augmentée parce que le terme est arrivé dans l’oreille du public… Puis, lui, il se disait, ben ok, maintenant qu’on a ce buzz, maintenant qu’on a des gens qui investissent, qui ont plus de moyens que nous… Est-ce qu’on peut leverager ça et dire qu’est-ce qu’on fait avec ça, on m’a donné un sandbox et - est-ce que je peux faire des choses intéressantes avec mon approche, ma personnalité, ma vision. Puis ça je trouvais ça intéressant, c’est sûr que c’est pas pratique, ça mène un peu… fondamentalement, ça mène un peu nulle part, mais c’est intéressant et important quand même.

Emmanuel: Mais pour le coup, Zack, il arrive avec un problème et il cherche…

Osman: Clairement ! Clairement !

Emmanuel: Et il considère… la réalité augmentée, ça rentre clairement…

Osman: Clairement, c’est la recherche, j’ai la réalité augmentée - qu’est-ce que je peux faire, c’est à l’envers, c’est pas ”build it and they will come” - j’ai une idée, j’ai quelque chose que je veux véhiculer, et…

Prodcast: Ça, ça m’amène à la dernière question et… on pourrait parler toute la soirée… c’est quoi les choses que les gens peuvent s’attendre à voir à court et moyen terme du Metalab et de la SAT - comme, peut-être des projections, des trucs artistiques, des projets que vous avez publiés…

Nicolas: Par rapport au Metalab en particulier, là où on va, c’est la transformation des espaces du quotidien ou des espaces publics en espaces immersifs. C’est-à-dire qu’on veut aller au-delà des dômes et puis utiliser des - on appelle ça des espaces immersifs spontanés. Par exemple, on arrive, disons, dans une bibliothèque, avec un… on est en train de parler avec des micros mais avec un pied et puis, mettons des projecteurs et des speakers - on met des speakers à un endroit et là, la pièce devient mon environnement immersif.

Sur le plan technologique, sur le plan - sur tous les plans en fait ce sont de vrais défis, il y a toutes les questions qui se posent aujourd’hui - sur, par exemple, la réalité augmentée pour ajouter du contenu entre soi et l’écran - et puis qu’est-ce qu’est l’écran - mélanger tous ces différents types de dispositifs de rendus, des lunettes avec des projecteurs, des speakers, avec des speakers stéréos de la pièce… pour que tout ça s’intègre ensemble et donner aux utilisateurs, aux gens qui sont dans cet espace-là, l’environnement immersif qui soit cohérent et qui soit pas perturbé par… des artefacts techniques, c’est vraiment des défis qu’on est en train d’attaquer et qui sont les choses vers lesquelles on va…

Prodcast: Faque c’est un nouveau projet de recherche ou ce sont des nouvelles applications… ?

Nicolas: C’est comme la continuité de ce qu’on fait, c’est-à-dire que les défis qui se posent maintenant sont vraiment liés à cela…

Prodcast: donc le Metalab dans une bibliothèque près de chez vous… bientôt ?

Nicolas: En fait on a déjà fait ça - c’est un projet qui s’appelle Bibliolab.

Prodcast: Ah ouais - c’était où ça?

Emmanuel: La bibliothèque Frontenac et… et ici, en fait.

Nicolas: Il y a eu plusieurs bibliothèques en cours de projet. Par rapport au produit… au produit numérique, on a deux projets qui étaient des projets très appliqués: il y a le projet Bibliolab qui consistait à déployer un système de téléprésence et de vidéo mapping entre des bibliothèques pour permettre à des bibliothécaires ou des activités de bibliothèque d’avoir lieux en plusieurs lieux simultanément.

Donc, par exemple, une bibliothèque avec quelqu’un qui vient, qui a un savoir-faire, qui fait une masterclass avec des enfants qui sont dans plusieurs bibliothèques, ou sinon quelqu’un qui fait, qui raconte, qui donne un conte avec du contenu immersif, qui a un imaginaire etc. C’est ce projet-là qui a été bouclé pour la première année et qui devrait continuer.

Et puis, il y a le projet qui s’appelle Scènes Ouvertes, pour lequel il y a une conférence de presse cette semaine - qui consiste à équiper une vingtaine de salles de spectacle au Québec avec un équipement de téléprésence - et qui permet de faire des spectacles, des shows ou des évènements en téléprésence, dans différentes salles - ça peut être des pièces de théâtre, ça peut être des pièces de musique, ça peut être des masterclass, ça peut être des conférences, des présentations…

Donc là, ces équipements-là ont été construits, testés - ils ont été conçus comme des produits et ces machines-là sont disponibles dans les salles au Québec. Ça couvre tout le Québec, à peu près tout le Québec, jusqu’à la Gaspésie - et puis, maintenant on a un réseau au Québec de salles qui sont connectées, qui sont capables de faire des shows en réseau. Ça commence maintenant, là… c’est aux Journées de la culture, il va y en avoir qui vont commencer.

Osman: De la manière que vous le décrivez, cela a l’air d’être un autre morceau de tout l’écosystème qui se construit… Donc, les salles sont connectées, maintenant - est-ce qu’il y va y avoir des œuvres d’art qui vont se faire sur plusieurs salles en même temps, donc… Ça continue, c’est vraiment une continuité…

Nicolas: Mais cela, cela nous échappe. Maintenant, ce n’est plus le laboratoire de recherche qui gère cela, c’est d’autres gens à la SAT qui animent le réseau, qui font le support - s’il y a un show à la SAT ce n’est pas nous qui manipulons, c’est sorti… Nous, on est encore en contact avec cela car on est développeurs de ces objets-là, mais on est pas au courant de tout ce qui se passe dedans, ça vit… Ça vit à part entière.

Osman: Donc c’est un peu - encore une fois du point de vue étranger, extérieur - vous êtes un peu un engin d’innovation, vous construisez quelque chose, vous observez le monde extérieur, vous construisez quelque chose - et vous le laissez aller dans le monde, les gens le reprenne, ça fait des choses que vous pouvez peut-être même pas prévoir un jour.

Emmanuel: Ouais ben cela serait cool

Nicolas: C’est ça…!

Prodcast: Très cool, très cool ! Si les gens veulent en apprendre plus, ils peuvent se rendre tout simplement sur le site de la S-A-T slash Metalab.

Nicolas: C’est - il y a un menu, il y a Metalab dedans, il y a une description de nos projets, il y a la plupart de nos publications, en PDF….

Emmanuel: Il y a un accès à notre dépôt de code - si des gens sont assez aventureux pour essayer de compiler et d’installer eux-mêmes nos logiciels !

Osman: Les README sont très bons, quand même, c’est mieux documenté que la majorité des projets que les gens droppent sur Internet.

Emmanuel: Tu es beaucoup trop gentil!

Osman: Vous avez un fichier README, quand même, ça commence bien !

[Rires généralisés]

Prodcast: Ça pourrait être travaillé plus tard… avec d’autres développeurs.

Prodcast: Merci beaucoup d’avoir partagé tout cela, vos outils, votre travail et ce que vous êtes en train de faire pour les arts technologiques, pour le Québec. Personnellement, j’ai bien apprécié et j’espère aussi que les gens à la maison ont apprécié également.

[Musique]

Prodcast: C’est tout pour aujourd’hui. Si vous êtes intéressés à en apprendre plus sur le Metalab, vous pouvez vous rendre sur le site Internet du centre de recherche: sat.qc.ca/recherche/metalab . Vous pourrez en apprendre plus sur tous les projets dont ils ont parlé : Édition in Situ, Scènes ouvertes et le Bibliolab. Comme toujours, pour recevoir des nouveaux épisodes lorsqu’ils sortent, vous pouvez vous abonner sur iTunes ou Google Play - et si vous avez particulièrement aimé l’épisode, vous pouvez en parler à un ami ou laisser un commentaire. Merci et à la prochaine !