De l'écran à la réalité : l'art numérique inspiré des jeux vidéo
Des musiques chiptune (8-bit) aux radios intégrées telles que FlyLo FM dans GTA V, en passant par la bande son de Hotline Miami, considéré comme une des meilleures bandes sonores de l’industrie, les musiques électroniques ont depuis longtemps intégré l’univers des jeux-vidéo. Aujourd'hui, cette esthétique va au-delà de la bande sonore. Les performances audio-visuelles de musiques électroniques utilisent souvent des éléments graphiques tirés des jeux vidéo, que ce soit par des projections de séquences de jeux, des animations en 3D rappelant les environnements virtuels, ou des avatars numériques interactifs.
Alors que plusieurs performances de la 25e édition de MUTEK Montréal ont un lien étroit avec l’univers des jeux-vidéo, certain·e·s artistes vont encore plus loin en transformant la scène en un véritable monde virtuel. Ces performances ne se contentent pas d'imiter l'univers du jeu vidéo, elles en deviennent une extension, brouillant les frontières entre le spectacle et le jeu, et plongeant le public dans une aventure audiovisuelle où chaque note de musique et chaque pixel projeté contribuent à une immersion totale.
Murcof & Simon Geilfus - Twin Color
En observant Bordeciel depuis la Gorge du Monde, on pourrait se sentir comme Le voyageur contemplant une mer de nuages, tel que peint par Caspar David Friedrich. Les peintres romantiques, surréalistes, et cubistes ont largement influencé les esthétiques contemporaines, et les jeux vidéo n'échappent pas à cette influence.
C'est précisément ce que Murcof et Simon Geilfus ont entrepris avec Twin Color : ils insèrent les codes des jeux vidéo dans un monde contemplatif, explorant un univers virtuel imprégné des fantômes de Friedrich et de Beksinski. L'œuvre combine des éléments de musique électronique minimaliste avec des visuels générés par ordinateur, créant une expérience qui rappelle les environnements des jeux vidéo modernes. Les visuels projetés par Simon Geilfus se distinguent par leur précision géométrique et leur dynamisme, synchronisés avec la musique de Murcof pour créer un paysage audiovisuel harmonieux. Ce monde est composé principalement de biomes inspirés par la nature, tels que des forêts et des champs, intrinsèquement liés et articulés avec la musique.
Twin Color intègre un moteur de jeu (Game Engine), un ensemble de composants logiciels utilisés par les jeux vidéo pour leurs calculs de géométrie et de physique, afin de simuler en temps réel la souplesse et la fluidité du monde imaginaire dans lequel se déroule l’action. En utilisant le logiciel open source de génération d’images en 3D Unreal Engine, Murcof et Geilfus créent un monde dynamique et réactif, où toutes sortes de phénomènes se produisent.
Twin Color offre aux spectateur·trice·s la possibilité d'explorer un monde virtuel, où le même environnement génère à la fois musique et vidéo. Une réflexion sur la spatialisation du son permet au discours musical de s’accorder aux évolutions en 3D des images générées, enrichissant encore davantage l’expérience.
Une performance à vivre lors de A/Visions 2, le samedi 24 août au Théâtre Maisonneuve de la Place des Arts.
Meuko Meuko & NONEYE - 無形將軍 Invisible General
Dans le paysage en constante évolution de l'art numérique et des musiques électroniques, les frontières créatives sont continuellement redéfinies. 無形將軍 Invisible General, le deuxième chapitre de la trilogie Ghost Island par Meuko! Meuko! et NONEYE, est l'un des exemples de cette convergence. Ce projet explore l'interaction entre les croyances traditionnelles taïwanaises et le dataïsme contemporain, à travers le prisme d'une performance audiovisuelle qui s'inspire fortement de l'esthétique des jeux vidéo.
Invisible General est une suite de l'album 2018 de Meuko! Meuko! ⻤島 Ghost Island, sorti sur Danse Noire, qui est un mélange de mythologie, d'instruments acoustiques, de beats électroniques et d'échantillons cacophoniques, réunissant des sons traditionnels avec des électroniques contemporains et les bruits durs de la vie moderne. Décrite par les artistes comme “anti-utopique”, la performance présente des géographies et des monuments tentaculaires qui évoquent un sentiment de désolation. Cette esthétique visuelle est complétée par des beats teintés d'industrialisation, créant un paysage sonore qui fait avancer le récit.
Cette fusion de l'ancien et du nouveau n'est pas seulement thématique mais aussi technique. Les créateur·trice·s utilisent la capture de mouvement, la capture de visage et des moteurs 3D en temps réel pour donner vie à leur vision. L'utilisation de ces moteurs leur permet de manipuler dynamiquement l'environnement numérique, créant un monde vivant et respirant qui répond aux aspirations artistiques. Invisible General est plus qu'une performance ; c'est une production pluridisciplinaire qui vise à créer un récit alternatif pour un monde post-pandémique et aliéné. En investiguant sur les thèmes de la mythologie, du tech-animalisme et de la culture des jeux vidéo, le projet offre un commentaire sur le rôle de la technologie dans nos vies et les façons dont elle peut à la fois nous connecter et nous isoler.
En invitant NONEYE, Meuko! Meuko! offre une expérience d'un autre monde à son public à travers la création d'espaces de jeux futuristes. Fusionnant des graphiques informatiques et la notion de jeu interactif, 無形將軍 Invisible Genera', est une performance à vivre lors de Nocturne 5, le 24 août à la Société des arts technologiques [SAT].
Kode9 - Escapology
Marcher dans les terres désertes de l’Amérique dépeinte par Hideo Kojima dans Death Stranding est une invitation à découvrir ces espaces où les colonies humaines ne se sont pas installées.
Certaines performances sont directement issues de jeux vidéo, comme le projet Escapology de Steve Goodman, autrement connu sous le nom de Kode9, musicien, professeur, artiste contemporain et fondateur du label Hyperdub. Cette fiction raconte un projet imaginaire de colonisation spatiale écossaise inspiré de la tentative échouée du Royaume d'Écosse de coloniser une partie du Panama dans les années 1690, appelée le schéma de Darien. En conséquence, le pays est tombé en faillite, et la catastrophe a rapidement conduit à la formation du Royaume-Uni actuel. La colonisation a continué après les Actes d'Union de 1707, tandis que l'Écosse et l'Angleterre ont pris le contrôle de la moitié de la planète.
Escapology réécrit l'histoire de manière innovante, utilisant la fiction pour réinterpréter et rejouer l'histoire de Darien, de sorte qu'elle se termine inversement par un changement de paradigme politique constructif. Comme l'explique Kode9, "l'univers d'Astro-Darien est programmé par une conceptrice de jeux panaméenne. Elle le code pour qu'il soit spécifiquement “xénophile”, pour s'allier avec des étranger·ère·s et des aliens, payer ses dettes historiques."
Conçu comme bande sonore pour le jeu vidéo Astro-Darien, l’album Escapology, sorti en 2022, est rempli d'exclamations électroniques, de bribes d'interprétation vocale et de certaines des musiques de club les plus adroites et intuitives de l'artiste écossais. Ce retour de Kode9, 7 ans après son dernier album, piège l’auditeur·trice dans un environnement de type jeu vidéo, où des touches de footwork et de jungle sci-fi viennent s’insérer dans une figure mélodique inhabituelle.
Auteur du livre Sonic Warfare: Sound, Affect, and the Ecology of Fear, Kode9 manipule habilement le pouvoir affectif du son, éparpillant chaque signal avec un soin malgré un travail marqué par la dislocation et la confusion. Les timbres riches, les textures superposées et les hauteurs glissantes des phrases électroniques microtonales répondent parfaitement aux graphismes lumineux de l'artiste collaborateur de longue date de Kode9, Lawrence Lek (ainsi que les visuels du spectacle de Optigram, Bianca Hic et Kode9 lui-même). Lek utilise avec aisance la simulation et les moteurs de jeux pour extraire des lieux réels et les transforme en espaces numériques surréalistes. Le projet est aussi visuellement vif qu'ambitieux en tant qu'album audio. Pour Goodman, “concevoir un monde de manière sonore est beaucoup plus ouvert qu'un monde déjà visualisé.”
Escapology est un élément d'un ensemble, plutôt qu'un album à part entière. Il est une composante essentielle de la plus récente œuvre de Goodman qui soulève davantage d'interrogations qu'il n'apporte de solutions, mais le fait d'une manière unique que peu d'autres artistes pourraient réussir. La performance en direct de Kode9 à MUTEK Montréal reconfigure les atmosphères d'Astro-Darien en morceaux de rythmes de club asymétriques en haute définition, à travers une conception sonore millimétrée.
À découvrir lors de Nocturne 6, le dimanche 25 août à la Société des arts technologiques [SAT].
Priori & Jek - This But More
À l’image des projets cités précédemment où des artistes musicaux·ales se sont associé·e·s à des talents visuels, et après sa collaboration en 2023 avec Shoeg, le producteur montréalais et co-fondateur du label NAFF, Priori, s'amarre cette année avec l’artiste médiatique Jack Anderson aka Jek. Plus que jamais, Priori exploite le pouvoir sans limites du partenariat sur son dernier album This but More, une collection riche de 13 morceaux ambiants et trance que le producteur décrit comme “le plus grand projet collaboratif que j’ai entrepris jusqu’à présent”.
Sur le morceau Moonstone, Priori collabore avec le producteur ambiant de Brooklyn Ben Boldy pour créer une expérience liminale : des voix chargées de réverbération vont et viennent sur le rythme trance up-tempo de la chanson. Basalt Tones est un autre point fort évident, et voit Priori travailler aux côtés de son compatriote montréalais Jesse Osborne-Lanthier (moitié de Orchestroll) dans une composition qui combine des tambours à main avec du bruit industriel pour produire des résultats à la fois archaïques et dystopiques.
En tant qu'album, This but More trouve sa force dans la cohésion thématique. Bien que les morceaux varient du léger et éthéré au sombre et menaçant, les sons se mélangent malgré leurs distinctions sonores pour ouvrir un portail vers un monde fantastique. L'exploration thématique de la guérison et du processus créatif ajoute une couche profonde à la narration de l'album. Il semble que Priori ne se contente pas de créer de la musique, mais invite les auditeurs à un voyage réflexif, où les complexités de la vie et de l'art s'entrelacent.
Lecteur averti, amateur de films et de jeux vidéo, la musique de Priori est nourrie de ses passions, desquelles découlent une musique texturée aux scénarios réfléchis et aux atmosphères globales. Cette collaboration avec Jek apparaît alors comme une évidence car le travail du New-Yorkais est marqué par une esthétique organique, où la Nature occupe une place importante. Technicien hors pair, Jek exploite le moteur de jeu Unreal Engine pour concevoir des environnements riches et luxurieux illustrant parfaitement la profondeur éthérée de l’album.
Le morceau Wake, première production vocale de Priori, avec la chanteuse-productrice James K, est accompagné d’un clip visuel dans lequel les paysages naturels et ruines de civilisations imaginaires se superposent aux rythmes électro-jungle et aux voix pop. Avec une telle cohérence esthétique, il fait peu de doute que la performance du duo à MUTEK Montréal cet été soit remarquable.
Découvrez ce spectacle audio-visuel en première mondiale, lors de Métropolis 2, le samedi 24 août au MTELUS.
Ubisoft
Si un studio de jeux vidéo incarne la quête incessante de repousser les habitudes de création dans l'industrie, c'est bien Ubisoft, et en particulier son studio montréalais. Ubisoft Montréal a non seulement redéfini le genre des jeux vidéo grâce à une vision audacieuse et une volonté de collaboration, mais a également ouvert de nouvelles perspectives en matière de développement et de production.
Après le succès retentissant de la licence Prince of Persia, Ubisoft s'est lancé dans un projet ambitieux qui allait métamorphoser l'industrie : Assassin’s Creed. Sorti en 2007, ce jeu a posé les bases d'une franchise qui deviendrait emblématique, grâce à son mélange unique d'histoire, de parkour et de combat.. Piloté par Ubisoft Montréal, Assassin’s Creed II sort par la suite en 2009. Ce projet a bénéficié de l'expertise des studios de Singapour et d'Annecy, réalisant un jeu qui redéfinirait le genre action-aventure avec une synergie internationale inédite.
Développé principalement à Montréal, Assassin’s Creed II a été une prouesse à bien des égards. En intégrant des graphismes haute définition (HD) à une période où les jeux vidéo aspiraient à plus de réalisme, Ubisoft a su captiver le grand public avec des visuels époustouflants et une immersion sans précédent. L'intégration de cinématiques de haute qualité, issues d'un département dédié, a ajouté une dimension cinématographique qui a rapproché le jeu d'un véritable film interactif. Assassin’s Creed II n'a pas seulement impressionné par son esthétique. Inspiré par des ouvrages sur les sociétés secrètes et les technologies de l'ADN, le jeu a exploré des thèmes historiques complexes . Cette profondeur narrative, couplée à un gameplay de monde ouvert – un concept alors encore émergent – a permis aux joueurs d'explorer des environnements vastes et détaillés, repoussant les limites de l'interactivité.
Cette même quête d'innovation et de collaboration se retrouve dans un autre projet phare du studio : Rainbow Six. En 2015, Ubisoft à Montréal a franchi une nouvelle étape en produisant la bande sonore du jeu avec l'Orchestre symphonique de Montréal (OSM). Cette collaboration audacieuse a permis de fusionner la richesse des instruments classiques avec l'intensité de l'action tactique, créant une expérience sonore unique et immersive. L'innovation musicale d'Ubisoft ne s'arrête pas là. En intégrant des éléments de musique électronique, le studio a su moderniser et dynamiser la bande sonore, tout en préservant une profondeur orchestrale. L'utilisation, pour la première fois dans l’histoire du jeu vidéo, de l'octobasse en 2022, un instrument rare et imposant, a ajouté une puissance supplémentaire aux compositions, illustrant la volonté d'Ubisoft de repousser les frontières artistiques.
En plein cœur de l’ère numérique, les jeux vidéo nous ouvrent à un monde de possibilités, où les collaborations entre différentes industries sont privilégiées, où la transmission culturelle prend place et l’accessibilité élimine les barrières pour créer des opportunités nouvelles.
Le jeudi 22 août, troisième jour de MUTEK Forum titré La Connexion humaine : narration dans les technologies numériques et le gaming, sera consacré en grande partie à cette industrie créative — une offre faisant son entrée pour la première fois à la programmation de MUTEK Forum.
Quatre projets et initiatives centrés sur l’univers des jeux vidéo seront présentés lors de cette journée, ainsi que le vendredi 23 août, journée de clôture du Forum 2024.
Atelier | Jeu vidéo et musique, un atelier présenté par Ubisoft
Crédit photo: Antoine Salto
La qualité des jeux vidéo réside souvent dans leur capacité à créer des expériences immersives à travers leurs visuels, leurs bandes sonores et leurs effets sonores. Ces éléments s'entrelacent pour donner vie à chaque jeu vidéo. Des recherches ont même montré que les bandes sonores répétitives des jeux vidéo peuvent affecter le niveau de dopamine dans le cerveau, ayant ainsi un effet réel sur les joueurs et les joueuses.
Mettre en avant le son dans les jeux vidéo favorise une attention particulière aux collaborations qui peuvent émerger entre différentes industries. À Montréal, une collaboration notable entre Ubisoft et l'Orchestre symphonique de Montréal a permis la création de la bande sonore du jeu Rainbow Six. Vincent Gagnon, directeur audio chez Ubisoft, a choisi son instrument de prédilection : l’octobasse, le plus grand et le plus grave des instruments à cordes. Avec seulement cinq exemplaires dans le monde, l'OSM a le privilège d'en posséder un en ses lieux.
« L’octobasse était parfaite pour le jeu, avec son côté sci-fi. Ça donne un ton étrange, car n’est pas un instrument qu’on entend souvent. » – Vincent Gagnon, Directeur Audio, Ubisoft Montréal
Cet instrument massif à trois cordes produit des vibrations sonores exceptionnelles. Ses notes sont si basses que l’octobasse peut même opérer sous la fréquence audible de l'oreille humaine, à 16,351 Hz. Ce son très grave et la rareté de l'instrument en font une expérience sonore singulière, rarement entendue. Ce mariage entre l’octobasse et l'univers immersif de Rainbow Six crée une atmosphère unique et captivante.
Le vendredi 23 août à 10h, une conférence-atelier présentée par Vincent Gagnon et son équipe abordera plus en détail la composition locale de la bande sonore de Rainbow Six. La discussion sera suivie d'un atelier offrant aux participant·e·s l'occasion d'expérimenter et de créer leur propre musique, en utilisant des fichiers de différents instruments tels que l’octobasse, l'orgue, et les ondes Martenot.
Panel | Passer au prochain niveau : l’accessibilité dans les jeux vidéo, présenté par EA Motive
Le jeu vidéo se distingue par son utilisation novatrice des nouvelles technologies pour rendre l'expérience de jeu accessible à tous. Aujourd’hui, le développement de fonctionnalités d'accessibilité dans les jeux vidéo inclut des descriptions audio, des commandes personnalisables, des ajustements visuels et auditifs, des retours haptiques, et bien plus encore. Les handicaps se manifestent sous diverses formes, il est donc crucial de répondre à tous les besoins.
Derrière ces logiciels destinés à rendre l’expérience de jeu plus inclusive, plusieurs consultants, comme Ross Minor, jouent un rôle essentiel en mettant l’utilisateur au centre de leurs préoccupations. Consultant en accessibilité pour les personnes aveugles ou à faible vision, Ross Minor est spécialisé dans le domaine des jeux vidéo depuis plus de cinq ans. Son expérience en tant que personne non voyante et sa passion pour les jeux vidéo l'ont conduit à une vocation éducative. Il a commencé sur internet avec sa célèbre vidéo How I Play Mortal Kombat X Completely Blind. Aujourd’hui, il partage son expertise en collaborant avec des studios tels qu’Ubisoft, Interior Night et EA Games. Il a notamment contribué avec des descriptions audio cruciales pour les jeux Sea of Thieves et As Dusk Falls.
Ce panel se tiendra le jeudi 22 août à 13h30 et réunira Ross Minor aux côtés d'Améliane F. Chiasson de JAMTL, Frédéric McNamara de Shishi Studios, ainsi que Christian Cimon, directeur du design d'expérience chez Electronic Arts, pour une discussion sur l'accessibilité dans les jeux vidéo.
Présentation | Innovations Autochtones et technologies immersives
Les jeux vidéo couvrent de nombreux genres, et ceux à vocation pédagogique demandent une attention particulière en raison de la recherche approfondie qu'ils nécessitent et de leur influence. Les jeux vidéo ont une capacité unique à transmettre l'histoire de manière interactive, permettant aux joueurs d'interagir avec elle.
Ce potentiel transformateur du jeu vidéo comme médium éducatif a la possibilité d'innover et de recontextualiser les réalités autochtones, marquant un premier pas vers une décolonisation du jeu vidéo. Ces espaces éducatifs informels présentent souvent un certain biais colonial, d'autant plus flagrant lorsqu'ils s'incarnent dans un univers virtuel inspiré d'événements historiques. Dans ce sens, il est nécessaire de déprogrammer les structures coloniales et de créer des univers et des narratifs représentatifs des réalités autochtones. Mikiwam répond à ce besoin en faisant briller ces perspectives et exemplifie la force du jeu vidéo comme médium de narration et de transmission culturelle, favorisant ainsi la diffusion des connaissances autochtones.
"Entrez dans un monde autochtone à la suite de la décolonisation" sont les mots qui vous accueillent lorsque vous plongez dans le monde fictif post-colonial de Mikiwam: Solar Punk Herbalism, un jeu vidéo développé par le Studio Ekosi, une initiative des sœurs Nehiyaw (Cri) Keara et Caeleigh Lightning.l,
Le Studio Ekosi présentera leur projet plus en détail, aux côtés de Revital Software, lors du panel Innovations Autochtones et technologies immersives, le jeudi 22 août à 16h30. Cette discussion, tout comme Mikiwam, encourage une reconstruction des relations entre l'humain et la nature tout en imaginant les diverses formes que peuvent prendre les jeux vidéo.
Par ailleurs, environ 4 000 personnes parlent actuellement le kanien’kéha (langue mohawk) à travers l’Amérique du Nord. Face à ces chiffres alarmants et aux préoccupations concernant la perte de cette langue, Revital Software, un studio de jeux vidéo axé sur la revitalisation linguistique basé au Québec et fondé par les sœurs Kahentawaks et Wannekerakon Tiewishaw, s'engage à préserver et revitaliser les langues autochtones au Canada.
Cette plateforme d'apprentissage linguistique vise à offrir des ressources alternatives à la salle de classe pour créer un espace permettant de pratiquer et de préserver les langues autochtones. Selon Revital Software, « ces langues sont importantes car elles sont un pilier de la souveraineté autochtone et sont imprégnées des connaissances accumulées et des perspectives du monde de nos ancêtres ». Conçue comme une bibliothèque linguistique riche, Revital Software utilise les jeux vidéo pour encourager un engagement quotidien dans l'apprentissage des langues.
Le premier ensemble de jeux se concentrera sur le mohawk et les récits modernes des légendes haudenosaunee, avec l'intention d'élargir progressivement la bibliothèque. Dans un esprit de préservation des traditions et dans une optique de décolonisation de nos esprits, Revital Software présentera son projet aux côtés de Studio Ekosi le jeudi 22 août à 16h30.
À l'ère du numérique, les jeux vidéo ne se contentent plus de divertir. Ils éduquent, préservent des cultures et ouvrent des dialogues sur l'inclusion et l'accessibilité. Des initiatives comme celles de Revital Software et du Studio Ekosi montrent comment les technologies immersives peuvent être utilisées pour enrichir notre compréhension du monde et promouvoir la diversité culturelle. Avec des collaborations telles que celle d'Ubisoft et de l'Orchestre symphonique de Montréal, l'avenir des jeux vidéo et de la musique électronique s'annonce riche en innovations et en découvertes.
En parallèle, la réalité virtuelle (VR) et la réalité étendue (XR) sont en train de transformer notre manière de percevoir et d'interagir avec le monde. Un sujet qui sera abordé lors du Salon XR et du Symposium iX, le mercredi 21 août dans le cadre de MUTEK Forum.