GDC 2017 : « MAGI », l’outil des musiques interactives de FFXV

Vous ne l’avez peut-être pas remarqué, mais une partie des musiques de Final Fantasy XV réagit à ce que vous faites. Ce procédé bien connu, que l’on appelle « musique interactive » ou « musique adaptative » selon les sensibilités, n’a rien d’une nouveauté dans le domaine du jeu vidéo ; beaucoup auront en mémoire la fameuse musique de Super Mario Bros. qui accélère lorsque le temps imparti est sur le point d’être écoulé. De nos jours, la technique est évidemment bien plus sophistiquée, et est largement présente en particulier chez les développeurs occidentaux. Pourtant, la série Final Fantasy ne l’avait virtuellement jamais employée avant ce quinzième épisode. Ce grand changement est dû à un programmeur sonore nommé Shô Iwamoto, qui a présenté le fruit de son travail lors d’une session à la Game Developers Conference de San Francisco le 3 mars dernier.

Lorsqu’il a rejoint Square Enix en tant qu’employé, en 2014, Shô Iwamoto s’est mis au travail sur une méthode d’implémentation de musiques interactives qui, de par son concept initial, s’est naturellement retrouvée associée à Final Fantasy XV. Son principal objectif était de concilier deux approches qui font la renommée de la série : ses prouesses technologiques constantes et sa longue tradition de musiques marquantes. D’où le nom de sa présentation, « une musique épique ET interactive pour FFXV« . Iwamoto remarque d’emblée que le procédé interactif est rarement utilisé pour des musiques orchestrales grandioses comme celles qui ont fait la renommée de Final Fantasy, et ce pour la simple et bonne raison qu’il est difficile d’insérer des éléments flexibles dans un morceau à la structure mélodique très construite et reconnaissable. Fidèle à l’esprit avec lequel FFXV était en train d’être conçu, Iwamoto décida de relever ce défi en développant un système nommé MAGI, pour « Music API for Gaming Interaction » (interface de programmation musicale pour les interactions dans le jeu vidéo). Pour autant, son objectif n’était pas de réduire le sentiment de répétitivité que peuvent parfois inspirer les musiques de jeu vidéo, mais de renforcer l’expérience émotionnelle des joueurs en créant des transitions musicales naturelles accompagnant au mieux les scènes les plus marquantes.

Alerte spoilers ! Pour expliquer son travail, Shô Iwamoto a notamment utilisé des extraits de scènes tirées de passages proches de la fin du jeu. Si vous n’avez pas terminé FFXV, veillez à ne pas lire la section de l’article intitulée « Situations spéciales ». Ce qui vient avant cela est inoffensif.


Généralités

Dans Final Fantasy XV, Shô Iwamoto a utilisé MAGI pour créer deux types de transitions interactives, que l’on peut résumer par les termes « verticale » et « horizontale ». La première technique est particulièrement anodine dans le domaine des musiques adaptatives de jeu vidéo, tandis que la seconde constitue tout l’intérêt de MAGI. L’interface, qu’Iwamoto prétend simple d’utilisation, gère également les changements de tempo et de mesure et permet l’importation de fichiers MIDI.

Avant d’entrer dans les détails, voici un résumé des spécificités de chaque type de transition :

La transition verticale, ou « remixage vertical », est une méthode permettant d’additionner ou de soustraire des couches d’instruments afin de modifier en temps réel l’arrangement d’un même morceau de musique. Elle est dite verticale car le système sélectionne simplement les couches actives à un moment donné, sans avancer ou reculer dans le morceau. Dans FFXV, ce type de transition a été employé lorsque le joueur chevauche un chocobo, lorsqu’il pêche ou lorsqu’il explore les villes et les hameaux.

La transition horizontale, ou « reséquençage horizontal », permet en revanche d’amorcer une transition dans le temps entre différentes sections d’un même morceau. La méthode est dite « horizontale » car les transitions se font d’une phase à la suivante en réaction aux événements à l’écran, sans addition ou soustraction de couches. Dans FFXV, elle a été utilisée lors des scènes d’invocation ou pendant les combats contre les principaux boss.


Les transitions verticales

C’est la première technique que les joueurs peuvent découvrir dans Final Fantasy XV, dès leur arrivée à Hammerhead. Le morceau, composé par Tetsuya Shibata, change subtilement d’arrangement selon que l’on se trouve en extérieur (où il est de style acoustique) ou à l’intérieur de la boutique et du restaurant (où il revêt un style plus rock). La progression rythmique et mélodique reste strictement identique, mais les instruments sont remplacés en temps réel lorsque le joueur franchit les portes des bâtiments, permettant ainsi de modifier l’ambiance sans pour autant changer totalement de morceau ; ce qui risquerait d’être lassant lorsque le joueur entre et sort plusieurs fois d’affilée. Autre exemple notable mentionné par Shô Iwamoto : le quai de Galdina (« Galdin Quay », également composée par Tetsuya Shibata). La musique paisible de bord de mer s’enrichit instantanément d’un rythme plus chaleureux dès que Noctis pose le pied dans le luxueux hôtel-restaurant. D’autres transitions verticales du même styles sont présentes à Lestallum, Caem et dans les nombreuses stations-services d’Éos.

Si le principe est enfantin, et déjà utilisé dans de nombreux jeux avant FFXV, un autre type de situation a contraint Iwamoto à réfléchir un peu plus précisément à ce type de transition : l’exploration à dos de chocobo. Vous aurez certainement constaté que la musique, « Rodeo de Chocobo » (arrangée par Mitsuhiro Ohta d’après la célèbre mélodie de Nobuo Uematsu), change d’arrangement selon que le chocobo avance au pas ou au trot. Au pas (ou en se tenant immobile), il s’agit d’une petite musique plaisante à la guitare et à la flûte, mais au trot (ou au galop), d’autres instruments dont des percussions viennent s’ajouter, et la flûte est remplacée par du violon. En apparence simple, cette transition a néanmoins posé à Iwamoto la question du moment auquel elle doit se produire. Comme il est tout à fait possible pour le joueur d’alterner rapidement entre le pas et le trot, le risque était bien réel que des transitions quasi instantanées deviennent totalement incontrôlées et que la musique, en fin de compte, ne ressemble plus à rien. « Rodeo de Chocobo » étant un morceau en quatre temps, la conclusion du programmeur était donc de placer des « points de transition » tous les quatre temps. Ainsi, la transition verticale ne se produirait qu’après un certain laps de temps à une allure donnée, permettant de confirmer qu’il s’agit bien de celle voulue par le joueur.

Pourtant, il subsistait encore un problème pour que le fonctionnement du système soit le plus réactif possible. Iwamoto a en effet expliqué que le joueur a bien plus de chances de passer du pas au trot que l’inverse. Par exemple, il peut tout à fait relâcher la touche R2 (permettant de trotter) pendant un très court instant de manière non intentionnelle mais rappuyer dessus dans la foulée, ou alors il peut buter sur un obstacle qui le contraint à rester un court instant au pas le temps de le contourner et de reprendre sa course. Dans ce cas, le délai d’attente de quatre mesures fonctionne très bien, puisque le joueur ne reste qu’une poignée de secondes à peine au pas et la musique n’a pas le temps d’opérer une transition. En revanche, la décision pour le joueur de passer du pas au trot est le plus souvent intentionnelle, et il y a de fortes chances qu’il conserve ensuite cette allure pendant une longue durée. Pour accompagner cette situation, Iwamoto décida donc de créer une transition plus courte, d’une mesure et demie seulement, permettant à la musique de passer très rapidement à son arrangement le plus dynamique.

Iwamoto souligne ainsi que ce n’est pas tout de chercher à créer des transitions dynamiques, mais il faut avant tout penser à l’effet auquel le joueur s’attend. D’ailleurs, quand le joueur monte à dos de chocobo, il est immédiatement accueilli par la partie la plus rythmée car il part le plus souvent immédiatement au trot. C’est seulement s’il reste en fait immobile que, au bout de quatre mesures, la partie la plus calme la remplace.


Les transitions horizontales

Pour autant, ce sont bel et bien les transitions horizontales qui ont fait l’objet de la plus grande attention de la part de Shô Iwamoto. L’exemple le plus courant dans FFXV est celui des séquences d’invocation : lorsqu’une divinité astrale propose son aide à Noctis, la musique de combat normale est remplacée par un court morceau de transition, « A Premonition » (composé par Yôko Shimomura), qui est une boucle d’une quinzaine de secondes à peine donnant un sentiment soudain d’urgence. Lorsque le joueur confirme l’appel à l’aide et que l’invocation apparaît, un second morceau se déclenche pour illustrer la scène cinématique ; il reprend la section finale de la piste « NOX DIVINA » (également composée par Yôko Shimomura). Dans le cas où la divinité n’a pas terrassé les ennemis, la musique normale du combat reprend ensuite. Une méthode simple mais efficace, qui nécessite le recours à plusieurs morceaux séparés. Or, c’est lors des combats contre les boss majeurs de FFXV que le système MAGI brille réellement, puisqu’il réussit à adapter une seule et unique composition aux différentes étapes de l’affrontement.

Conscient de l’importance de la musique lors de ces combats cruciaux, Shô Iwamoto a ainsi cherché à utiliser les passages les plus intenses des différents morceaux afin de renforcer l’impact émotionnel de l’action à l’écran en l’accompagnant plus justement, tout particulièrement lors de la conclusion. Le programmeur part d’un exemple présent dans les jeux qui ne disposent pas d’une solution adaptative : quand le boss est accompagné d’une seule musique, il arrive le plus souvent qu’elle continue de manière tout à fait normale après le coup de grâce, pendant la traditionnelle séquence où le boss agonise et disparaît ; une séquence qui peut parfois durer dix secondes ou plus. Dans ce cas, le segment de la musique qui tombe pendant cette scène d’agonie peut être un passage semblant inapproprié, par exemple trop intense ou dramatique, alors que le joueur est censé être soulagé d’avoir décroché la victoire. Pour éviter ce problème, il est certes possible de préparer une section finale venant se greffer à la musique de combat, mais Iwamoto a décidé d’aller un peu plus loin. L’une des caractéristiques du MAGI est ainsi de permettre la création d’une partie dite « pré-finale », servant d’amorce à la partie finale, tout en renforçant l’intensité de la bataille dans ses derniers instants.

Dans FFXV, le tout premier exemple de cette section pré-finale se trouve lors du combat contre Loqi à la fin du deuxième chapitre. Il est accompagné par le morceau « Invidia » (composé par Yôko Shimomura), qui est ensuite réutilisé lors des autres combats contre les dignitaires de l’armée impériale. Le système MAGI lit en fait la quantité de points de vie restants du boss et, lorsqu’ils tombent suffisamment bas (mais dans une tranche garantissant au moins encore une dizaine de secondes de combat), la musique amorce une transition vers sa phase pré-finale. Bien sûr, comme chaque joueur mettra une durée différente à donner le coup de grâce au boss une fois cette phase enclenchée, MAGI fait en sorte qu’elle tourne en boucle, se substituant ainsi à la boucle principale. Dans le cas de « Invidia », cette partie de la musique est particulièrement spectaculaire (dans la piste de la bande originale, elle se situe de 3:54 à 4:22) et crée donc un effet décisif notable. Son enchaînement avec la partie finale (de 4:22 à la fin), qui joue le rôle d’une courte fanfare, est d’autant mieux amorcé. Shô Iwamoto a employé la même méthode pour la fin du combat contre Titan, en utilisant le thème « APOCALYPSIS NOCTIS » (composé par Yôko Shimomura).

MAGI_transitions

Comme c’est le cas pour la méthode verticale, la transition horizontale demande au programmeur de mettre en place des points de transition qui sont basés sur le nombre de temps de la musique. Lorsque les conditions d’un changement de phase sont remplies, le système attend le prochain point de transition avant de passer à la section suivante. Ces points de transition sont peu nombreux pour la boucle principale, mais doivent être très fréquents dans la boucle de la phase pré-finale, afin de faire en sorte que la phase finale se déclenche en limitant au maximum le décalage avec l’image. Les points de transition sont visibles en bleu dans la photo ci-dessus.


Situations spéciales

Un autre combat crucial de FFXV, celui contre Léviathan lors du neuvième chapitre, a posé un problème un peu différent à Iwamoto. Cette bataille se conclut effectivement par une série de QTE, un type de séquence assimilable à une sorte de « cinématique jouable » : le montage ressemble à celui d’une cinématique, mais à durée variable puisque tous les joueurs n’appuient pas sur les touches indiquées à l’écran à la même vitesse, et il est également possible d’échouer. La difficulté posée à Iwamoto est liée au fait qu’il s’agit du paroxysme du combat et que la musique doit donc être adaptée à l’intensité de la scène. MAGI permet de régler ce problème en créant une boucle uniquement de la section la plus intense de la musique (ici, « APOCALYPSIS AQUARIUS ») en guise de section pré-finale. Ainsi, en omettant les passages les plus « calmes » de la boucle principale, la transition avec la section finale risque moins de sembler choquante. Pour faciliter ladite transition, le passage d’une phase de la musique à une autre s’effectue par un simple fondu. L’effet du MAGI est donc double : le passage de la partie principale à la pré-finale permet de conserver la partie la plus forte de la musique en préparation du grand finale, puis le passage de la partie pré-finale à la finale offre un enchaînement fluide vers le point culminant du morceau lorsque le boss est vaincu.

Mais l’exemple le plus marquant et le plus abouti de musique interactive dans un combat de Final Fantasy XV revient certainement à la bataille contre Ifrit, au quatorzième chapitre, soit l’avant-dernier affrontement du jeu. Le morceau utilisé, « Hellfire » (composé et arrangé par Yoshitaka Suzuki d’après des thèmes de Yôko Shimomura), compte ainsi cinq sections, ce qui va au-delà de la structure en trois parties exposée ci-dessus. En prenant pour base la piste telle qu’elle est présente dans la bande originale, ces sections sont les suivantes :

De 0:00 à 2:05 : « prologue » du combat, avant l’invocation de Bahamut.
De 2:05 à 3:58 : boucle de la première partie du véritable combat.
De 3:58 à 4:57 : introduction de la partie pré-finale, marquant le début de la seconde partie.
De 4:57 à 5:31 : boucle d’environ trente secondes de la partie pré-finale.
De 5:31 à 6:33 : cinématique de fin de combat.

Ici, Shô Iwamoto a expliqué qu’il a tenu absolument à préserver l’introduction de la troisième section, qui signale le début de la seconde partie du combat, alors qu’Ifrit commence à se battre de manière plus frénétique. En effet, l’impact émotionnel de cette section est tel qu’il ne pouvait pas y placer de nombreux « points de transition » vers la suivante, comme c’est par exemple le cas dans le thème du combat contre Titan. Le programmeur s’est ainsi assuré que ce passage, durant environ une minute, ne puisse jamais être interrompu par une transition vers la phase suivante, ce qui explique pourquoi la phase pré-finale commence très tôt dans la bataille et pourquoi il est virtuellement impossible, dans des conditions normales, de réduire à zéro les PV d’Ifrit dans la durée de cette section. La phase pré-finale passe ensuite à une boucle d’une trentaine de secondes servant de préparation à la phase finale, qui accompagne la cinématique de fin de la bataille pendant laquelle Shiva vient porter le coup de grâce à Ifrit. Comme dans les précédents combats, le passage de la phase pré-finale à la finale est sujet à un court flottement correspondant à la durée maximale possible avant le prochain point de transition vers la phase suivante défini par Iwamoto.


Le défi est donc relevé : grâce à son système MAGI, Shô Iwamoto a réussi à concilier des musiques hautement spectaculaires avec un fonctionnement interactif. Le résultat est d’autant plus réussi qu’il a été conçu avec une véritable compréhension des qualités des thèmes de combat utilisés. En conclusion de sa présentation, Iwamoto a ainsi remercié les différents acteurs de la bande-son de Final Fantasy XV pour leur participation à son projet : non seulement les compositeurs et arrangeurs (Yôko Shimomura, Tetsuya Shibata, Yoshino Aoki, Yoshitaka Suzuki et Shota Nakama), mais aussi le superviseur musical Keiji Kawamori et le planificateur musical Tôru Ôsanai. Il n’y a désormais plus qu’à espérer retrouver MAGI dans les prochains projets de Square Enix.

Sources et photos : GAME Watch, 4Gamer