Ungleich erfolgreicher war Joly zusammen mit Pierre Brunet im Paarlauf. Insgesamt wurden sie elfmal französische Meister (1924 bis 1933 und 1935) und nahmen fünfmal an Weltmeisterschaften teil. Bei ihrer ersten Weltmeisterschaft gewannen sie 1925 in Wien die Silbermedaille hinter Herma Szabó und Ludwig Wrede. Bei sämtlichen anderen Teilnahmen, 1926 in Berlin, 1928 in London, 1930 in New York und 1932 in Montréal, wurde das Paar Weltmeister. Im Jahr 1932 gewannen die Brunets im heimischen Paris, bei ihrer einzigen Europameisterschaftsteilnahme, die Goldmedaille. Joly und Brunet bestritten zusammen insgesamt drei Olympische Spiele. 1924 in Chamonix gewannen sie die Bronzemedaille hinter Helene Engelmann und Alfred Berger aus Österreich und Ludowika und Walter Jakobsson aus Finnland, 1928 in St. Moritz und 1932 in Lake Placid wurden sie Olympiasieger. Aus Protest gegen die Nazis verzichteten sie auf ihre mögliche Titelverteidigung bei den Olympischen Winterspielen 1936, hatten aber bereits seit 1932 keine Weltmeisterschaft mehr bestritten.