Toen Viry overleed, werd zijn stoffelijk overschot, zoals dat van andere senatoren onder het Keizerrijk, bijgezet in het Pantheon. In de vader werd ook de zoon François-Joseph de Viry geëerd, die aan een schitterende militaire loopbaan was begonnen, maar in juni 1809 bezweken was aan de gevolgen van de verwondingen die hij in de Slag bij Aspern-Eßling had opgelopen.