Under det andre keiserdømme under Napoléon III trakk Simon seg tilbake fra det politiske liv, og praktiserte som advokat i Paris. I 1863 ble han medlem av det franske akademi. Han sluttet vennskap med Adolphe Thiers og bidro som moderat anfører for venstre-sentrum fra 1871 til befestigelsen av den unge tredje republikk.