Entre 1806 et 1807, il mène plusieurs expéditions dans le Caucase lors des guerres contre l'Empire ottoman et participe à la conquête de la Circassie et de la Bessarabie. En 1812, alors que la France et la Russie se déclarent la guerre, Richelieu est sur le point de rejoindre la Volhynie, où sont basées ses troupes et ainsi rejoindre l'armée russe. C'est à ce moment-là que la peste fait son apparition à Odessa. Au lieu d'abandonner la ville pour prendre le commandement militaire où il était appelé par le Tsar, il reste auprès de la population pour la soutenir contre le fléau qui la décime. Au bout de deux ans, le gouverneur parvient par ses mesures à l'éradiquer totalement. Entre-temps, l'armée russe, alliée à la Prusse et l'Autriche, repoussant les armées napoléoniennes, est entrée en France. Il décide alors de rejoindre les troupes russes et de rentrer en France. Il regrettera toujours de ne pas pouvoir retourner en Russie, où il était resté quinze ans.