Lorsque la campagne de Russie fut décidée, il passa au de la Grande Armée et contribua à la prise de Smolensk le 17 août 1812, où il remplaça le général Gudin, mortellement blessé à la tête de sa division pendant la bataille de Valoutina. Gudin, expirant, demanda à Napoléon comme dernière grâce que sa division fût confiée à Gérard, ce que l'Empereur accorda. Le 23 septembre 1812, peu après la bataille de la Moskova où il s'était une nouvelle fois distingué, Gérard fut nommé général de division et reçut le commandement de la du de la Grande Armée. Il entra dans Moscou avant de participer à la désastreuse retraite de Russie sous les ordres du maréchal Ney et du prince Eugène. À la Bérézina, sous les ordres de Ney, Gérard commandait en second le corps formé pour protéger les débris épars de l'armée.