A su regreso de Francia, aunque lo hizo acompañando a José I, se pasó al bando español, razón por la cual Napoleón Bonaparte confiscó todos sus bienes mediante decreto de 12 de noviembre de 1808, lo que explica que el emperador utilizara su palacio de Chamartín de la Rosa en diciembre de ese mismo año para instalarse con su Estado Mayor antes de la capitulación de Madrid.