I 1646 reiste han som ekstraordinær ambassadør til Frankrike. Han ble i 1647 riksråd med sete i Krigskollegium. I 1653 tapte De la Gardie sin gunst hos dronningen etter en omfattende bakvaskelseskampanje, og ble suspendert fra sine embeder. Han ble i desember samme år forvist fra hoffet.