En 1761 pasa a América acompañando a su tío José, primer Marqués de Sobremonte, que había sido nombrado gobernador de Cartagena de Indias.