Nació en Oporto, Portugal (Aunque el libro "Old families of Luisiana" sitúa su nacimiento en Pontevedra, España el 31 de mayo de 1751), el 30 de mayo de 1747, hijo del cónsul español Manuel Luis Gayoso de Lemos y Sarmiento y de la portuguesa Teresa Angélica de Amorín y Magallanes.