Don Manuel Gayoso de Lemos contrajo matrimonio tres veces: su primera mujer fue Teresa Margarita Hopman y Pereira, de Lisboa, con la que tuvo dos hijos; en 1792 contrajo matrimonio con Elizabeth Watts de Filadelfia, con la que no tuvo hijos; y finalmente con Margaret Cyrilla Watts de Luisiana, con la que tuvo un hijo.