Con Pepita Tudó tuvo cuatro hijos, de los que sobrevivieron dos, Manuel de Godoy y Tudó (1805-1871) y Luis de Godoy y Tudó (1807-1818)