Casado con Josefa Manuela Justa Gaviria y Alcoba el 8 de diciembre de 1829, fue padre de José Muñoz y Gaviria, que heredó sus títulos.