Tuvo seis hermanos: José Francisco del Rosario (casado con María Fernández y Tenorio, hermana de Félix Fernández y Tenorio), José Antonio (casado con Manuela Valverde y Castro), José Miguel, Ana Catalina (casada en primeras nupcias con Ramón de Céspedes y en segundas con Miguel Cárdenas) y María Josefa Carrillo y Aguirre.