Tras la muerte de su padre, su madre enloqueció, por lo que José Hilario y sus hermanos quedaron al cuidado de un tutor.