Fue hijo de Victorino Caro y Cárcamo y de Asunción de Olavarría y Sierpe.