De su matrimonio con Juana Gertrudis Rodríguez Peña, hermana de Saturnino y Nicolás Rodríguez Peña, nacieron tres futuros oficiales de la Independencia: el capitán Rafael de Olavarría, que participó en las Expediciones Auxiliadoras al Alto Perú y de la Guerra del Brasil; el teniente Nicolás de Olavarría, que participó en las campañas al Alto Perú; y el coronel José Valentín de Olavarría, el menor, que participó en las campañas del Ejército de los Andes a Chile y Perú, en la Guerra contra el Imperio del Brasil, y en la revolución unitaria de 1828 a órdenes de Juan Lavalle. Terminó su vida exiliado en Montevideo, donde luchó contra el Sitio entre 1843 y 1845, año en que falleció.