La trayectoria artística de Olivares se puede considerar comenzada en 1772, al ser nombrado aparejador de las obras de la Colegiata de Jerez, donde llevó a cabo la cúpula y la portada de la sacristía.