Su padre Vicente Olivares, era natural de Antequera, y su madre Mariana de Morales, natural de Ubrique, eligieron como padrinos a Diego Hidalgo y María González, ambos de la vecina villa de Grazalema.