Hijo del comerciante Martín José de Olavide y Albizu (1686–1763), natural de Lácar (Navarra) y de su segunda esposa, Ana María Teresa de Jáuregui y Ormaechea Aguirre.