Originariamente se trataba de una casa levantada por los ermitaños conocidos como «los pilaretes», para custodiar la imagen de la Virgen del Pilar.