El Palacio tiene su origen en las primeras décadas del siglo XVIII, cuando fue construido (aprovechando una fachada anterior) como mansión solariega para Don Alfonso de Eslava y Trujillo.