En principio fue un palacio civil propiedad del matrimonio Juan de Villasante y María de Villarroel, hasta que el primer arzobispo vallisoletano, Luis de la Lastra y Cuesta, lo convirtió en sede episcopal en 1857.