Lo hizo construir en 1747 el infante, y después rey, Pedro III en el emplazamiento ocupado por un palacio de origen rural de los marqueses de Castelo Rodrigo.