El emplazamiento escogido para el Palacio fue una extensa finca situada frente a la Bahía de La Concha en la que antiguamente había estado ubicado el Monasterio de San Sebastián El Antiguo, y que fue adquirida por la reina al Conde de Moriana.