Fue la residencia estival del dictador Francisco Franco hasta su muerte, y posteriormente de parte de los herederos de su hija Carmen Franco (duquesa de Franco), hasta que la controversia sobre la tenencia del pazo llevó a la familia a ponerlo en venta en 2018.