Den präktiga herrgårdsbyggnaden stod tom.