På Svanaholm var det tungt och dystert under dessa år.