På Swanaholm war det tungt och dystert under dessa år.