I det 20. århundre ble Højriis hardt rammet av nedgangstiden og allerede på slutten av 1940-tallet var det meste av slottet ubebodd og det tredelte bygningskompleks rammet av omfattende forfall.