Den danske riksråden Tage Ottesen Thott til Næs fikk byttet til seg storgården med abbeden i Herrevad kloster, og oppførte borgen i 1538 til minne om sin storebror Erik som var død bare 19 år gammel. Hans sønn Otto Tagesen Thott overtok Eriksholm etter farens død.