Både konsul Prebensen og de andre eierne fram til 1932, ansatte forpaktere på gården og benyttet selv stedet vesentlig som feriested for familie og venner, både i sommertiden og under jakt. Da interesseselskapet Harboe, Steen og Eger overtok, kom førstnevnte av disse til å bo størstedelen av året på Holmen i og med at han var utdannet forstmester. I 1956 ønsket eierne å overdradra det hele til et nytt interesseselskap, men staten gjorde da sin forkjøpsrett gjeldende.