Riksmarskal Skeel kjøpte herregården i 1616 og han fikk oppført vestfløyen på bygningen i 1622. Katholm var i familien Skeels eie gjennom flere generasjoner og øket i denne perioden eiendommen med mange tønner hartkorn.