Sammen med ektefellen gjorde han om et tidligere kloster til skolen Herlufsholm. Hans kone Birgitte Gøye ledet den en kort tid, inntil den ble overtatt av Arild Huitfeldt.