Jørgen Rosenkrantz var en lærd mand, måske den der lignede faderen mest. Han lagde stor iver i at få de to skoler Sorø og Herlufsholm til at fungere. Under svenskekrigene i 1658-60, hvor rigets penge især gik til hær og flåde, drev han skolerne for egne midler. Dette kombineret med en dårlig økonomisk sans gjorde, at han endte som fallent. Efter enevældens indførelse måtte han gang på gang sælge ud af godset. Det sidste gods Kjeldgård solgtes 1668. Ved hans død gik arvingerne fra arv og gæld. Alle hans efterkommere, bortset fra dem der giftede sig fordelagtigt, kom dermed til at rangere i lavadelens rækker.