Tre år etter Ulfeldt død, opprettholdtes stadig innespærringen av ektefellen gjennom en værge, Jacob Ulfeldt. Selsø var da gått i arv til fire mindreårige barn som bodde på gården. I 1623 tok barna selv styringen; gårdens forpakter ble kastet på porten og morens arrest opphevet.