Sten Sture den eldre byttet til seg Gripsholm i 1472. I et brev fra denne tiden omtalte han et tårn, sannsynligvis hadde anlegget et sentraltårn. 20 år senere, i 1498 donerte han anlegget til Karteuserordenen som hadde anlagt Mariefreds kloster der fem år tidligere.