Utover på 1600- og 1700-tallet bodde en rekke enkedronninger på Gripsholm. Av disse foretok særlig Hedvig Eleonora en del ombygninger og Gustav III foretok en del ominnredninger. I 1781 ble det bygget et teater i et av tårnene. Den siste som bodde i anlegget var Gustav IV Adolf som satt fengslet her i 1809.