Den første kjente eieren av slottet, fru Katarina till Steninge, ble omtalt første gang i 1299. I den senere del av middelalderen tilhørte slottet slekten Oxenstierna, blant annet Bengt Kristiernsson Oxenstierna og hans sønn Kristiern Bengtsson Oxenstierna, som ble drept under Stockholms blodbad.