De tidligst kjente eierne var Jakob Olofsson Djäkn og hans hustru Ingeborg Magnusdotter, som i 1385 solgte jord i Sjösa til Bo Jonsson (Grip). Midt på 1700-tallet ble godset kjøpt av en Hildebrand, som på 1760-tallet solgte det til generalmajoren friherre Fabian Löwen, eier av Häringe i Västerhaninge. Han gjorde både Sjösa og Häringe til fideikommiss for sine barn. Sønnen, friherre A. V. Löwen, kjøpte i 1780 Gärdesta og gjorde det til fideikommiss for sin yngre sønn, mens den eldre, friherre Axel Fabian Löwen, fikk Sjösa og Trollesund. Trollesund var i 1807 blitt kjøpt for farens regning. Etter hvert ble alle disse fideikommissene forent hos én person, friherre August Otto Ludvig Trolle-Löwen.