På stedet lå siden slavisk tid en befestning ved et vadested over elven Notte nord for byens nåværende sentrum. Omkring år 1200 ble den avløst av en nytt borganlegg, og på stedet var det også en kirke. Området lå på grensen mellom Mark Brandenburg og Niederlausitz og skiftet mange ganger tilhørighet mellom de to. I 1347 nevnes Bernhard og Theodericus von Torgau som lensherrer i Zossen, og familien von Torgau forble lensherrer til 1478, da adelsslekten døde ut på mannssiden.