Początek budowy zamku jako elementu fortyfikacyjnego przyjmuje się na I połowę XIV wieku, kiedy to Kazimierz Wielki rozpoczął potężne przedsięwzięcie, aby wzmocnić ochronę granic Polski. Wybudowany na sztucznie usypanym wzniesieniu zamek obronny był siedzibą starosty ostrzeszowskiego. Zburzony został w czasie najazdu szwedzkiego. Pomimo że częściowo go odbudowano i do końca XVIII wieku był siedzibą sądu, nigdy już nie wrócił do dawnej świetności.