A pápai Esterházy-kastély épületének előzménye a Garaiak által a 15. század első felében emelt vár állt (részben) a helyén. Az első feljegyzett török támadás 1529-ben érte Pápát és a környékbeli falvakat a Bécs felé menetelő hadak részéről, azonban nem kizárt – bár erről írásos emlék nem maradt fenn –, hogy portyázó csapatok már az 1526-os dúláskor elérték a várost, és minden bizonnyal az 1532-es hadjárat sem kerülte el. Valószínűleg ekkor épült ki az első gyenge földsánc a város körül. A várat a török uralom alatt tovább építették. A pápai uradalom 1626-ban lett az Esterházyaké. Ebben az időben tűzvész pusztított a városban, amely jelentős mértékben megrongálta a várkastélyt (és a templomot is.) 1704-ben a helyőrség Rákóczi mellé állt, 1707-ben pedig császári hadak szállták meg, később pusztulni kezdett.