Od konce 15. století nastával celkový úpadek a postupné chátrání hradu. Byl opětovně zastavován a dočasní držitelé o jeho údržbu příliš nedbali. Moravští stavové proto v roce 1560 Špilberk i s celým panstvím koupili a vzápětí vlastní hrad prodali městu Brnu. Ve vlastnictví města zůstal Špilberk pouhých 60 let – po bělohorské porážce stavovského povstání v roce 1620 byl císařem Ferdinandem II. městu zkonfiskován. Nejspíše z toho důvodu později hrad se svým okolím tvořil samostatné katastrální území Špilberk.