Za datę powstania zamku przyjmuje się drugą połowę XIII wieku i łączy ją z królem czeskim Przemysłem Ottokarem II. W biegu swych dziejów stanowił siedzibę królewską, a później margrabiów morawskich. Pierwsze pisemne wzmianki na temat zamku odnoszą się do lat 1277-1279. Z czasem znaczenie militarne wysunęło się na pierwszy plan, a zamek udowodnił swoje znaczenie w walkach z husytami. W XVI wieku zamek powoli zaczął chylić się ku upadkowi i nawet na kilkadziesiąt lat trafił w posiadanie miasta. Sytuacja taka trwała do momentu, gdy czeskie powstanie narodowe ostatecznie poniosło klęskę w bitwie na Białej Górze w 1620 roku. Cesarz Ferdynand II Habsburg skonfiskował zamek i równocześnie z odzyskaniem znaczenia militarnego w nadciągającej ogólnoeuropejskiej wojnie trzydziestoletniej rozpoczął się więzienny okres w historii budowli. Szwedzkie działania wojenne na Morawach i udana obrona miasta przez komendanta Louisa Raduit de Souches w latach 1643 i 1645 sprawiły, że Brno wraz z twierdzą zostały nowocześnie ufortyfikowane - powstała barokowa forteca, która tworzyła jeden zespół z fortyfikacjami miasta. To z kolei pozwoliło odeprzeć wojska pruskie w 1742 roku. Od tego momentu forteca traci ostatecznie znaczenie militarne i staje się do 1853 roku ciężkim więzieniem, w którym trzymano więźniów politycznych wielu narodowości. Pogłębił ten stan fakt, że w 1809 roku armia napoleońska zburzyła podstawowe elementy umocnień twierdzy. Z drugiej strony szybki rozwój artylerii i tak odebrałby jej obronie jakiekolwiek szanse powodzenia. XIX wiek przyniósł wyburzenie większości umocnień wzgórza, a w II połowie tego stulecia podjęto decyzję o jego splantowaniu. Twierdza była zajęta podczas II wojny przez oddziały niemieckie, które w jej końcu prowadziły w podziemiach fortecy prace budowlane i przygotowywały schrony lotnicze. Wojska czechosłowackie opuściły teren w 1959 roku i od tej chwili zamek stał się jednym z oddziałów muzeum miejskiego Brna.