Zprvu byla stavba pravděpodobně dřevěná. Mezi roky 1247–1294 není o tomto zeměpanském hradě zmínky a zdá se, že mohl být zničen při nájezdech Kumánů roku 1253. Hrad byl obnoven na konci 13. století za vlády krále Václava II. Roku 1334 udělil král Jan Lucemburský hrad lénem Lichtenštejnům. V tomto období zde došlo pravděpodobně k přestavbě a ke zbudování nevelkého předhradí. Při obléhání Vídně Turky v roce 1529 došlo k posílení opevnění. V roce 1572 koupil celé mikulovské panství Adam z Ditrichštejna; jeho syn Zikmund jako své sídlo hrad přestavěl a upravil hlavně obytné prostory. Při přestavbě bylo použito i velké množství cihel. Vznikla tak nepravidelná obdélná stavba o délce asi 65 metrů, jejíž plášť měl na šířku až 2 m. Na blízké skalce byla přistavěna renesanční bašta.