Die um die Burg entstandene Stadt Ostroh wurde erstmals 1371 als zur Burgherrschaft gehörig erwähnt. 1405 verpfändeten die mährischen Markgrafen Jost und Prokop Ostroh den Brüdern Beneš und Hašek von Waldstein. Entsprechend einer von König Wenzel ausgestellten Lehensbestätigung besaß Ostroh 1411 Hašek von Waldstein allein. Dieser kämpfte als Heerführer 1420 an der Seite König Sigismunds bei der Schlacht bei Vyšehrad und wurde von den Hussiten gefangen genommen. Vermutlich weil ihm die Hussiten mit der Wegnahme seiner Besitzungen drohten, trat er auf die Seite der gemäßigten Prager Hussiten über, die ihn im Januar 1422 zu ihrem Befehlshaber ernannten. Sie bestimmten die Burg Ostroh, die sie „Das neue Tabor“ nannten, zu ihrem militärischen Zentrum in Südostmähren. Von hier aus überfielen sie am 12. Januar 1421 das Kloster Velehrad und brannten es nieder. Im selben Jahr versuchte der Olmützer Bischof Johann von Bucca mit österreichischen Heeren ohne Erfolg eine Wiedereroberung von Ostroh. Nach weiteren vergeblichen Versuchen der Kaiserlichen gelang erst 1424 dem Herzog Albrecht die Eroberung der Stadt. Er übergab Ostroh im selben Jahr dem ungarischen Magnaten Stibor ("Stibor ze Stibořic"), von dem es an den ehemaligen Hussitenhauptmann Friedrich von Ostrorog gelangte. Obwohl Hašek von Waldstein nach der Niederlage der Hussiten in der Schlacht bei Maleschau wiederum an die Seite König Sigismunds trat und von diesem zum mährischen Landeshauptmann ernannt wurde, erhielt er Ostroh nicht mehr zurück.