Ústí nad Orlicí ble etablert 1241 av Wilhelm av Dunholz, siden Wilhelm krevde inn skatt og hersket over Lanškroun på den tiden. Den bøhmiske kongen Václav II gav stedet i 1292 til Cistercienserordenen i Zbraslav. De gav siden stedet 1358 til bispedømmet i Litomyšl. Etter bispedømmets fall og konsekvensene av husitterkrigene fikk stedet en verdslig posisjon, og tilhørte blant andre de aristokratiske familiene Kostka z Postupic, Pernštejnové og Hrzán z Harasova. I 1544 ble byen kalt Wildenschwert første gangen.