Krátce po nástupu Jana Lucemburského na český trůn se hradu zmocnil Jindřich z Lipé. Jindřichovu držbu potvrdil král zástavní listinou v roce 1323, kde je město také poprvé zmíněno. Za vlády markraběte Jošta (1375–1411) byl hrad odevzdán do zástavy Mikuláši Pillungovi z rakouského Jilkova (Gilgenberg). Vzhledem k tomu, že hrad sloužil jako základna pro loupeživé jízdy do sousedního Rakouska, rozhodl se v roce 1406 Jošt společně s hrabětem Janem z Hardeka donutit Mikulášovu dceru Markétu k vydání hradu. Roku 1421 získal hrad „Fron“ od krále Zikmunda do dědičné zástavy Smil Bítovský z Lichtenburka. Lichtenburkové nechali v letech 1423–1431 město obehnat hradbami. Důvodem bylo pravděpodobně v roce 1425 dobytí hradu husity.