Později byli držiteli hradu Hroznatovci. Jmenovitě jimi byli Bušek z Pušperka uváděný poprvé roku 1339. Po něm se pravděpodobným majitelem hradu stal jeden z jeho pěti synů – Racek z Pušperka, jehož syn však již hrad nevlastnil. Dalším známým vlastníkem se stal Ctibor Tlam z Pušperka připomínaný roku 1378. Jeho syn Jan z Pušperka se zadlužil, a před rokem 1390 se spolumajitelem hradu stal Janův věřitel, pražský žid Jonáš. Když roku 1390 zemřel, připadl hrad jako odúmrť králi Václavovi IV., který jej prodal za 900 kop pražských grošů bratrům Renvaldovi a Bohuňkovi z Ustupenic. Renvald žil až do roku 1411, kdy panství převzal jeho další bratr Svojše z Ustupenic, který padl na straně krále Zikmunda v bitvě pod Vyšehradem.