Po Heřmanovi se přídomek z Ralska objevil v roce 1389, tehdy jej získal Jan Chudoba z Vartenberka, nazývaný pak též z Ralska. Po roce 1400 za krále Václava IV. hájil zájmy císaře Zikmunda a zabíral s jeho souhlasem četná panství kolem. Byl proto často ve střetu s husity, a po bitvě u Ústí na hradě věznil Zikmunda Děčínského z Vartenberka, který krátce před bitvou přestoupil na stranu husitů. Roku 1427 však na Ralsku sídlila husitská posádka.