Hrad založil okolo roku 1380 jako své novoměstské sídlo král Václav IV., který na něm poprvé pobýval v roce 1399. Během husitských válek hrad obsadila posádka Nového Města a až do roku 1439 na něm sídlil biskup Filibert Konstantský, legát basilejského koncilu. V následujícím období byly hradní objekty využívány ke skladování vojenského materiálu a během šestnáctého století zchátraly natolik, že jedinou budovou, která měla roku 1606 střechu, byla velká věž. Zchátralý hrad získali roku 1627 bosí augustiniáni, kterým patřil také sousední kostel svatého Václava. Ti je do roku 1641 přestavěli na klášter, přičemž byla snížena velká věž.