Hrad byl založen na počátku 14. století pravděpodobně králem Václavem II. V písemných pramenech je poprvé zmiňován až roku 1330, kdy ho od krále Jana Lucemburského získal Těma z Koldic. Koldicům hrad s krátkými přestávkami patřil až do roku 1504. Během husitských válek stáli Koldicové na katolické straně a hrad byl několikrát dobýván. Roku 1426 byla v jeho blízkosti pobita velká skupina urozených pánů, kteří prchali z bitvy u Ústí. Tehdy se hrad asi ubránil. Je možné, že byl dobyt během spanilé jízdy během roku 1429. Určitě ho dobyl hejtman Jakoubek z Vřesovic roku 1433. V období let 1436–1437 se zde jednalo o míru. Posledním majitelem z Koldiců byl Těma V., který se silně zadlužil a hrad použil jako odškodnění věřitelů.