První nepochybná písemná zmínka o hradu z roku 1422 pochází z listiny Zikmunda Lucemburského, který v ní zastavuje majetek bývalé býčkovické komendy právě Zikmundovi z Vartenberka. Husité hrad neúspěšně oblehli už roku 1422. Uspěli až v roce 1423, kdy byl jedním z hejtmanů husitského vojska pan Bohuslav ze Švamberka. Novým hejtmanem Panny se stal Hašek Čelechovec z Kralovic a hrad zůstal v husitských rukou až do svého zboření v roce 1437. Po bitvě u Lipan císař Zikmund pověřil Zikmunda z Vartenberka, aby hrad oblehl. Ten v dopise z 15. ledna 1437 během obléhání žádal o posily posádku Königsteinu. Obránci Panny se vzdali, až když jim kapitulaci nařídil jejich velitel zajatý při pokusu přivést pomoc z Hradce Králové. Hrad byl poté zbořen, ale císař znovu nařídil zboření Kalichu i Panny s odúvodněním, že jsou tam loupežnická doupata a nemají dostatek důchodů pro svou obranu.