Jindřich I. z Hradce měl syny Vítka a Sezemu. Vítek bývá považován za stavitele blízkého Vítkova hrádku a jako první Vítkovec používal přídomek z Hradce: (1232) a (1242). Raně gotický hrad dokončil až Vítkův syn Oldřich I. z Hradce. Král Přemysl Otakar II. ve snaze získat zpět ztracené korunní statky Oldřichovi Hradec odňal náhradou za ves Buk. Oldřich se králi vzepřel a v jeho sporu s Rudolfem Habsburským se postavil proti českému panovníkovi. Král v roce 1277 Hradec dobyl, ale po jeho smrti v bitvě na Moravském poli se páni z Hradce dohodli s Ottou Braniborským, a získali hrad zpět.