Hrad založil zhruba v roce 1268 na ostrově mezi tehdejšími rameny řeky Ploučnice Chval z rodu Ronovců, nejspíše na místě strážného hrádku srbských Milčanů. V dostavbě dřevěného sídla pokračoval jeho syn Čeněk (možná byl zakladatelem on), který se jako první z rodu psal v roce 1277 „z Lipé“. Protože padl roku 1278 v bitvě na Moravském poli, hradním pánem se stal jeno syn Jindřich z Lipé, významný šlechtic králova dvora. Listiny, dosvědčující prodeje či převody hradu se z dob před rokem 1320 nedochovaly. Kolem hradu byly stavěny další budovy včetně kostela a v období mezi roky 1305 až 1319 zde Jindřich z Lipé založil městečko, dnešní Českou Lípu.