Det antas at borgen ble bygget omkring 1190 under kong Knud VI som kongelig motstykke til erkebiskopens borg Hammershus. Etter at danskekongen Christoffer 1. arresterte erkebiskop Jakob Erlandsen i 1259, ble Lilleborg erobret og nedbrent av erkebiskopens bror Anders Erlandsen og brødrenes vendiske forbundsfelle Jaromar II av Rügen. Fem år senere anklaget pave Urban 4. erkebiskopen for å ha sendt en hær til Bornholm og «latt rundt 200 av kongens menn drepe», og i tillegg ha rasert borgen hans fullstendig. Arkeologiske undersøkelser på 1900-tallet påviste rester av brent tømmer som bekrefter at Lilleborg ble nedbrent.