Bygdeborgen stammer trolig fra perioden yngre romertid eller folkevandringstiden i Norge. Den øde beliggenheten har gjort at folk tror den ble anlagt og brukt av lokale røvere, slik sagnet hevder. Det er bratt og utilnærmelig der den ligger som ei «vorte» i terrenget. Utsikten fra toppen er ikke like god som fra Hestebrenna, men allikevel et flott skue. Den gamle ferdaveien til Hedalen gikk via Strømsoddbygda og Vidalen, så trafikken i området kan ha vært større i sin tid. De fleste som besøker Tjuvenborgen i dag gjør det også fra Strømsoddbygda.