Borgen med samme navn (Burg Harburg) ligger over byen. Borgen blir nevnt første gang i skriftlige kilder fra 1093. I 1150 nevnes en administrativ borg (Reichsministerialburg). En adelsfamilie som knytter seg til en «horeburc» nevnes fra 1080, men deres nøyaktige bosted har ikke latt seg fastslå.