Skanderborg har opprinnelig oppstått rundt Skanderborg slott som lå på en liten øy i Skanderborg Sø – en glimrende forsvarsposisjon, ved den mest regulære adgangsveien til Århus. Det ble påbegynt i 1171 under Valdemar den store.