Før dagens tårn har det også vært eldre vakttårn. I 1658-1659 ble det satt opp et vakttårn på Valberget med en klokke. Vakttårn hadde i 1716 funksjon både som vakttårn mot fiendtlige skip under den store nordiske krigen og mot brann. I 1736 ble det slått fast at det var borgernes ansvar å istandsette tårnet. I 1770 var tårnet gjort av bindingsverk og «breder». Tårnet var ikke høyt, men strakte seg vidt særlig i øst og sør. På Valberget sto også en del hus. En vekter holdt vakt i tårnet hver natt.