På Skagen, Holmen, Valberggata og Kirkegata var det hus som hadde hager opp mot Valberget. I 1790 ga Børge Rosenkilde sin hage på Valberget til byen. Forutsetningen for gaven var at det skulle brukes som en åpen plass. Valbergparken ble da den første offentlige parken i byen. Tårnet som står i dag ble bygget i årene 1850-1852 som utkikkstårn for byens vektere, og er 26,66 meter høyt. Årstallet 1850 står over døra, og 1852 på værhanen. Det er bygget i granitt fra en av øyene i Boknafjorden.