Byens første lystgård ble oppført på Bragdøya av by- og rådstueskriver Henrik Arnold Thaulow rundt 1770. Thaulow var morfar til Camilla, Oscar og Henrik Wergeland og barna tilbragt flere somre på øya med foreldre og besteforeldre.