Det første permanente byggverket på øya var et sjømerke i tre, en såkalt båke, som ble reist i 1606. I 1646 ble det bygget et hus til den den første båkevokteren Torkel Smed. Den falurøde pyramideformede båken som idag finnes på Vinga ble bygget i 1857 og hadde sin forgjenger i et liknende pyramideformet tretårn, bygget i 1720 med utkikk og med en forgylt tretønne på toppen. Dagens båke har de omtrentlige målene 11 x 11 meter som fundament og en høyde på 24 meter.