Vedøy dukker første gang opp i skriftlige kilder på 1500- og 1600-tallet da den lå til Mannes. I senmiddelalderen en gang etter svartedauden ble øya fraflyttet og i en liste fra 1567 ble øya betegnet som «Wederen øtt» og leidangsskatten tyder på at det var en ødegård. På slutten av 1620-tallet flyttet Salve til øya og bosatte seg, men først i 1664 blir den skyldsatt for seg selv med 1 vett korn i landskyld. Allerede i 1649 var gården Vedøy odelsgods.