Gården er kjent tilbake til 1430, da den nevnes i Aslak Bolts jordebok som erkebiskopens eiendom. Den var kirke- og krongods fram til 1660, da den ble gitt som «brukelig pant» til nederlenderen Gabriel Marselis, som var kongens bankforbindelse. Marsellis kjøpte gården kort tid etter sammen med annet krongods som hørte til «Bakke klosters jordegods», og solgte den i 1692 til kanselliråd . I 1725 er nevnt som eier, og han fikk bevilling til å etablere et sagbruk for eksport. Ved dødsboauksjsonen i 1736 ble Vinje sammen med noen andre eiendommer solgt til oberst Andreas Bull. Bull kjøpte i 1764 kirkene på Ytterøy og i Mosvik. Han solgte gården videre til i 1779, som solgte videre til i 1791.