I vikingtiden var Værnes havn, allmenning og bygdesentrum. Gården var kongens eiendom fram til 1354; da ble den makeskiftet med erkebiskopen. Fra 1592 til 1669 var gården fogdegård. Den ble regimentsjefgård i 1669, men ble allerede i 1675-76 solgt videre til generalløytnant Georg Christian von Schultz, noe som ga grunnlaget for gårdens tilnavn «generalgården». Blant senere eiere som kan knyttes til gården er rådmann Jan Wessel, haugianeren Arent Solem, og proprietæren Jacob Schavland Gram.