Fra 1500-tallet var Hop setegård for lagmannen over Bergen og Gulen lagdømme. Gården ble i 1651 overtatt av borgermester og lagmann Hans Hanssøn Smith, som i 1676 ble adlet under navnet Lilienskiold. Hans sønn ble amtmann over Finnmark og overtok senere både adelstittelen og gården etter faren. I tiden 1703 til 1737 ble gården eid av lagmann Niels Knag, senere adlet under navnet Knagenhielm. Han var en av Vestlandets rikeste menn, med blant annet store jordeiendommer i Kaupanger. Gården gikk deretter i arv til justisråd og president Christian Krogh. Gården ble overtatt av kanselliråd Jacob Frich i 1783.