Kolk ägdes i början av 1200-talet av Knut Valdemarsson, son till Danmarks kung Valdemar Sejr, som segrade över esterna i Volmerslaget 1219. Hertig Knut sålde egendomen till cisterciensorden, som där uppförde "Villa Kolco" 1290, vilken låg under Roma kloster till 1520-talet, då egendomen drogs in till kronan. År 1558 föll Kolk i händerna på ryska trupper. Under svensktiden donerades egendomen av Sveriges kung Johan III 1581 till Pontus De la Gardie i erkänsla för hans insatser under det livländska kriget. Efter att ha bränts av polska trupper i början av 1600-talet, lät Jacob De la Gardie, son till Pontus De la Gardie och landshövding över Estland, på 1620-talet uppföra en ny huvudbyggnad, vilken dock inte blev klar förrän omkring 1642.