Godset har røtter tilbake til middelalderen, hvor det tilhørte kong Valdemar Seiers sønn hertug Knud Valdemarsen. Han solgte senere godset til cisterciensermunker på Gotland. Da Estland ble en del av det svenske riket, ble Kolk inndratt til kronen, som i 1581 forærte det til feltherren Pontus De la Gardie som takk for krigsinnsatsen. I begynnelsen av 1600-tallet, ble Kolga brent av polakkene og ble ikke satt i stand igjen før stattholder Jacob De la Gardie overtok. Hans datter Christina, som var gift med greve Gustaf Otto Stenbock arvet senere godset, hvoretter det forble i Stenbockslekten frem til den sovjetiske maktovertakelsen i 1940.